XGBoost (Extreme Gradient Boosting) ist ein leistungsstarkes und flexibles maschinelles Lernverfahren, das auf der Boosting-Technik basiert. Es optimiert die Vorhersagegenauigkeit, indem es schwache Lernmodelle, typischerweise Entscheidungsbäume, iterativ zu einem starken Modell kombiniert. Der Algorithmus nutzt dabei Gradientenabstieg, um die Fehler der vorherigen Bäume zu minimieren und dadurch die Gesamtgenauigkeit zu steigern.
Ein zentrales Merkmal von XGBoost ist die Verwendung von Regularisierungstechniken, die helfen, Überanpassung zu verhindern und die Modellkomplexität zu steuern. Die mathematische Formulierung des Modells basiert auf der Minimierung einer Verlustfunktion und der Hinzufügung eines Regularisierungsterms :
Hierbei steht für die tatsächlichen Werte, für die vorhergesagten Werte und für die k-ten Entscheidungsbäume. XGBoost ist besonders beliebt in Wettbewerben des maschinellen Lernens und wird häufig in der Industrie eingesetzt, um hochgradig skalierbare und effiziente Modelle zu erstellen.
Starte dein personalisiertes Lernelebnis mit acemate. Melde dich kostenlos an und finde Zusammenfassungen und Altklausuren für deine Universität.