XGBoost for Regression

XGBoost for Classification

XGBoost represents a new generation of GBM algorithms thanks to important tweaks to the initial tree boost GBM algorithm:

Stell dir vor, du möchtest ein schwieriges Problem lösen - zum Beispiel vorhersagen, ob ein Kunde ein Produkt kaufen wird.

Bagging (Random Forest) Beim Random Forest fragst du quasi mehrere Experten gleichzeitig. Jeder Experte bekommt einen Teil der Daten und trifft seine eigene Entscheidung. Am Ende wird demokratisch abgestimmt. Das macht die Vorhersage sehr stabil und verhindert, dass einzelne "Ausreißer" zu viel Einfluss haben.

Die Schwäche: Jeder Experte arbeitet unabhängig und lernt nicht von den Fehlern der anderen. Wenn alle Experten den gleichen "blinden Fleck" haben, wird dieser nicht korrigiert.

Boosting (XGBoost) XGBoost arbeitet anders - es ist wie ein Team, das systematisch aus seinen Fehlern lernt:

1. Der erste "Experte" macht seine Vorhersagen
2. Der zweite Experte konzentriert sich besonders auf die Fälle, die der erste falsch eingeschätzt hat
3. Der dritte Experte schaut besonders auf die verbleibenden Fehler
4. Und so weiter...