Dropout Regularization ist eine Technik zur Vermeidung von Überanpassung (Overfitting) in neuronalen Netzen. Bei jedem Trainingsepoch wird zufällig eine bestimmte Anzahl von Neuronen in einem bestimmten Schicht deaktiviert, was bedeutet, dass ihre Ausgaben auf null gesetzt werden. Diese Deaktivierung geschieht mit einer bestimmten Wahrscheinlichkeit, oft als Hyperparameter bezeichnet, wobei . Durch diese Methode wird das Modell gezwungen, robuster zu lernen, da es nicht auf spezifische Neuronen angewiesen ist.
Der Vorteil von Dropout liegt darin, dass es das Netzwerk dazu bringt, stabilere Merkmale zu lernen, die nicht von einzelnen Neuronen abhängen. Während der Testphase werden alle Neuronen aktiviert, jedoch wird die Ausgabe jedes Neurons mit der Wahrscheinlichkeit skaliert, um die während des Trainings angewandte Störung zu berücksichtigen. Dies führt zu einer signifikanten Verbesserung der Generalisierungsfähigkeit des Modells auf unbekannten Daten.
Starte dein personalisiertes Lernelebnis mit acemate. Melde dich kostenlos an und finde Zusammenfassungen und Altklausuren für deine Universität.