Batch Normalization ist eine Technik, die in neuronalen Netzwerken verwendet wird, um die Trainingsgeschwindigkeit zu verbessern und die Stabilität des Modells zu erhöhen. Sie wird zwischen den Schichten des Netzwerks angewendet und normalisiert die Eingaben jeder Schicht, indem sie die Mittelwerte und Varianzen der Mini-Batches verwendet. Dies geschieht durch die Formel:
Hierbei ist der Mittelwert und die Varianz des aktuellen Mini-Batches, während eine kleine Konstante ist, die zur Vermeidung von Division durch Null dient. Nach der Normalisierung wird eine Affine Transformation angewendet, die es dem Modell ermöglicht, die Normalisierung an die spezifischen Anforderungen des Lernprozesses anzupassen:
Dabei sind und lernbare Parameter. Die Hauptvorteile von Batch Normalization sind die Beschleunigung des Trainings, die Reduzierung der Anfälligkeit für Überanpassung und die Möglichkeit, mit höheren Lernraten zu arbeiten.
Starte dein personalisiertes Lernelebnis mit acemate. Melde dich kostenlos an und finde Zusammenfassungen und Altklausuren für deine Universität.