Self-Supervised Contrastive Learning ist ein Ansatz im Bereich des maschinellen Lernens, der darauf abzielt, nützliche Repräsentationen von Daten zu lernen, ohne dass eine manuelle Beschriftung erforderlich ist. Dieser Ansatz basiert auf der Idee, dass ähnliche Datenpunkte näher zueinander im Repräsentationsraum angeordnet werden sollten, während unähnliche Datenpunkte weiter voneinander entfernt sein sollten. In der Praxis werden aus einem Bild beispielsweise mehrere Augmentierungen (z. B. verschiedene Transformationen) erstellt, und das Modell lernt, diese Augmentierungen als zusammengehörig zu betrachten.
Ein zentraler Bestandteil ist der Kontrastive Verlust, der typischerweise wie folgt formuliert wird:
Hierbei ist eine Ähnlichkeitsmessung zwischen den Repräsentationen und , und ist ein Temperaturparameter, der die Schärfe des Kontrasts reguliert. Durch diesen Prozess ler
Starte dein personalisiertes Lernelebnis mit acemate. Melde dich kostenlos an und finde Zusammenfassungen und Altklausuren für deine Universität.