Denoising Score Matching ist eine Technik zur Schätzung von Verteilungen in unüberwachten Lernsettings, die auf der Idee basiert, dass das Modell lernen kann, wie man Rauschen von echten Daten unterscheidet. Der Hauptansatz besteht darin, ein Rauschmodell zu verwenden, um verrauschte Versionen der echten Daten zu erzeugen, und dann die Score-Funktion (den Gradienten der log-Wahrscheinlichkeit) dieser verrauschten Daten zu schätzen. Anstatt die wahre Datenverteilung direkt zu approximieren, wird das Modell darauf trainiert, die Score-Funktion der Daten zu maximieren, was zu einer robusteren Schätzung führt. Dies wird häufig mit Hilfe von Gradientenabstieg erreicht, um die Differenz zwischen der geschätzten und der tatsächlichen Score-Funktion zu minimieren. Denoising Score Matching hat sich in verschiedenen Anwendungen als effektiv erwiesen, einschließlich der Bildgenerierung und der Verarbeitung natürlicher Sprache.
Starte dein personalisiertes Lernelebnis mit acemate. Melde dich kostenlos an und finde Zusammenfassungen und Altklausuren für deine Universität.