Recurrent Networks, oft bezeichnet als Recurrent Neural Networks (RNNs), sind eine spezielle Klasse von neuronalen Netzwerken, die für die Verarbeitung von sequenziellen Daten entwickelt wurden. Im Gegensatz zu herkömmlichen Feedforward-Netzwerken können RNNs Informationen aus vorherigen Zeitschritten speichern und nutzen, was sie besonders geeignet für Aufgaben wie Spracherkennung, Textgenerierung und Zeitreihenanalyse macht. Die zentrale Idee ist, dass die Ausgabe eines Neurons nicht nur von den aktuellen Eingaben abhängt, sondern auch von vorherigen Zuständen, was durch Rückkopplungsschleifen erreicht wird.
Mathematisch lässt sich die Aktualisierung des verborgenen Zustands eines RNNs wie folgt beschreiben:
Hierbei ist die Gewichtsmatrix für den vorherigen Zustand, die Gewichtsmatrix für den aktuellen Eingang , und ist eine Aktivierungsfunktion. Diese Struktur ermöglicht es, Informationen über längere Zeiträume zu speichern, was eine Herausforderung für traditionelle Netzwerke darstellt. Allerdings leiden viele RNNs unter dem Problem des Vanishing Gradient, weshalb spezialisierte Architekturen wie Long Short-Term Memory (LSTM) und Gated Recurrent Units (GR
Starte dein personalisiertes Lernelebnis mit acemate. Melde dich kostenlos an und finde Zusammenfassungen und Altklausuren für deine Universität.