LSTM (Long Short-Term Memory) Netzwerke sind eine spezielle Art von rekurrenten neuronalen Netzwerken, die entwickelt wurden, um das Problem des vanishing gradient zu überwinden. Sie bestehen aus drei Hauptgattern, die die Informationen steuern: dem Vergessensgate, dem Eingangsgate und dem Ausgangsgate.
Vergessensgate: Dieses Gate entscheidet, welche Informationen aus dem vorherigen Zellzustand verworfen werden sollen. Es verwendet eine Sigmoid-Aktivierungsfunktion, um eine Ausgabe zwischen 0 und 1 zu erzeugen, wobei 0 bedeutet, dass die Information vollständig verworfen wird, und 1, dass sie vollständig beibehalten wird.
Eingangsgate: Das Eingangsgate bestimmt, welche neuen Informationen in den Zellzustand aufgenommen werden. Es kombiniert die aktuelle Eingabe mit dem vorherigen Hidden State und verwendet ebenfalls eine Sigmoid-Aktivierungsfunktion, um die relevanten Informationen zu filtern.
Ausgangsgate: Dieses Gate steuert, welche Informationen aus dem Zellzustand in den nächsten Hidden State überführt werden. Es verwendet die Sigmoid-Funktion, um zu entscheiden, welche Teile des Zellzustands ausge
Starte dein personalisiertes Lernelebnis mit acemate. Melde dich kostenlos an und finde Zusammenfassungen und Altklausuren für deine Universität.