LSTM (Long Short-Term Memory)

Rekurrente neuronale Netzwerkarchitektur von Hochreiter und Schmidhuber (1997), die mit Gating-Mechanismen das Problem verschwindender Gradienten in langen Sequenzen löst.

Definition

LSTM (Long Short-Term Memory) ist eine 1997 von Sepp Hochreiter und Jürgen Schmidhuber publizierte rekurrente neuronale Netzwerkarchitektur. Sie ist die historisch wichtigste Lösung für das Problem verschwindender Gradienten in klassischen RNNs und ermöglicht das Lernen von Abhängigkeiten über hunderte oder tausende Zeitschritte.

LSTMs dominierten die Sequenzmodellierung von etwa 2014 bis zum Aufstieg des Transformers 2017. Sie standen hinter Durchbrüchen in maschineller Übersetzung (Google Neural Machine Translation 2016), Spracherkennung, Handschrifterkennung und Sprachmodellierung. Seit Transformer dominiert, sind LSTMs aus dem produktiven NLP weitgehend verdrängt, bleiben aber konzeptuell zentral.

Architektur

Die LSTM-Zelle besitzt zwei Zustände: den Hidden State (h_t) und den Cell State (C_t). Drei Gates regulieren den Informationsfluss:

Forget Gate (f_t): Sigmoid-Schicht, die entscheidet, welcher Anteil des bisherigen Cell State erhalten bleibt. Werte nahe 0 löschen Information, Werte nahe 1 erhalten sie.
Input Gate (i_t): Sigmoid-Schicht, kombiniert mit einem Tanh-Kandidaten, die kontrolliert, welche neue Information in den Cell State geschrieben wird.
Output Gate (o_t): Sigmoid-Schicht, die in Kombination mit Tanh des Cell State den neuen Hidden State erzeugt.

Der Cell State fliesst nahezu linear durch die Zeit, mit nur zwei multiplikativen Eingriffen (Forget Gate, Input Gate). Dieser additive Pfad ermöglicht stabilen Gradientenfluss über sehr viele Schritte, was das Vanishing Gradient Problem klassischer RNNs adressiert.

Geschichte

Sepp Hochreiter analysierte 1991 in seiner Münchner Diplomarbeit unter Jürgen Schmidhuber das Problem verschwindender und explodierender Gradienten in rekurrenten Netzen. Diese Arbeit gilt als erste systematische Beschreibung des Phänomens. 1997 publizierten Hochreiter und Schmidhuber das LSTM in der Zeitschrift Neural Computation, eine der zitiertesten Arbeiten der KI-Geschichte.

In den frühen 2000er Jahren erweiterten Gers, Schmidhuber und Cummins (2000) das LSTM um das Forget Gate. Peephole-Verbindungen und Coupled Input-Forget Gates folgten. Der Durchbruch in der Praxis kam ab 2013 mit Spracherkennung (Graves et al.) und 2014 mit Sequence-to-Sequence-Übersetzung (Sutskever et al.).

Von 2014 bis 2017 dominierten LSTMs (oft bidirektional und mit Attention erweitert) praktisch alle Sequenz-Benchmarks. Ab 2017 verdrängte der Transformer LSTMs in NLP, ab etwa 2020 zunehmend auch in Speech und Time Series. Hochreiter publizierte 2024 xLSTM, eine moderne Erweiterung als Antwort auf Transformer und Mamba.

Praxis und Anwendung

Implementiert wird LSTM in PyTorch (torch.nn.LSTM), TensorFlow (tf.keras.layers.LSTM), JAX und allen anderen gängigen Frameworks. Optimierte CUDA-Kernels sind verfügbar.

Klassische Einsatzgebiete bis 2018:

Maschinelle Übersetzung: Google Neural Machine Translation, Baidu, DeepL frühe Versionen.
Spracherkennung: Google Voice, Siri, Alexa nutzten LSTMs in den Akustik-Modellen.
Sequence Labeling: Named Entity Recognition, Part-of-Speech Tagging via BiLSTM-CRF.
Zeitreihen-Prognose: Energie, Finanzen, Wetter, Wartung.
Handschrifterkennung: Connectionist Temporal Classification mit BiLSTMs.

Aktuell relevante Einsatzgebiete: Edge-Computing mit geringem Speicher, Echtzeit-Anwendungen, eingebettete Systeme, klassische Zeitreihen-Aufgaben mit moderater Sequenzlänge. In NLP-Frontier-Anwendungen sind LSTMs verdrängt.

Häufige Fehler

LSTMs auf modernen NLP-Aufgaben einsetzen: Für Übersetzung, Generierung und Verständnis sind Transformer fast immer überlegen. LSTM-Wahl rechtfertigt sich nur durch klare Gründe wie Latenz oder Speicher.
Sequenzlänge unterschätzen: Auch LSTMs haben praktische Grenzen, typisch um die paar tausend Schritte. Sehr lange Abhängigkeiten brauchen Attention oder State-Space-Modelle.
Vanilla RNN statt LSTM nutzen: Klassische RNNs leiden massiv unter verschwindenden Gradienten. LSTM oder GRU sollten der Default sein.
Gradient Clipping vergessen: Auch LSTMs können unter explodierenden Gradienten leiden. Gradient Clipping (typisch auf 5 oder 10) ist Standardpraxis.
BiLSTM in Echtzeit-Setups: BiLSTMs brauchen die gesamte Sequenz vor Inferenz. Für Streaming-Anwendungen muss kausal modelliert werden.

Abgrenzung

Klassisches RNN: Vorgänger ohne Gating, leidet unter verschwindenden Gradienten. Heute nur noch in Lehrbüchern.
GRU (Gated Recurrent Unit): Vereinfachte Variante mit zwei Gates statt drei und ohne separaten Cell State. Schneller, oft vergleichbar.
Transformer: Parallele Sequenzverarbeitung via Self-Attention. Dominante Architektur ab 2017.
State-Space-Modelle (Mamba, S4, RWKV): Lineare Komplexität in Sequenzlänge, ernsthafte Alternative für sehr lange Kontexte.
xLSTM: Hochreiters 2024 Antwort auf moderne Architekturen mit erweiterten Gating- und Memory-Strukturen.

Weiter im KI-Lexikon

← Zurück zum Lexikon

Häufige Fragen

Was ist ein LSTM?+

LSTM steht für Long Short-Term Memory und ist eine 1997 von Sepp Hochreiter und Jürgen Schmidhuber publizierte rekurrente neuronale Netzwerkarchitektur. Sie löst das Problem verschwindender Gradienten in langen Sequenzen durch einen Zellzustand und Gating-Mechanismen, die Information selektiv speichern, lesen und vergessen. LSTMs dominierten Sequenzmodellierung von etwa 2014 bis zum Aufstieg des Transformers ab 2017.

Welche Gates hat ein LSTM?+

Ein klassisches LSTM hat drei Gates: das Forget Gate entscheidet, welche Information aus dem Zellzustand gelöscht wird, das Input Gate kontrolliert, welche neue Information aufgenommen wird, und das Output Gate steuert, welcher Anteil des Zellzustands als Ausgabe sichtbar wird. Alle Gates sind Sigmoid-Schichten mit Werten zwischen 0 und 1, die mit dem Zellzustand multipliziert werden.

Was ist der Cell State?+

Der Cell State ist die zentrale Innovation des LSTM: eine Art Förderband, auf dem Information mit minimalen multiplikativen Eingriffen durch die Zeit transportiert wird. Gradienten können entlang dieses Pfads über viele Zeitschritte fliessen, ohne zu verschwinden oder zu explodieren. Dadurch lernt das LSTM Abhängigkeiten über hunderte Schritte, was klassische RNNs nicht schaffen.

Was ist der Unterschied zwischen LSTM und GRU?+

GRU (Gated Recurrent Unit, Cho et al. 2014) ist eine vereinfachte LSTM-Variante mit nur zwei Gates (Update und Reset) und ohne separaten Cell State. GRUs haben weniger Parameter, trainieren schneller und liefern auf vielen Aufgaben vergleichbare Qualität. LSTM ist bei sehr langen Sequenzen und komplexen Mustern oft minimal überlegen, GRU bei Daten- und Rechen-Knappheit attraktiver.

Warum wurden LSTMs durch Transformer verdrängt?+

LSTMs verarbeiten Sequenzen seriell, Token für Token. Das verhindert Parallelisierung auf GPUs und macht Training auf langen Sequenzen extrem langsam. Transformer verarbeiten alle Tokens parallel via Self-Attention und können beliebige Distanzen direkt überbrücken. Ab 2017 verdrängten sie LSTMs in Übersetzung, Sprachmodellierung, Speech Recognition und allen anderen Bereichen.

Wofür werden LSTMs 2026 noch eingesetzt?+

LSTMs sind in produktiven NLP-Systemen weitgehend obsolet, bleiben aber relevant in Edge-Computing (geringer Speicherbedarf), Zeitreihen-Prognose, Spracherkennung mit geringer Latenz und in eingebetteten Systemen. Auch in der Forschung tauchen sie als Baseline oder als Komponente hybrider Architekturen auf. State-Space-Modelle wie Mamba übernehmen zunehmend das LSTM-Erbe für lange Sequenzen.

Was ist Bidirectional LSTM?+

Ein Bidirectional LSTM (BiLSTM) verarbeitet eine Sequenz parallel in beide Richtungen und konkateniert die Hidden States. Das ermöglicht jedem Schritt Zugriff auf vergangene und zukünftige Kontext-Information. BiLSTMs waren von 2015 bis 2018 Standard in Named Entity Recognition, Part-of-Speech Tagging und Sequence Labeling, ehe BERT sie verdrängte.

Wer hat LSTM erfunden?+

LSTM wurde 1997 von Sepp Hochreiter und Jürgen Schmidhuber publiziert, basierend auf Hochreiters Diplomarbeit von 1991, in der er das Problem verschwindender Gradienten in RNNs erstmals systematisch analysierte. Schmidhubers Gruppe am IDSIA in Lugano entwickelte später viele Erweiterungen, darunter das Forget Gate (Gers, Schmidhuber, Cummins 2000). Hochreiter forscht heute an der JKU Linz.

Quellen

Hochreiter and Schmidhuber (1997) Long Short-Term Memory
Gers, Schmidhuber, Cummins (2000) Learning to Forget
Greff et al. (2017) LSTM A Search Space Odyssey
Olah Understanding LSTM Networks (2015)

Wikidata: Q6673524 · Zuletzt geprüft: 2026-06-07