Seq2Seq (Sequence-to-Sequence)

Definition

Seq2Seq (Sequence-to-Sequence) ist ein architektonisches Paradigma des maschinellen Lernens, in dem eine Eingabe-Sequenz beliebiger Länge auf eine Ausgabe-Sequenz beliebiger Länge abgebildet wird. Das klassische Setup besteht aus einem Encoder, der die Eingabe in eine interne Repräsentation komprimiert, und einem Decoder, der daraus autoregressiv die Ausgabe generiert.

Seq2Seq wurde 2014 zur dominanten Architektur für maschinelle Übersetzung, Zusammenfassung, Dialog und Sprachgenerierung. Mit der Erweiterung um Attention (Bahdanau et al. 2014) wurde das Paradigma zum direkten Vorläufer des Transformers, der 2017 die rekurrenten Komponenten ersetzte, das Encoder-Decoder-Schema aber beibehielt.

Architektur

Das klassische Seq2Seq-Modell hat zwei Komponenten:

• Encoder: Liest die Eingabe-Sequenz Token für Token mit einem rekurrenten Netzwerk (LSTM oder GRU). Am Ende der Sequenz steht ein Kontext-Vektor, der die gesamte Eingabe repräsentiert. In bidirektionalen Varianten wird die Sequenz parallel in beide Richtungen gelesen.
• Decoder: Startet mit dem Encoder-Kontext und einem Start-Token (BOS). Generiert autoregressiv Token für Token, jeder neue Token wird als Input für den nächsten Schritt verwendet. Stoppt bei einem End-Token (EOS) oder maximaler Länge.

Im Original-Setup von Sutskever et al. wurde der Encoder-Endzustand direkt als Decoder-Startzustand verwendet. Bahdanau erweiterte um Attention: pro Decoder-Schritt wird ein gewichteter Mittelwert aller Encoder-Hidden-States berechnet, was den Bottleneck eines einzelnen Kontext-Vektors auflöst.

Geschichte

Vor 2014 dominierte Statistical Machine Translation (SMT, z. B. Moses) die Übersetzung. Sie kombinierte Phrase-Tabellen, Sprachmodelle und manuell entworfene Features. 2014 publizierten Sutskever, Vinyals und Le auf NeurIPS Sequence to Sequence Learning with Neural Networks und zeigten, dass ein einfaches LSTM-Encoder-Decoder-Setup mit ausreichend Daten SMT übertreffen kann.

Im gleichen Jahr publizierte Kyunghyun Cho mit Yoshua Bengio Learning Phrase Representations using RNN Encoder-Decoder und führte das Konzept der RNN-Encoder-Decoder-Architektur ein. Wenig später folgten Bahdanau, Cho und Bengio mit Attention, was das Bottleneck-Problem löste.

2016 ersetzte Google in Google Translate sein SMT-System durch ein Seq2Seq-System mit Attention (GNMT). Das war einer der frühesten produktiven Einsätze neuronaler Übersetzung im grossen Massstab. 2017 ersetzte der Transformer die rekurrenten Komponenten, blieb aber im klassischen Encoder-Decoder-Schema. T5, BART und andere bauen direkt darauf auf.

Praxis und Anwendung

Seq2Seq-Modelle werden heute fast ausschliesslich auf Transformer-Basis implementiert:

• T5 (Google): Behandelt jede NLP-Aufgabe als Seq2Seq, von Klassifikation bis Übersetzung.
• BART (Meta): Denoising-Autoencoder für Generierung, stark in Zusammenfassung.
• mBART und NLLB: Mehrsprachige Modelle für massiv multilinguale Übersetzung.
• Pegasus: Speziell für abstraktive Zusammenfassung optimiert.
• Whisper (OpenAI): Seq2Seq für Speech-to-Text in vielen Sprachen.
• Code Models (T5-basiert): Code-Generierung, Übersetzung zwischen Programmiersprachen.

Klassische Aufgabenbereiche: maschinelle Übersetzung, Zusammenfassung, Dialog, Frage-Antwort, semantisches Parsing, Speech-to-Text und Text-to-Speech, Daten-zu-Text. Im LLM-Zeitalter verschiebt sich Seq2Seq teils zu Decoder-only-Modellen mit Prompting, bleibt aber für strukturierte Aufgaben relevant.

Häufige Fehler

• Bottleneck unterschätzen: Seq2Seq ohne Attention versagt bei langen Sequenzen. Attention oder Transformer sind heute Pflicht.
• Teacher Forcing einseitig nutzen: Exposure Bias führt zu Drift bei langen Generationen. Scheduled Sampling oder Reinforcement-Learning-basiertes Fine-Tuning helfen.
• Greedy Decoding statt Beam Search: Bei strukturierten Ausgaben wie Übersetzung verbessert Beam Search (typisch 4 bis 10) die Qualität deutlich. Sampling-Methoden für offene Generierung.
• Sequenzlänge ignorieren: Sehr lange Eingaben oder Ausgaben sprengen Speicher und Qualität. Chunking, hierarchische Modelle oder Lange-Kontext-Transformer sind nötig.
• Encoder und Decoder mit derselben Architektur: Aufgabenabhängig können asymmetrische Designs (z. B. tieferer Decoder) bessere Ergebnisse liefern.

Abgrenzung

• Decoder-only Sprachmodelle (GPT, Claude, Llama): Kein expliziter Encoder, alles wird als Fortsetzung einer Sequenz behandelt. Dominant in LLMs.
• Encoder-only Modelle (BERT, RoBERTa): Optimiert für Verständnis und Klassifikation, nicht für Generierung.
• Klassisches SMT: Phrase-basierte statistische Übersetzung, bis etwa 2016 dominant, dann verdrängt.
• Transformer mit Encoder-Decoder (T5, BART): Moderne Inkarnation des Seq2Seq-Prinzips ohne Rekurrenz.
• CTC und ASR-spezifische Architekturen: Alternative für monotone Alignments wie Spracherkennung, oft komplementär zu Seq2Seq.