Agentic Relations
☰

Encoder-Decoder-Architektur

Neuronales Architektur-Schema mit zwei Teilen, in dem ein Encoder eine Eingabe in eine Repräsentation überführt und ein Decoder daraus eine Ausgabe erzeugt, häufig durch Cross-Attention verbunden.

Definition

Die Encoder-Decoder-Architektur ist ein neuronales Architektur-Schema mit zwei sequenziell verbundenen Teilen. Der Encoder transformiert eine Eingabe in eine interne Repräsentation, der Decoder erzeugt daraus eine Ausgabe. Die Repräsentation kann ein einzelner Vektor, eine Sequenz von Hidden States oder ein hierarchischer Feature-Stack sein. Cross-Attention oder Skip Connections verbinden die beiden Teile.

Das Schema ist eines der universellsten Muster im Deep Learning. Es taucht in maschineller Übersetzung, Bildsegmentierung, Spracherkennung, Diffusion-Modellen, Vision-Language-Modellen und vielen weiteren Domänen auf. Der Erfolg gründet in der klaren funktionalen Trennung: Verstehen versus Erzeugen, Kompression versus Dekompression, Wahrnehmung versus Handlung.

Architektur und Varianten

Encoder-Decoder lassen sich nach Domäne und Komponenten gruppieren:

  • RNN-basiert (Seq2Seq, 2014): Encoder und Decoder als LSTM oder GRU. Klassische Übersetzung, heute historisch.
  • Transformer-basiert (Original 2017, T5, BART): Encoder mit bidirektionaler Self-Attention, Decoder mit kausaler Self-Attention plus Cross-Attention. Standard in modernem NLP-Encoder-Decoder.
  • CNN-basiert (U-Net 2015, SegNet 2015): Encoder als Contracting Path mit Faltungen und Pooling, Decoder als Expanding Path mit Upsampling und Faltungen. Skip Connections übertragen lokale Details.
  • Hybride (BLIP, Flamingo): Vision-Encoder kombiniert mit Sprach-Decoder. Multimodale Modelle nutzen oft separat trainierte Encoder.
  • Diffusion-Modelle (Stable Diffusion, DALL-E): U-Net oder Transformer als Rückgrat, mit Text-Encoder als Conditioning-Komponente.

Geschichte

Konzeptuell beginnt das Encoder-Decoder-Schema bei Autoencodern: ein Encoder komprimiert Daten in einen latenten Raum, ein Decoder rekonstruiert sie. Geoffrey Hinton und Yann LeCun arbeiteten in den 1980ern an diesen Strukturen, Salakhutdinov und Hinton publizierten 2006 einflussreiche Arbeiten zu Deep Autoencodern.

2014 publizierten Cho et al. die RNN-Encoder-Decoder-Architektur für maschinelle Übersetzung, parallel Sutskever et al. die LSTM-Variante. 2014 erweiterte Bahdanau um Attention. 2015 publizierte Ronneberger U-Net für medizinische Bildsegmentierung. 2017 wurde der Transformer von Vaswani et al. als Encoder-Decoder vorgestellt, war ursprünglich für maschinelle Übersetzung gedacht.

2019 verschoben T5 (Raffel et al.) und BART (Lewis et al.) den Fokus auf vortrainierte Encoder-Decoder-Modelle. Ab 2020 setzten sich Decoder-only-LLMs (GPT-Serie, Claude, Llama) durch, womit Encoder-Decoder-Modelle in NLP an Boden verloren, in Vision, Speech und Multimodal aber weiterhin dominieren.

Praxis und Anwendung

Konkrete Modelle und Einsatzgebiete pro Domäne:

  • NLP: T5 für jede Text-to-Text-Aufgabe, BART für Zusammenfassung, mBART/NLLB für Übersetzung in 200 Sprachen, Pegasus für News-Summarization.
  • Computer Vision: U-Net und Nachfolger (nnU-Net, TransUNet) für medizinische Segmentierung, DeepLab und SegFormer für Szenen-Segmentierung.
  • Speech: Whisper als Encoder-Decoder-Transformer für Speech-to-Text in 99 Sprachen, Tacotron 2 und FastSpeech für Text-to-Speech.
  • Multimodal: BLIP-2, Flamingo, LLaVA als Vision-Encoder mit Sprach-Decoder.
  • Generative Modelle: Diffusion-Modelle wie Stable Diffusion und DALL-E nutzen U-Net oder DiT als Rückgrat, mit Text-Encoder für Conditioning.

In der Praxis bestimmt die Aufgabe die Wahl zwischen Encoder-Decoder und Decoder-only. Strukturierte Input-Output-Aufgaben profitieren von Encoder-Decoder, offene Generierung und Konversation oft von Decoder-only.

Häufige Fehler

  • Encoder-Decoder für reine Generierung wählen: Decoder-only ist meist einfacher, effizienter und im LLM-Zeitalter qualitativ überlegen für offene Textgenerierung.
  • Cross-Attention vergessen: Beim Custom-Training entsteht ein Encoder-Decoder ohne Cross-Attention faktisch zu zwei isolierten Modellen. Das Bindeglied muss explizit konstruiert werden.
  • Asymmetrie ignorieren: Encoder und Decoder müssen nicht gleich tief sein. Übersetzung profitiert oft von gleicher Tiefe, Zusammenfassung manchmal von tieferem Encoder.
  • Skip Connections in U-Net vergessen: Ohne Skip Connections verliert U-Net lokale Detail-Information, was Segmentierungsqualität massiv senkt.
  • Vortrainierte Modelle ohne Adaption nutzen: T5 und BART brauchen typischerweise Task-spezifisches Fine-Tuning. Zero-Shot-Leistung ist begrenzt.

Abgrenzung

  • Decoder-only Sprachmodelle: Kein expliziter Encoder, alles ist eine kausale Sequenz. Dominant in modernen LLMs.
  • Encoder-only Modelle (BERT, RoBERTa): Nur Verständnis und Klassifikation, keine generative Komponente.
  • Klassische Autoencoder: Encoder-Decoder ohne Conditioning, primär für Repräsentationslernen und Rekonstruktion.
  • Variational Autoencoder (VAE): Probabilistische Encoder-Decoder mit latentem Raum, in generativen Modellen verbreitet.
  • Diffusion-Modelle: Iterative Encoder-Decoder-Anwendung mit Noising und Denoising, dominante generative Architektur 2026.

Weiter im KI-Lexikon

← Zurück zum Lexikon

Häufige Fragen

Was ist eine Encoder-Decoder-Architektur?+

Eine Encoder-Decoder-Architektur besteht aus zwei neuronalen Teilen: der Encoder transformiert eine Eingabe in eine interne, oft dichte Repräsentation, der Decoder erzeugt daraus eine Ausgabe. Beide Teile können rekurrent, konvolutional oder auf Transformer-Basis realisiert werden. Das Schema ist die strukturelle Grundlage von Seq2Seq-Modellen, neuronaler Übersetzung und vielen Bildmodellen.

Wo wird das Encoder-Decoder-Schema überall eingesetzt?+

In NLP für Übersetzung, Zusammenfassung, Dialog und Code-Generierung (T5, BART, mBART). In Computer Vision für semantische Segmentierung (U-Net, SegNet). In Speech für Spracherkennung und Sprachsynthese (Whisper, Tacotron). In Vision-Language-Modellen (BLIP, Flamingo). In Diffusion-Modellen für Bildgenerierung. Das Schema ist eines der universellsten Designs des Deep Learnings.

Was ist Cross-Attention?+

Cross-Attention ist der Mechanismus, mit dem der Decoder im Transformer-Encoder-Decoder auf den Encoder-Output zugreift. Im Unterschied zur Self-Attention, die innerhalb einer Sequenz operiert, kommen Queries vom Decoder, Keys und Values vom Encoder. Cross-Attention ist Erbe der ursprünglichen Bahdanau-Attention von 2014 und das Bindeglied zwischen Encoder- und Decoder-Stack.

Welche Encoder-Decoder-Modelle dominieren NLP?+

T5 (Google, 2019) ist das prominenteste vortrainierte Encoder-Decoder-Modell und behandelt jede NLP-Aufgabe als Text-to-Text. BART (Meta, 2019) ist ein Denoising-Autoencoder. mBART und NLLB sind mehrsprachige Varianten. Pegasus ist auf Zusammenfassung spezialisiert. Im LLM-Zeitalter verlieren Encoder-Decoder-Modelle Marktanteile an Decoder-only-Modelle, bleiben aber in spezialisierten Aufgaben relevant.

Was ist U-Net?+

U-Net ist eine 2015 von Olaf Ronneberger publizierte Encoder-Decoder-Architektur für semantische Segmentierung in der medizinischen Bildverarbeitung. Der Encoder reduziert räumliche Auflösung und erhöht Feature-Tiefe, der Decoder kehrt diesen Prozess um. Skip Connections zwischen entsprechenden Schichten übertragen lokale Details. U-Net ist heute auch Rückgrat vieler Diffusion-Modelle.

Wann ist Encoder-Decoder besser als Decoder-only?+

Encoder-Decoder ist strukturell überlegen, wenn Input und Output klar getrennt sind, etwa bei Übersetzung oder Zusammenfassung. Der Encoder kann bidirektional über die Eingabe attendieren, der Decoder bleibt kausal. Decoder-only-Modelle müssen Input und Output in einer kausalen Sequenz behandeln, was etwas weniger flexibel ist. Praktisch dominieren Decoder-only-Modelle wegen Einfachheit und Skalierbarkeit.

Wie wird ein Encoder-Decoder-Modell vortrainiert?+

T5 nutzt Span Corruption: zufällige Spans werden im Encoder-Input maskiert, der Decoder muss sie rekonstruieren. BART nutzt verschiedene Noising-Strategien wie Token-Masking, Token-Deletion, Sentence-Permutation. Multilingual-Modelle wie mBART und mT5 trainieren auf hundert Sprachen gleichzeitig. Cross-Attention wird dabei explizit gelernt, was die spätere Generalisierung auf Sequence-to-Sequence-Aufgaben erleichtert.

Welche Geschichte hat das Encoder-Decoder-Schema?+

Das Schema geht auf Autoencoder zurück (Hinton, 1980er, Salakhutdinov 2006). Cho et al. publizierten 2014 die RNN-Encoder-Decoder-Architektur für maschinelle Übersetzung. Sutskever erweiterte parallel auf LSTM. Bahdanau führte Attention ein. 2015 publizierte Ronneberger U-Net. 2017 wurde der Transformer im Originalpaper als Encoder-Decoder vorgestellt. T5 (2019) und BART (2019) dominierten den NLP-Bereich, bevor Decoder-only-LLMs übernahmen.

Verwandte Begriffe

Quellen

  • Cho et al. (2014) Learning Phrase Representations using RNN Encoder-Decoder
  • Sutskever, Vinyals, Le (2014) Sequence to Sequence Learning with Neural Networks
  • Vaswani et al. (2017) Attention Is All You Need
  • Raffel et al. (2020) Exploring the Limits of Transfer Learning with T5

Zuletzt geprüft: 2026-07-02