Transformer (Architektur)

Definition

Der Transformer ist eine neuronale Netzwerkarchitektur, die 2017 von Vaswani et al. in der Publikation Attention Is All You Need vorgestellt wurde. Sie unterscheidet sich fundamental von ihren Vorgängern (RNNs, LSTMs, CNNs) dadurch, dass sie ausschliesslich auf dem Self-Attention-Mechanismus und Feed-Forward-Schichten basiert. Rekurrenz und Faltung werden vollständig eliminiert.

Diese Architektur erlaubt massive Parallelisierung beim Training, weil alle Tokens einer Sequenz gleichzeitig verarbeitet werden können, und löst gleichzeitig das Problem langer Abhängigkeiten: jedes Token kann via Attention direkt auf jedes andere zugreifen, unabhängig von der Distanz. Praktisch alle modernen Sprachmodelle, von BERT über GPT bis Claude und Gemini, basieren auf dieser Architektur.

Architektur

Ein Transformer ist aus gestapelten Transformer-Blöcken aufgebaut. Jeder Block kombiniert die folgenden Komponenten:

• Multi-Head Self-Attention: Mehrere parallele Attention-Köpfe, die jeweils Query-, Key- und Value-Projektionen lernen.
• Feed-Forward Network (FFN): Zwei lineare Schichten mit einer nichtlinearen Aktivierung dazwischen, klassisch ReLU, heute GELU oder SwiGLU.
• Residual Connections: Jede Sub-Schicht hat einen Skip-Pfad, der Gradientenfluss in tiefen Netzen ermöglicht.
• Layer Normalization: Pre-LayerNorm (vor jeder Sub-Schicht) hat sich gegenüber dem ursprünglichen Post-LayerNorm durchgesetzt.

Moderne LLMs stapeln 12 bis 96 solcher Blöcke. Claude und GPT-4 nutzen schätzungsweise 80 bis 120 Schichten in ihren grössten Varianten.

Varianten

Drei strukturelle Hauptvarianten haben sich etabliert:

• Encoder-only (BERT, RoBERTa, DeBERTa): Bidirektionale Attention, optimiert für Verständnis und Klassifikation. Dominant bei Embeddings, NER und Sentiment-Analyse.
• Decoder-only (GPT, Claude, Llama, Mistral): Kausal-maskierte Attention, autoregressive Generierung. Dominante Architektur des LLM-Zeitalters.
• Encoder-Decoder (T5, BART, Originaler Transformer): Spezialisiert auf Sequence-to-Sequence-Aufgaben wie Übersetzung, Zusammenfassung, Code-Generierung mit klarem Input-Output-Schnitt.

Mixture-of-Experts (MoE) ist eine orthogonale Erweiterung: statt eines dichten FFN werden mehrere Experten parallel betrieben, aber pro Token nur wenige aktiviert. Mixtral, Gemini und vermutlich GPT-4 nutzen MoE.

Positional Encodings

Self-Attention ist permutationsinvariant. Damit das Modell Reihenfolge versteht, werden Positional Encodings addiert oder rotiert. Drei Verfahren dominieren:

• Sinusoidal (Vaswani): Fixe sinusoidale Funktionen, ursprüngliche Variante.
• Learned Positional Embeddings: Trainierbare Vektoren pro Position, in BERT verbreitet.
• Rotary Position Embedding (RoPE): Rotiert Query- und Key-Vektoren in Abhängigkeit der Position, ermöglicht bessere Extrapolation. Standard in modernen Modellen (Llama, Mistral).
• ALiBi: Linearer Bias auf Attention-Scores, ermöglicht Längen-Extrapolation ohne Re-Training.

Skalierungseffekte und Effizienz

Die quadratische Skalierung der Attention in Kontextlänge ist die zentrale Engineering-Herausforderung. Lösungsansätze:

• Flash Attention: Speichereffiziente, IO-optimierte Berechnung. De-facto-Standard seit 2022.
• Sliding Window Attention: Lokale Attention plus globale Tokens, in Mistral und Longformer verbreitet.
• Mixture-of-Experts: Skaliert Parameter ohne lineare Inferenz-Kosten.
• State-Space-Modelle (Mamba, RWKV): Lineare Skalierung in Sequenzlänge, ernsthafte Alternative für sehr lange Kontexte.

Praxis

Transformer werden in der Praxis fast immer via Hugging Face Transformers, PyTorch oder JAX implementiert. Für Inferenz dominieren vLLM, TensorRT-LLM und SGLang. Cloud-Anbieter bieten Managed-Endpoints für die grössten Modelle, lokale Inferenz erfolgt über Ollama, LM Studio oder llama.cpp.

Häufige Fehler

• Encoder-Decoder für reine Generierung wählen: Decoder-only-Modelle sind effizienter und qualitativ überlegen für autoregressive Tasks.
• Positional Encoding ignorieren: Beim Custom-Training entstehen schwer auffindbare Bugs, wenn Positions-Information fehlt.
• Pre-LayerNorm versus Post-LayerNorm verwechseln: Post-LayerNorm braucht Warmup, Pre-LayerNorm ist robuster und heute Standard.
• Quadratische Komplexität unterschätzen: lange Kontexte ohne Flash Attention oder Sliding Window sprengen Speicher.
• Attention-Heads gleichsetzen: unterschiedliche Köpfe lernen unterschiedliche Funktionen, was bei Analyse und Pruning relevant ist.

Abgrenzung

• RNN und LSTM: Vorgänger des Transformers, sequenziell statt parallel, weitgehend verdrängt.
• CNN: in der Sprachverarbeitung historisch wichtig (ConvNet-Varianten), heute marginal.
• State-Space-Modelle (Mamba, RWKV): alternative Architektur mit linearer Komplexität, in Frontier-Anwendungen noch Nische.
• Mixture-of-Experts: Erweiterung des Transformers, kein eigener Architektur-Typ.