LLM (Large Language Model)

Definition

Ein Large Language Model (LLM) ist ein neuronales Netzwerk mit typischerweise mehreren Milliarden bis Billionen Parametern, das auf riesigen Textkorpora vortrainiert wurde und natürliche Sprache verarbeiten kann. Im Kern sagt ein LLM das jeweils nächste Token (eine Wort- oder Sub-Wort-Einheit) auf Basis aller bisherigen Tokens vorher. Aus diesem einfachen Mechanismus emergiert die Fähigkeit, Texte zu generieren, zu klassifizieren, zu übersetzen, zu zusammenzufassen oder zu transformieren.

Der Begriff Large bezieht sich nicht nur auf die Parameterzahl, sondern auf das Zusammenspiel von drei Skalierungsachsen: Modellgrösse, Trainingsdaten-Volumen und Rechenaufwand. Die Skalierungsgesetze von Kaplan (2020) und Hoffmann (2022, Chinchilla) zeigen, dass diese drei Achsen proportional skaliert werden müssen, um optimale Modelle zu erhalten.

Architektur und Training

Praktisch alle modernen LLMs basieren auf der Transformer-Architektur (Vaswani et al., 2017). Der entscheidende Mechanismus ist Self-Attention, der es jedem Token erlaubt, auf alle anderen Tokens in der Eingabe zu attendieren. Decoder-only-Transformer (GPT, Claude, Llama) dominieren die Sprachgenerierung, während Encoder-only-Varianten (BERT) für Klassifikation und Embedding genutzt werden.

Der Trainingsablauf gliedert sich typischerweise in drei Stufen:

• Pretraining: Selbstüberwachtes Lernen auf Roh-Text via Next-Token-Prediction. Hier werden 90 Prozent der Trainingskosten investiert.
• Supervised Fine-Tuning (SFT): Anpassung an Instruktions-Befolgung und Format auf qualitativ kuratierten Beispielen.
• Alignment: Reinforcement Learning from Human Feedback (RLHF), Direct Preference Optimization (DPO) oder Constitutional AI zur Verhaltens-Ausrichtung an menschlichen Werten.

Anschliessend folgen Red-Teaming, Sicherheits-Evaluationen und ein gestaffelter Release.

Familien und Anbieter

Der Frontier-Markt 2026 ist von vier Anbietern dominiert:

• OpenAI: GPT-Familie, Function Calling, breite Multi-Modalität.
• Anthropic: Claude-Familie, Constitutional AI, lange Kontexte (200k Standard, 1M als Beta), Tool Use und MCP.
• Google DeepMind: Gemini-Familie, Mixture-of-Experts-Architektur, Integration in Workspace und Android.
• Meta: Llama-Familie als Open-Source-Frontier.

Daneben etablieren sich spezialisierte Anbieter wie Mistral (effiziente europäische Modelle), Cohere (Enterprise und Embeddings), Alibaba Qwen, DeepSeek und Perplexity (search-native).

Kontextfenster und Inferenz

Das Kontextfenster bestimmt, wie viele Tokens das Modell gleichzeitig sehen kann. 2026 sind 200k bis 2M Tokens bei Frontier-Modellen Standard, was ganze Codebasen oder Bücher in einer Anfrage verarbeitbar macht. Längere Fenster kosten überproportional Speicher und Latenz, weshalb effiziente Attention-Varianten (Flash Attention, Ring Attention) und Mixture-of-Experts kritisch sind.

Bei der Inferenz wird aus einer Wahrscheinlichkeitsverteilung gesampelt, gesteuert durch Temperature, Top-K und Top-P. Mit Temperature 0 wird das Sampling weitgehend deterministisch, bleibt aber durch Batch-Effekte und Floating-Point-Nichtdeterminismus nicht perfekt reproduzierbar.

Anwendungen

LLMs sind die zentrale Komponente der generativen KI-Welle:

• Konversationsagenten: ChatGPT, Claude, Gemini, Perplexity.
• Coding-Assistenten: GitHub Copilot, Cursor, Claude Code, Codex.
• Enterprise-Wissensarbeit: Zusammenfassung, Klassifikation, Übersetzung, Q-and-A über interne Dokumente.
• Agentische Systeme: Tool-using Agents, Multi-Agent-Orchestrierung, automatisierte Recherche.
• Embeddings und Retrieval: semantische Suche, RAG-Pipelines, Clustering.

Häufige Fehler

• Halluzinationen ignorieren: LLMs erfinden plausibel klingende, aber falsche Fakten. Grounding und Citations sind Pflicht für produktive Systeme.
• Modell-Overprovisioning: Frontier-Modelle für simple Klassifikationen einsetzen, statt kleinere Modelle oder Distillation zu nutzen.
• Fehlende Evaluation: ohne Eval-Set fliegt das Produkt blind. RAGAS, TruLens, Anthropic Evals sind etablierte Werkzeuge.
• Prompt-Injection unterschätzen: unkontrollierte Nutzereingaben können System-Prompts überschreiben. Defense-in-Depth ist nötig.
• Privacy-Annahmen: Daten in Cloud-APIs können je nach Anbieter und Tier zu Trainings verwendet werden. Enterprise-Tiers oder On-Premise-Modelle sind die Lösung.

Abgrenzung

• Sprachmodell allgemein: umfasst auch klassische n-Gramm- und RNN-Modelle. LLM ist die heutige, transformerbasierte Generation.
• Foundation Model: Oberbegriff, der auch Bild-, Audio- und Video-Modelle einschliesst. Jedes LLM ist ein Foundation Model, nicht umgekehrt.
• SLM (Small Language Model): dieselbe Architektur, aber unter circa 10 Milliarden Parametern, optimiert für lokales Inferencing.
• Agent: ein System, das ein LLM mit Tools, Memory und Planung kombiniert. Das LLM ist nur der Reasoning-Kern.