GPT-4

Definition

GPT-4 (Generative Pre-trained Transformer 4) ist ein multimodales Sprachmodell von OpenAI, das im März 2023 veröffentlicht wurde. Es war zum Erscheinungszeitpunkt das mit Abstand stärkste verfügbare LLM und definierte über mehrere Iterationen hinweg das obere Ende des Marktes. GPT-4 versteht Text und Bilder als Eingabe und produziert Text als Ausgabe, mit massiv verbesserter Konsistenz, Reasoning-Fähigkeit und Sicherheits-Alignment gegenüber dem Vorgänger GPT-3.5.

OpenAI hat im technischen Bericht weder Modellgrösse noch Trainingsdaten offengelegt. Schätzungen aus Branchen-Leaks und Reverse-Engineering legen eine Grössenordnung von 1 bis 1.8 Billionen Parametern mit Mixture-of-Experts-Architektur nahe, wobei pro Forward-Pass nur ein Teil der Experten aktiv ist. Diese Strategie erlaubt grosse Kapazität ohne entsprechend grosse Inferenz-Kosten.

Mechanismus

GPT-4 basiert auf der Decoder-only-Transformer-Architektur, die OpenAI seit GPT-1 verfolgt. Die wesentlichen Schritte des Trainings:

• Pretraining: Selbstüberwachtes Lernen via Next-Token-Prediction auf einem Multi-Terabyte-Textkorpus, ergänzt um Bild-Text-Paare für Vision.
• Supervised Fine-Tuning: Instruktionsbefolgung auf kuratierten Beispielen.
• Reinforcement Learning from Human Feedback (RLHF): Verhaltens-Alignment via Reward-Modell und Policy-Gradient.
• Red Teaming und Safety Evaluations: mehrere Monate vor Release.

Die Vision-Fähigkeit wurde durch einen separaten Bild-Encoder integriert, dessen Ausgabe in den Sprach-Kontext eingespeist wird. In GPT-4o (omni, Mai 2024) wurde diese Trennung aufgehoben: ein einziges Modell verarbeitet Text, Bild und Audio nativ, was Echtzeit-Sprach-Interaktion ermöglicht.

Die Reasoning-Modelle o1, o3 und o4-mini nutzen einen anderen Ansatz: sie führen Chain-of-Thought intern aus, trainiert mit Reinforcement Learning auf Mathematik- und Code-Reasoning. Sie sind technisch eine eigene Familie und nicht direkte GPT-4-Varianten, werden aber von OpenAI parallel angeboten.

Praxis

GPT-4 ist die Engine hinter zahlreichen Konsumenten- und Enterprise-Anwendungen:

• ChatGPT: Konsumenten-Interface mit über 500 Millionen wöchentlichen Nutzern.
• Microsoft Copilot: Integration in Office 365, Windows, Bing.
• GitHub Copilot: Coding-Assistent für Millionen Entwickler.
• OpenAI API: direkte Nutzung in Custom-Anwendungen, abgerechnet pro Token.

Die Preisstruktur: GPT-4o liegt seit der Preissenkung im August 2024 bei 2.50 Dollar pro Million Input-Tokens und 10 Dollar pro Million Output-Tokens. GPT-4o mini ist mit 0.15 und 0.60 Dollar deutlich günstiger und für High-Volume-Anwendungen attraktiv. Prompt-Caching senkt Input-Kosten um 50 Prozent. Batch-API liefert 50 Prozent Rabatt bei asynchroner Verarbeitung.

Funktionen wie Function Calling, JSON-Mode, Structured Outputs und Vision sind 2026 Standard. Der GPT Store ermöglicht Custom-GPTs (die früheren ChatGPT-Plugins wurden im April 2024 abgeschaltet), Assistants API erlaubt Multi-Turn-Workflows mit persistentem State. Realtime API ermöglicht Voice-Interaktion mit unter 500 ms Latenz.

Häufige Fehler

• GPT-4 als deterministisch annehmen: auch bei Temperature 0 sind kleine Varianzen möglich. Reproduzierbarkeit muss explizit getestet werden.
• Function Calling falsch validieren: Schema-Validierung gegen JSON Schema ist Pflicht, das Modell halluziniert gelegentlich Felder.
• Privacy-Annahmen: Daten in der Consumer-ChatGPT können in Trainings einfliessen. Enterprise-Tier oder API mit aktivem Data Opt-out nutzen.
• Vendor-Lock-in: API-Schnittstellen wechseln in Frameworks wie LangChain oder LiteLLM sind die Versicherung gegen Anbieter-Wechsel.
• Reasoning-Modelle für Standard-Tasks: o1 und o3 sind teuer und langsam, für einfache Klassifikationen ist GPT-4o mini effizienter.

Abgrenzung

• GPT-3.5: Vorgängermodell, deutlich schwächer in Reasoning, aber günstiger.
• Claude (Anthropic): Hauptkonkurrent, stärker in langen Kontexten und Sicherheit.
• Gemini (Google): Hauptkonkurrent, stärker in nativer Multimodalität und Tool-Integration.
• Llama (Meta): Open-Source-Konkurrent, vergleichbar bei kleineren Aufgaben, geringere Frontier-Performance.
• o1, o3, o4-mini: OpenAI-Reasoning-Modelle, technisch eigene Familie, oft mit GPT-4 verwechselt.