Foundation Model

Definition

Ein Foundation Model ist ein auf sehr breiten Daten in grossem Massstab vortrainiertes neuronales Netz, das als allgemeine Basis für vielfältige nachgelagerte Aufgaben dient. Der Begriff wurde 2021 vom Stanford Center for Research on Foundation Models (CRFM) im Bericht On the Opportunities and Risks of Foundation Models von Bommasani und Kollegen geprägt. Er fasst die ökonomische und technische Rolle dieser Modelle als Infrastruktur-Komponente, auf die viele spezialisierte Anwendungen aufbauen.

Im Unterschied zu engeren Begriffen wie LLM umfasst Foundation Model auch Modelle für Bild (Stable Diffusion, Imagen), Video (Sora, Veo), Audio (Whisper, MusicLM), Code (Codex, Code Llama), Robotik (RT-X, Octo) sowie Multi-Modal-Systeme, die mehrere dieser Modalitäten verbinden. Allen gemeinsam ist die breite Vorab-Trainings-Phase auf grossen, weitgehend ungelabelten Datensätzen, gefolgt von Anpassung an spezifische Aufgaben.

Mechanismus

Foundation Models entstehen durch drei skalierte Komponenten: grosse Modellarchitekturen (oft Transformer-basiert), riesige Trainingsdatensätze und massive Rechenkapazität. Das Pretraining nutzt typischerweise Self-Supervised Learning, das aus Rohdaten ohne menschliche Labels Signale extrahiert. Konkrete Pretraining-Aufgaben:

• Sprache: Next-Token-Prediction (GPT-Familie), Masked Language Modeling (BERT), Span Corruption (T5).
• Bild: Denoising Diffusion (Stable Diffusion), Vision-Language Contrastive Learning (CLIP), Masked Image Modeling (MAE).
• Audio: kontrastives Self-Supervised-Vortraining auf rohem Audio (wav2vec 2.0); Whisper dagegen weakly supervised als Encoder-Decoder auf gelabelten Audio-Transkript-Paaren.
• Multi-Modal: Kombination von Modalitäts-spezifischen Encodern mit gemeinsamem Sprach-Decoder.

Auf das Pretraining folgt in fast allen Fällen eine Anpassungsphase: Supervised Fine-Tuning, Instruction Tuning, RLHF oder Constitutional AI. Erst diese zweite Phase macht aus einem rohen Pretrainings-Modell ein nutzbares Produkt.

Bommasani et al. heben zwei zentrale Eigenschaften hervor: Homogenisierung (alle nachgelagerten Anwendungen erben die Stärken und Schwächen des Basismodells) und Emergenz (qualitativ neue Fähigkeiten erscheinen ab bestimmten Skalen). Beide Eigenschaften haben weitreichende ökonomische und sicherheitspolitische Konsequenzen.

Praxis

Der Frontier-Markt 2026 wird von wenigen Anbietern dominiert:

• OpenAI: GPT-4-Familie, Sora für Video, Codex.
• Anthropic: Claude-Familie, Vision integriert, Computer Use.
• Google DeepMind: Gemini, Veo, Imagen, Genie für Welt-Modelle.
• Meta: Llama als Open-Source-Frontier, SAM (Segment Anything Model) für Bild-Segmentierung.
• xAI: Grok-Familie.
• Mistral, Cohere, Qwen, DeepSeek: spezialisierte Anbieter.

In der Praxis nutzen Unternehmen Foundation Models meist via API oder durch Fine-Tuning von Open-Source-Varianten. Direktes Pretraining ist nur für die grössten Konzerne wirtschaftlich, weil ein einzelnes Frontier-Pretraining hunderte Millionen Dollar kosten kann. Die übliche Wertschöpfungskette: Foundation-Model-Anbieter trainiert das Basismodell, Anwendungsentwickler kombiniert es mit eigenen Daten, Tools und Logik zu einem Produkt.

Häufige Fehler

• Foundation Model mit LLM gleichsetzen: Bild-, Audio- und Multi-Modal-Modelle fallen ebenfalls darunter.
• Pretrained-Status mit Production-Readiness verwechseln: Rohe Pretrainings-Modelle sind ohne Alignment-Phase oft toxisch oder unbrauchbar.
• Lieferanten-Lock-in unterschätzen: Wer auf ein einzelnes Modell baut, ist Preis- und Verfügbarkeits-Änderungen ausgeliefert.
• Homogenisierungs-Risiko ignorieren: Wenn alle Konkurrenten dasselbe Modell nutzen, verschwindet ein Teil der Differenzierung.
• Compliance vernachlässigen: EU AI Act, NIS2 und Sektor-Regulierung stellen klare Anforderungen an Foundation-Model-Nutzung.

Abgrenzung

• Large Language Model: Spezialfall des Foundation Models, ausschliesslich Text.
• Pretrained Model: Oberbegriff für jedes vortrainierte Modell, schliesst auch kleinere Modelle ohne Foundation-Charakter ein.
• Generative Model: Modelle, die Daten generieren statt nur klassifizieren. Überschneidet sich stark mit Foundation Models, ist aber enger.
• Specialist Model: auf eine Aufgabe spezialisiertes Modell, oft aus Foundation Model fine-getunt.
• Frontier Model: politisch und technisch geprägter Begriff für die jeweils grössten Foundation Models, die regulatorische Aufmerksamkeit auf sich ziehen.