Pre-Training

Initiale Trainingsphase grosser KI-Modelle auf breiten, unannotierten Daten, in der Modelle Sprache, Bild oder multimodale Strukturen lernen, bevor sie für spezifische Aufgaben feinjustiert werden.

Definition

Pre-Training (deutsch Vortraining) bezeichnet die initiale Trainingsphase grosser KI-Modelle, in der ein Modell auf breiten, oft unannotierten Daten allgemeine statistische Strukturen der Eingabedomäne lernt. Bei Sprachmodellen ist dies typischerweise Next-Token-Prediction auf grossen Text-Korpora, bei Bildmodellen Bild-Text-Korrespondenz oder Diffusion, bei multimodalen Modellen kombinierte Ziele über Modalitäten hinweg. Pre-Training liefert das Foundation Model, dessen allgemeine Fähigkeiten anschliessend durch Fine-Tuning, Instruction-Tuning, RLHF oder Adapter für spezifische Aufgaben spezialisiert werden.

Der Begriff Pre-Training entstand in der Sprachverarbeitung mit Word2Vec (Mikolov et al., 2013), ELMo (Peters et al., 2018) und BERT (Devlin et al., 2018) und beschreibt heute ein universelles Paradigma: Erst breit lernen, dann fokussiert anpassen.

Geschichte

Frühe Pre-Training-Ideen gehen auf unüberwachte Repräsentations-Lernverfahren der 2000er zurück, etwa Restricted Boltzmann Machines (Hinton, 2006) und Stacked Autoencoders. Word2Vec (2013) zeigte, dass aus reinen Ko-Vorkommen wertvolle semantische Repräsentationen entstehen. ELMo, BERT und GPT etablierten ab 2018 das Pre-Train-then-Fine-Tune-Paradigma in der modernen NLP.

GPT-2 (2019) und GPT-3 (2020) demonstrierten, dass reines Pre-Training auf grossen Korpora bereits beeindruckende Few-Shot-Fähigkeiten erzeugt. Die Skalierungsgesetze von Kaplan et al. (2020) und die Korrekturen durch Hoffmann et al. (2022, Chinchilla) bilden bis heute die quantitative Basis für Pre-Training-Strategien. Llama (Meta, 2023), Mistral und Falcon zeigten, dass Open-Source-Pre-Training konkurrenzfähig ist.

In der Computer Vision setzten sich Pre-Training-Verfahren mit Modellen wie SimCLR, MAE und DINO durch. Multimodale Modelle wie CLIP (2021), Flamingo und Gemini lernen Sprache und Bild gemeinsam vor.

Mechanismus

Pre-Training folgt einem klassischen Schema:

Datenakquise und Filterung: Sammlung grosser Korpora aus Common Crawl, Wikipedia, Büchern, Code und Spezialquellen, anschliessend Filterung, Deduplikation und Toxic-Content-Entfernung.
Tokenisierung: Texte werden in Tokens zerlegt (Byte-Pair-Encoding, SentencePiece, Tiktoken).
Modellarchitektur: Meist Transformer-Decoder (GPT-Familie), Transformer-Encoder (BERT) oder Encoder-Decoder (T5).
Trainingsziel: Next-Token-Prediction, Masked Language Modeling oder Span-Corruption.
Optimierung: Adam-W mit Lernraten-Warmup und Decay, oft mit Gradient-Checkpointing und Mixed-Precision auf TPU- oder GPU-Clustern.
Skalierung: Datenparallelität, Modellparallelität und Pipeline-Parallelität verteilen die Last über tausende Beschleuniger.

Die Trainingszeit kann Wochen bis Monate dauern. Loss-Kurven, Validierungs-Benchmarks und Eval-Suiten überwachen den Fortschritt.

Praxis und Anwendung

Pre-Training ist die Basis aller modernen Foundation Models:

Sprachmodelle: GPT-4, Claude 4, Gemini, Llama, Mistral, Qwen.
Bildmodelle: Stable Diffusion, Imagen, Midjourney, FLUX.
Code-Modelle: Codex, Code Llama, DeepSeek Coder, vortrainiert auf Code-Korpora.
Multimodale Modelle: Gemini, GPT-4V, Claude 3, integrieren Text, Bild, Audio und Video.
Domänen-spezifische Pre-Trainings: BioBERT, FinBERT, Galactica für Wissenschaft, Medizin und Finanzen.

Foundation Models werden anschliessend durch Instruction-Tuning, RLHF (Reinforcement Learning from Human Feedback) oder Constitutional AI an Hilfsbereitschaft, Sicherheit und Stilrichtlinien angepasst. Die Trennung zwischen Pre-Training und Post-Training ist heute kanonisch.

Häufige Fehler

Pre-Training und Fine-Tuning verwechseln: Pre-Training liefert breite Fähigkeiten, Fine-Tuning passt sie an. Wer nur fine-tuned, ist auf Qualität des Foundation Models angewiesen.
Datenqualität unterschätzen: Müll-Daten erzeugen Müll-Modelle. Filterung, Deduplikation und Diversität sind entscheidend.
Skalierungsgesetze ignorieren: Mehr Parameter ohne mehr Daten bringt suboptimale Modelle. Chinchilla-Verhältnis (etwa 20 Tokens pro Parameter) bleibt Faustregel.
Datenkontamination übersehen: Wenn Test-Benchmarks im Training enthalten sind, wirken Modelle besser als sie sind.
Urheberrecht und PII unterschätzen: Trainingsdaten enthalten urheberrechtlich geschützte Werke und personenbezogene Daten, was rechtliche Risiken erzeugt (siehe NYT vs OpenAI, Getty vs Stability AI).

Abgrenzung

Fine-Tuning: Anschliessende Anpassung an spezifische Aufgaben mit kleineren Datensätzen.
RLHF und Instruction-Tuning: Spezialisierte Post-Training-Phasen, kein Pre-Training.
In-Context-Learning: Nutzung vorhandener Pre-Training-Fähigkeiten zur Inferenzzeit, ohne Gewichtsanpassung.
Continued Pre-Training: Fortsetzung des Pre-Trainings auf domänenspezifischen Daten, Zwischenstufe zwischen Pre-Training und Fine-Tuning.
From-Scratch-Training: Training ohne Pre-Training, heute nur noch für sehr kleine oder spezialisierte Modelle üblich.

Weiter im KI-Lexikon

← Zurück zum Lexikon

Häufige Fragen

Was ist Pre-Training?+

Pre-Training (deutsch Vortraining) ist die initiale Trainingsphase grosser KI-Modelle, in der ein Modell auf breiten, oft unannotierten Daten lernt, statistische Strukturen der Eingabedomäne zu erfassen. Bei Sprachmodellen geschieht dies durch Next-Token-Prediction auf Internet-Korpora. Pre-Training liefert die allgemeinen Fähigkeiten, die anschliessend durch Fine-Tuning, RLHF oder Adapter spezialisiert werden.

Welche Trainingsziele werden im Pre-Training verwendet?+

Bei autoregressiven Sprachmodellen (GPT, Llama, Claude) wird Next-Token-Prediction verwendet, bei maskierten Modellen (BERT) Masked Language Modeling. Encoder-Decoder-Modelle (T5) nutzen Span-Corruption. Multimodale Modelle kombinieren Bild-Text-Kontrastive Ziele (CLIP) oder maskierte Vorhersage über Modalitäten. Diffusionsmodelle lernen, Rauschen schrittweise zu entfernen.

Wie gross sind Pre-Training-Datensätze?+

Moderne Sprachmodelle werden auf hunderten Milliarden bis Billionen Tokens trainiert. GPT-3 nutzte etwa 300 Milliarden Tokens, Llama 3 etwa 15 Billionen, Gemini Ultra deutlich mehr. Quellen sind Common Crawl, Wikipedia, Bücher, GitHub, wissenschaftliche Publikationen und kuratierte Spezialkorpora. Qualität und Filterung der Daten sind kritisch.

Was sind die Chinchilla-Skalierungsgesetze?+

Hoffmann et al. (2022) zeigten, dass viele frühere Modelle relativ zur Modellgrösse unterTrained waren. Optimal sollte das Verhältnis Tokens zu Parametern etwa 20:1 betragen. Diese Erkenntnis veränderte die Trainingsstrategie: Statt grösserer Modelle mit gleichen Daten werden seitdem mehr Tokens auf moderater Modellgrösse trainiert, was effizientere Modelle wie Llama und Mistral ermöglichte.

Was kostet Pre-Training?+

Pre-Training grosser Modelle ist extrem teuer. Schätzungen für GPT-4 liegen zwischen 50 und 100 Millionen Dollar, Llama 3.1 405B bei etwa 60 bis 100 Millionen Dollar, Gemini Ultra ähnlich. Kosten setzen sich aus Compute (GPU/TPU-Stunden), Energie, Daten-Beschaffung und -Aufbereitung sowie Personal zusammen. Dieser Aufwand ist der Hauptgrund für Marktkonzentration.

Wie unterscheidet sich Pre-Training von Fine-Tuning?+

Pre-Training erfolgt einmalig auf grossen, unspezifischen Daten und liefert ein Foundation Model mit breiten Fähigkeiten. Fine-Tuning passt dieses Modell anschliessend an spezifische Aufgaben oder Stilrichtlinien an, mit deutlich kleineren Datensätzen und niedrigeren Lernraten. RLHF und Instruction-Tuning sind spezialisierte Fine-Tuning-Phasen.

Was sind Emergent Capabilities?+

Emergent Capabilities sind Fähigkeiten, die in kleinen Modellen nicht beobachtbar sind und ab einer bestimmten Skalengrenze plötzlich auftreten. Beispiele sind mehrstufiges Reasoning, Few-Shot-Lernen oder Chain-of-Thought. Die Existenz und Interpretation ist umstritten (Schaeffer et al., 2023, argumentieren, sie seien Artefakte der Metriken).

Was sind Risiken im Pre-Training?+

Verzerrte oder toxische Trainingsdaten, Urheberrechtsfragen, Datenkontamination (Test-Sets im Training), Datenschutzverletzungen (PII in Trainingsdaten), Memorierung wörtlicher Passagen und Sicherheitsrisiken durch Backdoor-Daten. Anbieter dokumentieren Datenherkunft und Filterung zunehmend in Model Cards.

Quellen

Vaswani et al. (2017), Attention Is All You Need
Brown et al. (2020), Language Models are Few-Shot Learners
Hoffmann et al. (2022), Training Compute-Optimal Large Language Models

Wikidata: Q124149651 · Zuletzt geprüft: 2026-06-07