Training

Prozess, in dem ein KI-Modell aus Daten die Parameter lernt, die seine Vorhersagen oder Generierungen steuern, zentraler Schritt jedes Machine-Learning-Workflows.

Definition

Training ist der Prozess, in dem ein Machine-Learning-Modell aus Trainingsdaten die Parameter lernt, die sein Verhalten steuern. Ziel ist es, eine Funktion zu finden, die gegebene Eingaben möglichst gut auf gewünschte Ausgaben abbildet, gemessen an einer Verlustfunktion.

Im Trainingsschritt durchläuft der Lernalgorithmus Trainingsbeispiele, berechnet die Modellausgabe, vergleicht sie mit der gewünschten Ausgabe und passt die Parameter so an, dass die Differenz im Mittel sinkt. Dieser Schritt wiederholt sich über viele Iterationen und Datendurchläufe.

Die Qualität des Trainings entscheidet wesentlich über die Qualität des Modells, ist aber nur ein Glied einer Kette aus Datenkuration, Architekturwahl, Trainingsverfahren, Evaluation und Deployment.

Mechanismen und Paradigmen

Trainingsverfahren lassen sich nach mehreren Achsen ordnen:

Supervised Learning: Modell lernt aus Eingabe-Ausgabe-Paaren, z.B. Bild und Klassenlabel.
Unsupervised Learning: Modell findet Struktur in Daten ohne Labels, z.B. Clustering, Dimensionsreduktion.
Self-Supervised Learning: Labels werden aus den Daten selbst abgeleitet, z.B. Maskierung von Wörtern in Texten. Dominiert das Pretraining grosser Sprachmodelle.
Reinforcement Learning: Modell lernt durch Interaktion mit einer Umgebung, gesteuert durch Belohnungssignale. Grundlage von AlphaGo, RLHF und vielen Robotik-Anwendungen.

Moderne grosse Modelle kombinieren typischerweise Self-Supervised Pretraining auf grossen Korpora mit Supervised Finetuning auf gezielten Datensätzen und einem abschliessenden RLHF- oder Constitutional-AI-Schritt zur Anpassung an menschliche Präferenzen und Sicherheitsanforderungen.

Praxis und Anwendung

Ein typischer Trainings-Workflow umfasst:

Datenaufbereitung: Sammeln, Säubern, Annotieren, Splitten in Trainings-, Validierungs- und Testdaten.
Architekturwahl: Auswahl oder Design des Modells (lineares Modell, CNN, Transformer).
Hyperparameter: Lernrate, Batch-Grösse, Anzahl Epochen, Regularisierung.
Training: Iterative Anpassung der Parameter mit Gradient Descent oder Varianten.
Validierung: Beurteilung auf Validierungsdaten, ggf. Hyperparameter-Anpassung.
Testen: Abschlussbewertung auf nie gesehenen Testdaten.
Deployment: Bereitstellung als API, App oder Embedded System.

Bei grossen Modellen kommen zusätzlich verteilte Trainings-Infrastrukturen (Datenparallelität, Modellparallelität, Pipeline-Parallelität) und sorgfältige Daten-Pipelines zum Einsatz.

Häufige Fehler

Data Leakage: Information aus Testdaten gelangt in Trainingsdaten, führt zu überoptimistischen Metriken.
Falsche Splits: Zeitliche Korrelationen oder doppelte Datenpunkte verletzen die Annahme unabhängiger Verteilung.
Übersehen von Bias: Unausgewogene Trainingsdaten führen zu diskriminierenden Modellen.
Premature Stopping: Zu frühes Beenden des Trainings führt zu Underfitting.
Verspätetes Stopping: Zu langes Training ohne Regularisierung führt zu Overfitting.
Hyperparameter-Tuning auf Testdaten: Verletzt die Trennung zwischen Modellauswahl und Endbewertung.
Ignorieren der Daten-Drift: Modelle veralten in dynamischen Umgebungen, regelmässiges Retraining ist Pflicht.

Abgrenzung

Inferenz: Anwendung des trainierten Modells auf neue Daten, ohne Parameteranpassung.
Finetuning: Spezialfall des Trainings auf vortrainierten Modellen mit kleineren Datenmengen.
In-Context Learning: Bei Sprachmodellen die Fähigkeit, aus Beispielen im Prompt zu lernen, ohne dass Parameter aktualisiert werden.
Evaluation: Messung der Modellqualität, getrennt vom Training selbst.
Daten-Engineering: Aufbau der Datenpipelines, oft der grössere Teil eines ML-Projekts.

Weiter im KI-Lexikon

← Zurück zum Lexikon

Häufige Fragen

Was ist Training in der KI?+

Training bezeichnet den Prozess, in dem ein KI-Modell aus Trainingsdaten lernt. Dabei werden die Modellparameter so angepasst, dass eine Verlustfunktion minimiert wird, die den Unterschied zwischen Vorhersage und gewünschter Ausgabe misst. Das Ergebnis ist ein Modell, das auf neuen Daten möglichst gute Vorhersagen oder Generierungen liefert.

Welche Trainings-Paradigmen gibt es?+

Hauptparadigmen sind Supervised Learning (Lernen aus gelabelten Daten), Unsupervised Learning (Lernen ohne Labels, z.B. Clustering), Self-Supervised Learning (Labels werden aus den Daten selbst abgeleitet, z.B. bei Sprachmodellen) und Reinforcement Learning (Lernen aus Belohnung und Bestrafung). Moderne grosse Modelle kombinieren in der Regel Self-Supervised Pretraining mit nachgelagertem Supervised Finetuning und RLHF.

Was ist eine Epoche und ein Batch?+

Ein Batch ist eine Gruppe von Trainingsbeispielen, die gemeinsam verarbeitet werden, um effiziente Gradientenberechnung auf GPUs zu ermöglichen. Eine Epoche ist ein vollständiger Durchlauf durch die gesamten Trainingsdaten. Grosse Modelle werden oft nur wenige Epochen lang trainiert, weil die Datenmenge dies bereits ausreichend deckt.

Was ist Gradient Descent?+

Gradient Descent ist das Standardverfahren, um Modellparameter so anzupassen, dass die Verlustfunktion sinkt. Es berechnet die Ableitung des Verlusts nach jedem Parameter (Gradient) und bewegt die Parameter in entgegengesetzte Richtung. Stochastic Gradient Descent (SGD) verwendet zufällige Batches, Adam ist eine moderne Variante mit adaptiven Lernraten.

Was ist Pretraining und Finetuning?+

Pretraining ist das initiale Training eines Modells auf einer breiten Datenbasis, oft Self-Supervised, um allgemeines Sprach- oder Bildverständnis zu erwerben. Finetuning passt das vortrainierte Modell mit kleineren Mengen aufgabenspezifischer Daten an, etwa für eine bestimmte Domäne oder Instruktionsbefolgung. Dieser zweistufige Ansatz dominiert heutige Sprach- und Vision-Modelle.

Was ist RLHF?+

Reinforcement Learning from Human Feedback (RLHF) trainiert ein Modell anhand menschlicher Präferenzen. Annotatoren bewerten Modellausgaben, daraus wird ein Belohnungsmodell gelernt, das dann via Reinforcement Learning das Hauptmodell anleitet. Dieses Verfahren prägte ChatGPT und Claude und ist zentral für die Anpassung an menschliche Erwartungen.

Wie teuer ist das Training grosser Modelle?+

Das Training eines Foundation Models kann mehrere Millionen bis hunderte Millionen US-Dollar an Rechenleistung kosten, abhängig von Modellgrösse, Datenmenge und Hardware. GPT-4-Klasse-Modelle benötigen tausende GPUs über mehrere Monate. Inferenz ist im Vergleich dazu deutlich günstiger, summiert sich aber bei hoher Nutzung erheblich.

Was ist Overfitting im Trainingsprozess?+

Overfitting tritt auf, wenn das Modell die Trainingsdaten zu eng auswendig lernt und auf neuen Daten schlechter abschneidet. Indikator ist eine grosse Lücke zwischen Trainings- und Validierungs-Performance. Gegenmittel sind mehr Daten, Regularisierung, Early Stopping und kleinere Modellarchitekturen.

Quellen

Goodfellow, Bengio, Courville (2016), Deep Learning
Sutton und Barto (2018), Reinforcement Learning An Introduction
OpenAI Research (RLHF and Instruction Tuning)

Zuletzt geprüft: 2026-06-07