Fine-Tuning

Verfahren zur Anpassung eines vortrainierten Sprachmodells auf eine spezifische Aufgabe oder Domäne durch zusätzliches Training auf einem kleineren, kuratierten Datensatz.

Definition

Fine-Tuning ist das gezielte Nachtrainieren eines bereits vortrainierten Sprachmodells auf einem kleineren, aufgabenspezifischen Datensatz. Die Modellgewichte werden dabei verändert, was Fine-Tuning fundamental von Prompting-Verfahren wie Few-Shot Learning unterscheidet. Das Ziel ist, die Performance auf einer Zielaufgabe zu erhöhen, Konsistenz zu verbessern, oder ein kleineres Modell auf das Niveau eines grösseren zu bringen.

Das Verfahren stammt aus der klassischen Transfer-Learning-Tradition. Howard und Ruder etablierten 2018 mit ULMFiT die schrittweise Anpassung vortrainierter Sprachmodelle. Mit der GPT-Ära kam Fine-Tuning ab GPT-2 in den breiten Sprachmodell-Werkzeugkasten und ist heute Standardpraxis bei Enterprise-Deployments und Open-Source-Anpassungen.

Mechanismus

Fine-Tuning lässt sich nach Tiefe der Anpassung in mehrere Familien einteilen:

Full Fine-Tuning: Alle Modellgewichte werden aktualisiert. Maximaler Anpassungsgrad, aber hoher Speicher- und Rechenbedarf.
Parameter-Efficient Fine-Tuning (PEFT): Nur ein kleiner Teil der Parameter wird trainiert. LoRA, QLoRA, Adapter-Tuning und Prefix-Tuning fallen darunter.
Instruction Tuning: Spezialfall des SFT, der das Modell auf Instruktionsbefolgung trainiert (z.B. FLAN, Alpaca).
RLHF und DPO: Anpassung an menschliche Präferenzen via Reward-Modell oder direkter Preferenz-Optimierung.

LoRA (Hu et al., 2021) ist das dominante PEFT-Verfahren. Es fügt zu jeder dichten Schicht zwei kleine Low-Rank-Matrizen hinzu, die als Adapter trainiert werden, während die Basis-Gewichte gefroren bleiben. Typische LoRA-Konfigurationen trainieren nur 0.1 bis 1 Prozent der Parameter und erreichen oft 95 bis 100 Prozent der Full-Fine-Tuning-Qualität.

QLoRA (Dettmers et al., 2023) kombiniert LoRA mit 4-Bit-Quantisierung des Basismodells, was Fine-Tuning grosser Modelle auf einer einzigen Consumer-GPU ermöglicht. Damit wurde Llama 3 70B auf einer einzelnen A100 oder H100 fine-tunbar, kleinere Modelle bis etwa 13B auch auf einer RTX 4090.

Praxis

Fine-Tuning lohnt sich vor allem in folgenden Szenarien:

Konsistente strukturierte Ausgaben: wenn Prompting kein zuverlässiges JSON oder Schema produziert.
Domänenspezifisches Vokabular: Medizin, Recht, Engineering mit Fachsprache, die Frontier-Modelle nicht zuverlässig beherrschen.
Stil und Tonalität: Markenkonforme Generierung, wo Prompting zu vage bleibt.
Kleinere Modelle hochziehen: ein 7B-Modell fine-getunt kann Spezialaufgaben auf Frontier-Niveau lösen.

Die Praxis-Pipeline ist typischerweise: Eval-Set definieren, Trainings-Daten kuratieren, Baseline mit Prompting messen, Fine-Tuning ausführen (oft mehrere Runs mit Hyperparameter-Suche), gegen Eval-Set validieren, dann Deployment. Tools sind Hugging Face TRL, Unsloth, Axolotl, MLX (Apple Silicon) sowie die Managed-APIs von OpenAI, Anthropic und Google.

Kosten variieren stark. Bei OpenAI sind Trainingskosten typisch wenige Cents bis Dollar pro tausend Tokens des Trainingssets, plus erhöhte Inferenz-Preise. Open-Source-LoRA auf einer Cloud-A100 kostet wenige Dollar bis hunderte, je nach Modellgrösse und Datenmenge.

Häufige Fehler

Zu wenig Daten: Fine-Tuning auf unter 50 Beispielen ist meist Geldverschwendung, Few-Shot leistet dasselbe.
Kein Eval-Set: Ohne Eval fliegt das Training blind, Overfitting bleibt unentdeckt.
Catastrophic Forgetting: zu aggressives Training kann allgemeine Fähigkeiten zerstören. Niedrige Lernraten und gemischte Daten helfen.
Falsches Format: Trainings-Beispiele in einem Format, das nicht zum Inference-Format passt, produziert unbrauchbare Modelle.
Privacy ignorieren: Trainings-Daten werden in Modellgewichten konserviert. PII und Geschäftsgeheimnisse müssen vorher entfernt werden.

Abgrenzung

Pretraining: das initiale Training auf Roh-Text, dauert Monate auf tausenden GPUs. Fine-Tuning baut darauf auf.
Few-Shot Learning: keine Gewichts-Änderung, nur Beispiele im Prompt. Flexibler, aber weniger konsistent.
Prompt Engineering: beeinflusst Verhalten ohne jede Gewichts-Änderung, schnellste Iteration.
Retrieval-Augmented Generation: kontextualisiert mit externen Daten zur Inferenzzeit, kein Training nötig.
Distillation: trainiert ein kleines Modell, um ein grösseres nachzuahmen. Verwandt zu Fine-Tuning, aber mit Lehrer-Modell als Daten-Quelle.

Weiter im KI-Lexikon

← Zurück zum Lexikon

Häufige Fragen

Was ist Fine-Tuning?+

Fine-Tuning ist das gezielte Nachtrainieren eines bereits vortrainierten Sprachmodells auf einen kleineren, aufgabenspezifischen Datensatz. Die Modellgewichte werden dabei verändert, im Gegensatz zu Prompting-Verfahren wie Few-Shot. Es macht das Modell konsistenter, kompakter und billiger in der Inferenz für die Zielaufgabe.

Wann lohnt sich Fine-Tuning?+

Fine-Tuning lohnt sich bei stabilen High-Volume-Aufgaben, wenn Prompting kein konsistentes Format produziert, wenn ein kleineres Modell die Aufgabe nach Anpassung lösen soll, oder wenn Inferenz-Latenz minimal sein muss. Bei weniger als wenigen tausend Beispielen ist Few-Shot oder RAG meist effizienter.

Was ist LoRA?+

LoRA (Low-Rank Adaptation, Hu et al., 2021) trainiert nur kleine Adapter-Matrizen zusätzlich zum gefrorenen Basismodell. Statt aller Milliarden Parameter werden nur 0.1 bis 1 Prozent trainiert, was Speicher und Trainingszeit drastisch reduziert. LoRA-Adapter sind klein (wenige MB) und können zur Laufzeit ausgetauscht werden.

Was ist der Unterschied zwischen SFT und RLHF?+

Supervised Fine-Tuning (SFT) lernt aus Input-Output-Paaren via Cross-Entropy. Reinforcement Learning from Human Feedback (RLHF) lernt aus Präferenzen zwischen mehreren Antworten via Reward-Modell und Policy-Gradient. SFT prägt Format und Wissen, RLHF prägt Verhalten und Werte.

Wie viele Beispiele braucht Fine-Tuning?+

Für einfache Format-Anpassungen reichen 50 bis 500 Beispiele. Für komplexe Verhaltens-Änderungen oder neue Domänen sind tausende bis zehntausende sinnvoll. Bei RLHF sind 10.000 bis 100.000 Präferenz-Paare üblich. Qualität schlägt Quantität in fast allen Fällen.

Was ist Catastrophic Forgetting?+

Catastrophic Forgetting ist der Effekt, dass ein Modell durch Fine-Tuning auf eine neue Aufgabe seine ursprünglichen Fähigkeiten teilweise verliert. Gegenmittel sind niedrige Lernraten, gemischte Trainingsdaten (Replay) und Parameter-effiziente Methoden wie LoRA, die das Basismodell unverändert lassen.

Welche Anbieter ermöglichen Fine-Tuning?+

OpenAI bietet Fine-Tuning für GPT-4 und kleinere Varianten via API. Anthropic bietet Custom Models für Enterprise-Kunden. Google Vertex AI ermöglicht Fine-Tuning für Gemini. Open-Source-Modelle wie Llama, Mistral und Qwen sind beliebig lokal fine-tunbar, oft via Hugging Face TRL oder Unsloth.

Was kostet Fine-Tuning?+

Bei OpenAI liegen Trainingskosten typisch bei wenigen Cents bis Dollar pro tausend Tokens des Trainingssets, plus erhöhte Inferenz-Preise für das fine-getunete Modell. LoRA auf Open-Source-Modellen kostet auf einer A100-GPU in einer Cloud wenige Stunden bei einigen Dollar bis hin zu hunderten für grössere Setups.

Quellen

Howard and Ruder (2018) Universal Language Model Fine-tuning
Hu et al. (2021) LoRA
Dettmers et al. (2023) QLoRA
OpenAI Fine-Tuning API Documentation

Wikidata: Q117286419 · Zuletzt geprüft: 2026-07-02