Knowledge Distillation

Definition

Knowledge Distillation ist eine Technik zur Modell-Komprimierung, bei der ein kleines Schüler-Modell darauf trainiert wird, das Verhalten eines grossen, leistungsfähigen Lehrer-Modells nachzuahmen. Das Konzept wurde 2015 von Geoffrey Hinton, Oriol Vinyals und Jeff Dean in der wegweisenden Arbeit "Distilling the Knowledge in a Neural Network" formalisiert. Die Kernidee: ein Modell-Ensemble oder ein einzelnes grosses Modell enthält Wissen, das ein viel kleineres Modell aufnehmen kann, wenn es nicht nur die finalen Antworten, sondern die volle Wahrscheinlichkeitsverteilung lernt.

Distillation ist heute eine der drei Haupttechniken für effiziente Modell-Deployment, neben Quantisierung und Pruning. Bei modernen Sprachmodellen ist sie das Standard-Verfahren, um Frontier-Modell-Qualität auf kleinere, billigere Modelle zu übertragen. Praktisch jede "Mini"- oder "Flash"-Variante kommerzieller Modelle nutzt eine Form von Distillation, oft kombiniert mit synthetischen Daten und Fine-Tuning.

Mechanismus

Die klassische Distillation nach Hinton trainiert den Schüler mit einer Loss-Funktion, die sich aus zwei Komponenten zusammensetzt:

• Distillation Loss: Kullback-Leibler-Divergenz zwischen Schüler- und Lehrer-Verteilung, beide mit erhöhter Softmax-Temperatur T berechnet.
• Student Loss: Standard-Cross-Entropy gegen die echten Labels, falls vorhanden.
• Gewichtung: Beide Terme werden gewichtet, typisch 0.9 Distillation und 0.1 Student.
• Temperatur: Glättet beide Verteilungen während des Trainings, T=2 bis T=10 ist üblich.

Die erhöhte Temperatur ist der zentrale Trick. Bei T=1 dominiert die Top-1-Antwort fast vollständig. Bei T=4 werden auch zweit- und drittwahrscheinliche Klassen sichtbar, und der Schüler lernt die Struktur der Lehrer-Repräsentation. Hinton nannte das "Dark Knowledge", weil es Information enthält, die in den harten Labels unsichtbar bleibt.

Moderne LLM-Distillation geht weit über die Original-Formulierung hinaus:

• Sequence-Level Distillation: Lehrer generiert komplette Sequenzen, Schüler imitiert das Token-für-Token.
• Feature Distillation: Hidden States oder Attention-Maps werden zwischen Schüler und Lehrer ausgerichtet.
• On-Policy Distillation (Agarwal et al., 2024): Schüler generiert Sequenzen, Lehrer wertet sie aus, was Distribution-Shift-Probleme vermeidet.
• Reverse KL: Verwendung umgekehrter KL-Divergenz für Mode-Seeking statt Mode-Covering, oft besser für Generation.

In der Praxis wird Distillation häufig mit synthetischen Daten kombiniert. Der Lehrer generiert Trainings-Daten (oft Millionen Beispiele), die dann zum Fine-Tuning des Schülers genutzt werden. Diese Variante ist technisch eine Mischform aus Distillation und Daten-Augmentation und liegt vielen erfolgreichen kleinen Modellen zugrunde.

Praxis

Die wichtigste Praxis-Anwendung ist die Erzeugung effizienter Production-Modelle aus Forschungs-Modellen. Phasen einer typischen Distillation-Pipeline:

• Lehrer-Vorbereitung: Bestes verfügbares Modell, oft schon fine-getunt auf den Ziel-Use-Case.
• Daten-Generierung: Der Lehrer produziert Antworten auf einen grossen Eingabe-Pool, oft 100k bis 10M Beispiele.
• Filter-Schritt: Niedrig-Quality- oder hochkonfidente Lehrer-Antworten werden gefiltert.
• Schüler-Training: Cross-Entropy auf Lehrer-Outputs, manchmal kombiniert mit KL-Divergenz auf Logits.
• Eval und Iteration: Vergleich gegen Lehrer auf Benchmarks, Identifikation von Regression-Klassen.

Tools im Einsatz: Hugging Face TRL bietet SFT-Trainer mit Distillation-Erweiterungen, Hugging Face Optimum für ONNX-Distillation, OpenAI Distillation API für GPT-4o zu GPT-4o mini Workflows. Open-Source Beispiele sind TinyLlama, MobileBERT und die Phi-Familie, die alle in unterschiedlichem Mass auf Distillation oder distillation-ähnlichen Verfahren basieren.

Praktische Faustregeln: Schüler sollte mindestens 5 bis 10 Prozent der Lehrer-Grösse haben, sonst klafft die Capacity Gap. Distillation funktioniert besonders gut für klar definierte Aufgaben (Klassifikation, Extraktion), schwächer für offene Generation und Reasoning. Synthetische Daten vom Lehrer sollten diverse Prompts abdecken, sonst overfittet der Schüler auf Lehrer-Idiosyncrasien.

Häufige Fehler

• Capacity Gap zu gross: Ein 7B-Schüler kann GPT-4 nicht vollständig replizieren. Realistische Erwartung ist, einen begrenzten Use-Case zu kondensieren, nicht generelle Intelligenz.
• Distribution Shift bei off-policy Training: Wenn der Schüler nur Lehrer-Outputs sieht, lernt er nicht, mit seinen eigenen Fehlerverteilungen umzugehen. On-policy Methoden adressieren das.
• Temperatur falsch gewählt: T=1 lässt zu wenig Dark Knowledge durch, T=20 macht die Verteilung zu flach. T=2 bis T=4 ist meist optimal.
• Eval gegen Lehrer statt Ground Truth: Schüler kann sehr gut Lehrer-Verhalten imitieren inklusive Halluzinationen. Eval gegen objektive Ground Truth ist unverzichtbar.
• Daten-Mix vergessen: Reine Lehrer-Imitation ohne Replay der Original-Trainings-Daten kann Basis-Fähigkeiten erodieren. Hybride Datensätze sind oft besser.

Abgrenzung

• Quantisierung: Reduziert Präzision der Gewichte, behält Modell-Architektur. Distillation ändert die Architektur und die Parameter-Zahl.
• Pruning: Entfernt Gewichte aus einem bestehenden Modell. Distillation trainiert ein neues, kleineres Modell von Grund auf.
• Transfer Learning: Nutzt vortrainierte Gewichte als Startpunkt, ohne Lehrer-Verteilungen. Distillation überträgt explizit Verhaltens-Wissen.
• Self-Distillation: Spezialfall, bei dem Lehrer und Schüler dieselbe Architektur haben. Wird zur Regularisierung oder iterativen Verbesserung genutzt.
• Synthetic Data Training: Trainiert auf vom Lehrer generierten Daten, ohne explizite Logit-Übertragung. Praktisch eine schwächere Form von Distillation.