Transfer Learning

Definition

Transfer Learning ist das Wiederverwenden eines auf einer Quellaufgabe vortrainierten Modells als Ausgangspunkt für eine verwandte Zielaufgabe. Statt ein Modell mit zufällig initialisierten Gewichten von null zu trainieren, übernimmt man die Repräsentationen, die ein anderes Modell auf grossen Datenmengen bereits gelernt hat, und passt sie mit deutlich kleineren Datenmengen an die neue Aufgabe an.

Die Idee folgt der Beobachtung, dass tiefe neuronale Netze in frühen Schichten allgemeine Strukturen lernen, etwa Kanten und Texturen in Bildern oder Wort- und Satzbedeutungen in Texten. Diese Repräsentationen sind nicht aufgabenspezifisch und lassen sich produktiv auf andere Probleme übertragen. Transfer Learning ist heute die Standardmethode in fast allen produktiven Deep-Learning-Pipelines.

Mechanismus

Eine typische Transfer-Learning-Pipeline besteht aus drei Schritten:

• Pretraining: Ein Basismodell wird auf einer grossen Datenmenge trainiert, oft self-supervised oder auf einer klassischen Aufgabe wie ImageNet-Klassifikation. Dieses Training ist teuer, geschieht aber einmal und wird vielfach wiederverwendet.
• Transfer: Das vortrainierte Modell wird geladen. Oft wird der aufgabenspezifische Kopf, etwa die letzte Klassifikationsschicht, entfernt oder ersetzt.
• Anpassung: Das Modell wird auf der Zielaufgabe weitertrainiert. Je nach Strategie werden alle Gewichte aktualisiert, nur die letzten Schichten, oder nur kleine zusätzliche Adapter.

Die wichtigsten Anpassungsstrategien sind Feature Extraction (Gewichte eingefroren, neuer Kopf oben drauf), klassisches Fine-Tuning (alle Gewichte trainierbar mit kleiner Lernrate) und PEFT-Methoden wie LoRA, die nur eine kleine Zahl zusätzlicher Parameter trainieren.

Für Bildmodelle ist ein ResNet- oder ViT-Backbone, vortrainiert auf ImageNet, der Standard. Für Sprachmodelle sind BERT- oder Llama-Familien die Basis. In der Praxis stammt das Basismodell entweder vom Modell-Hub eines Anbieters oder aus offenen Ökosystemen wie Hugging Face.

Praxis

Transfer Learning hat die Datenanforderungen für produktive KI um Grössenordnungen gesenkt. Ein Bildklassifikator, der vor zehn Jahren Millionen Beispiele brauchte, lässt sich heute mit wenigen hundert annotierten Bildern auf eine Spezialaufgabe trimmen, wenn ein gutes Basismodell zur Verfügung steht.

Im NLP hat BERT 2018 den Standard gesetzt: ein einziges vortrainiertes Sprachmodell, dann aufgabenspezifisches Fine-Tuning für Klassifikation, Named Entity Recognition oder Frage-Antwort. Mit GPT, Llama und Claude hat sich der Ansatz weiter verschoben: Das vortrainierte Modell wird kaum noch klassisch feinabgestimmt, sondern via Instruction Tuning, RLHF oder PEFT angepasst.

In der Medizin nutzen Pathologie-Modelle ImageNet-vortrainierte Backbones als Startpunkt und werden auf Tausende statt Millionen Schnittbilder spezialisiert. In der Industrie sind vortrainierte Sprachmodelle die Basis für Kundenservice, Wissensdatenbanken und Dokumentenextraktion. Selbst in Robotik und autonomem Fahren werden vortrainierte Vision-Backbones als Wahrnehmungs-Kerne verwendet.

Häufige Fehler

• Falsches Basismodell: Wer ein generisches Sprachmodell auf ein hoch spezialisiertes Fachgebiet wirft, ohne Domain-Adaptation, bekommt schlechte Ergebnisse. Modelle mit naher Vortrainings-Domäne sind oft besser.
• Lernrate zu hoch: Beim Fine-Tuning sind kleine Lernraten Pflicht. Sonst überschreibt der erste Schritt die nützlichen Repräsentationen und das Modell muss faktisch neu lernen.
• Catastrophic Forgetting: Wenn alle Gewichte aggressiv trainiert werden, vergisst das Modell, was es im Pretraining gelernt hat. Eingefrorene Schichten, kleinere Lernraten und PEFT sind Gegenmittel.
• Data Leakage: Wer Testdaten verwendet, die schon im Pretraining-Korpus vorkamen, misst Auswendiglernen statt Generalisierung. Bei grossen Foundation-Modellen ist das ein zunehmendes Problem.
• Negativer Transfer ignoriert: Nicht jede Quelle ist hilfreich. Wenn die Zieldaten ein anderes Verteilungsmuster haben, kann ein vortrainiertes Modell schlechter abschneiden als ein klein, aber sauber trainiertes Spezialmodell.

Abgrenzung

• Multi-Task Learning: Trainiert ein Modell gleichzeitig auf mehreren Aufgaben. Transfer Learning trainiert sequenziell, erst Quelle, dann Ziel.
• Domain Adaptation: Spezialfall, bei dem die Aufgabe gleich bleibt, nur die Datenverteilung sich ändert. Transfer Learning ist allgemeiner und erlaubt unterschiedliche Aufgaben.
• Self-Supervised Learning: Methode, mit der viele Basismodelle vortrainiert werden. Transfer Learning ist der nachgelagerte Schritt, der diese Modelle weiterverwendet.
• Few-Shot Learning: Versucht, mit sehr wenigen Beispielen zu lernen, oft aufbauend auf einem vortrainierten Modell. Transfer Learning ist das umfassendere Konzept.