Self-Supervised Learning

Definition

Self-Supervised Learning ist ein Lernparadigma, bei dem das Modell sein Trainingssignal aus den Daten selbst gewinnt, ohne von Menschen vergebene Labels. Typischerweise wird ein Teil der Eingabe absichtlich verdeckt oder verändert, und das Modell lernt, ihn aus dem Rest zu rekonstruieren oder vorherzusagen.

Damit überbrückt Self-Supervised Learning die Lücke zwischen Supervised Learning, das auf teure menschliche Annotation angewiesen ist, und Unsupervised Learning, das ohne jedes Trainingsziel auskommt. Es erlaubt, riesige unannotierte Datenmengen produktiv zu nutzen, und ist die Grundlage praktisch aller heutigen Foundation-Modelle.

Mechanismus

Der Kern jeder Self-Supervised-Methode ist eine sogenannte Pretext-Task, also eine künstliche Aufgabe, die aus den Daten selbst konstruiert wird:

• Maskierte Vorhersage: Ein Teil der Eingabe wird verdeckt, das Modell sagt ihn voraus. Beispiele: Masked Language Modeling (BERT), Masked Image Modeling (MAE), maskiertes Audio (HuBERT).
• Auto-regressive Vorhersage: Das Modell sagt das nächste Token aus der Sequenz vorher. Beispiele: GPT-Serie, Llama, jedes auto-regressive Sprachmodell.
• Kontrastives Lernen: Repräsentationen werden so trainiert, dass ähnliche Eingaben nah beieinander liegen und unähnliche weit entfernt. Beispiele: SimCLR, MoCo, CLIP, DINO.
• Rekonstruktion: Auto-Encoder rekonstruieren die Eingabe aus einer komprimierten Repräsentation. Klassische und maskierte Auto-Encoder fallen hierunter.

Nach dem Vortraining auf diesen Pretext-Tasks werden die gelernten Repräsentationen via Transfer Learning auf die eigentlichen Anwendungen übertragen, meist durch Fine-Tuning oder Prompting. Die Pretext-Task selbst ist nicht das Ziel, sondern Mittel zur Repräsentationsbildung.

Praxis

Self-Supervised Learning ist heute die dominante Trainingsmethode für Foundation-Modelle. Im NLP haben BERT (2018) und GPT (ab 2018) den Standard gesetzt: Sprache aus dem Internet, kein Label, ein einziges Pretext-Trainingsziel, dann Anpassung an unzählige Anwendungen. Llama, Claude, Gemini und alle aktuellen LLMs folgen demselben Muster.

In der Computer Vision haben SimCLR und MoCo gezeigt, dass kontrastives Lernen mit Daten-Augmentationen konkurrenzfähige Repräsentationen liefert. CLIP von OpenAI hat Bild-Text-Paare als self-supervised Signal genutzt und damit Zero-Shot-Klassifikation revolutioniert. DINO und MAE von Meta erreichen mit reinen Bilddaten Zustand der Technik.

In Audio ist wav2vec 2.0 ein Beispiel dafür, wie self-supervised Vortraining auf rohem Audio die Spracherkennung in vielen Sprachen vorantreibt. Whisper von OpenAI ist dagegen kein Self-Supervised-Beispiel, sondern weakly supervised: es wurde auf rund 680000 Stunden transkribierter Audio-Paare trainiert. In Code-Modellen werden Repos als Datengrundlage genutzt: das Modell sagt fehlende Token oder ganze Funktionen vorher.

Der ökonomische Effekt ist enorm: Statt Datenannotation in Millionenhöhe genügt der Zugriff auf Rohdaten. Annotation wird nur noch für Feinabstimmung und Evaluation gebraucht, oft im Bereich weniger Tausend Beispiele.

Häufige Fehler

• Pretext-Task zu trivial: Wenn die Aufgabe ohne tiefes Verständnis lösbar ist, lernt das Modell nichts Nützliches. Eine gute Pretext-Task zwingt das Modell, semantische Strukturen zu erfassen.
• Daten-Lecks: Eingabe und Vorhersageziel dürfen sich nicht trivial überlappen. Bei Maskierung muss verhindert werden, dass das Modell die maskierten Inhalte direkt sehen kann.
• Falsche Augmentations: Im kontrastiven Lernen sind die Augmentations zentral. Zu schwache Augmentations machen die Aufgabe trivial, zu starke entkoppeln semantische Bedeutung von den Beispielen.
• Bias-Übernahme: Da niemand die Labels kuratiert, werden Vorurteile und Falschinformationen aus dem Rohkorpus mitgelernt. Ohne Filter und Datenkuration entsteht ein gespiegelter Datensatz.
• Evaluation gegen den falschen Maßstab: Self-Supervised-Repräsentationen müssen auf nachgelagerten Aufgaben gemessen werden, nicht nur an der Pretext-Task. Eine niedrige Pretext-Loss garantiert keine nützlichen Features.

Abgrenzung

• Supervised Learning: Braucht menschliche Labels. Self-Supervised Learning generiert Labels aus den Daten selbst.
• Unsupervised Learning: Hat kein klares Trainingsziel, sucht Struktur. Self-Supervised Learning hat ein konkretes Trainingsziel, das aus den Daten konstruiert ist.
• Semi-Supervised Learning: Mischt wenige gelabelte mit vielen ungelabelten Daten. Self-Supervised Learning braucht keine Labels für das Vortraining.
• Transfer Learning: Die nachgelagerte Phase nach dem Self-Supervised Vortraining. Beide Konzepte ergänzen sich, sind aber nicht identisch.