Few-Shot Learning

Definition

Few-Shot Learning ist ein Lernparadigma, bei dem ein Modell aus wenigen Beispielen, typisch 1 bis 32, eine neue Aufgabe lösen lernt, ohne dass die Modellgewichte angepasst werden. Im Kontext grosser Sprachmodelle bedeutet das, dass die Beispiele direkt in den Prompt geschrieben werden und das Modell während der Inferenz das Muster extrahiert.

Der Begriff wurde durch die GPT-3-Publikation Language Models are Few-Shot Learners von Brown et al. (2020) breit etabliert. Die zentrale Beobachtung war damals revolutionär: Ein hinreichend grosses Sprachmodell kann neue Aufgaben lernen, indem es nur wenige Beispiele im Prompt sieht, ohne explizites Fine-Tuning. Diese Fähigkeit emergiert ab einer bestimmten Modellgrösse und ist heute Standard-Werkzeug im Prompt Engineering.

Mechanismus

Der zugrundeliegende Mechanismus wird als In-Context Learning bezeichnet. Während der Inferenz analysiert das Sprachmodell die Beispiele im Prompt und überträgt das implizite Muster auf den neuen Input. Diese Übertragung funktioniert ohne Gradient-Update, ohne Parameter-Änderung, einzig durch die Verarbeitung im Vorwärtspfad.

Theoretische Arbeiten (von Oswald et al., 2023; Akyürek et al., 2023) zeigen, dass Transformer im Kontext implizit eine Art Gradientenabstieg simulieren können. Das ist eine partielle Erklärung, deckt aber nicht die volle Bandbreite der beobachteten Fähigkeiten ab. In-Context Learning bleibt ein aktives Forschungsfeld.

Drei Stufen werden unterschieden:

• Zero-Shot: keine Beispiele, nur die Aufgabenbeschreibung. Test auf instruktionsbefolgendes Verhalten.
• One-Shot: ein einziges Beispiel, oft zur Demonstration des gewünschten Formats.
• Few-Shot: 2 bis 32 Beispiele, klassischer Bereich für In-Context Learning.
• Many-Shot: 50 bis 1000 Beispiele, durch lange Kontexte 2024 wieder relevant geworden.

Many-Shot Learning (Agarwal et al., 2024) hat gezeigt, dass viele Aufgaben mit hunderten von Beispielen im Prompt Fine-Tuning-Performance erreichen, ohne Trainingslauf.

Praxis

Few-Shot Learning ist in produktiven Pipelines allgegenwärtig. Beispielsweise für Klassifikation, Extraktion, strukturierte Generierung oder Stil-Transfer. Empfehlungen:

• Beispiele konsistent formatieren: identisches Delimiter-Schema, identische Feldnamen, identische Reihenfolge. Inkonsistenz verwirrt das Modell.
• Klassen-Balance sicherstellen: bei Klassifikation pro Klasse mindestens ein Beispiel, möglichst gleichmässig verteilt.
• Edge-Cases einbauen: schwierige oder mehrdeutige Beispiele zeigen dem Modell den gewünschten Umgang.
• Reihenfolge berücksichtigen: wichtige Beispiele am Anfang und Ende des Prompts platzieren, um Lost-in-the-Middle zu vermeiden.
• Dynamische Selektion: für grosse Beispielmengen relevanteste Beispiele per Vektor-Suche pro Query auswählen (Retrieval-Augmented Few-Shot).

Die Token-Kosten skalieren linear mit der Beispielzahl, weshalb Caching der statischen Beispiel-Sektion (Anthropic, OpenAI) wirtschaftlich entscheidend ist.

Häufige Fehler

• Inkonsistente Formatierung: Beispiele in verschiedenen Formaten zerstören die Mustererkennung.
• Class Imbalance: wenn 9 von 10 Beispielen Klasse A sind, predicted das Modell A überproportional.
• Zu wenige Beispiele: bei komplexen Aufgaben sind 2 Beispiele oft zu wenig, das Modell rät statt lernt.
• Zu viele Beispiele ohne Strategie: Lost-in-the-Middle reduziert den Nutzen mittlerer Beispiele.
• Format-Drift vergessen: ohne klares End-Token im letzten Beispiel kann das Modell weiterhalluzinieren statt zu antworten.

Abgrenzung

• Zero-Shot: Spezialfall ohne Beispiele, getestet was das Modell ohne Demonstration kann.
• Fine-Tuning: verändert Modellgewichte, dauerhafte Anpassung, lohnt sich bei stabilen High-Volume-Aufgaben.
• In-Context Learning: der Mechanismus, der Few-Shot ermöglicht. Few-Shot ist die praktische Anwendung des Mechanismus.
• Chain-of-Thought: Beispiele mit ausgeschriebenem Reasoning, eine spezielle Few-Shot-Variante.
• Retrieval-Augmented Generation: holt Kontext aus externer Datenbank, kann mit Few-Shot kombiniert werden.