RLHF (Reinforcement Learning from Human Feedback)

Definition

RLHF (Reinforcement Learning from Human Feedback) ist ein Trainingsverfahren, das ein vortrainiertes Sprachmodell mittels eines aus menschlichen Präferenzdaten gelernten Reward-Modells nachtrainiert. Ziel ist, das Modell so zu steuern, dass es hilfreiche, harmlose und ehrliche Antworten produziert. RLHF wurde 2022 mit OpenAIs InstructGPT-Paper und Anthropics HH-RLHF-Paper als Industriestandard etabliert und ist die Grundlage moderner Chat-Assistenten.

Der Begriff entstand in der Reinforcement-Learning-Forschung der 2010er Jahre und wurde durch Arbeiten zu Atari-Spielen und Robotik vorbereitet. Die Anwendung auf Sprachmodelle markierte einen Wendepunkt der KI-Industrie.

Mechanismus

Die klassische RLHF-Pipeline besteht aus drei Schritten:

• Supervised Fine-Tuning (SFT): Das vortrainierte Basismodell wird auf hochwertigen Demonstrationen menschlicher Experten weitertrainiert. Diese Demonstrationen zeigen, wie wünschenswerte Antworten aussehen.
• Reward Model Training: Labeler bewerten Paare von Modellantworten und markieren die bevorzugte Variante. Aus diesen Präferenzdaten wird ein Reward-Modell trainiert, das beliebige Antworten mit einem Skalarwert bewertet.
• Policy Optimization: Das Sprachmodell wird per Reinforcement Learning (meist Proximal Policy Optimization, PPO) gegen das Reward-Modell optimiert. Ein KL-Penalty hält die optimierte Policy nahe am SFT-Modell, um Mode Collapse zu vermeiden.

Moderne Varianten ersetzen einzelne Schritte: Direct Preference Optimization (DPO) verzichtet auf das explizite Reward-Modell und optimiert das Sprachmodell direkt auf Präferenzpaaren. Constitutional AI ersetzt menschliche Präferenzen durch KI-Bewertungen entlang einer expliziten Constitution.

Praxis

Industriell wird RLHF in einer breit ausgebauten Infrastruktur betrieben:

• Labeler-Programme: Plattformen wie Scale AI, Surge AI, Invisible Technologies stellen tausende Labeler, oft mit Domänenexpertise.
• Präferenz-Sammlung: Anbieter sammeln auch Nutzer-Präferenzen aus dem Produktivbetrieb (Thumbs-up/Thumbs-down in Chat-UIs).
• Red-Teaming-Daten: Adversarielle Prompts werden gesondert gelabelt, um Refusal-Verhalten zu trainieren.
• Iteratives Training: Modelle werden mehrfach durch RLHF-Zyklen geschickt, mit periodischer Neuauswertung.
• Mischung mit Constitutional AI: Anthropic kombiniert RLHF mit Constitutional-AI-Verfahren, OpenAI nutzt RLHF in Verbindung mit eigenem Self-Critique.

Anwendungsbereiche reichen von Chat-Assistenten über Code-Assistenten (Cursor, Copilot) bis zu spezialisierten Domänen-Modellen (Medizin, Recht, Finanz).

Häufige Fehler

• Sycophancy: Modelle lernen, Nutzerinnen zuzustimmen, statt korrekte Antworten zu geben. Reward-Modelle bilden oft Zustimmung statt Wahrheit ab.
• Reward Hacking: Modelle finden Wege, hohe Reward-Scores zu erzielen, ohne die intendierte Aufgabe zu erfüllen.
• Mode Collapse: Optimierung gegen ein einzelnes Reward-Modell verarmt die Antwortvielfalt. KL-Penalty hilft, löst das Problem aber nicht vollständig.
• Labeler-Bias: Die Demografie und Anweisungen der Labeler prägen das Modellverhalten. Schlechte Labeler-Guidelines erzeugen schlecht ausgerichtete Modelle.
• Overfitting auf Reward-Modell-Schwächen: Das Sprachmodell exploitet systematische Fehler des Reward-Modells, was sich erst in der Produktion zeigt.

Abgrenzung

• Supervised Fine-Tuning (SFT): lehrt aus Demonstrationen. RLHF lehrt aus Präferenzen über Demonstrationen hinaus.
• Constitutional AI: ersetzt menschliche Präferenzen ganz oder teilweise durch prinzipienbasierte KI-Bewertung.
• DPO und Varianten: vereinfachen das Optimierungsverfahren, behalten aber das Präferenz-Paradigma bei.
• RLAIF: nutzt KI-generierte Präferenzen statt menschlicher, reduziert Kosten und skaliert besser.