Reinforcement Learning

Definition

Reinforcement Learning (RL) ist das Lernparadigma, in dem ein Agent durch Interaktion mit einer Umgebung lernt. Er wählt in jedem Zustand eine Aktion, beobachtet den Folgenzustand und erhält eine Belohnung. Ziel ist eine Strategie (Policy), die die erwartete Summe zukünftiger Belohnungen maximiert.

Im Gegensatz zu Supervised Learning gibt es keinen Lehrer mit richtigen Antworten, sondern nur Belohnungssignale, die oft verzögert, spärlich und verrauscht sind. Der Agent muss aus eigener Erfahrung lernen, welche Aktionssequenzen langfristig nützlich sind.

Mechanismus

Die Grundbausteine sind formal als Markov-Entscheidungsprozess definiert:

• Zustand s: Beschreibung der aktuellen Situation in der Umgebung.
• Aktion a: Eine der für den Agenten verfügbaren Optionen.
• Belohnung r: Ein numerisches Signal, das die Qualität einer Aktion in einem Zustand bewertet.
• Übergangsdynamik: Die Wahrscheinlichkeit, von einem Zustand bei einer Aktion in einen Folgezustand zu wechseln.
• Policy pi: Die Strategie des Agenten, die Aktionen aus Zuständen wählt.
• Value-Funktion V oder Q: Die erwartete kumulative Belohnung ab einem Zustand bzw. einer Zustand-Aktion-Kombination.

Lernen geschieht über zwei Hauptlinien: Value-basierte Methoden schätzen Q-Werte und leiten daraus die beste Aktion ab (Q-Learning, DQN). Policy-basierte Methoden parametrisieren die Policy direkt und optimieren sie via Policy Gradient (REINFORCE, PPO). Actor-Critic-Methoden kombinieren beides: ein Actor wählt Aktionen, ein Critic bewertet sie.

Im Deep RL werden neuronale Netze als Funktionsapproximatoren für Q oder Policy genutzt, trainiert via Backpropagation. Stabilisierungstechniken wie Experience Replay, Target Networks und Trust-Region-Updates sind dabei essenziell.

Praxis

RL hat seine spektakulärsten Erfolge in Spielen erzielt: AlphaGo schlug 2016 den Go-Weltmeister, AlphaStar erreichte Grossmeister-Level in StarCraft, OpenAI Five gewann gegen Top-Dota-2-Teams. In der Robotik wird RL für Greif- und Lauf-Aufgaben genutzt, mit Simulation-to-Real-Transfer als Standardvorgehen.

Seit 2022 ist Reinforcement Learning from Human Feedback (RLHF) die zentrale Technik zur Ausrichtung grosser Sprachmodelle. ChatGPT, Claude und Gemini werden mit RLHF an menschliche Präferenzen angepasst: ein Reward-Modell lernt aus menschlichen Vergleichen, dann optimiert PPO die Sprachmodell-Policy gegen dieses Reward-Modell. Varianten wie DPO ersetzen den expliziten RL-Schritt, bleiben aber konzeptuell verwandt.

In der Industrie sind RL-Anwendungen häufiger in Optimierungs- und Empfehlungs-Kontexten zu finden: Google DeepMind hat Rechenzentrums-Kühlung mit RL optimiert, Werbe-Bidding nutzt Contextual Bandits (eine RL-Variante), Empfehlungssysteme experimentieren mit On-Policy-Learning.

Häufige Fehler

• Reward Hacking: Der Agent findet Schlupflöcher in der Belohnungsfunktion und maximiert sie, ohne das eigentliche Ziel zu erreichen. Reward-Design ist eine der schwierigsten Aufgaben im RL.
• Sample-Ineffizienz unterschätzen: Viele RL-Algorithmen brauchen Millionen oder Milliarden Schritte. Wer das in der echten Welt versucht, scheitert an Hardware oder Zeit. Simulation und Offline-RL sind oft notwendig.
• Hyperparameter-Sensitivität ignorieren: RL ist berüchtigt für instabiles Training. Kleine Änderungen an Lernrate, Discount-Faktor oder Replay-Buffer-Grösse können den Erfolg kippen.
• Falsche Baselines: Wer kein Random-Baseline und keine starken klassischen Heuristiken vergleicht, weiss nicht, ob RL wirklich gewinnt. Viele publizierte Erfolge zerfallen unter fairen Vergleichen.
• Distribution Shift bei Deployment: Eine in Simulation trainierte Policy versagt in der echten Welt, wenn die Dynamik abweicht. Domain Randomization und Sim-to-Real-Techniken sind Gegenmittel.

Abgrenzung

• Supervised Learning: Lernt aus festen Eingabe-Label-Paaren, kein interaktives Feedback. RL hat keine Labels, sondern Belohnungen.
• Unsupervised Learning: Kein Belohnungssignal, sucht Struktur in Daten. RL hat ein Signal, aber kein direktes Label.
• Imitation Learning: Lernt eine Policy aus Demonstrationen, also aus Beispieltrajektorien. Hybrid mit RL möglich, Stichwort Inverse Reinforcement Learning.
• Optimal Control: Klassische Steuerungstheorie für dynamische Systeme mit bekannten Modellen. RL ist die datengetriebene, modellfreie Verallgemeinerung.