Supervised Learning

Definition

Supervised Learning ist das in der Praxis dominierende Paradigma des maschinellen Lernens. Ein Modell wird auf einer Menge von Beispielen trainiert, bei denen für jede Eingabe x ein gewünschtes Ziel y bekannt ist. Das Modell lernt eine Funktion f, die x möglichst gut auf y abbildet, und wird anschliessend auf neuen Eingaben angewendet, für die kein Label vorliegt.

Der Begriff Supervised stammt aus der Vorstellung, dass die Labels wie ein Lehrer wirken, der das Modell während des Trainings korrigiert. Ohne diese Aufsicht gäbe es kein direktes Signal, was eine richtige Antwort ist.

Mechanismus

Der Trainingsablauf folgt einem stabilen Muster:

• Datensammlung: Eingabe-Label-Paare werden gesammelt, oft durch menschliche Annotation oder durch Logs aus einem laufenden System.
• Modellwahl: Eine Hypothesenklasse wird gewählt, etwa logistische Regression, ein Gradient-Boosted-Tree oder ein neuronales Netz.
• Loss-Funktion: Eine Verlustfunktion misst, wie weit die Modellvorhersage vom Label entfernt ist. Cross-Entropy für Klassifikation, Mean Squared Error für Regression sind die Standards.
• Optimierung: Ein Optimierer (meist eine Variante von Gradient Descent) passt die Modellparameter iterativ an, um den Loss zu minimieren.
• Evaluation: Auf einem separaten Validierungs- und Testset wird gemessen, wie gut das Modell auf ungesehenen Daten funktioniert.

Mathematisch sucht man den Parametersatz theta, der den erwarteten Verlust E[L(f_theta(x), y)] minimiert. Da diese Erwartung über die wahre Verteilung unbekannt ist, wird sie durch den empirischen Mittelwert auf den Trainingsdaten approximiert.

Praxis

Supervised Learning ist die Grundlage der meisten produktiven ML-Systeme: Spam-Filter, Kreditrisiko-Scoring, Bilderkennung, Sprache-zu-Text, Übersetzung, medizinische Diagnostik. Auch grosse Sprachmodelle werden in der Feinschliff-Phase mit Instruction-Tuning supervised trainiert, bevor RLHF und andere Verfahren greifen.

Typische Pipeline-Schritte in der Praxis sind Feature Engineering, Splitten in Train/Val/Test, Cross-Validation für Hyperparameter-Tuning, Kalibrierung der Wahrscheinlichkeitsschätzungen und Monitoring im Produktivbetrieb. Tools wie scikit-learn, PyTorch Lightning, XGBoost und LightGBM decken die meisten Anwendungsfälle ab.

Häufige Fehler

• Train-Test-Leakage: Wenn Informationen aus dem Testset versehentlich ins Training fliessen, etwa durch falsches Splitten von Zeitreihen, sind die Metriken zu optimistisch.
• Klassen-Imbalance ignorieren: Bei stark unausgeglichenen Klassen erzielt ein Modell, das immer die Mehrheitsklasse rät, hohe Accuracy, aber ist nutzlos. Stratified Sampling, Class Weights oder Resampling sind nötig.
• Labels als Wahrheit behandeln: Annotationen enthalten Rauschen und Bias. Modelle reproduzieren beides. Mehrfach-Annotation und Inter-Annotator Agreement sind Pflicht.
• Overfitting auf das Validierungsset: Wer zu oft Hyperparameter gegen das Validierungsset tunt, overfittet auf dieses und das Testset überschätzt die echte Performance.
• Falsche Metrik: Accuracy ist bei medizinischer Diagnostik die falsche Wahl, dort zählen Sensitivität und Spezifität. Die Metrik muss zum Anwendungsfall passen.

Abgrenzung

• Unsupervised Learning: Kein Label, das Modell sucht Struktur oder Dichte in den Daten selbst.
• Self-Supervised Learning: Labels werden algorithmisch aus den Daten konstruiert, etwa durch Masking von Tokens. Technisch eine Form von Supervised Learning, aber ohne menschliche Annotation.
• Reinforcement Learning: Lernen aus Belohnungen statt aus Labels, mit Sequenzen von Entscheidungen und verzögertem Feedback.
• Semi-Supervised Learning: Mischform, bei der ein kleiner gelabelter und ein grosser ungelabelter Anteil kombiniert werden.