Loss-Funktion

Definition

Eine Loss-Funktion, auch Kostenfunktion oder Verlustfunktion, ist eine mathematische Funktion, die misst, wie stark die Vorhersagen eines Modells vom gewünschten Wert abweichen. Sie ordnet jedem Vorhersage-Label-Paar einen reellen Fehlerwert zu, und das Training besteht darin, die Modellparameter so zu wählen, dass die Summe oder der Mittelwert dieser Fehlerwerte über alle Trainingsbeispiele minimiert wird.

Die Loss-Funktion ist das Herzstück jedes überwachten Lernsystems. Ohne sie gäbe es kein quantifizierbares Ziel und damit keinen sinnvollen Optimierungsschritt. Ihre konkrete Form bestimmt nicht nur, wie schnell ein Modell lernt, sondern auch, welches Verhalten als optimal gilt.

Mechanismus

Im Training wird die Loss-Funktion auf jeden Mini-Batch angewendet, ihre Ableitung nach den Modellparametern via Backpropagation berechnet, und ein Optimizer aktualisiert die Parameter in Richtung des negativen Gradienten. Die wichtigsten Familien:

• Regressions-Losses: Mean Squared Error (MSE) bestraft quadratische Abweichungen, ist glatt und einfach zu optimieren. Mean Absolute Error (MAE) ist robuster gegen Ausreisser, weil er linear straft. Huber-Loss ist ein Hybrid: quadratisch im Zentrum, linear an den Rändern.
• Klassifikations-Losses: Cross-Entropy ist Standard und entspricht dem negativen Log-Likelihood unter der Softmax-Annahme. Binary Cross-Entropy für zwei Klassen oder Multi-Label-Probleme. Focal Loss reduziert das Gewicht einfach klassifizierbarer Beispiele und ist nützlich bei stark unausgewogenen Klassen.
• Embedding-Losses: Triplet Loss zieht Anker und Positiv-Beispiel zusammen und stösst Anker und Negativ-Beispiel auseinander. Contrastive Loss arbeitet ähnlich mit Paaren. InfoNCE ist die Loss hinter SimCLR und CLIP.
• Sequenz-Losses: Cross-Entropy auf jedes Token in der Sequenz, oft mit Teacher Forcing. CTC-Loss für unausgerichtete Sequenzen wie in Spracherkennung. Sequence-Level Losses wie minimum risk training für direktere Optimierung.
• Spezial-Losses: Adversarial Loss in GANs, KL-Divergenz in Varianten-Encodern, Dice Loss in Segmentierung, IoU-Loss in Objekt-Erkennung.

Regularisierungs-Terme werden additiv zur Hauptloss-Funktion ergänzt. L2-Regularisierung (Weight Decay) bestraft grosse Gewichte, L1 erzeugt Sparsität, Dropout simuliert Modell-Ensembles. Die Gewichtung dieser Terme ist ein Hyperparameter.

Praxis

In der Praxis ist die Wahl der Loss-Funktion oft entscheidender als die Wahl des Optimizers. Eine falsche Loss kann ein Modell unbrauchbar machen, selbst mit perfektem Tuning. Bei stark unausgewogenen Klassen genügt Cross-Entropy oft nicht; Focal Loss oder Class-Weight-Anpassung sind nötig. Bei Ranking-Problemen wie Suche oder Empfehlung sind Pairwise- oder Listwise-Losses (LambdaMART, ListNet) deutlich besser als naive Klassifikation.

In Sprachmodellen ist Cross-Entropy auf das nächste Token die universelle Loss. Beim Instruction Tuning wird sie auf den Antwortteil eingeschränkt, beim RLHF durch eine Reward-Modell-basierte Loss ersetzt. DPO und ORPO sind neuere Loss-Funktionen, die menschliche Präferenzen direkt einbauen, ohne expliziten RL-Schritt.

In Computer Vision sind Cross-Entropy für Klassifikation, IoU- oder Dice-basierte Losses für Segmentierung und Focal Loss in Objekt-Erkennung Standards. In der Generativen KI dominieren Diffusions-spezifische Losses (Denoising Score Matching) und in GANs adversarial Losses.

Häufige Fehler

• MSE statt Cross-Entropy für Klassifikation: Mathematisch funktioniert es, aber Gradienten werden flacher und Training konvergiert schlechter. Cross-Entropy ist der korrekte Default.
• Numerische Instabilität: Wer den Logarithmus auf Wahrscheinlichkeiten nahe null anwendet, bekommt NaN. Numerisch stabile Implementationen kombinieren Softmax und Cross-Entropy in einem Schritt.
• Klassen-Ungleichgewicht ignoriert: Bei 99 zu 1 Verteilung lernt ein Modell oft, einfach die Mehrheit vorherzusagen. Class-Weights, Focal Loss oder Undersampling sind Gegenmittel.
• Loss und Metrik verwechselt: Accuracy ist keine Loss-Funktion, sondern eine Metrik. Wer auf Accuracy trainieren will, muss Surrogat-Losses wie Cross-Entropy nutzen.
• Regularisierung zu schwach oder zu stark: Zu schwach führt zu Overfitting, zu stark zu Underfitting. Der Regularisierungs-Koeffizient gehört zu den ersten Hyperparametern, die getunt werden.

Abgrenzung

• Metrik: Misst Modellqualität nach dem Training, oft nicht differenzierbar (Accuracy, F1, ROC-AUC). Die Loss-Funktion wird während des Trainings optimiert.
• Reward-Funktion: In Reinforcement Learning das Signal der Umgebung. Strukturell ähnlich, aber operativ getrennt: Rewards werden vom Agenten maximiert, Losses werden vom Optimizer minimiert.
• Loss-Funktion vs. Objective: "Objective" ist oft Oberbegriff und kann auch nicht-differenzierbare Ziele umfassen. "Loss" bezeichnet konkret die differenzierbare Funktion, die der Optimizer angreift.
• Likelihood: Bei vielen Klassifikations- und Regressions-Modellen ist die Loss-Funktion das negative Log-Likelihood unter einer probabilistischen Annahme. MSE entspricht Gaussian Likelihood, Cross-Entropy einem Categorical-Modell.