Backpropagation

Definition

Backpropagation ist der Algorithmus, mit dem die Gradienten der Loss-Funktion bezüglich aller Parameter eines neuronalen Netzes berechnet werden. Er basiert auf der mehrfachen Anwendung der Kettenregel und propagiert das Fehlersignal von der Ausgabeschicht rückwärts durch das Netz bis zur Eingabe.

Ohne Backpropagation wäre das Training tiefer neuronaler Netze praktisch unmöglich. Der Algorithmus ist die rechnerische Grundlage des gesamten Deep-Learning-Felds und damit indirekt auch der modernen Foundation Models und KI-Assistenten.

Algorithmus

Der Ablauf gliedert sich in vier Phasen:

• Vorwärtspass: Eingabe x wird durch das Netz propagiert, Zwischenaktivierungen werden gespeichert, am Ende steht die Vorhersage y_hat.
• Loss-Berechnung: Eine Loss-Funktion L(y_hat, y) misst die Abweichung von der Zielgrösse.
• Rückwärtspass: Beginnend bei der Ausgabe wird der Gradient dL/dy_hat berechnet und Schicht für Schicht via Kettenregel zurückpropagiert. Für jede Schicht ergibt sich der Gradient bezüglich Gewichte und Eingaben aus dem Gradient der nächsten Schicht multipliziert mit lokalen Ableitungen.
• Parameter-Update: Ein Optimierer (SGD, Adam, AdamW) nutzt die berechneten Gradienten, um die Gewichte anzupassen, etwa via theta := theta minus lr * grad.

Die Schlüsseleinsicht ist, dass die Kettenregel die globale Ableitung in lokale Schritte zerlegt. Jede Schicht muss nur ihre eigene Ableitung kennen, der Rest folgt aus der Komposition.

Praxis

Alle modernen Deep-Learning-Frameworks implementieren Backpropagation als Spezialfall von Reverse-Mode Automatic Differentiation. PyTorch's autograd, JAX' grad und TensorFlow's GradientTape bauen einen Berechnungsgraph auf und ableiten ihn automatisch. Entwickler schreiben den Vorwärtspass, das Framework liefert den Rückwärtspass.

In der Praxis muss man dennoch verstehen, wie Backpropagation rechnet, weil viele Trainings-Probleme darüber zu diagnostizieren sind: Gradienten-Norm tracken, Aktivierungs-Statistiken loggen, in tiefen Netzen Residual Connections einbauen. Tools wie PyTorch hooks, TensorBoard und Weights & Biases helfen bei der Inspektion.

Speziell für sehr grosse Modelle ist Gradient-Checkpointing relevant: statt alle Aktivierungen zu speichern, werden manche im Rückwärtspass neu berechnet, um Speicher zu sparen. Mixed-Precision-Training (FP16/BF16) und Gradient Accumulation sind weitere Standardtechniken im modernen Training.

Häufige Fehler

• Gradienten nicht zurücksetzen: In PyTorch akkumuliert grad standardmässig. Wer optimizer.zero_grad() vergisst, addiert Gradienten über Batches hinweg.
• Detached Tensors: Wer Berechnungen mit tensor.detach() durchführt, schneidet den Gradienten-Pfad und das Training lernt nicht.
• Numerische Instabilität: Operationen wie log(0) oder exp(grosse Zahl) erzeugen NaNs, die sich durch das ganze Training fortpflanzen. Loss-Clipping, stabile Softmax-Implementierungen und Mixed-Precision-Strategien sind Pflicht.
• Gradient-Clipping vergessen: Bei rekurrenten Modellen und langen Sequenzen ohne Clipping explodieren Gradienten regelmässig. clip_grad_norm_ ist ein Standard-Werkzeug.
• Falsche Loss-Funktion: Eine nicht-differenzierbare Loss-Funktion oder eine, die für die Aufgabe ungeeignet ist, macht Backpropagation nutzlos. Cross-Entropy für Klassifikation, MSE für Regression, custom Losses immer differenzierbar halten.

Abgrenzung

• Neuronales Netz: Die Struktur, auf der Backpropagation arbeitet. Backpropagation ist nicht das Netz, sondern der Lernalgorithmus für das Netz.
• Gradient Descent: Die Optimierungsmethode, die die berechneten Gradienten nutzt. Backpropagation liefert die Gradienten, Gradient Descent wendet sie an.
• Forward-Mode AutoDiff: Effizient für Funktionen mit wenigen Eingaben und vielen Ausgaben. Reverse-Mode (Backpropagation) ist effizient für viele Parameter und wenige Ausgaben, der typische Deep-Learning-Fall.
• Evolutionäre Methoden: Trainieren Modelle ohne Gradienten, etwa über genetische Algorithmen. Sie sind eine Alternative, wenn Backpropagation nicht anwendbar ist, aber meist deutlich langsamer.