Neuronales Netz

Definition

Ein neuronales Netz ist ein parametrisches Modell, das aus Schichten verbundener Recheneinheiten besteht. Jede Einheit, oft Neuron genannt, berechnet eine gewichtete Summe ihrer Eingaben, addiert einen Bias und wendet eine nichtlineare Aktivierungsfunktion an. Schichten werden hintereinander gestapelt, sodass die Ausgabe einer Schicht zur Eingabe der nächsten wird.

Der Name stammt aus einer losen Analogie zu biologischen Neuronen, ist aber technisch eher irreführend. Moderne neuronale Netze sind primär als hochdimensionale, differenzierbare Funktionen zu verstehen, die durch Gradient-Verfahren angepasst werden.

Mechanismus

Der Vorwärtspass berechnet die Ausgabe für eine Eingabe:

• Gewichtete Summe: Jedes Neuron in Schicht l berechnet z = W*x + b, wobei W die Gewichtsmatrix, x die Eingabe und b der Bias-Vektor ist.
• Aktivierung: Auf z wird eine nichtlineare Funktion wie ReLU angewendet, das Ergebnis ist die Eingabe der nächsten Schicht.
• Ausgabeschicht: Je nach Aufgabe wird hier Softmax für Klassifikation, Sigmoid für Binärklassifikation oder eine lineare Funktion für Regression verwendet.

Der Rückwärtspass via Backpropagation berechnet die Gradienten der Loss-Funktion bezüglich aller Gewichte. Diese Gradienten werden von einem Optimierer (SGD, Adam, AdamW) genutzt, um die Gewichte schrittweise zu verbessern.

Wichtige Architektur-Bausteine sind Residual Connections (Skip-Verbindungen, die das Vanishing-Gradient-Problem mildern), Batch Normalization (stabilisiert Aktivierungen über Mini-Batches) und Attention (lässt das Modell selektiv auf relevante Eingaben fokussieren).

Praxis

Neuronale Netze dominieren heute Bilderkennung, Sprachverarbeitung, Übersetzung, Sprachsynthese, Spielagenten und Multimodal AI. Convolutional Networks haben die Bilderkennung seit AlexNet 2012 transformiert. Transformer haben seit 2017 nahezu die gesamte NLP-Welt übernommen und sind heute Basis von GPT, Claude, Gemini und vielen anderen Foundation Models.

In der Produktion bedeutet ein neuronales Netz zu betreiben: GPU- oder TPU-Hardware, Frameworks wie PyTorch oder JAX, Distributed Training für grosse Modelle, Quantisierung und Pruning für Inferenz, und Monitoring auf Drift und Latenz. Inference-Optimierungen wie ONNX, TensorRT und vLLM sind Standard im produktiven Einsatz.

Häufige Fehler

• Zu kleines Modell oder zu wenig Daten: Tiefe Netze brauchen entweder viele Daten oder Transfer Learning von einem Foundation Model. Sonst overfitten sie schnell.
• Falsche Lernrate: Zu hoch divergiert das Training, zu niedrig dauert es ewig. Learning-Rate-Schedules wie Cosine Annealing oder Warmup sind heute Standard.
• Aktivierungen ohne Normalisierung: Ohne Batch- oder Layer-Norm explodieren oder kollabieren Aktivierungen in tiefen Netzen. Modernes Training setzt fast immer Normalisierung ein.
• Fehlende Validierung: Wer nur auf Trainings-Loss schaut, sieht Overfitting nicht. Validation-Loss und frühes Stoppen sind Pflicht.
• Reproduzierbarkeit ignorieren: Random Seeds, deterministische Datenladung und feste Software-Versionen sind nötig, um Ergebnisse vergleichbar zu machen.

Abgrenzung

• Backpropagation: Der Algorithmus, mit dem neuronale Netze trainiert werden. Das Netz ist die Struktur, Backpropagation der Lernmechanismus.
• Deep Learning: Der Sammelbegriff für maschinelles Lernen mit tiefen neuronalen Netzen. Neuronale Netze sind das Werkzeug, Deep Learning das Feld.
• Klassische ML-Modelle: Lineare Modelle, Bäume, SVMs arbeiten ohne mehrschichtige Nichtlinearität und sind auf tabellarischen Daten oft konkurrenzfähig.
• Symbolische KI: Regelbasierte Systeme arbeiten mit Logik statt mit lernbaren Gewichten. Hybride neurosymbolische Ansätze versuchen, beide Welten zu verbinden.