Konnektionismus

Definition

Konnektionismus bezeichnet einen Ansatz der Kognitionswissenschaft und der Künstlichen Intelligenz, der mentale Prozesse und intelligentes Verhalten durch Netzwerke einfacher, miteinander verbundener Einheiten modelliert. Diese Einheiten, häufig als Neuronen, Knoten oder Units bezeichnet, propagieren Aktivierungssignale entlang gewichteter Verbindungen. Wissen wird nicht in expliziten Symbolen abgelegt, sondern verteilt in den Gewichten der Verbindungen gespeichert. Lernen geschieht durch Anpassung dieser Gewichte aufgrund von Trainingsdaten.

Konnektionismus ist die theoretische Grundlage künstlicher neuronaler Netze und damit auch des modernen Deep Learning. Er steht traditionell in Opposition zur symbolischen KI, die Wissen explizit kodiert. Moderne Forschung sieht beide Paradigmen zunehmend als komplementär.

Geschichte

Die Vorgeschichte beginnt mit Donald Hebbs Buch The Organization of Behavior (1949) und der Hebbschen Lernregel: Neuronen, die gemeinsam feuern, verbinden sich stärker. Frank Rosenblatt baute 1958 das Perzeptron, ein elektromechanisches System, das einfache Klassifikation lernte. Bernard Widrow und Marcian Hoff entwickelten 1960 das ADALINE-System.

1969 publizierten Marvin Minsky und Seymour Papert das Buch Perceptrons. Sie zeigten formal, dass einschichtige Perzeptronen das XOR-Problem nicht lösen können. Diese Kritik wurde missverständlich als generelle Schwäche neuronaler Netze rezipiert und führte zu einem ersten konnektionistischen Winter, der bis Mitte der 1980er anhielt.

Die Renaissance kam mit der Parallel Distributed Processing Group um David Rumelhart, James McClelland und Geoffrey Hinton, deren zweibändiges Werk PDP 1986 verteilte Repräsentationen, mehrschichtige Netze und den Backpropagation-Algorithmus systematisch ausarbeitete. Wesentliche Vorarbeiten zur Backpropagation lieferten Paul Werbos (1974) und Seppo Linnainmaa (1970).

Yann LeCun entwickelte in den späten 1980ern Convolutional Neural Networks, die seit 2012 (AlexNet) Bildklassifikation revolutionierten. Recurrent Networks, LSTM (Hochreiter und Schmidhuber, 1997) und schliesslich die Transformer-Architektur (Vaswani et al., 2017) bauen auf konnektionistischen Grundlagen auf. 2018 erhielten Hinton, LeCun und Bengio den Turing Award.

Mechanismus

Konnektionistische Systeme bestehen aus drei Hauptelementen:

• Einheiten: Knoten mit Eingangs- und Ausgangssignalen, oft mit nichtlinearer Aktivierungsfunktion (Sigmoid, ReLU, Tanh).
• Verbindungen: Gewichtete Kanten zwischen Einheiten, die Signalfluss und Stärke bestimmen.
• Lernregel: Algorithmus, der Gewichte aufgrund von Fehlern oder Korrelationen anpasst, etwa Backpropagation, Hebbsche Regel oder Contrastive Divergence.

Eine zentrale Eigenschaft ist die verteilte Repräsentation: Ein Konzept wird durch ein Muster über viele Einheiten kodiert, nicht durch eine einzelne Einheit. Verteilte Repräsentationen generalisieren ähnliche Konzepte natürlich und sind robust gegenüber Ausfällen einzelner Knoten.

Lernen findet typischerweise durch gradientenbasierte Optimierung statt. Backpropagation berechnet den Gradienten der Verlustfunktion bezüglich der Gewichte und passt sie iterativ an. Moderne Varianten nutzen stochastischen Gradientenabstieg, Adam-Optimizer und massive Parallelisierung auf GPUs.

Praxis und Anwendung

Konnektionismus ist das dominante Paradigma der heutigen KI:

• Bilderkennung: Convolutional Networks für Klassifikation, Detektion und Segmentierung.
• Sprachverarbeitung: Transformer-basierte Sprachmodelle wie GPT, Claude und Gemini.
• Audio: Speech-to-Text, Text-to-Speech, Musikgenerierung.
• Wissenschaft: AlphaFold (Proteinfaltung), AlphaGo (Brettspiele), Klima-Modellierung.
• Multimodale Systeme: CLIP, Flamingo, Gemini, die Text, Bild, Audio und Video integrieren.

In der Kognitionswissenschaft dient Konnektionismus als Modell für Wahrnehmung, Sprache, Gedächtnis und Lernen. Computational Neuroscience nutzt verwandte, biologisch näher angelehnte Modelle wie Spiking Neural Networks.

Häufige Fehler

• Konnektionismus mit Deep Learning gleichsetzen: Konnektionismus ist der theoretische Rahmen, Deep Learning eine moderne Implementierungs- und Skalierungsschule.
• Biologische Plausibilität annehmen: Künstliche Netze sind stark vereinfacht und nicht direktes Modell des Gehirns, auch wenn sie Inspiration daraus ziehen.
• Verteilte Repräsentationen mit Interpretierbarkeit verwechseln: Verteilte Codes generalisieren gut, sind aber schwer interpretierbar.
• Skalierung mit Verständnis verwechseln: Grössere Modelle erreichen bessere Benchmarks, was nicht automatisch tieferes Verstehen bedeutet.
• Kompositionalitätskritik abwerten: Fodors Einwand zu systematischer Struktur bleibt relevant, auch wenn moderne Modelle erstaunliche Generalisierung zeigen.

Abgrenzung

• Symbolische KI: Repräsentiert Wissen explizit und diskret, statt verteilt und kontinuierlich.
• Neuronales Netz: Konkrete technische Umsetzung konnektionistischer Prinzipien.
• Deep Learning: Moderner Forschungsstrang mit tiefen, oft Transformer-basierten Architekturen.
• Computational Neuroscience: Stärker an biologische Plausibilität gebunden, mit Spiking Networks und biophysikalischen Modellen.
• Neurosymbolische KI: Hybride Ansätze, die konnektionistische und symbolische Methoden verbinden.