AlexNet

Definition

AlexNet ist ein tiefes Convolutional Neural Network, das Alex Krizhevsky, Ilya Sutskever und Geoffrey Hinton 2012 an der University of Toronto entwickelten und im NeurIPS-Paper ImageNet Classification with Deep Convolutional Neural Networks beschrieben. Das Modell gewann die ImageNet Large Scale Visual Recognition Challenge (ILSVRC) 2012 mit einem Top-5-Error von 15.3 Prozent, während der zweitplatzierte klassische Computer-Vision-Ansatz bei 26.2 Prozent lag.

Dieser Vorsprung von über zehn Prozentpunkten war für die Forschungsgemeinschaft ein Schock und gilt heute als symbolischer Startpunkt der modernen Deep-Learning-Ära. AlexNet zeigte empirisch, dass tiefe neuronale Netze auf GPU-Hardware praktikabel trainierbar sind und klassische Pipelines mit handgefertigten Features übertreffen. Praktisch jede heute gängige Computer-Vision-Methode steht in der Tradition dieses Modells.

Architektur

AlexNet besteht aus acht trainierbaren Schichten, fünf Convolutional Layers gefolgt von drei vollverbundenen Layers. Die Eingabe sind RGB-Bilder mit 224x224 Pixeln. Die wichtigsten Schichten:

• Conv1: 96 Filter mit Kernel 11x11, Stride 4. Reduziert die Auflösung sofort stark.
• Conv2: 256 Filter mit Kernel 5x5, mit Padding und Local Response Normalization.
• Conv3, Conv4, Conv5: 384, 384, 256 Filter mit Kernel 3x3.
• Max-Pooling: Überlappend mit 3x3-Fenster und Stride 2 nach Conv1, Conv2 und Conv5.
• FC6, FC7: Vollverbunden mit jeweils 4096 Neuronen und Dropout 0.5.
• FC8: 1000 Neuronen mit Softmax für die 1000 ImageNet-Klassen.

Insgesamt rund 60 Millionen Parameter. Das Modell wurde verteilt auf zwei NVIDIA GTX 580 GPUs mit je 3 GB Speicher trainiert, weil der Speicher einer einzelnen Karte nicht reichte. Die Aufteilung erfolgte entlang der Kanaldimension, mit Kommunikation zwischen den GPUs nur an bestimmten Schichten.

Technische Neuerungen waren ReLU statt Sigmoid oder Tanh (rund sechsmal schnellere Konvergenz), Dropout zur Regularisierung der grossen FC-Schichten und Datenaugmentation mit Random Crops und Horizontal Flips.

Geschichte und Bedeutung

Vor 2012 dominierten klassische Computer-Vision-Pipelines mit handgefertigten Features wie SIFT, HOG, Bag-of-Visual-Words und linearen Klassifikatoren wie SVMs. Neuronale Netze galten in der Vision-Community als Randthema. ImageNet, von Fei-Fei Li ab 2007 aufgebaut, bot mit 1.2 Millionen annotierten Bildern und 1000 Klassen erstmals einen Benchmark in einer Grössenordnung, die Deep Learning ernsthaft testen konnte.

Krizhevsky und Sutskever, beide Doktoranden bei Hinton, implementierten AlexNet handgeschrieben in CUDA (cuda-convnet) und trainierten es etwa sechs Tage auf zwei Consumer-GPUs. Das Ergebnis bei ILSVRC 2012 war so eindeutig, dass innerhalb weniger Monate praktisch alle grossen Tech-Konzerne Deep-Learning-Teams aufbauten. Google kaufte Hintons Spin-off DNNresearch, Facebook gründete FAIR, Baidu Silicon Valley AI Lab.

NVIDIA erkannte das Geschäftspotenzial GPUs für KI früh und richtete CUDA und spätere Hardware konsequent darauf aus. Ohne AlexNet sähen Aktienkurs und Strategie von NVIDIA heute anders aus. Sutskever wurde 2015 Mitgründer und Chief Scientist von OpenAI, Krizhevsky verliess die Forschung 2017 weitgehend.

Praxis und Anwendung

In aktuellen Produktivsystemen wird AlexNet praktisch nicht mehr eingesetzt. Modernere Architekturen wie ResNet, EfficientNet, ConvNeXt oder Vision Transformer sind in jeder Hinsicht überlegen: höhere Accuracy, bessere Skalierung, modernere Trainingstricks. Wer 2026 ein Vision-System neu baut, startet nicht mit AlexNet.

Praktische Verwendungen bleiben:

• Lehre: Standard-Beispiel in Computer-Vision-Vorlesungen wie cs231n, weil die Architektur einfach genug ist, um sie ganz nachzuvollziehen.
• Reproduzierbarkeitsstudien: Baseline für Vergleiche bei methodischen Untersuchungen zu Training, Augmentation oder Initialisierung.
• Historische Bezüge: Forschungspapers zitieren AlexNet meist als Referenzpunkt für den Beginn der Deep-Learning-Ära.
• Embedded-Demos: Auf sehr kleinen Geräten als Demonstrations-Modell mit überschaubarer Komplexität.

Vortrainierte Gewichte sind in PyTorch (torchvision.models.alexnet) und TensorFlow verfügbar und können für Lehre und Experimente sofort geladen werden.

Häufige Fehler

• AlexNet als State-of-the-Art behandeln: Die Architektur ist 2026 historisch, nicht produktiv. Wer ein neues System baut, sollte zu ResNet, ConvNeXt oder Vision Transformer greifen.
• Local Response Normalization weiterführen: LRN wurde durch Batch Normalization vollständig abgelöst und sollte in neuen Implementierungen nicht mehr verwendet werden.
• Grosse Kernel kopieren: Die 11x11- und 5x5-Kernel der ersten Schichten sind nicht effizient. Stack mehrerer 3x3-Kernel ist meist besser.
• Zwei-GPU-Aufteilung beibehalten: Die GPU-Partitionierung war ein Speicherhack von 2012. Moderne GPUs brauchen das nicht und Data-Parallelism ist die richtige Skalierungsstrategie.
• Dropout-Rate aus dem Original übernehmen: AlexNet nutzte Dropout 0.5 in FC-Layern. Moderne Netze ohne grosse FC-Schichten brauchen oft niedrigere Dropout-Werte oder gar keinen.
• Datenaugmentation unterschätzen: Wer AlexNet ohne Random Crops und Flips trainiert, verliert deutlich an Accuracy. Augmentation ist nicht optional.
• ImageNet-Vortrainierung übergehen: Auch wer AlexNet nur als Baseline nutzt, sollte vortrainierte Gewichte verwenden statt von Grund auf zu trainieren.

Abgrenzung

• LeNet-5: Yann LeCuns CNN von 1998 für Zifferenerkennung. Deutlich kleiner, aber strukturell der Vorgänger von AlexNet.
• VGG: 2014 von Simonyan und Zisserman, deutlich tiefer (16 oder 19 Schichten) und uniformer mit ausschliesslich 3x3-Convolutions.
• GoogLeNet/Inception: 2014, nutzt Inception-Module mit parallelen Filterzweigen und ist parameter-effizienter.
• ResNet: 2015, Residual Connections ermöglichen Tiefen von 100 und mehr Schichten und übertreffen AlexNet deutlich.
• EfficientNet: 2019, Compound Scaling von Tiefe, Breite und Auflösung. Bessere Genauigkeit pro Parameter.
• Vision Transformer: 2020, ersetzt Convolutions vollständig durch Self-Attention. Andere Designphilosophie, aber direkte Konkurrenz zu modernen CNNs.
• ConvNeXt: 2022, modernisiertes CNN mit Transformer-inspirierten Designs. Beweist, dass die CNN-Familie weiter konkurrenzfähig ist.