CNN (Convolutional Neural Network)

Definition

Ein Convolutional Neural Network (CNN) ist eine Klasse tiefer neuronaler Netze, die Faltungsschichten als zentralen Baustein nutzt. Faltung (Convolution) ist eine mathematische Operation, bei der ein kleiner lernbarer Filter (Kernel) über die Eingabe geschoben wird und an jeder Position das Skalarprodukt mit dem darunterliegenden Bildausschnitt bildet. Das Ergebnis ist eine Feature Map, die anzeigt, wo im Bild das durch den Filter erfasste Muster auftritt.

CNNs sind das Fundament moderner Computer Vision und prägten die Deep-Learning-Revolution ab 2012, als AlexNet die ImageNet-Klassifikation drastisch verbesserte. Sie sind speziell für gitterstrukturierte Daten ausgelegt, primär Bilder, aber auch Audiospektrogramme, Videoframes und 3D-Voxel.

Mechanismus und Architektur

Ein typisches CNN durchläuft folgende Schichten:

• Convolutional Layer: Lernbare Filter (typischerweise 3x3 oder 5x5) werden mit der Eingabe gefaltet. Stride bestimmt die Schrittweite, Padding erhält Randpixel.
• Aktivierungsfunktion: Üblich ReLU oder Varianten wie GELU, Leaky ReLU. Führt Nichtlinearität ein.
• Pooling Layer: Max-Pooling oder Average-Pooling reduziert die räumliche Auflösung und erzeugt Translationsinvarianz.
• Batch Normalization: Stabilisiert das Training durch Normalisierung der Aktivierungen.
• Skip Connections: ResNet führte Identity-Shortcuts ein, die das Training sehr tiefer Netze ermöglichten.
• Global Average Pooling oder Fully Connected: Aggregiert räumliche Information zur finalen Klassenausgabe.

Hierarchisch lernen frühe Schichten einfache Muster wie Kanten und Farbgradienten. Mittlere Schichten kombinieren diese zu Texturen und Teilstrukturen. Späte Schichten repräsentieren ganze Objektteile oder Objekte.

Die induktiven Biases lokale Konnektivität, Gewichtsteilung und Translationsequivarianz machen CNNs dateneffizient: bereits mit moderaten Trainingsmengen erreichen sie gute Ergebnisse, während Transformer typischerweise grössere Datenmengen brauchen.

Praxis und Anwendung

CNNs sind in zahlreichen Produktivsystemen das Arbeitspferd:

• Bildklassifikation: Standard-Backbones in PyTorch (torchvision) und TensorFlow Keras (ResNet, EfficientNet, MobileNet).
• Object Detection: YOLO-Familie, Faster R-CNN, RetinaNet nutzen CNN-Backbones.
• Semantic Segmentation: U-Net, DeepLab, Mask R-CNN für Segmentierungsaufgaben in Medizin und autonomem Fahren.
• Medizinische Bildgebung: Histopathologie, Radiologie, Augenheilkunde. Oft sind annotierte Daten knapp, was CNNs gegenüber Transformern bevorzugt.
• Mobile Anwendungen: MobileNet und EfficientNet sind für Edge-Inference auf Smartphones und IoT-Geräten optimiert.
• Audio: Spektrogramme als 2D-Bilder, CNNs erkennen Sprache, Musikgenres oder Maschinensounds.
• Generative Modelle: GANs (StyleGAN) nutzen CNNs als Generator und Diskriminator, frühe Diffusion Models basieren auf U-Net-Backbones.

Frameworks bieten vortrainierte Modelle auf ImageNet, die per Transfer Learning für eigene Aufgaben feinabgestimmt werden, oft in Minuten statt Tagen.

Häufige Fehler

• Falsche Kernel-Grösse: 3x3 ist Standard. Sehr grosse Kernel verschwenden Parameter, sehr kleine verlieren räumlichen Kontext.
• Pooling übertreiben: Aggressives Pooling verliert Information. Modern wird Pooling oft durch Strided Convolutions ersetzt.
• Batch Normalization falsch platzieren: BatchNorm vor ReLU war Standard, neuere Architekturen verwenden andere Reihenfolgen oder LayerNorm.
• Skip Connections vergessen: Ab etwa 20 Schichten ist Training ohne Skip Connections instabil.
• Datenaugmentation unterschätzen: Random Crop, Flip, Color Jitter, Mixup und RandAugment sind oft wichtiger als Architekturwahl.
• Mit zu wenig Daten trainieren: Bei wenigen Bildern besser Transfer Learning von ImageNet-vortrainiertem Modell als From-Scratch-Training.
• Inference-Resolution ignorieren: Trainingsbilder und Inference-Bilder sollten ähnliche Auflösungen haben, sonst sinkt die Accuracy stark.

Abgrenzung

• Fully Connected Network (MLP): Ignoriert räumliche Struktur und hat exponentiell mehr Parameter bei Bildern. Für Bilder veraltet.
• Vision Transformer (ViT): Nutzt Self-Attention statt Faltung. Bei sehr grossen Datensätzen oft besser, bei kleinen Daten oft schlechter.
• Recurrent Neural Network (RNN): Verarbeitet Sequenzen seriell. CNNs verarbeiten räumliche oder kurze zeitliche Strukturen parallel.
• Graph Neural Network (GNN): Verallgemeinert Faltung auf nicht-gitterstrukturierte Daten wie Graphen. CNN ist Spezialfall einer GNN auf regulärem Gitter.
• Diffusion Model: Generatives Modell, das oft CNN- oder U-Net-Architekturen als Backbone nutzt, aber mit anderem Trainingsziel.