ResNet (Residual Network)

Definition

ResNet (Residual Network) ist eine Familie tiefer Convolutional-Neural-Network-Architekturen, die Kaiming He, Xiangyu Zhang, Shaoqing Ren und Jian Sun 2015 bei Microsoft Research im Paper Deep Residual Learning for Image Recognition vorstellten. Die zentrale Innovation sind Residual Connections, auch Skip Connections oder Shortcuts genannt, die das Eingangssignal einer Schicht direkt zu ihrem Ausgang addieren.

Diese architektonische Idee löste das Degradation-Problem tiefer Netze und ermöglichte erstmals das stabile Training von Architekturen mit über 100, später über 1000 Schichten. ResNet-152 gewann 2015 die ILSVRC-Benchmarks mit deutlichem Vorsprung und etablierte tiefe Residual-Architekturen als Standard für die kommenden Jahre. Das zugehörige Paper gehört mit über 250'000 Zitationen zu den meistzitierten der Informatik überhaupt.

Architektur und Mechanismus

Klassische CNN-Schichten lernen eine Mapping-Funktion H(x), die den Eingang x auf einen Output abbildet. ResNet reformuliert dies: Die Schicht lernt die Residual-Funktion F(x) = H(x) - x, also nur den Unterschied. Der ursprüngliche Eingang x wird über eine Identity-Shortcut um die Convolution-Schichten herumgeleitet und am Ausgang addiert. Mathematisch:

y = F(x, {Wi}) + x

Die Begründung dahinter: Wenn die optimale Mapping nahe an einer Identität liegt, ist es für das Netz einfacher, F(x) auf Null zu drücken, als eine komplexe Identity-Approximation zu lernen.

Standard-Bausteine:

• Basic Block (für ResNet-18, ResNet-34): Zwei 3x3 Convolutions, BatchNorm, ReLU, mit Residual-Shortcut.
• Bottleneck Block (für ResNet-50, ResNet-101, ResNet-152): 1x1 Convolution (Reduktion), 3x3 Convolution, 1x1 Convolution (Expansion), Residual-Shortcut. Spart Parameter und FLOPs.
• Downsampling Block: Stride-2-Convolution plus angepasster Shortcut mit 1x1 Convolution.

Vier Stages mit jeweils mehreren Blocks, Feature-Map-Auflösung halbiert sich pro Stage, Kanalanzahl verdoppelt sich.

Trainingsstabilität wird zusätzlich durch BatchNorm nach jeder Convolution gesichert. He-Initialization für Gewichte ist Pflicht, sonst explodieren oder kollabieren Aktivierungen in tiefen Netzen.

Praxis und Anwendung

ResNet ist auch 2026 noch in zahlreichen produktiven Systemen verankert:

• Object Detection: Mask R-CNN, Faster R-CNN, RetinaNet und FCOS nutzen ResNet als Backbone. In der Industrie weiterhin Standard.
• Medizinische Bildgebung: Radiologie-Klassifikation, Histopathologie, Dermatologie. ResNet ist robust und gut interpretierbar.
• Industrielle Inspektion: Defekterkennung, Anomaly Detection in Fertigungslinien.
• Embedded und Edge: ResNet-18 und ResNet-34 sind klein genug für mobile und Edge-Geräte, mit guter Performance bei moderater Latenz.
• Feature Extraction: Vortrainierte ResNets liefern starke generische Features für Transfer Learning, etwa zur Image-Retrieval oder Few-Shot-Klassifikation.
• Forschung und Lehre: ResNet bleibt das Standard-Baseline-Modell in Computer-Vision-Papers und Lehrveranstaltungen.
• Pose Estimation: HRNet und Simple Baselines nutzen ResNet-Backbones.

Implementierungen sind in PyTorch (torchvision.models.resnet), TensorFlow/Keras (tf.keras.applications.ResNet50) und ONNX direkt verfügbar. Vortrainierte Gewichte auf ImageNet sind Standard und sofort einsetzbar.

Häufige Fehler

• Falsche Pre-Processing: ResNet wurde mit ImageNet-Mean/Std normalisiert. Wer Bilder ohne diese Normalisierung füttert, bekommt deutlich schlechtere Ergebnisse.
• BatchNorm beim Finetuning falsch handhaben: Beim Finetuning mit kleinen Batch-Sizes sollten BatchNorm-Statistiken eingefroren werden, sonst destabilisieren sie das Training.
• Tiefer ist nicht immer besser: ResNet-152 ist nicht automatisch besser als ResNet-50. Bei moderaten Datensätzen overfittet das tiefere Modell. Datengrösse zu Modellgrösse passen lassen.
• Veraltete Architektur trotz besserer Alternativen wählen: Für neue Foundation-Model-Anwendungen ist ConvNeXt oder ViT meist besser. ResNet ist Industrie-Standard, nicht State-of-the-Art-Forschung.
• Identity-Shortcut bei Dimensions-Mismatch ignorieren: Bei Strided-Convolution oder Kanal-Mismatch muss der Shortcut via 1x1-Convolution angepasst werden, sonst Tensor-Shape-Fehler.
• Augmentation vernachlässigen: ResNets profitieren stark von Random Crop, Horizontal Flip, ColorJitter und modernen Strategien wie MixUp oder CutMix. Ohne Augmentation liegt die Accuracy 2 bis 4 Punkte tiefer.
• He-Initialization vergessen: Standard-Xavier-Init führt zu Gradient-Problemen in tiefen Netzen. He-Init ist die korrekte Wahl für ReLU-Netze.

Abgrenzung

• VGG: Vorgänger, einfache Stack-of-Conv-Architektur, kein Residual. Tiefer als 19 Schichten kaum trainierbar.
• DenseNet: Verbindet jede Schicht mit jeder folgenden, nicht nur über Skip. Parameter-effizienter, aber rechenintensiv.
• Inception: Parallel verschiedene Filtergrössen pro Schicht. Komplexer, weniger einheitlich.
• EfficientNet: Compound Scaling von Tiefe, Breite und Auflösung. Bessere Accuracy-Effizienz-Trade-offs als ResNet.
• ConvNeXt: Modernisiertes CNN mit Transformer-inspirierten Designs (grosse Kerne, LayerNorm, GELU). Übertrifft ResNet bei vergleichbaren FLOPs.
• Vision Transformer (ViT): Ersetzt Convolutions durch Self-Attention. Skalierungs-überlegen, aber datenhungrig.
• Swin Transformer: Hybrider Ansatz mit hierarchischen Windows. Verbindet Vorteile von CNN und Transformer.