ViT (Vision Transformer)

Definition

Ein Vision Transformer (ViT) ist eine neuronale Netzarchitektur für Computer Vision, die Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov und Kollegen 2020 bei Google Brain im Paper An Image is Worth 16x16 Words Transformers for Image Recognition at Scale vorstellten (publiziert ICLR 2021). Die zentrale Idee ist, das Bild in nicht-überlappende quadratische Patches (typischerweise 16x16 Pixel) zu zerlegen, jeden Patch als Token zu behandeln und die Sequenz mit dem Standard-Transformer-Encoder aus der Sprachverarbeitung zu verarbeiten.

ViT hat die Computer Vision konzeptuell umgestaltet, indem es zeigte, dass die seit 2012 dominanten Convolutional Neural Networks nicht alternativlos sind und dass die Transformer-Architektur universell genug ist, um Modalitäten von Text bis Bild abzudecken. Diese Universalität ist das Fundament moderner Foundation Models und multimodaler Systeme.

Architektur

Die Verarbeitung eines Bildes in ViT erfolgt in mehreren Schritten:

• Patch-Aufteilung: Ein 224x224-Bild wird in 14x14 = 196 Patches zu je 16x16 Pixeln zerlegt.
• Flachlegung und Projektion: Jeder Patch (16x16x3 = 768 Werte) wird linear in einen Embedding-Vektor projiziert.
• Class-Token: Ein zusätzliches lernbares Token wird der Sequenz vorangestellt, dessen Output-Embedding für Klassifikation genutzt wird.
• Positional Encoding: Jedem Token wird ein lernbares Position Embedding addiert, weil Self-Attention permutationsinvariant ist.
• Transformer-Encoder: Mehrere identische Blöcke aus Multi-Head Self-Attention, LayerNorm und MLP. Standard-ViT-Base hat 12 Blöcke, 12 Heads und Embedding-Dimension 768.
• MLP-Head: Am Class-Token-Output wird eine kleine MLP zur Klassifikation angeschlossen.

Wesentliche Hyperparameter sind Patch-Grösse (16x16 ist Standard, kleinere Patches erhöhen Auflösung und Rechenaufwand), Anzahl Layers, Embedding-Dimension, Heads und MLP-Ratio. ViT-B/16 hat etwa 86 Millionen Parameter, ViT-L/16 etwa 307 Millionen, ViT-H/14 etwa 632 Millionen.

Self-Attention erlaubt jedem Patch, direkt mit allen anderen Patches zu interagieren. Globaler Kontext wird damit bereits in der ersten Schicht modelliert, während CNNs ihn erst in tieferen Schichten durch wachsende rezeptive Felder aufbauen.

Geschichte und Bedeutung

Vor ViT dominierten CNNs die Computer Vision seit AlexNet 2012. Transformer waren seit Vaswani et al. 2017 im NLP etabliert, aber Versuche, sie auf Bilder anzuwenden (etwa Image Transformer 2018, iGPT 2020), blieben Insider-Themen. ViT war 2020 der erste Ansatz, der eine reine Transformer-Architektur ohne Hilfs-Convolutions auf ImageNet konkurrenzfähig brachte, vorausgesetzt grosse Vortrainings-Datensätze.

Dosovitskiy et al. zeigten, dass ViT auf ImageNet alleine schwächer als ResNet ist, auf JFT-300M (Google-internes Dataset mit 300 Millionen Bildern) vortrainiert aber alle CNNs überflügelt. Diese Skalierungs-Eigenschaft brach das Paradigma, dass Inductive Bias durch Faltung unverzichtbar sei.

Innerhalb weniger Jahre folgte eine Welle von Folge-Architekturen: DeiT (datenefffizient, ohne JFT trainierbar), Swin Transformer (hierarchisch mit Shifted Windows, CNN-ähnlich strukturiert), BEiT (Masked Image Modeling als BERT-Analog), MAE (Masked Autoencoder, He et al. 2021), DINO und DINOv2 (Self-Supervised), SAM (Segment Anything Model, Meta 2023), DINOv3 und viele mehr.

ViT-basierte Backbones sind die Standardwahl in Vision-Language-Modellen (CLIP, BLIP, LLaVA, GPT-4V) und in Diffusion-Modellen mit Transformer-Backbones (DiT, Stable Diffusion 3, Sora). Die Universalität von Transformer-Architekturen über Modalitäten hinweg ist das Fundament moderner multimodaler Systeme.

Praxis und Anwendung

Vision Transformer und ihre Varianten sind 2026 in folgenden Bereichen produktiv:

• Foundation Models: DINOv2 und DINOv3 als Self-Supervised Pretraining für vielfältige Downstream-Aufgaben.
• Vision-Language-Modelle: CLIP, BLIP, LLaVA, Gemini Vision, GPT-4V verwenden ViT-Backbones zur Bildkodierung.
• Segmentation: SAM (Segment Anything Model) und Nachfolger nutzen ViT als universellen Segmentierungs-Backbone.
• Diffusion Models: DiT (Diffusion Transformer) ersetzt zunehmend U-Net-Backbones in Stable Diffusion 3 und Sora.
• Medizinische Bildgebung: Bei grossen Datensätzen (etwa PathFoundation, MedSAM) ViT als bevorzugter Backbone.
• Satellitenbildanalyse: Earth-Observation-Foundation-Models nutzen ViT für multispektrale und temporale Daten.
• Industrielle Inspektion: Für Klassifikation und Anomaly Detection mit grossen Trainingskorpora.
• 3D Vision: Point Cloud Transformer und Video-ViT erweitern die Idee auf zusätzliche Dimensionen.

Implementierungen sind in PyTorch (torchvision, Hugging Face Transformers), TIMM (PyTorch Image Models) und JAX/Flax verfügbar. Vortrainierte Gewichte auf ImageNet-21k, LAION und Custom-Korpora sind über Hugging Face Hub direkt zugänglich.

Häufige Fehler

• ViT ohne Vortraining auf kleinen Datensätzen trainieren: Ohne Vortraining auf grossen Datensätzen ist ViT auf moderaten Datenmengen schwächer als ResNet. Für kleine Datensätze ist Transfer Learning von einem vortrainierten Modell Pflicht.
• Falsche Patch-Grösse wählen: 16x16 ist Standard für 224x224. Bei sehr feinkörnigen Strukturen (Medizin, Satellit) sind 8x8 oder 14x14 oft besser, dafür rechenintensiver.
• Positional Encoding nicht an Auflösung anpassen: Bei Inferenz mit anderer Auflösung als Training müssen Position Embeddings interpoliert werden, sonst sinkt die Performance stark.
• Compute-Bedarf unterschätzen: ViT skaliert quadratisch mit der Patch-Anzahl. Hochauflösende Inputs sind teuer. Hierarchische Varianten wie Swin Transformer sind oft effizienter.
• Augmentation übertreiben: ViT-Training auf JFT verwendete relativ schwache Augmentation. Bei kleineren Datensätzen sind DeiT-Trainingsrezepte mit MixUp, CutMix und RandAugment Standard.
• Self-Attention als Allheilmittel sehen: Lokale Strukturen werden durch globale Attention nicht automatisch besser modelliert. Hybride Ansätze (Conv-stems, Swin Windows) sind oft praktischer.
• Inductive Bias komplett verschmähen: Reine ViT ohne jegliche räumliche Annahme ist datenhungrig. Hybride Architekturen mit lokaler Bias-Komponente sind oft pragmatischer.

Abgrenzung

• Convolutional Neural Network (CNN): Nutzt lokale Faltungen mit Inductive Bias für Lokalität. Dateneffizienter bei kleinen Datensätzen, weniger flexibel für multimodale Anwendungen.
• Swin Transformer: Hierarchisches Transformer-Design mit Shifted Windows, CNN-ähnlich strukturiert. Effizienter und mit besseren Inductive Biases als reines ViT.
• DeiT (Data-efficient Image Transformer): Touvron et al. 2021. Trainiert ViT-Architektur auf ImageNet allein durch starke Augmentation und Distillation Token.
• MAE (Masked Autoencoder): He et al. 2021. Self-Supervised Vortraining durch Rekonstruktion maskierter Patches. Verbessert dateneffizientes ViT-Training.
• DINO und DINOv2: Self-Supervised Vortraining mit Self-Distillation. Erzeugt universelle ViT-Features ohne Labels.
• SAM (Segment Anything Model): ViT-basiertes Segmentierungs-Foundation-Model von Meta 2023.
• CLIP: Vision-Language-Modell von OpenAI, koppelt ViT-Bild-Encoder mit Text-Encoder über kontrastives Lernen.
• Diffusion Transformer (DiT): Peebles und Xie 2023. Ersetzt U-Net-Backbone in Diffusion Models durch ViT.
• ConvNeXt: Modernisiertes CNN, das mit zeitgemässen Trainingstricks ViT-Performance erreicht und CNN-Effizienz behält.