CLIP (Contrastive Language-Image Pre-training)

Definition

CLIP (Contrastive Language-Image Pre-training) ist ein multimodales Foundation Model, das OpenAI im Januar 2021 vorstellte. Das Modell trainiert zwei Encoder, einen Image Encoder und einen Text Encoder, mit dem Ziel, dass Bilder und ihre passenden Textbeschreibungen im gemeinsamen Embedding-Raum nahe beieinander liegen, nicht passende Paare hingegen weit entfernt. Aus dieser geometrischen Anordnung ergibt sich eine Vielzahl von Anwendungen: Zero-Shot Bildklassifikation ohne taskspezifisches Training, semantische Bild- und Textsuche, Caption-Retrieval, Filterung von Trainingsdaten und Conditioning generativer Modelle.

CLIP gehört zu den einflussreichsten Modellen der jüngeren KI-Geschichte. Es legte das Fundament für die Diffusion-Bildgenerierung (Stable Diffusion nutzt CLIP-Encoder), für offene Multimodal-Modelle wie OpenCLIP und SigLIP und für viele Vision-Language-Modelle ab 2022.

Mechanismus und Architektur

CLIP besteht aus zwei separaten Encoder-Modellen:

• Image Encoder: Ein Vision Transformer (ViT-B/32, ViT-L/14) oder ein ResNet (in frühen Varianten). Mappt ein Bild auf einen Embedding-Vektor (typisch 512 oder 768 Dimensionen).
• Text Encoder: Ein Transformer-Encoder, der einen Text-Prompt (max. 77 Tokens) auf einen Embedding-Vektor derselben Dimension mappt.

Beide Encoder werden so trainiert, dass passende Bild-Text-Paare hohe Cosine-Similarity ihrer Embeddings erreichen, unpassende Paare niedrige. Die Verlustfunktion ist symmetrisches Cross-Entropy über eine N-mal-N-Matrix aus N Bildern und N Texten pro Batch. Der Loss wird einmal über die Bild-Achse (welcher Text passt zu diesem Bild) und einmal über die Text-Achse (welches Bild passt zu diesem Text) angewendet.

Trainingsdaten waren bei OpenAI 400 Millionen Bild-Text-Paare, gesammelt aus dem Web. Bei OpenCLIP wurden öffentlich verfügbare LAION-2B und LAION-5B Datensätze genutzt. Trainingsdauer auf hunderten GPUs für mehrere Wochen.

Nach dem Pre-Training werden Embedding-Vektoren oft auf Einheitslänge normalisiert, sodass Cosine-Similarity äquivalent zum Skalarprodukt wird. Das vereinfacht Retrieval-Anwendungen via Vektordatenbank.

Praxis und Anwendung

Produktive Einsatzfelder:

• Zero-Shot Klassifikation: Klassen werden als Text-Prompts beschrieben, kein Training nötig. Etwa für Wildkatzen-Identifikation in Camera Traps oder Defekt-Detektion auf Produktionslinien.
• Semantische Bildsuche: Textanfragen suchen Bilder ohne explizite Tag-Annotation. Adobe Stock, Unsplash und Pinterest nutzen CLIP-ähnliche Modelle für visuelle Suche.
• Filterung von Trainingsdaten: LAION-Aesthetics filterte Milliarden Bilder mit CLIP-Aesthetics-Scores, um Stable-Diffusion-Trainingsdaten zu kuratieren.
• Diffusion-Conditioning: Stable Diffusion 1.x, 2.x und SDXL nutzen CLIP-Text-Encoder, um Prompts in Embeddings für das Denoising zu konvertieren.
• Content Moderation: NSFW- und Gewalt-Klassifikation via Text-Prompts.
• Multimodale Retrieval-Systeme: Vektordatenbanken speichern CLIP-Embeddings und ermöglichen Cross-Modal-Suche.
• Image Captioning: Als Komponente in BLIP, BLIP-2 und LLaVA wird CLIP als Vision Backbone für Caption-Generation verwendet.
• Robotik und autonome Systeme: CLIP-Embeddings als Wahrnehmungs-Repräsentation für nachgelagerte Reasoning-Module.

Wichtige Implementierungen sind OpenAI CLIP (PyTorch), OpenCLIP (LAION), HuggingFace Transformers und sentence-transformers für Embedding-Anwendungen.

Häufige Fehler

• Prompt Engineering vernachlässigen: a photo of a {class} liefert oft 5 bis 10 Prozentpunkte mehr Accuracy als blosses {class}. Prompt-Templates testen.
• Embedding-Normalisierung vergessen: Vergleiche via Cosine-Similarity erfordern normalisierte Embeddings, sonst dominiert die Magnitude.
• Zu hohe Auflösung erwarten: CLIP wurde meist auf 224 mal 224 Pixel trainiert. Feine Details werden nicht zuverlässig erfasst.
• Typografische Angriffe ignorieren: Ein Apple-Logo mit dem Text iPod aufgeklebt wird von CLIP als iPod klassifiziert. Im Sicherheitskontext relevant.
• Westlichen Bias übersehen: CLIP performt auf nicht-westlichen Bildern, in Schwarzweiss oder in seltenen Kulturkreisen deutlich schlechter.
• Räumliche Beziehungen erwarten: CLIP versteht links, rechts, oben, unten unzuverlässig. Für räumliches Reasoning andere Modelle nutzen.
• Veralteten Checkpoint nutzen: OpenCLIP ViT-G und SigLIP übertreffen Original-CLIP 2026 deutlich. State of the Art prüfen.

Abgrenzung

• SigLIP: Google-Variante mit Sigmoid Loss statt Contrastive Loss. Skaliert besser und liefert höhere Zero-Shot-Accuracy.
• DINOv2: Selbst-überwachtes Bildmodell ohne Text. Liefert visuelle Embeddings, aber keinen multimodalen Embedding-Raum.
• SAM (Segment Anything): Fokus auf Segmentation, nicht auf Embedding oder Klassifikation.
• Vision-Language-Modelle (LLaVA, BLIP-2, Qwen-VL): Erweitern CLIP-artige Vision Encoder um ein Sprachmodell für Text-Generation. CLIP selbst generiert keinen Text.
• BERT, RoBERTa: Reine Text-Encoder ohne Bild-Modalität.
• ALIGN, FILIP, ViT-CLIP: Verschiedene Varianten und Konkurrenten von CLIP mit ähnlichem Ansatz, aber unterschiedlichen Trainingsdaten und Architekturen.