Diffusion Model

Definition

Ein Diffusion Model ist eine Klasse generativer Modelle, die Daten durch einen iterativen Entrauschungsprozess synthetisiert. Das Prinzip basiert auf einem stochastischen Forward Process, der Trainingsdaten Schritt für Schritt mit Rauschen verschmutzt, und einem gelernten Reverse Process, der diese Verschmutzung rückgängig macht. Bei Inference startet das Modell mit reinem Gauss-Rauschen und erzeugt durch viele Entrauschungsschritte ein neues Sample aus der Trainingsverteilung.

Diffusion Models lösten ab 2022 GANs als dominante Generative-Image-Architektur ab und sind heute Stand der Technik bei Text-zu-Bild, Text-zu-Video und vielen weiteren generativen Aufgaben. Sie kombinieren hohe Sample-Qualität mit stabilem Training und kontrollierbarer Generierung.

Mechanismus und Architektur

Mathematisch ist der Forward Process ein Markov-Prozess: in jedem Schritt wird Gauss-Rauschen mit definierter Varianz hinzugefügt. Nach T Schritten (typisch 1000) ist das Bild praktisch reines Rauschen. Der Reverse Process ist ein neuronales Netz, das die Verteilung des vorherigen Schritts gegeben den aktuellen verrauschten Schritt schätzt. Trainiert wird durch Vorhersage des hinzugefügten Rauschens (DDPM-Formulierung) oder direkter Vorhersage des sauberen Bildes.

Architektur des Reverse-Netzes:

• U-Net Backbone: Klassisch ein U-Net mit Skip Connections, Downsampling- und Upsampling-Pfaden.
• Time Embedding: Der aktuelle Diffusionsschritt wird als Sinusoidal-Embedding eingespeist.
• Cross-Attention zu Text-Embeddings: Steuert Generierung gemäss Prompt.
• Self-Attention auf Feature-Maps: Erfasst globale Bildstruktur.
• Diffusion Transformers (DiT): Neuere Architekturen ersetzen das U-Net durch reine Transformer-Backbones (Sora, FLUX, SD3).

Latent Diffusion (Stable Diffusion) arbeitet nicht im Pixelraum, sondern in einem komprimierten Latentraum eines vortrainierten Autoencoders. Das reduziert Compute-Bedarf um Grössenordnungen und ermöglicht hochaufgelöste Generierung auf Consumer-Hardware.

Sampling-Strategien:

• DDPM: Original-Sampler, 1000 Schritte, hohe Qualität, langsam.
• DDIM: Deterministischer Sampler, 50 Schritte.
• DPM-Solver, Euler, Heun: Effiziente ODE-Solver, 20 bis 30 Schritte.
• Consistency Models, LCM: 1 bis 4 Schritte, leichte Qualitätseinbussen.

Classifier-Free Guidance (CFG) verstärkt den Prompt-Einfluss, indem zwei Vorhersagen verglichen werden: mit und ohne Text-Conditioning.

Praxis und Anwendung

Dominierende Einsatzfelder:

• Text-zu-Bild: Stable Diffusion, DALL-E 3, Midjourney, FLUX, Imagen, Firefly. Standardisierte Tools für Marketing, Konzeptkunst, Produktdesign.
• Inpainting und Outpainting: Bildbereiche ersetzen oder Bild erweitern. Wichtig in Photoshop Generative Fill, Krita AI und Online-Editoren.
• Image-to-Image und Stil-Transfer: Variation eines Bildes mit anderem Prompt, oft kombiniert mit ControlNet.
• ControlNet und IP-Adapter: Strukturkontrolle über Pose-Skelette, Tiefenkarten, Canny-Kanten oder Referenzbilder.
• Super-Resolution: Diffusion-basierte Upscaler wie SUPIR liefern fotorealistische Hochskalierung.
• Video-Generierung: Sora, Veo, Runway Gen-3, Kling, Mochi-1, HunyuanVideo. Temporal-Konsistenz ist die Hauptherausforderung.
• 3D-Generierung: DreamFusion, Magic3D, Stable Zero123 erzeugen 3D-Assets aus Text oder Einzelbild.
• Audio und Musik: AudioLDM, Stable Audio, Suno generieren Musik und Soundeffekte.
• Medizinische Bildgebung: Synthetische Datensätze, Modalitäts-Übersetzung, Anomalie-Erkennung.

Standard-Frameworks sind HuggingFace Diffusers, ComfyUI (Node-basiertes Authoring), Automatic1111 und InvokeAI.

Häufige Fehler

• Zu wenige Sampling-Schritte: Unter 20 Schritte mit klassischen Samplern führt zu Artefakten. Schnelle Sampler wie LCM gezielt einsetzen.
• CFG zu hoch: Übertriebene Guidance-Werte (>15) führen zu Übersättigung, Posterisation und unnatürlichen Bildern.
• VAE-Qualität ignorieren: Bei Latent Diffusion bestimmt der Autoencoder Detailtreue. Schlechte VAE produziert verwaschene Details.
• Prompts mit widersprüchlichen Konzepten: Das Modell mittelt unklare Anweisungen und liefert generische Ergebnisse.
• Seed nicht fixieren: Reproduzierbare Ergebnisse erfordern festen Random Seed. Wichtig für A/B-Tests und Iteration.
• Negative Prompts vernachlässigen: Gezielte Negative Prompts (verzeichnete Hände, niedrige Qualität) verbessern die Output-Qualität merklich.
• Trainingsdaten-Lizenz ignorieren: Bei Fine-Tuning auf eigenen Daten Bildrechte und Persönlichkeitsrechte klären.

Abgrenzung

• GAN: Direkte Generierung in einem Schritt via Generator-Diskriminator-Spiel. Schnell, aber instabiles Training und Mode Collapse. Heute weitgehend durch Diffusion abgelöst.
• Variational Autoencoder (VAE): Lernt latenten Raum, generiert tendenziell unschärfer als Diffusion. Wird oft als Komponente in Latent Diffusion verwendet.
• Autoregressive Image Models: Generieren Pixel oder Token sequenziell (DALL-E 1, Parti). Langsam, aber gute Kontrolle.
• Flow Matching: Verallgemeinerung von Diffusion mit kontinuierlichem Pfad statt diskreter Schritte. FLUX und SD3 nutzen Rectified Flow.
• Score-Based Generative Models: Theoretisch eng verwandt, formulieren Generierung als Score-Schätzung. In der Praxis austauschbar mit Diffusion.