DeepSeek (Modell-Familie)

Definition

DeepSeek ist eine Familie offener grosser Sprachmodelle und Reasoning-Modelle des chinesischen KI-Labors DeepSeek-AI, das 2023 als Spin-off des Hedge Fonds High-Flyer Capital Management gegründet wurde. Die Modelle gehören seit Ende 2024 zu den weltweit führenden offenen Sprachmodellen und haben die Wahrnehmung des Open-Source-Frontier-Wettrennens grundlegend verändert. Mit DeepSeek V3 (Dezember 2024) und DeepSeek R1 (Januar 2025) hat das Labor zwei Modelle veröffentlicht, die in mehreren Benchmarks mit GPT-4o und OpenAI o1 konkurrieren, dabei aber unter MIT-Lizenz verfügbar sind.

Der DeepSeek-Effekt geht weit über die technische Performance hinaus. Die geringen angegebenen Trainings-Kosten und die offene Verfügbarkeit nährten 2025 Debatten über die Wirtschaftlichkeit westlicher Frontier-Investments, die Wirksamkeit von US-Exportkontrollen für GPUs und die Rolle Chinas im globalen KI-Ökosystem. Aktienmärkte reagierten heftig, und KI-Labore wie OpenAI, Anthropic und Google waren gezwungen, ihre Roadmaps und Preisstrategien zu überdenken.

Geschichte und Architektur

DeepSeek-AI wurde von Liang Wenfeng gegründet, der zuvor den quantitativen Hedge Fonds High-Flyer aufgebaut hatte. High-Flyer hatte über Jahre einen der grössten privaten GPU-Cluster Chinas akkumuliert, ursprünglich für quantitatives Trading. Ab 2023 wurde dieser Cluster zunehmend für KI-Forschung umgewidmet. Liang verfolgt einen ungewöhnlich offenen Ansatz: alle Modelle werden mit detaillierten Technical Reports und offenen Gewichten veröffentlicht.

Wichtige Meilensteine:

• DeepSeek LLM (November 2023): erstes Modell, 67B Parameter, dense.
• DeepSeek Coder (November 2023): Code-Spezialist, 1B bis 33B Parameter.
• DeepSeek V2 (Mai 2024): 236B MoE, neue Multi-Head Latent Attention (MLA).
• DeepSeek V3 (Dezember 2024): 671B MoE mit 37B aktiv, GPT-4o-Niveau.
• DeepSeek R1 (Januar 2025): erstes offenes Reasoning-Modell auf o1-Niveau, Pure-RL-Training.
• DeepSeek V3.1, V3.2 (2025): iterative Verbesserungen.
• DeepSeek VL2 (2025): Vision-Variante.

Architektonisch nutzt DeepSeek mehrere bemerkenswerte Innovationen:

• Multi-Head Latent Attention (MLA): komprimiert Key-Value-Caches drastisch, reduziert Speicher-Bedarf für lange Kontexte.
• DeepSeekMoE: Sparse Mixture-of-Experts mit feingranularer Experten-Spezialisierung und gemeinsamen Experten für allgemeine Sprache.
• Auxiliary-Loss-Free Load Balancing: elegantere Methode für Experten-Balance ohne separaten Loss-Term.
• Multi-Token Prediction (MTP): Vorhersage mehrerer Tokens parallel im Training, beschleunigt Konvergenz.

Diese architektonischen Optimierungen sind ein wesentlicher Grund, warum DeepSeek mit deutlich weniger Compute vergleichbare Performance erreicht. R1 fügte einen methodischen Durchbruch hinzu: Pure-RL-Training für Reasoning, ohne Bedarf an menschlich annotierten Reasoning-Schritten.

Praxis und Anwendung

DeepSeek wird in verschiedensten Szenarien eingesetzt:

• Konsumenten-Chat: DeepSeek Chat App war im Januar 2025 zeitweise die meistgeladene App im US-App-Store, vor ChatGPT.
• API-Nutzung: zahlreiche Anwender nutzen die offizielle DeepSeek-API für günstige Hochvolumen-Anwendungen.
• Self-Hosting: für regulierte Branchen oder geopolitisch sensible Anwender ist Self-Hosting der offenen Gewichte üblich.
• Hosted-Anbieter: Together AI, Fireworks, DeepInfra und Hyperbolic hosten DeepSeek-Modelle ausserhalb Chinas.
• Fine-Tuning-Basis: R1-Destillationen auf kleinere Modelle (Qwen, Llama) sind weit verbreitet.

Das Pricing macht DeepSeek zu einer der preisgünstigsten Frontier-Optionen am Markt: Das Start-Promo-Pricing von 0.14 Dollar pro Million Input-Tokens (Cache Miss) und 0.28 Dollar Output galt bis zum 8. Februar 2025, danach 0.27 Dollar Input und 1.10 Dollar Output; seit V3.2-Exp (September 2025) rund 0.28 Dollar Input und 0.42 Dollar Output. Mit Off-Peak-Rabatten (UTC 16:30 bis 00:30) sanken die Preise zeitweise weiter: 50 Prozent für V3, 75 Prozent für R1. Cached Inputs sind nahezu kostenlos. Westliche Hosted-Anbieter (Together, Fireworks) berechnen typischerweise 0.5 bis 1 Dollar Input und 1 bis 2 Dollar Output für ähnliche Performance.

Self-Hosting von V3 (671B) erfordert mehrere H100- oder H200-GPUs, typischerweise 8x H200 oder 16x H100 für FP8-Inferenz. Mit Quantisierung sinkt der Bedarf weiter. Tools wie vLLM, SGLang und TensorRT-LLM unterstützen DeepSeek nativ. Für kleinere Setups eignen sich destillierte Varianten (DeepSeek-R1-Distill-Qwen-7B und Llama-8B), die R1-Reasoning-Patterns auf kompakte Modelle übertragen.

Häufige Fehler

• Trainings-Kosten naiv übernehmen: die genannten 5.6 Millionen Dollar decken nur die finale Trainings-Phase. Forschung, Experimente, Daten-Kuration und vorherige Modelle kommen hinzu, geschätzt 100 bis 200 Millionen Dollar.
• Pure-RL-Mythos: R1-Zero nutzte Pure RL, aber das finale R1 enthält weiterhin Supervised Fine-Tuning und Cold-Start-Daten. Der Training-Pipeline ist hybrid.
• API in regulierten Branchen nutzen: Daten gehen nach China und unterliegen chinesischem Recht. Banken, Gesundheit, öffentliche Verwaltung sollten Self-Hosting wählen.
• Zensur unterschätzen: die Modelle weichen bei politisch sensiblen Themen aus. Für China-Marktanwendungen ist das Feature, für andere Märkte potenziell problematisch.
• MLA-Kompatibilität voraussetzen: Multi-Head Latent Attention erfordert angepasste Inferenz-Engines. Standard-Transformers-Implementations unterstützen MLA möglicherweise nicht optimal.

Abgrenzung

• Mistral, Mixtral: europäische Open-Weights-Konkurrenten, kleiner und weniger Frontier-Performance.
• Llama (Meta): US-amerikanische Open-Weights-Familie, breiter im Ökosystem, schwächer in Reasoning seit R1.
• Qwen (Alibaba): chinesischer Konkurrent, ähnliche Strategie, breiteres Modell-Lineup.
• GPT-4, Claude: proprietäre Frontier-Modelle, höhere Preise, stärkere Multimodalität.
• OpenAI o1, o3: proprietäre Reasoning-Modelle, R1 ist die offene Alternative.