Qwen (Modell-Familie)

Definition

Qwen (chinesisch Tongyi Qianwen, was tausend Fragen bedeutet) ist die Familie grosser Sprachmodelle von Alibaba Cloud, erstmals im April 2023 angekündigt und seit August 2023 mit offenen Gewichten verfügbar. Die Familie ist das breiteste offene Modell-Lineup am Markt und reicht von kompakten 0.5-Milliarden-Parameter-Modellen für Edge-Geräte bis zu 480-Milliarden-Parameter-MoE-Varianten für Frontier-Anwendungen. Neben reinen Sprachmodellen umfasst die Familie Vision-, Audio-, Code-, Math- und Reasoning-Spezialisten, was sie zur funktional umfassendsten offenen Modell-Familie macht.

Alibaba hat mit Qwen eine ambitionierte Strategie verfolgt: vollständige offene Veröffentlichung der meisten Modelle, hohe Iterationsgeschwindigkeit und breite Internationalisierung. Im Gegensatz zu DeepSeek, das auf wenige sehr starke Modelle fokussiert, bietet Qwen für nahezu jede Hardware-Konfiguration und Anwendungs-Domäne ein passendes Modell. Dies machte Qwen zur ersten Wahl vieler Fine-Tuning-Projekte und Hosting-Anbieter ausserhalb Chinas.

Geschichte und Architektur

Tongyi Lab, die Forschungsabteilung von Alibaba Cloud, begann 2022 mit der Entwicklung grosser Sprachmodelle. Die Veröffentlichung im April 2023 erfolgte zunächst geschlossen, im August 2023 wurden die Gewichte von Qwen-7B unter eigener Lizenz freigegeben, im September 2023 folgte Qwen-14B. Seitdem hat das Team eine bemerkenswerte Veröffentlichungs-Kadenz beibehalten, mit jährlichen Major-Generationen und mehrmonatlichen Zwischenversionen.

Wichtige Meilensteine:

• Qwen 1 (August/September 2023): erste offene Veröffentlichung, Qwen-7B im August, Qwen-14B im September 2023.
• Qwen 1.5 (Februar 2024): Grössen von 0.5B bis 72B, deutlich verbesserter Multilingualismus.
• Qwen 2 (Juni 2024): neue Architektur mit Grouped-Query Attention und YaRN-Long-Context, bis 128k Tokens.
• Qwen 2-VL (August 2024): Vision-Variante mit dynamischer Auflösung.
• Qwen 2.5 (September 2024): State-of-the-Art für offene Modelle, Coder- und Math-Spezialisten.
• QwQ-32B (November 2024): erste Reasoning-Variante.
• Qwen 3 (2025): neue Architektur, 480B MoE-Variante, multimodal-nativ.

Architektonisch verfolgt Qwen mehrere wichtige Designs:

• Decoder-only Transformer: Basis-Architektur, mit Optimierungen aus Llama und Mistral.
• Grouped-Query Attention (GQA): seit Qwen 2, reduziert KV-Cache-Speicher.
• YaRN für Long Context: Rotary-Position-Embedding-Skalierung für Kontexte bis 1M Tokens.
• Mixture-of-Experts in 3: 480B Variante mit Sparse-MoE für Frontier-Performance.
• Multimodal-native Pre-Training: Vision und Audio direkt in Qwen 3 integriert.

Die Trainings-Pipeline folgt dem Standard: Pretraining auf mehreren Billionen Tokens, Supervised Fine-Tuning, Direct Preference Optimization. Qwen-Modelle sind besonders stark im Chinesisch-Englisch-Bilingualismus und in über 100 weiteren Sprachen, was sie für internationale Anwendungen attraktiv macht.

Praxis und Anwendung

Qwen ist eines der am breitesten eingesetzten offenen Modelle weltweit:

• China-Markt: Standard in Alibaba-Ökosystem (Taobao, Tmall, DingTalk, Aliyun), aber auch bei vielen anderen chinesischen Enterprise-Kunden.
• Internationale Open-Source-Community: auf Hugging Face zählt Qwen 2.5 zu den meistgeladenen Modellen. Tausende Fine-Tunes existieren.
• Edge-Deployment: Qwen 2.5-0.5B und 1.5B laufen auf Smartphones, Raspberry Pi und Embedded-Geräten.
• Coding: Qwen 2.5-Coder-32B war 2024 das stärkste offene Coding-Modell und wurde in zahlreichen IDE-Plugins integriert.
• Vision: Qwen2-VL gilt als bestes offenes Multi-Modal-Modell für Dokument-Verstehen.

Hosted-Anbieter: DashScope (Alibabas offizielle API), Together AI, Fireworks, DeepInfra, Hyperbolic und Replicate bieten Qwen-Modelle. Preise auf DashScope liegen für Qwen-Plus bei rund 0.4 Dollar Input und 1.2 Dollar Output pro Million Tokens, deutlich günstiger als westliche Anbieter, aber teurer als DeepSeek.

Self-Hosting: kompakte Varianten (0.5B bis 14B) laufen auf einzelnen Consumer-GPUs (RTX 4090, A6000). 32B benötigt 60 bis 80 GB VRAM in FP16 oder 24 GB in 4-Bit-Quantisierung. 72B braucht 144 GB FP16 oder 48 GB 4-Bit. Die 480B MoE-Variante erfordert Datacenter-Hardware (8x H100 oder mehr).

Häufige Fehler

• Qwen mit chinesischer App verwechseln: die offenen Modelle sind unabhängig von Alibabas chinesischer Tongyi-App. Self-Hosting umgeht alle Daten-Sovereignty-Bedenken.
• Lizenz-Bedingungen ignorieren: die Qwen-Lizenz für grössere Varianten hat 100-Millionen-MAU-Klausel. Für die meisten Nutzer irrelevant, aber bei Konsumenten-Apps prüfen.
• Multilingualismus voraussetzen: während Qwen sehr stark Englisch und Chinesisch beherrscht, ist die Performance in seltenen Sprachen schwächer als bei spezialisierten Modellen wie Aya oder Llama 3.3.
• VL-Modelle für Standard-Sprach-Tasks nutzen: Vision-Varianten sind teurer und langsamer in reiner Text-Verarbeitung. Für rein textuelle Aufgaben Standard-Qwen verwenden.
• Versionssprung übersehen: zwischen Qwen 2 und 2.5 gab es substanzielle Performance-Sprünge. Alte Fine-Tunes lohnen sich oft nicht weiter zu pflegen.

Abgrenzung

• DeepSeek: chinesischer Konkurrent, fokussiert auf Frontier-Grössen, stärker im Reasoning.
• Llama (Meta): US-amerikanische Open-Weights-Familie, kleineres Modell-Spektrum, breiteres Ökosystem in westlichen Tools.
• Mistral, Mixtral: europäische Open-Weights-Konkurrenten, geringere Vielfalt, stärkere EU-Compliance-Positionierung.
• GPT-4o, Claude, Gemini: proprietäre Frontier-Modelle, höhere Preise, stärkere Multimodalität in spezifischen Bereichen.
• Yi, GLM, Baichuan: weitere chinesische Open-Weights-Modelle, kleinere Verbreitung, oft spezialisiert.