Whisper (OpenAI)

Definition

Whisper ist ein Speech-to-Text-Modell von OpenAI, das im September 2022 unter MIT-Lizenz als Open Source veröffentlicht wurde. Es kombiniert in einem einzigen Modell mehrere Audio-Aufgaben: Transkription gesprochener Sprache in 99 Sprachen, direkte Übersetzung aus jeder dieser Sprachen ins Englische, automatische Erkennung der Eingabesprache sowie eine grobe Zeitstempel-Vergabe pro Phrase. Whisper ist damit eines der ersten echten Multitask-Audio-Modelle und hat seit Release das Open-Source-Ökosystem für Spracherkennung dominiert.

Die Veröffentlichung war ungewöhnlich, weil OpenAI nicht nur das Paper, sondern Code, Modellgewichte und Trainings-Anleitung freigab. Damit wurde Whisper zur Standard-Baseline für Forschung und Industrie und löste die zuvor dominierenden Mozilla DeepSpeech, Kaldi und Wav2Vec 2.0 in vielen Anwendungen ab.

Architektur

Whisper basiert auf einer klassischen Encoder-Decoder-Transformer-Architektur, ähnlich dem ursprünglichen Vaswani-Transformer von 2017. Die wesentlichen Bausteine:

• Audio-Vorverarbeitung: Das Eingangssignal wird auf 16 kHz resampelt und in 30-Sekunden-Chunks geschnitten. Jeder Chunk wird in ein Log-Mel-Spektrogramm mit 80 Bins überführt.
• Encoder: Ein Transformer-Encoder mit Self-Attention verarbeitet das Spektrogramm und produziert eine kontextualisierte Audio-Repräsentation.
• Decoder: Ein Transformer-Decoder generiert die Text-Ausgabe Token für Token, konditioniert auf die Encoder-Ausgabe und auf Steuer-Tokens für Sprache, Aufgabe (transcribe oder translate) und Zeitstempel.
• Multitask-Training: Alle Aufgaben werden in einem einzigen Modell trainiert, gesteuert über spezielle Tokens am Beginn der Sequenz.

Die Trainingsdaten umfassen 680.000 Stunden multilingualer Audio-Text-Paare, die aus dem öffentlichen Web gesammelt wurden. Etwa ein Drittel ist nicht-englisch, was Whisper deutlich besser in Mehrsprachigkeit macht als viele Vorgänger. Der Ansatz wird als Weak Supervision bezeichnet, weil die Labels nicht aufwendig manuell erstellt, sondern aus vorhandenen Untertiteln und Transkripten extrahiert wurden.

Praxis

Whisper läuft in mehreren Varianten je nach Genauigkeits- und Latenz-Anforderung:

• tiny und base: Echtzeit-Inferenz auf Mobilgeräten oder im Browser via WebAssembly, geeignet für Voice-Commands.
• small und medium: Server-Inferenz für Batch-Transkription, gutes Genauigkeits-Latenz-Verhältnis.
• large-v3: maximale Qualität, etwa 10 GB VRAM, geeignet für professionelle Untertitelung.
• turbo: seit Ende 2024 das neue Default-Modell, achtmal schneller als large-v3 bei nahezu identischer Qualität.

Die OpenAI-API kostet 0.006 Dollar pro Audio-Minute, also etwa 0.36 Dollar pro Stunde. Lokale Inferenz ist kostenlos abgesehen von Compute. Implementationen wie whisper.cpp (C++-Port) ermöglichen effiziente CPU-Inferenz, faster-whisper nutzt CTranslate2 für GPU-Inferenz mit zwei- bis dreifacher Beschleunigung.

Typische Anwendungen umfassen Podcast- und Video-Transkription, Untertitelung, Meeting-Mitschriften, Call-Center-Analyse, Voice-Assistenten und barrierefreie Dokumentation. Beliebte Endprodukte mit Whisper-Backend sind MacWhisper, Aiko, Fireflies, Otter.ai und viele wissenschaftliche Interview-Tools.

Häufige Fehler

• Stille-Halluzinationen ignorieren: Whisper erfindet bei längeren Stille-Passagen gelegentlich Texte wie "Vielen Dank fürs Zuschauen" oder Werbe-Floskeln aus dem Trainingskorpus. Voice Activity Detection (VAD) vor der Transkription beseitigt das Problem zuverlässig.
• Diarisierung mitannehmen: Whisper transkribiert, weist aber keine Sprecher zu. Wer "Sprecher A sagt X, Sprecher B sagt Y" braucht, kombiniert Whisper mit pyannote.audio oder NeMo Diarisation.
• Dialekte überschätzen: Schweizerdeutsch, starke regionale Varianten und Slang werden oft fehlerhaft transkribiert. Hier helfen spezialisierte Schweizerdeutsch-Fine-Tunes aus Forschungsprojekten von ZHAW und FHNW oder eigene LoRA-Adaptionen.
• Real-Time-Erwartungen: Whisper ist primär für Batch-Inferenz auf 30-Sekunden-Chunks gebaut. Echte Streaming-Anwendungen benötigen spezialisierte Wrapper wie whisper-streaming oder Anbieter wie Deepgram.
• Lizenz-Verwechslung: Die Modellgewichte sind MIT-lizenziert und dürfen kommerziell genutzt werden. Trotzdem haben Trainingsdaten potenziell urheberrechtliche Implikationen, die bei sensitiven Branchen rechtlich geprüft werden sollten.

Abgrenzung

• Google Speech-to-Text: proprietäre Cloud-API mit besserer Streaming-Latenz und eingebauter Diarisierung, aber teurer und nicht lokal lauffähig.
• Azure Speech Services: vergleichbar mit Google, mit guter Branchen-Anpassung und Compliance-Optionen.
• Deepgram: spezialisiert auf Echtzeit-Streaming mit niedrigsten Latenzen, kommerziell.
• AssemblyAI: kommerziell, mit guter Diarisierung und Topic-Detection out of the box.
• Wav2Vec 2.0 (Meta): der direkte technische Vorläufer, weniger Multitask, vor allem in Forschungs-Workflows verbreitet.
• NeMo (NVIDIA): Open-Source-Framework mit Whisper-Integration und zusätzlichen ASR-Modellen, optimiert für GPU-Cluster.