Word2Vec

Embedding-Verfahren von Mikolov et al. (2013), das Wörter als dichte Vektoren in einem Raum abbildet, in dem semantische und syntaktische Beziehungen durch Vektorgeometrie repräsentiert werden.

Definition

Word2Vec ist ein 2013 von Tomas Mikolov und Kolleg:innen bei Google publiziertes Verfahren zur Erzeugung dichter Wortvektoren. Anders als sparse Repräsentationen wie One-Hot-Encoding oder TF-IDF bildet Word2Vec jedes Wort auf einen reellwertigen Vektor typischer Dimension 100 bis 300 ab. Die zentrale Eigenschaft: Wörter, die in ähnlichen Kontexten auftreten, erhalten ähnliche Vektoren.

Word2Vec markiert den Übergang von symbolischen, sparsen Sprachrepräsentationen zu verteilten, dichten Embeddings. Es gilt als Geburtsstunde moderner Word Embeddings und ist konzeptueller Vorläufer aller Transformer-basierten Sprachmodelle, von BERT über GPT bis Claude.

Mechanismus

Word2Vec umfasst zwei Architekturen, beide als flache zweischichtige neuronale Netze realisiert:

Continuous Bag of Words (CBOW): Aus einem Kontextfenster von typisch 5 bis 10 Wörtern wird das mittlere Wort vorhergesagt. Die Kontext-Wortvektoren werden gemittelt, dann projiziert. CBOW ist schneller und glättet seltene Wörter.
Skip-gram: Aus einem Zielwort werden die umgebenden Kontextwörter vorhergesagt. Skip-gram ist langsamer, liefert aber bessere Repräsentationen für seltene Wörter.

Trainiert wird via stochastischen Gradientenabstieg auf grossen Korpora wie Google News (~100 Milliarden Tokens) oder Wikipedia. Zwei Trainingsoptimierungen sind zentral:

Hierarchical Softmax: Ersetzt die teure Softmax durch eine Binärbaum-Struktur, Kostenreduktion auf logarithmisch im Vokabular.
Negative Sampling: Statt der vollständigen Softmax werden pro Sample nur wenige negative Beispiele aktualisiert. Dies ist die heute gängigere Variante.

Geschichte

Distributionale Semantik geht auf Zellig Harris (1954) und John Firth (1957) zurück, mit dem berühmten Diktum: a word is known by the company it keeps. Vorläufer wie LSA (Latent Semantic Analysis, 1990) und neuronale Sprachmodelle von Bengio (2003) demonstrierten das Prinzip, blieben aber rechnerisch aufwendig.

2013 publizierte Mikolov zwei Arbeiten, die Word2Vec definieren: Efficient Estimation of Word Representations in Vector Space (Januar) und Distributed Representations of Words and Phrases and their Compositionality (Oktober). Die Kombination von Skip-gram, Negative Sampling und massiver Trainingsdatenmenge bei radikal vereinfachter Architektur war der Durchbruch.

Im selben Zeitraum entstand bei Stanford GloVe (Pennington et al. 2014), das zählbasiert vorgeht. Beide Verfahren prägten die Embedding-Welle von 2013 bis etwa 2018, ehe kontextuelle Embeddings (ELMo, BERT) statische Word Embeddings als Top-Verfahren ablösten.

Praxis und Anwendung

Word2Vec wird typischerweise via Gensim (Python), TensorFlow oder spaCy implementiert. Vortrainierte Vektoren sind frei verfügbar:

Google News Vectors: 300-dimensionale Vektoren auf 100B Tokens trainiert, der historische Referenz-Datensatz.
GloVe-Vektoren: Vortrainiert auf Common Crawl und Wikipedia, oft als Drop-in-Alternative genutzt.
FastText: Erweiterung von Word2Vec mit Subwort-Informationen, robust gegen Out-of-Vocabulary.

Klassische Einsatzgebiete: Initialisierung von Embedding-Schichten in nachgelagerten Netzen, semantische Ähnlichkeitssuche, Cluster-Analyse, Synonym-Erkennung, Empfehlungssysteme (Item2Vec, Doc2Vec). In Bioinformatik (Gene2Vec, ProtVec) und Graph-Analyse (Node2Vec, DeepWalk) werden die Word2Vec-Prinzipien auf nicht-sprachliche Domänen übertragen.

Häufige Fehler

Statische Vektoren für kontextabhängige Aufgaben: Word2Vec erzeugt pro Wort einen fixen Vektor. Für Aufgaben mit Polysemie wie Word Sense Disambiguation oder hochwertiges Retrieval sind kontextuelle Embeddings überlegen.
Out-of-Vocabulary ignorieren: Word2Vec kennt nur das Trainingsvokabular. Für neue Wörter braucht es FastText oder Subwort-Tokenizer wie BPE.
Hyperparameter pauschal übernehmen: Fenstergrösse, Negativ-Samples und Dimensionen müssen je nach Korpus angepasst werden. Defaults aus Tutorials sind selten optimal.
Vorverarbeitung unterschätzen: Lower-Casing, Lemmatisierung und Phrase-Detection wirken stärker als Architektur-Wahl zwischen CBOW und Skip-gram.
Cosine Similarity ohne Normalisierung: Wortvektoren sind nicht automatisch L2-normalisiert, was Vergleiche verzerren kann.

Abgrenzung

GloVe: Zählbasiertes Pendant, nutzt globale Ko-Okkurrenzen statt lokaler Kontextfenster. Vergleichbare Qualität.
FastText: Erweiterung von Word2Vec mit Subwort-Embeddings, robust gegen Out-of-Vocabulary und Tippfehler.
ELMo, BERT, moderne Transformer-Embeddings: Kontextuelle Repräsentationen, pro Wort und Kontext eigener Vektor. Heutiger Stand der Technik.
One-Hot-Encoding und TF-IDF: Sparse, symbolische Repräsentationen. Word2Vec ist dicht und semantisch.
LSA und Topic Models: Frühe verteilte Repräsentationen, durch Word2Vec qualitativ überholt.

Weiter im KI-Lexikon

← Zurück zum Lexikon

Häufige Fragen

Was ist Word2Vec?+

Word2Vec ist eine 2013 von Tomas Mikolov und Kolleg:innen bei Google publizierte Familie flacher neuronaler Netze, die Wörter auf dichte Vektoren typischer Dimension 100 bis 300 abbildet. Die Vektoren werden so gelernt, dass Wörter mit ähnlichen Kontexten ähnliche Repräsentationen erhalten. Word2Vec gilt als Geburtsstunde moderner Word Embeddings und damit als entscheidender Vorläufer aller Transformer-basierten Sprachmodelle.

Welche Architekturen umfasst Word2Vec?+

Word2Vec besteht aus zwei Varianten: Continuous Bag of Words (CBOW) sagt ein Zielwort aus seinen Kontextwörtern voraus, Skip-gram sagt umgekehrt die Kontextwörter aus einem Zielwort voraus. CBOW ist schneller und besser für häufige Wörter, Skip-gram liefert bessere Repräsentationen für seltene Wörter. Beide Varianten nutzen ein flaches, zweischichtiges Netz ohne nichtlineare Aktivierung in der Hidden Layer.

Was bedeutet das berühmte Beispiel king minus man plus woman?+

Mikolov zeigte, dass arithmetische Operationen auf Wortvektoren semantische Beziehungen abbilden: der Vektor von king minus man plus woman liegt nahe am Vektor von queen. Diese Analogie-Eigenschaft demonstrierte, dass Word2Vec semantische und syntaktische Regularitäten in der Vektorgeometrie kodiert, ein Effekt, der vor 2013 nicht in dieser Klarheit gezeigt wurde.

Was ist Negative Sampling?+

Negative Sampling ist die zentrale Trainingstechnik in Skip-gram. Statt die teure Softmax über das gesamte Vokabular zu berechnen, werden pro Trainings-Schritt nur das wahre Kontextwort und einige zufällige Negativ-Wörter aktualisiert. Das reduziert die Komplexität von linear im Vokabular auf konstant pro Sample und macht das Training auf Milliarden Tokens überhaupt erst möglich.

Welche Schwächen hat Word2Vec?+

Word2Vec liefert pro Wort genau einen Vektor, unabhängig vom Kontext. Mehrdeutige Wörter wie Bank (Finanzinstitut oder Sitzbank) werden zu einem Mischvektor verschmolzen. Subwort-Information fehlt, neue Wörter (Out-of-Vocabulary) werden nicht abgebildet. Diese Schwächen adressieren FastText (Subword) und kontextuelle Modelle wie ELMo, BERT oder moderne Transformer-Embeddings.

Was unterscheidet Word2Vec von GloVe?+

Word2Vec ist ein prädiktives Modell, das aus Kontext-Fenstern lernt. GloVe (Pennington et al. 2014) ist ein zählbasiertes Verfahren auf globalen Ko-Okkurrenz-Matrizen. Beide produzieren statische Wortvektoren von vergleichbarer Qualität auf vielen Benchmarks. GloVe ist tendenziell besser auf semantischen Analogien, Word2Vec auf syntaktischen Aufgaben.

Wird Word2Vec 2026 noch eingesetzt?+

Produktiv nur noch selten als Endmodell. Transformer-basierte Embeddings (Sentence-BERT, OpenAI text-embedding-3, BGE, Voyage) sind in fast allen Anwendungen überlegen. Word2Vec bleibt relevant als Lehrmodell, als Baseline in Forschungspapieren, in extrem ressourcenarmen Szenarien sowie in spezialisierten Bereichen wie Bioinformatik und Empfehlungssystemen, wo Item2Vec-Varianten weiterhin praktikabel sind.

Wer hat Word2Vec entwickelt?+

Word2Vec wurde 2013 von einem Team bei Google um Tomas Mikolov, Kai Chen, Greg Corrado und Jeffrey Dean entwickelt. Mikolov hatte zuvor in seiner Dissertation rekurrente Sprachmodelle untersucht. Der Erfolg von Word2Vec führte direkt zur Popularisierung distributionaler Semantik in der Industrie und löste eine Welle von Embedding-Arbeiten aus, die in heutige LLMs mündet.

Quellen

Mikolov et al. (2013) Efficient Estimation of Word Representations in Vector Space
Mikolov et al. (2013) Distributed Representations of Words and Phrases and their Compositionality
Google Code Archive Word2Vec
Gensim Documentation

Wikidata: Q22673982 · Zuletzt geprüft: 2026-06-07