GloVe (Global Vectors for Word Representation)

Definition

GloVe (Global Vectors for Word Representation) ist ein 2014 publiziertes Verfahren zur Erzeugung dichter Wortvektoren. Im Gegensatz zu Word2Vec, das aus lokalen Kontextfenstern lernt, operiert GloVe auf der globalen Ko-Okkurrenz-Matrix eines gesamten Korpus. Die zentrale Idee: Verhältnisse von Ko-Okkurrenz-Wahrscheinlichkeiten kodieren semantische Beziehungen besser als rohe Wahrscheinlichkeiten oder lokale Vorhersagen.

GloVe gehört zur Familie der statischen Word Embeddings und ist neben Word2Vec der zweite Pfeiler der Embedding-Welle von 2013 bis etwa 2018. Beide Verfahren bereiteten den Weg für kontextuelle Embeddings (ELMo, BERT) und schliesslich Transformer-basierte Sprachmodelle vor.

Mechanismus

GloVe-Training läuft in drei Phasen ab:

• Korpus-Scan und Ko-Okkurrenz-Matrix: Das Korpus wird in einem Durchlauf gescannt, dabei wird die Ko-Okkurrenz-Matrix X aufgebaut. X_ij zählt, wie oft Wort j im Kontextfenster von Wort i erscheint, gewichtet mit dem inversen Abstand.
• Verlustfunktion: GloVe optimiert eine gewichtete kleinste-Quadrate-Verlustfunktion über alle Wortpaare. Die Bedingung lautet vereinfacht: das Skalarprodukt zweier Wortvektoren plus Bias-Terme soll den Logarithmus der Ko-Okkurrenz approximieren.
• Gewichtungsfunktion: Eine Gewichtungsfunktion f(X_ij) dämpft seltene Paare (verrauscht) und sättigt sehr häufige Paare (sonst dominieren Funktionswörter wie der, die, das). Typisch wird f mit Schwelle x_max = 100 und Exponent alpha = 0.75 verwendet.

Das Training erfolgt via AdaGrad; deterministisch ist dabei nur der Aufbau der Ko-Okkurrenz-Matrix, das Vektortraining selbst bleibt durch zufällige Initialisierung und Shuffling stochastisch. Auf 6 Milliarden Tokens läuft GloVe-Training auf einem einzelnen Server in wenigen Stunden.

Geschichte

Die Idee, Wortbedeutungen aus Ko-Okkurrenz-Statistiken abzuleiten, geht auf die distributionelle Semantik von Zellig Harris und John Firth zurück. Frühe matrix-basierte Verfahren wie LSA (Latent Semantic Analysis, 1990) faktorisierten Term-Dokument-Matrizen via SVD. HAL und COALS sind weitere zählbasierte Vorläufer.

2013 zeigte Word2Vec, dass prädiktive Modelle hochwertige Embeddings erzeugen können. 2014 antworteten Pennington, Socher und Manning mit GloVe, das die Stärken zählbasierter Verfahren wiederbelebte und auf Augenhöhe mit Word2Vec brachte. Die Originalarbeit auf EMNLP 2014 wurde rasch eine Schlüssel-Referenz, GloVe-Vektoren wurden Standard-Baseline in der NLP-Forschung.

Ab 2018 verdrängten ELMo und BERT statische Embeddings als State-of-the-Art. GloVe bleibt seither als Baseline und Lehrmodell relevant, nicht als produktives Verfahren.

Praxis und Anwendung

Die Stanford NLP Group stellt vortrainierte GloVe-Vektoren auf ihrer Projektseite bereit:

• glove.6B: Wikipedia + Gigaword, 6 Milliarden Tokens, Vektoren in 50, 100, 200 und 300 Dimensionen.
• glove.42B.300d: Common Crawl, 42 Milliarden Tokens, 300-dimensionale Vektoren.
• glove.840B.300d: Common Crawl, 840 Milliarden Tokens, 300-dimensionale Vektoren. Maximale Qualität.
• glove.twitter: Twitter-spezifische Vektoren von 25 bis 200 Dimensionen.

Implementierungen sind in Gensim, spaCy, TensorFlow und PyTorch verfügbar. Klassische Einsatzgebiete: Initialisierung von Embedding-Schichten in CNNs, RNNs und LSTMs, semantische Ähnlichkeitssuche, Klassifikations-Features, Cluster-Analyse, akademische Baselines.

Häufige Fehler

• Vektor-Dimensionen mischen: GloVe-Vektoren in 100d und 300d sind nicht kompatibel. Konsistente Wahl ist Pflicht.
• GloVe-Vektoren auf Domäne übertragen: Standard-Vektoren stammen aus allgemeinem Text. Für medizinische, juristische oder technische Domänen liefern Custom-trainierte Vektoren bessere Resultate.
• Polysemie unterschätzen: Wörter wie Bank, Schloss oder run werden zu einem Mischvektor. Für solche Aufgaben sind kontextuelle Embeddings nötig.
• Out-of-Vocabulary ignorieren: GloVe hat kein Subwort-Verfahren. Unbekannte Wörter brauchen Fallback-Strategien wie Mittelwert-Vektor oder Subwort-Modelle.
• Normalisierung vergessen: GloVe-Vektoren sind nicht L2-normalisiert. Für Cosine Similarity sollte normalisiert werden.

Abgrenzung

• Word2Vec: Prädiktives Pendant, lokale Kontextfenster statt globaler Statistik. Vergleichbare Qualität, unterschiedliche Stärken.
• FastText: Erweiterung von Word2Vec mit Subwort-Embeddings, robust gegen Out-of-Vocabulary.
• LSA und SVD-basierte Verfahren: Frühere zählbasierte Methoden, durch GloVe qualitativ überholt.
• ELMo, BERT, moderne Transformer-Embeddings: Kontextuelle Repräsentationen, heutiger Stand der Technik.
• TF-IDF: Klassische Term-Gewichtung ohne semantische Tiefe, komplementär zu GloVe einsetzbar.