BERT (Bidirectional Encoder Representations from Transformers)

Encoder-only-Transformer von Google AI, der 2018 die bidirektionale Sprachrepräsentation etablierte und über Jahre der NLP-Standard für Verständnis-Aufgaben war.

Definition

BERT (Bidirectional Encoder Representations from Transformers) ist ein Encoder-only-Sprachmodell, das im Oktober 2018 von Google AI veröffentlicht wurde. Es war zum Erscheinungszeitpunkt das stärkste verfügbare Modell für NLP-Verständnis-Aufgaben und etablierte den Standard für Pretraining-Then-Fine-Tuning, der die NLP-Branche prägte, bevor Decoder-only-LLMs wie GPT-3 dominanten Status erreichten.

BERT nutzt ausschliesslich den Encoder-Teil der Transformer-Architektur und liest Text bidirektional. Das bedeutet, jedes Token in einer Sequenz hat über Self-Attention Zugriff auf alle anderen Tokens links und rechts. Diese bidirektionale Natur unterscheidet BERT fundamental von autoregressiven Modellen wie GPT, die Text nur von links nach rechts verarbeiten.

Geschichte und Architektur

BERT wurde von Jacob Devlin und Kollegen bei Google AI entwickelt. Die Publikation Pre-training of Deep Bidirectional Transformers for Language Understanding gehört zu den meistzitierten KI-Papers überhaupt. BERT-Base hat 110 Millionen Parameter mit 12 Transformer-Schichten und 768 Dimensionen, BERT-Large 340 Millionen Parameter mit 24 Schichten und 1024 Dimensionen.

Die Architektur folgt dem Vaswani-Transformer von 2017, lässt aber den Decoder weg. Stattdessen wird der Encoder gestapelt und mit zwei Pretraining-Objektiven trainiert:

Masked Language Modelling (MLM): zufällige 15 Prozent der Tokens werden maskiert und müssen vorhergesagt werden.
Next Sentence Prediction (NSP): zwei Sätze werden präsentiert und das Modell entscheidet, ob der zweite auf den ersten folgt.

Spätere Forschung (RoBERTa) zeigte, dass NSP überflüssig ist und MLM mit längerem Training auf mehr Daten bessere Ergebnisse liefert.

Bedeutung und Wirkung

BERT war der Auslöser des Pretraining-Then-Fine-Tuning-Paradigmas in NLP. Vor BERT mussten NLP-Pipelines task-spezifisch trainiert werden, oft mit handgepflegten Features. Nach BERT war Standard, ein vortrainiertes Modell auf eine konkrete Task zu fine-tunen, was Genauigkeit dramatisch verbesserte und Entwicklungszeit reduzierte.

Das Modell wurde innerhalb weniger Monate in Produktionssysteme integriert. Google nutzt seit 2019 BERT in der Web-Suche zur Query-Interpretation. Suchmaschinen, E-Commerce-Plattformen und CRM-Systeme deployten BERT für Intent-Klassifikation und Entity-Extraktion in grossem Stil.

BERT-Embeddings (besonders Sentence-BERT und MPNet) wurden zur Grundlage moderner semantischer Suche und RAG-Pipelines. Auch wenn neuere Embedding-Modelle wie text-embedding-3 von OpenAI oder Cohere Embed v3 dominieren, basiert ein Grossteil der Open-Source-Embedding-Stacks weiterhin auf BERT-Derivaten.

Die Forschung produzierte zahlreiche BERT-Varianten:

RoBERTa (Facebook AI, 2019): dynamisches Masking, mehr Daten, längeres Training, NSP entfernt.
DistilBERT (Hugging Face, 2019): Knowledge Distillation, 40 Prozent kleiner und 60 Prozent schneller.
ALBERT (Google, 2019): Parameter-Sharing zwischen Schichten reduziert Speicherbedarf.
DeBERTa (Microsoft, 2020): disentangled Attention, getrennte Behandlung von Position und Inhalt.
mBERT und XLM-R: mehrsprachige Varianten für über 100 Sprachen.

Häufige Fehler

BERT für Textgenerierung einsetzen: BERT ist Encoder-only und nicht autoregressiv, für freie Generierung sind Decoder-Modelle nötig.
NSP weiterverwenden: das ursprüngliche NSP-Objektiv ist als unnötig erkannt worden, RoBERTa-Style Training mit reinem MLM ist überlegen.
Kontextfenster überschreiten: 512 Tokens sind hartes Limit, längere Texte müssen gechunkt werden oder Longformer-Varianten genutzt werden.
Token Type IDs vergessen: bei Sentence-Pair-Tasks müssen Segment-Embeddings korrekt gesetzt sein, sonst sinkt die Performance.
CLS-Token als Embedding nutzen: der CLS-Token ist für Pretraining optimiert, für semantische Suche liefern Mean-Pooling oder Sentence-BERT bessere Embeddings.

Abgrenzung

GPT-Familie: Decoder-only, autoregressive Generierung, anderes Anwendungsspektrum.
T5: Encoder-Decoder, Text-to-Text-Paradigma, Sequence-to-Sequence-Tasks.
RoBERTa, DeBERTa, ALBERT: Weiterentwicklungen von BERT mit verbesserten Trainings-Strategien.
Sentence-BERT, MPNet: auf Embedding-Erzeugung spezialisierte BERT-Varianten.
OpenAI Embeddings, Cohere Embed: moderne proprietäre Embedding-Modelle, deren Architektur nicht offengelegt ist.

Weiter im KI-Lexikon

← Zurück zum Lexikon

Häufige Fragen

Was ist BERT?+

BERT (Bidirectional Encoder Representations from Transformers) ist ein Encoder-only-Sprachmodell, das 2018 von Google AI veröffentlicht wurde. Es nutzt nur den Encoder-Teil der Transformer-Architektur und liest Text bidirektional, das heisst gleichzeitig in beide Richtungen. BERT etablierte über Jahre den Standard für NLP-Verständnis-Aufgaben wie Klassifikation, Named Entity Recognition und Question Answering.

Wer hat BERT entwickelt?+

BERT wurde von Jacob Devlin, Ming-Wei Chang, Kenton Lee und Kristina Toutanova bei Google AI entwickelt und im Oktober 2018 auf arXiv veröffentlicht. Die Publikation Pre-training of Deep Bidirectional Transformers for Language Understanding gehört zu den meistzitierten KI-Papers überhaupt und wurde 2019 als Best Long Paper bei NAACL ausgezeichnet.

Was macht BERT bidirektional?+

Anders als GPT, das Text nur von links nach rechts liest (kausal-maskiert), nutzt BERT volle Self-Attention und sieht damit Kontext in beide Richtungen gleichzeitig. Das ist möglich, weil BERT für Verständnis-Aufgaben trainiert ist, nicht für autoregressive Generierung. Die zentrale Trainings-Aufgabe ist Masked Language Modelling (MLM), bei der zufällig 15 Prozent der Tokens maskiert und vorhergesagt werden.

Welche BERT-Varianten gibt es?+

Die wichtigsten Varianten sind BERT-Base (110M Parameter, 12 Schichten) und BERT-Large (340M, 24 Schichten). Weiterentwicklungen sind RoBERTa (Facebook, 2019, längeres Training und mehr Daten), DistilBERT (kompakter, 40 Prozent kleiner), ALBERT (Parameter-Sharing), DeBERTa (Microsoft, disentangled Attention) und mehrsprachige Versionen wie mBERT und XLM-R.

Was ist Masked Language Modelling?+

MLM ist das primäre Pretraining-Objektiv von BERT. Während des Trainings werden zufällig 15 Prozent der Eingabe-Tokens maskiert (durch ein spezielles MASK-Token ersetzt), und das Modell muss die ursprünglichen Wörter vorhersagen. Das zwingt BERT, bidirektionalen Kontext zu nutzen. Ergänzt wird MLM durch Next Sentence Prediction (NSP), das später bei RoBERTa als unnötig verworfen wurde.

Wofür wird BERT heute noch verwendet?+

BERT und seine Nachfolger sind weiterhin Standard für Embeddings, semantische Suche, Klassifikation, NER und Sentiment-Analyse. Für generative Aufgaben werden Decoder-only-Modelle (GPT, Claude, Llama) bevorzugt. Sentence-BERT und MPNet sind die meistgenutzten Embedding-Backbones im RAG-Stack; die proprietären Embedding-Modelle von Cohere und OpenAI legen ihre Architektur nicht offen.

Welche Limitationen hat BERT?+

BERT generiert keinen Text autoregressiv und ist nicht für freie Konversation geeignet. Das Kontextfenster ist mit 512 Tokens kurz. Die quadratische Attention skaliert schlecht auf längere Sequenzen. Moderne Long-Context-Encoder wie Longformer oder BigBird adressieren das, aber im LLM-Zeitalter dominieren Decoder-only-Modelle für die meisten Anwendungsfälle.

Wie unterscheidet sich BERT von GPT?+

BERT ist Encoder-only mit bidirektionaler Attention und auf Verständnis-Aufgaben optimiert. GPT ist Decoder-only mit kausal-maskierter Attention und auf autoregressive Generierung optimiert. BERT wird für Fine-Tuning auf konkrete Tasks genutzt, GPT für Zero- und Few-Shot-Prompting. Beide basieren auf der Transformer-Architektur, aber lösen unterschiedliche Klassen von Problemen.

Quellen

Devlin et al. (2018) BERT, Pre-training of Deep Bidirectional Transformers
Liu et al. (2019) RoBERTa
He et al. (2021) DeBERTa
Hugging Face Transformers Documentation

Wikidata: Q61726893 · Zuletzt geprüft: 2026-07-02