Named Entity Recognition (NER)

Definition

Named Entity Recognition (NER) ist eine grundlegende Aufgabe der natürlichen Sprachverarbeitung. Ziel ist es, in unstrukturiertem Text benannte Entitäten zu identifizieren und in vorgegebene Klassen einzuordnen. Eine Standard-Pipeline liest etwa den Satz Albert Einstein wurde 1879 in Ulm geboren und gibt zurück: PER (Albert Einstein), DATE (1879), LOC (Ulm). NER ist damit der erste Schritt vieler Information-Extraction-Pipelines und Voraussetzung für strukturierte Wissens-Anwendungen wie Knowledge-Graph-Aufbau, semantische Suche, Question Answering und Compliance-Analysen.

NER wird oft als Sequenzlabeling-Problem formuliert: jedes Token bekommt ein Label nach dem BIO- oder BIOES-Schema. B-PER markiert den Anfang einer Person, I-PER ihre Fortsetzung, O alle Tokens ausserhalb. Aus dieser Tagging-Sequenz werden die eigentlichen Entitäten rekonstruiert.

Mechanismus und Architektur

Die historische Entwicklung der NER-Architekturen spiegelt die NLP-Entwicklung insgesamt:

• Regelbasiert und Lexika (vor 2003): Hand-Regeln, Gazetteers, reguläre Ausdrücke. Hohe Präzision in engen Domänen, schwacher Recall, kein Generalisieren.
• Klassische ML (2003 bis 2015): Conditional Random Fields (CRF) mit handgebauten Features (Gross-/Kleinschreibung, Wortform, Suffixe, Wortliste). Sehr verbreitet, etwa in Stanford NER.
• BiLSTM-CRF (2015 bis 2018): Wortembeddings (Word2Vec, GloVe) plus rekurrente Netze plus CRF-Output-Layer. Erster Sprung in der Generalisierungs-Fähigkeit.
• Transformer-basiert (ab 2018): BERT, RoBERTa, XLM-RoBERTa als Encoder, Token-Klassifikations-Head. State of the Art für klassisches NER, bis heute dominant für strukturierte Industrie-Anwendungen.
• LLM-basiert (ab 2023): Few-Shot- und Zero-Shot-Prompts an GPT-, Claude- oder Llama-Modelle. Strukturierte Ausgabe via JSON-Schema oder Function Calling. Robust bei neuen Entitätstypen, teurer in der Inference.
• Zero-Shot-NER-Modelle: GLiNER und ähnliche Encoder lernen, Entitätstypen aus Prompts statt aus fester Labelmenge zu lesen. Praktisch für dynamische Schemata.

Trainingsdaten sind annotierte Korpora wie CoNLL-2003, OntoNotes, WikiAnn oder domänenspezifische Datensätze. Annotation erfolgt mit Tools wie Doccano, Prodigy, INCEpTION oder Label Studio.

Praxis und Anwendung

NER ist in vielen Produktionsanwendungen verankert:

• Knowledge-Graph-Aufbau: Texte werden zu Entitäten zerlegt, die anschliessend via Entity Linking auf eine Ontologie abgebildet werden.
• Suche und Retrieval: Suchindizes annotieren Inhalte mit erkannten Entitäten und ermöglichen facettierte Filterung.
• Compliance und Recht: Erkennung von Personen, Organisationen, Geldbeträgen und Sanktionslisten in Verträgen und E-Mails.
• Medizin: Erkennung von Krankheiten, Medikamenten, Genen, Symptomen in Patientenakten und Studien.
• Pharma: Erkennung chemischer Verbindungen, Studien-IDs, Protein-Namen.
• Finanz: Erkennung von Aktien-Tickern, Firmen, Geldbeträgen in Newstexten.
• Privacy und DSGVO: Erkennung personenbezogener Daten zur Anonymisierung.
• Recommendation und Personalisierung: Erkennung von Marken, Produkten, Personen in nutzergenerierten Texten.

Wichtige Tools sind spaCy, Flair, HuggingFace Transformers, GLiNER, Stanford CoreNLP, Stanza und cloudbasierte Dienste von Google, AWS und Azure.

Häufige Fehler

• Annotation-Inkonsistenz: Verschiedene Annotatoren markieren Grenzen unterschiedlich (zählt Dr. zum Namen?). Inter-Annotator-Agreement (Cohen Kappa) messen und Guidelines schärfen.
• Schwache Domänen-Adaption: Modelle auf News trainiert versagen auf Medizin-Texten. Domain-Adaptation oder Pre-Training auf domänenspezifischen Korpora.
• Falsche Metriken: Reine Token-Accuracy ist irreführend, da O dominiert. Span-Level-F1 verwenden, getrennt nach Entitätstyp.
• Nested Entities ignorieren: Stiftung Schweizerisches Sozialarchiv enthält LOC und ORG. Standard-BIO kann das nicht ausdrücken, spezialisierte Decoder nötig.
• Entity Linking auslassen: NER ohne Linking liefert Strings, keine eindeutigen IDs. Für Knowledge-Graph-Anwendungen unverzichtbar.
• Privacy-Risiko unterschätzen: Erkannte Personendaten in Logs oder Trainingsdaten landen schnell in unkontrollierten Pipelines. Anonymisierung Teil der Pipeline machen.
• LLM-Halluzinationen nicht filtern: LLM-basiertes NER erfindet manchmal Entitäten, die nicht im Text stehen. Span-Verifikation gegen Originaltext einbauen.

Abgrenzung

• Entity Linking: Folgeschritt von NER, mappt erkannte Entitäten auf Knowledge-Base-IDs. NER allein liefert nur Spans und Typen.
• Relation Extraction: Erkennt Beziehungen zwischen Entitäten. Setzt NER voraus und ergänzt sie um Prädikate.
• Part-of-Speech Tagging: Klassifiziert alle Tokens nach Wortart, nicht nur benannte Entitäten.
• Chunking und Shallow Parsing: Identifiziert syntaktische Phrasen, nicht semantische Entitäten.
• Coreference Resolution: Verbindet verschiedene Erwähnungen derselben Entität (er, Einstein, der Physiker).
• Information Extraction: Oberbegriff. NER ist eine Komponente neben Relation Extraction, Event Extraction und Slot Filling.
• Open-Domain-NER: Variante mit dynamischen Entitätstypen, oft via LLM oder GLiNER realisiert.