Datensatz (ML)

Definition

Ein Datensatz (englisch Dataset) ist eine strukturierte Sammlung von Daten, die zum Trainieren, Validieren oder Testen eines Machine-Learning-Modells verwendet wird. Er besteht aus Beispielen, in der Regel Eingabe-Zielwert-Paaren, und folgt einer definierten Struktur, die das Modell konsumieren kann. Die Qualität des Datensatzes ist häufig der wichtigste Hebel für Modellqualität, oft wichtiger als Modellarchitektur und Hyperparameter.

Datensätze begleiten Machine Learning seit den frühen Tagen. Klassiker wie MNIST (1998), ImageNet (2009), Penn Treebank (1992) und SQuAD (2016) haben ganze Forschungsfelder geprägt. Mit Sprachmodellen sind die Skalen explodiert: GPT-3 trainierte auf rund 300 Milliarden Token, Llama 3 auf über 15 Billionen, GPT-4 und Claude 3 auf nicht öffentlich genannten, aber noch grösseren Mischungen.

Mechanismus

Ein Datensatz wird in der Regel in drei Teilmengen aufgeteilt:

• Trainingsset: Anpassung der Modellgewichte über Gradientenabstieg.
• Validierungsset: Wahl von Hyperparametern, frühes Stoppen, Modellselektion.
• Testset: finale, einmalige Evaluation. Wird oft erst nach Modellfreigabe verwendet, um Overfitting auf das Testset zu vermeiden.

Bei Sprachmodellen erweitert sich das Bild:

• Pretraining-Datensatz: sehr gross, breit gemischt (Web, Code, Bücher, wissenschaftliche Texte).
• Mid-Training-Datensatz: kuratiertere, qualitativ hochwertige Daten, oft inklusive synthetischer Daten.
• Finetuning-Datensatz: kleiner, instruktionsbasiert, oft menschlich kuratiert.
• RLHF- bzw. RLAIF-Datensatz: Präferenzpaare, Modellantworten mit Belohnungssignal.
• Eval-Datensatz: Benchmarks und Held-out-Aufgaben.

Wesentliche Kurationsschritte sind Deduplication (vor allem auf URL- und Inhaltsebene), Quality-Scoring durch Klassifikatoren, Filterung von toxischen Inhalten, Decontamination gegenüber bekannten Benchmarks, Privacy-Filter und Lizenz-Checks.

Praxis und Anwendung

In der Praxis arbeiten ML-Teams mit Datensätzen entlang einer Pipeline: Erfassung oder Lizenzierung, Speicherung in Object-Stores oder Data-Lakes (S3, GCS, Azure Blob), Vorverarbeitung mit Tools wie Apache Spark, Ray Data, Pandas, DataFusion, Versionierung via DVC oder Hugging Face Hub, Auslieferung an Trainings-Loops in Frameworks wie PyTorch, JAX und TensorFlow.

Wichtige Datensätze für moderne LLMs sind Common Crawl (Roh-Web-Daten), C4, The Pile, RedPajama, SlimPajama, FineWeb, FineWeb-Edu, DCLM, Dolma, The Stack v2 und Common Pile. Für Multimodalität sind LAION, COCO, Conceptual Captions, OpenWebMath und WebLI relevant.

Für regulierte Anwendungen sind Datasheets, Trainingsdaten-Zusammenfassungen (AI Act Artikel 53) und Datenherkunfts-Audits Pflicht. Anbieter wie Stability AI, OpenAI, Anthropic und Google publizieren in Model und System Cards Hinweise zu Datenherkunft, ohne immer vollständige Listen offenzulegen.

Häufige Fehler

• Datenleckage zwischen Splits: wenn Trainings- und Testbeispiele überlappen, ist die Evaluation wertlos.
• Klassenungleichgewicht ignoriert: seltene Klassen werden unterrepräsentiert, Metriken wie Accuracy täuschen.
• Bias nicht auditiert: Datensätze tragen gesellschaftlichen Bias, der ohne Audits in Modelle übergeht.
• Benchmark-Decontamination vergessen: wenn Pretraining-Daten Eval-Benchmarks enthalten, sind Resultate aufgeblasen.
• Lizenz ignoriert: Datensätze mit unklarem Recht setzen Anbieter rechtlich aus, vor allem in EU und USA.
• Synthetic Data ohne Diversifikation: rein synthetische Datensätze führen zu Mode Collapse und Modellkollaps.

Abgrenzung

• Knowledge Graph: strukturierte Wissensbasis, kein Trainingsbeispiel-Set. Wird oft für Grounding verwendet.
• Corpus: linguistische Sammlung von Texten, im klassischen Sinn ohne ML-Splits.
• Feature Store: produktives System für Feature-Bereitstellung, kein statischer Datensatz.
• Benchmark: standardisierter Datensatz speziell zur Evaluation.
• Trainingsdaten-Zusammenfassung (AI Act): regulatorisches Dokument, das den Datensatz beschreibt, nicht der Datensatz selbst.