Weights & Biases

Plattform für ML-Experiment-Tracking, Modell-Versionierung, Sweeps, Reports und LLM-Observability, seit 2017 entwickelt von Lukas Biewald und Team, 2025 von CoreWeave übernommen, 2026 De-facto-Standard in vielen ML- und LLM-Teams.

Definition

Weights & Biases, intern kurz W&B oder wandb, ist eine Plattform für Machine-Learning-Experiment-Tracking, Modell- und Dataset-Versionierung, Hyperparameter-Sweeps, Reports, Modell-Registry und seit 2024 auch LLM- und Agent-Observability via Weave. Gegründet 2017 von Lukas Biewald, Shawn Lewis und Chris Van Pelt, gehört das Unternehmen seit der Übernahme durch CoreWeave im Jahr 2025 zur GPU-Cloud-Familie, läuft jedoch als eigene Marke weiter.

2026 ist W&B in vielen ML-Teams gesetzter Standard, von Frontier-Labs über Pharma-Forschung bis zu klassischer Computer-Vision-Produktion. Die starke Community, gute Reproduzierbarkeit von Reports und die Verzahnung mit gängigen Frameworks haben das Tool weit verbreitet.

Architektur und Features

Wichtige Bausteine:

Experiment-Tracking: Logging von Metriken, Loss, Hyperparametern, System-Stats, Bildern, Audio und Tabellen pro Run.
Projects und Teams: Hierarchische Organisation, Workspaces für Visualisierung und Vergleich.
Artifacts: versionierte Datensätze, Modelle, Zwischen-Ergebnisse mit Lineage-Tracking.
Model Registry: zentrale Sicht auf Modell-Stadien (development, staging, production) mit Aliasen und Approvals.
Sweeps: Hyperparameter-Tuning mit Random, Grid und Bayesian Optimization, verteilt über mehrere Agents.
Reports: Markdown plus interaktive Charts und Tabellen, reproduzierbare Wissens-Snapshots.
Tables: strukturierte Datensätze mit Slicing, Filtern und Bilder-Rendering, ideal für Error Analysis.
System-Monitoring: GPU-, CPU-, Speicher- und Netzwerk-Stats pro Run.
Weave: LLM- und Agent-Observability mit Tracing, Evaluations, Pairwise-Vergleichen und Dataset-Management.
Integration in CI/CD: Hooks für GitHub Actions, Jenkins und ähnliche Pipelines.

Die Datenhaltung ist als SaaS-Service, Dedicated Cloud oder Self-Managed-Deployment verfügbar. Self-Managed ist üblich für Frontier-Labs, Pharma und regulierte Industrien.

Praxis und Anwendung

Typische Anwendungsfelder:

Klassisches Training-Tracking: PyTorch- oder Hugging-Face-Trainingsläufe mit Live-Metriken, Vergleich vieler Runs.
Hyperparameter-Sweeps: Sweep-Konfiguration in YAML, verteilte Ausführung auf Cluster oder mehreren Maschinen.
Modell-Lifecycle: Modelle landen als Artifact, werden via Registry verwaltet und mit Aliasen ans Deployment gegeben.
Reports als Wissens-Snapshots: Forschungs-Ergebnisse werden als Reports geteilt, mit interaktiven Charts statt statischen PDFs.
Error Analysis via Tables: falsche Vorhersagen mit Bildern und Metadata visualisieren, Sub-Slices identifizieren.
LLM-Tracing mit Weave: Calls, Token-Verbrauch, Latenz und Tool-Use für Agent-Workflows nachvollziehen.
Evaluations mit Weave: Datasets aus Goldstandard-Beispielen, LLM-as-Judge und String-Match.
Dataset-Versionierung: Trainings- und Eval-Daten als Artifacts mit Hash und Diff, reproduzierbar referenziert.

Erfahrene Teams kombinieren W&B oft mit Hugging Face Hub für Modelle und Datasets sowie mit Slurm, Ray oder Kubernetes für Compute-Orchestrierung.

Häufige Fehler

Run-Namen ohne System: ohne klare Naming-Konvention werden Vergleiche unübersichtlich.
Konfiguration nicht loggen: wer config nicht vollständig loggt, kann Runs nicht reproduzieren.
Artifacts nicht nutzen: Modelle und Datasets als lose Files ohne Lineage führen zu Drift und Verwechslung.
Sweeps blind starten: ohne Prior-Wissen über Hyperparameter-Bereiche verschwendet Sweeps GPU-Stunden.
Reports als Theater: Reports nur für Demo schreiben, statt als reproduzierbare Wissens-Snapshots.
PII in Tables: sensible Daten landen ungewollt in geteilten Tabellen, Datenschutz prüfen.
Weave als Spielwiese: ohne Datasets und Evaluations bleibt LLM-Observability anekdotisch.

Abgrenzung

MLflow: Open-Source-Standard für Experiment-Tracking, oft Self-Hosted, deutlich schlanker, weniger Komfort.
Comet ML: direkter Konkurrent mit ähnlichem Feature-Set, starke Visualisierung.
Neptune.ai: Tracking-Tool mit Fokus auf Modell-Registry und Monitoring.
ClearML: Open-Source-Plattform mit Pipeline-Orchestrierung und Tracking.
Aim: schlanke Open-Source-Variante für Tracking.
TensorBoard: klassisches lokales Tool ohne Team-Funktionen.
LangSmith und Langfuse: LLM-spezifische Observability, im Funktionsumfang Weave-ähnlich.
Hugging Face Hub: Modell- und Dataset-Hosting, komplementär zu W&B-Tracking.

Weiter im KI-Lexikon

← Zurück zum Lexikon

Häufige Fragen

Was ist Weights & Biases?+

Weights & Biases, kurz W&B oder wandb, ist eine Plattform für Machine-Learning-Experiment-Tracking, Modell-Versionierung, Hyperparameter-Sweeps, Reports und LLM-Observability. Sie wurde 2017 von Lukas Biewald, Shawn Lewis und Chris Van Pelt gegründet und gehört seit 2025 zu CoreWeave. 2026 ist W&B in vielen ML- und LLM-Teams gesetzter Standard.

Wer steht hinter W&B?+

Weights & Biases wurde von Lukas Biewald, Shawn Lewis und Chris Van Pelt 2017 in San Francisco gegründet. Biewald hatte zuvor CrowdFlower verkauft. Investoren waren unter anderem Coatue und Insight Partners. Im März 2025 kündigte die GPU-Cloud CoreWeave die Übernahme von W&B für rund 1.7 Mrd. USD an (Abschluss Mai 2025), W&B läuft aber als eigenständige Marke weiter.

Wofür wird W&B typischerweise eingesetzt?+

Klassische Use Cases sind Experiment-Tracking während Modelltraining, Hyperparameter-Sweeps, Modell- und Dataset-Artefakt-Versionierung, Reports als reproduzierbare Wissens-Snapshots, Sweeps-Visualisierung und Team-Kollaboration. Mit Weave kamen Tracing und Evaluation für LLM-Anwendungen hinzu.

Was sind Artifacts?+

Artifacts sind versionierte Datensätze, Modelle oder Zwischen-Ergebnisse in W&B. Sie haben eindeutige Identifier, Lineage-Tracking und Aliase wie production oder staging. Damit lassen sich Modelle reproduzierbar referenzieren und über Pipelines hinweg verfolgen.

Was ist Weave?+

Weave ist die LLM- und Agent-Observability-Erweiterung von W&B. Sie liefert Tracing für LLM-Calls, Evaluations gegen Datasets, Pairwise-Vergleiche und Cost-Tracking, ähnlich wie LangSmith oder Braintrust. Weave ist eng mit dem klassischen W&B-Stack verzahnt und nutzt dieselbe Account- und Projektstruktur.

Welche Frameworks werden unterstützt?+

W&B integriert nativ mit PyTorch, TensorFlow, Keras, JAX, Hugging Face transformers, Lightning, Stable Baselines, scikit-learn, XGBoost und vielen mehr. Über Logging-APIs lassen sich auch eigene Trainings-Loops oder LLM-Calls verfolgen. Für LLM-Stacks gibt es Adapter für OpenAI, Anthropic und Vercel AI SDK.

Welche Deployment-Modelle bietet W&B?+

W&B Cloud läuft als Multi-Tenant-SaaS in US- und EU-Regionen. Daneben gibt es Dedicated Cloud (Single-Tenant) sowie Self-Managed auf eigener Infrastruktur, üblich in regulierten Branchen und für Frontier-Labs. CoreWeave-Integration ermöglicht enge Kopplung mit GPU-Cloud-Workloads.

Welche Alternativen gibt es zu W&B?+

Alternativen sind MLflow als Open-Source-Standard, Neptune.ai als kommerzielles Tracking-Tool, Comet ML als direkter Konkurrent, ClearML als Open-Source-Plattform und Aim als schlanke Open-Source-Variante. Im LLM-Bereich konkurriert Weave mit LangSmith, Langfuse, Braintrust und Helicone.

Quellen

Weights & Biases Documentation (docs.wandb.ai)
W&B Engineering Blog
CoreWeave Press Releases

Zuletzt geprüft: 2026-07-02