Hyperparameter

Parameter, die das Training eines Modells steuern und nicht aus den Daten gelernt, sondern vor dem Training festgelegt werden, etwa Lernrate, Batch-Grösse und Schichtenzahl.

Definition

Ein Hyperparameter ist ein Konfigurationswert, der das Training eines Modells steuert, aber nicht durch das Training aus den Daten gelernt wird. Er wird vor dem Trainingsstart festgelegt und beeinflusst, wie und wie schnell ein Modell lernt, welche Architektur es hat und wie es vor Overfitting geschützt wird.

Hyperparameter unterscheiden sich grundlegend von Modellparametern wie Gewichten und Biases. Letztere sind die Grössen, die der Optimizer iterativ anpasst, um eine Loss-Funktion zu minimieren. Hyperparameter geben den Rahmen vor, innerhalb dessen dieser Anpassungsprozess abläuft.

Algorithmus

Typische Hyperparameter lassen sich in mehrere Familien gliedern:

Optimierungs-Hyperparameter: Lernrate, Momentum, Weight Decay, Lernraten-Schedule, Batch-Grösse, Anzahl Epochen, Wahl des Optimizers (SGD, Adam, AdamW).
Architektur-Hyperparameter: Anzahl Schichten, Neuronen pro Schicht, Aktivierungsfunktionen, Kernel-Grössen, Aufmerksamkeitsköpfe, Embedding-Dimensionen.
Regularisierungs-Hyperparameter: Dropout-Rate, L1 und L2-Koeffizienten, Label Smoothing, Daten-Augmentations-Stärke, Early-Stopping-Toleranz.
Daten-Hyperparameter: Mini-Batch-Sampling-Strategie, Klassengewichte, Augmentations-Parameter, Tokenizer-Konfiguration.

Für die Suche nach guten Werten gibt es etablierte Verfahren:

Grid Search: Diskretisiert jeden Hyperparameter und probiert alle Kombinationen. Einfach, aber exponentiell teuer.
Random Search: Zieht Werte zufällig aus Verteilungen, oft deutlich effizienter als Grid Search.
Bayesian Optimization: Modelliert die Loss-Landschaft mit Gauss-Prozessen oder Tree-Parzen-Estimators und schlägt gezielt Folgekandidaten vor.
Hyperband und ASHA: Verteilen Budget über viele Kandidaten und brechen schwache früh ab.
Population Based Training: Trainiert eine Population parallel und kopiert erfolgreiche Hyperparameter über die Zeit.

Praxis

In der Praxis wird das meiste Tuning auf Lernrate und Optimizer-Schedule konzentriert, weil dort die grösste Hebelwirkung sitzt. Bei Foundation-Modellen sind Lernrate, Warmup-Schedule und Weight Decay so kritisch, dass kleinste Fehleinstellungen Tage Rechenzeit kosten. Bei klassischen Tabellenmodellen wie XGBoost sind Baumtiefe, Lernrate und Subsample-Anteile zentral.

Frameworks wie Optuna, Ray Tune und Weights and Biases Sweeps automatisieren Hyperparameter-Suche und integrieren mit MLflow oder eigenen Tracking-Systemen. AutoML-Plattformen verstecken viele dieser Entscheidungen, was für Standardaufgaben effizient ist, aber bei nicht-trivialen Aufgaben oft nicht ausreicht.

In Produktion sind Hyperparameter Teil des Modell-Artefakts und müssen versioniert werden, sonst lassen sich Ergebnisse nicht reproduzieren. Reproduzierbarkeit verlangt auch Seeds, Versionierung der Daten und der Software-Umgebung.

Häufige Fehler

Auf dem Test-Set tunen: Wer Hyperparameter auf dem Test-Set optimiert, mischt Validierung und finalen Test. Das Ergebnis sieht stark aus, generalisiert aber schlechter, als die Zahlen suggerieren.
Lernrate fix lassen: Eine konstante Lernrate über das ganze Training ist selten optimal. Warmup, Cosine Decay oder Step Decay sind übliche Schedules und meist deutlich besser.
Batch-Grösse blind hochskalieren: Grössere Batches brauchen meist auch grössere Lernraten, sonst stagniert das Modell. Lineare oder Quadratwurzel-Skalierung sind Faustregeln.
Hyperparameter vom Toy-Datensatz übernehmen: Werte, die auf 10.000 Beispielen gut funktionierten, sind auf 10 Millionen oft falsch. Skala und Domäne müssen passen.
Reproduzierbarkeit vernachlässigt: Ohne Seeds und ohne Versionierung der Hyperparameter-Konfiguration ist ein Modell-Run nicht wiederholbar und der nächste Sweep ist wertloser Vergleich.

Abgrenzung

Modellparameter: Werden im Training gelernt (Gewichte, Biases). Hyperparameter werden vor dem Training gesetzt und steuern dieses Lernen.
Konfiguration vs. Hyperparameter: Konfiguration kann auch infrastrukturelle Werte enthalten (Dateipfade, Logging-Level). Hyperparameter sind speziell die, die das Modell beeinflussen.
Neural Architecture Search: Spezialfall des Hyperparameter-Tunings, bei dem die Architektur selbst gesucht wird, oft via RL oder evolutionärer Algorithmen.
Feature Engineering: Bestimmt, welche Eingaben das Modell sieht. Hyperparameter bestimmen, wie das Modell daraus lernt.

Weiter im KI-Lexikon

← Zurück zum Lexikon

Häufige Fragen

Was ist ein Hyperparameter?+

Ein Hyperparameter steuert das Training eines Modells, wird aber nicht aus den Daten gelernt, sondern vor dem Training festgelegt. Beispiele sind Lernrate, Batch-Grösse, Anzahl Schichten oder Regularisierungsstärke. Sie sind im Unterschied zu Modellparametern wie Gewichten nicht differenzierbar trainierbar.

Wie unterscheidet er sich von Modellparametern?+

Modellparameter wie Gewichte und Biases werden im Training durch Gradient Descent aus den Daten gelernt. Hyperparameter werden vorab gesetzt und steuern, wie diese Lernschritte ablaufen. Erst die Kombination aus beidem ergibt das fertige Modell.

Welche Hyperparameter sind besonders wichtig?+

Die Lernrate ist der einflussreichste Hyperparameter und steuert die Schrittweite des Gradient Descent. Batch-Grösse, Anzahl Epochen, Optimizer-Wahl, Regularisierungs-Koeffizienten und Architektur-Hyperparameter wie Schichtenzahl und Neuronen pro Schicht folgen.

Was ist Hyperparameter-Tuning?+

Hyperparameter-Tuning ist die systematische Suche nach den Werten, die auf einem Validierungs-Set die beste Performance ergeben. Standardmethoden sind Grid Search, Random Search, Bayesian Optimization und neuere Verfahren wie Population Based Training oder Hyperband.

Was ist der Unterschied zu Random und Grid Search?+

Grid Search probiert alle Kombinationen eines Rasters und skaliert exponentiell mit der Zahl der Hyperparameter. Random Search zieht Werte zufällig aus Verteilungen und ist meist effizienter, weil wenige Hyperparameter dominieren. Bayesian Optimization lernt aus vergangenen Versuchen und sucht zielgerichteter.

Warum überanpasst Tuning?+

Wer auf einem Validierungs-Set tunt, optimiert implizit auch Hyperparameter darauf und kann auf diesem Set übermässig optimieren. Ein separates Test-Set, das nur einmal verwendet wird, schützt vor falscher Sicherheit. Bei kleinen Datensätzen ist Cross-Validation Pflicht.

Was sind sensible Hyperparameter?+

Lernrate, Gewichtsinitialisierung und Regularisierungsstärke gelten als am sensibelsten. Kleine Änderungen können den Unterschied zwischen Divergenz und Konvergenz, zwischen Overfitting und Underfitting bedeuten.

Gibt es Faustregeln?+

Ja. Lernrate mit Faktor 10 sweepen (1e-2, 1e-3, 1e-4), Batch-Grösse als Zweierpotenz (32, 64, 128), Adam als sicherer Default-Optimizer, Dropout 0,1 bis 0,5 als Startwert. Faustregeln ersetzen Tuning nicht, sparen aber den ersten Tag.

Quellen

Goodfellow, Bengio, Courville (Deep Learning, MIT Press 2016)
Bergstra, Bengio (Random Search for Hyperparameter Optimization, JMLR 2012)
Snoek et al. (Bayesian Optimization of ML Algorithms, NeurIPS 2012)

Wikidata: Q28374376 · Zuletzt geprüft: 2026-06-07