KI-Sicherheit (AI Safety)

Definition

KI-Sicherheit (AI Safety) ist das interdisziplinäre Forschungs- und Praxisfeld, das darauf abzielt, KI-Systeme so zu entwickeln und zu betreiben, dass sie ihre intendierten Ziele zuverlässig, robust und ohne schädliche Nebenwirkungen erfüllen. Der Begriff stammt aus der KI-Forschung der späten 2000er Jahre, wurde durch Arbeiten von Stuart Russell, Nick Bostrom und Eliezer Yudkowsky popularisiert und ist heute fester Bestandteil der Strategien aller grossen KI-Labs.

AI Safety umfasst technische Robustheit, Alignment, Interpretierbarkeit, Missbrauchsresistenz, Cyber-Resilienz und gesellschaftliche Risikobetrachtungen. Es ist kein einzelnes Verfahren, sondern ein Bündel aus Forschungsprogrammen, Engineering-Praktiken und Governance-Strukturen.

Konzept

AI Safety strukturiert Risiken üblicherweise entlang von vier Kategorien, die sich zwar überlappen, aber unterschiedliche Massnahmen verlangen:

• Misalignment: Das System optimiert für ein Proxy-Ziel, das vom eigentlichen menschlichen Ziel abweicht. Beispiel: ein RLHF-trainiertes Modell, das Zustimmung statt Wahrheit maximiert.
• Misuse: Akteure nutzen das System gezielt für Schaden, etwa Phishing-Generierung, Desinformation oder Synthese gefährlicher Substanzen.
• Accidents: Unbeabsichtigte Fehler im Betrieb, etwa durch Distribution Shift, Eingabefehler oder Tool-Use-Versagen.
• Structural Risks: Systemische gesellschaftliche Folgen, etwa Machtkonzentration, Arbeitsmarktverwerfungen oder geopolitische Destabilisierung.

Operationalisiert wird AI Safety meist über Responsible Scaling Policies (RSPs), die Capability-Schwellen definieren und Trainings- bzw. Deploy-Entscheidungen an erreichte Sicherheitsstufen koppeln. Anthropic veröffentlichte 2023 die erste RSP, OpenAI folgte mit dem Preparedness Framework, Google DeepMind mit dem Frontier Safety Framework.

Praxis

In der industriellen Praxis besteht AI Safety aus mehreren ineinandergreifenden Schichten:

• Pre-Training Safety: Datenkuration, Filterung schädlicher Inhalte, Vermeidung problematischer Memorisation.
• Post-Training Safety: RLHF, Constitutional AI, Refusal-Training, Verfeinerung von Verhaltensrichtlinien.
• Evaluation und Red-Teaming: systematische Suche nach Failure Modes durch interne und externe Teams.
• Deployment Safety: Rate-Limits, Monitoring, Abuse-Detection, Tiered Access für gefährliche Capabilities.
• Governance: Veröffentlichung von Model Cards, System Cards, Transparency Reports.

Externe Evaluatoren wie METR, Apollo Research und das UK AI Safety Institute prüfen Frontier-Modelle vor Release. Behörden koordinieren sich über das AI Safety Institute Network (USA, UK, EU, Japan, Singapur, Kanada und weitere).

Häufige Fehler

• Safety als Marketing-Label: Ohne nachprüfbare Evaluierungen und externe Audits sind Safety-Claims wertlos.
• Benchmarks ohne Mechanismen: Modelle können Benchmark-Sicherheit zeigen, ohne sicher zu sein. Mechanistic Interpretability ist deshalb komplementär.
• Capability ohne Mitigation: Wer Capabilities veröffentlicht, ohne entsprechende Mitigationen und Monitoring zu liefern, untergräbt die eigene Safety-Strategie.
• Statische Policies: Risiken ändern sich mit jeder Modellgeneration. Policies müssen versioniert und überprüfbar sein.
• Reine Defense-Perspektive: AI Safety umfasst auch positive Use-Cases (Defensive Cyber, Wissenschaftsbeschleunigung), nicht nur Risikoabwehr.

Abgrenzung

• AI Alignment: fokussiert auf die Frage, wie Modelle menschliche Werte und Ziele abbilden. AI Safety ist breiter.
• AI Ethics: befasst sich mit normativen Fragen (Fairness, Verantwortung, Würde). AI Safety ist primär technisch und systemisch.
• AI Governance: befasst sich mit Regulierung, Standards und Institutionen. AI Safety liefert die technische Grundlage, Governance die institutionelle Verankerung.
• Trustworthy AI: EU-geprägter Oberbegriff, der AI Safety, Ethics und Governance bündelt.