Adversarial Examples

Definition

Adversarial Examples sind gezielt konstruierte Eingaben für ML-Modelle, die durch minimale, oft für Menschen unmerkliche Perturbationen falsche Klassifikationen, Halluzinationen oder Sicherheitsversagen provozieren. Der Begriff stammt aus dem Paper Intriguing properties of neural networks von Szegedy et al. (2013), das erstmals systematisch zeigte, dass tief neuronale Netze fundamentale Verwundbarkeiten gegenüber kleinen, gezielten Eingabe-Änderungen aufweisen. Das klassische Beispiel, in dem ein Pandabild durch ein für Menschen unsichtbares Rauschen mit hoher Konfidenz als Gibbon klassifiziert wird, stammt aus dem FGSM-Paper von Goodfellow, Shlens und Szegedy (2015).

Adversarial Examples sind heute fester Bestandteil der ML-Sicherheitsforschung. Sie betreffen Vision, NLP, Audio und multimodale Modelle gleichermassen. Im Frontier-LLM-Bereich treten sie in Form von gradient-basierten Jailbreak-Suffixen (GCG, AutoDAN) auf. NIST behandelt Adversarial ML in AI 100-2e2025 als zentrales Risikofeld, und Adversarial Robustness ist Teil der Capability Evaluations vieler Frontier-Labore.

Mechanismus und Spezifikation

Adversarial Examples nutzen aus, dass tief neuronale Netze hochgradig nichtlineare Entscheidungsflächen besitzen, die in der Nähe von Trainingspunkten zwar gut funktionieren, in der Nähe von Decision Boundaries aber empfindlich auf gezielte Perturbationen reagieren. Der Angreifer berechnet (im White-Box-Fall) den Gradient der Loss-Funktion bezüglich der Eingabe und schiebt die Eingabe in die Richtung, die den Loss erhöht. Schon Perturbationen, deren Norm (L-infinity, L2, L0) unter einer Wahrnehmungsschwelle bleibt, reichen für Fehlklassifikationen.

Klassische Methoden:

• Fast Gradient Sign Method (FGSM): Einschritt-Angriff, Perturbation in Richtung Vorzeichen des Gradienten.
• Projected Gradient Descent (PGD): Iterativer Angriff, gilt als starker White-Box-Standard.
• Carlini-Wagner-Attacke (CW): Optimierungsbasiert, minimiert Perturbation unter Erfolgsbedingung.
• DeepFool: Linearisierung der Decision Boundary, sehr effiziente kleine Perturbationen.
• Universal Adversarial Perturbations: Eine Perturbation, die auf einer ganzen Klasse von Inputs funktioniert.
• Physical Adversarial Examples: Stickern auf Stop-Schildern, Brillen für Gesichtserkennungs-Bypass, T-Shirts mit Pattern-Angriffen.

Im NLP-Bereich:

• HotFlip: Token-Level-Flips über Gradient.
• TextFooler: Synonym-basierter Black-Box-Angriff.
• BERT-Attack: BERT als Generator für adversarielle Token.
• GCG (Greedy Coordinate Gradient): Erzeugt Jailbreak-Suffixe gegen Open-Weight-LLMs.
• AutoDAN: Genetischer Algorithmus für robuste Jailbreaks.

Black-Box-Angriffe nutzen Transfer (Angriffe gegen ein Surrogate-Modell wirken oft auch gegen das Zielmodell) oder query-basierte Optimierung (Square Attack, NES, SimBA).

Praxis und Anwendung

Defensive Praxis kombiniert mehrere Schichten:

• Adversarial Training: Modelle werden mit adversarialen Beispielen mit-trainiert. Erhöht Robustheit, kostet Standard-Accuracy.
• Certified Defenses: Beweisbare Robustheit gegenüber Perturbationen einer bestimmten Norm, etwa via Randomized Smoothing.
• Input Preprocessing: Bild-Rauschen-Filter, JPEG-Kompression, Feature Squeezing. Heuristisch, oft durch adaptive Angriffe umgehbar.
• Detection-Modelle: Sekundäres Modell entscheidet, ob ein Input adversarial ist.
• Ensembling: Mehrere Modelle parallel, Mehrheitsvote.
• Defensive Distillation: Glätten der Entscheidungsfläche durch Distillation.
• Constitutional Classifiers (LLMs): Anthropic publizierte 2025 Klassifikatoren, die adversariale Inputs zur Laufzeit erkennen.

Benchmark-Datensätze und Bibliotheken: RobustBench (Vision-Leaderboard), ImageNet-A und ImageNet-C (Robustheits-Benchmarks), Adversarial Robustness Toolbox (IBM), Foolbox, TextAttack, OpenAttack, CleverHans.

Anwendungsdomänen mit besonderer Sensibilität: autonome Fahrzeuge (Stop-Schild-Manipulation), medizinische Bildgebung (Tumor-Fehlklassifikation), Gesichtserkennung (Authentifizierungs-Bypass), Malware-Detection (Bypass durch adversarial-perturbierte Binaries), Spam-Klassifikation und Inhaltsmoderation.

Häufige Fehler

• Eine Defense gegen einen Angriff testen: Adaptive Angriffe zeigen oft, dass heuristische Defenses gegen massgeschneiderte Attacken versagen. Carlini publiziert wiederholt Adaptive-Attack-Studien.
• Standard-Accuracy ignorieren: Adversarial-Trained-Modelle haben oft 5 bis 10 Prozent niedrigere Standard-Accuracy. Trade-off muss kommuniziert werden.
• Nur White-Box testen: Black-Box-Angriffe sind in der Praxis häufiger. Tests müssen beide Klassen abdecken.
• Physical-World-Angriffe ignorieren: Stop-Schild-Sticker oder Brillen-Pattern sind real, nicht nur akademisch.
• Schwache Normen verwenden: L-infinity-Schranken sind nicht alles. L2- und L0-Angriffe sowie semantische Angriffe (Rotation, Skalierung) ergänzen das Bild.
• Benchmark-Leaderboards überinterpretieren: RobustBench misst spezifische Angriffsklassen unter spezifischen Bedingungen.
• NLP-Adversarial-Examples mit Prompt Injection verwechseln: Methodisch verwandt, aber konzeptuell verschieden.
• Detection ohne Defense: Adversarial-Detection ohne nachgelagerte Mitigation hilft wenig, der Input muss sicher gehandhabt werden.

Abgrenzung

• Prompt Injection: Anweisungs-Override über natürliche Sprache, nicht Gradient-basierte Perturbation. Methodisch verwandt im NLP, konzeptuell verschieden.
• Jailbreaking: Umgehung von Safety-Policies, nutzt teilweise adversariale Suffixe (GCG).
• Data Poisoning: Manipulation der Trainingsdaten, nicht der Inferenz-Eingaben.
• Model Extraction: Stehlen von Modellgewichten durch Query-Angriffe, anderer Angriffstyp.
• Backdoor Attacks: Trigger-basierte Hintertüren, eingepflanzt im Training, nicht im Inference-Input.
• Distribution Shift: Natürliche Verteilungsveränderungen, nicht gezielt adversarial.