Inferenz (KI)

Definition

Inferenz ist im Kontext der Künstlichen Intelligenz die Phase, in der ein bereits trainiertes Modell auf neue, ungesehene Eingaben angewendet wird, um Ausgaben zu erzeugen. Bei einem Klassifikator ist das die Vorhersage einer Klasse, bei einem Embedder ein Vektor, bei einem Sprachmodell eine Token-Sequenz, bei einem Bildgenerator ein Bild. Der Begriff entstammt der Statistik und Logik, wird in der KI aber synonym mit Prediction oder Forward-Pass verwendet.

Inferenz steht dem Training gegenüber. Während des Trainings werden Modellgewichte über Backpropagation und Gradientenabstieg angepasst. Bei Inferenz sind die Gewichte fixiert, das Modell führt ausschliesslich den Forward-Pass aus. Inferenz ist pro Aufruf wesentlich günstiger als Training, fällt aber durch hohe Skalierung in der Praxis stark ins Gewicht.

Mechanismus

Der Inferenz-Pass eines neuronalen Netzes ist eine Folge von Matrix-Multiplikationen, Aktivierungen, Normalisierungen und gegebenenfalls Attention-Berechnungen. Bei autoregressiven Sprachmodellen erfolgt Inferenz Token für Token, wobei für jedes neue Token der gesamte Kontext durch den Decoder fliesst. Optimierungen wie das Key-Value-Caching speichern bereits berechnete Zwischenrepräsentationen, sodass nicht jedes Mal die volle Sequenz neu berechnet werden muss.

Wesentliche Performance-Hebel:

• Quantisierung: Reduktion der Bit-Breite (FP16 zu INT8 oder INT4), spart Speicher und Bandbreite.
• KV-Caching: zentrale Optimierung für Transformer-Inferenz.
• Speculative Decoding: ein kleines Modell schlägt Tokens vor, ein grosses Modell verifiziert sie.
• Continuous Batching: Anfragen werden dynamisch zu Batches gruppiert (vLLM, TGI).
• FlashAttention: speichereffiziente Attention-Berechnung.
• MoE-Routing: nur ein Teil der Experten wird aktiviert.

Hardware reicht von Cloud-GPUs (NVIDIA H100, B200, AMD MI300) über Spezialchips (Groq LPU, Cerebras WSE, AWS Inferentia, Google TPU v5e) bis zu Edge-Beschleunigern in Smartphones (Apple Neural Engine, Qualcomm Hexagon, Google Tensor).

Praxis und Anwendung

In der industriellen Praxis dominiert API-basierte Inferenz: Anbieter wie OpenAI, Anthropic, Google, Mistral, Cohere und Open-Source-Plattformen wie Hugging Face oder Together stellen Modelle hinter REST- und Streaming-APIs bereit. Preis pro Million Token ist die wichtigste Vergleichsgrösse.

Daneben existieren Inferenz-Server (vLLM, TensorRT-LLM, Triton, llama.cpp, Ollama) für On-Premise- oder Cloud-Self-Hosting. Edge-Inferenz auf Geräten gewinnt durch kleine Modelle (Phi, Llama 3, Gemma) und Browser-Runtimes (WebGPU, WebNN, ONNX Runtime Web) an Bedeutung.

Ein zentraler Trend ist die Verlagerung von Capability ins Test-Time-Compute. Reasoning-Modelle wie OpenAI o1 und o3, Anthropic Claude mit extended thinking, Google Gemini Deep Think oder DeepSeek R1 nutzen längere Inferenz, um schwierigere Probleme zu lösen. Damit steigen Inferenz-Kosten pro Antwort, was Pricing-Modelle und Deployment-Strategien verschiebt.

Häufige Fehler

• Trainings-Hardware für Inferenz übernehmen: A100/H100 in voller Konfiguration ist oft überdimensioniert. Spezialisierte Inferenz-Chips senken Kosten deutlich.
• KV-Cache nicht genutzt: ohne KV-Cache wird LLM-Inferenz quadratisch in der Kontextlänge.
• Quantisierung pauschal abgelehnt: moderne INT4- und FP8-Schemata erreichen Qualität nahe FP16 bei deutlich niedrigeren Kosten.
• Batch-Size nicht optimiert: zu kleine Batches verschwenden GPU-Auslastung, zu grosse Batches erhöhen Latenz.
• Privacy-Risiken ignoriert: API-Inferenz sendet Daten zum Anbieter. In regulierten Branchen sind On-Premise oder vertragliche No-Train-Klauseln Pflicht.

Abgrenzung

• Training: Modellgewichte werden angepasst. Inferenz lässt sie unverändert.
• Finetuning: spezielle Form des Trainings auf einem kleineren Datensatz.
• Evaluation: systematisches Messen von Modellqualität, in der Regel über Inferenz auf einem Testset.
• Reasoning: semantische Form des Inferierens. Im technischen Sinn ist Reasoning eine spezielle Inferenz-Strategie mit erhöhtem Test-Time-Compute.
• Symbolische Inferenz: klassische Logik-basierte Schlussfolgerung in Expertensystemen, vom statistischen Forward-Pass moderner Netze zu unterscheiden.