Prompt Engineering

Definition

Prompt Engineering ist die Disziplin, Eingaben an Sprachmodelle so zu formulieren und zu strukturieren, dass das Modell verlässlich die gewünschte Ausgabe produziert. Was zunächst nach Tippen klingt, ist in Wahrheit ein Engineering-Prozess: präzise Spezifikation, systematische Variation, messbare Evaluation, Versionierung der Prompts und Regressions-Tests bei jedem Modell-Wechsel.

Der Begriff entstand mit der Verbreitung von GPT-3 ab 2020, als deutlich wurde, dass dasselbe Modell je nach Prompt-Formulierung dramatisch unterschiedliche Qualitäten liefert. Heute ist Prompt Engineering eine Kerndisziplin produktiver LLM-Anwendungen, parallel zu RAG, Fine-Tuning und Evaluation.

Mechanismus

Ein Prompt ist die Eingabe, die ein LLM zur Generierung erhält. Bei Chat-Modellen besteht er aus mehreren Messages:

• System-Message: Setzt Rolle, Verhalten, Constraints und globale Anweisungen. Invariant über die Konversation.
• User-Message: Enthält die konkrete Aufgabe oder Frage.
• Assistant-Message: Frühere Antworten des Modells im Konversationsverlauf.
• Tool-Messages: Ergebnisse von Tool-Calls (bei agentischen Setups).

Das Modell verarbeitet alle Messages als eine Token-Sequenz, generiert die nächste Antwort autoregressiv und liefert Ausgaben in Format und Stil, die der Prompt nahelegt.

Etablierte Techniken

Eine Reihe von Techniken hat sich als robust erwiesen:

• Zero-Shot Prompting: Nur Instruktion, keine Beispiele. Funktioniert bei klaren Aufgaben mit grossen Modellen.
• Few-Shot Prompting: Drei bis acht Beispiele für In-Context Learning. Diversität schlägt Quantität.
• Chain-of-Thought (CoT): Aufforderung think step by step, explizit Denkschritte vor finaler Antwort.
• Self-Consistency: Mehrere Generierungen, Mehrheits-Voting bei der Antwort.
• Tree-of-Thought: Parallele Denkpfade, Pruning der unplausiblen.
• ReAct: Verschachtelt Reasoning und Tool-Aufrufe.
• Prompt-Chaining: Komplexe Aufgaben in Sub-Prompts mit klaren Übergaben zerlegen.
• XML-Strukturierung: In Anthropic Claude besonders effektiv, klare Tags wie context, instructions, examples.

Architektur des System-Prompts

Ein gut strukturierter System-Prompt enthält typischerweise:

• Rolle und Persona: Du bist ein Senior-Steuerberater mit Spezialisierung auf Schweizer KMU.
• Aufgabe: Hauptzweck der Interaktion.
• Constraints: Verbote, Sprachebene, Tonalität, Quellen-Pflicht.
• Format-Vorgaben: JSON-Schema, Markdown-Struktur, Längenbegrenzung.
• Tool-Definitionen: verfügbare Function-Calls und ihre Schemas.
• Beispiele: ein bis drei Few-Shot-Beispiele für Kanten-Fälle.
• Fallback-Verhalten: Was tun bei Unsicherheit, ungültiger Anfrage, fehlendem Kontext.

Praxis und Anwendung

Prompt Engineering tritt in jeder LLM-Anwendung auf:

• Chatbots: Persona, Wissensgrenzen, Eskalationsregeln.
• Klassifikation: Few-Shot-Beispiele für Kategorien, strikte Output-Schemas.
• Extraktion: JSON-Schemas für strukturierte Ausgabe, Validierung gegen Pydantic oder Zod.
• Coding-Agenten: Tool-Definitionen, Repository-Kontext, Diff-Format.
• RAG-Systeme: Anweisung zur Quellen-Nennung, Behandlung von Lücken im Retrieval.
• Multi-Agent-Setups: klare Rollen-Trennung, strukturierte Handoffs.

Evaluations-Frameworks wie Promptfoo, Anthropic Evals, OpenAI Evals und LangSmith automatisieren A-B-Tests, Regressions-Tests und LLM-as-Judge-Metriken.

Häufige Fehler

• Keine Eval-Sets: Prompt-Tuning ohne messbare Baseline ist Bauchgefühl.
• System- und User-Prompt vermischen: invariante und variable Anteile gehören sauber getrennt.
• Zu viele Anweisungen: lange Prompts verlieren das Modell, klare Priorisierung ist nötig.
• Format-Vorgaben am Anfang statt Ende: Modelle vergessen frühe Constraints, Repetition am Ende hilft.
• Modell-spezifische Tricks blind übernehmen: XML funktioniert bei Claude besser als bei GPT, Beispiele für Gemini sehen anders aus.
• Prompt-Injection ignorieren: Nutzereingaben können System-Prompts überschreiben, Defense-in-Depth ist nötig.
• Versionierung fehlt: Prompts gehören wie Code in Git, mit Reviews und Tests.

Abgrenzung

• Fine-Tuning: ändert das Modell selbst, ist teurer und schwerer zu iterieren. Prompt Engineering bleibt erste Wahl bei wenigen Beispielen.
• RAG: liefert Kontext-Daten, Prompt Engineering definiert, wie das Modell sie nutzt. Beide arbeiten zusammen.
• Constitutional AI: Trainings-Technik bei Anthropic, kein Prompt-Engineering im engeren Sinn.
• DSPy: Stanford-Framework, das Prompts deklarativ aus Spezifikationen kompiliert und automatisch optimiert. Brücke zwischen Prompt Engineering und Software-Engineering.