Chain-of-Thought Prompting

Definition

Chain-of-Thought (CoT) Prompting ist eine Prompting-Technik, die ein Sprachmodell dazu bringt, Zwischenschritte explizit zu artikulieren, bevor es eine finale Antwort gibt. Der Ansatz wurde 2022 von Jason Wei und Kollegen bei Google Research in der Publikation Chain-of-Thought Prompting Elicits Reasoning in Large Language Models vorgestellt und gehört seither zum festen Repertoire des Prompt Engineerings.

Die Grundidee ist, dass komplexe Aufgaben zerlegt werden müssen, um zuverlässig gelöst zu werden. Ein Sprachmodell, das gezwungen wird, einen Lösungsweg auszuschreiben, kann sich auf bereits geschriebene Zwischenergebnisse stützen und vermeidet Sprünge, die bei direkter Antwortgenerierung häufig fehlerhaft sind. Empirisch erhöht CoT die Genauigkeit auf mathematischen Benchmarks wie GSM8K und MATH um 20 bis 40 Prozentpunkte, bei logischen und kommonsense-bezogenen Aufgaben um ähnliche Beträge.

Mechanismus

CoT wirkt nicht durch Architektur-Änderung, sondern durch Verteilungs-Verschiebung in der Inferenz. Das Sprachmodell hat während des Trainings unzählige Beispiele von gut strukturierten Argumentationen gesehen, von Schulaufgaben bis zu wissenschaftlichen Papers. Eine Aufforderung zum schrittweisen Denken aktiviert diese Muster und führt zu konditionierter Generierung im Stil ausgearbeiteter Lösungen.

Zwei Hauptvarianten haben sich etabliert:

• Few-Shot CoT: Im Prompt werden ein bis acht Beispiele mit ausgeschriebenen Lösungswegen demonstriert. Das Modell imitiert dieses Muster.
• Zero-Shot CoT: Es genügt der Trigger Let us think step by step (Kojima et al., 2022). Das Modell produziert spontan ein Reasoning, ohne dass Beispiele nötig sind.

Self-Consistency (Wang et al., 2023) erweitert beide Varianten: Statt einer Generierung werden 5 bis 40 unabhängige Reasoning-Pfade gesampelt, und die Mehrheitsantwort wird als Ergebnis genommen. Dies stabilisiert stochastische Ausreisser, kostet aber proportional mehr Tokens.

Die nächste Evolutionsstufe sind Reasoning-Modelle wie OpenAI o1, o3 und Claude mit Extended Thinking. Sie führen CoT nicht mehr als Prompting-Trick durch, sondern haben Reasoning-Traces als Teil ihrer Architektur internalisiert, oft mit Reinforcement Learning auf Mathematik- und Code-Benchmarks trainiert.

Praxis

CoT ist 2026 fester Bestandteil produktiver Prompt-Pipelines. Empfehlungen:

• Trigger einsetzen: Let us think step by step, Show your reasoning, oder analoge Formulierungen in der Zielsprache.
• Strukturierte Ausgabe verlangen: Schritt 1, Schritt 2, Antwort. Das vereinfacht Parsing und Validierung.
• Self-Consistency bei kritischen Antworten: Wenn die finale Antwort wertvoll ist, lohnt sich Sampling mit Mehrheitsentscheid.
• Reasoning ausblenden im Frontend: Endnutzer sehen oft nur die finale Antwort, nicht die ausführliche Argumentation, ausser bei explizit transparenten Tools.
• Token-Budget berücksichtigen: Reasoning kostet Output-Tokens, die teurer sind als Input.

Frontier-Modelle reagieren stark auf CoT. Bei Claude lassen sich Extended-Thinking-Budgets von 1024 bis 100k Tokens setzen, die o-Serie und andere Reasoning-Modelle von OpenAI nutzen interne Reasoning-Tokens, die nicht im Output erscheinen, aber bepreist werden.

Häufige Fehler

• CoT bei einfachen Tasks: Klassifikation oder Faktenabfrage werden durch CoT unnötig teuer und langsam, ohne Qualitätsgewinn.
• Kleine Modelle: Unter 100 Milliarden Parametern wirkt CoT inkonsistent. Bei 7B-Modellen kann die Genauigkeit sogar sinken.
• Reasoning blind vertrauen: ausgeschriebene Argumentation klingt plausibel, ist aber nicht zwingend korrekt. Validierung via Tool-Use oder externer Berechnung ist nötig.
• Confabulation übersehen: Das Modell kann ein konsistentes Reasoning erfinden, das zur falschen Antwort führt. Grounding bleibt essenziell.
• CoT gegen Reasoning-Modelle: Wenn Reasoning-Modelle vorhanden sind, schlägt internes Reasoning fast immer prompt-basiertes CoT.

Abgrenzung

• Few-Shot Learning: Beispiele im Prompt, aber nicht zwingend mit Reasoning-Schritten.
• Tree-of-Thoughts: Erweiterung mit Verzweigung und Backtracking, exploriert mehrere Pfade parallel.
• ReAct: Kombiniert CoT mit Tool-Aufrufen in einer Reason-Act-Observe-Schleife.
• Reasoning-Modelle: internalisieren CoT als Architektur-Bestandteil und trainieren darauf, nicht Prompting-Trick.
• Scratchpad: synonymer Begriff aus älterer Literatur (Nye et al., 2021), in der Praxis durch CoT verdrängt.