llms.txt
Vorgeschlagene Markdown-Datei im Root einer Website, die Large Language Models eine kuratierte, maschinenlesbare Übersicht der wichtigsten Inhalte liefert und so LLM-Grounding und Citation Infrastructure unterstützt.
Definition
llms.txt ist eine Markdown-Datei, die im Root einer Website unter dem Pfad /llms.txt abgelegt wird. Sie liefert Large Language Models eine kuratierte, maschinenlesbare Übersicht der wichtigsten Inhalte einer Site und erleichtert damit LLM-Grounding ohne den Umweg über HTML-Parsing, Navigations-Boilerplate und Crawling-Kosten.
Der Vorschlag stammt von Jeremy Howard, Mitgründer von Answer.AI und früher von fast.ai, der die Idee im September 2024 unter llmstxt.org veröffentlichte. Die Datei ist explizit als Pendant zu robots.txt (für klassische Such-Crawler) und sitemap.xml (für vollständige URL-Listen) gedacht, mit anderem Zweck: Kuratierung statt Vollständigkeit oder Zugriffskontrolle.
Geschichte
Howard veröffentlichte den Vorschlag im September 2024 auf der Webseite llmstxt.org zusammen mit einer Spezifikation, Beispielen und einer Referenz-Implementierung. Die ursprüngliche Motivation: Doku-Websites wie die von FastHTML, fastai und Answer.AI bieten LLMs den eigenen Quelltext effizienter an, wenn LLMs direkt eine kuratierte Markdown-Übersicht erhalten statt HTML-Seiten crawlen zu müssen.
Innerhalb weniger Monate adoptierten zahlreiche Dev-Tooling-Anbieter (Cursor, Continue, Aider) das Format. Anthropic stellt eigene Docs als llms.txt bereit. Bis Mitte 2025 hatten mehrere tausend Domains llms.txt-Dateien live, darunter Vercel, Cloudflare, Stripe und viele Open-Source-Projekte. 2026 ist llms.txt im Dev-Tooling-Umfeld de-facto Konvention.
Format
Die Spezifikation auf llmstxt.org legt eine schlanke Markdown-Struktur fest:
- H1-Titel: Name der Site oder des Projekts.
- Blockquote: ein bis zwei Sätze Kurzbeschreibung (optional).
- Einleitungs-Absätze: weiterer Kontext (optional).
- H2-Abschnitte: thematisch gruppierte Listen von Markdown-Links, jeder mit kurzer Erklärung.
Beispiel:
# JassGuru
> Die digitale Jass-Kreidetafel der Schweiz.
## Dokumentation
- [Spielregeln](https://jassguru.ch/regeln.md): Vollständige Spielregeln des Schweizer Schieber-Jass.
- [API-Referenz](https://jassguru.ch/api.md): Technische API für Drittentwickler.
## Wissen
- [Jass-Lexikon](https://jassguru.ch/lexikon.md): Begriffsdefinitionen rund um den Jass.
Eine zweite, häufig empfohlene Datei ist llms-full.txt, die den vollständigen Inhalt aller verlinkten Dokumente konkateniert und so LLMs eine Antwort ohne weitere Crawls ermöglicht.
Unterschied zu robots.txt und sitemap.xml
- robots.txt: Zugriffskontrolle für Crawler, sagt was nicht gecrawlt werden darf.
- sitemap.xml: Vollständige URL-Liste für Suchmaschinen, ohne semantische Kuratierung.
- llms.txt: Kuratierte Markdown-Übersicht der wichtigsten Inhalte, mit Erklärungen, speziell für LLMs.
Die drei Dateien ergänzen sich. Eine moderne Site sollte alle drei pflegen.
Verbreitung 2026
Adoption ist asymmetrisch verteilt. Im Dev-Tooling-Umfeld (Doku-Sites, Open-Source-Projekte, API-Anbieter) ist llms.txt 2026 weit verbreitet: Anbieter wie Anthropic, Vercel und Stripe publizieren ihre eigenen Docs als llms.txt. Ein automatisches Auswerten der Datei hat allerdings kein grosser LLM-Anbieter (OpenAI, Anthropic, Google, Perplexity) offiziell bestätigt — das ist der zentrale Kritikpunkt am Format. Genutzt wird llms.txt vor allem von Dev-Tools wie Cursor, wenn Nutzer die Datei manuell als Quelle angeben.
Im Unternehmens-Web (Marketing-Sites, Konzern-Seiten) ist die Adoption noch gering, wird aber als Citation-Infrastructure-Hebel zunehmend diskutiert.
Best Practices
- Kuratiert statt vollständig: lieber zehn relevante Links als hundert.
- Klare Erklärungen: jeder Link mit ein bis zwei Sätzen Kontext.
- Markdown-Endpoints: verlinkte Inhalte sollten als reine Markdown-Versionen verfügbar sein (z. B. .md-Suffix).
- llms-full.txt anbieten: spart LLMs Crawling und liefert vollständigen Kontext in einem Request.
- Aktualität: Datei in den Build-Prozess einhängen, sodass sie mit Inhaltsänderungen synchron bleibt.
- Versionierung: Last-Modified-Header oder explizites Versionsfeld erleichtern Audits.
Häufige Fehler
- HTML statt Markdown: verfehlt den Sinn der Datei.
- Komplettliste statt Kuratierung: LLMs werden mit Rauschen überlastet.
- Keine Erklärungen: nackte Linklisten haben kaum Mehrwert gegenüber sitemap.xml.
- Veraltete Inhalte: statische llms.txt-Dateien, die nicht mit der Site mitwachsen.
- Fehlende Markdown-Versionen: Links auf HTML-Seiten erzwingen wieder Parsing-Aufwand.
Abgrenzung
- robots.txt: Zugriffskontrolle, kein Inhalt.
- sitemap.xml: vollständige URL-Liste, nicht kuratiert.
- Schema.org: strukturierte Daten pro Seite, nicht site-weite Übersicht.
- OpenAPI: technische API-Beschreibung, nicht Inhaltsübersicht.
- README.md: Projekt-interne Doku, llms.txt ist explizit für externe LLM-Konsumierbarkeit.
Weiter im KI-Lexikon
← Zurück zum LexikonHäufige Fragen
Was ist llms.txt?+
llms.txt ist eine Markdown-Datei, die im Root einer Website abgelegt wird und Large Language Models eine kuratierte, maschinenlesbare Übersicht der wichtigsten Inhalte liefert. Sie wurde 2024 von Jeremy Howard (Answer.AI) vorgeschlagen, um LLMs den Einstieg in eine Site zu erleichtern, ohne durch HTML, Navigation oder Boilerplate navigieren zu müssen.
Wo gehört llms.txt hin?+
Die Datei wird unter https://example.com/llms.txt abgelegt, also direkt im Root der Domain. Analog zu robots.txt und sitemap.xml. Sie ist eine reine Text- bzw. Markdown-Datei, ohne XML- oder JSON-Wrapping.
Wie unterscheidet sich llms.txt von robots.txt?+
robots.txt steuert, welche URLs gecrawlt werden dürfen, und richtet sich an Such-Crawler. llms.txt steuert nichts, sondern bietet LLMs eine kuratierte Inhaltsübersicht und Links zu Detail-Markdown-Dateien. Beide ergänzen sich: robots.txt definiert Zugriff, llms.txt definiert Inhalt.
Wie unterscheidet sich llms.txt von sitemap.xml?+
sitemap.xml listet alle URLs der Website maschinenlesbar für Suchmaschinen, ohne semantische Strukturierung. llms.txt ist kuratiert: Site-Titel, Beschreibung, gruppierte Doku-Links mit Erklärungen. sitemap.xml ist quantitativ vollständig, llms.txt ist qualitativ kuratiert.
Welches Format hat llms.txt?+
Die Spezifikation auf llmstxt.org definiert: H1-Titel der Site, optional ein Blockquote mit Kurzbeschreibung, optional weitere Absätze als Einführung und dann mehrere H2-Abschnitte mit jeweils einer Liste von Markdown-Links. Jeder Link kann eine kurze Erklärung erhalten. Die Datei selbst ist gültiges Markdown.
Wer liest llms.txt 2026?+
Kein grosser LLM-Anbieter (OpenAI, Anthropic, Google, Perplexity) hat offiziell bestätigt, llms.txt automatisch auszuwerten — das ist der zentrale Kritikpunkt am Format. Anbieter wie Anthropic, Vercel oder Stripe publizieren ihre eigenen Docs als llms.txt. Dev-Tools wie Cursor nutzen die Datei, wenn Nutzer sie manuell als Quelle angeben. Die Adoption wächst bottom-up, ein verbindlicher Standard existiert nicht.
Was gehört in eine gute llms.txt?+
Site-Titel, ein bis zwei Sätze Beschreibung, dann gruppierte Links zu den wichtigsten Doku-Seiten, jeweils mit Erklärung. Best Practice ist, parallel eine llms-full.txt mit dem vollständigen Inhalt aller verlinkten Dokumente bereitzustellen, sodass das LLM ohne weitere Crawls auskommt.
Ersetzt llms.txt Schema.org und sitemap.xml?+
Nein, sie ergänzen sich. Schema.org liefert pro Seite strukturierte Daten, sitemap.xml die vollständige URL-Liste, llms.txt eine kuratierte Inhaltsübersicht für LLMs. Jede der drei Datenquellen erfüllt einen anderen Zweck und sollte parallel gepflegt werden.
Verwandte Begriffe
Quellen
- llmstxt.org (Jeremy Howard, Answer.AI)
- Anthropic Docs (llms.txt support)
Wikidata: Q133958690 · Zuletzt geprüft: 2026-07-02