Was ist llms.txt?
Eine llms.txt ist eine vorgeschlagene Textdatei im Wurzelverzeichnis einer Website, die Sprachmodellen kurz erklärt, worum es geht, und Seiten verlinkt.
Ohne Fachbegriffe, für Betriebe ohne eigene IT.
Auf dieser Seite5 Abschnitte
Einfach erklärt
Am Eingang eines großen Gebäudes hängt ein Wegweiser: zwei Sätze, was hier ist, darunter die wichtigsten Räume. Eine llms.txt ist so ein Wegweiser für Sprachmodelle. Es ist eine kurze Textdatei unter ihre-domain.de/llms.txt mit einer Beschreibung Ihres Betriebs und Links zu den wichtigsten Seiten, geschrieben im Textformat Markdown. Vorgeschlagen hat das der Entwickler Jeremy Howard im September 2024.
Was die Datei bewirkt und was nicht
Die llms.txt ist ein Vorschlag, kein verabschiedeter Standard. Google schreibt ausdrücklich, dass für die KI-Funktionen der Google-Suche keine neuen maschinenlesbaren Dateien oder KI-Textdateien nötig sind. Ob andere KI-Dienste die Datei beim Abruf Ihrer Website auswerten, sagen zum Beispiel die KI-Anbieter OpenAI und Anthropic in ihren Hinweisen zu ihren Crawlern nicht (Stand Oktober 2026). Eine llms.txt ist wenig Aufwand. Versprechen Sie sich aber keine Wirkung, die niemand zugesagt hat.
Die wichtigere Datei: robots.txt
KI-Crawler sind Programme der KI-Anbieter, die Websites abrufen. Manche sammeln Texte für das Training neuer Modelle, andere suchen Quellen für Antworten mit Link. Ob diese Crawler Ihre Seiten lesen dürfen, regeln Sie nicht in der llms.txt, sondern in der robots.txt. Das ist eine Textdatei unter ihre-domain.de/robots.txt, in der Sie Crawlern mitteilen, welche Seiten sie abrufen sollen und welche nicht. Dort lässt sich etwa das Training sperren und die Suche zulassen.
Die Entscheidung dahinter ist geschäftlich: Wollen Sie in Antworten von KI-Diensten mit Link auf Ihre Seite auftauchen, sollten Sie deren Such-Crawler nicht aussperren.
Was Sie tun können
Fragen Sie den Betreuer Ihrer Website, was Ihre robots.txt heute erlaubt und ob das noch Ihrem Willen entspricht. Der SEO-Check zeigt für eine Seite, welche bekannten Crawler die robots.txt zulässt oder sperrt und ob eine llms.txt vorhanden ist.
Was robots.txt nicht leistet
Die robots.txt ist eine Bitte, keine Zugangssperre. Wer sich nicht daran hält, kommt trotzdem an die Seiten. Vertrauliches gehört deshalb hinter eine Anmeldung und nicht auf eine öffentliche Seite.
Format nach llmstxt.org
Die Datei liegt unter /llms.txt im Wurzelverzeichnis. Nach aktuellem Stand der Spezifikation darf sie auch unter einem Unterpfad wie /docs/llms.txt liegen und gilt dann für die Seiten darunter. Der Aufbau in dieser Reihenfolge:
- eine H1 mit dem Namen des Projekts oder der Website (Pflicht)
- ein Blockzitat mit einer Kurzfassung
- beliebig viele Absätze oder Listen ohne Überschriften
- H2-Abschnitte mit Linklisten: je Zeile ein Markdown-Link mit Name und Adresse, dahinter eine kurze Notiz
- ein Abschnitt
## Optionalfür Links, die ein Modell bei knappem Kontext überspringen kann
Ergänzend schlägt die Seite vor, einzelne Seiten zusätzlich als sauberes Markdown unter derselben Adresse mit angehängtem .md bereitzustellen.
# Muster Elektro GmbH
> Elektroinstallation und Wartung für Gewerbebetriebe in der Region Hannover.
Notdienst nur für Bestandskunden mit Wartungsvertrag.
## Leistungen
- [Elektroinstallation](https://www.example.de/leistungen/installation.md): Neubau und Umbau
- [Prüfung ortsveränderlicher Geräte](https://www.example.de/leistungen/pruefung.md): Ablauf und Fristen
## Optional
- [Firmengeschichte](https://www.example.de/ueber-den-betrieb.md)
KI-Crawler in der robots.txt
Nach RFC 9309 liegt die Datei unter /robots.txt im obersten Pfad. Eine Gruppe besteht aus einer oder mehreren User-agent-Zeilen und den folgenden Regeln. Der Abgleich des Tokens ignoriert Groß- und Kleinschreibung, bei mehreren passenden Regeln gewinnt die längste. Die Anbieter dokumentieren ihre Tokens selbst:
| Token | Anbieter | Zweck laut Anbieter |
|---|---|---|
GPTBot | OpenAI | Inhalte für das Training von Modellen |
OAI-SearchBot | OpenAI | Suchfunktionen in ChatGPT |
ChatGPT-User | OpenAI | Abruf auf Nutzerwunsch, robots.txt gilt dafür laut OpenAI möglicherweise nicht |
ClaudeBot | Anthropic | Inhalte für das Training von Modellen |
Claude-SearchBot | Anthropic | Qualität von Suchergebnissen |
Claude-User | Anthropic | Abruf auf Nutzerwunsch |
Google-Extended | Steuertoken für Gemini-Training und Grounding, kein eigener Crawler |
# Training sperren, Suche in KI-Diensten zulassen
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
Allow: /
Typische Fehler
- llms.txt als Sperre verstanden. Die Datei verbietet nichts. Zugriffsregeln stehen in der robots.txt.
- Google-Extended im Log gesucht. Es gibt keinen eigenen HTTP-User-Agent. Das Token wirkt nur als Steuerung in der robots.txt und hat laut Google keinen Einfluss auf Aufnahme und Ranking in der Google-Suche.
- Such-Crawler mitgesperrt. Wer
OAI-SearchBotsperrt, nimmt die Seiten aus den Suchantworten von ChatGPT. Als reiner Navigationslink können sie laut OpenAI trotzdem erscheinen. - robots.txt als Zugriffsschutz. RFC 9309 stellt klar, dass die Regeln keine Zugangsberechtigung sind.
Prüfen
curl -sI https://www.example.de/llms.txt | grep -i content-type
curl -s https://www.example.de/robots.txt
Der SEO-Check wertet die robots.txt für den Pfad der geprüften Seite aus, für elf Kennungen von Google, Microsoft, OpenAI, Anthropic und Perplexity, darunter alle aus der Tabelle. Außerdem prüft er, ob unter /llms.txt eine Datei liegt, die keine HTML-Seite ist, und zählt ihre Zeilen. Das Format der llms.txt prüft er nicht. Ob sich ein Crawler an die Regeln hält oder eine Seite in KI-Antworten zitiert wird, kann er nicht feststellen.