llms.txt
llms.txt ist ein vorgeschlagener Standard für eine Markdown-Datei, meist unter /llms.txt bereitgestellt, die Large Language Models eine kurze Zusammenfassung einer Website und eine kuratierte Liste von Links zu den wichtigsten Seiten gibt.
Was ist llms.txt?
llms.txt ist ein Wegweiser durch eine Website, geschrieben für Sprachmodelle statt für Suchmaschinen-Crawler. Der llms.txt-Vorschlag wurde am 3. September 2024 von Jeremy Howard veröffentlicht.
Die Idee ist einfach. Webseiten enthalten Navigation, Skripte und Werbung, und das Kontextfenster eines Modells ist begrenzt. Eine kleine Markdown-Datei kann ein KI-Tool direkt zu sauberen, nützlichen Inhalten führen.
Es handelt sich um einen Vorschlag, nicht um einen formalen Webstandard, und die Datei steuert nicht das Crawling.
Was gehört in eine llms.txt-Datei?
Nur ein Element ist Pflicht: eine H1 mit dem Namen des Projekts oder der Website. Der Vorschlag nennt die Teile in dieser Reihenfolge:
Eine H1 mit dem Namen der Website oder des Projekts (Pflicht).
Ein Blockzitat mit einer kurzen Zusammenfassung (optional).
Abschnitte mit Fließtext und weiteren Details, ohne Überschriften (optional).
H2-Abschnitte mit Linklisten, jeder Eintrag als [name](url) mit optionaler Notiz nach einem Doppelpunkt (optional).
Eine H2 mit dem Namen „Optional“ für zweitrangige Links, die ein Tool überspringen kann, wenn es weniger Kontext braucht.
Die Datei kann im Stammverzeichnis oder unter einem Pfad wie /docs/llms.txt liegen. Der Vorschlag empfiehlt außerdem eine saubere Markdown-Kopie wichtiger Seiten unter derselben URL mit angehängtem .md.
Wie sieht eine llms.txt-Datei in der Praxis aus?
Eine gute llms.txt ist kurz, kuratiert und mit der Website synchron. Stellen Sie sich ein B2B-Softwareunternehmen mit 400 Hilfeartikeln vor.
Die Docs-Verantwortliche schreibt eine H1 mit dem Produktnamen und ein einzeiliges Blockzitat, was das Produkt tut und für wen.
Sie ergänzt eine H2 namens Docs mit den 15 Artikeln, die die meisten Support-Tickets beantworten, jeweils mit einer einzeiligen Notiz.
Eine H2 namens Pricing and policies verlinkt Preisseite, Sicherheitsübersicht und Bedingungen.
Eine H2 namens Optional listet das Changelog und ältere API-Versionen.
Das Build-Skript erzeugt die Datei neu, wenn sich die Docs ändern, damit keine Links brechen.
Angenommen, ein Entwickler gibt die llms.txt-URL einem Coding-Assistenten. Der Assistent liest nun 15 saubere Seiten, statt von der Startseite aus zu raten.
Wo liegen die Grenzen von llms.txt?
Laut Google brauchen Sie keine KI-Textdateien, um in den KI-Funktionen von Google zu erscheinen. llms.txt ist also kein Hebel für Rankings.
Googles Position: Der Leitfaden zu KI-Funktionen sagt, dass Websites keine neuen maschinenlesbaren Dateien, KI-Textdateien oder kein Markup erstellen müssen, um in AI Overviews oder AI Mode zu erscheinen.
Uneinheitliche Nutzung: Welche KI-Tools die Datei lesen, ist unterschiedlich. Prüfen Sie Ihre Server-Logs auf echte Abrufe, bevor Sie viel Zeit investieren.
Veralten: Eine von Hand geschriebene Datei veraltet, wenn Seiten umziehen.
Keine Zugriffskontrolle: Sie erlaubt oder sperrt keine Crawler.
Den klarsten Nutzen hat sie heute für KI-Assistenten und Entwicklertools, die ein Nutzer auf Ihre Docs oder Website richtet.
Worin unterscheidet sich llms.txt von robots.txt und sitemap.xml?
robots.txt legt Crawl-Regeln fest, sitemap.xml listet jede URL für Suchmaschinen, und llms.txt wählt die wenigen Seiten aus, die ein Sprachmodell zuerst lesen sollte. robots.txt folgt dem Robots Exclusion Protocol (RFC 9309, 2022), das selbst sagt, dass seine Regeln „keine Form der Zugriffsautorisierung“ sind.
Eine Sitemap ist eine XML-Datei, die die URLs einer Website auflistet, damit Suchmaschinen sie finden und crawlen können. Bei llms.txt geht es um Auswahl und Kontext, nicht um Vollständigkeit.
Die drei ergänzen sich: Behalten Sie robots.txt und Ihre Sitemap für die Suche, und ergänzen Sie llms.txt, wenn Menschen KI-Tools auf Ihre Inhalte anwenden. Die Datei steht neben Answer Engine Optimization und GEO und ähnelt im Ansatz den kuratierten Quellen bei Retrieval-Augmented Generation.
llms.txt vs. robots.txt
llms.txt | robots.txt | |
|---|---|---|
Zweck | Sprachmodelle zu wichtigen Inhalten führen | Crawlern sagen, welche Pfade sie abrufen dürfen |
Format | Markdown | Regeln als reiner Text |
Status | Vorschlag, veröffentlicht 2024 | IETF-Standard, RFC 9309 (2022) |
Wirkung auf das Crawling | Keine | Erlaubt oder sperrt Pfade für regelkonforme Crawler |
Zielgruppe | KI-Assistenten und -Agenten | Suchmaschinen- und andere Crawler |
Wie geht Vizio AI an llms.txt heran?
Vizio AI veröffentlicht eine eigene llms.txt, hat dazu aber keine veröffentlichte Kunden-Fallstudie. Die Datei unter www.vizio.ai/llms.txt folgt dem Vorschlag: eine H1, eine einzeilige Zusammenfassung, dann H2-Abschnitte mit Links zu Studios, Lösungen und weiteren wichtigen Seiten sowie ein Verweis auf die Sitemap für die vollständige URL-Liste.
Ihr erster Schritt: Schreiben Sie eine kurze llms.txt mit Ihrem Produktnamen, einer Zusammenfassung in einem Satz und Links zu den zehn Seiten, die die meisten Kundenfragen beantworten, und prüfen Sie sie jedes Quartal.