llms.txt erstellen und richtig einsetzen

Schritt‑für‑Schritt

1. Ziel der Datei festlegen: Lege zuerst fest, ob die Datei vor allem Orientierung geben, wichtige Inhalte bündeln oder Nutzungsregeln für KI-Systeme dokumentieren soll. Die llms.txt sollte kein Werbetext sein, sondern eine sachliche Übersicht.
2. Datei am gewünschten Pfad anlegen: Erstelle eine UTF-8-Textdatei mit dem Namen llms.txt. Für die zentrale Übersicht ist deine-domain.de/llms.txt naheliegend; Version 2 des Vorschlags erlaubt die Datei aber auch in Unterpfaden, zum Beispiel deine-domain.de/dokumentation/llms.txt.
3. Kurzbeschreibung eintragen: Beschreibe knapp, worum es auf der Website geht, wer der Anbieter ist und welche Themenbereiche besonders relevant sind. Die Beschreibung sollte neutral, verständlich und überprüfbar bleiben.
4. Wichtige Inhalte gruppieren: Führe zentrale Seiten thematisch geordnet auf, zum Beispiel Leistungen, Anleitungen, Kontakt, Dokumentation oder häufig nachgefragte Informationsseiten. Alte, doppelte oder dünne Seiten gehören nicht in die Empfehlungsliste.
5. Mit robots.txt, Sitemap und Meta-Angaben abgleichen: Die llms.txt sollte nicht im Widerspruch zu robots.txt, noindex-Angaben oder der Sitemap stehen. Inhalte, die für Suchmaschinen gesperrt oder nicht indexierbar sind, sollten nicht gleichzeitig als wichtige KI-Quelle empfohlen werden.
6. Erreichbarkeit und Inhalt testen: Rufe die Datei im Browser auf und prüfe, ob sie ohne Login, Weiterleitungsschleifen oder Fehlermeldung erreichbar ist. Kontrolliere außerdem regelmäßig, ob alle Links noch stimmen.

Aktueller Stand des vorgeschlagenen Standards

Die llms.txt ist derzeit kein offizieller Webstandard wie HTML, HTTP oder die Robots Exclusion Protocol-Spezifikation. Sie ist ein Vorschlag, der unter llmstxt.org beschrieben wird und vor allem eine strukturierte Orientierung für Large Language Models liefern soll.

Version 2 des Vorschlags beschreibt eine genau geordnete Markdown-Datei. Sie kann unter /llms.txt oder in einem Unterpfad liegen. Ziel ist nicht das Blockieren von Crawlern, sondern das Bereitstellen einer kuratierten Übersicht über wichtige Inhalte einer Website.

Nach aktuellem Stand gibt es keine Garantie, dass Suchmaschinen, KI-Crawler oder Chatbots diese Datei auslesen, beachten oder einheitlich interpretieren. Für verbindlichere Crawler-Hinweise bleibt die robots.txt relevanter.

Vergleich: llms.txt und robots.txt

Die llms.txt und die robots.txt werden oft zusammen genannt, erfüllen aber unterschiedliche Aufgaben. Die robots.txt ist ein etabliertes Steuerungsinstrument für Crawler. Die llms.txt ist eher eine strukturierte Inhalts- und Orientierungshilfe für KI-Systeme.

Inhaltlicher Aufbau einer llms.txt

Eine sinnvolle llms.txt sollte kurz, klar und überprüfbar sein. Die Reihenfolge ist Teil des Vorschlags: zuerst eine H1-Überschrift, danach optional eine Zusammenfassung als Blockquote, anschließend optionale Details ohne weitere Überschrift und danach H2-Abschnitte mit Markdown-Links.

• Erforderlich: genau eine H1-Hauptüberschrift mit Website- oder Projektname
• Optional direkt danach: kurze Zusammenfassung als Markdown-Blockquote
• Optional danach: weitere Details ohne Überschrift
• Ein oder mehrere H2-Abschnitte mit Markdown-Links und optionalen kurzen Beschreibungen
• Optional: Abschnitt ## Optional für Inhalte, die bei knappem Kontext übersprungen werden dürfen
• Wenn möglich auf gut lesbare Markdown-Versionen der Seiten verweisen, etwa .md oder .html.md

Beispiel für eine einfache llms.txt

Das folgende Beispiel zeigt eine einfache, sachliche Struktur. Es ist bewusst kurz gehalten und verweist nur auf zentrale Seiten.

# CEIS-IT

> IT-Service, Computerhilfe, Reparatur, Webdesign und verständliche Anleitungen.

Die verlinkten Seiten sind öffentlich. Maßgeblich bleiben die Inhalte der jeweiligen Seite.

## Wichtige Seiten

- [Startseite](https://ceis-it.de/): Überblick über CEIS-IT
- [IT-Service](https://ceis-it.de/it-service): Leistungen und Unterstützung
- [Anleitungen](https://ceis-it.de/anleitungen): Öffentliche Hilfetexte

## Optional

- [Kontakt](https://ceis-it.de/kontakt): Kontaktmöglichkeiten

Was nicht in eine llms.txt gehört

• Passwörter, API-Schlüssel oder Zugangsdaten
• interne Kundeninformationen oder Auftragsdaten
• nicht veröffentlichte Dokumente oder interne Pfade
• rechtlich unklare Inhalte oder fremde Texte ohne Nutzungsrecht
• Keyword-Listen ohne echten Nutzen
• widersprüchliche Angaben zur robots.txt oder zu noindex-Anweisungen

Markdown-Versionen zusätzlich kennzeichnen

Der Vorschlag empfiehlt für lange HTML-Seiten gut lesbare Markdown-Fassungen, zum Beispiel unter .md oder .html.md. Die HTML-Seite kann darauf mit einem Link-Element oder einem HTTP-Link-Header verweisen.

<link rel="alternate" type="text/markdown" href="/anleitung.md">
<link rel="describedby" type="text/markdown" href="/anleitung.md">

Einordnung und Quellenlage

Für eine neutrale Einordnung der llms.txt ist wichtig, zwischen praktischer Anleitung, technischem Vorschlag und anerkanntem Standard zu unterscheiden. Die Datei kann Website-Betreibern helfen, wichtige Inhalte für KI-Systeme übersichtlich zu beschreiben, ist aber derzeit kein verbindlicher Webstandard.

Als Praxisbeispiel zeigt diese Anleitung, wie eine llms.txt aufgebaut sein kann und wo ihre Grenzen liegen. Für eine fachliche oder enzyklopädische Darstellung sollten jedoch zusätzlich unabhängige und primäre Quellen herangezogen werden.

Besonders relevant sind dabei die Spezifikationsseite des llms.txt-Vorschlags, RFC 9309 als aktuelle Grundlage der robots.txt sowie offizielle Dokumentationen großer Suchmaschinen- und Crawler-Anbieter. So lässt sich klarer einordnen, was bereits standardisiert ist und was sich noch in der Entwicklung befindet.

Wenn es nicht klappt

• Datei wird nicht angezeigt: Prüfe Dateinamen, URL und Serverkonfiguration. Eine llms.txt darf auch in einem Unterpfad liegen, muss dann aber unter genau dieser URL erreichbar und sinnvoll verlinkt sein.
• KI-Systeme übernehmen Inhalte nicht sichtbar: Das kann passieren. Eine llms.txt ist ein Hinweis und kein garantierter Steuerungsmechanismus. Systeme entscheiden selbst, ob und wie sie solche Dateien verwenden.
• Die Datei widerspricht der robots.txt: Bereinige die Angaben. Gesperrte oder per noindex ausgeschlossene Bereiche sollten nicht gleichzeitig als empfohlene Inhalte in der llms.txt erscheinen.

Häufige Fragen

• Ist die llms.txt ein offizieller Standard?
  Nein. Sie ist derzeit ein vorgeschlagener Standard beziehungsweise ein Konventionsvorschlag. Es gibt keine allgemeine Pflicht und keine Garantie, dass Systeme sie beachten.
• Ersetzt die llms.txt die robots.txt?
  Nein. Die robots.txt regelt Crawler-Hinweise für Pfade. Die llms.txt beschreibt wichtige Inhalte und kann KI-Systemen Orientierung geben. Beide Dateien haben unterschiedliche Aufgaben.
• Kann ich mit der llms.txt KI-Training verbieten?
  Nicht zuverlässig. Für Crawler-Hinweise sind robots.txt-Regeln und anbieterspezifische Opt-out-Mechanismen relevanter. Die llms.txt kann eine Position dokumentieren, setzt sie aber nicht technisch durch.
• Muss jede Website eine llms.txt haben?
  Nein. Sie kann für größere Websites, Anleitungen, Dokumentationen oder Wissensbereiche sinnvoll sein. Für kleine Websites ist sie optional.
• Was gehört nicht in eine llms.txt?
  Keine Passwörter, keine internen Daten, keine unfertigen Seiten und keine Angaben, die nicht öffentlich sichtbar oder nicht belegbar sind.

Wenn du bei der Umsetzung Hilfe brauchst

Wir helfen je nach Problem per Fernhilfe, telefonisch, in der Werkstatt oder nach Absprache vor Ort. Ein Foto oder Screenshot der Fehlermeldung hilft bei der ersten Einordnung.

Kontakt aufnehmen WhatsApp