llms.txt erstellen und richtig einsetzen

Schritt‑für‑Schritt

1. Ziel der Datei festlegen: Lege zuerst fest, ob die Datei vor allem Orientierung geben, wichtige Inhalte bündeln oder Nutzungsregeln für KI-Systeme dokumentieren soll. Die llms.txt sollte kein Werbetext sein, sondern eine sachliche Übersicht.
2. Datei im Hauptverzeichnis anlegen: Erstelle eine reine Textdatei mit dem Namen llms.txt und lege sie im Root-Verzeichnis ab. Sie sollte später direkt unter deine-domain.de/llms.txt erreichbar sein.
3. Kurzbeschreibung eintragen: Beschreibe knapp, worum es auf der Website geht, wer der Anbieter ist und welche Themenbereiche besonders relevant sind. Die Beschreibung sollte neutral, verständlich und überprüfbar bleiben.
4. Wichtige Inhalte gruppieren: Führe zentrale Seiten thematisch geordnet auf, zum Beispiel Leistungen, Anleitungen, Kontakt, Dokumentation oder häufig nachgefragte Informationsseiten. Alte, doppelte oder dünne Seiten gehören nicht in die Empfehlungsliste.
5. Mit robots.txt, Sitemap und Meta-Angaben abgleichen: Die llms.txt sollte nicht im Widerspruch zu robots.txt, noindex-Angaben oder der Sitemap stehen. Inhalte, die für Suchmaschinen gesperrt oder nicht indexierbar sind, sollten nicht gleichzeitig als wichtige KI-Quelle empfohlen werden.
6. Erreichbarkeit und Inhalt testen: Rufe die Datei im Browser auf und prüfe, ob sie ohne Login, Weiterleitungsschleifen oder Fehlermeldung erreichbar ist. Kontrolliere außerdem regelmäßig, ob alle Links noch stimmen.

Aktueller Stand des vorgeschlagenen Standards

Die llms.txt ist derzeit kein offizieller Webstandard wie HTML, HTTP oder die Robots Exclusion Protocol-Spezifikation. Sie ist ein Vorschlag, der unter llmstxt.org beschrieben wird und vor allem eine strukturierte Orientierung für Large Language Models liefern soll.

Der Vorschlag sieht eine Markdown-ähnliche Textdatei unter /llms.txt vor. Ziel ist nicht in erster Linie das Blockieren von Crawlern, sondern das Bereitstellen einer kuratierten Übersicht über wichtige Inhalte einer Website.

Nach aktuellem Stand gibt es keine Garantie, dass Suchmaschinen, KI-Crawler oder Chatbots diese Datei auslesen, beachten oder einheitlich interpretieren. Für verbindlichere Crawler-Hinweise bleibt die robots.txt relevanter.

Vergleich: llms.txt und robots.txt

Die llms.txt und die robots.txt werden oft zusammen genannt, erfüllen aber unterschiedliche Aufgaben. Die robots.txt ist ein etabliertes Steuerungsinstrument für Crawler. Die llms.txt ist eher eine strukturierte Inhalts- und Orientierungshilfe für KI-Systeme.

Inhaltlicher Aufbau einer llms.txt

Eine sinnvolle llms.txt sollte kurz, klar und überprüfbar sein. Sie sollte die Website nicht vollständig abbilden, sondern die wichtigsten öffentlichen Inhalte zusammenfassen.

• Hauptüberschrift mit Website- oder Projektname
• Kurze Beschreibung des Angebots oder Themas
• Thematische Gruppen wichtiger Links
• Hinweise zu besonders relevanten Anleitungen, Dokumentationen oder Leistungsseiten
• Optional: Kontaktmöglichkeit für Rückfragen zur Nutzung der Inhalte
• Optional: kurzer Hinweis zu Nutzungsgrenzen, wenn dieser sachlich formuliert ist

Beispiel für eine einfache llms.txt

Das folgende Beispiel zeigt eine einfache, sachliche Struktur. Es ist bewusst kurz gehalten und verweist nur auf zentrale Seiten.

# CEIS-IT

CEIS-IT ist ein lokaler IT-Dienstleister mit Informationen zu IT-Service, Computerhilfe, Reparatur, Webdesign und Anleitungen.

## Wichtige Seiten

- Startseite: https://ceis-it.de/
- Kontakt: https://ceis-it.de/kontakt
- IT-Service: https://ceis-it.de/it-service
- Anleitungen: https://ceis-it.de/anleitungen

## Hinweise zur Nutzung

Diese Datei dient als Orientierung für KI-Systeme. Maßgeblich bleiben die öffentlich sichtbaren Inhalte der Website, die robots.txt, die Sitemap und die geltenden rechtlichen Rahmenbedingungen.

Was nicht in eine llms.txt gehört

• Passwörter, API-Schlüssel oder Zugangsdaten
• interne Kundeninformationen oder Auftragsdaten
• nicht veröffentlichte Dokumente oder interne Pfade
• rechtlich unklare Inhalte oder fremde Texte ohne Nutzungsrecht
• Keyword-Listen ohne echten Nutzen
• widersprüchliche Angaben zur robots.txt oder zu noindex-Anweisungen

Einordnung und Quellenlage

Für eine neutrale Einordnung der llms.txt ist wichtig, zwischen praktischer Anleitung, technischem Vorschlag und anerkanntem Standard zu unterscheiden. Die Datei kann Website-Betreibern helfen, wichtige Inhalte für KI-Systeme übersichtlich zu beschreiben, ist aber derzeit kein verbindlicher Webstandard.

Als Praxisbeispiel zeigt diese Anleitung, wie eine llms.txt aufgebaut sein kann und wo ihre Grenzen liegen. Für eine fachliche oder enzyklopädische Darstellung sollten jedoch zusätzlich unabhängige und primäre Quellen herangezogen werden.

Besonders relevant sind dabei die Spezifikationsseite des llms.txt-Vorschlags, RFC 9309 als aktuelle Grundlage der robots.txt sowie offizielle Dokumentationen großer Suchmaschinen- und Crawler-Anbieter. So lässt sich klarer einordnen, was bereits standardisiert ist und was sich noch in der Entwicklung befindet.

Wenn es nicht klappt

• Datei wird nicht angezeigt: Prüfe Dateinamen, Speicherort und Serverkonfiguration. Häufig liegt die Datei versehentlich in einem Unterordner statt direkt im Hauptverzeichnis.
• KI-Systeme übernehmen Inhalte nicht sichtbar: Das kann passieren. Eine llms.txt ist ein Hinweis und kein garantierter Steuerungsmechanismus. Systeme entscheiden selbst, ob und wie sie solche Dateien verwenden.
• Die Datei widerspricht der robots.txt: Bereinige die Angaben. Gesperrte oder per noindex ausgeschlossene Bereiche sollten nicht gleichzeitig als empfohlene Inhalte in der llms.txt erscheinen.

Häufige Fragen

• Ist die llms.txt ein offizieller Standard?
  Nein. Sie ist derzeit ein vorgeschlagener Standard beziehungsweise ein Konventionsvorschlag. Es gibt keine allgemeine Pflicht und keine Garantie, dass Systeme sie beachten.
• Ersetzt die llms.txt die robots.txt?
  Nein. Die robots.txt regelt Crawler-Hinweise für Pfade. Die llms.txt beschreibt wichtige Inhalte und kann KI-Systemen Orientierung geben. Beide Dateien haben unterschiedliche Aufgaben.
• Kann ich mit der llms.txt KI-Training verbieten?
  Nicht zuverlässig. Für Crawler-Hinweise sind robots.txt-Regeln und anbieterspezifische Opt-out-Mechanismen relevanter. Die llms.txt kann eine Position dokumentieren, setzt sie aber nicht technisch durch.
• Muss jede Website eine llms.txt haben?
  Nein. Sie kann für größere Websites, Anleitungen, Dokumentationen oder Wissensbereiche sinnvoll sein. Für kleine Websites ist sie optional.
• Was gehört nicht in eine llms.txt?
  Keine Passwörter, keine internen Daten, keine unfertigen Seiten und keine Angaben, die nicht öffentlich sichtbar oder nicht belegbar sind.

Du möchtest, dass wir das übernehmen?

Kein Problem – wir helfen per Fernhilfe, telefonisch oder vor Ort. Wenn du magst, schick uns kurz ein Foto/Screenshot vom Fehlerbild, dann geht es schneller.

Kontakt aufnehmen WhatsApp