robots.txt für KI-Crawler erstellen
Hake an, wer lesen darf. Unten steht die fertige Datei zum Kopieren, mit einer Zeile Erklärung zu jedem Crawler.
Wer darf lesen?
1 Crawler werden ausgesperrt. Wer sperrt, erscheint in den Antworten dieser Systeme nicht mehr.
robots.txt
# robots.txt — Zugriff für KI-Crawler # Erstellt mit geo-tool.com. Prüfe die Datei, bevor du sie hochlädst. # ByteDance User-agent: Bytespider Disallow: / # Alle übrigen Crawler, inklusive der nicht gesperrten KI-Crawler User-agent: * Allow: /
Die Datei gehört ins Wurzelverzeichnis deiner Domain: deine-domain.de/robots.txt. Vorhandene Regeln für Googlebot oder Bingbot nicht überschreiben — ergänze die Blöcke oben.
Was dahintersteckt
Reihenfolge und Spezifität
Ein Crawler befolgt die Sektion, die seinen Namen trägt. Nur wenn keine eigene Sektion existiert, gilt User-agent: *. Deshalb erzeugt der Generator für jeden gesperrten Bot einen eigenen Block und lässt darunter eine allgemeine Allow-Regel stehen — so bleiben alle übrigen Crawler unberührt.
Nicht überschreiben, ergänzen
Hast du bereits eine robots.txt mit Regeln für Googlebot, Bingbot oder eigene Verzeichnissperren, dann ersetze sie nicht durch diese Datei. Füge die erzeugten Blöcke oben ein und behalte deine bestehenden Regeln.
Training und Antwort sind zwei Dinge
GPTBot liest für das Modelltraining, OAI-SearchBot baut den Index hinter der ChatGPT-Suche. Wer nicht im Training landen, aber in Antworten zitiert werden will, sperrt GPTBot und erlaubt OAI-SearchBot. Bei Google trennen Googlebot und Google-Extended dieselben beiden Zwecke.
Häufige Fragen
- Was ist die sinnvolle Voreinstellung?
- Alle erlauben. Wer in KI-Antworten vorkommen will, hat keinen Grund zu sperren — mit Ausnahme von Bytespider, der robots.txt Berichten zufolge nicht zuverlässig befolgt.
- Wohin gehört die Datei?
- Ins Wurzelverzeichnis der Domain: deine-domain.de/robots.txt. Unterverzeichnisse funktionieren nicht.
- Wie lange dauert es, bis die Änderung wirkt?
- Crawler lesen die robots.txt in der Regel täglich bis wöchentlich neu. Eine neue Sperre wirkt also innerhalb von Tagen, nicht sofort.
- Brauche ich zusätzlich eine llms.txt?
- Nein, sie ist optional und kein Google-Standard. Die robots.txt regelt den Zugang, die llms.txt gibt Orientierung. Beides zusammen ist besser als eins allein, aber der Zugang kommt zuerst.
Die ganze Seite prüfen
Dieses Tool prüft einen Ausschnitt. Der kostenlose GEO Check bewertet eine ganze URL über 25 Prüfungen in sechs Kategorien. Für Seiten hinter einem Login, auf Staging oder auf localhost rechnet die Browser-Erweiterung denselben Score im eigenen Tab.