Sperrt deine robots.txt GPTBot und Co. aus?
Füge deine robots.txt ein. Der Check sagt dir für jeden relevanten KI-Crawler, ob er die Seite lesen darf. Die Prüfung läuft in deinem Browser — nichts wird hochgeladen.
Zu finden unter deine-domain.de/robots.txt. Der Text bleibt in deinem Browser.
Ergebnis
Füge oben deine robots.txt ein — die Auswertung erscheint sofort.
Was dahintersteckt
Was als Sperre gilt
Gewertet wird nur eine vollständige Sperre, also Disallow: / — entweder in einer eigenen Sektion für den Bot oder über User-agent: * ohne mildere Ausnahme für ihn. Einzelne gesperrte Verzeichnisse sind kein Ausschluss: der Crawler darf den Rest weiterhin lesen.
Die Falle bei Google-Extended
Google-Extended steuert ausschließlich die Nutzung durch Gemini und die KI-Übersichten. Wer diesen Token sperrt, verschwindet NICHT aus der normalen Google-Suche — dafür ist Googlebot zuständig. Umgekehrt gilt: Googlebot zu erlauben bedeutet nicht, dass die Inhalte in KI-Übersichten auftauchen dürfen.
robots.txt ist eine Bitte, keine Sperre
Die Datei ist eine freiwillige Vereinbarung. Seriöse Betreiber halten sich daran, andere nicht — für Bytespider ist das mehrfach berichtet worden. Wer einen Crawler wirklich aussperren will, muss ihn zusätzlich auf Server- oder CDN-Ebene blockieren.
Was ein freier Zugang noch nicht bedeutet
Ein Crawler, der lesen darf, findet trotzdem nichts, wenn der Inhalt erst durch JavaScript entsteht. Kein großer KI-Crawler führt JavaScript aus. Der Zugang ist die Voraussetzung, nicht das Ergebnis.
Häufige Fragen
- Wo finde ich meine robots.txt?
- Unter deine-domain.de/robots.txt. Existiert dort nichts, gibt es keine Datei — dann ist auch kein Crawler gesperrt.
- Sollte ich KI-Crawler aussperren?
- Wer in KI-Antworten vorkommen will, sperrt sie nicht aus. Sperren ist sinnvoll, wenn Inhalte nicht für Modelltraining verwendet werden sollen und die Sichtbarkeit in KI-Antworten nachrangig ist. Beides gleichzeitig geht nur eingeschränkt: OAI-SearchBot lässt sich erlauben, während GPTBot gesperrt bleibt.
- Schadet eine Sperre meinem Google-Ranking?
- Nein, solange Googlebot erlaubt bleibt. Google-Extended ist ein eigener Token und betrifft nur Gemini und die KI-Übersichten.
- Wird meine robots.txt hochgeladen?
- Nein. Die Prüfung läuft vollständig in deinem Browser, es wird nichts gesendet und nichts gespeichert.
Die ganze Seite prüfen
Dieses Tool prüft einen Ausschnitt. Der kostenlose GEO Check bewertet eine ganze URL über 25 Prüfungen in sechs Kategorien. Für Seiten hinter einem Login, auf Staging oder auf localhost rechnet die Browser-Erweiterung denselben Score im eigenen Tab.