Wo finde ich meine robots.txt?

Unter deine-domain.de/robots.txt. Existiert dort nichts, gibt es keine Datei - dann ist auch kein Crawler gesperrt.

Sollte ich KI-Crawler aussperren?

Wer in KI-Antworten vorkommen will, sperrt sie nicht aus. Sperren ist sinnvoll, wenn Inhalte nicht für Modelltraining verwendet werden sollen und die Sichtbarkeit in KI-Antworten nachrangig ist. Beides gleichzeitig geht nur eingeschränkt: OAI-SearchBot lässt sich erlauben, während GPTBot gesperrt bleibt.

Schadet eine Sperre meinem Google-Ranking?

Nein, solange Googlebot erlaubt bleibt. Google-Extended ist ein eigener Token und betrifft laut Google nur das Gemini-Training und das Grounding, weder die Google-Suche noch das Ranking.

Wird meine robots.txt hochgeladen?

Nein. Die Prüfung läuft vollständig in deinem Browser, es wird nichts gesendet und nichts gespeichert.

Kostenlose Tools

Sperrt deine robots.txt GPTBot und Co. aus?

Füge deine robots.txt ein. Der Check sagt dir für jeden relevanten KI-Crawler, ob er die Seite lesen darf. Die Prüfung läuft in deinem Browser - nichts wird hochgeladen.

Inhalt deiner robots.txt

Zu finden unter deine-domain.de/robots.txt. Der Text bleibt in deinem Browser.

Ergebnis

Füge oben deine robots.txt ein - die Auswertung erscheint sofort.

Was dahintersteckt

Was als Sperre gilt

Gewertet wird nur eine vollständige Sperre, also Disallow: / - entweder in einer eigenen Sektion für den Bot oder über User-agent: * ohne mildere Ausnahme für ihn. Einzelne gesperrte Verzeichnisse sind kein Ausschluss: der Crawler darf den Rest weiterhin lesen.

Die Falle bei Google-Extended

Google-Extended steuert nur, ob Inhalte für das Training von Gemini-Modellen und das Grounding in Gemini-Apps genutzt werden. Wer diesen Token sperrt, verschwindet NICHT aus der Google-Suche und auch nicht aus den KI-Übersichten: Beides läuft über Googlebot. Wer Inhalte aus den KI-Übersichten heraushalten will, braucht Snippet-Steuerung wie nosnippet oder max-snippet, nicht Google-Extended.

robots.txt ist eine Bitte, keine Sperre

Die Datei ist eine freiwillige Vereinbarung. Seriöse Betreiber halten sich daran, andere nicht - für Bytespider ist das mehrfach berichtet worden. Wer einen Crawler wirklich aussperren will, muss ihn zusätzlich auf Server- oder CDN-Ebene blockieren.

Was ein freier Zugang noch nicht bedeutet

Ein Crawler, der lesen darf, findet trotzdem nichts, wenn der Inhalt erst durch JavaScript entsteht. Kein großer KI-Crawler führt JavaScript aus. Der Zugang ist die Voraussetzung, nicht das Ergebnis.

Häufige Fragen

Wo finde ich meine robots.txt?: Unter deine-domain.de/robots.txt. Existiert dort nichts, gibt es keine Datei - dann ist auch kein Crawler gesperrt.
Sollte ich KI-Crawler aussperren?: Wer in KI-Antworten vorkommen will, sperrt sie nicht aus. Sperren ist sinnvoll, wenn Inhalte nicht für Modelltraining verwendet werden sollen und die Sichtbarkeit in KI-Antworten nachrangig ist. Beides gleichzeitig geht nur eingeschränkt: OAI-SearchBot lässt sich erlauben, während GPTBot gesperrt bleibt.
Schadet eine Sperre meinem Google-Ranking?: Nein, solange Googlebot erlaubt bleibt. Google-Extended ist ein eigener Token und betrifft laut Google nur das Gemini-Training und das Grounding, weder die Google-Suche noch das Ranking.
Wird meine robots.txt hochgeladen?: Nein. Die Prüfung läuft vollständig in deinem Browser, es wird nichts gesendet und nichts gespeichert.

Die ganze Seite prüfen

Dieses Tool prüft einen Ausschnitt. Der kostenlose GEO Check bewertet eine ganze URL über 37 Prüfungen in sechs Kategorien. Für Seiten hinter einem Login, auf Staging oder auf localhost rechnet die Browser-Erweiterung denselben Score im eigenen Tab.

Kostenlosen GEO Check starten Browser-Erweiterung