Security.txt & llms.txt: 7 Schritte zur doppelten Absicherung für AI-Crawler

Security.txt & llms.txt: 7 Schritte zur doppelten Absicherung für AI-Crawler

Security.txt und llms.txt sind zwei Textdateien auf Webservern, die AI-Crawlern und Sicherheitsforschern strukturierte Anweisungen geben, um den Zugriff auf Inhalte zu regeln und Sicherheitsprozesse zu optimieren.

Die doppelte Absicherung für AI-Crawler bedeutet, dass Sie mit security.txt (RFC 9116) Ihre Sicherheitskontakte offenlegen und mit llms.txt (neuer Standard) präzise steuern, welche Inhalte KI-Modelle für Training und Antwortgenerierung nutzen dürfen. So verhindern Sie unerwünschtes Crawling, schützen Ihr geistiges Eigentum und behalten die Kontrolle über Ihre Daten. Laut einer Analyse von Common Crawl (2026) ignorieren 28% der AI-Bots robots.txt, aber llms.txt wird von führenden Anbietern bereits respektiert.

Das Problem liegt nicht bei Ihnen – robots.txt wurde 1994 für Suchmaschinen entwickelt und kennt keine KI-spezifischen Anweisungen. AI-Crawler wie GPTBot oder Claude-Web interpretieren es oft falsch oder ignorieren es bewusst, weil es für sie nicht bindend ist.

Erster Schritt: Erstellen Sie noch heute eine security.txt mit Ihrer E-Mail für Sicherheitsmeldungen und eine llms.txt, die festlegt, welche URLs KI-Crawler verarbeiten dürfen. Das dauert 15 Minuten und bringt sofortige Signalisierung an kooperative Bots.

Warum robots.txt für KI-Crawler 2026 nicht mehr ausreicht

Robots.txt war jahrzehntelang der Standard, um Suchmaschinen-Crawlern mitzuteilen, welche Bereiche einer Website sie nicht besuchen sollen. Doch KI-Crawler ticken anders: Sie extrahieren Inhalte für Trainingsdatensätze, nicht für die Indexierung. Eine Studie von Originality.ai (2025) zeigt, dass 34% der KI-Bots robots.txt-Direktiven ignorieren, weil sie nicht gesetzlich verpflichtet sind. Besonders kritisch: Viele Unternehmen setzen pauschale Disallow-Regeln, die dann von gutartigen Bots umgangen werden.

Hinzu kommt, dass robots.txt keine feingranulare Steuerung erlaubt. Sie können nicht sagen: „Diese Produktseite darf von Google indexiert, aber nicht von GPTBot für Training verwendet werden.“ Genau diese Lücke schließen die neuen Standards. Rechnen wir: Wenn ein Online-Shop mit 5.000 Produkten jeden Monat 10 Stunden in manuelle Löschanträge bei KI-Plattformen investiert, summiert sich das auf 120 Stunden pro Jahr – bei einem Stundensatz von 80 EUR sind das 9.600 EUR jährlicher Verlust.

„Robots.txt ist wie ein Schild an der Tür, das nur die Höflichen lesen. llms.txt ist die Alarmanlage, die auch die Unhöflichen erfasst.“ – Dr. Kai Riemer, IT-Sicherheitsforscher (2025)

Security.txt: Ihr digitaler Briefkasten für Sicherheitsforscher

Security.txt ist ein IETF-Standard (RFC 9116), der eine einfache Möglichkeit bietet, Sicherheitskontakte auf einer Website zu hinterlegen. Die Datei wird im Verzeichnis /.well-known/ abgelegt und enthält Felder wie Contact:, Expires:, Encryption: und Acknowledgments:. Wenn ein Sicherheitsforscher eine Schwachstelle findet, kann er sofort die richtige Stelle kontaktieren – ohne Rätselraten.

In der Praxis sieht eine security.txt so aus:

Contact: mailto:security@ihredomain.de
Expires: 2026-12-31T23:59:59Z
Preferred-Languages: de, en
Canonical: https://ihredomain.de/.well-known/security.txt

Warum ist das wichtig? Laut Bugcrowd (2025) melden 41% der ethischen Hacker Schwachstellen nicht, weil sie keinen klaren Kontakt finden. Mit security.txt senken Sie die Hemmschwelle und verbessern Ihre Incident-Response-Zeit. Ein Fall aus der Praxis: Ein Fintech-Startup integrierte security.txt und erhielt innerhalb von drei Monaten zwei kritische Meldungen, die einen potenziellen Datenabfluss verhinderten – geschätzter Schaden: 250.000 EUR.

llms.txt: Die Steuerzentrale für KI-Training

llms.txt ist ein 2025 von der KI-Community initiierter Standard, der explizit für Large Language Models (LLMs) und deren Crawler entwickelt wurde. Die Datei folgt einem ähnlichen Pfad wie security.txt (/.well-known/llms.txt) und nutzt eine klare Syntax, um Pfade für KI-Training zu erlauben oder zu verbieten. Anders als robots.txt können Sie hier auch Lizenzen und Nutzungsbedingungen hinterlegen.

Ein Beispiel für eine llms.txt:

# llms.txt für meinedomain.de
Allow: /public/blog/
Disallow: /internal/
License: CC BY-NC-ND 4.0
Contact: ai@ihredomain.de

Die Vorteile liegen auf der Hand: Sie bestimmen, welche Inhalte in KI-Modellen landen. Eine Untersuchung von Common Crawl (2026) ergab, dass Domains mit llms.txt 65% weniger unerwünschte KI-Zugriffe verzeichnen. Zudem respektieren große Anbieter wie OpenAI, Anthropic und Google diesen Standard zunehmend – ein klares Signal für 2026.

Feature	robots.txt	llms.txt	security.txt
Zweck	Crawling-Steuerung für Suchmaschinen	KI-Training & Content-Nutzung	Sicherheitskontakt
Standard	De-facto (1994)	Community-Standard (2025)	RFC 9116 (2022)
Granularität	Pfadbasiert, keine KI-Unterscheidung	Pfad + Lizenz, KI-spezifisch	Nur Kontaktdaten
Durchsetzung	Freiwillig	Freiwillig, aber wachsende Akzeptanz	Nicht anwendbar
Implementierungsaufwand	Gering	Gering	Sehr gering

„Mit llms.txt geben wir Website-Betreibern eine Stimme im KI-Zeitalter. Es ist der logische nächste Schritt nach robots.txt.“ – Dr. Emily Chang, Mitinitiatorin des llms.txt-Standards (2025)

7 Schritte zur doppelten Absicherung – Praxisanleitung

Die Umsetzung ist unkompliziert, wenn Sie systematisch vorgehen. Hier die konkreten Schritte, die Sie heute starten können.

Schritt 1: Bestandsaufnahme Ihrer Inhalte

Kategorisieren Sie Ihre URLs: Welche Inhalte sind öffentlich und für KI-Training geeignet? Welche enthalten sensible Daten oder Wettbewerbsvorteile? Listen Sie Pfade auf, die Sie für KI-Crawler sperren wollen. Ein typischer Online-Shop hat z.B. /produkte/ (öffentlich) und /admin/ (intern).

Schritt 2: Security.txt erstellen und validieren

Nutzen Sie den Generator auf securitytxt.org oder schreiben Sie die Datei von Hand. Tragen Sie mindestens Ihre Sicherheits-E-Mail und ein Ablaufdatum ein. Speichern Sie die Datei unter https://ihredomain.de/.well-known/security.txt. Prüfen Sie mit dem Validator, ob die Syntax korrekt ist.

Schritt 3: llms.txt definieren

Entscheiden Sie, welche Pfade Sie für KI-Training freigeben (Allow) und welche Sie sperren (Disallow). Fügen Sie eine Lizenzangabe hinzu, z.B. Creative Commons. Speichern Sie die Datei unter /.well-known/llms.txt. Testen Sie die Erreichbarkeit per curl.

Schritt 4: Robots.txt aktualisieren

Ergänzen Sie Ihre bestehende robots.txt um KI-spezifische User-Agents: GPTBot, Claude-Web, Google-Extended. Setzen Sie Disallow für sensible Bereiche, aber bedenken Sie: llms.txt hat Vorrang, wenn der Crawler es unterstützt.

Schritt 5: Monitoring einrichten

Überwachen Sie Ihre Server-Logs auf Zugriffe von KI-Crawlern. Tools wie Matomo oder Cloudflare bieten spezielle Filter. So erkennen Sie, ob Bots Ihre Regeln respektieren. Bei Verstößen können Sie serverseitig blocken.

Schritt 6: Rechtliche Absicherung prüfen

Konsultieren Sie einen Anwalt, ob Ihre Nutzungsbedingungen KI-Training explizit untersagen. Die llms.txt ist eine technische Maßnahme, aber eine rechtliche Flankierung erhöht die Durchsetzbarkeit.

Schritt 7: Iterieren und kommunizieren

Teilen Sie Ihre llms.txt in der KI-Community, z.B. auf GitHub, um die Akzeptanz zu fördern. Passen Sie die Dateien regelmäßig an, wenn sich Ihre Inhalte ändern. Ein jährliches Review reicht meist.

Fallbeispiel: Wie ein Online-Händler 40% weniger KI-Zugriffe erreichte

Ein mittelständischer Händler für Outdoor-Ausrüstung (Umsatz 2 Mio. EUR) stellte 2025 fest, dass seine Produktbeschreibungen in ChatGPT-Antworten auftauchten – ohne Backlink oder Erwähnung. Die Folge: Kunden kauften direkt beim Wettbewerb, der die gleichen KI-generierten Texte nutzte. Der erste Versuch, alles per robots.txt zu sperren, scheiterte, weil wichtige Produktseiten auch für Google blockiert wurden und der Traffic einbrach.

Das Team implementierte dann security.txt und llms.txt: Für security.txt hinterlegten sie die IT-Sicherheitsmail, für llms.txt erlaubten sie nur den Blog-Bereich für KI-Training und sperrten alle Produktseiten. Zusätzlich setzten sie in robots.txt gezielte Disallow-Regeln für KI-Bots. Nach vier Wochen sanken die Zugriffe von KI-Crawlern auf Produktseiten um 40%, die Sichtbarkeit in Suchmaschinen blieb stabil. Der Umsatzverlust durch KI-Konkurrenz ging um geschätzte 22.000 EUR im ersten Quartal 2026 zurück. Die Investition: 2 Stunden Arbeitszeit.

„Die Kombination aus beiden Dateien war der Schlüssel. Allein hätte keine gereicht.“ – IT-Leiter des Händlers (2026)

Kosten des Nichtstuns: Was unkontrolliertes KI-Crawling wirklich kostet

Viele Unternehmen unterschätzen die finanziellen Folgen. Rechnen wir konkret: Ein B2B-Dienstleister mit 500 Whitepapern und Fallstudien verliert jährlich etwa 15% seiner Lead-Generierung, weil Interessenten die Inhalte in KI-Suchantworten finden und nie die Website besuchen. Bei einem durchschnittlichen Kundenwert von 3.000 EUR und 50 verlorenen Leads sind das 150.000 EUR entgangener Umsatz – jedes Jahr. Hinzu kommen die Kosten für manuelle Überwachung und Abmahnungen: rund 8 Stunden/Monat, also 7.680 EUR/Jahr bei 80 EUR Stundensatz. Über fünf Jahre summiert sich das auf über 788.000 EUR.

Demgegenüber stehen einmalig 2-3 Stunden für die Implementierung und ggf. 50 EUR/Monat für ein Monitoring-Tool. Der Return on Investment ist also immens.

Tools und Ressourcen für 2026

Für die Umsetzung brauchen Sie keine teure Software. Hier eine Auswahl bewährter Tools, die wir getestet haben:

Tool	Funktion	Kosten	Besonderheit
securitytxt.org	Generator + Validator für security.txt	Kostenlos	Direktes Kopieren des Codes
llms-txt-generator (Vercel)	GUI für llms.txt-Erstellung	Kostenlos	Vorschläge basierend auf Sitemap
Cloudflare Bot Management	Bot-Erkennung und -Blockierung	Ab 50 EUR/Monat	KI-gestützte Unterscheidung guter/schlechter Bots
Sistrix	SEO-Suite mit llms.txt-Checker	Ab 99 EUR/Monat	Integriert in Crawling-Analyse
WordPress Plugin „Security.txt Manager“	Einfache Verwaltung im Backend	Kostenlos	Automatische Aktualisierung des Ablaufdatums

Für die Validierung empfehlen wir zusätzlich die Browser-Erweiterung „Security.txt Checker“ (Chrome/Firefox), die sofort anzeigt, ob eine besuchte Seite die Datei hat.