Pillar Page
KI-Suche: Crawling und Indexierung
Stabile Renderpfade, Bot-Freundlichkeit, saubere Signale für AI-Crawler.
Crawlability Playbook
Bots sicher durch den Stack führen
AI-Bots werten Server-Antworten, Headers, Structured Data und Linkstruktur aus. Dieses Playbook stellt sicher, dass eure Inhalte zuverlässig erreichbar und eindeutig kanonisiert sind.
Rendering & Performance
SSR/SSG bevorzugen, falls möglich. Wenn CSR: Hydration-Fallbacks und kritische Inhalte serverseitig bereitstellen.
Core Web Vitals: schnelle TTFB, wenig CLS, stabile Fonts. CDN und Edge-Caching nutzen.
Bots & Steuerung
robots.txt steuert Zugriffsregeln. llms.txt ist eine optionale Inhaltsübersicht und keine Zugriffskontrolle. Prüfe Bot-Regeln anhand der aktuellen Betreiber-Dokumentation.
Statuscodes konsistent: 200 für gültig, 301/308 für Umzüge, 410 für entfernte Inhalte. Keine Soft-404.
Sitemaps & Hreflang
Aktuelle XML-Sitemaps mit hreflang-Einträgen für DE/EN. Keine veralteten Slugs, keine 404 in Sitemaps.
Sitemap in Search Console einreichen und in robots.txt verlinken. Staging-URLs ausschließen.
Monitoring
Log-Analyse für AI-Bots (GPTBot, CCBot, PerplexityBot). Crawlpfade, Antwortzeiten, Fehlerraten tracken.
Alerting bei 4xx/5xx-Spikes, bei Render-Fehlern oder unerwarteten Redirect-Ketten.
Beispiele
robots.txt-Regeln und eine getrennte optionale llms.txt-Inhaltsübersicht für Content-Hubs prüfen.
Redirect-Map für Sprachversionen und Legacy-Slugs.
Health-Dashboard: Response Codes, CLS/LCP, Bot-Zugriffe pro Verzeichnis.
Nächster Schritt