Pillar Page
AI Search Crawlability & Indexing
Stabile Renderpfade, Bot-Freundlichkeit, saubere Signale für AI-Crawler.
Crawlability Playbook
Bots sicher durch den Stack führen
AI-Bots werten Server-Antworten, Headers, Structured Data und Linkstruktur aus. Dieses Playbook stellt sicher, dass eure Inhalte zuverlässig erreichbar und eindeutig kanonisiert sind.
Rendering & Performance
SSR/SSG bevorzugen, falls möglich. Wenn CSR: Hydration-Fallbacks und kritische Inhalte serverseitig bereitstellen.
Core Web Vitals: schnelle TTFB, wenig CLS, stabile Fonts. CDN und Edge-Caching nutzen.
Bots & Steuerung
robots.txt + llms.txt klar definieren (keine widersprüchlichen Disallows). Bot-spezifische Allow-Regeln für GPTBot/Perplexity prüfen.
Statuscodes konsistent: 200 für gültig, 301/308 für Umzüge, 410 für entfernte Inhalte. Keine Soft-404.
Sitemaps & Hreflang
Aktuelle XML-Sitemaps mit hreflang-Einträgen für DE/EN. Keine veralteten Slugs, keine 404 in Sitemaps.
Sitemap-Ping automatisieren bei Deploys. Staging-URLs ausschließen.
Monitoring
Log-Analyse für AI-Bots (GPTBot, CCBot, PerplexityBot). Crawlpfade, Antwortzeiten, Fehlerraten tracken.
Alerting bei 4xx/5xx-Spikes, bei Render-Fehlern oder unerwarteten Redirect-Ketten.
Beispiele
llms.txt Vorlage mit Allow-Regeln für Content-Hubs.
Redirect-Map für Sprachversionen und Legacy-Slugs.
Health-Dashboard: Response Codes, CLS/LCP, Bot-Zugriffe pro Verzeichnis.
Nächster Schritt