# ============================================================
# Cheatbook robots.txt - Optimiert 2026 (Final Version)
# ============================================================

# --- Allgemein: Alle Suchmaschinen ---
User-agent: *
Allow: /
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /logs/
Disallow: /stats/
Disallow: /5/
Disallow: /wordpress/wp-admin/
Disallow: /wordpress/wp-includes/
Disallow: /wordpress/wp-content/plugins/
Disallow: /wordpress/wp-login.php
Disallow: /wordpress/xmlrpc.php
Disallow: /searchengine.htm?q=
Allow: /wordpress/wp-content/uploads/
Crawl-delay: 2

# --- Google & Bing (Priorisiertes Crawling) ---
User-agent: Googlebot
Allow: /
Crawl-delay: 1

User-agent: Bingbot
Allow: /
Crawl-delay: 1

# --- KI Crawler / Training-Scraper (Blockiert) ---
# Verhindert, dass deine Inhalte ungefragt fuer KI-Training genutzt werden
User-agent: GPTBot
User-agent: Google-Extended
User-agent: CCBot
User-agent: anthropic-ai
User-agent: Bytespider
User-agent: Applebot-Extended
User-agent: FacebookBot
User-agent: Cohere-ai
User-agent: Omgilibot
User-agent: Amazonbot
Disallow: /

# --- KI Assistenten & Suche (Erlaubt fuer Echtzeit-Antworten) ---
# Diese Bots duerfen deine Seite finden, um sie Nutzern anzuzeigen
User-agent: ChatGPT-User
User-agent: Claude-Web
User-agent: PerplexityBot
Allow: /

# --- SEO-Tools & Scraper (Blockiert) ---
# Spart Server-Ressourcen, da diese Bots keinen Traffic bringen
User-agent: AhrefsBot
User-agent: SemrushBot
User-agent: DotBot
User-agent: Rogerbot
User-agent: MJ12bot
Disallow: /

# --- Sitemaps ---
Sitemap: https://www.cheatbook.de/sitemap.xml