# =============================================================================
# robots.txt für regiomanager.de
# Stand: März 2026 – Optimiert für SEO + KI-Sichtbarkeit
# =============================================================================

# --- KI-Sichtbarkeits-Crawler (liefern Zitate/Antworten an Nutzer) ---
# Konsolidiert: gemeinsame Regeln für alle relevanten KI-Bots.
# Explizite Nennung als Signal, dass Crawling erwünscht ist.

User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: Claude-Web
User-agent: anthropic-ai
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: cohere-ai
Disallow: /wp-content/cache/
Disallow: /wp-admin/
Disallow: /registrierung/
Disallow: /account/
Disallow: /tag/
Disallow: /feed/
Disallow: /?s=

# --- Link-Preview- und Social-Bots (fuer Vorschaubilder/Karten) ---
User-agent: Applebot
User-agent: FacebookBot
User-agent: Bingbot
Disallow: /wp-content/cache/
Disallow: /wp-admin/
Disallow: /registrierung/
Disallow: /account/
Disallow: /tag/
Disallow: /feed/
Disallow: /?s=

# --- Trainings-only-Crawler: Blockiert ---
# Kein Sichtbarkeits-Rueckfluss, nur Datenabzug fuer Modelltraining.

User-agent: CCBot
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: meta-externalagent
Disallow: /

# --- Standardregeln (Googlebot und alle uebrigen) ---
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-login.php
Disallow: /wp-content/cache/cachify/
Disallow: /registrierung/
Disallow: /account/
Disallow: /tag/
Disallow: /feed/
Disallow: /?s=

# --- Sitemaps ---
Sitemap: https://www.regiomanager.de/sitemap-rankings.xml
Sitemap: https://www.regiomanager.de/sitemap-posts.xml
Sitemap: https://www.regiomanager.de/sitemap-companies.xml