# robots.txt für bg-prevent.de
# Optimiert für SEO, GEO und KI-Sichtbarkeit
# Stand: 11. März 2026

# -----------------------------------------------------------------
# 1. Globale Direktiven
# -----------------------------------------------------------------

# Verweis auf die XML-Sitemap für alle Suchmaschinen
Sitemap: https://bg-prevent.de/sitemap_index.xml

# Verweis auf die llms.txt für KI-Systeme (Generative Engine Optimization)
llms: https://bg-prevent.de/llms.txt

# -----------------------------------------------------------------
# 2. Standard-Crawler (Suchmaschinen wie Googlebot, Bingbot, etc.)
# -----------------------------------------------------------------

# Erlaubt allen Standard-Crawlern den vollständigen Zugriff.
User-agent: *
Disallow:

# -----------------------------------------------------------------
# 3. KI-Crawler (Generative Engine Optimization)
# -----------------------------------------------------------------
# Explizite Erlaubnis für die wichtigsten KI-Crawler. Dies stellt sicher,
# dass Ihre Inhalte für das Training und die Antworten von KI-Modellen
# berücksichtigt werden. Ein leeres "Disallow" bedeutet "alles erlauben".

# OpenAI (ChatGPT)
User-agent: GPTBot
Disallow:

User-agent: ChatGPT-User
Disallow:

# Google (Gemini, AI Overviews)
User-agent: Google-Extended
Disallow:

# Anthropic (Claude)
User-agent: ClaudeBot
Disallow:

# Perplexity AI
User-agent: PerplexityBot
Disallow:

# Apple
User-agent: Applebot-Extended
Disallow:

# Meta (Facebook, Instagram)
User-agent: meta-externalagent
Disallow:

# Common Crawl (wichtige Datenquelle für viele Open-Source-Modelle)
User-agent: CCBot
Disallow:

# ByteDance (Mutterkonzern von TikTok)
User-agent: Bytespider
Disallow: