Sitemap: https://www.fst.com/sitemap.xml
# --- KI-BOTS & LLM-TRAINING ---

# Google Gemini (KI-Modell Training & Antworten)
User-agent: Google-Extended
Allow: /

# ChatGPT (OpenAI - Training & Web-Browsing)
User-agent: GPTBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: OAI-SearchBot
Allow: /

# Perplexity AI
User-agent: PerplexityBot
Allow: /

# Anthropic (Claude-Bot)
User-agent: anthropic-ai
User-agent: Claude-Bot
Allow: /

# --- KLASSISCHE SUCHMASCHINEN ---

# Google (Suche & Bilder)
User-agent: Googlebot
User-agent: Googlebot-Image
Allow: /

# Bing & DuckDuckGo (Microsoft)
User-agent: bingbot
Allow: /

# Apple (Siri & Spotlight)
User-agent: Applebot
Allow: /

# --- ALLGEMEINE REGELN & EINSCHRÄNKUNGEN ---

User-agent: *
# System-Verzeichnisse (Sitecore) schützen
Disallow: /sitecore
Disallow: /sitecore_files/
Disallow: /sitecore modules/
Disallow: /App_Config
Disallow: /App_Data
Disallow: /bin
Disallow: /Scripts
Disallow: /_backup

# Fehlerseiten und Assets
Disallow: /ErrorPages/
Disallow: /Fehlerseiten/
Disallow: /assets

# Spezifische Pfade (Simmerring & Dokumente)
Disallow: /Simmerring/Images/
Disallow: /Simmerring/DE/Images/
Disallow: /Simmerring/EN/Images/
Disallow: /Doc/campaign
Disallow: /doc/campaign
Disallow: /doc/brochures
Disallow: /Doc

# Schutz vor Crawling sensibler Daten hinter Logins
Disallow: /*/media/files/gated/*

# KI-spezifische Ressourcen erlauben
Allow: /llms.txt
Allow: /llms-full.txt

# Empfehlung: Link zur Sitemap (falls vorhanden)
Sitemap: https://www.fst.com.de/sitemap.xml