# Optimierte robots.txt für luckycloud.de
# Erstellt für KI-Sichtbarkeitsoptimierung

# Allgemeine Regeln für alle Crawler
User-agent: *
Allow: /

# Wichtige Bereiche explizit erlauben (für KI-Sichtbarkeit)
Allow: /de/
Allow: /de/produkte/
Allow: /de/sicherheit/
Allow: /de/support-center/
Allow: /de/ratgeber/

# Technische/Administrative Bereiche blockieren
Disallow: /admin/
Disallow: /api/
Disallow: /login/
Disallow: /de/user/
Disallow: /de/password/
# Disallow: /search/

# Duplicate Content vermeiden
# Disallow: /*?*
# Disallow: /*&*
# Disallow: /*/print/
# Disallow: /*/pdf/

# Spezielle Regeln für KI-Crawler
User-agent: GPTBot
Allow: /
Allow: /de/
Allow: /de/produkte/
Allow: /de/sicherheit/
Allow: /de/support-center/
Allow: /de/ratgeber/

User-agent: Google-Extended # Google Bard
Allow: /
Allow: /de/
Allow: /de/produkte/
Allow: /de/sicherheit/
Allow: /de/support-center/
Allow: /de/ratgeber/

User-agent: Claude-Web # Anthropic Claude
Allow: /
Allow: /de/
Allow: /de/produkte/
Allow: /de/sicherheit/
Allow: /de/support-center/
Allow: /de/ratgeber/

User-agent: BingBot # Allgemeiner Bing-Crawler
Allow: /
Allow: /de/
Allow: /de/produkte/
Allow: /de/sicherheit/
Allow: /de/support-center/
Allow: /de/ratgeber/

# Zusätzliche Microsoft KI-Crawler für Bing Chat/Copilot
User-agent: msnbot-media
Allow: /
Allow: /de/
Allow: /de/produkte/
Allow: /de/sicherheit/
Allow: /de/support-center/
Allow: /de/ratgeber/

User-agent: BingAI
Allow: /
Allow: /de/
Allow: /de/produkte/
Allow: /de/sicherheit/
Allow: /de/support-center/
Allow: /de/ratgeber/


# Sitemap-Referenzen (anzupassen je nach tatsächlicher Sitemap-Struktur)
Sitemap: https://luckycloud.de/sitemap.xml

# Crawl-Delay für ressourcenschonende Indexierung (wird von Googlebot ignoriert)
Crawl-delay: 1

# Verweis auf KI-Zugriffsdatei für LLMs
Llm-access: https://luckycloud.de/llms.txt