# robots.txt für neustadt-ticker.de
# Letzte Aktualisierung: 2026-04-21

# ------------------------------------
# Suchmaschinen
# ------------------------------------

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-login.php
Disallow: /xmlrpc.php
Disallow: /trackback/
Disallow: /?s=                  # Suchergebnisseiten nicht indexieren
Disallow: /page/                # Paginierung ausschließen
Disallow: /tag/                 # Tag-Archivseiten (optional, s. Hinweis)
Disallow: /author/              # Autorenarchive
Disallow: /comments/feed/
Allow: /wp-admin/admin-ajax.php # Für WordPress-Funktionen nötig

# ------------------------------------
# AI-Crawler – explizit erlaubt
# ------------------------------------

User-agent: ClaudeBot
Allow: /

User-agent: GPTBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Amazonbot
Allow: /

User-agent: anthropic-ai
Allow: /

# ------------------------------------
# Unerwünschte Crawler blockieren
# ------------------------------------

User-agent: AhrefsBot
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: DotBot
Disallow: /

# ------------------------------------
# Sitemaps & KI-Index
# ------------------------------------

Sitemap: https://www.neustadt-ticker.de/sitemap.xml
Sitemap: https://www.neustadt-ticker.de/sitemap_index.xml

# LLM-Indexdateien
Allow: /llms.txt
Allow: /llms-full.txt