User-agent: *
Allow: /
Disallow: /api/
Disallow: /dashboard/
Disallow: /admin/
Disallow: /login
Disallow: /register
Disallow: /forgot-password
Disallow: /mcp-auth
Disallow: /invoice/

# Параметры трафика и маркетинга — не создавать дубли страниц
Clean-param: referral&erid&tgclid&utm_source&utm_medium&utm_campaign&utm_content&utm_term /
# Email в URL регистрации — не индексировать
Clean-param: email /login
Clean-param: email /register

# AI-поисковые краулеры — разрешить
User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

# Краулеры только для обучения — заблокировать
User-agent: CCBot
Disallow: /

User-agent: cohere-ai
Disallow: /

Sitemap: https://polza.ai/sitemap.xml
Sitemap: https://polza.ai/docs/sitemap.xml