# robots.txt for Supy
# Last updated: 2025-11-14
# Website: https://supy.io/
# Platform: Webflow
# Purpose: Proper crawling rules for search engines + LLM crawlers

###############################################################################
# 1. Allow all major search engines full access to public content
###############################################################################

User-agent: *
Allow: /

# Block internal Webflow system folders (not real content)
Disallow: /dashboard/
Disallow: /admin/
Disallow: /api/
Disallow: /scripts/
Disallow: /templates/
Disallow: /webflow/

# Block marketing-tracking endpoint folders if present
Disallow: /utm/
Disallow: /ref/

###############################################################################
# 2. AI / LLM crawler directives (GEO-friendly)
###############################################################################

# Allow OpenAI’s GPTBot
User-agent: GPTBot
Allow: /

# Allow Anthropic Claude
User-agent: ClaudeBot
Allow: /

# Allow Google AI crawlers for SGE & Gemini
User-agent: Google-Extended
Allow: /

# Allow Perplexity
User-agent: PerplexityBot
Allow: /

# Allow Amazon AGI crawlers
User-agent: Amazonbot
Allow: /

# Allow Apple’s Applebot-Extended (Apple Intelligence)
User-agent: Applebot-Extended
Allow: /

# Allow CCBot (Common Crawl)
User-agent: CCBot
Allow: /

###############################################################################
# 3. Sitemap declarations
###############################################################################

Sitemap: https://supy.io/sitemap.xml
Sitemap: https://supy.io/industries/sitemap.xml
Sitemap: https://supy.io/platform/sitemap.xml
Sitemap: https://supy.io/customer-stories/sitemap.xml
Sitemap: https://supy.io/blog/sitemap.xml

###############################################################################
# 4. Crawl-delay (not needed for modern crawlers, but included for compatibility)
###############################################################################

# Apply gentle crawl-delay for Bing & Yandex if needed
User-agent: bingbot
Crawl-delay: 5

User-agent: Yandex
Crawl-delay: 5

###############################################################################
# End of robots.txt
###############################################################################


Sitemap: https://supy.io/sitemap.xml