# robots.txt — AcademicTransfer
# Policy:
# - AI assistants may access pages for search/reference answers
# - AI training crawlers may NOT collect data for model training
# - Private areas are restricted

############################################
# ALLOWED AI SEARCH / REFERENCE BOTS
############################################

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: ChatGPT-User
Allow: /

############################################
# DISALLOWED AI TRAINING / DATASET BOTS
############################################

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Claude-Web
Disallow: /

User-agent: Meta-ExternalAgent
Disallow: /

User-agent: Amazonbot
Disallow: /

############################################
# GENERAL RULES
############################################

User-agent: *
Allow: /
Allow: /sitemap.xml
Disallow: /account/
Disallow: /apply/
Crawl-delay: 10

############################################
# SITEMAP
############################################

Sitemap: https://www.academictransfer.com/sitemap.xml