############################################################
# HARDENED ROBOTS.TXT FOR PHPBB FORUMS
# Aggressive crawl control edition (25s delay)
############################################################

############################################################
# DEFAULT RULE — throttle unknown and low-quality bots
############################################################
User-agent: *
Crawl-delay: 30
Disallow: forums/cgi-bin/
Disallow: /images/
Disallow: /tmp/
Disallow: /private/ 
Disallow: /forums/download/ 
Disallow: /forums/downloads/ 
Disallow: /forums/adm/ 
Disallow: /forums/images/ 
Disallow: /forums/cgi-bin/
Disallow: /tmp/
Disallow: /private/

# Block high database-load endpoints
Disallow: /search.php
Disallow: /memberlist.php
Disallow: /ucp.php
Disallow: /posting.php
Disallow: /cron.php
Disallow: /adm/
Disallow: /store/
Disallow: /cache/
Disallow: /*?sid=
Disallow: /*&sid=

############################################################
# BLOCK HEAVY SCRAPERS / AI / DATA HARVESTERS
############################################################

User-agent: Amazonbot
Disallow: /

User-agent: amazon-kendra-web-crawler
Disallow: /

User-agent: anthropic-ai
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: GPTBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: FacebookBot
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: AwarioBot
Disallow: /

User-agent: AwarioRssBot
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: AhrefsBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: BLEXBot
Disallow: /

############################################################
# MAJOR SEARCH ENGINES — allowed but protected
############################################################

User-agent: Googlebot
Allow: /
Disallow: /search.php
Disallow: /memberlist.php
Disallow: /ucp.php
Disallow: /posting.php
# Google ignores crawl-delay — control via Search Console

User-agent: Bingbot
Crawl-delay: 20

User-agent: DuckDuckBot
Crawl-delay: 20

User-agent: Yandex
Crawl-delay: 20

User-agent: Baiduspider
Crawl-delay: 20

############################################################
# SITEMAP — replace with your real URL or remove
############################################################

Sitemap: https://yourdomain.com/sitemap.xml