#############################################
# 1. General fallback (baseline rules)
#############################################
User-agent: *
Disallow: /bin/
Disallow: /umbraco/
 
# Block tracking parameters (HubSpot)
Disallow: /*?__hstc
Disallow: /*?__hssc
Disallow: /*?__hsfp
Disallow: /*&__hstc
Disallow: /*&__hssc
Disallow: /*&__hsfp
 
# Improve SEO clarity for Google
Clean-param: __hstc&__hssc&__hsfp /
 
#############################################
# 2. Google – Full access
#############################################
User-agent: Googlebot
Allow: /
Disallow: /bin/
Disallow: /umbraco/
Clean-param: __hstc&__hssc&__hsfp /
 
User-agent: Googlebot-Image
Allow: /
 
User-agent: Googlebot-News
Allow: /
 
User-agent: Googlebot-Video
Allow: /
 
#############################################
# 3. Bing – Full access
#############################################
User-agent: Bingbot
Allow: /
Disallow: /bin/
Disallow: /umbraco/
 
#############################################
# 4. Meta (Facebook / Instagram)
#############################################
User-agent: FacebookExternalHit
Allow: /
 
User-agent: Meta-ExternalAgent
Allow: /
 
#############################################
# 5. LinkedIn
#############################################
User-agent: LinkedInBot
Allow: /
 
#############################################
# 6. AI Crawlers — FULL ACCESS
#############################################
 
# OpenAI
User-agent: GPTBot
Allow: /
 
User-agent: ChatGPT-User
Allow: /
 
# Anthropic Claude
User-agent: ClaudeBot
Allow: /
 
# Google AI / Gemini
User-agent: Google-Extended
Allow: /
 
# Perplexity
User-agent: PerplexityBot
Allow: /
 
# You.com
User-agent: YouBot
Allow: /
 
# Amazon Rufus / AGI
User-agent: Amazonbot
Allow: /
 
# Applebot (voor Apple Intelligence)
User-agent: Applebot
Allow: /
 
#############################################
# 7. Block known spam/bad bots (veilig & SEO-proof)
#############################################
User-agent: MJ12bot
Disallow: /
 
User-agent: AhrefsBot
Disallow: /
 
User-agent: SemrushBot
Disallow: /
 
User-agent: DotBot
Disallow: /
 
User-agent: Bytespider
Disallow: /
 
User-agent: BLEXBot
Disallow: /
 
#############################################
# 8. LLM Discovery (Buckaroo knowledge)
#############################################
LLM: https://www.buckaroo.nl/llms.txt
Sitemap: https://www.buckaroo.nl/sitemap.xml