#                                                                    ###
#                                                                    ###
#                                                              #     ###
#      ####      ####      #####    ########         #############   ###  #######        ######## ####
#      #####     #####     ####   #############    ##############    ##############    ###############
#       ####    ######    ####   ####      #####  #####      #####   #####     ####   #####      #####
#       #####   #######   ####  ####        #### #####         ###   ####       #### #####        ####
#        ####  #### ###  ####   ####        #### ####          ###   ###        #### ####         ####
#         ########  #########   ####        ####  ####        ####   ###        ####  ####        ####
# ####     #######   #######     #####    ######   ##############    ###        ####  ######    ######
# ####     ######     #####       ############       ###########     ###        ####   ###############
#  ##       ####      ####           ######                 ######   ###        ###        #####   ###
#                                                 ###          ###
#                                                 ####        ####
#                                                 ###############
#                                                   ###########
#
#  Business Search Engine | v2 | 2025
#
#  Guide for crawlers:

User-agent: *
Allow: /company/
Allow: /sam$
Disallow: /search
Disallow: /api/
Disallow: /_next/
Disallow: /_vercel
Disallow: /.next/
Disallow: /node_modules/
Disallow: /*.json$
Disallow: /*.map$
Disallow: /*?_rsc=
Disallow: /*?_next=
Disallow: /sam?q=
Disallow: /sam?query=
Crawl-delay: 1

# Bot legittimi che vogliamo
User-agent: Googlebot
User-agent: Bingbot
Allow: /
Crawl-delay: 0

# Bot di ricerca secondari - limite leggero
User-agent: Slurp
User-agent: DuckDuckBot
User-agent: Yandexbot
User-agent: Baiduspider
User-agent: Sogou
User-agent: Exabot
User-agent: Qwantify
User-agent: SeznamBot
User-agent: Mail.RU_Bot
User-agent: AhrefsBot
User-agent: SemrushBot
User-agent: DotBot
User-agent: MJ12bot
Allow: /
Crawl-delay: 1

# Social media bot (per preview link)
User-agent: Twitterbot
User-agent: facebookexternalhit
User-agent: LinkedInBot
User-agent: WhatsApp
Allow: /company/
Disallow: /search

# Blocco totale bot AI
User-agent: Amazonbot
User-agent: Anthropic-ai
User-agent: Applebot-Extended
User-agent: AwarioRssBot
User-agent: AwarioSmartBot
User-agent: Bytespider
User-agent: CCBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: Claude-Web
User-agent: Cohere-ai
User-agent: DataForSeoBot
User-agent: GPTBot
User-agent: ImagesiftBot
User-agent: Magpie-crawler
User-agent: Omgili
User-agent: Omgilibot
User-agent: Peer39_crawler
User-agent: Peer39_crawler/1.0
User-agent: PerplexityBot
User-agent: YouBot
Disallow: /