# Robots.txt Ottimizzato per AI Crawling - ParkinGO
# Aggiornato: 2025-11-04

# ===================================
# AI AGENTS - Accesso completo incluso llms.txt
# ===================================

# OpenAI
User-agent: GPTBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: OAI-SearchBot
Allow: /

# Anthropic
User-agent: ClaudeBot
Allow: /

User-agent: Anthropic-ai
Allow: /

# Google AI
User-agent: Google-Extended
Allow: /

User-agent: GeminiBot
Allow: /

User-agent: BardBot
Allow: /

User-agent: Googlebot
Allow: /

# Apple AI
User-agent: Applebot-Extended
Allow: /

# Meta AI
User-agent: Meta-ExternalAgent
Allow: /

User-agent: FacebookBot
Allow: /

# Perplexity
User-agent: PerplexityBot
Allow: /

# Cohere
User-agent: CohereBot
Allow: /

# Altri AI Agents
User-agent: YouBot
Allow: /

User-agent: AndiBot
Allow: /

User-agent: ExaBot
Allow: /

User-agent: PhindBot
Allow: /

User-agent: FirecrawlAgent
Allow: /

User-agent: Diffbot
Allow: /

User-agent: ImagesiftBot
Allow: /

User-agent: Omgilibot
Allow: /

# Yandex AI
User-agent: YandexGPT
Allow: /

# Common Crawl (usato da molti LLM)
User-agent: CCBot
Allow: /

# ByteDance/TikTok AI
User-agent: Bytespider
Allow: /

# SEO AI Tools (con crawl-delay per ridurre carico server)
User-agent: SemrushBot
Allow: /
Crawl-delay: 10

User-agent: AhrefsBot
Allow: /
Crawl-delay: 10

# ===================================
# SEARCH ENGINES E CRAWLER GENERICI
# ===================================

User-agent: *

# AREE ACCESSIBILI (PRIORITA CONTENT)
# SCHEMA.ORG FILES - Accessibili a tutti
Allow: /ai/schemas/

# AREE DA ESCLUDERE
# Directory amministrative
Disallow: /admin*
Disallow: /inc_local/
Disallow: /inc/
Disallow: /class/
Disallow: /logs/
Disallow: /flmngr/

# File AI-specifici (solo per LLM agents, non per search crawlers)
Disallow: /llms.txt

# File temporanei e di test
Disallow: /test_*
Disallow: /debug_*
Disallow: /simple_test*
Disallow: /provaerrori*
Disallow: /*_buttare*

# File di sistema e configurazione
Disallow: /*.sql
Disallow: /*.log
Disallow: /*.md
Disallow: /*.env
Disallow: /*.git
Disallow: /composer.json
Disallow: /composer.lock
Disallow: /package.json
Disallow: /package-lock.json
Disallow: /.htaccess

# Pagine private
Disallow: /situazione_*
Disallow: /cron_*
Disallow: /maintenance/

# ===================================
# FUNZIONALITA SITO - ESCLUSE DA CRAWLING
# ===================================

# Calcolo prezzi e prenotazioni
Disallow: /calcola_prezzo
Disallow: /trae_a_un_amigo
Disallow: /sel_time
Disallow: /preno_ajax

# Webhook e API
Disallow: /webhook
Disallow: /api

# Gestione utenti e newsletter
Disallow: /unsubscribe
Disallow: /presenta_un_amico
Disallow: /newsletter
Disallow: /user_ajax

# Sistema memo e recall
Disallow: /memo
Disallow: /mail_recall
Disallow: /mail_recall2

# Gestione cache e form
Disallow: /clear_cache
Disallow: /CC_form

# Landing pages e convenzioni
Disallow: /pick-up-point-mxp
Disallow: /getmycar-landing
Disallow: /affiliation
Disallow: /register_PC
Disallow: /convenzioni-aziende-new
Disallow: /aziende_register_persone_auto

# ===================================
# FUNZIONALITA MULTILINGUA - ESCLUSE DA CRAWLING
# ===================================

# Regole per tutte le lingue (/*/path)
Disallow: /*/calcola_prezzo
Disallow: /*/trae_a_un_amigo
Disallow: /*/sel_time
Disallow: /*/webhook
Disallow: /*/unsubscribe
Disallow: /*/presenta_un_amico
Disallow: /*/preno_ajax
Disallow: /*/out-of-service
Disallow: /*/newsletter
Disallow: /*/memo
Disallow: /*/mail_recall
Disallow: /*/mail_recall2
Disallow: /*/clear_cache
Disallow: /*/api
Disallow: /*/user_ajax
Disallow: /*/CC_form
Disallow: /*/pick-up-point-mxp
Disallow: /*/getmycar-landing
Disallow: /*/affiliation
Disallow: /*/register_PC
Disallow: /*/convenzioni-aziende-new
Disallow: /*/aziende_register_persone_auto

# ===================================
# SITEMAP
# ===================================

# Sitemap principale
Sitemap: https://www.parkingo.com/sitemap.xml

# AI Schema Catalog (JSON-LD files for AI crawling)
Sitemap: https://www.parkingo.com/ai/schemas/index.json

# Sitemap specifiche per lingue
Sitemap: https://www.parkingo.com/it/sitemap.xml
Sitemap: https://www.parkingo.com/en/sitemap.xml
Sitemap: https://www.parkingo.com/es/sitemap.xml
Sitemap: https://www.parkingo.com/de/sitemap.xml
Sitemap: https://www.parkingo.com/fr/sitemap.xml
Sitemap: https://www.parkingo.com/pt/sitemap.xml

# ===================================
# NOTE AI OPTIMIZATION AVANZATA
# ===================================

# Questo robots.txt implementa una strategia AI-first avanzata:
# 
# DOPPIO TARGETING:
# - SEARCH ENGINES: Accesso normale al sito, escluso llms.txt (per evitare indicizzazione)
# - AI AGENTS: Accesso completo incluso llms.txt (per migliore comprensione)
#
# AI AGENTS SUPPORTATI:
# - OpenAI: GPTBot, ChatGPT-User, OAI-SearchBot
# - Anthropic: ClaudeBot, Anthropic-ai
# - Google: Google-Extended, GeminiBot, BardBot
# - Apple: Applebot-Extended
# - Meta: Meta-ExternalAgent, FacebookBot
# - Perplexity: PerplexityBot
# - Cohere: CohereBot
# - Yandex: YandexGPT
# - Altri: YouBot, AndiBot, ExaBot, PhindBot, FirecrawlAgent, Diffbot, ImagesiftBot, Omgilibot
# - Common Crawl: CCBot (usato da molti LLM)
# - ByteDance: Bytespider
# - SEO AI: SemrushBot (Crawl-delay: 10), AhrefsBot (Crawl-delay: 10)
#
# STRATEGIA CONTENT:
# - /llms.txt: Solo per AI (ottimizzazione LLM dedicata)
# - /ai/schemas/: Per tutti (JSON-LD strutturati)
# - Sito generale: Massima indicizzazione search + accesso AI
# - 6 lingue supportate con content multilingua
# 
# RISULTATO: Ottimizzazione separata per Search SEO vs AI SEO (GEO)
#
# PERFORMANCE E SICUREZZA:
# - Crawl-delay selettivo solo per bot SEO pesanti (SemrushBot, AhrefsBot: 10s)
# - Google Search Console per controllo velocità crawl avanzato
# - Struttura ottimizzata: Allow prima di Disallow per User-agent: *
# - Pattern specifici (.php) per evitare false matching
# - Protezione file sensibili: .env, .git, composer.json, package.json, .htaccess
# - Ridondanze rimosse per parsing più veloce