# Robots.txt optimisé pour 237online.com
# Généré avec Better Robots.txt

User-agent: *

# Règles générales : on autorise l'ensemble du site par défaut
Allow: /

# --- Zones sensibles WordPress ---
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-includes/
Disallow: /wp-login.php
Disallow: /xmlrpc.php

# --- Pages sans valeur SEO ---
Disallow: /search/
Disallow: /?s=
Disallow: /*?s=
Disallow: /*?replytocom=
Disallow: /trackback/
Disallow: /comments/
Disallow: /author/
Disallow: /tag/

# --- Fichiers système inutiles ---
Disallow: /readme.html
Disallow: /license.txt

# --- Paramètres traqueurs (UTM, fbclid) ---
Disallow: /*utm_
Disallow: /*fbclid=

# --- Gestion des crawlers IA ---
# GPTBot (OpenAI / ChatGPT) : autorisé
User-agent: GPTBot
Allow: /

# PerplexityBot : autorisé
User-agent: PerplexityBot
Allow: /

# ClaudeBot (Anthropic) : bloqué
User-agent: ClaudeBot
Disallow: /

# Google-Extended (entraînement IA Google) : bloqué
User-agent: Google-Extended
Disallow: /

# --- Optimisation images (Google Discover) ---
User-agent: Googlebot-Image
Allow: /wp-content/uploads/

# --- Plan du site ---
Sitemap: https://www.237online.com/sitemap_index.xml