# Robots.txt optimizado para eldia.com.do (Marzo 2026)
# Prevención de contenido duplicado e index bloat activada.

User-agent: *

# Permitir recursos esenciales para renderizado (Core Web Vitals)
Allow: /wp-content/uploads/*
Allow: /wp-content/*.js
Allow: /wp-content/*.css
Allow: /wp-includes/*.js
Allow: /wp-includes/*.css
Allow: /wp-admin/admin-ajax.php

# Bloquear directorios sensibles y técnicos de WordPress
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-json/
Disallow: /xmlrpc.php
Disallow: /wp-content/plugins/
Disallow: /wp-includes/

# Bloquear archivos y páginas que no aportan valor SEO
Disallow: /*/attachment/
Disallow: /comments/
Disallow: /trackback/
Disallow: /*trackback*
Disallow: /wp-json/oembed/

# PREVENCIÓN DE INDEX BLOAT (Búsquedas y Paginación)
Disallow: /search/
Disallow: /?s=*
Disallow: /*?s=*
Disallow: /page/
Disallow: /*/page/
Disallow: /*?page=*
Disallow: /*&page=*

# FEED MANAGEMENT
Disallow: /feed/
Disallow: /*/feed/
Allow: /feed$

# SEGURIDAD: Bloquear restos de archivos y logs
Disallow: /*.tmp$
Disallow: /*.bak$
Disallow: /*.log$
Disallow: /*.sql$

# 🤖 OPTIMIZACIÓN PARA INTELIGENCIA ARTIFICIAL (IA)
# Permitimos buscadores de IA para visibilidad en resúmenes (Perplexity, ChatGPT, Claude)

User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

# Bloqueo de bots de entrenamiento (opcional, para proteger derechos de autor)
User-agent: CCBot
Disallow: /

User-agent: anthropic-ai
Disallow: /

# CONFIGURACIÓN ESPECÍFICA PARA GOOGLEBOT (Priorizar CSS/JS para renderizado)
User-agent: Googlebot
Allow: /*.css$
Allow: /*.js$

# Enlaces a Sitemaps e IA Info
Sitemap: https://eldia.com.do/sitemap_index.xml
Sitemap: https://eldia.com.do/news-sitemap.xml
Sitemap: https://eldia.com.do/video-sitemap.xml

# Referencia para modelos de lenguaje
# Link: https://eldia.com.do/llms.txt