# ==============================================================
# robots.txt — Politécnico de Suramérica (Polisura)
# https://www.polisura.edu.co
# Institución de Educación para el Trabajo y Desarrollo Humano
# Medellín, Colombia — Sedes: Medellín, Itagüí, Rionegro, Miami
# ==============================================================
#
# LICENCIAMIENTO DE CONTENIDO
# El contenido educativo de este sitio está publicado bajo
# Creative Commons Atribución 4.0 Internacional (CC-BY 4.0)
# https://creativecommons.org/licenses/by/4.0/deed.es
# Uso permitido para entrenamiento de IA con atribución:
# "Polisura — Cursos y Diplomados Virtuales, polisura.edu.co"
#
# ARCHIVOS COMPLEMENTARIOS PARA MOTORES DE IA:
# /llms.txt            — Guía de contenido optimizada para LLMs
# /llms-full.txt       — Contenido completo compilado en Markdown
# /.well-known/tdmrep.json — Política de minería de texto y datos
#
# Última actualización: 2026-03-18
# Responsable: Equipo de Marketing Digital y Estrategia — Polisura
# ==============================================================


# --------------------------------------------------------------
# REGLAS GENERALES PARA TODOS LOS CRAWLERS
# Se aplican a cualquier bot no listado explícitamente abajo.
# --------------------------------------------------------------
User-agent: *

# Permitir acceso explícito a recursos necesarios para rendering
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/uploads/
Allow: /wp-content/themes/
Allow: /wp-content/plugins/

# WordPress backend — sin valor SEO ni GEO
Disallow: /wp-admin/
Disallow: /wp-login.php
Disallow: /xmlrpc.php
Disallow: /wp-json/wp/v2/users

# Contenido duplicado y de baja calidad para indexación
Disallow: /?s=
Disallow: /feed/
Disallow: /comments/feed/
Disallow: /trackback/
Disallow: */trackback/

# Nota: los parámetros UTM y fbclid NO se bloquean aquí.
# El plugin Yoast SEO ya gestiona las URLs canónicas de forma
# automática, evitando duplicación sin perder equity de backlinks.


# ==============================================================
# CRAWLERS DE IA — BÚSQUEDA Y CITACIÓN (máxima prioridad)
# Estos bots determinan directamente si polisura.edu.co aparece
# en las respuestas generativas de ChatGPT, Claude, Perplexity,
# Gemini y otros motores de búsqueda con IA.
# Bloquearlos elimina el sitio de esas respuestas.
# ==============================================================

# OpenAI — ChatGPT Search (citaciones en tiempo real)
User-agent: OAI-SearchBot
Allow: /

# OpenAI — Solicitudes de usuario dentro de ChatGPT
User-agent: ChatGPT-User
Allow: /

# Anthropic — Búsqueda e indexación para Claude
User-agent: Claude-SearchBot
Allow: /

# Anthropic — Solicitudes de usuario dentro de Claude
User-agent: Claude-User
Allow: /

# Perplexity AI — Motor de búsqueda generativo
User-agent: PerplexityBot
Allow: /

# Microsoft Bing + Copilot (búsqueda y IA integrada)
User-agent: bingbot
Allow: /

# Google (Search + AI Overviews + SGE)
User-agent: Googlebot
Allow: /

# DuckDuckGo — Respuestas con IA
User-agent: DuckAssistBot
Allow: /

# You.com — Motor de búsqueda con IA
User-agent: YouBot
Allow: /

# Mistral — Citaciones en Le Chat
User-agent: MistralAI-User
Allow: /


# ==============================================================
# CRAWLERS DE IA — ENTRENAMIENTO DE MODELOS
# Permitidos para maximizar presencia en versiones futuras
# de los modelos. Contenido CC-BY 4.0: uso libre con atribución.
# ==============================================================

# OpenAI — Recolección de datos para entrenamiento de GPT
User-agent: GPTBot
Allow: /

# Anthropic — Entrenamiento de modelos Claude
User-agent: ClaudeBot
Allow: /

# Anthropic — Identificadores legacy (deprecados, aún activos)
User-agent: anthropic-ai
Allow: /

User-agent: claude-web
Allow: /

# Google — Control de uso en entrenamiento de Gemini
# (No afecta indexación en Google Search ni AI Overviews)
User-agent: Google-Extended
Allow: /

# Google — Agente de investigación profunda de Gemini
User-agent: Gemini-Deep-Research
Allow: /

# Apple — Entrenamiento de Apple Intelligence / Siri
User-agent: Applebot-Extended
Allow: /

# Apple — Siri y Spotlight (búsqueda web)
User-agent: Applebot
Allow: /

# Meta — Entrenamiento de modelos de IA (Llama, etc.)
User-agent: Meta-ExternalAgent
Allow: /

# Meta — Solicitudes de usuarios en Meta AI
User-agent: Meta-ExternalFetcher
Allow: /

# Meta — Indexación web para Meta AI
User-agent: Meta-WebIndexer
Allow: /

# Amazon — Alexa y servicios de IA de AWS
User-agent: Amazonbot
Allow: /

# Common Crawl — Dataset abierto usado por múltiples LLMs
User-agent: CCBot
Allow: /

# Cohere — Modelos de lenguaje empresariales
User-agent: cohere-ai
Allow: /

# ByteDance — TikTok Search y modelos Doubao
User-agent: Bytespider
Allow: /

# DeepSeek — LLM (cumplimiento variable, inclusión simbólica)
User-agent: DeepSeekBot
Allow: /

# Allen Institute for AI — Investigación académica abierta
User-agent: AI2Bot
Allow: /

# xAI — Grok (token simbólico; cumplimiento no garantizado)
User-agent: GrokBot
Allow: /


# ==============================================================
# BOTS DE REDES SOCIALES Y PLATAFORMAS
# Necesarios para que las previsualizaciones de enlaces
# funcionen correctamente en WhatsApp, LinkedIn, Facebook, etc.
# ==============================================================

# Meta — Previsualizaciones en Facebook, Instagram, WhatsApp
User-agent: facebookexternalhit
Allow: /

User-agent: FacebookBot
Allow: /

# LinkedIn — Previsualizaciones de publicaciones
User-agent: LinkedInBot
Allow: /

# Twitter/X — Tarjetas de Twitter
User-agent: Twitterbot
Allow: /


# ==============================================================
# SITEMAPS — Declaración global (fuera de bloques de agente)
# ==============================================================
Sitemap: https://www.polisura.edu.co/sitemap_index.xml