# ============================================================
# robots.txt — pipefy.com
# Última revisão: 2026-04 
# ============================================================

# ------------------------------------------------------------
# 1. CRAWLERS DE BUSCA TRADICIONAIS — acesso total
# ------------------------------------------------------------

User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

User-agent: Slurp
Allow: /

User-agent: DuckDuckBot
Allow: /

# ------------------------------------------------------------
# 2. AI SEARCH — CITAÇÃO E OVERVIEWS (PERMITIR)
# Esses bots são responsáveis por citar seu conteúdo
# em Google AI Overviews, ChatGPT, Perplexity, Claude, Copilot
# ------------------------------------------------------------

# Google Gemini + AI Overviews
User-agent: Google-Extended
Allow: /

# ChatGPT (busca com citação de fontes)
User-agent: GPTBot
Allow: /

# ChatGPT (navegação dentro de sessão)
User-agent: ChatGPT-User
Allow: /

# OpenAI AI Search
User-agent: OAI-SearchBot
Allow: /

# Perplexity AI
User-agent: PerplexityBot
Allow: /

# Claude / Anthropic (busca com citação)
User-agent: ClaudeBot
Allow: /

User-agent: anthropic-ai
Allow: /

# Microsoft Copilot (via Bing)
User-agent: msnbot
Allow: /

# Meta AI
User-agent: meta-externalagent
Allow: /

# ------------------------------------------------------------
# 3. CRAWLERS DE TREINAMENTO DE IA — BLOQUEAR
# Esses bots coletam dados para treinar modelos,
# sem gerar citações ou tráfego de retorno
# ------------------------------------------------------------

# Common Crawl (usado para treinar LLMs em geral)
User-agent: CCBot
Disallow: /

# Amazon Alexa (coleta de dados, sem benefício de citação)
User-agent: ia_archiver
Disallow: /

# Diffbot (extração de dados estruturados para terceiros)
User-agent: Diffbot
Disallow: /

# ByteDance / TikTok (treinamento de modelos)
User-agent: Bytespider
Disallow: /

# Applebot-Extended (treinamento do Apple Intelligence)
User-agent: Applebot-Extended
Disallow: /

# ------------------------------------------------------------
# 4. CONTEÚDO SENSÍVEL — BLOQUEAR PARA TODOS
# ------------------------------------------------------------

User-agent: *

# Backend e APIs internas
Disallow: /api/
Disallow: /admin/
Disallow: /internal/

# Autenticação e conta
Disallow: /login
Disallow: /signup
Disallow: /register
Disallow: /account/
Disallow: /dashboard/

# Conteúdo gated / trial
Disallow: /trial/
Disallow: /app/

# Parâmetros de UTM e rastreamento (evitar duplicatas de crawl)
Disallow: /*?utm_*
Disallow: /*?ref=*
Disallow: /*?source=*

# Arquivos de sistema
Disallow: /cdn-cgi/
Disallow: /*.json$
Disallow: /wp-admin/

# Conteúdo de pré-visualização / staging (se aplicável)
Disallow: /preview/
Disallow: /draft/

# ------------------------------------------------------------
# 5. PERMISSÕES GLOBAIS — todo o resto é público
# ------------------------------------------------------------

Allow: /blog/
Allow: /resources/
Allow: /solutions/
Allow: /features/
Allow: /integrations/
Allow: /pricing
Allow: /customers/
Allow: /about/
Allow: /help/
Allow: /lp/
Allow: /products/
Allow: /industry/
Allow: /department/
Allow: /success-story/

# pt-br
Allow: /pt-br/
Allow: /pt-br/blog/
Allow: /pt-br/lp/
Allow: /pt-br/produtos/
Allow: /pt-br/precos/
Allow: /pt-br/guias/
Allow: /pt-br/plataforma/
Allow: /pt-br/industria/
Allow: /pt-br/departamento/
Allow: /pt-br/historias-de-sucesso/

# ------------------------------------------------------------
# 6. SITEMAPS
# ------------------------------------------------------------

Sitemap: https://www.pipefy.com/sitemap_index.xml
Sitemap: https://www.pipefy.com/pt-br/sitemap_index.xml