Machine Readiness
Stored receipt and evidence
20
65
0
0
0
Samples
No stored offer samples.
Samples
No stored action samples.
Samples
No stored product samples.
Document
# ——— DEFAULT: ALL BOTS ——— User-agent: * Allow: / # Private & system areas Disallow: /admin/ Disallow: /dashboard/ Disallow: /login/ Disallow: /signup/ # Transaction pages (no SEO value) Disallow: /thank-you/ Disallow: /confirmation/ # API and system endpoints Disallow: /api/ Disallow: /search/ Disallow: /feed/ # Thin taxonomy pages Disallow: /blogs/category/ Disallow: /blogs/tag/ # NOTE: /blogs/author/ is intentionally ALLOWED — supports E-E-A-T signals # Tracking parameters (prevents duplicate URL crawling) Disallow: /*?utm_ Disallow: /*?ref= Disallow: /*?gclid= Disallow: /*?fbclid= # Priority content sections Allow: /blogs/ Allow: /blogs/author/ Allow: /glossary/ Allow: /case-studies/ Allow: /chatbot-integrations/ # ——— LLM & AI PLATFORMS (Explicitly allow for AI visibility) ——— # Ensures BotPenguin content appears in ChatGPT, Claude, Gemini, and Perplexity answers User-agent: GPTBot Allow: / User-agent: ChatGPT-User Allow: / User-agent: anthropic-ai Allow: / User-agent: Claude-Web Allow: / User-agent: Google-Extended Allow: / User-agent: PerplexityBot Allow: / User-agent: CCBot Allow: / User-agent: Applebot Allow: / User-agent: YouBot Allow: / User-agent: Diffbot Allow: / Disallow: /health-check Sitemap: https://botpenguin.com/sitemap.xml
Document
# BotPenguin LLM Policy # https://botpenguin.com/llms.txt ######################################## ## GLOBAL ACCESS ######################################## User-Agent: * Allow: / ######################################## ## OPENAI (ChatGPT) ######################################## User-Agent: GPTBot Allow: / ######################################## ## ANTHROPIC (Claude) ######################################## User-Agent: ClaudeBot Allow: / ######################################## ## GOOGLE (Gemini / AI Overviews) ######################################## User-Agent: Google-Extended Allow: / ######################################## ## PERPLEXITY AI ######################################## User-Agent: PerplexityBot Allow: / ######################################## ## META AI ######################################## User-Agent: Meta-ExternalAgent Allow: / ######################################## ## APPLE AI ######################################## User-Agent: Applebot-Extended Allow: / ######################################## ## AMAZON AI ######################################## User-Agent: Amazonbot Allow: / ######################################## ## DATASET / TRAINING INFRASTRUCTURE ######################################## User-Agent: CCBot Allow: / User-Agent: Diffbot Allow: / User-Agent: Bytespider Allow: / ######################################## ## AI TRAINING & USAGE POLICY ######################################## AI-Training: disallowed AI-Usage: allowed-with-attribution ######################################## ## PRIORITY CONTENT FOR AI ######################################## Preferred-Sources: https://botpenguin.com/ https://botpenguin.com/alternatives/ https://botpenguin.com/whatsapp-api/ https://botpenguin.com/ai-chatbot/ https://botpenguin.com/features/ https://botpenguin.com/blog/ ######################################## ## RESTRICTED AREAS ######################################## Disallow: /dashboard/ Disallow: /login/ Disallow: /signup/ Disallow: /admin/ Disallow: /internal/ Disallow: /api/ Disallow: /staging/ Disallow: /preview/ ######################################## ## ATTRIBUTION POLICY ######################################## Attribution: required Attribution-URL: https://botpenguin.com/ ######################################## ## CONTACT ######################################## Contact: support@botpenguin.com
Document
Not stored for this site.