User-agent: * 
Disallow: /*.pdf$
Disallow: /wp-admin/
Disallow: /feed
Disallow: /*/page/
User-agent: GPTBot
Allow: /
# Żądania wywoływane przez użytkowników ChatGPT (browser)
User-agent: ChatGPT-User
Allow: /

# Anthropic (Claude)
User-agent: ClaudeBot
Allow: /
User-agent: Claude-Web
Allow: /

# Perplexity
User-agent: PerplexityBot
Allow: /
User-agent: Perplexity-User
Allow: /

# Common Crawl (często źródło danych dla modeli)
User-agent: CCBot
Allow: /

User-agent: GPTBot
Allow: /
# Żądania wywoływane przez użytkowników ChatGPT (browser)
User-agent: ChatGPT-User
Allow: /

# Anthropic (Claude)
User-agent: ClaudeBot
Allow: /
User-agent: Claude-Web
Allow: /

# Perplexity
User-agent: PerplexityBot
Allow: /
User-agent: Perplexity-User
Allow: /

# Common Crawl (często źródło danych dla modeli)
User-agent: CCBot
Allow: /
Sitemap: https://wsaib.pl/sitemap_index.xml