# llms.txt для AI-краулеров и больших языковых моделей.
# Этот файл указывает, какие данные нашего сайта могут быть использованы для обучения AI-моделей.

User-agent: GPTBot
User-agent: ChatGPT-User
User-agent: Claude-Web
User-agent: ClaudeBot
User-agent: anthropic-ai
User-agent: Google-Extended
User-agent: FacebookBot
User-agent: OAI-SearchBot
User-agent: Applebot-Extended
User-agent: CCBot
User-agent: Cohere-ai
Crawl-delay: 1

# РАЗРЕШЕНЫ К ИНДЕКСАЦИИ: Основной публичный контент
Allow: /$
Allow: /about/
Allow: /articles/
Allow: /aucs/
Allow: /dostavka-v-odin-den/
Allow: /franshiza/
Allow: /internet-magazin/
Allow: /tovary-stolplit/

# ЗАПРЕЩЕНЫ К ИНДЕКСАЦИИ: Технические, приватные и служебные разделы
Disallow: /for-dealers/
Disallow: /ajax/
Disallow: /basket/
Disallow: /order/
Disallow: /bitrix/
Disallow: /auth/
Disallow: /personal/
Disallow: /for-developers/
Disallow: /showcaptcha/
Disallow: /*.pdf

# ЯВНО РАЗРЕШАЕМ СКАЧИВАТЬ SITEMAP для лучшего понимания структуры
Sitemap: https://www.stolplit.ru/sitemap.xml