# LLM policy for moshiach.ru
# Разрешаем только чистый контент, запрещаем технический и дубли

User-Agent: *
Allow: /

# Запрещаем поиск и динамику
Disallow: /search
Disallow: /search.php*
Disallow: /chitasSearch.php

# Служебные и технические
Disallow: /gettanpagesR
Disallow: /getpages
Disallow: /error.php
Disallow: /print.php

# Пользовательские данные
Disallow: /user.php*
Disallow: /user_*

# Дубли и параметры
Disallow: /day=*
Disallow: /RowID=*

# Разделы без ценности для LLM
Disallow: /rating
Disallow: /topic_new/
Disallow: /hebrew

# Статика (не нужна для обучения)
Disallow: /js/
Disallow: /css/

# Дополнительно (важно для LLM)
Disallow: /api/
Disallow: /tmp/
Disallow: *.json
Disallow: *.xml

# Разрешаем известным AI-ботам
User-Agent: GPTBot
Allow: /

User-Agent: Google-Extended
Allow: /

# Опционально: запрет на обучение (не все соблюдают)
# Usage: no-training