User-agent: *               # правила для всех роботов
Disallow: /cgi-bin          # папка на хостинге
Disallow: /manager/*         # авторизация
Disallow: /assets/dist/upload/*
Disallow: /assets/*          # папка с системными файлами modx
Disallow: /core/*            # папка с системными файлами modx
Disallow: /connectors/*      # папка с системными файлами modx
Disallow: /test/*            # папка с ресурсами для тестов по темам
Disallow: /analytic/user-profile  # личный кабинет
Disallow: /search-page     # страница поиска
Disallow: /individuals/mutual-funds/top3  # закрываем страницу топ-3 паевых фондов для физических лиц
Disallow: /index.php        # дубли страниц index.php
Disallow: /*?*               # ссылки с параметрами
Disallow: /*?utm*=            # ссылки с utm-метками
Disallow: /*?utm_source=      # ссылки с utm-метками
Disallow: /*?utm_medium=      # ссылки с utm-метками
Disallow: /*?utm_campaign=      # ссылки с utm-метками
Disallow: /*?ysclid=      # ссылки с utm-метками
Disallow: /*?openstat=        # ссылки с метками openstat
Disallow: /*?from=            # ссылки с метками from
Disallow: /*.woff2           # ссылки на шрифты формата .woff2
Disallow: /*.woff            # ссылки на шрифты формата .woff
Disallow: /*.php             # ссылки на php-файлы
Disallow: /*connectorweb.php*
Disallow: /catalog/         # закрываем для индексации каталог, так как там нет уникального контента, а только фильтры и сортировки
Allow: /assets/*.jpg        # здесь и далее открываем для индексации изображения, файлы и скрипты
Allow: /assets/*.jpeg
Allow: /assets/*.gif
Allow: /assets/*.png
Allow: /assets/*.pdf
Allow: /assets/*.doc
Allow: /assets/*.docx
Allow: /assets/*.xls
Allow: /assets/*.xlsx
Allow: /assets/*.ppt
Allow: /assets/*.pptx
Allow: /assets/*.js
Allow: /assets/*.css
# Allow: *?page=              # открываем для индексации страницы пагинации (и проверьте, чтобы для них был настроен canonical)

User-agent: Yandex
Clean-param: ref /analytic/bonds

# Укажите один или несколько файлов Sitemap
Sitemap: https://www.dohod.ru/sitemap.xml

# Укажите главное зеркало сайта, как в примере ниже (с WWW / без WWW, если HTTPS
# то пишем протокол, если нужно указать порт, указываем). Команда стала необязательной. Ранее Host понимал
# Яндекс и Mail.RU. Теперь все основные поисковые системы команду Host не учитывают.
Host: https://www.dohod.ru