Правильная настройка robots.txt для разных CMS: правила и работающие примеры

Robots.txt — это базовый файл для управления индексацией вашего сайта. Он сообщает поисковым роботам, какие разделы можно сканировать, а какие лучше пропустить. Правильная настройка особенно важна для CMS — каждая система имеет свои технические папки и особенности структуры. Неверные директивы могут заблокировать весь сайт или открыть служебные области.

Базовые правила синтаксиса robots.txt

Файл состоит из директив для разных пользовательских агентов. Основные правила:

Порядок директив важен: роботы читают файл сверху вниз и применяют первое подходящее правило. Символ * означает любое количество любых символов, $ — конец строки.

Примеры конфигураций для популярных CMS

Стандартная конфигурация блокирует служебные папки и параметры:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-json/
Disallow: /?s=
Disallow: /search/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://вашсайт.ru/sitemap_index.xml

1С-Битрикс

Битрикс имеет сложную структуру с множеством технических разделов:

User-agent: *
Disallow: /bitrix/
Disallow: /auth/
Disallow: /personal/
Disallow: /upload/
Disallow: /search/
Disallow: /?login=yes
Disallow: /?logout=yes
Disallow: /?register=yes
Disallow: /?forgot_password=yes
Allow: /upload/resize_cache/
Sitemap: https://вашсайт.ru/bitrix/tools/sitemap.php

Минимальная конфигурация для Joomla focuses на защите системных файлов:

User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/
Sitemap: https://вашсайт.ru/sitemap.xml

Типичные ошибки и как их избежать

Самая распространенная ошибка — блокировка ресурсов, необходимых для отображения страниц в поиске. CSS, JavaScript и изображения должны быть доступны роботам. Google явно указывает на это в рекомендациях.

Вторая частая проблема — конфликтующие директивы. Правила применяются последовательно, поэтому порядок имеет значение. Директива Allow с более конкретным путем должна стоять после общего Disallow.

Третья ошибка — отсутствие указания Sitemap. Хотя роботы могут найти карту сайта самостоятельно, явное указание ускоряет discovery.

Чек-лист проверки robots.txt

Перед применением файла проверьте:

• Доступность файла по адресу yoursite.com/robots.txt
• Отсутствие блокировки CSS, JS и изображений
• Правильность путей (учтите регистр символов)
• Наличие указания на sitemap.xml
• Отсутствие конфликтующих директив Allow/Disallow
• Проверку через Яндекс.Вебмастер и Google Search Console

Помните: robots.txt — это рекомендация, а не строгий запрет. Некоторые роботы могут игнорировать отдельные директивы. Для полной защиты конфиденциальных данных используйте пароли или noindex метатеги.