Файлы robots.txt и sitemap.xml задают поисковому роботу понятный маршрут по сайту. Первый файл ограничивает обход технических разделов, второй перечисляет канонические страницы, которые стоит обнаружить и проверить. Они не заменяют качественный контент и ссылки, но ошибка в одном символе может закрыть от индексации весь проект.
Что делает robots.txt
Robots.txt лежит в корне домена и доступен по адресу https://example.ru/robots.txt. Директивы User-agent, Disallow и Allow сообщают роботу, какие URL можно обходить. Файл действует на конкретный хост и протокол: правило для основного домена не управляет поддоменом магазина.
Запрещать стоит только служебные параметры, внутренний поиск, корзину, страницы входа и тестовые каталоги. Нельзя закрывать CSS, JavaScript и изображения, если они нужны для отрисовки страницы. Для WordPress осторожно относятся к запрету /wp-content/: в этой папке хранятся стили, скрипты и медиа.
Базовый пример
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Sitemap: https://example.ru/sitemap_index.xmlЭто только заготовка. Название карты зависит от CMS и SEO-плагина: встречаются /sitemap.xml, /sitemap_index.xml и отдельные карты для товаров или новостей. Скопируйте фактический адрес из браузера и проверьте ответ сервера.
Зачем нужен sitemap.xml
XML-карта помогает поисковой системе найти новые и обновлённые URL. В неё включают только канонические страницы с кодом ответа 200, доступные без авторизации и не закрытые от индексации. Страницы с 301, 404, параметрами сортировки, дублями и тегом noindex в карту не добавляют.
| Проверка URL | Что должно быть | Что исправить |
|---|---|---|
| HTTP-ответ | 200 | Убрать редиректы и ошибки |
| Индексация | index, follow | Снять случайный noindex |
| Каноникал | На сам URL | Исправить ссылку |
| Доступ | Не запрещён robots.txt | Уточнить Disallow |
Настройка в WordPress
Современные версии WordPress и популярные SEO-плагины создают карту автоматически. После установки проверьте, какой формат включён, какие типы записей попали в карту и не появились ли архивы автора, метки или технические страницы. Для небольшого сайта лучше одна понятная карта, чем несколько конфликтующих генераторов.
Если проект переехал на HTTPS, все ссылки в карте должны использовать защищённую схему. После смены домена очистите кэш и обновите карту. Не редактируйте автоматически созданный XML вручную — измените источник, который его формирует.
Как проверить файлы
- Откройте robots.txt и sitemap в браузере без входа в админку.
- Убедитесь, что сервер отдаёт 200 и правильный тип содержимого.
- Скопируйте URL карты в валидатор XML или панель вебмастера.
- Проверьте несколько адресов из карты: статус, каноникал, noindex и наличие в меню.
- Посмотрите отчёты об исключённых страницах после следующего обхода.
Частые ошибки
- закрыт весь сайт правилом
Disallow: /; - в карте находятся страницы с 404 или 301;
- robots.txt доступен только по HTTP, а HTTPS-версия пустая;
- в sitemap попали фильтры, сортировки и дубли;
- после миграции остались старые домен и протокол;
- в проекте работают два генератора карт одновременно.
Разрешающий robots.txt не заставит поисковик индексировать страницу с noindex, а наличие URL в sitemap не отменяет каноникал на другую страницу. Эти сигналы должны совпадать.
Что отправлять в вебмастер
В Яндекс Вебмастере и Google Search Console укажите точный URL карты. Если карта индексная, сервис сам увидит вложенные файлы. После крупных изменений отправьте карту повторно и сохраните дату проверки. Для нового проекта полезно вести журнал: дата изменения, причина и список затронутых URL.
Такой журнал помогает откатить ошибочное правило и не повторить его при переносе сайта. О выборе CMS и резервных копиях читайте в материалах о CMS для магазина и о резервном копировании.
Итог
Настройка robots.txt и sitemap.xml сводится к согласованию трёх вещей: робот может обойти URL, карта его перечисляет, а сама страница отвечает 200 и имеет правильный каноникал. Проверьте эти условия после публикации и миграций.
