Если в поиске не появляются нужные страницы WordPress, причина не всегда в самом контенте. Часто проблема в том, как сайт отдает инструкции роботам через robots.txt: он может случайно закрывать важные разделы, мешать обходу или, наоборот, оставлять открытым лишнее. Для WordPress это особенно заметно, потому что система сама генерирует базовый виртуальный robots.txt, а многие владельцы сайтов потом пытаются править его через плагин, не понимая, что именно меняют.
Ниже разберем, как правильно настроить robots.txt в WordPress, чтобы поисковые роботы могли индексировать нужные страницы, а вы не полагались только на плагины и не ломали обход сайта случайной директивой.
Что именно делает robots.txt в WordPress
robots.txt — это текстовый файл в корне сайта, который подсказывает поисковым роботам, какие разделы можно или нельзя обходить. Он не удаляет страницы из индекса напрямую и не гарантирует, что закрытая страница исчезнет из поиска. Его задача проще: управлять обходом.
Для WordPress это важно по двум причинам. Во-первых, у CMS есть служебные URL, которые не нужны в поиске: административная часть, системные каталоги, служебные параметры. Во-вторых, на сайте почти всегда есть разделы, которые должны быть доступны для обхода: записи, страницы, рубрики, медиафайлы, если они действительно нужны в выдаче.
Если перепутать эти вещи, можно получить типичную ситуацию: сайт живой, контент опубликован, но поисковики обходят его не так, как вы ожидаете. Поэтому сначала нужно понять, что именно вы хотите открыть, а что закрыть.
Какой robots.txt нужен для обычного сайта на WordPress
Если у вас стандартный сайт без нестандартной архитектуры, базовая логика простая: закрываем служебные и технические разделы, не мешаем обходу публичных страниц. В большинстве случаев не нужно запрещать весь сайт или массово закрывать папки, которые содержат полезный контент.
Для WordPress обычно имеет смысл оставить открытыми публичные URL, а закрыть только то, что не должно участвовать в обходе. Пример минимально аккуратного файла:
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php
Это не «магическая» настройка для SEO, а базовая санитарная мера. Она не мешает индексировать записи, страницы и рубрики, но убирает из обхода административную часть. На большинстве сайтов этого уже достаточно, если нет особых требований к структуре.
Важно: не стоит добавлять в robots.txt директиву Disallow: /, если вы не понимаете последствия. Она закрывает весь сайт для обхода, и это почти всегда ошибка.
Как открыть нужные разделы и не закрыть лишнее
Если задача не просто «не мешать индексации», а именно управлять доступом к разделам, действуйте точечно. В robots.txt лучше работать на уровне конкретных путей, а не пытаться закрыть все подряд.
Например, если на сайте есть служебные страницы или внутренние каталоги, которые не должны обходиться, их можно закрыть отдельными правилами. Но сначала проверьте, не используются ли эти URL для публичного контента или важных скриптов. Ошибка в одном символе может закрыть целый раздел.
Пример, когда нужно оставить доступ к публичным материалам и не трогать их:
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Disallow: /search/ Disallow: /cgi-bin/
Такой подход уместен только если на сайте действительно есть внутренний поиск по адресу /search/ и он не должен обходиться. Если у вас другой шаблон URL, правило нужно подстроить под фактический адрес, а не копировать из чужой статьи.
Для индексации нужных страниц важно помнить: robots.txt не заменяет настройки самих страниц. Если вы хотите, чтобы страница индексировалась, она должна быть доступна по HTTP, не закрыта метатегом noindex и не отдавать ошибку сервера. Если в robots.txt всё открыто, но на странице стоит noindex, поисковик всё равно не будет держать её в индексе.
Где редактировать robots.txt в WordPress
Есть три рабочих варианта, и выбор зависит от того, как у вас устроен хостинг и есть ли доступ к файловой системе.
1. Через файл robots.txt в корне сайта
Это самый надежный способ, если у вас есть доступ по FTP, SFTP или через файловый менеджер хостинга. В корне сайта создается или редактируется обычный текстовый файл robots.txt. После сохранения он должен открываться по адресу https://ваш-домен/robots.txt.
Плюс этого способа в том, что вы точно знаете, какой файл отдает сервер. Минус — нужно аккуратно работать с правами доступа и не перепутать корень сайта с папкой темы или плагина.
2. Через SEO-плагин
Многие SEO-плагины позволяют редактировать robots.txt из админки. Это удобно, если вы не хотите заходить на сервер. Но у такого способа есть ограничение: не все плагины создают физический файл, а некоторые показывают виртуальную версию, которая работает только пока плагин активен.
Если вы используете плагин, проверьте, что именно он делает: редактирует реальный файл или подменяет ответ на уровне WordPress. Для обычной эксплуатации это не критично, но при переносе сайта или отключении плагина поведение может измениться.
3. Через серверную конфигурацию
Этот вариант нужен редко и обычно используется на сложных проектах. Для обычного WordPress-сайта достаточно файла robots.txt в корне. Если хостинг или прокси-схема нестандартные, сначала проверьте, какой именно ответ отдает сервер по адресу /robots.txt, а уже потом вносите изменения.
Как проверить, что robots.txt работает правильно
После правки не стоит полагаться на память или на то, что файл «сохранился без ошибок». Проверьте результат вручную.
Сначала откройте в браузере адрес https://ваш-домен/robots.txt. Если файл доступен, вы увидите его содержимое в виде обычного текста. Если вместо него открывается ошибка, пустая страница или редирект на другой адрес, сначала исправьте это.
Дальше проверьте три вещи:
- нужные публичные страницы не попадают под запрет в
Disallow; - служебные разделы действительно закрыты, если это было вашей целью;
- в файле нет случайных опечаток, лишних пробелов в путях и неверных директив.
Если у вас есть доступ к Google Search Console или Яндекс Вебмастеру, используйте их для проверки обхода и индексации. Но даже без них можно быстро понять, что файл отдается корректно и не блокирует важные URL.
Типичные ошибки, из-за которых страницы не индексируются
Самая частая ошибка — закрыть в robots.txt не только служебные, но и публичные разделы. Например, кто-то копирует чужой файл и получает запрет на папки, которые на его сайте содержат записи или медиафайлы. Вторая распространенная проблема — ожидание, что robots.txt удалит страницу из индекса. Он этого не делает.
Еще одна ошибка — полагаться только на плагин и не проверять фактический ответ сервера. Если плагин отключат, сайт переедет или изменится кэширование, поведение может стать другим. Для важного сайта лучше понимать, где лежит реальный файл и кто именно его отдает.
Отдельно стоит следить за конфликтом между robots.txt и мета-тегами на страницах. Если страница открыта в robots.txt, но на ней стоит noindex, поисковик не будет считать ее пригодной для индексации. И наоборот: если страница закрыта в robots.txt, робот может не дойти до метатега noindex, потому что ему просто не разрешен обход.
Практичная схема настройки для большинства сайтов
Если вам нужен рабочий и безопасный вариант без лишней экзотики, придерживайтесь такой схемы: оставьте открытыми публичные страницы, закройте только административную часть WordPress и не добавляйте запреты «на всякий случай». После этого проверьте файл по прямому URL и убедитесь, что важные разделы не попали под случайный запрет.
Для большинства сайтов этого достаточно, чтобы поисковые роботы могли нормально обходить нужные страницы. Если позже появится необходимость закрыть отдельный технический раздел, добавляйте правило точечно и сразу проверяйте, не совпадает ли путь с публичным URL.
Если вы хотите не только править robots.txt, но и убирать технические дубли, лишние архивы и служебные страницы из SEO-обхода, иногда удобнее делать это через специализированный SEO-плагин. Например, у Clearfy Pro есть инструменты для чистки сайта и работы с дублями: https://wpshop.ru/plugins/clearfy. Но даже в этом случае robots.txt лучше понимать и контролировать вручную, а не отдавать на автомат.
Если коротко: robots.txt в WordPress нужен не для «ускорения SEO», а для аккуратного управления обходом. Когда вы точно знаете, какие разделы должны быть доступны роботам, а какие нет, сайт индексируется предсказуемее и без лишних сюрпризов.