robots.txt и noindex: обход, индексация и закрытый доступ
Чем отличаются robots.txt, noindex и авторизация — и почему один механизм не заменяет другой.
- robots.txtУправляет обходом, не закрывает доступ
- noindexЗапрещает индексацию при доступном обходе
- АвторизацияОграничивает доступ к закрытым данным
Чтобы черновик не попал в поиск, а панель управления не открылась постороннему, нужны разные меры. robots.txt просит робота не обходить адрес. noindex говорит не включать страницу в выдачу. Авторизация ограничивает сам доступ. Путаница между ними приводит и к лишним страницам в поиске, и к открытым данным.
Запрет обхода не является паролем
# Учебный robots.txt
User-agent: *
Disallow: /internal-search/
Sitemap: https://example.com/sitemap.xmlФайл лежит в корне соответствующего адреса сайта. Он публичен и сам перечисляет пути, поэтому не годится для сокрытия секретных каталогов. Протокол robots exclusion описан в RFC 9309, но конкретные поисковые системы имеют собственные поддерживаемые расширения. Проверяйте правила отдельно для нужного робота.
Чтобы прочитать noindex, страницу нужно получить
<meta name="robots" content="noindex">Если Googlebot запрещено получать страницу через robots.txt, он не сможет прочитать её метатег noindex. Поэтому сочетание двух запретов не всегда помогает убрать страницу из поиска. Адрес, известный по внешним ссылкам, может фигурировать в поиске без полноценного содержимого. Для не-HTML-ответов предусмотрен HTTP-заголовок X-Robots-Tag.
Доступ к личным данным ограничивают на сервере. Проверяйте его отдельным пользователем и без активного сеанса владельца. Скрытая кнопка или запись в robots.txt не защищает API. Приватная предварительная версия должна оставаться приватной независимо от правил поискового обхода.
Проверяем применение
Получите robots.txt по точному протоколу и домену, затем проверьте выбранный путь в инструментах вебмастера. Сравните метатег с HTTP-заголовками: противоречие может исходить от промежуточного сервера. После исправления роботу требуется повторный обход; адрес может исчезнуть из выдачи не сразу.
Перед переносом чужого robots.txt разберите свои разделы: открытые статьи, поиск, черновики и панель управления. Для каждого решите, кому разрешён доступ и нужно ли показывать адрес в выдаче. После этого выбирать между авторизацией, noindex и правилами обхода гораздо проще.