Метка: robots.txt

robots.txt и noindex: обход, индексация и закрытый доступ

Чем отличаются robots.txt, noindex и авторизация — и почему один механизм не заменяет другой.