Индексирование и исключение страниц
Для каждого типа URL определите ожидаемое индексирование и согласуйте HTTP-статус, robots и доступ.
Опубликовано Проверено Изменено
Плохо
Страница закрыта robots.txt и содержит noindex; команда считает ее удаленной из поиска. Приватный документ защищен только noindex.
Хорошо
Публичная карточка: 200, доступна роботу, noindex отсутствует.
Служебная публичная страница: доступна роботу для чтения noindex.
Приватный документ: аутентификация и авторизация независимо от robots.
Почему это важно
Запрет обхода и запрет индексирования имеют разную семантику. Робот должен получить страницу, чтобы прочитать noindex.
Когда применять
Для публичного сайта, staging, служебных страниц и пользовательских данных. Правило не требует открывать приватные ресурсы ради удаления из поиска.
Требования
- Составьте матрицу типов URL: indexable, noindex, private, redirect, deleted. Для каждого задайте ожидаемые ответы.
- Noindex передается meta либо X-Robots-Tag для поддерживающего его робота. Не используйте запись noindex в robots.txt как рабочий механизм Google.
- Robots.txt управляет обходом и не является контролем доступа. Staging защищается доступом; перед production отдельно проверяйте отсутствие случайного noindex/Disallow.
Кто что делает
Человек
Утверждает, какие страницы публичны, индексируемы, служебны или приватны.
AI-агент
Проверяет матрицу URL, robots, noindex и авторизацию; не открывает приватные данные ради обхода поисковиком.
Как проверить у себя
- Проверьте матрицу по реальным HTTP-ответам и итоговому HTML, включая robots.txt и заголовки CDN.
- Для публичной страницы с noindex подтвердите доступ робота; для приватной проверьте невозможность чтения без прав.
Первоисточники
История изменений на GitHubДата проверки отражает содержательную сверку. Синхронизация сайта не обновляет её автоматически.