Версия источника: d33454c0dad753475ecc92aaecf8d783f02fd01b
Синхронизировано: 2026-11-13T05:38:20.984Z
Источник: https://github.com/sergey-from-riders/vibecoding-base/tree/d33454c0dad753475ecc92aaecf8d783f02fd01b

<a id="seo-indexability"></a>

# Индексирование и исключение страниц

## Коротко

Для каждого типа URL определите ожидаемое индексирование и согласуйте HTTP-статус, robots и доступ.

## Плохо

```text
Страница закрыта robots.txt и содержит noindex; команда считает ее удаленной из поиска. Приватный документ защищен только noindex.
```

## Хорошо

```text
Публичная карточка: 200, доступна роботу, noindex отсутствует.
Служебная публичная страница: доступна роботу для чтения noindex.
Приватный документ: аутентификация и авторизация независимо от robots.
```

## Почему

Запрет обхода и запрет индексирования имеют разную семантику. Робот должен получить страницу, чтобы прочитать noindex.

## Когда применять

Для публичного сайта, staging, служебных страниц и пользовательских данных. Правило не требует открывать приватные ресурсы ради удаления из поиска.

### Требования

- Составьте матрицу типов URL: indexable, noindex, private, redirect, deleted. Для каждого задайте ожидаемые ответы.
- Noindex передается meta либо X-Robots-Tag для поддерживающего его робота. Не используйте запись noindex в robots.txt как рабочий механизм Google.
- Robots.txt управляет обходом и не является контролем доступа. Staging защищается доступом; перед production отдельно проверяйте отсутствие случайного noindex/Disallow.

## Как проверить

- Проверьте матрицу по реальным HTTP-ответам и итоговому HTML, включая robots.txt и заголовки CDN.
- Для публичной страницы с noindex подтвердите доступ робота; для приватной проверьте невозможность чтения без прав.

## Человек

Утверждает, какие страницы публичны, индексируемы, служебны или приватны.

## Агент

Проверяет матрицу URL, robots, noindex и авторизацию; не открывает приватные данные ради обхода поисковиком.

## Источники

- [Google Search Central: noindex](https://developers.google.com/search/docs/crawling-indexing/block-indexing)

Уровень: Обязательно. Опубликовано: 2026-11-13. Проверено: 2026-11-13. Изменено: 2026-11-13.

[Исходный файл](https://github.com/sergey-from-riders/vibecoding-base/blob/d33454c0dad753475ecc92aaecf8d783f02fd01b/registry/standards/seo/site-audit/rules/indexability.md)