Ограниченное обновление каталога и индекса
Готовьте поисковую и навигационную проекции вне запроса посетителя. Читайте большие наборы ограниченными пакетами, переключайте только проверенную версию и сохраняйте доступ к разрешённым страницам при сбое.
Плохо
Каждый SSR-запрос собирает всё меню.
Несколько сканов по 5000 документов.
Защита памяти отклонила запросы.
Резервный запрос вернул черновик.
Хорошо
Меню получает готовую лёгкую проекцию.
Один refresh читает ограниченные пакеты.
Неполная версия не публикуется.
Резерв использует опубликованные данные.
Почему это важно
Фоновая нагрузка от миграции и обхода конкурирует с посетителями за один кластер. Один глубокий запрос может повлиять на многие страницы, даже если отдельный тест прошёл.
Когда применять
Для больших каталогов, отчётов, sitemap и разогрева поисковых индексов. Размер пакета и параллелизм выбираются по измерениям текущего окружения. Для маленьких наборов можно использовать простой снимок.
Требования
- Разделите чтение навигации, отдельной карточки и сборку полного реестра. Не делайте тяжёлый полный обход при каждом рендере страницы. Публичный запрос получает готовую проекцию.
- Ограничьте пакет, параллелизм, задержки и время обновления. Обновление одной версии выполняется одним рабочим процессом или координируется. Посетители читают действующий снимок, пока строится следующий.
- Для стабильного обхода определите неизменяемый источник или согласованный снимок, сортировку с уникальным последним ключом и механизм возобновления. В OpenSearch применяйте PIT с
search_after, если нужен согласованный снимок при обновляемом индексе. Обычныйsearch_afterсам по себе не фиксирует набор. - При завершении сверьте версию, полноту, число ключей и применимые ограничения публикации. Переключайте готовую проекцию целиком. Ошибки и частичные ответы оставляют действующий снимок в рамках заданной допустимой давности.
- Резерв отдаёт только разрешённые опубликованные данные, учитывая скрытие, удаление и смену прав. Не используйте устаревший снимок для отозванных данных. Если безопасной версии нет, отдайте понятный отказ.
- Прогоните миграцию и аудит HTTP с ограниченным темпом, измерьте трафик посетителей на фоне обоих процессов. Следите за ограничителями памяти, тайм-аутами, ошибками, частичными ответами и давностью данных.
Кто что делает
Человек
Определяет допустимую давность, нагрузочный бюджет и правила резерва.
AI-агент
Агент реализует ограниченное чтение, атомарное переключение и проверяет поведение при отказе.
Пример применения
В каталоге туров справочники собираются пакетами в фоне. Меню обслуживает готовый компактный снимок. При отказе поиска прямой URL доступной карточки читается из опубликованного представления, а скрытая карточка остаётся недоступной.
Как проверить у себя
- Остановите индекс в тестовом окружении. Проверьте опубликованную карточку, скрытую запись, пустую выдачу и индикацию отказа.
- Обновляйте данные во время перебора. Проверьте отсутствие дыр и дублей в согласованном снимке и корректную обработку истёкшего курсора.
- Сравните отклик под одновременной загрузкой и обычной нагрузкой. Ошибка сборки не меняет опубликованную версию.
Первоисточники
История изменений на GitHubДата проверки отражает содержательную сверку. Синхронизация сайта не обновляет её автоматически.