Версия источника: 4880e8b4372c96001c2e052be28b68a95d31252b
Синхронизировано: 2026-11-09T11:15:07.649Z
Источник: https://github.com/sergey-from-riders/vibecoding-base/tree/4880e8b4372c96001c2e052be28b68a95d31252b

<a id="ai-agents-evals-budget"></a>

# AI evals

## Коротко

Сравнивайте качество, ошибки, задержку и стоимость до смены промпта или модели.

## Плохо

```text
Один удачный ответ → новая модель включена всем.
```

## Хорошо

```text
Набор обычных и сложных задач.
Сравнение качества, отказов и стоимости.
```

## Почему

Версия, хорошо решившая один пример, может ухудшить остальные.

## Когда применять

Это инженерное правило справочника, а не требование протокола. Первоисточник описывает подход или механизм; конкретный процесс выбирается проектом.

Критерии и допустимая цена зависят от продукта; персональные данные в тестах обезличиваются.

## Как проверить

- Есть ли случаи ошибок, атак и недоступности инструмента?

## Человек

Выбирает эталонные задачи, критерии качества и допустимую стоимость.

## Агент

Соблюдает выданные полномочия, проверяет результат инструментов и явно сообщает о недоступных проверках.

Контроль результата:

- Есть ли случаи ошибок, атак и недоступности инструмента?

## Источники

- [Demystifying evals for AI agents](https://www.anthropic.com/engineering/demystifying-evals-for-ai-agents)

Уровень: Рекомендуется. Проверено: 2026-11-09. Изменено: 2026-11-09.

[Исходный файл](https://github.com/sergey-from-riders/vibecoding-base/blob/4880e8b4372c96001c2e052be28b68a95d31252b/registry/standards/agent/base/rules/evals-budget.md)