AI evals
Сравнивайте качество, ошибки, задержку и стоимость до смены промпта или модели.
Проверено Изменено
Плохо
Один удачный ответ → новая модель включена всем.
Хорошо
Набор обычных и сложных задач.
Сравнение качества, отказов и стоимости.
Почему это важно
Версия, хорошо решившая один пример, может ухудшить остальные.
Когда применять
Это инженерное правило справочника, а не требование протокола. Первоисточник описывает подход или механизм; конкретный процесс выбирается проектом.
Критерии и допустимая цена зависят от продукта; персональные данные в тестах обезличиваются.
Кто что делает
Человек
Выбирает эталонные задачи, критерии качества и допустимую стоимость.
AI-агент
Соблюдает выданные полномочия, проверяет результат инструментов и явно сообщает о недоступных проверках.
Контроль результата:
- Есть ли случаи ошибок, атак и недоступности инструмента?
Как проверить у себя
- Есть ли случаи ошибок, атак и недоступности инструмента?
Первоисточники
История изменений на GitHubДата проверки отражает содержательную сверку. Синхронизация сайта не обновляет её автоматически.