Согласованный тестовый корпус и отчёт, который показывает улучшения и регрессии по типам задач, а не одну среднюю оценку.
Ожидаемый результат
На выходе — рубрика, корпус и отчёт, в котором видны критичные ошибки, спорные случаи и различия конфигураций по типам обращений.
Этапы работы
Определяем решения пользователя, критические ошибки и критерии безопасного отказа.
Собираем разрешённые или синтетические примеры; отделяем разработку от финальной проверки.
Пишем рубрику разметки и калибруем её на спорных случаях.
Сравниваем базовую и новую конфигурации с одинаковыми параметрами.
Передаём регрессионный запуск, отчёт по категориям и порядок пополнения набора.
Что получит заказчик
Версионированный корпус и карточка происхождения данных.
Рубрика оценки с примерами границ между классами.
Скрипты запуска и отчёт по ошибкам, задержке и расходам.
Порог допуска релиза и инструкция ручной проверки спорных результатов.
Ограничения и условия
Небольшая выборка не доказывает качество на всей аудитории.
Автоматическая модель-судья калибруется человеком и не считается независимым доказательством.
Нельзя включать чужие персональные данные без разрешённого основания.
Содержание 2
Что подготовить к началу
Сформулируйте решения системы и последствия неверного ответа. Соберите разрешённые примеры, действующие правила и известные пограничные ситуации. До запуска сравнения команда согласует, какие ошибки блокируют релиз независимо от средней оценки.
Как проверим готовность
Отчёт должен объяснять хотя бы один пример улучшения и один пример регрессии новой конфигурации. Изменение рубрики фиксируется отдельно от изменения модели. Тайм-ауты и неверный формат учитываются в общей картине, а не исчезают из знаменателя.
Связь с ИИ
сценарий. Проверяется качество ИИ по фиксированной рубрике и набору примеров.