Подготовлю набор проверок поведения ИИ-помощника. У каждого примера будут ожидаемый исход и основание оценки; сохраненные сбои войдут в повторяемую регрессию. 100–200 тестов, ручная проверка части эталонов, отчет регрессий и рекомендации.
Ожидаемый результат
100–200 тестов, ручная проверка части эталонов, отчет регрессий и рекомендации.
Стоимость и сроки — после обсуждения задачи
Этапы работы
Разобрать исходные данные: Разрешенный тестовый контур, сценарии, база знаний, политика действий и ранее найденные ошибки.
Согласовать объем и ограничения на конкретных примерах
Подготовить материалы и одну согласованную итерацию изменений
Проверить результат по критериям и передать итоговую версию
Что получит заказчик
100–200 тестов, ручная проверка части эталонов, отчет регрессий и рекомендации.
Согласованные критерии приемки: Проверки безопасности выполняются только в разрешенном контуре; эталоны не создаются и не оцениваются одним неконтролируемым ответом модели.
Ограничения и условия
Объем, сроки, число итераций и стоимость согласуются до начала работ.
Права на исходные материалы и достоверность характеристик подтверждаются отдельно.
Внешние подписки, рекламные размещения и постоянное сопровождение оцениваются отдельно.
Содержание 2
Примеры условий, которые фиксируем в начале
| Пример задачи | Что важно согласовать |
|---|---|
| Помощник продаж: ответ только по действующему прайсу | Это проверяемая логика подготовки ответа, а не испытание языковой модели. |
| Запись на один слот: гонка двух заявок и повтор ответа | Структура хранится в памяти одного процесса. Свойства PostgreSQL, нескольких серверов и сохранность после перезапуска не заявляются. |