Два фиксированных набора по 80 ответов: матрица ошибок, критичные утверждения и решение о выпуске.
О проекте
Цель
Отделить правильную категорию обращения от безопасного и обоснованного ответа.
Задача
Ответ может попасть в нужный класс и одновременно пообещать действие, которого никто не выполнял.
Решение
Сопоставил два фиксированных набора ответов с правилами. Матрица классов, критичные утверждения и отсутствие источника считаются отдельно; строки с ошибками доступны для чтения.
Результат
Набор A: 71 правильный класс из 80 и восемь критичных утверждений. Набор B: 80 из 80 по классам, но одно необоснованное обещание срока. Ни один набор не проходит выбранный порог выпуска.
Что передано заказчику
- Сообщения.json
- Ответы A.json
- Ответы B.json
- Правила.json
- Результаты оценки.json
- Алгоритм оценки.cjs
Инструменты и подход
Инструменты
Навыки
Содержание 4
Открыть работу
Идеальная матрица не снимает критичную ошибку
У варианта B все классы совпадают с разметкой. При этом один ответ обещает действие на завтра без такого основания в правилах. Эта строка остаётся причиной остановки выпуска, даже когда общая точность выглядит безупречно.
Ошибку можно прочитать, а не только посчитать
Фильтр показывает проблемные сообщения вместе с полным ответом и правилом. Исходные наборы и алгоритм оценки приложены. Это разбор зафиксированных ответов; повторный вызов внешней модели в расчёт не входит.
Файлы результата
Вклад и команда
Сформулировал критерии, написал расчёт оценки и интерфейс сравнения, разобрал причины блокировки выпуска.
Загружаем комментарии…