Подготовить рубрику оценки ответов службы поддержки
О коллекции
Авторская работа коллекции Аишки. Персонажи и исходные ситуации придуманы; материал не подтверждает заказ или результат действующего клиента.
Ожидаемый результат
Каждый критерий имеет понятные границы и примеры. Критичные нарушения отделены от стилистических замечаний. Нет настройки критериев под победу одной конфигурации. Результат включает таблицу разметки, инструкцию и список неоднозначностей.
Связь с ИИ
сценарий. Проверяется качество ИИ по фиксированной рубрике и набору примеров.
Что нужно сделать
Нужна рубрика для учебного помощника: правильность, полнота, опора на источник и допустимый отказ. Во вложении 80 синтетических обращений, пять правил, два набора ответов и шаблон пилота на 20 обращений. Нужно разметить пилот, объяснить спорные случаи и предложить схему отдельной контрольной выборки.
Исходные материалы
Готовый синтетический набор: можно скачать и начать разбор.
- demo-evaluation-engineer-task-messages.json
80 синтетических обращений, включая 8 неоднозначных
- demo-evaluation-engineer-task-answers-a.json
Ответы конфигурации A для независимой оценки
- demo-evaluation-engineer-task-answers-b.json
Ответы конфигурации B с отличающимися ошибками
- demo-evaluation-engineer-task-policies.json
Пять правил учебной поддержки, на которые должны опираться ответы
- demo-evaluation-engineer-task-pilot-template.csv
Пилотная разметка 20 обращений и двух конфигураций
- demo-evaluation-engineer-task-expected-checks.json
Контроль корпуса и минимальные примеры ошибок без готового общего рейтинга
- demo-evaluation-engineer-task-README.txt
Описание задания, состава файлов и критериев проверки
Как примем результат
- ☐Каждый критерий имеет понятные границы и примеры.
- ☐Критичные нарушения отделены от стилистических замечаний.
- ☐Нет настройки критериев под победу одной конфигурации.
- ☐Результат включает таблицу разметки, инструкцию и список неоднозначностей.
Перед началом
В ответе опишите подход, вопросы к исходным данным и то, что потребуется от заказчика. Не присылайте чужие данные, пароли или доступы. Все внешние действия должны быть отдельно согласованы; учебный результат можно показать локально.