Подготовим эталон для одной задачи компании и сравним выбранные доступные модели на одинаковых данных. Согласуем критерии правильности, разберем разногласия разметки и отделим данные для независимой оценки.
Стоимость и сроки — после обсуждения задачи
Этапы работы
Определяем семейства случаев и правила разметки вместе с предметными экспертами.
Готовим корпус, разрешаем разногласия и формируем независимые части набора.
Запускаем согласованные модели, разбираем существенные ошибки и передаем воспроизводимый пакет оценки.
Что получит заказчик
Корпус с происхождением, группами и размеченными эталонами.
Инструкция разметки и журнал разрешенных разногласий.
Независимые части набора и воспроизводимый пакет оценки.
Сравнение фактических ответов моделей с разбором существенных ошибок.
Ограничения и условия
Вывод относится к выбранной задаче, корпусу и версиям моделей.
Доступ к моделям и разрешение на использование данных необходимы до запуска сравнения.
Содержание 2
Что нужно для начала
Разрешенные данные задачи, бизнес-критерии правильности, предметные эксперты, доступ к выбранным моделям и правила независимого сравнения.
Как проверяем результат
Результаты получены на фактических ответах моделей; происхождение примеров, критерии и разделение корпуса доступны для повторной проверки.