Модель может хорошо пройти проверку, потому что уже видела почти тот же пример. Поэтому разбиение набора требует внимания к дубликатам и близким вариантам, а не только случайного перемешивания.
Содержание 10
Допустимые краткие ответы
Краткий ответ проверяйте по обязательному смыслу и запрещенным добавлениям. Разные корректные формулировки не должны получать ошибку за стиль. Точное совпадение оставьте для идентификаторов и других строгих полей. Это позволяет быть гибким к языку и строгим к содержанию одновременно.
На практике
Фрагменты инструкций и версии
Фрагмент инструкции храните вместе с документом, разделом и версией. Одинаковый текст в другой области действия может означать иной ответ. Изменение правила создает новую редакцию эталона. Не переписывайте старую проверку молча: иначе потеряется возможность понять причину изменения результата.
На практике
Разнообразие голосовых сценариев
Разнообразие звуковых условий не заменяет разнообразия задач. Несколько шумовых копий одной реплики проверяют акустику, но не исправление адреса и отказ продолжать. Варианты одного источника удерживайте в одной части разбиения. Иначе знакомая фраза незаметно попадет в независимый тест.
На практике
Разногласия проверяют до большого объема
Дайте небольшой набор двум разметчикам независимо и сравните не только совпадения, но и причины расхождения. Спорный пример может указывать на неясную инструкцию, недостаточный источник или ошибку одного решения. Исправьте правило и пересмотрите затронутые строки до расширения набора. Не удаляйте сложные случаи только ради высокого согласия: именно они часто показывают границы будущей системы.
Проверяйте независимость на уровне смысловых групп. Разные строки файла не всегда означают разные примеры для оценки.
На практике
Перед тем как передать материал дальше
- ☐Эталон содержит допустимые варианты.
- ☐Источники и версии привязаны к фрагменту.
- ☐Разные шумы не заменяют разнообразие реальных сценариев.
- ☐Для «Копия аудио в тесте» явно показать исход: убрать пересечение.
Загружаем комментарии…