Диалоги: разбиение по исходной семье без утечки перефразировок
Двенадцать полных текстовых реплик делятся по шести исходным сценариям; близкие варианты не попадают одновременно в обучение и проверку.
Задача
Случайное деление строк делает оценку удобнее, если перефразировка проверочного примера уже была в обучении. Я показал этот дефект на небольшом открытом наборе.
Перефразировка не становится независимым тестом
Фраза D1 о переносе визита относится к семейству F1. Если родственные формулировки распределить по отдельным строкам, одна тема может оказаться и в обучении, и в проверке. Разделение по семействам сохраняет восемь строк в train и четыре в test без такого пересечения, делая границу набора проверяемой.
Что сделано
Я составил двенадцать диалогов шести семейств и сравнил разделение по строкам и по семействам.
На двенадцати репликах построчное разбиение создает шесть пересечений семей. Исправленный вариант дает 8 train и 4 test без утечки; новая перефразировка F5 остается в test.
- index.html
- source.json
- source.csv
- result.json
- result.csv
- engine.js
- checks.json
- style.css
Открыть работающий материал · Контрольные примеры CSV · Повторить проверку · Модель и исходные условия