Диалоги: разбиение по исходной семье без утечки перефразировок
Двенадцать полных текстовых реплик делятся по шести исходным сценариям; близкие варианты не попадают одновременно в обучение и проверку.
Задача и принятое решение
Случайное деление строк делает оценку удобнее, если перефразировка проверочного примера уже была в обучении. Я показал этот дефект на небольшом открытом наборе.
Каждая исходная реплика и ее вариант получают один family ID. Baseline чередует строки и создает утечку; исправленное деление закрепляет целые семьи за частью. Это проверка структуры данных, не качества распознавания речи.
Это тексты сценариев, не аудиозаписи. Шум, ASR и акустическая независимость не измеряются.
Проверить решение
Измените исходные строки или параметры и пересчитайте результат. Данные остаются в этой странице.
| ID | Семья | Текст | Часть |
|---|---|---|---|
| D1 | F1 | Перенесите визит на вечер. | train |
| D2 | F1 | Можно записаться вечером вместо дня? | train |
| D3 | F2 | Отмените мой визит. | train |
| D4 | F2 | Я не смогу прийти, снимите запись. | train |
| D5 | F3 | Назовите адрес студии. | train |
| D6 | F3 | Где вы находитесь? | train |
| D7 | F4 | Соедините с человеком. | train |
| D8 | F4 | Хочу поговорить с администратором. | train |
| D9 | F5 | Повторите последнее время. | test |
| D10 | F5 | Не расслышал, во сколько запись? | test |
| D11 | F6 | Стоп, завершите разговор. | test |
| D12 | F6 | Больше ничего не нужно, до свидания. | test |
Ни одна семья не пересекает границу.
Исходный набор
Авторский контрольный набор; не клиентские документы и не результаты внешней модели.
Изменить входные строки
Посмотреть исходные строки
| ID | Семья | Текст |
|---|---|---|
| D1 | F1 | Перенесите визит на вечер. |
| D2 | F1 | Можно записаться вечером вместо дня? |
| D3 | F2 | Отмените мой визит. |
| D4 | F2 | Я не смогу прийти, снимите запись. |
| D5 | F3 | Назовите адрес студии. |
| D6 | F3 | Где вы находитесь? |
| D7 | F4 | Соедините с человеком. |
| D8 | F4 | Хочу поговорить с администратором. |
| D9 | F5 | Повторите последнее время. |
| D10 | F5 | Не расслышал, во сколько запись? |
| D11 | F6 | Стоп, завершите разговор. |
| D12 | F6 | Больше ничего не нужно, до свидания. |
Что получилось
На двенадцати репликах построчное разбиение создает шесть пересечений семей. Исправленный вариант дает 8 train и 4 test без утечки; новая перефразировка F5 остается в test.
Выполненная проверка
| Проверка | Результат |
|---|---|
| Семейное деление дает 8/4 без пересекающихся семей | Пройдена |
| Построчное деление выявляет все шесть утечек | Пройдена |
| Новая перефразировка F5 остается в test | Пройдена |
Семьи размечены автором. Для большого корпуса нужен независимый поиск близких источников; отсутствие утечки здесь не доказывает качество модели.
Скачать материалы и повторить проверку
source.json · source.csv · result.json · result.csv · engine.js · verify.cjs · checks.json · style.css
Локальная проверка: node verify.cjs. Нужен Node.js; сетевые обращения не выполняются.