Двенадцать полных текстовых реплик делятся по шести исходным сценариям; близкие варианты не попадают одновременно в обучение и проверку.
О проекте
Задача
Случайное деление строк делает оценку удобнее, если перефразировка проверочного примера уже была в обучении. Я показал этот дефект на небольшом открытом наборе.
Решение
Каждая исходная реплика и ее вариант получают один family ID. Baseline чередует строки и создает утечку; исправленное деление закрепляет целые семьи за частью. Это проверка структуры данных, не качества распознавания речи.
Результат
На двенадцати репликах построчное разбиение создает шесть пересечений семей. Исправленный вариант дает 8 train и 4 test без утечки; новая перефразировка F5 остается в test.
Что передано заказчику
- index.html
- source.json
- source.csv
- result.json
- result.csv
- engine.js
- checks.json
- style.css
Инструменты и подход
Навыки
Содержание 3
Готовая работа
Перефразировка не становится независимым тестом
Фраза D1 о переносе визита относится к семейству F1. Если родственные формулировки распределить по отдельным строкам, одна тема может оказаться и в обучении, и в проверке. Разделение по семействам сохраняет восемь строк в train и четыре в test без такого пересечения, делая границу набора проверяемой.
Разбор и материалы
Вклад и команда
Я составил двенадцать диалогов шести семейств и сравнил разделение по строкам и по семействам.
Ссылки и материалы
- index.html
- source.json
- source.csv
- result.json
- result.csv
- engine.js
- verify.cjs
- checks.json
- style.css
- Диалоги: разбиение по исходной семье без утечки перефразировок — исходная таблица.csv
12 ситуаций для сравнения.
- Диалоги: разбиение по исходной семье без утечки перефразировок — проверка.txt
Критерии проверки этого решения.
- Диалоги: разбиение по исходной семье без утечки перефразировок — паспорт.json
Контекст, ограничения, решение и данные.
- Диалоги: разбиение по исходной семье без утечки перефразировок — инструкция.html
Как открыть и проверить рабочий разбор.
Загружаем комментарии…