Обращения магазина: эталон с двумя намерениями и отрицанием
Восемь полных обращений имеют независимые эталонные метки; простой классификатор сохраняет видимые ошибки вместо удобного общего процента.
Задача и принятое решение
Слова «возврат» и «доставка» встречаются в вопросах, отрицаниях и просьбах. Одна метка на строку теряет обращение с двумя самостоятельными намерениями.
Я составил таксономию из доставки, возврата и отмены, разрешил несколько меток и отдельно зафиксировал отрицание. Простой baseline проверяется по точному множеству меток; его известная ошибка остается в отчете.
Все обращения авторские. Это открытый малый эталон для проверки правил, а не статистика клиентов магазина.
Правило разметки
Метка ставится по просьбе или вопросу пользователя. Отрицаемое действие не включается. Несколько самостоятельных намерений сохраняются множеством; благодарность без задачи получает «прочее». Исходный текст не сокращается перед разметкой.
Проверить решение
Измените исходные строки или параметры и пересчитайте результат. Данные остаются в этой странице.
| ID | Текст | Эталон | Предсказание | Совпадение |
|---|---|---|---|---|
| S1 | Где моя доставка заказа O1? | доставка | доставка | Да |
| S2 | Хочу вернуть заказ O2. | возврат | возврат | Да |
| S3 | Отмените заказ O3 до отправки. | отмена | отмена | Да |
| S4 | Где доставка и как оформить возврат? | доставка, возврат | возврат, доставка | Да |
| S5 | Возврат не нужен, хочу узнать срок доставки. | доставка | доставка | Да |
| S6 | Спасибо, все получил. | прочее | прочее | Да |
| S7 | Как вернуть деньги за неподошедший товар? | возврат | возврат | Да |
| S8 | Не отменяйте заказ, просто поменяйте адрес доставки. | доставка | доставка | Да |
Исходный набор
Авторский контрольный набор; не клиентские документы и не результаты внешней модели.
Изменить входные строки
Посмотреть исходные строки
| ID | Текст | Эталон |
|---|---|---|
| S1 | Где моя доставка заказа O1? | доставка |
| S2 | Хочу вернуть заказ O2. | возврат |
| S3 | Отмените заказ O3 до отправки. | отмена |
| S4 | Где доставка и как оформить возврат? | доставка, возврат |
| S5 | Возврат не нужен, хочу узнать срок доставки. | доставка |
| S6 | Спасибо, все получил. | прочее |
| S7 | Как вернуть деньги за неподошедший товар? | возврат |
| S8 | Не отменяйте заказ, просто поменяйте адрес доставки. | доставка |
Что получилось
Эталон содержит восемь полных обращений, включая два намерения и два отрицания. Baseline совпал на заданных восьми строках; добавленная фраза о задержавшейся посылке выявляет ошибку и сохранена отдельной проверкой.
Выполненная проверка
| Проверка | Результат |
|---|---|
| Два намерения S4 сохранены, отрицания S5 и S8 не стали действиями | Пройдена |
| Новая формулировка без ключевого слова выявляет предел baseline | Пройдена |
| Повтор строки не меняет ее эталонное множество | Пройдена |
Малый специально составленный набор не оценивает качество на реальном потоке. Правила и известный контрпример открыты для расширения.
Скачать материалы и повторить проверку
source.json · source.csv · result.json · result.csv · engine.js · verify.cjs · checks.json · style.css
Локальная проверка: node verify.cjs. Нужен Node.js; сетевые обращения не выполняются.