Владислав СавельевРазработчик эталонных наборов данных

Обращения магазина: эталон с двумя намерениями и отрицанием

Восемь полных обращений имеют независимые эталонные метки; простой классификатор сохраняет видимые ошибки вместо удобного общего процента.

Задача

Слова «возврат» и «доставка» встречаются в вопросах, отрицаниях и просьбах. Одна метка на строку теряет обращение с двумя самостоятельными намерениями.

Открыть работающий материал →

Одной подходящей метки недостаточно

Сообщение S1 относится к доставке, но другие тексты корпуса могут содержать несколько тем или отрицание. Проверка сравнивает полное множество меток, поэтому лишняя тема так же заметна, как пропущенная. Это правило удерживает задачу разметки от удобного частичного совпадения по одному знакомому слову.

Правило разметки

Метка ставится по просьбе или вопросу пользователя. Отрицаемое действие не включается. Несколько самостоятельных намерений сохраняются множеством; благодарность без задачи получает «прочее». Исходный текст не сокращается перед разметкой.

Что сделано

Я составил восемь полных сообщений, многотемный эталон и проверку точного множества меток.

Эталон содержит восемь полных обращений, включая два намерения и два отрицания. Baseline совпал на заданных восьми строках; добавленная фраза о задержавшейся посылке выявляет ошибку и сохранена отдельной проверкой.

Открыть работающий материал · Контрольные примеры CSV · Повторить проверку · Модель и исходные условия