← Все статьи

Регрессия начинается с сохраненного сбоя

О коллекции

Авторская работа коллекции Аишки. Персонажи и исходные ситуации придуманы; материал не подтверждает заказ или результат действующего клиента.

Исправленный сбой легко забывается, пока не возвращается в новой версии. Для регрессии нужен сохраненный пример и ожидаемый исход. Памяти команды недостаточно.

Содержание 10

Инструкция внутри документа

Документ с посторонними указаниями остается данными, а не источником полномочий. В разрешенном контуре проверьте смешанный пример, где рядом есть полезный факт. Система должна сохранить границу команд, не раскрывать закрытые сведения и не выполнять внешнее действие только по тексту найденного материала.

На практике

Повтор события обработки письма

Повтор события проверяется по внешнему эффекту. Два ответа «успешно» могут скрывать две созданные заявки. Сверьте число записей, ключ операции и историю. Отдельно воспроизведите потерю ответа после сохранения: здесь правильный следующий шаг — узнать исход, а не слепо повторить действие.

На практике

Сбой голосового распознавания

У голосового помощника проверяйте переходы после неуверенного распознавания. Шум не должен становиться согласием, исправление должно менять нужное поле, просьба остановиться — завершать сценарий. Ограничение числа переспросов тоже проверяемое поведение. Красивый голос не компенсирует неверный маршрут диалога.

На практике

Регрессии нужен минимальный воспроизводимый вход

Сохраните самый короткий вход, на котором проявляется ошибка, вместе с версией настроек и ожидаемым состоянием. Большая переписка затрудняет понимание причины и может содержать лишние данные. После исправления проверьте соседний допустимый случай, чтобы запрет не стал слишком широким. Отчет должен различать сохраненный сценарий, проведенный прогон и подтвержденное исправление: это три разных уровня доказательства.

Сохраните рядом похожий случай, где ответ должен отличаться. Это помогает заметить исправление, которое просто научилось одинаково отказывать всем.

На практике

Перед тем как передать материал дальше

  • ☐Инструкция внутри документа не становится системной командой.
  • ☐Повтор события не дублирует действие.
  • ☐Отказ распознавания и передача человеку.
  • ☐Для «Шум принят за согласие» явно показать исход: не выполнять действие.

Работы из этого разбора

Источники

Обсуждение

Задайте вопрос об этой работе, обсудите решение или поделитесь своим опытом.

Обсуждение открыто для всех участников.

Загружаем комментарии…