Как сравнивать стоимость без удобных средних

Попадания и промахи кэша показывайте отдельно. Пользователь с новым вопросом проходит полный путь, даже если среднее выглядит отличным. После обновления базы проверьте инвалидирование. Старый ответ не становится приемлемым только потому, что приходит быстро и не требует повторной обработки.

Критичные поля нуждаются в собственном пороге качества. Для PDF это могут быть суммы, даты и целостность строк. Не компенсируйте ошибку итога множеством правильно прочитанных слов. В сравнении должно быть видно, какие документы требуют ручной проверки и сколько времени она занимает.

Проверьте новую номенклатуру отдельно от знакомой. Старые SKU могут делать общую оценку слишком благоприятной. Удерживайте дубликаты вне независимого набора и сравнивайте ошибки тем. Снижение расходов полезно только при сохранении качества на тех входах, которые будут появляться в дальнейшей работе.

Для стоимости принятого результата разделите все затраты на число результатов, прошедших заранее заданную проверку. Сохраняйте отдельно расходы на отклоненные попытки и ручные исправления. Если принятых результатов нет, показатель нельзя считать нулем: он не определен для такого прогона. Числовой пример формулы полезен для проверки арифметики, но сам по себе не является измерением реальной системы.

Показывайте условия расчета рядом с итогом. Тогда при другой длине запроса или частоте повторов можно пересчитать оценку, а не спорить с чужим средним.