Разметить контрольные вопросы для поиска по инструкциям
О коллекции
Авторская работа коллекции Аишки. Персонажи и исходные ситуации придуманы; материал не подтверждает заказ или результат действующего клиента.
Ожидаемый результат
У каждого вопроса есть категория и эталонный источник либо явная отметка «ответа нет». Не менее 12 сценариев проверяют доступ разных ролей. Неоднозначность документа описана отдельно, без придумывания правила. Набор передаётся в CSV и читаемом отчёте.
Связь с ИИ
сценарий. Генерация опирается на разрешённые найденные фрагменты; предусмотрен отказ без источника.
Что нужно сделать
Для приложенной базы из 30 вымышленных инструкций нужно разметить 60 подготовленных вопросов: факты, сравнения, отсутствие ответа и запреты доступа. На каждый вопрос укажите допустимые документы и короткое объяснение критерия успеха. В наборе есть роли, шаблон CSV и несколько контрольных примеров; полный ответ специалист готовит самостоятельно.
Исходные материалы
Готовый синтетический набор: можно скачать и начать разбор.
- demo-rag-engineer-task-documents.json
30 вымышленных инструкций с версиями и правами доступа
- demo-rag-engineer-task-questions.json
60 вопросов: факты, сравнения, ограничения доступа и отсутствие ответа
- demo-rag-engineer-task-annotation-template.csv
Таблица для разметки эталонных источников и критериев
- demo-rag-engineer-task-expected-checks.json
Контроль размера корпуса и четыре примера ожидаемого поведения
- demo-rag-engineer-task-README.txt
Описание задания, состава файлов и критериев проверки
Как примем результат
- ☐У каждого вопроса есть категория и эталонный источник либо явная отметка «ответа нет».
- ☐Не менее 12 сценариев проверяют доступ разных ролей.
- ☐Неоднозначность документа описана отдельно, без придумывания правила.
- ☐Набор передаётся в CSV и читаемом отчёте.
Перед началом
В ответе опишите подход, вопросы к исходным данным и то, что потребуется от заказчика. Не присылайте чужие данные, пароли или доступы. Все внешние действия должны быть отдельно согласованы; учебный результат можно показать локально.
