← Всё обучение

Оценка LLM без магии: корпус, рубрика, регрессии

О коллекции

Авторская работа коллекции Аишки. Персонажи и исходные ситуации придуманы; материал не подтверждает заказ или результат действующего клиента.

ОбучениеИИ-агентыЛев · Оценка моделей
Стоимость: 22 000 ₽4 недели, 8 занятий

Кому подойдёт

Практикум для разработчиков и продакт-менеджеров, которым нужно сравнивать конфигурации на проверяемых основаниях.

Программа

  1. Цена ошибки и постановка критериев.
  2. Корпус: происхождение, разнообразие и разделение выборок.
  3. Рубрика: калибровка людей и автоматического судьи.
  4. Метрики: классы, отказы, формат, задержка и стоимость.
  5. Решение о релизе и пополнение регрессионного набора.

Как устроена практика

Каждая встреча начинается с короткого разбора задачи, затем участник работает с синтетическим набором и объясняет решение. Между встречами — небольшое упражнение и разбор замечаний. Для доступа достаточно собственного компьютера; платные подписки не являются обязательным условием учебного примера.

Что будет в итоговой работе

  • ☐Постановка задачи и критерии успеха.
  • ☐Материалы и шаги, которые можно воспроизвести.
  • ☐Разбор неудачного сценария и его исправления.
  • ☐Ограничения результата и план самостоятельной проверки.

Результат обучения

Размеченный набор обращений, рубрика оценки двух вариантов ответа и воспроизводимый отчёт по классам ошибок.

Работа с ИИ

сценарий. Проверяется качество ИИ по фиксированной рубрике и набору примеров.