Deep Learning School

NLP: от эмбеддингов до RAG

10 этапов по открыто доступным материалам Deep Learning School: лекции, ноутбуки и самостоятельные задания с сохранением личного прогресса.

10 модулейНа русскомСредний

Самостоятельный маршрут по второй части Deep Learning School. Видеозаписи с точными ссылками источника доступны во встроенном плеере; ссылки на YouTube и VK Видео сохранены. Остальные материалы открываются у авторов на GitHub или Kaggle; ноутбуки можно открыть в Colab. Аишка сохраняет последовательность и ваш прогресс ознакомления. Это не официальный поток DLS: преподавательская проверка, конкурсные оценки и сертификат DLS не предоставляются.

Чему научитесь

Пройдёте путь от текстовых признаков и рекуррентных моделей до Transformer, дообучения, RAG, интерпретируемости и детекции текста. Практические результаты зависят от самостоятельного выполнения исходных ноутбуков.

Перед началом

Для работы с ноутбуками рекомендуются Python, NumPy, pandas, основы машинного обучения и PyTorch. Нужна собственная среда Jupyter или Colab; часть материалов на английском. Это рекомендация редакции по содержимому ноутбуков.

Для кого

Для тех, кто уже работает с Python и хочет последовательно изучить обработку естественного языка и языковые модели.

Как проходит обучение

Материал

Программа

01Введение в NLP и эмбеддинги словТем: 3

Теория

Задачи обработки языка и аудиоОткрытый материал

Обзор задач NLP и переход от текста к числовому представлению.

Материалы Deep Learning School. Лекцию ведёт Татьяна Гайнцева.

Задачи обработки языка и аудио · Deep Learning SchoolОткрыть на YouTube
YouTubeVK ВидеоПрезентация · Word Embeddings
Bag of Words и латентный семантический анализМатериал
Обучение векторов Word2VecМатериал
FastText, GloVe и использование эмбеддинговМатериал

Практика

Подготовка текста и классификацияМатериал

Самостоятельная работа

Ранжирование похожих вопросовМатериал
02Рекуррентные нейронные сетиТем: 3

Теория

Как устроена RNNМатериал
Как обучается RNNМатериал
Активации и варианты рекуррентной сетиМатериал
Устройства LSTM и GRUМатериал

Практика

Классификатор на PyTorchМатериал

Самостоятельная работа

Тематика новостных текстовМатериал
03Языковое моделированиеТем: 3

Теория

Задача и оценка языковой моделиМатериал
N-граммные моделиМатериал
Языковая модель на RNNМатериал
Выбор токенов при генерацииМатериал

Практика

Посимвольная генерацияМатериал

Самостоятельная работа

Генерация на уровне словМатериал
04Машинный перевод и вниманиеТем: 2

Теория

Seq2Seq и механизм вниманияМатериал

Практика

Перевод последовательностейМатериал
05Архитектура TransformerТем: 2

Теория

Блоки трансформераМатериал

Практика

Attention и BERT на новостных данныхМатериал
06Предобучение и дообучениеТем: 3

Теория

Перенос знаний в NLPМатериал

Практика

Суммаризация с BARTМатериал

Самостоятельная работа

Классификация математических задачМатериал
07Знакомство с GPTТем: 1

Теория

Архитектура и история GPTМатериал
08GPT и поиск по внешним знаниям: RAGТем: 3

Теория

Развитие GPT и работа с контекстомМатериал

Практика

Сборка RAG-пайплайнаМатериал

Самостоятельная работа

Туристический RAGМатериал
09Интерпретируемость трансформеровТем: 2

Теория

Внутренние механизмы трансформераМатериал

Практика

Анализ модели с TransformerLensМатериал
10Детекция сгенерированного текстаТем: 3

Теория

Методы и ограничения детекцииМатериал

Практика

Пороговый детектор и его устойчивостьМатериал

Самостоятельная работа

Задание на Kaggle: You Are BotМатериал

Отзывы учащихся

Отзывов пока нет. Их могут оставить участники после начала обучения и первого выполненного шага.

Материалы и авторство

Исходные учебные материалы — Deep Learning School. Аишка организует самостоятельный маршрут со ссылками; это не официальный поток DLS, не проверка преподавателями DLS и не сертификат DLS.

Исходная программа

Личный прогресс ознакомления с материалами; не подтверждённая квалификация.