Инженерия LLM-систем

О курсе

Расскажем, как от теории с курса по NLP перейти к практическому применению больших языковых моделей, научимся обсуждать требования к разного уровня решениям и соберём собственный проект по ходу курса. Стараемся, чтобы курс был скорее направлен на инженерную точку зрения, на происходящее вокруг моделей, на обвязки, сервисы и деплой, нежели на углубление в LLM-теорию, но её тоже затронем по касательной с точки зрения оптимизаций.

1. Современные LLM (тюнинг, квантизация)

2. RAG и пререквизиты (методы поиска, выбор энкодеров)

3. Агентные системы (простые и мультиагентные)

4. Инфраструктура вокруг LLM (хостинг LLM, эмбеддингов, observing)

5. Системный дизайн LLM-based продукта

Расписание

Лекция: Понедельник 18:10. Ссылка https://x5group.ktalk.ru/qwohxxmh88wo.

Семинары: Понедельник 19:40. Ссылка https://x5group.ktalk.ru/qwohxxmh88wo.

Полезные ссылки

• Общий чат курса в telegram: https://t.me/+xXrYwaMIgDlmNTcy

• Github курса: https://github.com/xufana/llm-system-engineering/tree/main

• Диск с записями: https://drive.google.com/drive/folders/1RCnjnhOeo4jRSz6whCK2MVVv4a0P-dji?usp=sharing

• Таблица с оценками: TBA

Темы курса

(могут слегка варьироваться в дальнейшем в соответствие с запросами аудитории и техническим прогрессом в течение семестра)

1. Лекция: Анатомия системы и бюджет решения; Возможности и ограничения LLM

Семинар: Transformer с точки зрения инференса.

2. Лекция: Information retrieval: модели поиска и векторные индексы

Семинар: Хранилище и retrieval pipeline, оценка

3. Лекция: RAG: общая концепция, некоторые надстройки

Семинар: RAG: улучшение пайплайна, context engineering, промптинг

4. Лекция: Декодирование и structured output

Семинар: Constrained generation: schema/grammar, валидация, retry

5. Лекция: Агенты: workflow, single agent, multiagent

Семинар: Работа с памятью агента, MCP, харнессы

6. Лекция: Evaluation design: что можно и нужно померить, как мерить, как мерить эффекты; дизайн метрик, бенчмаркинг

Семинар: LLM-as-a-judge и evaluation в CI; измерение эффективности, воспроизводимость

7. Лекция: ML system design: от требований к архитектуре

Семинар: клиника design doc: команды переводят требования в числа, взаимная приёмка

8. Лекция: Данные и обучение языковых моделей: pretraining, майнинг данных для обучения, оценки, генерация синтетики

Семинар: Воркшоп синтетики: генерация → фильтрация → валидация

9. Лекция: Адаптация: SFT, PEFT, post-training обзорно

10. Лекция: Сборка и приборы: тесты, CI, воспроизводимость

Семинар: Observability и unit-экономика

12. Лекция: Классы отказов и безопасность

Семинар: red-team + деградация

13. Лекция: LLM inference systems; Как устроен inference engine

Семинар: Quality–latency–cost

14. Лекция: Квантизация и выбор конфигурации сервинга: Модель под ограничения железа

Семинар: Pareto frontier + ADR

Домашние задания

TBA

Преподаватели

Преподаватели
Дарья Андреева
Роман Соломатин
Александр Потехин

Формула оценок

Итог = 0,5*О_проект + 0,5*О_ДЗ + 0,1*О_бонус_контрибьют_в_методические_материалы

О_проект = 0,6*О_защита + 0,4*О_методика_оценивания О_ДЗ = 0,6*О_соревнование + 0,4*О_КТ_по_проекту

Формат экзамена: защита проекта.