Обучение с подкреплением (ИИ24, 7 модуль)

О курсе

Занятия проводятся в Zoom по субботам с 13:00 МСК

Контакты

Чат курса в TG: [[1]]

Преподаватель: Сергей Лактионов, Вячеслав Бучков

Ассистент	Контакты

Материалы курса

Ссылка на плейлист курса на YouTube: [YouTube-playlist]

Ссылка на плейлист курса в VKVideo: [VKVideo-playlist]

Ссылка на GitHub с материалами курса: [GitHub repository]

Занятие	Тема	Дата	Дополнительные материалы
1 [YouTube] [VKVideo]	Intro to RL, Dynamic Programming	10/01/2026
2 [YouTube] [VKVideo]	Model-Free Tabular RL: Q-Learning, SARSA	17/01/2026
3 [YouTube] [VKVideo]	Intro to Deep RL: DQN, RAINBOW and beyond	24/01/2026
4 [YouTube] [VKVideo]	Policy-Based Methods: Policy Gradient, REINFORCE, A2C	31/01/2026
5 [YouTube] [VKVideo]	Advanced Policy-Based: TRPO, PPO and beyond	07/02/2026
6 Youtube VKVideo	Continuous Control: DDPG, SAC and beyond	14/02/2026
7 Youtube VKVideo	Offline RL	21/02/2026
8 Youtube VKVideo	Multi-Armed Bandits	28/02/2026
9 Youtube VKVideo	Model-based RL: AlphaZero and friends	07/03/2026
10 Youtube VKVideo	RL in a context of LLMs	14/03/2026
11 Youtube VKVideo	Practical RL	21/03/2026

Формула оценивания

Оценка = МИН(10, 10*(0.65*HW + 0.10*TA + 0.25*RC)), где

• HW - сумма баллов за (как минимум) 5 ДЗ;
• RC - оценка за презентацию статьи, посвященной новым алгоритмам или неожиданным применениям RL-парадигмы в индустрии;
• TA - сумма баллов за еженедельные квизы (суммарно 10 квизов).

Для каждого домашнего задания есть мягкий дедлайн, сдача после которого в течение недели до жёсткого дедлайна оценивается со штрафом 5% от оценки за ДЗ за каждый день просрочки.

Литература

1. Reinforcement Learning: An Introduction by R.Sutton and A.Barto
2. Practical RL course by YSDA
3. David Silver's course
4. Sergey Levine's course
5. Reinforcement Learning Textbook (in Russian)