Обучение с подкреплением (ИИ24, 7 модуль)

О курсе

Занятия проводятся в Zoom по субботам с 13:00 МСК

Контакты

Чат курса в TG: [link]

Преподаватель: Сергей Лактионов, Вячеслав Бучков

Ассистент	Контакты

Материалы курса

Ссылка на плейлист курса на YouTube: [YouTube-playlist]

Ссылка на плейлист курса в VKVideo: [VKVideo-playlist]

Ссылка на GitHub с материалами курса: [GitHub repository]

Занятие	Тема	Дата	Дополнительные материалы
1 [YouTube] [VKVideo]	Intro to RL, Dynamic Programming	10/01/2026
2 [YouTube] [VKVideo]	Model-Free Tabular RL: Q-Learning, SARSA	17/01/2026
3 [YouTube] [VKVideo]	Intro to Deep RL: DQN, RAINBOW and beyond	24/01/2026	[DQN], [DRQN], [RAINBOW], [APE-X]
4 [YouTube] [VKVideo]	Policy-Based Methods: Policy Gradient, REINFORCE, A2C	31/01/2026	[Policy Gradient], [Actor-Critic], [REINFORCE in 2024]
5 [YouTube] [VKVideo]	Advanced Policy-Based: TRPO, PPO and beyond	07/02/2026	[TRPO], [PPO], [TRPO vs PPO] [37 implementation details of PPO] [Wasserstein distance вместо KL] [Sinkhorn distance вместо KL] [Improvement Lower Bound в TRPO] [TV Distance] [Sigmoid Soft-Clipping] [Soft-Clipping in LLM]
6 Youtube VKVideo	Continuous Control: DDPG, SAC and beyond	14/02/2026	[DDPG], [TD3], [SAC], [TQC] [MuJoCo]
7 Youtube VKVideo	Offline RL	21/02/2026
8 Youtube VKVideo	Multi-Armed Bandits	28/02/2026
9 Youtube VKVideo	Model-based RL: AlphaZero and friends	07/03/2026
10 Youtube VKVideo	RL in a context of LLMs	14/03/2026
11 Youtube VKVideo	Practical RL	21/03/2026

Формула оценивания

Оценка = МИН(10, 10*(0.65*HW + 0.10*TA + 0.25*RC)), где

• HW - сумма баллов за (как минимум) 5 ДЗ;
• RC - оценка за презентацию статьи, посвященной новым алгоритмам или неожиданным применениям RL-парадигмы в индустрии;
• TA - сумма баллов за еженедельные квизы (суммарно 10 квизов).

Для каждого домашнего задания есть мягкий дедлайн, сдача после которого в течение недели до жёсткого дедлайна оценивается со штрафом 5% от оценки за ДЗ за каждый день просрочки.

Домашние задания

1. HW-1 "Value- and policy-iteration algorithms" (2 балла) | Мягкий дедлайн - 23/01/26, Жёсткий - 30/01/26 | [Ноутбук]
2. HW-2 "SARSA(\lambda) and EV-SARSA(\lambda)" (3 балла) | Мягкий дедлайн - 31/01/26 04.02.2026 23:59, Жёсткий - 07/02/26 11.02.2026 23:59 | [Ноутбук]
3. HW-3 "DQN Implementation" (6 баллов) | Мягкий дедлайн - 20/02/26, Жёсткий - 27/02/26 | [Ноутбук]

Литература

1. Reinforcement Learning: An Introduction by R.Sutton and A.Barto
2. Practical RL course by YSDA
3. David Silver's course
4. Sergey Levine's course
5. Reinforcement Learning Textbook (in Russian)