Обучение с подкреплением 24/25 (МОВС23) - История изменений

Ekantonistova 2 в 02:21, 17 февраля 2025

2025-02-17T02:21:32Z

← Предыдущая версия		Версия от 02:21, 17 февраля 2025
Строка 44:		Строка 44:
	\| style="background:#eaecf0;" \| '''1''' [[Запись]] \|\| [[https://github.com/laktionov/RL-course/blob/2025/week1_intro_dynamic_programming/solve_rl_tasks_without_rl.ipynb Ноутбук]] Introduction to RL, Bellman equations, Dynamic Programming \|\| 18/01/25 \|\|		\| style="background:#eaecf0;" \| '''1''' [[Запись]] \|\| [[https://github.com/laktionov/RL-course/blob/2025/week1_intro_dynamic_programming/solve_rl_tasks_without_rl.ipynb Ноутбук]] Introduction to RL, Bellman equations, Dynamic Programming \|\| 18/01/25 \|\|
	\|-		\|-
	\| style="background:#eaecf0;" \| '''2''' [[Запись]] \|\| [[Ноутбук]] Model-free RL, tabular case \|\| 25/01/25 \|\|		\| style="background:#eaecf0;" \| '''2''' [[Запись]] \|\| [[https://github.com/laktionov/RL-course/blob/2025/week2_model_free_rl/tabular_rl.ipynb Ноутбук]] Model-free RL, tabular case \|\| 25/01/25 \|\|
	\|-		\|-
	\| style="background:#eaecf0;" \| '''3''' [[Запись]] \|\| [[Ноутбук]] Intro to deep RL: from DQN to RAINBOW and beyond \|\| 01/02/25 \|\|		\| style="background:#eaecf0;" \| '''3''' [[Запись]] \|\| [[https://github.com/laktionov/RL-course/blob/2025/week3_dqn/dqn_for_cartpole.ipynb Ноутбук]] Intro to deep RL: from DQN to RAINBOW and beyond \|\| 01/02/25 \|\|
	\|-		\|-
	\| style="background:#eaecf0;" \| '''4''' [[Запись]] \|\| [[~~Ноутбук~~]] Policy Gradients Methods, Actor-Critic \|\| 08/02/25 \|\|		\| style="background:#eaecf0;" \| '''4''' [[Запись]] \|\| [[https://github.com/laktionov/RL-course/blob/2025/week4_policy_based/reinforce.ipynb Ноутбук1] [https://github.com/laktionov/RL-course/blob/2025/week4_policy_based/a2c.ipynb Ноутбук2]] Policy Gradients Methods, Actor-Critic \|\| 08/02/25 \|\|
	\|-		\|-
	\| style="background:#eaecf0;" \| '''5''' [[Запись]] \|\| [[Ноутбук]] Advanced Actor-Critic Algorithms: TRPO, PPO \|\| 15/02/25 \|\|		\| style="background:#eaecf0;" \| '''5''' [[Запись]] \|\| [[https://github.com/laktionov/RL-course/blob/2025/week5_advanced_policy_based/trpo.ipynb Ноутбук]] Advanced Actor-Critic Algorithms: TRPO, PPO \|\| 15/02/25 \|\|
	\|-		\|-
	\| style="background:#eaecf0;" \| '''6''' [[Запись]]\|\| [[Ноутбук]] Continuous Control: DDPG, TD3, SAC \|\| 22/02/25 \|\|		\| style="background:#eaecf0;" \| '''6''' [[Запись]]\|\| [[Ноутбук]] Continuous Control: DDPG, TD3, SAC \|\| 22/02/25 \|\|

Ekantonistova 2 в 01:41, 17 февраля 2025

2025-02-17T01:41:57Z

← Предыдущая версия		Версия от 01:41, 17 февраля 2025
Строка 69:		Строка 69:
	== Домашние задания ==		== Домашние задания ==
	# HW-1 "Value- and policy-iteration algorithms" (''2 балла'') \| '''Мягкий дедлайн - 26/01/25''', Жёсткий - 02/02/25 \| [[https://github.com/laktionov/RL-course/blob/2025/hw1/hw-1-value-policy-iteration.ipynb Ноутбук]]		# HW-1 "Value- and policy-iteration algorithms" (''2 балла'') \| '''Мягкий дедлайн - 26/01/25''', Жёсткий - 02/02/25 \| [[https://github.com/laktionov/RL-course/blob/2025/hw1/hw-1-value-policy-iteration.ipynb Ноутбук]]

	# HW-2 "Tabular RL" (''2 балла'') \| '''Мягкий дедлайн - 09/02/25''', Жёсткий - 16/02/25 \| [[https://github.com/laktionov/RL-course/blob/2025/hw2/advanced_tabular_rl.ipynb Ноутбук]]		# HW-2 "Tabular RL" (''2 балла'') \| '''Мягкий дедлайн - 09/02/25''', Жёсткий - 16/02/25 \| [[https://github.com/laktionov/RL-course/blob/2025/hw2/advanced_tabular_rl.ipynb Ноутбук]]

	# HW-3 "Duelling DDQN" (''6 баллов'') \| '''Мягкий дедлайн - 02/03/25''', Жёсткий - 09/03/25 \| [[https://github.com/laktionov/RL-course/blob/2025/hw3/dueling_ddqn.ipynb Ноутбук]]		# HW-3 "Duelling DDQN" (''6 баллов'') \| '''Мягкий дедлайн - 02/03/25''', Жёсткий - 09/03/25 \| [[https://github.com/laktionov/RL-course/blob/2025/hw3/dueling_ddqn.ipynb Ноутбук]]

	# HW-4 "PPO" (''5 баллов'') \| '''Мягкий дедлайн - 09/03/25''', Жёсткий - 16/03/25 \| [[ Ноутбук]]		# HW-4 "PPO" (''5 баллов'') \| '''Мягкий дедлайн - 09/03/25''', Жёсткий - 16/03/25 \| [[ Ноутбук]]

	# HW-5 "SAC" (''5 баллов'') \| '''Мягкий дедлайн - 23/03/25''', Жёсткий - 30/03/25 \| [[ Ноутбук]]		# HW-5 "SAC" (''5 баллов'') \| '''Мягкий дедлайн - 23/03/25''', Жёсткий - 30/03/25 \| [[ Ноутбук]]

Ekantonistova 2 в 01:40, 17 февраля 2025

2025-02-17T01:40:44Z

← Предыдущая версия		Версия от 01:40, 17 февраля 2025
Строка 70:		Строка 70:
	# HW-1 "Value- and policy-iteration algorithms" (''2 балла'') \| '''Мягкий дедлайн - 26/01/25''', Жёсткий - 02/02/25 \| [[https://github.com/laktionov/RL-course/blob/2025/hw1/hw-1-value-policy-iteration.ipynb Ноутбук]]		# HW-1 "Value- and policy-iteration algorithms" (''2 балла'') \| '''Мягкий дедлайн - 26/01/25''', Жёсткий - 02/02/25 \| [[https://github.com/laktionov/RL-course/blob/2025/hw1/hw-1-value-policy-iteration.ipynb Ноутбук]]

	~~== Домашние задания ==~~
	# HW-2 "Tabular RL" (''2 балла'') \| '''Мягкий дедлайн - 09/02/25''', Жёсткий - 16/02/25 \| [[https://github.com/laktionov/RL-course/blob/2025/hw2/advanced_tabular_rl.ipynb Ноутбук]]		# HW-2 "Tabular RL" (''2 балла'') \| '''Мягкий дедлайн - 09/02/25''', Жёсткий - 16/02/25 \| [[https://github.com/laktionov/RL-course/blob/2025/hw2/advanced_tabular_rl.ipynb Ноутбук]]


	~~== Домашние задания ==~~
	# HW-3 "Duelling DDQN" (''6 баллов'') \| '''Мягкий дедлайн - 02/03/25''', Жёсткий - 09/03/25 \| [[https://github.com/laktionov/RL-course/blob/2025/hw3/dueling_ddqn.ipynb Ноутбук]]		# HW-3 "Duelling DDQN" (''6 баллов'') \| '''Мягкий дедлайн - 02/03/25''', Жёсткий - 09/03/25 \| [[https://github.com/laktionov/RL-course/blob/2025/hw3/dueling_ddqn.ipynb Ноутбук]]

	~~== Домашние задания ==~~
	# HW-4 "PPO" (''5 баллов'') \| '''Мягкий дедлайн - 09/03/25''', Жёсткий - 16/03/25 \| [[ Ноутбук]]		# HW-4 "PPO" (''5 баллов'') \| '''Мягкий дедлайн - 09/03/25''', Жёсткий - 16/03/25 \| [[ Ноутбук]]


	~~== Домашние задания ==~~
	# HW-5 "SAC" (''5 баллов'') \| '''Мягкий дедлайн - 23/03/25''', Жёсткий - 30/03/25 \| [[ Ноутбук]]		# HW-5 "SAC" (''5 баллов'') \| '''Мягкий дедлайн - 23/03/25''', Жёсткий - 30/03/25 \| [[ Ноутбук]]

Ekantonistova 2 в 01:40, 17 февраля 2025

2025-02-17T01:40:08Z

@@ Строка 1: / Строка 1: @@
 ==О курсе==
@@ Строка 68: / Строка 69: @@
 == Домашние задания ==
 # HW-1 "Value- and policy-iteration algorithms" (''2 балла'')  | '''Мягкий дедлайн - 26/01/25''', Жёсткий - 02/02/25 | [[https://github.com/laktionov/RL-course/blob/2025/hw1/hw-1-value-policy-iteration.ipynb Ноутбук]]

Ekantonistova 2 в 14:09, 22 января 2025

2025-01-22T14:09:22Z

← Предыдущая версия		Версия от 14:09, 22 января 2025
Строка 67:		Строка 67:

	== Домашние задания ==		== Домашние задания ==
	# HW-1 "Value- and policy-iteration algorithms" (''2 балла'') \| '''Мягкий дедлайн - 26/01/25''', Жёсткий - 02/02/25 \| [[https://github.com/laktionov/RL-course/blob/~~pmi_movs_2024~~/hw1/hw-1-value-policy-iteration.ipynb Ноутбук]]		# HW-1 "Value- and policy-iteration algorithms" (''2 балла'') \| '''Мягкий дедлайн - 26/01/25''', Жёсткий - 02/02/25 \| [[https://github.com/laktionov/RL-course/blob/2025/hw1/hw-1-value-policy-iteration.ipynb Ноутбук]]

Ekantonistova 2 в 19:22, 18 января 2025

2025-01-18T19:22:10Z

← Предыдущая версия		Версия от 19:22, 18 января 2025
Строка 1:		Строка 1:
	==О курсе==		==О курсе==

	Занятия проводятся в [ Zoom] '''по ~~...<день>...~~ в ~~...<время>..~~.'''		Занятия проводятся в [https://us06web.zoom.us/j/83989277435?pwd=bWZqj4WbblAPbsJaE0KSbgMmJNgnWY.1 Zoom] '''по субботам в 14:30.'''

	~~Онлайн-курс в дополнение к парам: [[ online-course link]]~~

	==Контакты==		==Контакты==

	~~Канал~~ курса в TG: [~~[ channel~~ link]]		Чат курса в TG: [https://t.me/+m2pVU4F3nsU2YmIy link]

	~~Чат курса в TG: [[ chat link]]~~		Преподаватель: Лактионов Сергей Дмитриевич

	Преподаватель:

	{\| class="wikitable"		{\| class="wikitable"
Строка 17:		Строка 13:
	! Ассистент !! Контакты		! Ассистент !! Контакты
	\|-		\|-
	\| style="background:#eaecf0;" \| \|\|		\| style="background:#eaecf0;" \| Оленина Александра \|\| [https://t.me/alex_deer @alex_deer]
	\|-		\|-
	\| style="background:#eaecf0;" \| \|\|		\| style="background:#eaecf0;" \| Сивых Егор \|\| [https://t.me/EgorSivykh @EgorSivykh]
			\|-
			\| style="background:#eaecf0;" \| Прошин Александр \|\| [https://t.me/Alex_Pro_7 @Alex_Pro_7]
			\|-
			\| style="background:#eaecf0;" \| Максутова Айза \|\| [https://t.me/aiziks @aiziks]
			\|-
			\| style="background:#eaecf0;" \| Разин Арслан \|\| [https://t.me/CrazyBadRedCat @CrazyBadRedCat]
			\|-
			\| style="background:#eaecf0;" \| Демиденко Никита \|\| [https://t.me/kalxon @kalxon]
			\|-
			\| style="background:#eaecf0;" \| Никита \|\| [https://t.me/Nn_holt @Nn_holt]
			\|-

	\|}		\|}

	==Материалы курса==		==Материалы курса==
	Ссылка на плейлист курса на YouTube: [[ YouTube-playlist]]		Ссылка на плейлист курса на YouTube: [[YouTube-playlist]]

			Записи лекций и семинаров предыдущего потока: [[https://www.youtube.com/playlist?list=PLmA-1xX7IuzAO3gkubS2I6LuqDNBs1xcP YouTube-playlist]]

	Ссылка на GitHub с материалами курса: [[ GitHub repository]]		Ссылка на GitHub с материалами курса: [[https://github.com/laktionov/RL-course/tree/2025 GitHub repository]]

	{\| class="wikitable"		{\| class="wikitable"
	\|-		\|-
	! Занятие !! Тема !! Дата ~~!! Материалы для самоподготовки к семинарам !! Дополнительные материалы~~		! Занятие !! Тема !! Дата
	\|-		\|-
	\| style="background:#eaecf0;" \| '''1''' [[ Запись]] \|\| [[ Ноутбук]] ~~\|\| ...<date>...~~ \|\| \|\|		\| style="background:#eaecf0;" \| '''1''' [[Запись]] \|\| [[https://github.com/laktionov/RL-course/blob/2025/week1_intro_dynamic_programming/solve_rl_tasks_without_rl.ipynb Ноутбук]] Introduction to RL, Bellman equations, Dynamic Programming \|\| 18/01/25 \|\|
	\|-		\|-
	\| style="background:#eaecf0;" \| '''2''' [[ Запись]] \|\| [[ Ноутбук]] \|\| ~~...<date>... \|\|~~ \|\|		\| style="background:#eaecf0;" \| '''2''' [[Запись]] \|\| [[Ноутбук]] Model-free RL, tabular case \|\| 25/01/25 \|\|
	\|-		\|-
	\| style="background:#eaecf0;" \| '''3''' [[ Запись]] \|\| [[ Ноутбук]] \|\| ~~...<date>... \|\|~~ \|\|		\| style="background:#eaecf0;" \| '''3''' [[Запись]] \|\| [[Ноутбук]] Intro to deep RL: from DQN to RAINBOW and beyond \|\| 01/02/25 \|\|
	\|-		\|-
	\| style="background:#eaecf0;" \| '''4''' [[ Запись]] \|\| [[ Ноутбук]] \|\| ~~...<date>... \|\|~~ \|\|		\| style="background:#eaecf0;" \| '''4''' [[Запись]] \|\| [[Ноутбук]] Policy Gradients Methods, Actor-Critic \|\| 08/02/25 \|\|
	\|-		\|-
	\| style="background:#eaecf0;" \| '''5''' [[ Запись]] \|\| [[ Ноутбук]] \|\| ~~...<date>... \|\|~~ \|\|		\| style="background:#eaecf0;" \| '''5''' [[Запись]] \|\| [[Ноутбук]] Advanced Actor-Critic Algorithms: TRPO, PPO \|\| 15/02/25 \|\|
	\|-		\|-
	\| style="background:#eaecf0;" \| '''6''' [[ Запись]] \|\| [[ Ноутбук]] \|\| ~~...<date>... \|\|~~ \|\|		\| style="background:#eaecf0;" \| '''6''' [[Запись]]\|\| [[Ноутбук]] Continuous Control: DDPG, TD3, SAC \|\| 22/02/25 \|\|
	\|-		\|-
	\| ~~Конец первого модуля~~ \|		\| style="background:#eaecf0;" \| '''7''' [[Запись]]\|\| [[Ноутбук]] Offline RL \|\| 01/03/25 \|\|
	\|-		\|-
	\| style="background:#eaecf0;" \| '''7''' [[ Запись]] \|\| [[ Ноутбук]] \|\| ~~...<date>... \|\|~~ \|\|		\| style="background:#eaecf0;" \| '''8''' [[Запись]] \|\| [[Ноутбук]] Multi-armed Bandits \|\| 08/03/25 \|\|
	\|-		\|-
	~~\| style="background:#eaecf0;" \| '''8''' [[ Запись]] \|\| [[ Ноутбук]] \|\| ...<date>... \|\| \|\|~~		\| style="background:#eaecf0;" \| '''9''' [[Запись]] \|\| [[Ноутбук]] Model-based RL \|\| 15/03/25 \|\|
	\|-
	\| style="background:#eaecf0;" \| '''9''' [[ Запись]] \|\| [[ Ноутбук]] ~~\|\| ...<date>... \|\| \|\|~~
	\|-
	~~\| style="background:#eaecf0;" \| '''10''' [[ Запись]] \|\| [[ Ноутбук]] \|\| ...<date>... \|\| \|\|~~
	\|-
	~~\| style="background:#eaecf0;" \| '''11''' [[ Запись]] \|\| [[ Ноутбук]] \|\| ...<date>... \|\| \|\|~~
	\|-
	~~\| style="background:#eaecf0;" \| '''12''' [[ Запись]] \|\| [[ Ноутбук]] \|\| ...<date>...~~ \|\| \|\|
	\|-		\|-
			\| style="background:#eaecf0;" \| '''10''' [[Запись]] \|\| RL in a context of LLM \|\| 22/03/25 \|\|
	\|}		\|}

	~~=== Записи консультаций ===~~


	==Формула оценивания==		==Формула оценивания==

	Оценка = .~~..<вес 1>...~~~~О<sub>...<форма контроля 1>...<~~/~~sub>~~ + .~~..<вес 2>...~~~~О<sub>...<форма контроля 2>...<~~/~~sub>~~ + .~~..<вес 3>...~~*~~О<sub>...<форма контроля~~ 3>.~~..</sub>~~		Оценка = МИН(10, 10(0.65HW/20 + 0.25RC/5 + 0.1TA/9)), где HW - сумма баллов за 5 ДЗ (2 простое и 3 сложных), RC - оценка за презентацию статьи, TA - сумма баллов за еженедельные квизы.

			== Домашние задания ==
			# HW-1 "Value- and policy-iteration algorithms" (''2 балла'') \| '''Мягкий дедлайн - 26/01/25''', Жёсткий - 02/02/25 \| [[https://github.com/laktionov/RL-course/blob/pmi_movs_2024/hw1/hw-1-value-policy-iteration.ipynb Ноутбук]]

	~~== Домашние задания ==~~
	#
	#
	#
	#

	== Литература ==		== Литература ==
	#		# [http://incompleteideas.net/book/the-book-2nd.html Reinforcement Learning: An Introduction by R.Sutton and A.Barto]
	#		# [https://github.com/yandexdataschool/Practical_RL Practical RL course by YSDA]
	#		# [https://www.davidsilver.uk/teaching/ David Silver's course]
	#		# [https://rail.eecs.berkeley.edu/deeprlcourse/ Sergey Levine's course]
			# [https://arxiv.org/abs/2201.09746 Reinforcement Learning Textbook (in Russian)]

Gazuev: Новая страница: «==О курсе== Занятия проводятся в [ Zoom] '''по ...<день>... в ...<время>...''' Онлайн-курс в дополнение…»

2025-01-11T17:21:26Z

Новая страница: «==О курсе== Занятия проводятся в [ Zoom] '''по ...<день>... в ...<время>...''' Онлайн-курс в дополнение…»

Новая страница

==О курсе==

Занятия проводятся в [ Zoom] '''по ...<день>... в ...<время>...'''

Онлайн-курс в дополнение к парам: [[ online-course link]]

==Контакты==

Канал курса в TG: [[ channel link]]

Чат курса в TG: [[ chat link]]

Преподаватель:

{| class="wikitable"
|-
! Ассистент !! Контакты
|-
| style="background:#eaecf0;" | ||
|-
| style="background:#eaecf0;" | ||
|}

==Материалы курса==
Ссылка на плейлист курса на YouTube: [[ YouTube-playlist]]

Ссылка на GitHub с материалами курса: [[ GitHub repository]]

{| class="wikitable"
|-
! Занятие !! Тема !! Дата !! Материалы для самоподготовки к семинарам !! Дополнительные материалы
|-
| style="background:#eaecf0;" | '''1''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| style="background:#eaecf0;" | '''2''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| style="background:#eaecf0;" | '''3''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| style="background:#eaecf0;" | '''4''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| style="background:#eaecf0;" | '''5''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| style="background:#eaecf0;" | '''6''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| Конец первого модуля |
|-
| style="background:#eaecf0;" | '''7''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| style="background:#eaecf0;" | '''8''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| style="background:#eaecf0;" | '''9''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| style="background:#eaecf0;" | '''10''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| style="background:#eaecf0;" | '''11''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| style="background:#eaecf0;" | '''12''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
|}

=== Записи консультаций ===

==Формула оценивания==

Оценка = ...<вес 1>...*О...<форма контроля 1>... + ...<вес 2>...*О...<форма контроля 2>... + ...<вес 3>...*О...<форма контроля 3>...

== Домашние задания ==
#
#
#
#

== Литература ==
#
#
#
#