Методы оптимизации в машинном обучении 2022 - История изменений

Dkropotov в 15:25, 10 июня 2022

2022-06-10T15:25:26Z

← Предыдущая версия		Версия от 15:25, 10 июня 2022
Строка 32:		Строка 32:
	\|-		\|-
	\|}		\|}

			== Экзамен ==
			Экзамен по курсу можно сдавать как в письменном, так и устном формате. В случае сдачи экзамена в письменном формате итоговая оценка по курсу не может быть больше 7. Студенты, находящиеся на дистанционном обучении, сдают экзамен в устном формате в зуме.

			[https://docs.google.com/document/d/1W-plJhmcgFiQWTAnaBeh0kLIRd16A75bNyGjYXZjXLQ/edit?usp=sharing Вопросы к устному экзамену + теоретический минимум]

			[https://drive.google.com/file/d/1zjeTxRiUAt5bKzajyqzoDEuG6uMAXm97/view?usp=sharing Пример задания на письменном экзамене]

	== Правила сдачи заданий ==		== Правила сдачи заданий ==

Dkropotov: /* Лекции и семинары */

2022-06-01T15:59:42Z

Лекции и семинары

← Предыдущая версия		Версия от 15:59, 1 июня 2022
Строка 126:		Строка 126:
	\| align="center"\|16		\| align="center"\|16
	\| 31 мая 2022		\| 31 мая 2022
	\| ~~Оптимизация по комплексным переменным.~~ Дифференцирование через процесс оптимизации. \|\| ~~[https://www.eurecom.fr/~gesbert/papers/short_matrix_diff.pdf Статья 1]<br>~~ [https://arxiv.org/abs/1703.00443 Статья 2]<br> [https://arxiv.org/abs/1502.03492 Статья 3]		\| Дифференцирование через процесс оптимизации. \|\| [https://arxiv.org/abs/1703.00443 Статья 1]<br> [https://arxiv.org/abs/1502.03492 Статья 2]
	\|-		\|-
	\|}		\|}

Dkropotov: /* Лекции и семинары */

2022-05-24T17:08:05Z

Лекции и семинары

← Предыдущая версия		Версия от 17:08, 24 мая 2022
Строка 118:		Строка 118:
	\| align="center"\|14		\| align="center"\|14
	\| 17 мая 2022		\| 17 мая 2022
	\| ~~Ускоренный оптимальный метод Нестерова~~. Проекции и проксимальные операторы. \|\|		\| Стохастическая оптимизация: методы SGD, SAG, SVRG. Проекции и проксимальные операторы. \|\|
	\|-		\|-
	\| align="center"\|15		\| align="center"\|15
	\| 24 мая 2022		\| 24 мая 2022
	\| Стохастическая оптимизация~~. Методы~~ Adagrad, RMSprop, ADAM. \|\|		\| Стохастическая оптимизация: методы SQN, NIM, Adagrad, RMSprop, ADAM. Автоматическое дифференцирование по графу вычислений. \|\| [https://arxiv.org/abs/1401.7020 Статья 1]<br> [https://proceedings.mlr.press/v48/rodomanov16.html Статья 2]
	\|-		\|-
	\| align="center"\|16		\| align="center"\|16
	\| 31 мая 2022		\| 31 мая 2022
	\| ~~Автоматическое дифференцирование~~ по ~~графу вычислений~~. Дифференцирование через процесс оптимизации~~. Сведение дискретных задач оптимизации к непрерывным~~. \|\| [https://arxiv.org/abs/1703.00443 Статья 1]<br> [https://arxiv.org/abs/1502.03492 Статья 2]		\| Оптимизация по комплексным переменным. Дифференцирование через процесс оптимизации. \|\| [https://www.eurecom.fr/~gesbert/papers/short_matrix_diff.pdf Статья 1]<br> [https://arxiv.org/abs/1703.00443 Статья 2]<br> [https://arxiv.org/abs/1502.03492 Статья 3]
	\|-		\|-
	\|}		\|}

Dkropotov в 11:13, 11 апреля 2022

2022-04-11T11:13:06Z

← Предыдущая версия		Версия от 11:13, 11 апреля 2022
Строка 97:		Строка 97:
	\|-		\|-
	\| align="center"\|11		\| align="center"\|11
	\| 12 апреля ~~2021~~		\| 12 апреля 2022
	\| ~~Негладкая выпуклая оптимизация. Субградиентный метод. Субдифференциальное исчисление~~. \|\| ~~[http://www.machinelearning.ru/wiki/images/e/e5/MOMO18_Seminar10.pdf Конспект]~~		\| Прямо-двойственные методы для решения выпуклых задач условной оптимизации. \|\|
	\|-		\|-
	\| align="center"\|12		\| align="center"\|12
	\| 19 апреля ~~2021~~		\| 19 апреля 2022
	\| ~~Проксимальные методы оптимизации~~. ~~Сопряженные функции и нормы~~. \|\| [http://www.machinelearning.ru/wiki/images/1/15/~~MOMO18_Seminar8~~.pdf Конспект]		\| Негладкая выпуклая оптимизация. Субградиентный метод. Субдифференциальное исчисление. \|\| [http://www.machinelearning.ru/wiki/images/e/e5/MOMO18_Seminar10.pdf Конспект]
	\|-		\|-
	\| align="center"\|13		\| align="center"\|13
	\| 26 апреля ~~2021~~		\| 26 апреля 2022
	\| ~~Ускоренный оптимальный метод Нестерова~~. ~~Проекции~~ и ~~проксимальные операторы~~. \|\|		\| Проксимальные методы оптимизации. Сопряженные функции и нормы. \|\| [http://www.machinelearning.ru/wiki/images/1/15/MOMO18_Seminar8.pdf Конспект]
	\|-		\|-
	\| align="center"\|--		\| align="center"\|--
Строка 118:		Строка 118:
	\| align="center"\|14		\| align="center"\|14
	\| 17 мая 2022		\| 17 мая 2022
	\| ~~Стохастическая оптимизация~~. ~~Автоматическое дифференцирование по графу вычислений~~. \|\|		\| Ускоренный оптимальный метод Нестерова. Проекции и проксимальные операторы. \|\|
	\|-		\|-
	\| align="center"\|15		\| align="center"\|15
	\| 24 мая 2022		\| 24 мая 2022
	\| ~~Дифференцирование через процесс оптимизации~~. ~~Сведение дискретных задач оптимизации к непрерывным~~. \|\| ~~[https://arxiv.org/abs/1703.00443 Статья 1]<br> [https://arxiv.org/abs/1502.03492 Статья 2]~~		\| Стохастическая оптимизация. Методы Adagrad, RMSprop, ADAM. \|\|
	\|-		\|-
	\| align="center"\|16		\| align="center"\|16
	\| 31 мая 2022		\| 31 мая 2022
	\| ~~Ускоренный стохастический метод~~ оптимизации ~~SDCA~~. ~~Методы Adagrad, RMSprop, ADAM~~. \|\| [https://~~www.jmlr~~.org/~~papers~~/~~volume14/shalev-shwartz13a/shalev-shwartz13a~~.~~pdf~~ Статья 1]<br> [https://~~papers~~.~~nips.cc/paper/2013~~/~~file~~/~~077e29b11be80ab57e1a2ecabb7da330-Paper~~.~~pdf~~ Статья 2]		\| Автоматическое дифференцирование по графу вычислений. Дифференцирование через процесс оптимизации. Сведение дискретных задач оптимизации к непрерывным. \|\| [https://arxiv.org/abs/1703.00443 Статья 1]<br> [https://arxiv.org/abs/1502.03492 Статья 2]
	\|-		\|-
	\|}		\|}

Dkropotov в 10:01, 5 апреля 2022

2022-04-05T10:01:11Z

← Предыдущая версия		Версия от 10:01, 5 апреля 2022
Строка 74:		Строка 74:
	\| 01 марта 2022		\| 01 марта 2022
	\| Квазиньютоновские методы оптимизации. Выпуклые функции. \|\| [https://drive.google.com/file/d/1glvkT1g6C405RT773KwUdKYRW_bhOKct/view?usp=sharing Конспект]		\| Квазиньютоновские методы оптимизации. Выпуклые функции. \|\| [https://drive.google.com/file/d/1glvkT1g6C405RT773KwUdKYRW_bhOKct/view?usp=sharing Конспект]
			[http://www.machinelearning.ru/wiki/images/1/10/MOMO18_Seminar6.pdf Конспект]
	\|-		\|-
	\| align="center"\|--		\| align="center"\|--
Строка 93:		Строка 94:
	\| align="center"\|10		\| align="center"\|10
	\| 05 апреля 2022		\| 05 апреля 2022
	\| Метод Ньютона и метод логарифмических барьеров для решения выпуклых задач условной оптимизации. ~~Матричные преобразования~~ в ~~квазиньютоновских методах~~. \|\| [http://www.machinelearning.ru/wiki/images/8/81/MOMO12_ipm.pdf Конспект]<br>~~[http://www.machinelearning.ru/wiki/images/1/10/MOMO18_Seminar6.pdf Конспект]~~		\| Метод Ньютона и метод логарифмических барьеров для решения выпуклых задач условной оптимизации. Применение метода лог. барьеров для двойственной задачи в SVM. \|\| [http://www.machinelearning.ru/wiki/images/8/81/MOMO12_ipm.pdf Конспект]<br>
	\|-		\|-
	\| align="center"\|11		\| align="center"\|11

Dkropotov в 16:31, 23 марта 2022

2022-03-23T16:31:36Z

← Предыдущая версия		Версия от 16:31, 23 марта 2022
Строка 7:		Строка 7:
	! Группа !! Расписание !! Инвайт для anytask		! Группа !! Расписание !! Инвайт для anytask
	\|-		\|-
	\| align="center"\|191 \|\| вторник, лекция в 16:20 (R306), семинар в 17:50 (~~R207~~) \|\| align="center"\|ctXiGBZ		\| align="center"\|191 \|\| вторник, лекция в 16:20 (R306), семинар в 17:50 (R208) \|\| align="center"\|ctXiGBZ
	\|-		\|-
	\| align="center"\|192 \|\| вторник, лекция в 16:20 (R306), семинар в 17:50 (~~R408~~) \|\| align="center"\|SAWVLsf		\| align="center"\|192 \|\| вторник, лекция в 16:20 (R306), семинар в 17:50 (R207) \|\| align="center"\|SAWVLsf
	\|-		\|-
	\| align="center"\|193 \|\| вторник, лекция в 16:20 (R306), семинар в 18:10 (~~R306~~) \|\| align="center"\|I2KuKz3		\| align="center"\|193 \|\| вторник, лекция в 16:20 (R306), семинар в 18:10 (R307) \|\| align="center"\|I2KuKz3
	\|-		\|-
	\| Остальные студенты \|\| вторник, лекция в 16:20 (R306), можно выбрать семинар любой из групп 191, 192, 193 \|\| align="center"\|HQtrYHW		\| Остальные студенты \|\| вторник, лекция в 16:20 (R306), можно выбрать семинар любой из групп 191, 192, 193 \|\| align="center"\|HQtrYHW

Dkropotov в 13:43, 21 марта 2022

2022-03-21T13:43:53Z

← Предыдущая версия		Версия от 13:43, 21 марта 2022
Строка 7:		Строка 7:
	! Группа !! Расписание !! Инвайт для anytask		! Группа !! Расписание !! Инвайт для anytask
	\|-		\|-
	\| align="center"\|191 \|\| вторник, лекция в 16:20 (~~R305~~), семинар в 17:50 (~~R208~~) \|\| align="center"\|ctXiGBZ		\| align="center"\|191 \|\| вторник, лекция в 16:20 (R306), семинар в 17:50 (R207) \|\| align="center"\|ctXiGBZ
	\|-		\|-
	\| align="center"\|192 \|\| вторник, лекция в 16:20 (~~R305~~), семинар в 17:50 (~~R207~~) \|\| align="center"\|SAWVLsf		\| align="center"\|192 \|\| вторник, лекция в 16:20 (R306), семинар в 17:50 (R408) \|\| align="center"\|SAWVLsf
	\|-		\|-
	\| align="center"\|193 \|\| вторник, лекция в 16:20 (~~R305~~), семинар в 18:10 (~~R307~~) \|\| align="center"\|I2KuKz3		\| align="center"\|193 \|\| вторник, лекция в 16:20 (R306), семинар в 18:10 (R306) \|\| align="center"\|I2KuKz3
	\|-		\|-
	\| Остальные студенты \|\| вторник, лекция в 16:20 (~~R305~~), можно выбрать семинар любой из групп 191, 192, 193 \|\| align="center"\|HQtrYHW		\| Остальные студенты \|\| вторник, лекция в 16:20 (R306), можно выбрать семинар любой из групп 191, 192, 193 \|\| align="center"\|HQtrYHW
	\|}		\|}

Dkropotov в 15:05, 13 марта 2022

2022-03-13T15:05:36Z

← Предыдущая версия		Версия от 15:05, 13 марта 2022
Строка 17:		Строка 17:

	Группа в Telegram для вопросов по курсу: [https://t.me/+n8fxyed6baQ5YWEy ссылка]		Группа в Telegram для вопросов по курсу: [https://t.me/+n8fxyed6baQ5YWEy ссылка]

	Видеозаписи занятий: [https://www.youtube.com/playlist?list=PLEwK9wdS5g0rXdf6CJyPwjoD0HrnzLqLD ссылка]		Видеозаписи занятий: [https://www.youtube.com/playlist?list=PLEwK9wdS5g0rXdf6CJyPwjoD0HrnzLqLD ссылка]

Dkropotov в 15:05, 13 марта 2022

2022-03-13T15:05:24Z

← Предыдущая версия		Версия от 15:05, 13 марта 2022
Строка 17:		Строка 17:

	Группа в Telegram для вопросов по курсу: [https://t.me/+n8fxyed6baQ5YWEy ссылка]		Группа в Telegram для вопросов по курсу: [https://t.me/+n8fxyed6baQ5YWEy ссылка]
			Видеозаписи занятий: [https://www.youtube.com/playlist?list=PLEwK9wdS5g0rXdf6CJyPwjoD0HrnzLqLD ссылка]

	== Система выставления оценок по курсу ==		== Система выставления оценок по курсу ==

Dkropotov: /* Лекции и семинары */

2022-02-03T12:18:57Z

Лекции и семинары

← Предыдущая версия		Версия от 12:18, 3 февраля 2022
Строка 55:		Строка 55:
	\| align="center"\|3		\| align="center"\|3
	\| 01 февраля 2022		\| 01 февраля 2022
	\| Метод градиентного спуска \|\|		\| Метод градиентного спуска. Разностное дифференцирование. \|\|
	\|-		\|-
	\| align="center"\|4		\| align="center"\|4