Методы оптимизации в машинном обучении - История изменений

Dkropotov в 07:56, 19 июня 2021

2021-06-19T07:56:34Z

← Предыдущая версия		Версия от 07:56, 19 июня 2021
Строка 19:		Строка 19:
	[https://drive.google.com/file/d/1FZPTSNvlVH8rsuA1s58eWoL5gKXPnbzq/view?usp=sharing Список вопросов к экзамену + теоретический минимум]		[https://drive.google.com/file/d/1FZPTSNvlVH8rsuA1s58eWoL5gKXPnbzq/view?usp=sharing Список вопросов к экзамену + теоретический минимум]

	Онлайн-консультация к экзамену запланирована на 22 ~~июля~~, начало в 13-00.		Онлайн-консультация к экзамену запланирована на 22 июня, начало в 13-00.

	== Система выставления оценок по курсу ==		== Система выставления оценок по курсу ==

Dkropotov: /* Экзамен */

2021-06-17T18:44:09Z

Экзамен

← Предыдущая версия		Версия от 18:44, 17 июня 2021
Строка 18:		Строка 18:
	== Экзамен ==		== Экзамен ==
	[https://drive.google.com/file/d/1FZPTSNvlVH8rsuA1s58eWoL5gKXPnbzq/view?usp=sharing Список вопросов к экзамену + теоретический минимум]		[https://drive.google.com/file/d/1FZPTSNvlVH8rsuA1s58eWoL5gKXPnbzq/view?usp=sharing Список вопросов к экзамену + теоретический минимум]

			Онлайн-консультация к экзамену запланирована на 22 июля, начало в 13-00.

	== Система выставления оценок по курсу ==		== Система выставления оценок по курсу ==

Dkropotov в 18:27, 17 июня 2021

2021-06-17T18:27:42Z

← Предыдущая версия		Версия от 18:27, 17 июня 2021
Строка 2:		Строка 2:
	Методы оптимизации лежат в основе решения многих задач компьютерных наук. Например, в машинном обучении задачу оптимизации необходимо решать каждый раз при настройке какой-то модели алгоритмов по данным, причём от эффективности решения соответствующей задачи оптимизации зависит практическая применимость самого метода машинного обучения. Данный курс посвящен изучению классических и современных методов решения задач непрерывной оптимизации (в том числе невыпуклых), а также особенностям применения этих методов в задачах оптимизации, возникающих в машинном обучении. Основной акцент в изложении делается на практические аспекты реализации и использования методов. Целью курса является выработка у слушателей навыков по подбору подходящего метода для своей задачи, наиболее полно учитывающего её особенности.		Методы оптимизации лежат в основе решения многих задач компьютерных наук. Например, в машинном обучении задачу оптимизации необходимо решать каждый раз при настройке какой-то модели алгоритмов по данным, причём от эффективности решения соответствующей задачи оптимизации зависит практическая применимость самого метода машинного обучения. Данный курс посвящен изучению классических и современных методов решения задач непрерывной оптимизации (в том числе невыпуклых), а также особенностям применения этих методов в задачах оптимизации, возникающих в машинном обучении. Основной акцент в изложении делается на практические аспекты реализации и использования методов. Целью курса является выработка у слушателей навыков по подбору подходящего метода для своей задачи, наиболее полно учитывающего её особенности.

	'''Преподаватели''': Кропотов Дмитрий Александрович, Гадецкий Артём, Кодрян Максим, Шаповалов Никита~~, Таскынов Ануар~~, Бобров Евгений.		'''Преподаватели''': Кропотов Дмитрий Александрович, Гадецкий Артём, Кодрян Максим, Шаповалов Никита, Бобров Евгений.

	~~'''Внимание! Начиная с 6 апреля занятия проводятся очно в ауд. R406.'''~~

	{\| class="wikitable"		{\| class="wikitable"
Строка 17:		Строка 15:

	Видеозаписи занятий: [https://www.youtube.com/playlist?list=PLEwK9wdS5g0r4mynGsdH8QDme1VNMXwzz ссылка]		Видеозаписи занятий: [https://www.youtube.com/playlist?list=PLEwK9wdS5g0r4mynGsdH8QDme1VNMXwzz ссылка]

			== Экзамен ==
			[https://drive.google.com/file/d/1FZPTSNvlVH8rsuA1s58eWoL5gKXPnbzq/view?usp=sharing Список вопросов к экзамену + теоретический минимум]

	== Система выставления оценок по курсу ==		== Система выставления оценок по курсу ==

Dkropotov: /* Система выставления оценок по курсу */

2021-06-02T15:00:59Z

Система выставления оценок по курсу

← Предыдущая версия		Версия от 15:00, 2 июня 2021
Строка 19:		Строка 19:

	== Система выставления оценок по курсу ==		== Система выставления оценок по курсу ==
	В рамках курса предполагается ~~четыре~~ теоретических и ~~четыре практических домашних заданий~~, а также устный экзамен в конце курса. Каждое задание и экзамен оцениваются исходя из 10-ти баллов. За задания можно получить дополнительные баллы за выполнение бонусных пунктов. Общая оценка за курс вычисляется по правилу Округление_вверх(0.7<Оценка_за_семестр> + 0.3<Оценка_за_экзамен>). <Оценка_за_семестр> = min(10, <Суммарная_оценка_за_задания>*10 / <Максимальная_суммарная_оценка_за_задания_без_бонусов>). Итоговая оценка за курс совпадает с общей оценкой при соблюдении следующих дополнительных условий:		В рамках курса предполагается два теоретических и одно практическое домашнее задание, а также устный экзамен в конце курса. Каждое задание и экзамен оцениваются исходя из 10-ти баллов. За задания можно получить дополнительные баллы за выполнение бонусных пунктов. Общая оценка за курс вычисляется по правилу Округление_вверх(0.6<Оценка_за_семестр> + 0.4<Оценка_за_экзамен>). <Оценка_за_семестр> = min(10, <Суммарная_оценка_за_задания>*10 / <Максимальная_суммарная_оценка_за_задания_без_бонусов>). Итоговая оценка за курс совпадает с общей оценкой при соблюдении следующих дополнительных условий:
	{\| class="wikitable"		{\| class="wikitable"
	! Итоговая оценка !! Условия		! Итоговая оценка !! Условия
	\|-		\|-
	\|align="center"\|>=8 \|\| Сданы все задания, кроме одного ~~(на оценку >=4)~~, экзамен сдан на оценку >= 6		\|align="center"\|>=8 \|\| Сданы все задания, кроме одного, экзамен сдан на оценку >= 6
	\|-		\|-
	\|align="center"\|>=6 \|\| Сданы все задания, кроме ~~двух (на оценку >=4)~~, экзамен сдан на оценку >= 4		\|align="center"\|>=6 \|\| Сданы все задания, кроме одного, экзамен сдан на оценку >= 4
	\|-		\|-
	\|align="center"\|>=4 \|\| Сданы все задания, кроме ~~трех (на оценку >=4)~~, экзамен сдан на оценку >= 4		\|align="center"\|>=4 \|\| Сданы все задания, кроме двух, экзамен сдан на оценку >= 4
	\|-		\|-
	\|}		\|}

Dkropotov: /* Лекции и семинары */

2021-06-02T14:58:34Z

Лекции и семинары

← Предыдущая версия		Версия от 14:58, 2 июня 2021
Строка 116:		Строка 116:
	\| 18 мая 2021		\| 18 мая 2021
	\| Дифференцирование через процесс оптимизации. Сведение дискретных задач оптимизации к непрерывным. \|\| [https://arxiv.org/abs/1703.00443 Статья 1]<br> [https://arxiv.org/abs/1502.03492 Статья 2]		\| Дифференцирование через процесс оптимизации. Сведение дискретных задач оптимизации к непрерывным. \|\| [https://arxiv.org/abs/1703.00443 Статья 1]<br> [https://arxiv.org/abs/1502.03492 Статья 2]
			\|-
			\| align="center"\|19
			\| 25 мая 2021
			\| Ускоренный стохастический метод оптимизации SDCA. Методы Adagrad, RMSprop, ADAM. \|\| [https://www.jmlr.org/papers/volume14/shalev-shwartz13a/shalev-shwartz13a.pdf Статья 1]<br> [https://papers.nips.cc/paper/2013/file/077e29b11be80ab57e1a2ecabb7da330-Paper.pdf Статья 2]
	\|-		\|-
	\|}		\|}

Dkropotov: /* Лекции и семинары */

2021-05-18T11:35:18Z

Лекции и семинары

← Предыдущая версия		Версия от 11:35, 18 мая 2021
Строка 112:		Строка 112:
	\| 11 мая 2021		\| 11 мая 2021
	\| Стохастическая оптимизация. Автоматическое дифференцирование по графу вычислений. \|\|		\| Стохастическая оптимизация. Автоматическое дифференцирование по графу вычислений. \|\|
			\|-
			\| align="center"\|18
			\| 18 мая 2021
			\| Дифференцирование через процесс оптимизации. Сведение дискретных задач оптимизации к непрерывным. \|\| [https://arxiv.org/abs/1703.00443 Статья 1]<br> [https://arxiv.org/abs/1502.03492 Статья 2]
	\|-		\|-
	\|}		\|}

Dkropotov: /* Лекции и семинары */

2021-05-17T12:51:15Z

Лекции и семинары

← Предыдущая версия		Версия от 12:51, 17 мая 2021
Строка 109:		Строка 109:
	\| ''Занятия не будет'' \|\|		\| ''Занятия не будет'' \|\|
	\|-		\|-
	\| align="center"\|16		\| align="center"\|17
	\| 11 мая 2021		\| 11 мая 2021
	\| Стохастическая оптимизация. Автоматическое дифференцирование по графу вычислений. \|\|		\| Стохастическая оптимизация. Автоматическое дифференцирование по графу вычислений. \|\|
	\|-		\|-
	\|}		\|}

Dkropotov в 12:50, 17 мая 2021

2021-05-17T12:50:55Z

← Предыдущая версия		Версия от 12:50, 17 мая 2021
Строка 108:		Строка 108:
	\| 4 мая 2021		\| 4 мая 2021
	\| ''Занятия не будет'' \|\|		\| ''Занятия не будет'' \|\|
			\|-
			\| align="center"\|16
			\| 11 мая 2021
			\| Стохастическая оптимизация. Автоматическое дифференцирование по графу вычислений. \|\|
	\|-		\|-
	\|}		\|}

Dkropotov в 16:51, 28 апреля 2021

2021-04-28T16:51:07Z

← Предыдущая версия		Версия от 16:51, 28 апреля 2021
Строка 100:		Строка 100:
	\| 20 апреля 2021		\| 20 апреля 2021
	\| Проксимальные методы оптимизации. Сопряженные функции и нормы. \|\| [http://www.machinelearning.ru/wiki/images/1/15/MOMO18_Seminar8.pdf Конспект]		\| Проксимальные методы оптимизации. Сопряженные функции и нормы. \|\| [http://www.machinelearning.ru/wiki/images/1/15/MOMO18_Seminar8.pdf Конспект]
			\|-
			\| align="center"\|15
			\| 27 апреля 2021
			\| Ускоренный оптимальный метод Нестерова. Проекции и проксимальные операторы. \|\|
			\|-
			\| align="center"\|16
			\| 4 мая 2021
			\| ''Занятия не будет'' \|\|
	\|-		\|-
	\|}		\|}

Dkropotov в 13:23, 20 апреля 2021

2021-04-20T13:23:35Z

← Предыдущая версия		Версия от 13:23, 20 апреля 2021
Строка 92:		Строка 92:
	\| 06 апреля 2021		\| 06 апреля 2021
	\| Метод Ньютона и метод логарифмических барьеров для решения выпуклых задач условной оптимизации. Матричные преобразования в квазиньютоновских методах. \|\| [http://www.machinelearning.ru/wiki/images/8/81/MOMO12_ipm.pdf Конспект]<br>[http://www.machinelearning.ru/wiki/images/1/10/MOMO18_Seminar6.pdf Конспект]		\| Метод Ньютона и метод логарифмических барьеров для решения выпуклых задач условной оптимизации. Матричные преобразования в квазиньютоновских методах. \|\| [http://www.machinelearning.ru/wiki/images/8/81/MOMO12_ipm.pdf Конспект]<br>[http://www.machinelearning.ru/wiki/images/1/10/MOMO18_Seminar6.pdf Конспект]
			\|-
			\| align="center"\|13
			\| 13 апреля 2021
			\| Негладкая выпуклая оптимизация. Субградиентный метод. Субдифференциальное исчисление. \|\| [http://www.machinelearning.ru/wiki/images/e/e5/MOMO18_Seminar10.pdf Конспект]
			\|-
			\| align="center"\|14
			\| 20 апреля 2021
			\| Проксимальные методы оптимизации. Сопряженные функции и нормы. \|\| [http://www.machinelearning.ru/wiki/images/1/15/MOMO18_Seminar8.pdf Конспект]
	\|-		\|-
	\|}		\|}