Машинное обучение на матфаке 2018/2019 - История изменений

Ilya Schurov в 09:47, 9 апреля 2020

2020-04-09T09:47:30Z

← Предыдущая версия		Версия от 09:47, 9 апреля 2020
Строка 81:		Строка 81:
	\| 10 \|\| 13 ноября \|\| Решающие леса и градиентный бустинг над деревьями \|\| Конспекты Е. Соколова [https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/lecture-notes/lecture08-ensembles.pdf решающие леса], [https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/lecture-notes/lecture09-ensembles.pdf градиентный бустинг] (мы не обсуждали AdaBoost) \|\|		\| 10 \|\| 13 ноября \|\| Решающие леса и градиентный бустинг над деревьями \|\| Конспекты Е. Соколова [https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/lecture-notes/lecture08-ensembles.pdf решающие леса], [https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/lecture-notes/lecture09-ensembles.pdf градиентный бустинг] (мы не обсуждали AdaBoost) \|\|
	\|-		\|-
	\| 11 \|\| 20 ноября \|\| Нейронные сети как способ обучения признаков. Многослойный персептрон. Теорема об универсальной аппроксимации для персептрона с двумя скрытыми слоями и ReLU-активацией (набросок доказательства). Backpropagation. Стохастический градиентный спуск \|\| Конспекты Е. Соколова: [https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/lecture-notes/lecture11-dl.pdf Графы вычислений и элементы глубинного обучения]. Дополнительный материал: [http://neuralnetworksanddeeplearning.com/chap4.html теорема об ~~унивресальной~~ аппроксимации] (англ.) \|\|		\| 11 \|\| 20 ноября \|\| Нейронные сети как способ обучения признаков. Многослойный персептрон. Теорема об универсальной аппроксимации для персептрона с двумя скрытыми слоями и ReLU-активацией (набросок доказательства). Backpropagation. Стохастический градиентный спуск \|\| Конспекты Е. Соколова: [https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/lecture-notes/lecture11-dl.pdf Графы вычислений и элементы глубинного обучения]. Дополнительный материал: [http://neuralnetworksanddeeplearning.com/chap4.html теорема об универсальной аппроксимации] (англ.) \|\|
	\|-		\|-
	\| 12 \|\| 27 ноября \|\| Свёрточные нейронные сети \|\|Конспекты Е. Соколова: [https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/lecture-notes/lecture11-dl.pdf Графы вычислений и элементы глубинного обучения], Дополнительный материал: [http://cs231n.github.io/convolutional-networks/ convolutional networks] (англ.) \|\|		\| 12 \|\| 27 ноября \|\| Свёрточные нейронные сети \|\|Конспекты Е. Соколова: [https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/lecture-notes/lecture11-dl.pdf Графы вычислений и элементы глубинного обучения], Дополнительный материал: [http://cs231n.github.io/convolutional-networks/ convolutional networks] (англ.) \|\|

Ilya Schurov: исправление опечатки

2019-10-25T13:40:19Z

исправление опечатки

← Предыдущая версия		Версия от 13:40, 25 октября 2019
Строка 81:		Строка 81:
	\| 10 \|\| 13 ноября \|\| Решающие леса и градиентный бустинг над деревьями \|\| Конспекты Е. Соколова [https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/lecture-notes/lecture08-ensembles.pdf решающие леса], [https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/lecture-notes/lecture09-ensembles.pdf градиентный бустинг] (мы не обсуждали AdaBoost) \|\|		\| 10 \|\| 13 ноября \|\| Решающие леса и градиентный бустинг над деревьями \|\| Конспекты Е. Соколова [https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/lecture-notes/lecture08-ensembles.pdf решающие леса], [https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/lecture-notes/lecture09-ensembles.pdf градиентный бустинг] (мы не обсуждали AdaBoost) \|\|
	\|-		\|-
	\| 11 \|\| 20 ноября \|\| Нейронные сети как способ обучения признаков. Многослойный ~~перспектрон~~. Теорема об универсальной аппроксимации для персептрона с двумя скрытыми слоями и ReLU-активацией (набросок доказательства). Backpropagation. Стохастический градиентный спуск \|\| Конспекты Е. Соколова: [https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/lecture-notes/lecture11-dl.pdf Графы вычислений и элементы глубинного обучения]. Дополнительный материал: [http://neuralnetworksanddeeplearning.com/chap4.html теорема об унивресальной аппроксимации] (англ.) \|\|		\| 11 \|\| 20 ноября \|\| Нейронные сети как способ обучения признаков. Многослойный персептрон. Теорема об универсальной аппроксимации для персептрона с двумя скрытыми слоями и ReLU-активацией (набросок доказательства). Backpropagation. Стохастический градиентный спуск \|\| Конспекты Е. Соколова: [https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/lecture-notes/lecture11-dl.pdf Графы вычислений и элементы глубинного обучения]. Дополнительный материал: [http://neuralnetworksanddeeplearning.com/chap4.html теорема об унивресальной аппроксимации] (англ.) \|\|
	\|-		\|-
	\| 12 \|\| 27 ноября \|\| Свёрточные нейронные сети \|\|Конспекты Е. Соколова: [https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/lecture-notes/lecture11-dl.pdf Графы вычислений и элементы глубинного обучения], Дополнительный материал: [http://cs231n.github.io/convolutional-networks/ convolutional networks] (англ.) \|\|		\| 12 \|\| 27 ноября \|\| Свёрточные нейронные сети \|\|Конспекты Е. Соколова: [https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/lecture-notes/lecture11-dl.pdf Графы вычислений и элементы глубинного обучения], Дополнительный материал: [http://cs231n.github.io/convolutional-networks/ convolutional networks] (англ.) \|\|

Ilya Schurov в 23:27, 24 декабря 2018

2018-12-24T23:27:14Z

← Предыдущая версия		Версия от 23:27, 24 декабря 2018
Строка 153:		Строка 153:
	== Новости курса ==		== Новости курса ==

	12.12. Экзамен по курсу состоится 25 декабря с 13:30 до 15:30, формат — письменная работа (типа как была в конце прошлого модуля), closed book (пользоваться ничем нельзя). [[Машинное обучение на матфаке 2018/2019/Программа экзамена\|Программа ~~экзеамена~~]]		12.12. Экзамен по курсу состоится 25 декабря с 13:30 до 15:30, формат — письменная работа (типа как была в конце прошлого модуля), closed book (пользоваться ничем нельзя). [[Машинное обучение на матфаке 2018/2019/Программа экзамена\|Программа экзамена]]

	29.11. Появилось соревнование на кэггле: https://www.kaggle.com/t/9c050ce0ed5742088d5660c69360ccbf		29.11. Появилось соревнование на кэггле: https://www.kaggle.com/t/9c050ce0ed5742088d5660c69360ccbf

Ilya Schurov: /* Новости курса */

2018-12-22T06:41:09Z

Новости курса

← Предыдущая версия		Версия от 06:41, 22 декабря 2018
Строка 152:		Строка 152:

	== Новости курса ==		== Новости курса ==

			12.12. Экзамен по курсу состоится 25 декабря с 13:30 до 15:30, формат — письменная работа (типа как была в конце прошлого модуля), closed book (пользоваться ничем нельзя). [[Машинное обучение на матфаке 2018/2019/Программа экзамена\|Программа экзеамена]]

	29.11. Появилось соревнование на кэггле: https://www.kaggle.com/t/9c050ce0ed5742088d5660c69360ccbf		29.11. Появилось соревнование на кэггле: https://www.kaggle.com/t/9c050ce0ed5742088d5660c69360ccbf

Svdcvt в 17:09, 18 декабря 2018

2018-12-18T17:09:48Z

← Предыдущая версия		Версия от 17:09, 18 декабря 2018
Строка 13:		Строка 13:
	* [https://docs.google.com/forms/d/e/1FAIpQLSd6ADbVAq6b9YK07lxBcz10eZVfUj9E-OejgHVRu4S2DoW2xA/viewform Запись на консультацию] (вторники, после лекции, консультирует Илья Щуров).		* [https://docs.google.com/forms/d/e/1FAIpQLSd6ADbVAq6b9YK07lxBcz10eZVfUj9E-OejgHVRu4S2DoW2xA/viewform Запись на консультацию] (вторники, после лекции, консультирует Илья Щуров).
	* [https://anytask.org/course/413 Курс на Anytask]		* [https://anytask.org/course/413 Курс на Anytask]
			* [https://docs.google.com/spreadsheets/d/1H4LRkqdzHvWoo7yYrB-P2SABovnZwKd-pMlgvw-RcOk/edit?usp=sharing Таблица с оценками]
	* Видео-записи лекций: [https://yadi.sk/d/MVpqXP6UxmDcjQ Яндекс.Диск], [https://www.youtube.com/channel/UC8wh_LB6mxOFYadH2l27P2Q YouTube].		* Видео-записи лекций: [https://yadi.sk/d/MVpqXP6UxmDcjQ Яндекс.Диск], [https://www.youtube.com/channel/UC8wh_LB6mxOFYadH2l27P2Q YouTube].

Ilya Schurov: /* Лекции */

2018-12-17T12:00:46Z

Лекции

← Предыдущая версия		Версия от 12:00, 17 декабря 2018
Строка 72:		Строка 72:
	\| 6 \|\| 9 октября \|\| Свойства МНК-оценки. Несмещённость. Ковариационная матрица оценки. Теорема Гаусса — Маркова. Отбор признаков \|\| [http://math-info.hse.ru/math-ml/chapter/label/chap:6:linear-reg2/ конспект] \|\| [https://youtu.be/3nizTmbT0Ws видео]		\| 6 \|\| 9 октября \|\| Свойства МНК-оценки. Несмещённость. Ковариационная матрица оценки. Теорема Гаусса — Маркова. Отбор признаков \|\| [http://math-info.hse.ru/math-ml/chapter/label/chap:6:linear-reg2/ конспект] \|\| [https://youtu.be/3nizTmbT0Ws видео]
	\|-		\|-
	\| 7 \|\| 16 октября \|\| Различные функции потерь для регрессий: MAE, Huber loss; L1-регуляризация как метод отбора признаков; переобучение в линейной регрессии (пример с полиномиальными признаками). Логистическая регрессия с одним признаком, её функция правдоподобия. \|\| \|\|		\| 7 \|\| 16 октября \|\| Различные функции потерь для регрессий: MAE, Huber loss; L1-регуляризация как метод отбора признаков; переобучение в линейной регрессии (пример с полиномиальными признаками). Логистическая регрессия с одним признаком, её функция правдоподобия. \|\| Конспекты Е. Соколова: [https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/lecture-notes/lecture03-linregr.pdf Ещё о линейных регрессиях], [https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/lecture-notes/lecture05-linclass.pdf логистическая регрессия] \|\|
	\|-		\|-
	\| 8 \|\| 30 октября \|\| Логистическая регрессия. Логарифмическая функция потерь. Выражение функции потерь через отступ. Многоклассовая классификация: комбинирование двухклассовых классификаторов (one vs rest, one vs one), многоклассовая (мультиномиальная) логистическая регрессия. \|\| \|\|		\| 8 \|\| 30 октября \|\| Логистическая регрессия. Логарифмическая функция потерь. Выражение функции потерь через отступ. Многоклассовая классификация: комбинирование двухклассовых классификаторов (one vs rest, one vs one), многоклассовая (мультиномиальная) логистическая регрессия. \|\| Конспекты Е. Соколова: [https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/lecture-notes/lecture05-linclass.pdf логистическая регрессия], [https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/lecture-notes/lecture06-linclass.pdf многоклассовая классификация] \|\|
	\|-		\|-
	\| 9 \|\| 6 ноября \|\| Support vector machines (как задача уменьшения эмпирического риска для hinge loss). Решающие деревья. \|\| \|\|		\| 9 \|\| 6 ноября \|\| Support vector machines (как задача уменьшения эмпирического риска для hinge loss). Решающие деревья. \|\| Конспекты Е. Соколова: [https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/lecture-notes/lecture05-linclass.pdf метод опорных векторов] (см. часть 2), [https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/lecture-notes/lecture07-trees.pdf решающие деревья] \|\|
	\|-		\|-
	\| 10 \|\| 13 ноября \|\| Решающие леса и градиентный бустинг над деревьями \|\| \|\|		\| 10 \|\| 13 ноября \|\| Решающие леса и градиентный бустинг над деревьями \|\| Конспекты Е. Соколова [https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/lecture-notes/lecture08-ensembles.pdf решающие леса], [https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/lecture-notes/lecture09-ensembles.pdf градиентный бустинг] (мы не обсуждали AdaBoost) \|\|
	\|-		\|-
	\| 11 \|\| 20 ноября \|\| Нейронные сети как способ обучения признаков. Многослойный перспектрон. Теорема об универсальной аппроксимации для персептрона с двумя скрытыми слоями и ReLU-активацией (набросок доказательства). Backpropagation. Стохастический градиентный спуск \|\| \|\|		\| 11 \|\| 20 ноября \|\| Нейронные сети как способ обучения признаков. Многослойный перспектрон. Теорема об универсальной аппроксимации для персептрона с двумя скрытыми слоями и ReLU-активацией (набросок доказательства). Backpropagation. Стохастический градиентный спуск \|\| Конспекты Е. Соколова: [https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/lecture-notes/lecture11-dl.pdf Графы вычислений и элементы глубинного обучения]. Дополнительный материал: [http://neuralnetworksanddeeplearning.com/chap4.html теорема об унивресальной аппроксимации] (англ.) \|\|
	\|-		\|-
	\| 12 \|\| 27 ноября \|\| Свёрточные нейронные сети \|\| \|\|		\| 12 \|\| 27 ноября \|\| Свёрточные нейронные сети \|\|Конспекты Е. Соколова: [https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/lecture-notes/lecture11-dl.pdf Графы вычислений и элементы глубинного обучения], Дополнительный материал: [http://cs231n.github.io/convolutional-networks/ convolutional networks] (англ.) \|\|
	\|-		\|-
	\| 13 \|\| 4 декабря \|\| Рекуррентные нейронные сети. Задачи unsupervised learning: снижение размерности с помощью метода главных компонент (PCA) \|\| \|\|		\| 13 \|\| 4 декабря \|\| Рекуррентные нейронные сети. Задачи unsupervised learning: снижение размерности с помощью метода главных компонент (PCA) \|\| [http://math-info.hse.ru/f/2015-16/ling-mag-quant/lecture-pca.html Метод главных компонент] (неформальное введение) \|\|
	\|-		\|-
	\| 14 \|\| 11 декабря \|\| Задачи unsupervised learning: снижение размерности, кластеризация (K-means, иерархическая кластеризация), оценка плотности (разделение гауссовых смесей, EM-алгоритм). \|\| \|\|		\| 14 \|\| 11 декабря \|\| Задачи unsupervised learning: снижение размерности, кластеризация (K-means, иерархическая кластеризация), оценка плотности (разделение гауссовых смесей, EM-алгоритм). \|\| [https://en.wikipedia.org/wiki/K-means_clustering K-means clustering] (википедия, англ.), [https://www.ics.uci.edu/~smyth/courses/cs274/notes/EMnotes.pdf The EM Algorithm for Gaussian Mixtures]] (англ.) \|\|
	\|}		\|}

Ilya Schurov в 11:23, 17 декабря 2018

2018-12-17T11:23:49Z

← Предыдущая версия		Версия от 11:23, 17 декабря 2018
Строка 80:		Строка 80:
	\| 10 \|\| 13 ноября \|\| Решающие леса и градиентный бустинг над деревьями \|\| \|\|		\| 10 \|\| 13 ноября \|\| Решающие леса и градиентный бустинг над деревьями \|\| \|\|
	\|-		\|-
	\| 11 \|\| Нейронные сети как способ обучения признаков. Многослойный перспектрон. Теорема об универсальной аппроксимации для персептрона с двумя скрытыми слоями и ReLU-активацией (набросок доказательства). Backpropagation. Стохастический градиентный спуск \|\| \|\|		\| 11 \|\| 20 ноября \|\| Нейронные сети как способ обучения признаков. Многослойный перспектрон. Теорема об универсальной аппроксимации для персептрона с двумя скрытыми слоями и ReLU-активацией (набросок доказательства). Backpropagation. Стохастический градиентный спуск \|\| \|\|
	\|-		\|-
	\| 12 \|\| Свёрточные нейронные сети \|\| \|\|		\| 12 \|\| 27 ноября \|\| Свёрточные нейронные сети \|\| \|\|
	\|-		\|-
	\| 13 \|\| Рекуррентные нейронные сети. Задачи unsupervised learning: снижение размерности с помощью метода главных компонент (PCA) \|\| \|\|		\| 13 \|\| 4 декабря \|\| Рекуррентные нейронные сети. Задачи unsupervised learning: снижение размерности с помощью метода главных компонент (PCA) \|\| \|\|
	\|-		\|-
	\| 14 \|\| Задачи unsupervised learning: снижение размерности, кластеризация (K-means, иерархическая кластеризация), оценка плотности (разделение гауссовых смесей, EM-алгоритм). \|\| \|\|		\| 14 \|\| 11 декабря \|\| Задачи unsupervised learning: снижение размерности, кластеризация (K-means, иерархическая кластеризация), оценка плотности (разделение гауссовых смесей, EM-алгоритм). \|\| \|\|
	\|}		\|}

Ilya Schurov в 11:23, 17 декабря 2018

2018-12-17T11:23:04Z

@@ Строка 71: / Строка 71: @@
 |-
 | 6 || 9 октября || Свойства МНК-оценки. Несмещённость. Ковариационная матрица оценки. Теорема Гаусса — Маркова. Отбор признаков || [http://math-info.hse.ru/math-ml/chapter/label/chap:6:linear-reg2/ конспект] || [https://youtu.be/3nizTmbT0Ws видео]
 |}

Svdcvt в 23:36, 15 декабря 2018

2018-12-15T23:36:21Z

← Предыдущая версия		Версия от 23:36, 15 декабря 2018
Строка 118:		Строка 118:
	# Необходимо использовать следующий формат для имени команды (Team -> Team Name -> Save Team Name): «Имя Фамилия МФ».		# Необходимо использовать следующий формат для имени команды (Team -> Team Name -> Save Team Name): «Имя Фамилия МФ».
	# Максимальное количество посылок в сутки 3 (начинайте заранее).		# Максимальное количество посылок в сутки 3 (начинайте заранее).
	# Ближе к концу соревнования необходимо выбрать ~~2 посылки~~, ~~которые~~ вы считаете ~~лучшими~~.		# Ближе к концу соревнования необходимо выбрать 1 посылку, которую вы считаете лучшей.
	# Оценивание: максимальный score, набранный кем бы то ни было (при условии преодоления бейзлайна на 8) — 10 баллов. Score, соответствующий бейзлайну на 8 — 8 баллов. В промежутке — линейно. И т.д. Основные бейзлайны скоро будут.		# Оценивание: максимальный score, набранный кем бы то ни было (при условии преодоления бейзлайна на 8) — 10 баллов. Score, соответствующий бейзлайну на 8 — 8 баллов. В промежутке — линейно. И т.д. Основные бейзлайны скоро будут. Лидерборд рассматривается приватный.
	# Оцениваются только решения, полученные как результат работы [https://www.kaggle.com/c/2018-hse-ml-competion-03/kernels private kernel] -- в системе уже загружены всевозможные библиотеки, которые могут вам понадобиться в работе, более того можно не выгружать данные соревнования и иметь бо́льшие (а может быть и меньшие, но у всех равные условия) вычислительные мощности, чем у вас на компьютере (14Gb RAM + GPU).		# Оцениваются только решения, полученные как результат работы [https://www.kaggle.com/c/2018-hse-ml-competion-03/kernels private kernel] -- в системе уже загружены всевозможные библиотеки, которые могут вам понадобиться в работе, более того можно не выгружать данные соревнования и иметь бо́льшие (а может быть и меньшие, но у всех равные условия) вычислительные мощности, чем у вас на компьютере (14Gb RAM + GPU).
	# У студента может быть только один аккаунт, соответсвенно и отправлять решения только с него.		# У студента может быть только один аккаунт, соответсвенно и отправлять решения только с него.

Svdcvt: /* Соревнования */

2018-12-15T23:35:09Z

Соревнования

← Предыдущая версия		Версия от 23:35, 15 декабря 2018
Строка 129:		Строка 129:
	[[Файл:Submitting.png\|600px\|без рамки]]		[[Файл:Submitting.png\|600px\|без рамки]]

	Чтобы работа была оценена, необходимо дать доступ для просмотра ассистенту (@svdcvt). Сдавать нужно тот кернел, с помощью которого был получен ваш		Чтобы работа была оценена, необходимо дать доступ для просмотра ассистенту (svdcvt). Сдавать нужно тот кернел, с помощью которого был получен ваш
	результат на лидерборде, иначе работа обнуляется. Так же надо указать версию в названии кернела.		результат на лидерборде, иначе работа обнуляется. Так же надо указать версию в названии кернела.