НИС Машинное обучение и приложения - История изменений

Tipt0p в 19:26, 16 июня 2016

2016-06-16T19:26:28Z

@@ Строка 2: / Строка 2: @@
 '''Таблица со списком следующих тем [https://drive.google.com/open?id=1G6_Xte45ct4BPjbgRGUgVgpvzNDcHctFsBqpr46PEQ8 здесь]'''
 '''Контакты: '''
@@ Строка 13: / Строка 15: @@
 В ходе курса студенты изучат теоретические основы машинного обучения и получат практические навыки применения методов поиска скрытых закономерностей в данных. Также студенты получат опыт самостоятельного разбора научной литературы, который пригодится им при написании курсовых, дипломных и научных работ.
 == Темы семинаров ==

Tipt0p: /* Темы семинаров */

2016-06-16T18:51:56Z

Темы семинаров

← Предыдущая версия		Версия от 18:51, 16 июня 2016
Строка 229:		Строка 229:
	[https://events.yandex.ru/lib/talks/2793/ 4],		[https://events.yandex.ru/lib/talks/2793/ 4],
	[http://yann.lecun.com/exdb/lenet/ 5], [http://image-net.org/tutorials/cvpr2015/ 6], [http://gitxiv.com/posts/jG46ukGod8R7Rdtud/a-neural-algorithm-of-artistic-style 7], [http://googleresearch.blogspot.ru/2015/06/inceptionism-going-deeper-into-neural.html 8], [http://www.matthewzeiler.com/pubs/arxive2013/arxive2013.pdf 9].		[http://yann.lecun.com/exdb/lenet/ 5], [http://image-net.org/tutorials/cvpr2015/ 6], [http://gitxiv.com/posts/jG46ukGod8R7Rdtud/a-neural-algorithm-of-artistic-style 7], [http://googleresearch.blogspot.ru/2015/06/inceptionism-going-deeper-into-neural.html 8], [http://www.matthewzeiler.com/pubs/arxive2013/arxive2013.pdf 9].

			'''Семинар 16. Спектральный анализ графов'''

			''План доклада:''

			# Ликбез: собственные числа и собственные векторы матрицы.
			# Ненаправленный простой граф. Матрица смежности. Расчет существования путей длины k с помощью матрицы смежности.
			# Случайные блуждания на графе. Вероятность перехода в вершину за k шагов. Стационарное распределение случайного блуждания, достаточные условия его существования, алгоритмы вычисления.
			# Лапласиан графа. Вложения вершин графа с помощью лапласиана, связь с собственными векторами. Приложения: извлечение признаков, спектральная кластеризация.
			# Расчет близостей между вершинами в графе, среднее время пути (average commute time distance) и связанные меры близости/расстояния. Эффективный алгоритм вычисления. Приложения.
			# Бонус: спектральные свойства графов, число компонент связности, диаметр и т.д.

			''Полезные ссылки'': [https://www.researchgate.net/publication/3297672_Random-Walk_Computation_of_Similarities_between_Nodes_of_a_Graph_with_Application_to_Collaborative_Recommendation 1],
			[https://www.win.tue.nl/~aeb/2WF02/spectra.pdf 2],
			[http://www.cs.cornell.edu/courses/cs685/2007fa/spectral.pdf 3],
			[http://www.cs.yale.edu/homes/spielman/sgta/SpectTut.pdf 4],
			[http://www.math.ucsd.edu/~fan/cbms.pdf 5],
			[https://alexanderdyakonov.files.wordpress.com/2015/03/sgt2015_slides_03.pdf 6],
			[https://csustan.csustan.edu/~tom/Clustering/GraphLaplacian-tutorial.pdf 7],
			[http://ranger.uta.edu/~chqding/Spectral/ 8].

			'''Семинар 17. Обучение с подкреплением'''

			''План доклада:''

			# Постановка задачи обучения с подкреплением. Понятия наблюдаемых данных, состояния, действий, награды и стратегии. Марковский процесс приятия решений и его не полностью наблюдаемый аналог. Примеры задач обучения с подкреплением.
			# Понятие ожидаемого дохода (англ. return), средний и дисконтированный доход. Функции ценности состояния (англ. value function) и ценности действия-состояния (англ. action-state function). Уравнение Беллмана.
			# Принцип обучения функции ценности (Q-learning) для марковского процесса принятия решений, аппроксимация функции ценности.
			# Градиентное обучение стратегий, алгоритм REINFORCE.
			# Приложения: алгоритм Deep Q-network для Atari игр.

			''Полезные ссылки'': [https://webdocs.cs.ualberta.ca/~sutton/book/the-book.html 1],
			[https://www.cs.toronto.edu/~vmnih/docs/dqn.pdf 2],
			[http://www.iclr.cc/lib/exe/fetch.php?media=iclr2015:silver-iclr2015.pdf 3],
			[http://www.readcube.com/articles/10.1038/nature14236 4],
			[http://hunch.net/~jl/projects/RL/RLTheoryTutorial.pdf 5],
			[http://web.mst.edu/~gosavia/tutorial.pdf 6],
			[http://ml.informatik.uni-freiburg.de/_media/documents/teaching/ws1011/rl/policy_search.pdf 7].

Tipt0p в 11:31, 16 марта 2016

2016-03-16T11:31:09Z

← Предыдущая версия		Версия от 11:31, 16 марта 2016
Строка 212:		Строка 212:
	[http://www.machinelearning.ru/wiki/images/a/a4/MOTP11_5.pdf 3],		[http://www.machinelearning.ru/wiki/images/a/a4/MOTP11_5.pdf 3],
	[http://www.machinelearning.ru/wiki/index.php?title=%D0%9C%D0%B5%D1%82%D0%BE%D0%B4_%D0%B3%D0%BB%D0%B0%D0%B2%D0%BD%D1%8B%D1%85_%D0%BA%D0%BE%D0%BC%D0%BF%D0%BE%D0%BD%D0%B5%D0%BD%D1%82 4],		[http://www.machinelearning.ru/wiki/index.php?title=%D0%9C%D0%B5%D1%82%D0%BE%D0%B4_%D0%B3%D0%BB%D0%B0%D0%B2%D0%BD%D1%8B%D1%85_%D0%BA%D0%BE%D0%BC%D0%BF%D0%BE%D0%BD%D0%B5%D0%BD%D1%82 4],
	[https://www.cs.princeton.edu/picasso/mats/PCA-Tutorial-Intuition_jp.pdf 5], [		[https://www.cs.princeton.edu/picasso/mats/PCA-Tutorial-Intuition_jp.pdf 5], [http://ufldl.stanford.edu/tutorial/unsupervised/Autoencoders/ 6], [http://cs.stanford.edu/~quocle/tutorial2.pdf 7], [http://www.deeplearningbook.org/contents/autoencoders.html 8].
	http://ufldl.stanford.edu/tutorial/unsupervised/Autoencoders/ 6], [http://cs.stanford.edu/~quocle/tutorial2.pdf 7], [http://www.deeplearningbook.org/contents/autoencoders.html 8].

	'''Семинар 15. Сверточные нейронные сети в компьютерном зрении'''		'''Семинар 15. Сверточные нейронные сети в компьютерном зрении'''

Tipt0p в 11:18, 16 марта 2016

2016-03-16T11:18:26Z

← Предыдущая версия		Версия от 11:18, 16 марта 2016
Строка 195:		Строка 195:

	'''Семинар 14. Сокращение размерности, автокодировщики'''		'''Семинар 14. Сокращение размерности, автокодировщики'''

			''План доклада:''

			# Важность признакового описания в задачах машинного обучения. Примеры удачных и неудачных признаковых описаний.
			# Недостатки использования “сырого” представления данных (пример: пиксели изображения), избыточность и низкая информативность
			# Задача понижения размерности, связь с извлечением признаков. Метод главных компонент.
			#* Ликбез: ковариационная матрица и ее свойства, SVD-разложение положительно определенной матрицы
			#* Различные постановки задачи и их эквивалентность: поиск ортогонального базиса с наибольшей дисперсией, декорреляция признаков, оптимальное (с точки зрения квадратичной ошибки) линейное уменьшение размерности. '''Обязательно''' рассмотреть хотя бы две из формулировок, можно рассмотреть больше.
			#* Итеративный алгоритм поиска главных компонент.
			#* Матрица прямого и обратного преобразования.
			# Пример приложения МГК - система eigenfaces.
			# Автокодировщик как нейросетевая архитектура понижения размерности и извлечения признаков. Нелинейные и иерархические преобразования данных.

			''Полезные ссылки'': [http://www.face-rec.org/algorithms/PCA/jcn.pdf 1],
			[https://geektimes.ru/post/68870/ 2],
			[http://www.machinelearning.ru/wiki/images/a/a4/MOTP11_5.pdf 3],
			[http://www.machinelearning.ru/wiki/index.php?title=%D0%9C%D0%B5%D1%82%D0%BE%D0%B4_%D0%B3%D0%BB%D0%B0%D0%B2%D0%BD%D1%8B%D1%85_%D0%BA%D0%BE%D0%BC%D0%BF%D0%BE%D0%BD%D0%B5%D0%BD%D1%82 4],
			[https://www.cs.princeton.edu/picasso/mats/PCA-Tutorial-Intuition_jp.pdf 5], [
			http://ufldl.stanford.edu/tutorial/unsupervised/Autoencoders/ 6], [http://cs.stanford.edu/~quocle/tutorial2.pdf 7], [http://www.deeplearningbook.org/contents/autoencoders.html 8].

	'''Семинар 15. Сверточные нейронные сети в компьютерном зрении'''		'''Семинар 15. Сверточные нейронные сети в компьютерном зрении'''

Tipt0p в 19:44, 15 марта 2016

2016-03-15T19:44:48Z

← Предыдущая версия		Версия от 19:44, 15 марта 2016
Строка 194:		Строка 194:
	[https://en.wikipedia.org/wiki/Connectionism 5].		[https://en.wikipedia.org/wiki/Connectionism 5].

	'''Семинар 14. Сверточные нейронные сети в компьютерном зрении'''		'''Семинар 14. Сокращение размерности, автокодировщики'''

			'''Семинар 15. Сверточные нейронные сети в компьютерном зрении'''

	''План доклада:''		''План доклада:''

Tipt0p в 19:36, 15 марта 2016

2016-03-15T19:36:07Z

← Предыдущая версия		Версия от 19:36, 15 марта 2016
Строка 193:		Строка 193:
	[http://deeplearning.net/tutorial/mlp.html 4],		[http://deeplearning.net/tutorial/mlp.html 4],
	[https://en.wikipedia.org/wiki/Connectionism 5].		[https://en.wikipedia.org/wiki/Connectionism 5].

			'''Семинар 14. Сверточные нейронные сети в компьютерном зрении'''

			''План доклада:''

			# Полносвязные нейронные сети и их приложения к задачам компьютерного зрения. Преимущества (например, устойчивость к перестановке пикселей) и недостатки (например, большое число настраиваемых параметров).
			# Сверточные сети. Операция свертки с примерами. Мотивация: меньшее число настраиваемых параметров, инвариантнось к небольшим смещениям и поворотам, меньшая зависимость от размера входа.
			# Обзор типичной архитектуры сверточной сети (LeNet) для классификации изображений. Назначение и устройство различных типов слоев (сверточные, пулинг, полносвязные). Обработка RGB-входа.
			# Интерпретация фильтров сверточных слоев. Использование активаций обученных сетей для извлечения признаков и других задач (перенос стиля, моментальное обучение и пр.)
			# Примеры использования сверточных сетей для различных задач. Стоит поискать интересные примеры в интеренете + для многих из них можно скачать готовые модели и позапускать их на семинаре.

			''Полезные ссылки'': [http://neuralnetworksanddeeplearning.com/chap6.html 1],
			[http://www.deeplearningbook.org/contents/convnets.html 2],
			[http://ufldl.stanford.edu/tutorial/supervised/ConvolutionalNeuralNetwork/ 3],
			[https://events.yandex.ru/lib/talks/2793/ 4],
			[http://yann.lecun.com/exdb/lenet/ 5], [http://image-net.org/tutorials/cvpr2015/ 6], [http://gitxiv.com/posts/jG46ukGod8R7Rdtud/a-neural-algorithm-of-artistic-style 7], [http://googleresearch.blogspot.ru/2015/06/inceptionism-going-deeper-into-neural.html 8], [http://www.matthewzeiler.com/pubs/arxive2013/arxive2013.pdf 9].

Tipt0p в 14:44, 1 марта 2016

2016-03-01T14:44:09Z

← Предыдущая версия		Версия от 14:44, 1 марта 2016
Строка 176:		Строка 176:
	[http://web.stanford.edu/class/ee364a/lectures/unconstrained.pdf 4],		[http://web.stanford.edu/class/ee364a/lectures/unconstrained.pdf 4],
	[http://web.stanford.edu/class/ee364b/lectures/stoch_subgrad_slides.pdf 5].		[http://web.stanford.edu/class/ee364b/lectures/stoch_subgrad_slides.pdf 5].

			'''Семинар 13. Введение в нейросети'''

			''План доклада:''

			# Основные тезисы коннекционизма. Сложная модель на основе сети из простых связанных элементов. Биологическая модель нейрона. Модель искусственного нейрона.
			# Функции активации нейронов (сигмоидальная, гиперболический тангенс, кусочно-линейная). Многослойный перцептрон. Выходной слой для различных задач: регрессия над произвольными и неотрицательными числами, классификация.
			# Теорема о многослойном перцептроне как универсальном аппроксиматоре. Примеры.
			# Обзор библиотеки theano или tensorflow (на выбор), основные возможности, типы данных, принципы построения эффективных программ. Типичные проблемы производительности и способы их решения. Методы отладки.
			# '''Подробный''' пример '''собственной''' реализации двуслойного перцептрона для классификации изображений из коллекции MNIST.
			# Основные управляющие параметры модели: число слоев, размеры слоев, функции активации, регуляризация, инициализация параметров, алгоритм оптимизации и его параметры. Влияние данных параметров на скорость / качество обучения ('''обязательно''' с конкретными цифрами / графиками).

			''Полезные ссылки'': [http://www.deeplearningbook.org/ 1],
			[http://neuralnetworksanddeeplearning.com/ 2],
			[https://www.tensorflow.org/versions/r0.7/tutorials/mnist/pros/index.html 3],
			[http://deeplearning.net/tutorial/mlp.html 4],
			[https://en.wikipedia.org/wiki/Connectionism 5].

Tipt0p в 16:50, 16 февраля 2016

2016-02-16T16:50:39Z

← Предыдущая версия		Версия от 16:50, 16 февраля 2016
Строка 148:		Строка 148:
	[http://www.scholarpedia.org/article/Latent_semantic_analysis 3],		[http://www.scholarpedia.org/article/Latent_semantic_analysis 3],
	[http://videolectures.net/slsfs05_hofmann_lsvm/ 4].		[http://videolectures.net/slsfs05_hofmann_lsvm/ 4].

			'''Семинар 12. Оптимизация: градиентный спуск и стохастический градиент'''

			''План доклада:''

			# Задачи машинного обучения и соответствующие им задачи оптимизации: линейная регрессия, логистическая регрессия, двойственная задача в SVM.
			# Понятия функции многих переменных, выпуклости множества и функции, свойства выпуклых функций. Примеры выпуклых и невыпуклых функций.
			# Определение производной (для одномерного случая) и градиента (для функции многих переменных), понятие непрерывной, дифференцируемой и гладкой функции (примеры и антипримеры).
			# Свойства градиента, правила дифференцирования, дифференцирование сложной функции.
			# Алгоритм градиентного спуска (GD)
			#* Общая схема алгоритма
			#* Выбор шага градиента
			#* Условия и скорость сходимости (пояснить смысл данного понятия)
			#* Пример пошаговой оптимизации для двумерной линейной регрессии
			# Стохастическая оценка градиента, сходимость градиентного спуска со стохастической оценкой градиента (теорема Роббинса-Монро).
			# Алгоритм стохастического градиентного спуска (SGD)
			#* Общая схема алгоритма
			#* Выбор шага градиента
			#* Условия и скорость сходимости
			#* Пример пошаговой оптимизации для двумерной линейной регрессии

			''Замечание:'' Нужно реализовать GD и SGD и применить их к задаче двумерной линейной регрессии. Следует привести графики зависимости значения минимизируемого функционала от номера итерации, а также показать как меняется положение искомой прямой в пространстве в ходе оптимизации.

			''Полезные ссылки'': [http://www.machinelearning.ru/wiki/images/7/74/MOMO12_minnd_basic.pdf 1],
			[https://ipvs.informatik.uni-stuttgart.de/mlr/marc/notes/gradientDescent.pdf 2],
			[http://research.microsoft.com/pubs/192769/tricks-2012.pdf 3],
			[http://web.stanford.edu/class/ee364a/lectures/unconstrained.pdf 4],
			[http://web.stanford.edu/class/ee364b/lectures/stoch_subgrad_slides.pdf 5].

Tipt0p в 11:16, 3 февраля 2016

2016-02-03T11:16:01Z

← Предыдущая версия		Версия от 11:16, 3 февраля 2016
Строка 2:		Строка 2:

	'''Таблица со списком следующих тем [https://drive.google.com/open?id=1G6_Xte45ct4BPjbgRGUgVgpvzNDcHctFsBqpr46PEQ8 здесь]'''		'''Таблица со списком следующих тем [https://drive.google.com/open?id=1G6_Xte45ct4BPjbgRGUgVgpvzNDcHctFsBqpr46PEQ8 здесь]'''

	'''Контакты: '''		'''Контакты: '''
	* [http://www.hse.ru/staff/dvetrov Ветров Дмитрий Петрович] DVetrov@hse.ru		* [http://www.hse.ru/staff/dvetrov Ветров Дмитрий Петрович] DVetrov@hse.ru

Tipt0p в 11:15, 3 февраля 2016

2016-02-03T11:15:50Z

← Предыдущая версия		Версия от 11:15, 3 февраля 2016
Строка 1:		Строка 1:
	'''Таблица с расписание семинаров [https://docs.google.com/spreadsheets/d/1DdPqVTAT5waRSPiRZD0Zp_FEIQpBgw0NarcrspQfZes/edit?usp=sharing здесь]'''		'''Таблица с расписание семинаров [https://docs.google.com/spreadsheets/d/1DdPqVTAT5waRSPiRZD0Zp_FEIQpBgw0NarcrspQfZes/edit?usp=sharing здесь]'''

			'''Таблица со списком следующих тем [https://drive.google.com/open?id=1G6_Xte45ct4BPjbgRGUgVgpvzNDcHctFsBqpr46PEQ8 здесь]'''
	'''Контакты: '''		'''Контакты: '''
	* [http://www.hse.ru/staff/dvetrov Ветров Дмитрий Петрович] DVetrov@hse.ru		* [http://www.hse.ru/staff/dvetrov Ветров Дмитрий Петрович] DVetrov@hse.ru