<?xml version="1.0"?>
<feed xmlns="http://www.w3.org/2005/Atom" xml:lang="ru">
	<id>https://wiki.cs.hse.ru/api.php?action=feedcontributions&amp;feedformat=atom&amp;user=Simagin.denis</id>
	<title>Wiki - Факультет компьютерных наук - Вклад [ru]</title>
	<link rel="self" type="application/atom+xml" href="https://wiki.cs.hse.ru/api.php?action=feedcontributions&amp;feedformat=atom&amp;user=Simagin.denis"/>
	<link rel="alternate" type="text/html" href="https://wiki.cs.hse.ru/%D0%A1%D0%BB%D1%83%D0%B6%D0%B5%D0%B1%D0%BD%D0%B0%D1%8F:%D0%92%D0%BA%D0%BB%D0%B0%D0%B4/Simagin.denis"/>
	<updated>2026-09-21T12:21:55Z</updated>
	<subtitle>Вклад</subtitle>
	<generator>MediaWiki 1.43.9</generator>
	<entry>
		<id>https://wiki.cs.hse.ru/index.php?title=Ann_(answering_neural_net)&amp;diff=30571</id>
		<title>Ann (answering neural net)</title>
		<link rel="alternate" type="text/html" href="https://wiki.cs.hse.ru/index.php?title=Ann_(answering_neural_net)&amp;diff=30571"/>
		<updated>2018-11-04T22:31:40Z</updated>

		<summary type="html">&lt;p&gt;Simagin.denis: &lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;{{Карточка_командного_проекта&lt;br /&gt;
|name=Ann (answering neural net)&lt;br /&gt;
|company=Яндекс&lt;br /&gt;
|mentor=Денис Симагин&lt;br /&gt;
|mentor_login={{URLENCODE:Simagin.denis|WIKI}}&lt;br /&gt;
|semester=Осень 2018&lt;br /&gt;
|course=3-4&lt;br /&gt;
|number_of_students=3-4&lt;br /&gt;
|categorize=yes&lt;br /&gt;
}}&lt;br /&gt;
&lt;br /&gt;
&lt;br /&gt;
===Что это за проект?===&lt;br /&gt;
Это исследовательский проект. Существует датасет [https://rajpurkar.github.io/SQuAD-explorer/ SQuAD 2.0]. Проблема заключается в том, чтобы прочитать параграф текста, а затем по вопросу сгенерировать ответ. Уже существует пачка научных статей, посвященных этой задаче. Наша цель заключается в том, чтобы изучить существующие методы, попробовать обучить собственную модель и на основе ее построить фактологический поиск по статьям Википедии.&lt;br /&gt;
&lt;br /&gt;
На первом этапе в качестве базового поиска можно использовать поисковую машину Яндекса. Однако один из студентов может взять на себя также и задачу базового поиска. В качестве демонстрации проделанной работы предлагаю сделать специальный навык для Алисы (это значит, что сервис должен отвечать онлайн), по сути поднять собственный сервис на одной из облачных платформ.&lt;br /&gt;
&lt;br /&gt;
Команда Яндекса любезно согласилась нам предоставить разметку для реальных фактологических запросов к Алисе. А студенты, которые покажут лучшие результаты, смогут пройти летнюю стажировку и сделать вклад в Алису, внедрив своё решение.&lt;br /&gt;
&lt;br /&gt;
Для того, чтобы попасть на проект, нужно пройти собеседование.&lt;br /&gt;
&lt;br /&gt;
===Чему студент научится?===&lt;br /&gt;
* Работа в команде, проведение ревью, развертывание сервиса в облаке.&lt;br /&gt;
* Современные модели работы с текстом, разработка на Python3.&lt;br /&gt;
* Плохим шуткам.&lt;br /&gt;
&lt;br /&gt;
===Какие начальные требования?===&lt;br /&gt;
* Наличие хорошей машины с GPU (или аренда в облаке).&lt;br /&gt;
* Навыки в обучении больших моделей.&lt;br /&gt;
* Уверенное владение Python3.&lt;br /&gt;
* Умение читать научные статьи на английском.&lt;br /&gt;
&lt;br /&gt;
===Какие будут использоваться технологии?===&lt;br /&gt;
* Python3&lt;br /&gt;
* Scipy stack&lt;br /&gt;
* PyTorch.&lt;br /&gt;
* AWS/Gсloud&lt;br /&gt;
* Возможно, MongoDB для базового поиска.&lt;br /&gt;
&lt;br /&gt;
===Направления развития?===&lt;br /&gt;
* Повышение качества модели.&lt;br /&gt;
* Расширение базы документов.&lt;br /&gt;
* Ускорение работы.&lt;br /&gt;
&lt;br /&gt;
===Критерии оценки?===&lt;br /&gt;
Оценка команды будет зависеть от конечного качества модели, в качестве базы возьмем текущее качество фактологических ответов Алисы.  Персональные оценки выставляются на основе личного вклада студента (может быть выше, чем оценка команда).&lt;br /&gt;
&lt;br /&gt;
===Контакты===&lt;br /&gt;
[[Участник:Simagin.denis|Денис Симагин]]&lt;/div&gt;</summary>
		<author><name>Simagin.denis</name></author>
	</entry>
	<entry>
		<id>https://wiki.cs.hse.ru/index.php?title=Ann_(answering_neural_net)&amp;diff=30570</id>
		<title>Ann (answering neural net)</title>
		<link rel="alternate" type="text/html" href="https://wiki.cs.hse.ru/index.php?title=Ann_(answering_neural_net)&amp;diff=30570"/>
		<updated>2018-11-04T22:28:11Z</updated>

		<summary type="html">&lt;p&gt;Simagin.denis: &lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;{{Карточка_командного_проекта&lt;br /&gt;
|name=Ann (answering neural net)&lt;br /&gt;
|company=Яндекс&lt;br /&gt;
|mentor=Денис Симагин&lt;br /&gt;
|mentor_login={{URLENCODE:Simagin.denis|WIKI}}&lt;br /&gt;
|semester=Осень 2018&lt;br /&gt;
|course=3-4&lt;br /&gt;
|number_of_students=3-4&lt;br /&gt;
|categorize=yes&lt;br /&gt;
}}&lt;br /&gt;
&lt;br /&gt;
&lt;br /&gt;
===Что это за проект?===&lt;br /&gt;
Это исследовательский проект. Существует датасет [SQuAD 2.0](https://rajpurkar.github.io/SQuAD-explorer/). Проблема заключается в том, чтобы прочитать параграф текста, а затем по вопросу сгенерировать ответ. Уже существует пачка научных статей, посвященных этой задаче. Наша цель заключается в том, чтобы изучить существующие методы, попробовать обучить собственную модель и на основе ее построить фактологический поиск по статьям Википедии.&lt;br /&gt;
&lt;br /&gt;
На первом этапе в качестве базового поиска можно использовать поисковую машину Яндекса. Однако один из студентов может взять на себя также и задачу базового поиска. В качестве демонстрации проделанной работы предлагаю сделать специальный навык для Алисы (это значит, что сервис должен отвечать онлайн), по сути поднять собственный сервис на одной из облачных платформ.&lt;br /&gt;
&lt;br /&gt;
Команда Яндекса любезно согласилась нам предоставить разметку для реальных фактологических запросов к Алисе. А студенты, которые покажут лучшие результаты, смогут пройти летнюю стажировку и сделать вклад в Алису, внедрив своё решение.&lt;br /&gt;
&lt;br /&gt;
Для того, чтобы попасть на проект, нужно пройти собеседование.&lt;br /&gt;
&lt;br /&gt;
===Чему студент научится?===&lt;br /&gt;
* Работа в команде, проведение ревью, развертывание сервиса в облаке.&lt;br /&gt;
* Современные модели работы с текстом, разработка на Python3.&lt;br /&gt;
* Плохим шуткам.&lt;br /&gt;
&lt;br /&gt;
===Какие начальные требования?===&lt;br /&gt;
* Наличие хорошей машины с GPU (или аренда в облаке).&lt;br /&gt;
* Навыки в обучении больших моделей.&lt;br /&gt;
* Уверенное владение Python3.&lt;br /&gt;
* Умение читать научные статьи на английском.&lt;br /&gt;
&lt;br /&gt;
===Какие будут использоваться технологии?===&lt;br /&gt;
* Python3&lt;br /&gt;
* Scipy stack&lt;br /&gt;
* PyTorch.&lt;br /&gt;
* AWS/Gсloud&lt;br /&gt;
* Возможно, MongoDB для базового поиска.&lt;br /&gt;
&lt;br /&gt;
===Направления развития?===&lt;br /&gt;
* Повышение качества модели.&lt;br /&gt;
* Расширение базы документов.&lt;br /&gt;
* Ускорение работы.&lt;br /&gt;
&lt;br /&gt;
===Критерии оценки?===&lt;br /&gt;
Оценка команды будет зависеть от конечного качества модели, в качестве базы возьмем текущее качество фактологических ответов Алисы.  Персональные оценки выставляются на основе личного вклада студента (может быть выше, чем оценка команда).&lt;br /&gt;
&lt;br /&gt;
===Контакты===&lt;br /&gt;
[[Участник:Simagin.denis|Денис Симагин]]&lt;/div&gt;</summary>
		<author><name>Simagin.denis</name></author>
	</entry>
	<entry>
		<id>https://wiki.cs.hse.ru/index.php?title=Ann_(answering_neural_net)&amp;diff=30569</id>
		<title>Ann (answering neural net)</title>
		<link rel="alternate" type="text/html" href="https://wiki.cs.hse.ru/index.php?title=Ann_(answering_neural_net)&amp;diff=30569"/>
		<updated>2018-11-04T22:27:26Z</updated>

		<summary type="html">&lt;p&gt;Simagin.denis: &lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;{{Карточка_командного_проекта&lt;br /&gt;
|name=Ann (answering neural net)&lt;br /&gt;
|company=Яндекс&lt;br /&gt;
|mentor=Денис Симагин&lt;br /&gt;
|mentor_login={{URLENCODE:Simagin.denis|WIKI}}&lt;br /&gt;
|semester=Осень 2018&lt;br /&gt;
|course=3-4&lt;br /&gt;
|number_of_students=3-4&lt;br /&gt;
|categorize=yes&lt;br /&gt;
}}&lt;br /&gt;
&lt;br /&gt;
&lt;br /&gt;
===Что это за проект?===&lt;br /&gt;
Это исследовательский проект. Существует датасет SQuAD 2.0. Проблема заключается в том, чтобы прочитать параграф текста, а затем по вопросу сгенерировать ответ. Уже существует пачка научных статей, посвященных этой задаче. Наша цель заключается в том, чтобы изучить существующие методы, попробовать обучить собственную модель и на основе ее построить фактологический поиск по статьям Википедии.&lt;br /&gt;
&lt;br /&gt;
На первом этапе в качестве базового поиска можно использовать поисковую машину Яндекса. Однако один из студентов может взять на себя также и задачу базового поиска. В качестве демонстрации проделанной работы предлагаю сделать специальный навык для Алисы (это значит, что сервис должен отвечать онлайн), по сути поднять собственный сервис на одной из облачных платформ.&lt;br /&gt;
&lt;br /&gt;
Команда Яндекса любезно согласилась нам предоставить разметку для реальных фактологических запросов к Алисе. А студенты, которые покажут лучшие результаты, смогут пройти летнюю стажировку и сделать вклад в Алису, внедрив своё решение.&lt;br /&gt;
&lt;br /&gt;
Для того, чтобы попасть на проект, нужно пройти собеседование.&lt;br /&gt;
&lt;br /&gt;
===Чему студент научится?===&lt;br /&gt;
* Работа в команде, проведение ревью, развертывание сервиса в облаке.&lt;br /&gt;
* Современные модели работы с текстом, разработка на Python3.&lt;br /&gt;
* Плохим шуткам.&lt;br /&gt;
&lt;br /&gt;
===Какие начальные требования?===&lt;br /&gt;
* Наличие хорошей машины с GPU (или аренда в облаке).&lt;br /&gt;
* Навыки в обучении больших моделей.&lt;br /&gt;
* Уверенное владение Python3.&lt;br /&gt;
* Умение читать научные статьи на английском.&lt;br /&gt;
&lt;br /&gt;
===Какие будут использоваться технологии?===&lt;br /&gt;
* Python3&lt;br /&gt;
* Scipy stack&lt;br /&gt;
* PyTorch.&lt;br /&gt;
* AWS/Gсloud&lt;br /&gt;
* Возможно, MongoDB для базового поиска.&lt;br /&gt;
&lt;br /&gt;
===Направления развития?===&lt;br /&gt;
* Повышение качества модели.&lt;br /&gt;
* Расширение базы документов.&lt;br /&gt;
* Ускорение работы.&lt;br /&gt;
&lt;br /&gt;
===Критерии оценки?===&lt;br /&gt;
Оценка команды будет зависеть от конечного качества модели, в качестве базы возьмем текущее качество фактологических ответов Алисы.  Персональные оценки выставляются на основе личного вклада студента (может быть выше, чем оценка команда).&lt;br /&gt;
&lt;br /&gt;
===Контакты===&lt;br /&gt;
[[Участник:Simagin.denis|Денис Симагин]]&lt;/div&gt;</summary>
		<author><name>Simagin.denis</name></author>
	</entry>
	<entry>
		<id>https://wiki.cs.hse.ru/index.php?title=Darin_(deep_and_reinforced_intelligence_net)&amp;diff=30563</id>
		<title>Darin (deep and reinforced intelligence net)</title>
		<link rel="alternate" type="text/html" href="https://wiki.cs.hse.ru/index.php?title=Darin_(deep_and_reinforced_intelligence_net)&amp;diff=30563"/>
		<updated>2018-11-04T16:36:07Z</updated>

		<summary type="html">&lt;p&gt;Simagin.denis: &lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;{{Карточка_проекта&lt;br /&gt;
|name=Darin (deep and reinforced intelligence net)&lt;br /&gt;
|mentor=Денис Симагин&lt;br /&gt;
|mentor_login={{URLENCODE:Simagin.denis|WIKI}}&lt;br /&gt;
|semester=Осень 2018&lt;br /&gt;
|course=2-3&lt;br /&gt;
|number_of_students= до 10&lt;br /&gt;
|categorize=yes&lt;br /&gt;
}}&lt;br /&gt;
&lt;br /&gt;
===Что это за проект?===&lt;br /&gt;
Сочетание reinforcement learning и deep learning является горячей темой на сегодняшний день. К примеру, изучите статью [http://arxiv.org/pdf/1312.5602v1.pdf Playing atari with deep reinforcement learning]. Также вы, наверняка, слышали о AlpaGo, программе, которая впервые победила человека, профессионально играющего в Go. Подробнее об этом [https://storage.googleapis.com/deepmind-media/alphago/AlphaGoNaturePaper.pdf здесь]. Конечная цель перенести идеи статью [https://deepmind.com/blog/alphago-zero-learning-scratch/ AlphaGo Zero] на игру [https://en.wikipedia.org/wiki/Renju рендзю].&lt;br /&gt;
&lt;br /&gt;
Для участия в проекте нужно пройти собеседование.&lt;br /&gt;
&lt;br /&gt;
===Чему студент научится?===&lt;br /&gt;
* Чтение научных статей на английском&lt;br /&gt;
* Работе с глубокими нейронными сетями&lt;br /&gt;
* Обучение с подкреплением&lt;br /&gt;
* Плохие шутки&lt;br /&gt;
&lt;br /&gt;
===Какие начальные требования?===&lt;br /&gt;
* Машина с UNIX-подобной ОС и мощной видеокартой (возможно облачная)&lt;br /&gt;
* Знание Python 3&lt;br /&gt;
* Git и работа с командной оболочкой&lt;br /&gt;
* Английский&lt;br /&gt;
&lt;br /&gt;
===Какие будут использоваться технологии?===&lt;br /&gt;
* Python3&lt;br /&gt;
* Scipy stack&lt;br /&gt;
* PyTorch (возможно, Tensorflow)&lt;br /&gt;
* AWS/GCloud&lt;br /&gt;
&lt;br /&gt;
===Темы вводных занятий?===&lt;br /&gt;
* Обучении с учителем&lt;br /&gt;
* Линейные модели, градиентный спуск&lt;br /&gt;
* Введение в нейронные сети&lt;br /&gt;
* Сверточные сети&lt;br /&gt;
* Обучение с подкреплением&lt;br /&gt;
* Разбор базовых статей&lt;br /&gt;
&lt;br /&gt;
===Направления развития?===&lt;br /&gt;
DeepMind и Blizzard сделали [https://deepmind.com/blog/deepmind-and-blizzard-open-starcraft-ii-ai-research-environment/ песочницу] для StarCraft II, поле для исследований просто безгранично.&lt;br /&gt;
&lt;br /&gt;
===Критерии оценки?===&lt;br /&gt;
В конце проекта проводится турнир между алгоритмами, на основе которого и выставляются оценки.&lt;/div&gt;</summary>
		<author><name>Simagin.denis</name></author>
	</entry>
	<entry>
		<id>https://wiki.cs.hse.ru/index.php?title=DaRiNa_(Deep_reinforced_net)&amp;diff=30562</id>
		<title>DaRiNa (Deep reinforced net)</title>
		<link rel="alternate" type="text/html" href="https://wiki.cs.hse.ru/index.php?title=DaRiNa_(Deep_reinforced_net)&amp;diff=30562"/>
		<updated>2018-11-04T16:33:43Z</updated>

		<summary type="html">&lt;p&gt;Simagin.denis: Simagin.denis переименовал страницу DaRiNa (Deep reinforced net) в Darin (deep and reinforced intelligence net)&lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;#перенаправление [[Darin (deep and reinforced intelligence net)]]&lt;/div&gt;</summary>
		<author><name>Simagin.denis</name></author>
	</entry>
	<entry>
		<id>https://wiki.cs.hse.ru/index.php?title=Darin_(deep_and_reinforced_intelligence_net)&amp;diff=30561</id>
		<title>Darin (deep and reinforced intelligence net)</title>
		<link rel="alternate" type="text/html" href="https://wiki.cs.hse.ru/index.php?title=Darin_(deep_and_reinforced_intelligence_net)&amp;diff=30561"/>
		<updated>2018-11-04T16:33:43Z</updated>

		<summary type="html">&lt;p&gt;Simagin.denis: Simagin.denis переименовал страницу DaRiNa (Deep reinforced net) в Darin (deep and reinforced intelligence net)&lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;{{Карточка_проекта&lt;br /&gt;
|name=Darin (deep and reinforced intelligence net)&lt;br /&gt;
|mentor=Денис Симагин&lt;br /&gt;
|mentor_login={{URLENCODE:Simagin.denis|WIKI}}&lt;br /&gt;
|semester=Осень 2018&lt;br /&gt;
|course=2-3&lt;br /&gt;
|number_of_students= до 10&lt;br /&gt;
|categorize=yes&lt;br /&gt;
}}&lt;br /&gt;
&lt;br /&gt;
===Что это за проект?===&lt;br /&gt;
Сочетание reinforcement learning и deep learning является горячей темой на сегодняшний день. К примеру, изучите статью [http://arxiv.org/pdf/1312.5602v1.pdf Playing atari with deep reinforcement learning]. Также вы, наверняка, слышали о AlpaGo, программе, которая впервые победила человека, профессионально играющего в Go. Подробнее об этом [https://storage.googleapis.com/deepmind-media/alphago/AlphaGoNaturePaper.pdf здесь]. Конечная цель перенести идеи статью [https://deepmind.com/blog/alphago-zero-learning-scratch/ AlphaGo Zero] на игру [https://en.wikipedia.org/wiki/Renju рендзю].&lt;br /&gt;
&lt;br /&gt;
Для участия в проекте нужно пройти собеседование.&lt;br /&gt;
&lt;br /&gt;
===Чему студент научится?===&lt;br /&gt;
* Чтение научных статей на английском&lt;br /&gt;
* Работе с глубокими нейронными сетями&lt;br /&gt;
* Обучение с подкреплением&lt;br /&gt;
* Плохие шутки&lt;br /&gt;
&lt;br /&gt;
===Какие начальные требования?===&lt;br /&gt;
* Машина с UNIX-подобной ОС и мощной видеокартой (возможно облачная)&lt;br /&gt;
* Знание Python 3, Git и работа с командной оболочкой&lt;br /&gt;
* Английский&lt;br /&gt;
&lt;br /&gt;
===Какие будут использоваться технологии?===&lt;br /&gt;
* Python3&lt;br /&gt;
* Scipy stack&lt;br /&gt;
* PyTorch (возможно, Tensorflow)&lt;br /&gt;
* AWS/GCloud&lt;br /&gt;
&lt;br /&gt;
===Темы вводных занятий?===&lt;br /&gt;
* Обучении с учителем&lt;br /&gt;
* Линейные модели, градиентный спуск&lt;br /&gt;
* Введение в нейронные сети&lt;br /&gt;
* Сверточные сети&lt;br /&gt;
* Обучение с подкреплением&lt;br /&gt;
* Разбор базовых статей&lt;br /&gt;
&lt;br /&gt;
===Направления развития?===&lt;br /&gt;
DeepMind и Blizzard сделали [https://deepmind.com/blog/deepmind-and-blizzard-open-starcraft-ii-ai-research-environment/ песочницу] для StarCraft II, поле для исследований просто безгранично.&lt;br /&gt;
&lt;br /&gt;
===Критерии оценки?===&lt;br /&gt;
В конце проекта проводится турнир между алгоритмами, на основе которого и выставляются оценки.&lt;/div&gt;</summary>
		<author><name>Simagin.denis</name></author>
	</entry>
	<entry>
		<id>https://wiki.cs.hse.ru/index.php?title=Darin_(deep_and_reinforced_intelligence_net)&amp;diff=30560</id>
		<title>Darin (deep and reinforced intelligence net)</title>
		<link rel="alternate" type="text/html" href="https://wiki.cs.hse.ru/index.php?title=Darin_(deep_and_reinforced_intelligence_net)&amp;diff=30560"/>
		<updated>2018-11-04T16:31:28Z</updated>

		<summary type="html">&lt;p&gt;Simagin.denis: Fix all lists&lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;{{Карточка_проекта&lt;br /&gt;
|name=Darin (deep and reinforced intelligence net)&lt;br /&gt;
|mentor=Денис Симагин&lt;br /&gt;
|mentor_login={{URLENCODE:Simagin.denis|WIKI}}&lt;br /&gt;
|semester=Осень 2018&lt;br /&gt;
|course=2-3&lt;br /&gt;
|number_of_students= до 10&lt;br /&gt;
|categorize=yes&lt;br /&gt;
}}&lt;br /&gt;
&lt;br /&gt;
===Что это за проект?===&lt;br /&gt;
Сочетание reinforcement learning и deep learning является горячей темой на сегодняшний день. К примеру, изучите статью [http://arxiv.org/pdf/1312.5602v1.pdf Playing atari with deep reinforcement learning]. Также вы, наверняка, слышали о AlpaGo, программе, которая впервые победила человека, профессионально играющего в Go. Подробнее об этом [https://storage.googleapis.com/deepmind-media/alphago/AlphaGoNaturePaper.pdf здесь]. Конечная цель перенести идеи статью [https://deepmind.com/blog/alphago-zero-learning-scratch/ AlphaGo Zero] на игру [https://en.wikipedia.org/wiki/Renju рендзю].&lt;br /&gt;
&lt;br /&gt;
Для участия в проекте нужно пройти собеседование.&lt;br /&gt;
&lt;br /&gt;
===Чему студент научится?===&lt;br /&gt;
* Чтение научных статей на английском&lt;br /&gt;
* Работе с глубокими нейронными сетями&lt;br /&gt;
* Обучение с подкреплением&lt;br /&gt;
* Плохие шутки&lt;br /&gt;
&lt;br /&gt;
===Какие начальные требования?===&lt;br /&gt;
* Машина с UNIX-подобной ОС и мощной видеокартой (возможно облачная)&lt;br /&gt;
* Знание Python 3, Git и работа с командной оболочкой&lt;br /&gt;
* Английский&lt;br /&gt;
&lt;br /&gt;
===Какие будут использоваться технологии?===&lt;br /&gt;
* Python3&lt;br /&gt;
* Scipy stack&lt;br /&gt;
* PyTorch (возможно, Tensorflow)&lt;br /&gt;
* AWS/GCloud&lt;br /&gt;
&lt;br /&gt;
===Темы вводных занятий?===&lt;br /&gt;
* Обучении с учителем&lt;br /&gt;
* Линейные модели, градиентный спуск&lt;br /&gt;
* Введение в нейронные сети&lt;br /&gt;
* Сверточные сети&lt;br /&gt;
* Обучение с подкреплением&lt;br /&gt;
* Разбор базовых статей&lt;br /&gt;
&lt;br /&gt;
===Направления развития?===&lt;br /&gt;
DeepMind и Blizzard сделали [https://deepmind.com/blog/deepmind-and-blizzard-open-starcraft-ii-ai-research-environment/ песочницу] для StarCraft II, поле для исследований просто безгранично.&lt;br /&gt;
&lt;br /&gt;
===Критерии оценки?===&lt;br /&gt;
В конце проекта проводится турнир между алгоритмами, на основе которого и выставляются оценки.&lt;/div&gt;</summary>
		<author><name>Simagin.denis</name></author>
	</entry>
	<entry>
		<id>https://wiki.cs.hse.ru/index.php?title=Darin_(deep_and_reinforced_intelligence_net)&amp;diff=30559</id>
		<title>Darin (deep and reinforced intelligence net)</title>
		<link rel="alternate" type="text/html" href="https://wiki.cs.hse.ru/index.php?title=Darin_(deep_and_reinforced_intelligence_net)&amp;diff=30559"/>
		<updated>2018-11-04T16:30:06Z</updated>

		<summary type="html">&lt;p&gt;Simagin.denis: /* Какие будут использоваться технологии? */&lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;{{Карточка_проекта&lt;br /&gt;
|name=DaRiNa (Deep reinforced net)&lt;br /&gt;
|mentor=Денис Симагин&lt;br /&gt;
|mentor_login={{URLENCODE:Simagin.denis|WIKI}}&lt;br /&gt;
|semester=Осень 2018&lt;br /&gt;
|course=2-3&lt;br /&gt;
|number_of_students= до 10&lt;br /&gt;
|categorize=yes&lt;br /&gt;
}}&lt;br /&gt;
&lt;br /&gt;
===Что это за проект?===&lt;br /&gt;
Сочетание reinforcement learning и deep learning является горячей темой на сегодняшний день. К примеру, изучите статью [http://arxiv.org/pdf/1312.5602v1.pdf Playing atari with deep reinforcement learning]. Также вы, наверняка, слышали о AlpaGo, программе, которая впервые победила человека, профессионально играющего в Go. Подробнее об этом [https://storage.googleapis.com/deepmind-media/alphago/AlphaGoNaturePaper.pdf здесь]. Конечная цель перенести идеи статью [https://deepmind.com/blog/alphago-zero-learning-scratch/ AlphaGo Zero] на игру [https://en.wikipedia.org/wiki/Renju рендзю].&lt;br /&gt;
&lt;br /&gt;
Для участия в проекте нужно пройти собеседование.&lt;br /&gt;
&lt;br /&gt;
===Чему студент научится?===&lt;br /&gt;
Чтение научных статей на английском&lt;br /&gt;
Погружение в машинное обучение, сверточные нейронные сети&lt;br /&gt;
Обучение с подкреплением&lt;br /&gt;
Плохие шутки&lt;br /&gt;
===Какие начальные требования?===&lt;br /&gt;
Машина с UNIX-подобной ОС и мощной видеокартой (возможно облачная)&lt;br /&gt;
Знание Python 3, Git и работа с командной оболочкой&lt;br /&gt;
Хорошая математическая подготовка&lt;br /&gt;
Английский&lt;br /&gt;
===Какие будут использоваться технологии?===&lt;br /&gt;
* Python3&lt;br /&gt;
* Scipy stack&lt;br /&gt;
* PyTorch (возможно, Tensorflow)&lt;br /&gt;
* AWS/GCloud&lt;br /&gt;
&lt;br /&gt;
===Темы вводных занятий?===&lt;br /&gt;
* Обучении с учителем&lt;br /&gt;
* Линейные модели, градиентный спуск&lt;br /&gt;
* Введение в нейронные сети&lt;br /&gt;
* Сверточные сети&lt;br /&gt;
* Обучение с подкреплением&lt;br /&gt;
* Разбор базовых статей&lt;br /&gt;
&lt;br /&gt;
===Направления развития?===&lt;br /&gt;
DeepMind и Blizzard сделали [https://deepmind.com/blog/deepmind-and-blizzard-open-starcraft-ii-ai-research-environment/ песочницу] для StarCraft II, поле для исследований просто безгранично.&lt;br /&gt;
&lt;br /&gt;
===Критерии оценки?===&lt;br /&gt;
В конце проекта проводится турнир между алгоритмами, на основе которого и выставляются оценки.&lt;/div&gt;</summary>
		<author><name>Simagin.denis</name></author>
	</entry>
	<entry>
		<id>https://wiki.cs.hse.ru/index.php?title=Darin_(deep_and_reinforced_intelligence_net)&amp;diff=30558</id>
		<title>Darin (deep and reinforced intelligence net)</title>
		<link rel="alternate" type="text/html" href="https://wiki.cs.hse.ru/index.php?title=Darin_(deep_and_reinforced_intelligence_net)&amp;diff=30558"/>
		<updated>2018-11-04T16:29:33Z</updated>

		<summary type="html">&lt;p&gt;Simagin.denis: Fix topics&amp;#039; list&lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;{{Карточка_проекта&lt;br /&gt;
|name=DaRiNa (Deep reinforced net)&lt;br /&gt;
|mentor=Денис Симагин&lt;br /&gt;
|mentor_login={{URLENCODE:Simagin.denis|WIKI}}&lt;br /&gt;
|semester=Осень 2018&lt;br /&gt;
|course=2-3&lt;br /&gt;
|number_of_students= до 10&lt;br /&gt;
|categorize=yes&lt;br /&gt;
}}&lt;br /&gt;
&lt;br /&gt;
===Что это за проект?===&lt;br /&gt;
Сочетание reinforcement learning и deep learning является горячей темой на сегодняшний день. К примеру, изучите статью [http://arxiv.org/pdf/1312.5602v1.pdf Playing atari with deep reinforcement learning]. Также вы, наверняка, слышали о AlpaGo, программе, которая впервые победила человека, профессионально играющего в Go. Подробнее об этом [https://storage.googleapis.com/deepmind-media/alphago/AlphaGoNaturePaper.pdf здесь]. Конечная цель перенести идеи статью [https://deepmind.com/blog/alphago-zero-learning-scratch/ AlphaGo Zero] на игру [https://en.wikipedia.org/wiki/Renju рендзю].&lt;br /&gt;
&lt;br /&gt;
Для участия в проекте нужно пройти собеседование.&lt;br /&gt;
&lt;br /&gt;
===Чему студент научится?===&lt;br /&gt;
Чтение научных статей на английском&lt;br /&gt;
Погружение в машинное обучение, сверточные нейронные сети&lt;br /&gt;
Обучение с подкреплением&lt;br /&gt;
Плохие шутки&lt;br /&gt;
===Какие начальные требования?===&lt;br /&gt;
Машина с UNIX-подобной ОС и мощной видеокартой (возможно облачная)&lt;br /&gt;
Знание Python 3, Git и работа с командной оболочкой&lt;br /&gt;
Хорошая математическая подготовка&lt;br /&gt;
Английский&lt;br /&gt;
===Какие будут использоваться технологии?===&lt;br /&gt;
Python3, scipy stack, PyTorch&lt;br /&gt;
AWS/Gсloud&lt;br /&gt;
===Темы вводных занятий?===&lt;br /&gt;
* Обучении с учителем&lt;br /&gt;
* Линейные модели, градиентный спуск&lt;br /&gt;
* Введение в нейронные сети&lt;br /&gt;
* Сверточные сети&lt;br /&gt;
* Обучение с подкреплением&lt;br /&gt;
* Разбор базовых статей&lt;br /&gt;
&lt;br /&gt;
===Направления развития?===&lt;br /&gt;
DeepMind и Blizzard сделали [https://deepmind.com/blog/deepmind-and-blizzard-open-starcraft-ii-ai-research-environment/ песочницу] для StarCraft II, поле для исследований просто безгранично.&lt;br /&gt;
&lt;br /&gt;
===Критерии оценки?===&lt;br /&gt;
В конце проекта проводится турнир между алгоритмами, на основе которого и выставляются оценки.&lt;/div&gt;</summary>
		<author><name>Simagin.denis</name></author>
	</entry>
	<entry>
		<id>https://wiki.cs.hse.ru/index.php?title=Darin_(deep_and_reinforced_intelligence_net)&amp;diff=30552</id>
		<title>Darin (deep and reinforced intelligence net)</title>
		<link rel="alternate" type="text/html" href="https://wiki.cs.hse.ru/index.php?title=Darin_(deep_and_reinforced_intelligence_net)&amp;diff=30552"/>
		<updated>2018-11-04T12:26:28Z</updated>

		<summary type="html">&lt;p&gt;Simagin.denis: Fix course&lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;{{Карточка_проекта&lt;br /&gt;
|name=DaRiNa (Deep reinforced net)&lt;br /&gt;
|mentor=Денис Симагин&lt;br /&gt;
|mentor_login={{URLENCODE:Simagin.denis|WIKI}}&lt;br /&gt;
|semester=Осень 2018&lt;br /&gt;
|course=2-3&lt;br /&gt;
|number_of_students= до 10&lt;br /&gt;
|categorize=yes&lt;br /&gt;
}}&lt;br /&gt;
&lt;br /&gt;
===Что это за проект?===&lt;br /&gt;
Сочетание reinforcement learning и deep learning является горячей темой на сегодняшний день. К примеру, изучите статью [http://arxiv.org/pdf/1312.5602v1.pdf Playing atari with deep reinforcement learning]. Также вы, наверняка, слышали о AlpaGo, программе, которая впервые победила человека, профессионально играющего в Go. Подробнее об этом [https://storage.googleapis.com/deepmind-media/alphago/AlphaGoNaturePaper.pdf здесь]. Конечная цель перенести идеи статью [https://deepmind.com/blog/alphago-zero-learning-scratch/ AlphaGo Zero] на игру [https://en.wikipedia.org/wiki/Renju рендзю].&lt;br /&gt;
&lt;br /&gt;
Для участия в проекте нужно пройти собеседование.&lt;br /&gt;
&lt;br /&gt;
===Чему студент научится?===&lt;br /&gt;
Чтение научных статей на английском&lt;br /&gt;
Погружение в машинное обучение, сверточные нейронные сети&lt;br /&gt;
Обучение с подкреплением&lt;br /&gt;
Плохие шутки&lt;br /&gt;
===Какие начальные требования?===&lt;br /&gt;
Машина с UNIX-подобной ОС и мощной видеокартой (возможно облачная)&lt;br /&gt;
Знание Python 3, Git и работа с командной оболочкой&lt;br /&gt;
Хорошая математическая подготовка&lt;br /&gt;
Английский&lt;br /&gt;
===Какие будут использоваться технологии?===&lt;br /&gt;
Python3, scipy stack, PyTorch&lt;br /&gt;
AWS/Gсloud&lt;br /&gt;
===Темы вводных занятий?===&lt;br /&gt;
Обучении с учителем&lt;br /&gt;
Линейные модели, градиентный спуск&lt;br /&gt;
Введение в нейронные сети&lt;br /&gt;
Сверточные сети&lt;br /&gt;
Обучение с подкреплением&lt;br /&gt;
===Направления развития?===&lt;br /&gt;
DeepMind и Blizzard сделали [https://deepmind.com/blog/deepmind-and-blizzard-open-starcraft-ii-ai-research-environment/ песочницу] для StarCraft II, поле для исследований просто безгранично.&lt;br /&gt;
&lt;br /&gt;
===Критерии оценки?===&lt;br /&gt;
В конце проекта проводится турнир между алгоритмами, на основе которого и выставляются оценки.&lt;/div&gt;</summary>
		<author><name>Simagin.denis</name></author>
	</entry>
	<entry>
		<id>https://wiki.cs.hse.ru/index.php?title=%D0%A3%D1%87%D0%B0%D1%81%D1%82%D0%BD%D0%B8%D0%BA:Simagin.denis&amp;diff=29507</id>
		<title>Участник:Simagin.denis</title>
		<link rel="alternate" type="text/html" href="https://wiki.cs.hse.ru/index.php?title=%D0%A3%D1%87%D0%B0%D1%81%D1%82%D0%BD%D0%B8%D0%BA:Simagin.denis&amp;diff=29507"/>
		<updated>2018-09-28T08:37:41Z</updated>

		<summary type="html">&lt;p&gt;Simagin.denis: &lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;{{Карточка_ментора&lt;br /&gt;
|categorize = yes&lt;br /&gt;
}}&lt;br /&gt;
&lt;br /&gt;
[[Файл:profile.jpg|мини|справа|Денис Симагин]]&lt;br /&gt;
&lt;br /&gt;
== Симагин Денис ==&lt;br /&gt;
В школе увлекался математикой, программированием. А после ШАДа влюбился в машинное обучение. Работаю в Яндекс.Картах.&lt;br /&gt;
&lt;br /&gt;
== Образование ==&lt;br /&gt;
* Бакалавриат, ВШЭ, Прикладная математика и инфоматика (Нижний Новгород)&lt;br /&gt;
&lt;br /&gt;
* Магистратура, ВШЭ, Компьютерные науки (Москва)&lt;br /&gt;
&lt;br /&gt;
* ШАД, Компьютерные науки&lt;br /&gt;
&lt;br /&gt;
== Интересы ==&lt;br /&gt;
* Машинное обучение&lt;br /&gt;
&lt;br /&gt;
* Большие данные&lt;br /&gt;
&lt;br /&gt;
* Красивые алгоритмические задачи&lt;br /&gt;
&lt;br /&gt;
== Контакты ==&lt;br /&gt;
E-mail: &#039;&#039;simagin.mail@yandex.ru&#039;&#039;&lt;br /&gt;
&lt;br /&gt;
Telegram: @dasimagin&lt;br /&gt;
&lt;br /&gt;
Телефон: +7 961-639-24-15&lt;/div&gt;</summary>
		<author><name>Simagin.denis</name></author>
	</entry>
	<entry>
		<id>https://wiki.cs.hse.ru/index.php?title=%D0%A3%D1%87%D0%B0%D1%81%D1%82%D0%BD%D0%B8%D0%BA:Simagin.denis&amp;diff=29419</id>
		<title>Участник:Simagin.denis</title>
		<link rel="alternate" type="text/html" href="https://wiki.cs.hse.ru/index.php?title=%D0%A3%D1%87%D0%B0%D1%81%D1%82%D0%BD%D0%B8%D0%BA:Simagin.denis&amp;diff=29419"/>
		<updated>2018-09-24T20:05:22Z</updated>

		<summary type="html">&lt;p&gt;Simagin.denis: &lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;{{Карточка_ментора&lt;br /&gt;
|categorize = yes&lt;br /&gt;
}}&lt;br /&gt;
&lt;br /&gt;
[[Файл:profile.jpg|мини|справа|Денис Симагин]]&lt;br /&gt;
&lt;br /&gt;
== Симагин Денис ==&lt;br /&gt;
В школе увлекался математикой, программированием. А после ШАДа влюбился в машинное обучение. Работаю в Яндекс.Картах.&lt;br /&gt;
&lt;br /&gt;
== Образование ==&lt;br /&gt;
* Бакалавриат, ВШЭ, Прикладная математика и инфоматика (Нижний Новгород)&lt;br /&gt;
&lt;br /&gt;
* Магистратура, ВШЭ, Компьютерные науки (Москва)&lt;br /&gt;
&lt;br /&gt;
* ШАД, Компьютерные науки&lt;br /&gt;
&lt;br /&gt;
== Интересы ==&lt;br /&gt;
* Машинное обучение&lt;br /&gt;
&lt;br /&gt;
* Большие данные&lt;br /&gt;
&lt;br /&gt;
* Красивые алгоритмические задачи&lt;br /&gt;
&lt;br /&gt;
== Контакты ==&lt;br /&gt;
E-mail: &#039;&#039;simagin.mail@yandex.ru&#039;&#039;&lt;br /&gt;
&lt;br /&gt;
Telegram: @dasimagin&lt;br /&gt;
&lt;br /&gt;
Телефон: +7 964-773-48-69&lt;/div&gt;</summary>
		<author><name>Simagin.denis</name></author>
	</entry>
	<entry>
		<id>https://wiki.cs.hse.ru/index.php?title=%D0%A4%D0%B0%D0%B9%D0%BB:Profile.jpg&amp;diff=29418</id>
		<title>Файл:Profile.jpg</title>
		<link rel="alternate" type="text/html" href="https://wiki.cs.hse.ru/index.php?title=%D0%A4%D0%B0%D0%B9%D0%BB:Profile.jpg&amp;diff=29418"/>
		<updated>2018-09-24T20:02:42Z</updated>

		<summary type="html">&lt;p&gt;Simagin.denis: Simagin.denis загружена новая версия «Файл:Profile.jpg»&lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;&lt;/div&gt;</summary>
		<author><name>Simagin.denis</name></author>
	</entry>
	<entry>
		<id>https://wiki.cs.hse.ru/index.php?title=Renju_(%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82)&amp;diff=25410</id>
		<title>Renju (проект)</title>
		<link rel="alternate" type="text/html" href="https://wiki.cs.hse.ru/index.php?title=Renju_(%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82)&amp;diff=25410"/>
		<updated>2017-10-19T18:51:43Z</updated>

		<summary type="html">&lt;p&gt;Simagin.denis: &lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;{{Карточка_проекта&lt;br /&gt;
|name=Renju&lt;br /&gt;
|mentor=Симагин Денис&lt;br /&gt;
|mentor_login={{URLENCODE:Simagin.denis|WIKI}}&lt;br /&gt;
|semester=Осень 2017&lt;br /&gt;
|course=2&lt;br /&gt;
|summer=&lt;br /&gt;
|number_of_students=10&lt;br /&gt;
|categorize=yes&lt;br /&gt;
}}&lt;br /&gt;
&lt;br /&gt;
=== Что это за проект? ===&lt;br /&gt;
Cочетание [https://en.wikipedia.org/wiki/Reinforcement_learning reinforcement learning] и [https://en.wikipedia.org/wiki/Deep_learning deep learning] является &amp;quot;горячей&amp;quot; темой на сегодняшний день. К примеру, изучите статью [http://arxiv.org/pdf/1312.5602v1.pdf Playing atari with deep reinforcement learning]. Также вы, наверняка, слышали о [https://en.wikipedia.org/wiki/AlphaGo AlpaGo], программе, которая впервые победила человека, профессионально играющего в Go. Подробнее об этом [https://storage.googleapis.com/deepmind-media/alphago/AlphaGoNaturePaper.pdf здесь]. Данный проект заключается в изучении подходов, использующихся  в AlphaGo, и их реализации при создание собственного алгоритма для игры в [https://en.wikipedia.org/wiki/Renju рендзю].&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;Молния:&#039;&#039;&#039; вышла новая статья [https://www.nature.com/articles/nature24270.epdf?author_access_token=VJXbVjaSHxFoctQQ4p2k4tRgN0jAjWel9jnR3ZoTv0PVW4gB86EEpGqTRDtpIz-2rmo8-KG06gqVobU5NSCFeHILHcVFUeMsbvwS-lxjqQGg98faovwjxeTUgZAUMnRQ статья].&lt;br /&gt;
&lt;br /&gt;
Для того, чтобы попасть на проект, нужно пройти собеседование.&lt;br /&gt;
&lt;br /&gt;
=== Чему вы научитесь? ===&lt;br /&gt;
# Чтение научных статей на английском.&lt;br /&gt;
# Погружение в машинное обучение.&lt;br /&gt;
# Сверточные нейронные сети&lt;br /&gt;
# Обучение с подкреплением&lt;br /&gt;
# Ревью кода.&lt;br /&gt;
&lt;br /&gt;
=== Какие начальные требования? ===&lt;br /&gt;
# Машина с UNIX-подобной ОС и мощной видеокартой (возможно облачная)&lt;br /&gt;
# Знание Python 3, Git и работа с командной оболочкой.&lt;br /&gt;
# Базовые знания в машинном обучении&lt;br /&gt;
# Хорошая математическая подготовка&lt;br /&gt;
# Английский&lt;br /&gt;
&lt;br /&gt;
=== Какие будут использоваться технологии? ===&lt;br /&gt;
# В качестве основного языка будет Python 3&lt;br /&gt;
# Для обучения сейчас принято использовать [https://www.tensorflow.org tensorflow], однако набирает популярность библиотека [https://docs.microsoft.com/en-us/cognitive-toolkit/ cntk] (она шустрая).&lt;br /&gt;
# Так же вы можете проводить вычисления на ресурсах [https://aws.amazon.com/ru/ aws] или воспользоваться [https://cloud.google.com google cloud].&lt;br /&gt;
&lt;br /&gt;
=== Темы вводных занятий ===&lt;br /&gt;
# Кратко об обучении с учителем&lt;br /&gt;
# Линейные модели, градиентный спуск&lt;br /&gt;
# Введение в нейронные сети&lt;br /&gt;
# Сверточные сети&lt;br /&gt;
# Обучение с подкреплением&lt;br /&gt;
&lt;br /&gt;
=== Направления развития ===&lt;br /&gt;
DeepMind и Blizzard сделали [https://deepmind.com/blog/deepmind-and-blizzard-open-starcraft-ii-ai-research-environment/ песочницу] для StarCraft II, поле для исследований просто безгранично.&lt;br /&gt;
&lt;br /&gt;
=== Критерии оценки ===&lt;br /&gt;
# Необходимым, но не достаточным критерием получения &amp;quot;зачет&amp;quot; и выше является доклад на семинаре.&lt;br /&gt;
# Для оценки 7 и ниже необходимо в срок выполнять все задания.&lt;br /&gt;
# Дополнительные 3 балла распределяются на основании качества вашей модели по сравнению с коллегами.&lt;br /&gt;
&lt;br /&gt;
=== Ориентировочное расписание занятий ===&lt;br /&gt;
Проект предполагает еженедельные встречи для проведения семинаров и отслеживания прогресса. Время будет обсуждаться отдельно с группой. Возможен вариант с утром (8-10) в стенах ШАДа или вечером (7-9) в ВШЭ.&lt;/div&gt;</summary>
		<author><name>Simagin.denis</name></author>
	</entry>
	<entry>
		<id>https://wiki.cs.hse.ru/index.php?title=Renju_(%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82)&amp;diff=25409</id>
		<title>Renju (проект)</title>
		<link rel="alternate" type="text/html" href="https://wiki.cs.hse.ru/index.php?title=Renju_(%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82)&amp;diff=25409"/>
		<updated>2017-10-19T18:51:27Z</updated>

		<summary type="html">&lt;p&gt;Simagin.denis: &lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;{{Карточка_проекта&lt;br /&gt;
|name=Renju&lt;br /&gt;
|mentor=Симагин Денис&lt;br /&gt;
|mentor_login={{URLENCODE:Simagin.denis|WIKI}}&lt;br /&gt;
|semester=Осень 2017&lt;br /&gt;
|course=2&lt;br /&gt;
|summer=&lt;br /&gt;
|number_of_students=10&lt;br /&gt;
|categorize=yes&lt;br /&gt;
}}&lt;br /&gt;
&lt;br /&gt;
=== Что это за проект? ===&lt;br /&gt;
Cочетание [https://en.wikipedia.org/wiki/Reinforcement_learning reinforcement learning] и [https://en.wikipedia.org/wiki/Deep_learning deep learning] является &amp;quot;горячей&amp;quot; темой на сегодняшний день. К примеру, изучите статью [http://arxiv.org/pdf/1312.5602v1.pdf Playing atari with deep reinforcement learning]. Также вы, наверняка, слышали о [https://en.wikipedia.org/wiki/AlphaGo AlpaGo], программе, которая впервые победила человека, профессионально играющего в Go. Подробнее об этом [https://storage.googleapis.com/deepmind-media/alphago/AlphaGoNaturePaper.pdf здесь]. Данный проект заключается в изучении подходов, использующихся  в AlphaGo, и их реализации при создание собственного алгоритма для игры в [https://en.wikipedia.org/wiki/Renju рендзю].&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;Молния:&#039;&#039;&#039; вышла новая статья [https://www.nature.com/articles/nature24270.epdf?author_access_token=VJXbVjaSHxFoctQQ4p2k4tRgN0jAjWel9jnR3ZoTv0PVW4gB86EEpGqTRDtpIz-2rmo8-KG06gqVobU5NSCFeHILHcVFUeMsbvwS-lxjqQGg98faovwjxeTUgZAUMnRQ статья], где модель обучается полностью без учителя.&lt;br /&gt;
&lt;br /&gt;
Для того, чтобы попасть на проект, нужно пройти собеседование.&lt;br /&gt;
&lt;br /&gt;
=== Чему вы научитесь? ===&lt;br /&gt;
# Чтение научных статей на английском.&lt;br /&gt;
# Погружение в машинное обучение.&lt;br /&gt;
# Сверточные нейронные сети&lt;br /&gt;
# Обучение с подкреплением&lt;br /&gt;
# Ревью кода.&lt;br /&gt;
&lt;br /&gt;
=== Какие начальные требования? ===&lt;br /&gt;
# Машина с UNIX-подобной ОС и мощной видеокартой (возможно облачная)&lt;br /&gt;
# Знание Python 3, Git и работа с командной оболочкой.&lt;br /&gt;
# Базовые знания в машинном обучении&lt;br /&gt;
# Хорошая математическая подготовка&lt;br /&gt;
# Английский&lt;br /&gt;
&lt;br /&gt;
=== Какие будут использоваться технологии? ===&lt;br /&gt;
# В качестве основного языка будет Python 3&lt;br /&gt;
# Для обучения сейчас принято использовать [https://www.tensorflow.org tensorflow], однако набирает популярность библиотека [https://docs.microsoft.com/en-us/cognitive-toolkit/ cntk] (она шустрая).&lt;br /&gt;
# Так же вы можете проводить вычисления на ресурсах [https://aws.amazon.com/ru/ aws] или воспользоваться [https://cloud.google.com google cloud].&lt;br /&gt;
&lt;br /&gt;
=== Темы вводных занятий ===&lt;br /&gt;
# Кратко об обучении с учителем&lt;br /&gt;
# Линейные модели, градиентный спуск&lt;br /&gt;
# Введение в нейронные сети&lt;br /&gt;
# Сверточные сети&lt;br /&gt;
# Обучение с подкреплением&lt;br /&gt;
&lt;br /&gt;
=== Направления развития ===&lt;br /&gt;
DeepMind и Blizzard сделали [https://deepmind.com/blog/deepmind-and-blizzard-open-starcraft-ii-ai-research-environment/ песочницу] для StarCraft II, поле для исследований просто безгранично.&lt;br /&gt;
&lt;br /&gt;
=== Критерии оценки ===&lt;br /&gt;
# Необходимым, но не достаточным критерием получения &amp;quot;зачет&amp;quot; и выше является доклад на семинаре.&lt;br /&gt;
# Для оценки 7 и ниже необходимо в срок выполнять все задания.&lt;br /&gt;
# Дополнительные 3 балла распределяются на основании качества вашей модели по сравнению с коллегами.&lt;br /&gt;
&lt;br /&gt;
=== Ориентировочное расписание занятий ===&lt;br /&gt;
Проект предполагает еженедельные встречи для проведения семинаров и отслеживания прогресса. Время будет обсуждаться отдельно с группой. Возможен вариант с утром (8-10) в стенах ШАДа или вечером (7-9) в ВШЭ.&lt;/div&gt;</summary>
		<author><name>Simagin.denis</name></author>
	</entry>
	<entry>
		<id>https://wiki.cs.hse.ru/index.php?title=Renju_(%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82)&amp;diff=25407</id>
		<title>Renju (проект)</title>
		<link rel="alternate" type="text/html" href="https://wiki.cs.hse.ru/index.php?title=Renju_(%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82)&amp;diff=25407"/>
		<updated>2017-10-19T18:51:09Z</updated>

		<summary type="html">&lt;p&gt;Simagin.denis: &lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;{{Карточка_проекта&lt;br /&gt;
|name=Renju&lt;br /&gt;
|mentor=Симагин Денис&lt;br /&gt;
|mentor_login={{URLENCODE:Simagin.denis|WIKI}}&lt;br /&gt;
|semester=Осень 2017&lt;br /&gt;
|course=2&lt;br /&gt;
|summer=&lt;br /&gt;
|number_of_students=10&lt;br /&gt;
|categorize=yes&lt;br /&gt;
}}&lt;br /&gt;
&lt;br /&gt;
=== Что это за проект? ===&lt;br /&gt;
Cочетание [https://en.wikipedia.org/wiki/Reinforcement_learning reinforcement learning] и [https://en.wikipedia.org/wiki/Deep_learning deep learning] является &amp;quot;горячей&amp;quot; темой на сегодняшний день. К примеру, изучите статью [http://arxiv.org/pdf/1312.5602v1.pdf Playing atari with deep reinforcement learning]. Также вы, наверняка, слышали о [https://en.wikipedia.org/wiki/AlphaGo AlpaGo], программе, которая впервые победила человека, профессионально играющего в Go. Подробнее об этом [https://storage.googleapis.com/deepmind-media/alphago/AlphaGoNaturePaper.pdf здесь]. Данный проект заключается в изучении подходов, использующихся  в AlphaGo, и их реализации при создание собственного алгоритма для игры в [https://en.wikipedia.org/wiki/Renju рендзю].&lt;br /&gt;
&lt;br /&gt;
 &#039;&#039;&#039;Молния:&#039;&#039;&#039; вышла новая статья [https://www.nature.com/articles/nature24270.epdf?author_access_token=VJXbVjaSHxFoctQQ4p2k4tRgN0jAjWel9jnR3ZoTv0PVW4gB86EEpGqTRDtpIz-2rmo8-KG06gqVobU5NSCFeHILHcVFUeMsbvwS-lxjqQGg98faovwjxeTUgZAUMnRQ статья], где модель обучается полностью без учителя.&lt;br /&gt;
&lt;br /&gt;
Для того, чтобы попасть на проект, нужно пройти собеседование.&lt;br /&gt;
&lt;br /&gt;
=== Чему вы научитесь? ===&lt;br /&gt;
# Чтение научных статей на английском.&lt;br /&gt;
# Погружение в машинное обучение.&lt;br /&gt;
# Сверточные нейронные сети&lt;br /&gt;
# Обучение с подкреплением&lt;br /&gt;
# Ревью кода.&lt;br /&gt;
&lt;br /&gt;
=== Какие начальные требования? ===&lt;br /&gt;
# Машина с UNIX-подобной ОС и мощной видеокартой (возможно облачная)&lt;br /&gt;
# Знание Python 3, Git и работа с командной оболочкой.&lt;br /&gt;
# Базовые знания в машинном обучении&lt;br /&gt;
# Хорошая математическая подготовка&lt;br /&gt;
# Английский&lt;br /&gt;
&lt;br /&gt;
=== Какие будут использоваться технологии? ===&lt;br /&gt;
# В качестве основного языка будет Python 3&lt;br /&gt;
# Для обучения сейчас принято использовать [https://www.tensorflow.org tensorflow], однако набирает популярность библиотека [https://docs.microsoft.com/en-us/cognitive-toolkit/ cntk] (она шустрая).&lt;br /&gt;
# Так же вы можете проводить вычисления на ресурсах [https://aws.amazon.com/ru/ aws] или воспользоваться [https://cloud.google.com google cloud].&lt;br /&gt;
&lt;br /&gt;
=== Темы вводных занятий ===&lt;br /&gt;
# Кратко об обучении с учителем&lt;br /&gt;
# Линейные модели, градиентный спуск&lt;br /&gt;
# Введение в нейронные сети&lt;br /&gt;
# Сверточные сети&lt;br /&gt;
# Обучение с подкреплением&lt;br /&gt;
&lt;br /&gt;
=== Направления развития ===&lt;br /&gt;
DeepMind и Blizzard сделали [https://deepmind.com/blog/deepmind-and-blizzard-open-starcraft-ii-ai-research-environment/ песочницу] для StarCraft II, поле для исследований просто безгранично.&lt;br /&gt;
&lt;br /&gt;
=== Критерии оценки ===&lt;br /&gt;
# Необходимым, но не достаточным критерием получения &amp;quot;зачет&amp;quot; и выше является доклад на семинаре.&lt;br /&gt;
# Для оценки 7 и ниже необходимо в срок выполнять все задания.&lt;br /&gt;
# Дополнительные 3 балла распределяются на основании качества вашей модели по сравнению с коллегами.&lt;br /&gt;
&lt;br /&gt;
=== Ориентировочное расписание занятий ===&lt;br /&gt;
Проект предполагает еженедельные встречи для проведения семинаров и отслеживания прогресса. Время будет обсуждаться отдельно с группой. Возможен вариант с утром (8-10) в стенах ШАДа или вечером (7-9) в ВШЭ.&lt;/div&gt;</summary>
		<author><name>Simagin.denis</name></author>
	</entry>
	<entry>
		<id>https://wiki.cs.hse.ru/index.php?title=Renju_(%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82)&amp;diff=24909</id>
		<title>Renju (проект)</title>
		<link rel="alternate" type="text/html" href="https://wiki.cs.hse.ru/index.php?title=Renju_(%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82)&amp;diff=24909"/>
		<updated>2017-10-04T13:02:38Z</updated>

		<summary type="html">&lt;p&gt;Simagin.denis: Новая страница, с помощью формы Новый_проект&lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;{{Карточка_проекта&lt;br /&gt;
|name=Renju&lt;br /&gt;
|mentor=Симагин Денис&lt;br /&gt;
|mentor_login={{URLENCODE:Simagin.denis|WIKI}}&lt;br /&gt;
|semester=Осень 2017&lt;br /&gt;
|course=2&lt;br /&gt;
|summer=&lt;br /&gt;
|number_of_students=10&lt;br /&gt;
|categorize=yes&lt;br /&gt;
}}&lt;br /&gt;
&lt;br /&gt;
=== Что это за проект? ===&lt;br /&gt;
Cочетание [https://en.wikipedia.org/wiki/Reinforcement_learning reinforcement learning] и [https://en.wikipedia.org/wiki/Deep_learning deep learning] является &amp;quot;горячей&amp;quot; темой на сегодняшний день. К примеру, изучите статью [http://arxiv.org/pdf/1312.5602v1.pdf Playing atari with deep reinforcement learning]. Также вы, наверняка, слышали о [https://en.wikipedia.org/wiki/AlphaGo AlpaGo], программе, которая впервые победила человека, профессионально играющего в Go. Подробнее об этом [https://storage.googleapis.com/deepmind-media/alphago/AlphaGoNaturePaper.pdf здесь]. Данный проект заключается в изучении подходов, использующихся  в AlphaGo, и их реализации при создание собственного алгоритма для игры в [https://en.wikipedia.org/wiki/Renju рендзю].&lt;br /&gt;
&lt;br /&gt;
Для того, чтобы попасть на проект, нужно пройти собеседование.&lt;br /&gt;
&lt;br /&gt;
=== Чему вы научитесь? ===&lt;br /&gt;
# Чтение научных статей на английском.&lt;br /&gt;
# Погружение в машинное обучение.&lt;br /&gt;
# Сверточные нейронные сети&lt;br /&gt;
# Обучение с подкреплением&lt;br /&gt;
# Ревью кода.&lt;br /&gt;
&lt;br /&gt;
=== Какие начальные требования? ===&lt;br /&gt;
# Машина с UNIX-подобной ОС и мощной видеокартой (возможно облачная)&lt;br /&gt;
# Знание Python 3, Git и работа с командной оболочкой.&lt;br /&gt;
# Базовые знания в машинном обучении&lt;br /&gt;
# Хорошая математическая подготовка&lt;br /&gt;
# Английский&lt;br /&gt;
&lt;br /&gt;
=== Какие будут использоваться технологии? ===&lt;br /&gt;
# В качестве основного языка будет Python 3&lt;br /&gt;
# Для обучения сейчас принято использовать [https://www.tensorflow.org tensorflow], однако набирает популярность библиотека [https://docs.microsoft.com/en-us/cognitive-toolkit/ cntk] (она шустрая).&lt;br /&gt;
# Так же вы можете проводить вычисления на ресурсах [https://aws.amazon.com/ru/ aws] или воспользоваться [https://cloud.google.com google cloud].&lt;br /&gt;
&lt;br /&gt;
=== Темы вводных занятий ===&lt;br /&gt;
# Кратко об обучении с учителем&lt;br /&gt;
# Линейные модели, градиентный спуск&lt;br /&gt;
# Введение в нейронные сети&lt;br /&gt;
# Сверточные сети&lt;br /&gt;
# Обучение с подкреплением&lt;br /&gt;
&lt;br /&gt;
=== Направления развития ===&lt;br /&gt;
DeepMind и Blizzard сделали [https://deepmind.com/blog/deepmind-and-blizzard-open-starcraft-ii-ai-research-environment/ песочницу] для StarCraft II, поле для исследований просто безгранично.&lt;br /&gt;
&lt;br /&gt;
=== Критерии оценки ===&lt;br /&gt;
# Необходимым, но не достаточным критерием получения &amp;quot;зачет&amp;quot; и выше является доклад на семинаре.&lt;br /&gt;
# Для оценки 7 и ниже необходимо в срок выполнять все задания.&lt;br /&gt;
# Дополнительные 3 балла распределяются на основании качества вашей модели по сравнению с коллегами.&lt;br /&gt;
&lt;br /&gt;
=== Ориентировочное расписание занятий ===&lt;br /&gt;
Проект предполагает еженедельные встречи для проведения семинаров и отслеживания прогресса. Время будет обсуждаться отдельно с группой. Возможен вариант с утром (8-10) в стенах ШАДа или вечером (7-9) в ВШЭ.&lt;/div&gt;</summary>
		<author><name>Simagin.denis</name></author>
	</entry>
	<entry>
		<id>https://wiki.cs.hse.ru/index.php?title=SQuAD_(%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82)&amp;diff=24902</id>
		<title>SQuAD (проект)</title>
		<link rel="alternate" type="text/html" href="https://wiki.cs.hse.ru/index.php?title=SQuAD_(%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82)&amp;diff=24902"/>
		<updated>2017-10-04T12:31:09Z</updated>

		<summary type="html">&lt;p&gt;Simagin.denis: &lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;{{Карточка_проекта&lt;br /&gt;
|name=SQuAD&lt;br /&gt;
|mentor=Симагин Денис&lt;br /&gt;
|mentor_login={{URLENCODE:Simagin.denis|WIKI}}&lt;br /&gt;
|semester=Осень 2017&lt;br /&gt;
|course=2&lt;br /&gt;
|summer=&lt;br /&gt;
|number_of_students=10&lt;br /&gt;
|categorize=yes&lt;br /&gt;
}}&lt;br /&gt;
&lt;br /&gt;
=== Что это за проект? ===&lt;br /&gt;
Проект носит исследовательский характер. Существует интересный датасет известный, как &amp;lt;del&amp;gt;Suicide&amp;lt;/del&amp;gt; [https://rajpurkar.github.io/SQuAD-explorer/ SQuAD]. Необходимо предложить алгоритм, который способен &amp;quot;прочитать&amp;quot; статью, а затем по вопросу сгенерировать ответ на нее. Уже существует &amp;quot;пачка&amp;quot; научных статей, посвященных этой задаче. Наша цель заключается в том, чтобы изучить существующие методы и попробовать обучить собственную модель.&lt;br /&gt;
&lt;br /&gt;
Для того, чтобы попасть на проект, нужно пройти собеседование.&lt;br /&gt;
&lt;br /&gt;
=== Чему вы научитесь? ===&lt;br /&gt;
# Чтение научных статей на английском.&lt;br /&gt;
# Погружение в машинное обучение.&lt;br /&gt;
# Нейронные сети для работы с текстами.&lt;br /&gt;
# Ревью кода.&lt;br /&gt;
&lt;br /&gt;
=== Какие начальные требования? ===&lt;br /&gt;
# Машина с UNIX-подобной ОС и мощной видеокартой (возможно облачная)&lt;br /&gt;
# Знание Python 3, Git и работа с командной оболочкой.&lt;br /&gt;
# Базовые знания в машинном обучении&lt;br /&gt;
# Хорошая математическая подготовка&lt;br /&gt;
# Английский&lt;br /&gt;
&lt;br /&gt;
=== Какие будут использоваться технологии? ===&lt;br /&gt;
# В качестве основного языка будет Python 3&lt;br /&gt;
# Для обучения сейчас принято использовать [https://www.tensorflow.org tensorflow], однако набирает популярность библиотека [https://docs.microsoft.com/en-us/cognitive-toolkit/ cntk] (она шустрая).&lt;br /&gt;
# Так же вы можете проводить вычисления на ресурсах [https://aws.amazon.com/ru/ aws] или воспользоваться [https://cloud.google.com google cloud].&lt;br /&gt;
&lt;br /&gt;
=== Темы вводных занятий ===&lt;br /&gt;
# Кратко об обучении с учителем.&lt;br /&gt;
# Линейные модели, градиентный спуск.&lt;br /&gt;
# Введение в нейронные сети.&lt;br /&gt;
# Сверточные сети&lt;br /&gt;
# Рекуррентные сети&lt;br /&gt;
# Нейронные сети для работы с текстом.&lt;br /&gt;
&lt;br /&gt;
=== Направления развития ===&lt;br /&gt;
# Это достаточно свежая тема для исследований. Изучать статьи и проводить  эксперименты можно долго.&lt;br /&gt;
# Поиск по английской wikipedia на основе обученной модели.&lt;br /&gt;
&lt;br /&gt;
=== Критерии оценки ===&lt;br /&gt;
# Необходимым, но не достаточным критерием получения &amp;quot;зачет&amp;quot; и выше является доклад на семинаре.&lt;br /&gt;
# Для оценки 7 и ниже необходимо в срок выполнять все задания.&lt;br /&gt;
# Дополнительные 3 балла распределяются на основании качества вашей модели по сравнению с коллегами.&lt;br /&gt;
&lt;br /&gt;
=== Ориентировочное расписание занятий ===&lt;br /&gt;
Проект предполагает еженедельные встречи для проведения семинаров и отслеживания прогресса. Время будет обсуждаться отдельно с группой. Возможен вариант с утром (8-10) в стенах ШАДа или вечером (7-9) в ВШЭ.&lt;/div&gt;</summary>
		<author><name>Simagin.denis</name></author>
	</entry>
	<entry>
		<id>https://wiki.cs.hse.ru/index.php?title=SQuAD_(%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82)&amp;diff=24900</id>
		<title>SQuAD (проект)</title>
		<link rel="alternate" type="text/html" href="https://wiki.cs.hse.ru/index.php?title=SQuAD_(%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82)&amp;diff=24900"/>
		<updated>2017-10-04T12:18:07Z</updated>

		<summary type="html">&lt;p&gt;Simagin.denis: &lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;{{Карточка_проекта&lt;br /&gt;
|name=SQuAD&lt;br /&gt;
|mentor=Симагин Денис&lt;br /&gt;
|mentor_login={{URLENCODE:Simagin.denis|WIKI}}&lt;br /&gt;
|semester=Осень 2017&lt;br /&gt;
|course=2&lt;br /&gt;
|summer=&lt;br /&gt;
|number_of_students=10&lt;br /&gt;
|categorize=yes&lt;br /&gt;
}}&lt;br /&gt;
&lt;br /&gt;
=== Что это за проект? ===&lt;br /&gt;
Проект носит исследовательский характер. Существует интересный датасет известный, как &amp;lt;del&amp;gt;Suicide&amp;lt;/del&amp;gt; [https://rajpurkar.github.io/SQuAD-explorer/ SQuAD]. Необходимо предложить алгоритм, который способен &amp;quot;прочитать&amp;quot; статью, а затем по вопросу сгенерировать ответ на нее. Уже существует &amp;quot;пачка&amp;quot; научных статей, посвященных этой задаче. Наша цель заключается в том, чтобы изучить существующие методы и попробовать обучить собственную модель.&lt;br /&gt;
&lt;br /&gt;
Для того, чтобы попасть на проект, нужно пройти собеседование.&lt;br /&gt;
&lt;br /&gt;
=== Чему вы научитесь? ===&lt;br /&gt;
# Чтение научных статей на английском.&lt;br /&gt;
# Погружение в машинное обучение.&lt;br /&gt;
# Нейронные сети для работы с текстами.&lt;br /&gt;
# Атмосфера исследования.&lt;br /&gt;
# Ревью кода.&lt;br /&gt;
&lt;br /&gt;
=== Какие начальные требования? ===&lt;br /&gt;
# Машина с UNIX-подобной ОС и мощной видеокартой (возможно облачная)&lt;br /&gt;
# Знание Python 3, Git и работа с командной оболочкой.&lt;br /&gt;
# Базовые знания в машинном обучении&lt;br /&gt;
# Хорошая математическая подготовка&lt;br /&gt;
# Английский&lt;br /&gt;
&lt;br /&gt;
=== Какие будут использоваться технологии? ===&lt;br /&gt;
# В качестве основного языка будет Python 3&lt;br /&gt;
# Для обучения сейчас принято использовать [https://www.tensorflow.org tensorflow], однако набирает популярность библиотека [https://docs.microsoft.com/en-us/cognitive-toolkit/ cntk] (она шустрая).&lt;br /&gt;
# Так же вы можете проводить вычисления на ресурсах [https://aws.amazon.com/ru/ aws] или воспользоваться [https://cloud.google.com google cloud].&lt;br /&gt;
&lt;br /&gt;
=== Темы вводных занятий ===&lt;br /&gt;
# Кратко об обучении с учителем.&lt;br /&gt;
# Линейные модели, градиентный спуск.&lt;br /&gt;
# Введение в нейронные сети.&lt;br /&gt;
# Сверточные сети&lt;br /&gt;
# Рекуррентные сети&lt;br /&gt;
# Нейронные сети для работы с текстом.&lt;br /&gt;
&lt;br /&gt;
=== Направления развития ===&lt;br /&gt;
# Это достаточно свежая тема для исследований. Изучать статьи и проводить  эксперименты можно долго.&lt;br /&gt;
# Поиск по английской wikipedia на основе обученной модели.&lt;br /&gt;
&lt;br /&gt;
=== Критерии оценки ===&lt;br /&gt;
# Необходимым, но не достаточным критерием получения &amp;quot;зачет&amp;quot; и выше является доклад на семинаре.&lt;br /&gt;
# Для оценки 7 и ниже необходимо в срок выполнять все задания.&lt;br /&gt;
# Дополнительные 3 балла распределяются на основании качества вашей модели по сравнению с коллегами.&lt;br /&gt;
&lt;br /&gt;
=== Ориентировочное расписание занятий ===&lt;br /&gt;
Проект предполагает еженедельные встречи для проведения семинаров и отслеживания прогресса. Время будет обсуждаться отдельно с группой. Возможен вариант с утром (8-10) в стенах ШАДа или вечером (7-9) в ВШЭ.&lt;/div&gt;</summary>
		<author><name>Simagin.denis</name></author>
	</entry>
	<entry>
		<id>https://wiki.cs.hse.ru/index.php?title=SQuAD_(%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82)&amp;diff=24899</id>
		<title>SQuAD (проект)</title>
		<link rel="alternate" type="text/html" href="https://wiki.cs.hse.ru/index.php?title=SQuAD_(%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82)&amp;diff=24899"/>
		<updated>2017-10-04T12:17:50Z</updated>

		<summary type="html">&lt;p&gt;Simagin.denis: &lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;{{Карточка_проекта&lt;br /&gt;
|name=SQuAD&lt;br /&gt;
|mentor=Симагин Денис&lt;br /&gt;
|mentor_login={{URLENCODE:Simagin.denis|WIKI}}&lt;br /&gt;
|semester=Осень 2017&lt;br /&gt;
|course=2&lt;br /&gt;
|summer=&lt;br /&gt;
|number_of_students=10&lt;br /&gt;
|categorize=yes&lt;br /&gt;
}}&lt;br /&gt;
&lt;br /&gt;
=== Что это за проект? ===&lt;br /&gt;
Проект носит исследовательский характер. Существует интересный датасет известный, как &amp;lt;del&amp;gt;Suicide&amp;lt;/del&amp;gt; [https://rajpurkar.github.io/SQuAD-explorer/ SQuAD]. Необходимо предложить алгоритм, который способен &amp;quot;прочитать&amp;quot; статью, а затем по вопросу сгенерировать ответ на нее. Уже существует &amp;quot;пачка&amp;quot; научных статей, посвященных этой задаче. Наша цель заключается в том, чтобы изучить существующие методы и попробовать обучить собственную модель.&lt;br /&gt;
&lt;br /&gt;
Для того, чтобы попасть на проект, нужно пройти собеседование.&lt;br /&gt;
&lt;br /&gt;
=== Чему вы научитесь? ===&lt;br /&gt;
# Чтение научных статей на английском.&lt;br /&gt;
# Погружение в машинное обучение.&lt;br /&gt;
# Нейронные сети для работы с текстами.&lt;br /&gt;
# Атмосфера исследования.&lt;br /&gt;
# Ревью кода.&lt;br /&gt;
&lt;br /&gt;
=== Какие начальные требования? ===&lt;br /&gt;
# Машина с UNIX-подобной ОС и мощной видеокартой (возможно облачная)&lt;br /&gt;
# Знание Python 3, Git и работа с командной оболочкой.&lt;br /&gt;
# Базовые знания в машинном обучении&lt;br /&gt;
# Хорошая математическая подготовка&lt;br /&gt;
# Английский&lt;br /&gt;
&lt;br /&gt;
=== Какие будут использоваться технологии? ===&lt;br /&gt;
# В качестве основного языка будет Python 3&lt;br /&gt;
# Для обучения сейчас принято использовать [https://www.tensorflow.org tensorflow], однако набирает популярность библиотека [https://docs.microsoft.com/en-us/cognitive-toolkit/ cntk] (она шустрая).&lt;br /&gt;
# Так же вы можете проводить вычисления на ресурсах [https://aws.amazon.com/ru/ aws] или воспользоваться [https://cloud.google.com google cloud].&lt;br /&gt;
&lt;br /&gt;
=== Темы вводных занятий ===&lt;br /&gt;
# Кратко о обучении с учителем.&lt;br /&gt;
# Линейные модели, градиентный спуск.&lt;br /&gt;
# Введение в нейронные сети.&lt;br /&gt;
# Сверточные сети&lt;br /&gt;
# Рекуррентные сети&lt;br /&gt;
# Нейронные сети для работы с текстом.&lt;br /&gt;
&lt;br /&gt;
=== Направления развития ===&lt;br /&gt;
# Это достаточно свежая тема для исследований. Изучать статьи и проводить  эксперименты можно долго.&lt;br /&gt;
# Поиск по английской wikipedia на основе обученной модели.&lt;br /&gt;
&lt;br /&gt;
=== Критерии оценки ===&lt;br /&gt;
# Необходимым, но не достаточным критерием получения &amp;quot;зачет&amp;quot; и выше является доклад на семинаре.&lt;br /&gt;
# Для оценки 7 и ниже необходимо в срок выполнять все задания.&lt;br /&gt;
# Дополнительные 3 балла распределяются на основании качества вашей модели по сравнению с коллегами.&lt;br /&gt;
&lt;br /&gt;
=== Ориентировочное расписание занятий ===&lt;br /&gt;
Проект предполагает еженедельные встречи для проведения семинаров и отслеживания прогресса. Время будет обсуждаться отдельно с группой. Возможен вариант с утром (8-10) в стенах ШАДа или вечером (7-9) в ВШЭ.&lt;/div&gt;</summary>
		<author><name>Simagin.denis</name></author>
	</entry>
	<entry>
		<id>https://wiki.cs.hse.ru/index.php?title=SQuAD_(%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82)&amp;diff=24898</id>
		<title>SQuAD (проект)</title>
		<link rel="alternate" type="text/html" href="https://wiki.cs.hse.ru/index.php?title=SQuAD_(%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82)&amp;diff=24898"/>
		<updated>2017-10-04T12:15:37Z</updated>

		<summary type="html">&lt;p&gt;Simagin.denis: Новая страница, с помощью формы Новый_проект&lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;{{Карточка_проекта&lt;br /&gt;
|name=SQuAD&lt;br /&gt;
|mentor=Симагин Денис&lt;br /&gt;
|mentor_login={{URLENCODE:Simagin.denis|WIKI}}&lt;br /&gt;
|semester=Осень 2017&lt;br /&gt;
|course=2&lt;br /&gt;
|summer=&lt;br /&gt;
|number_of_students=10&lt;br /&gt;
|categorize=yes&lt;br /&gt;
}}&lt;br /&gt;
&lt;br /&gt;
=== Что это за проект? ===&lt;br /&gt;
Проект носит исследовательский характер. Существует интересный датасет известный, как &amp;lt;del&amp;gt;Suicide&amp;lt;/del&amp;gt; [https://rajpurkar.github.io/SQuAD-explorer/ SQuAD]. Необходимо предложить алгоритм, который способен &amp;quot;прочитать&amp;quot; статью, а затем по вопросу сгенерировать ответ на нее. Уже существует &amp;quot;пачка&amp;quot; научных статей, посвященных этой задаче. Наша цель заключается в том, чтобы изучить существующие методы и попробовать обучить собственную модель.&lt;br /&gt;
&lt;br /&gt;
Для того, чтобы попасть на проект нужно пройти собеседование.&lt;br /&gt;
&lt;br /&gt;
=== Чему вы научитесь? ===&lt;br /&gt;
# Чтение научных статей на английском.&lt;br /&gt;
# Погружение в машинное обучение.&lt;br /&gt;
# Нейронные сети для работы с текстами.&lt;br /&gt;
# Атмосфера исследования.&lt;br /&gt;
# Ревью кода.&lt;br /&gt;
&lt;br /&gt;
=== Какие начальные требования? ===&lt;br /&gt;
# Машина с UNIX-подобной ОС и мощной видеокартой (возможно облачная)&lt;br /&gt;
# Знание Python 3, Git и работа с командной оболочкой.&lt;br /&gt;
# Базовые знания в машинном обучении&lt;br /&gt;
# Хорошая математическая подготовка&lt;br /&gt;
# Английский&lt;br /&gt;
&lt;br /&gt;
=== Какие будут использоваться технологии? ===&lt;br /&gt;
# В качестве основного языка будет Python 3&lt;br /&gt;
# Для обучения сейчас принято использовать [https://www.tensorflow.org tensorflow], однако набирает популярность библиотека [https://docs.microsoft.com/en-us/cognitive-toolkit/ cntk] (она шустрая).&lt;br /&gt;
# Так же вы можете проводить вычисления на ресурсах [https://aws.amazon.com/ru/ aws] или воспользоваться [https://cloud.google.com google cloud].&lt;br /&gt;
&lt;br /&gt;
=== Темы вводных занятий ===&lt;br /&gt;
# Кратко о обучении с учителем.&lt;br /&gt;
# Линейные модели, градиентный спуск.&lt;br /&gt;
# Введение в нейронные сети.&lt;br /&gt;
# Сверточные сети&lt;br /&gt;
# Рекуррентные сети&lt;br /&gt;
# Нейронные сети для работы с текстом.&lt;br /&gt;
&lt;br /&gt;
=== Направления развития ===&lt;br /&gt;
# Это достаточно свежая тема для исследований. Изучать статьи и проводить  эксперименты можно долго.&lt;br /&gt;
# Поиск по английской wikipedia на основе обученной модели.&lt;br /&gt;
&lt;br /&gt;
=== Критерии оценки ===&lt;br /&gt;
# Необходимым, но не достаточным критерием получения &amp;quot;зачет&amp;quot; и выше является доклад на семинаре.&lt;br /&gt;
# Для оценки 7 и ниже необходимо в срок выполнять все задания.&lt;br /&gt;
# Дополнительные 3 балла распределяются на основании качества вашей модели по сравнению с коллегами.&lt;br /&gt;
&lt;br /&gt;
=== Ориентировочное расписание занятий ===&lt;br /&gt;
Проект предполагает еженедельные встречи для проведения семинаров и отслеживания прогресса. Время будет обсуждаться отдельно с группой. Возможен вариант с утром (8-10) в стенах ШАДа или вечером (7-9) в ВШЭ.&lt;/div&gt;</summary>
		<author><name>Simagin.denis</name></author>
	</entry>
	<entry>
		<id>https://wiki.cs.hse.ru/index.php?title=Maps_(%D0%BA%D0%BE%D0%BC%D0%B0%D0%BD%D0%B4%D0%BD%D1%8B%D0%B9_%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82)&amp;diff=24424</id>
		<title>Maps (командный проект)</title>
		<link rel="alternate" type="text/html" href="https://wiki.cs.hse.ru/index.php?title=Maps_(%D0%BA%D0%BE%D0%BC%D0%B0%D0%BD%D0%B4%D0%BD%D1%8B%D0%B9_%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82)&amp;diff=24424"/>
		<updated>2017-09-21T11:26:43Z</updated>

		<summary type="html">&lt;p&gt;Simagin.denis: &lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;{{Карточка_командного_проекта&lt;br /&gt;
|name=Maps&lt;br /&gt;
|company=Yandex&lt;br /&gt;
|semester=Осень 2017&lt;br /&gt;
|course=3&lt;br /&gt;
|number_of_students=3-5&lt;br /&gt;
|categorize=yes&lt;br /&gt;
}}&lt;br /&gt;
&lt;br /&gt;
=== Что это за проект? ===&lt;br /&gt;
Это образовательно-исследовательский проект. Сегодня делаются первые шаги для автоматического создания карт на основе различных сигналов: снимки спутника, gps-треки, объезды городов (панорамы). Возможны следующие интересные темы:&lt;br /&gt;
&lt;br /&gt;
# Можно заняться сегментацией снимков спутника, а именно выделение: гидрографии, растительности, зданий и дорог.&lt;br /&gt;
# Анализ gps-треков для восстановления и атрибутирования дорожного графа.&lt;br /&gt;
# На основе панорам реконструировать сцену и распознать объекты инфраструктуры (дорожные знаки, светофоры, пешеходны переходы, остановки и т.п.).&lt;br /&gt;
&lt;br /&gt;
Работа будет проходить в формате семинаров. К сожалению, в качестве источников данных можно использовать только открытые.&lt;br /&gt;
&lt;br /&gt;
=== Чему научатся студенты? Что самое интересное в проекте? ===&lt;br /&gt;
# Изучение современных подходов реконструкции сцены&lt;br /&gt;
# Обучение с учителем&lt;br /&gt;
# Погружение в исследовательскую деятельность&lt;br /&gt;
# Процесс ревью&lt;br /&gt;
# Работа на семинарах&lt;br /&gt;
# Чтение современных статей&lt;br /&gt;
&lt;br /&gt;
=== Организация работы (Как студенты будут работать в команде?) ===&lt;br /&gt;
# Работа будет проходить в виде семинаров, где будут разбираться статьи и рассматриваться результаты последнего спринта (agile подход).&lt;br /&gt;
# Вы будете делать доклады и читать код друг друга.&lt;br /&gt;
# Каждый исследует свой кусок.&lt;br /&gt;
&lt;br /&gt;
=== Какие будут использоваться технологии? ===&lt;br /&gt;
# Разработка будет вестись на  С++ и Python3.&lt;br /&gt;
# Код будет храниться в открытом репозитории github.&lt;br /&gt;
# Наиболее вероятно будем использовать [http://opencv.org opencv]  и  [http://www.pointclouds.org pcl].&lt;br /&gt;
# Для обучения моделей tensorflow.&lt;br /&gt;
&lt;br /&gt;
=== Какие начальные требования? ===&lt;br /&gt;
# Знание C++ и Python3&lt;br /&gt;
# Хорошая математическая подготовка, основы машинного обучения&lt;br /&gt;
# Много свободного времени&lt;br /&gt;
# Хорошее знание английского&lt;br /&gt;
&lt;br /&gt;
=== Темы вводных занятий ===&lt;br /&gt;
Темы могут варьироваться от уровня студентов, попробуем разобраться в:&lt;br /&gt;
# Как можно реконструировать сцену;&lt;br /&gt;
# Детектирование одного объекта на различных снимках;&lt;br /&gt;
# Вводная по нейросетям и сегментации.&lt;br /&gt;
&lt;br /&gt;
=== Критерии оценки ===&lt;br /&gt;
Проект исследовательский, поэтому нет четких критериев оценки. Все зависит от вашей дисциплинированности на семинарах и выполнения требований.&lt;br /&gt;
&lt;br /&gt;
=== Контактная информация ===&lt;br /&gt;
С вопросами пишите на @dasimagin в телеграм.&lt;/div&gt;</summary>
		<author><name>Simagin.denis</name></author>
	</entry>
	<entry>
		<id>https://wiki.cs.hse.ru/index.php?title=Maps_(%D0%BA%D0%BE%D0%BC%D0%B0%D0%BD%D0%B4%D0%BD%D1%8B%D0%B9_%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82)&amp;diff=24423</id>
		<title>Maps (командный проект)</title>
		<link rel="alternate" type="text/html" href="https://wiki.cs.hse.ru/index.php?title=Maps_(%D0%BA%D0%BE%D0%BC%D0%B0%D0%BD%D0%B4%D0%BD%D1%8B%D0%B9_%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82)&amp;diff=24423"/>
		<updated>2017-09-21T11:26:29Z</updated>

		<summary type="html">&lt;p&gt;Simagin.denis: &lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;{{Карточка_командного_проекта&lt;br /&gt;
|name=Maps&lt;br /&gt;
|company=Yandex&lt;br /&gt;
|semester=Осень 2017&lt;br /&gt;
|course=3&lt;br /&gt;
|number_of_students=3-5&lt;br /&gt;
|categorize=yes&lt;br /&gt;
}}&lt;br /&gt;
&lt;br /&gt;
=== Что это за проект? ===&lt;br /&gt;
Это образовательно-исследовательский проект. Сегодня делаются первые шаги для автоматического создания карт на основе различных сигналов: снимки спутника, gps-треки, объезды городов (панорамы). Возможны следующие интересные темы:&lt;br /&gt;
&lt;br /&gt;
# Можно заняться сегментацией снимков спутника, а именно выделение: гидрографии, растительности, зданий и дорог.&lt;br /&gt;
# Анализ gps-треков для восстановления и атрибутирования дорожного графа.&lt;br /&gt;
# На основе панорам реконструировать сцену и распознать объекты инфраструктуры (дорожные знаки, светофоры, пешеходны переходы, остановки и т.п.).&lt;br /&gt;
&lt;br /&gt;
Работа будет проходить в формате семинаров. К сожалению, в качестве источников данных можно использовать только открытые.&lt;br /&gt;
&lt;br /&gt;
=== Чему научатся студенты? Что самое интересное в проекте? ===&lt;br /&gt;
# Изучение современных подходов реконструкции сцены&lt;br /&gt;
# Обучение с учителем&lt;br /&gt;
# Погружение в исследовательскую деятельность&lt;br /&gt;
# Процесс ревью&lt;br /&gt;
# Работа на семинарах&lt;br /&gt;
# Чтение современных статей&lt;br /&gt;
&lt;br /&gt;
=== Организация работы (Как студенты будут работать в команде?) ===&lt;br /&gt;
# Работа будет проходить в виде семинаров, где будут разбираться статьи и рассматриваться результаты последнего спринта (agile подход).&lt;br /&gt;
# Вы будете делать доклады и читать код друг друга.&lt;br /&gt;
# Каждый исследует свой кусок.&lt;br /&gt;
&lt;br /&gt;
=== Какие будут использоваться технологии? ===&lt;br /&gt;
* Разработка будет вестись на  С++ и Python3.&lt;br /&gt;
# Код будет храниться в открытом репозитории github.&lt;br /&gt;
# Наиболее вероятно будем использовать [http://opencv.org opencv]  и  [http://www.pointclouds.org pcl].&lt;br /&gt;
# Для обучения моделей tensorflow.&lt;br /&gt;
&lt;br /&gt;
=== Какие начальные требования? ===&lt;br /&gt;
# Знание C++ и Python3&lt;br /&gt;
# Хорошая математическая подготовка, основы машинного обучения&lt;br /&gt;
# Много свободного времени&lt;br /&gt;
# Хорошее знание английского&lt;br /&gt;
&lt;br /&gt;
=== Темы вводных занятий ===&lt;br /&gt;
Темы могут варьироваться от уровня студентов, попробуем разобраться в:&lt;br /&gt;
# Как можно реконструировать сцену;&lt;br /&gt;
# Детектирование одного объекта на различных снимках;&lt;br /&gt;
# Вводная по нейросетям и сегментации.&lt;br /&gt;
&lt;br /&gt;
=== Критерии оценки ===&lt;br /&gt;
Проект исследовательский, поэтому нет четких критериев оценки. Все зависит от вашей дисциплинированности на семинарах и выполнения требований.&lt;br /&gt;
&lt;br /&gt;
=== Контактная информация ===&lt;br /&gt;
С вопросами пишите на @dasimagin в телеграм.&lt;/div&gt;</summary>
		<author><name>Simagin.denis</name></author>
	</entry>
	<entry>
		<id>https://wiki.cs.hse.ru/index.php?title=Maps_(%D0%BA%D0%BE%D0%BC%D0%B0%D0%BD%D0%B4%D0%BD%D1%8B%D0%B9_%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82)&amp;diff=24422</id>
		<title>Maps (командный проект)</title>
		<link rel="alternate" type="text/html" href="https://wiki.cs.hse.ru/index.php?title=Maps_(%D0%BA%D0%BE%D0%BC%D0%B0%D0%BD%D0%B4%D0%BD%D1%8B%D0%B9_%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82)&amp;diff=24422"/>
		<updated>2017-09-21T11:26:19Z</updated>

		<summary type="html">&lt;p&gt;Simagin.denis: &lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;{{Карточка_командного_проекта&lt;br /&gt;
|name=Maps&lt;br /&gt;
|company=Yandex&lt;br /&gt;
|semester=Осень 2017&lt;br /&gt;
|course=3&lt;br /&gt;
|number_of_students=3-5&lt;br /&gt;
|categorize=yes&lt;br /&gt;
}}&lt;br /&gt;
&lt;br /&gt;
=== Что это за проект? ===&lt;br /&gt;
Это образовательно-исследовательский проект. Сегодня делаются первые шаги для автоматического создания карт на основе различных сигналов: снимки спутника, gps-треки, объезды городов (панорамы). Возможны следующие интересные темы:&lt;br /&gt;
&lt;br /&gt;
# Можно заняться сегментацией снимков спутника, а именно выделение: гидрографии, растительности, зданий и дорог.&lt;br /&gt;
# Анализ gps-треков для восстановления и атрибутирования дорожного графа.&lt;br /&gt;
# На основе панорам реконструировать сцену и распознать объекты инфраструктуры (дорожные знаки, светофоры, пешеходны переходы, остановки и т.п.).&lt;br /&gt;
&lt;br /&gt;
Работа будет проходить в формате семинаров. К сожалению, в качестве источников данных можно использовать только открытые.&lt;br /&gt;
&lt;br /&gt;
=== Чему научатся студенты? Что самое интересное в проекте? ===&lt;br /&gt;
# Изучение современных подходов реконструкции сцены&lt;br /&gt;
# Обучение с учителем&lt;br /&gt;
# Погружение в исследовательскую деятельность&lt;br /&gt;
# Процесс ревью&lt;br /&gt;
# Работа на семинарах&lt;br /&gt;
# Чтение современных статей&lt;br /&gt;
&lt;br /&gt;
=== Организация работы (Как студенты будут работать в команде?) ===&lt;br /&gt;
# Работа будет проходить в виде семинаров, где будут разбираться статьи и рассматриваться результаты последнего спринта (agile подход).&lt;br /&gt;
# Вы будете делать доклады и читать код друг друга.&lt;br /&gt;
# Каждый исследует свой кусок.&lt;br /&gt;
&lt;br /&gt;
=== Какие будут использоваться технологии? ===&lt;br /&gt;
* Разработка будет вестись на  С++ и Python3.&lt;br /&gt;
# Код будет храниться в открытом репозитории github.&lt;br /&gt;
# Наиболее вероятно будем использовать [http://opencv.org opencv]  и  [http://www.pointclouds.org pcl].&lt;br /&gt;
# Для обучения моделей tensorflow.&lt;br /&gt;
&lt;br /&gt;
=== Какие начальные требования? ===&lt;br /&gt;
# Знания C++ и Python3&lt;br /&gt;
# Хорошая математическая подготовка, основы машинного обучения&lt;br /&gt;
# Много свободного времени&lt;br /&gt;
# Хорошее знание английского&lt;br /&gt;
&lt;br /&gt;
=== Темы вводных занятий ===&lt;br /&gt;
Темы могут варьироваться от уровня студентов, попробуем разобраться в:&lt;br /&gt;
# Как можно реконструировать сцену;&lt;br /&gt;
# Детектирование одного объекта на различных снимках;&lt;br /&gt;
# Вводная по нейросетям и сегментации.&lt;br /&gt;
&lt;br /&gt;
=== Критерии оценки ===&lt;br /&gt;
Проект исследовательский, поэтому нет четких критериев оценки. Все зависит от вашей дисциплинированности на семинарах и выполнения требований.&lt;br /&gt;
&lt;br /&gt;
=== Контактная информация ===&lt;br /&gt;
С вопросами пишите на @dasimagin в телеграм.&lt;/div&gt;</summary>
		<author><name>Simagin.denis</name></author>
	</entry>
	<entry>
		<id>https://wiki.cs.hse.ru/index.php?title=Maps_(%D0%BA%D0%BE%D0%BC%D0%B0%D0%BD%D0%B4%D0%BD%D1%8B%D0%B9_%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82)&amp;diff=24421</id>
		<title>Maps (командный проект)</title>
		<link rel="alternate" type="text/html" href="https://wiki.cs.hse.ru/index.php?title=Maps_(%D0%BA%D0%BE%D0%BC%D0%B0%D0%BD%D0%B4%D0%BD%D1%8B%D0%B9_%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82)&amp;diff=24421"/>
		<updated>2017-09-21T11:25:46Z</updated>

		<summary type="html">&lt;p&gt;Simagin.denis: &lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;{{Карточка_командного_проекта&lt;br /&gt;
|name=Maps&lt;br /&gt;
|company=Yandex&lt;br /&gt;
|semester=Осень 2017&lt;br /&gt;
|course=3&lt;br /&gt;
|number_of_students=3-5&lt;br /&gt;
|categorize=yes&lt;br /&gt;
}}&lt;br /&gt;
&lt;br /&gt;
=== Что это за проект? ===&lt;br /&gt;
Это образовательно-исследовательский проект. Сегодня делаются первые шаги для автоматического создания карт на основе различных сигналов: снимки спутника, gps-треки, объезды городов (панорамы). Возможны следующие интересные темы:&lt;br /&gt;
&lt;br /&gt;
# Можно заняться сегментацией снимков спутника, а именно выделение: гидрографии, растительности, зданий и дорог.&lt;br /&gt;
# Анализ gps-треков для восстановления и атрибутирования дорожного графа.&lt;br /&gt;
# На основе панорам реконструировать сцену и распознать объекты инфраструктуры (дорожные знаки, светофоры, пешеходны переходы, остановки и т.п.).&lt;br /&gt;
&lt;br /&gt;
Работа будет проходить в формате семинаров. К сожалению, в качестве источников данных можно использовать только открытые.&lt;br /&gt;
&lt;br /&gt;
=== Чему научатся студенты? Что самое интересное в проекте? ===&lt;br /&gt;
# Изучение современных подходов реконструкции сцены&lt;br /&gt;
# Обучение с учителем&lt;br /&gt;
# Погружение в исследовательскую деятельность&lt;br /&gt;
# Процесс ревью&lt;br /&gt;
# Работа на семинарах&lt;br /&gt;
# Чтение современных статей&lt;br /&gt;
&lt;br /&gt;
=== Организация работы (Как студенты будут работать в команде?) ===&lt;br /&gt;
# Работа будет проходить в виде семинаров, где будут разбираться статьи и рассматриваться результаты последнего спринта (agile подход).&lt;br /&gt;
# Вы будете делать доклады и читать код друг друга.&lt;br /&gt;
# Каждый исследует свой кусок.&lt;br /&gt;
&lt;br /&gt;
=== Какие будут использоваться технологии? ===&lt;br /&gt;
* Разработка будет вестись на  С++ и Python3.&lt;br /&gt;
# Код будет храниться в открытом репозитории github.&lt;br /&gt;
# Наиболее вероятно будем использовать [http://opencv.org opencv]  и  [http://www.pointclouds.org pcl].&lt;br /&gt;
# Для обучения моделей tensorflow.&lt;br /&gt;
&lt;br /&gt;
=== Какие начальные требования? ===&lt;br /&gt;
# Знания C++ и Python3&lt;br /&gt;
# Хорошая математическая подготовка, основы машинного обучения&lt;br /&gt;
# Много свободного времени&lt;br /&gt;
# Хорошее знание английского&lt;br /&gt;
&lt;br /&gt;
=== Темы вводных занятий ===&lt;br /&gt;
Темы могут варьироваться от уровня студентов, попробуем разобраться в:&lt;br /&gt;
# Как можно реконструировать сцену.&lt;br /&gt;
# Детектирование одного объекта на различных снимках.&lt;br /&gt;
# Вводная по нейросетям и сегментации.&lt;br /&gt;
&lt;br /&gt;
=== Критерии оценки ===&lt;br /&gt;
Проект исследовательский, поэтому нет четких критериев оценки. Все зависит от вашей дисциплинированности на семинарах и выполнения требований.&lt;br /&gt;
&lt;br /&gt;
=== Контактная информация ===&lt;br /&gt;
С вопросами пишите на @dasimagin в телеграм.&lt;/div&gt;</summary>
		<author><name>Simagin.denis</name></author>
	</entry>
	<entry>
		<id>https://wiki.cs.hse.ru/index.php?title=Maps_(%D0%BA%D0%BE%D0%BC%D0%B0%D0%BD%D0%B4%D0%BD%D1%8B%D0%B9_%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82)&amp;diff=24420</id>
		<title>Maps (командный проект)</title>
		<link rel="alternate" type="text/html" href="https://wiki.cs.hse.ru/index.php?title=Maps_(%D0%BA%D0%BE%D0%BC%D0%B0%D0%BD%D0%B4%D0%BD%D1%8B%D0%B9_%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82)&amp;diff=24420"/>
		<updated>2017-09-21T11:25:29Z</updated>

		<summary type="html">&lt;p&gt;Simagin.denis: &lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;{{Карточка_командного_проекта&lt;br /&gt;
|name=Maps&lt;br /&gt;
|company=Yandex&lt;br /&gt;
|semester=Осень 2017&lt;br /&gt;
|course=3&lt;br /&gt;
|number_of_students=3-5&lt;br /&gt;
|categorize=yes&lt;br /&gt;
}}&lt;br /&gt;
&lt;br /&gt;
=== Что это за проект? ===&lt;br /&gt;
Это образовательно-исследовательский проект. Сегодня делаются первые шаги для автоматического создания карт на основе различных сигналов: снимки спутника, gps-треки, объезды городов (панорамы). Возможны следующие интересные темы:&lt;br /&gt;
&lt;br /&gt;
# Можно заняться сегментацией снимков спутника, а именно выделение: гидрографии, растительности, зданий и дорог.&lt;br /&gt;
# Анализ gps-треков для восстановления и атрибутирования дорожного графа.&lt;br /&gt;
# На основе панорам реконструировать сцену и распознать объекты инфраструктуры (дорожные знаки, светофоры, пешеходны переходы, остановки и т.п.).&lt;br /&gt;
&lt;br /&gt;
Работа будет проходить в формате семинаров. К сожалению, в качестве источников данных можно использовать только открытые.&lt;br /&gt;
&lt;br /&gt;
=== Чему научатся студенты? Что самое интересное в проекте? ===&lt;br /&gt;
# Изучение современных подходов реконструкции сцены&lt;br /&gt;
# Обучение с учителем&lt;br /&gt;
# Погружение в исследовательскую деятельность&lt;br /&gt;
# Процесс ревью&lt;br /&gt;
# Работа на семинарах&lt;br /&gt;
# Чтение современных статей&lt;br /&gt;
&lt;br /&gt;
=== Организация работы (Как студенты будут работать в команде?) ===&lt;br /&gt;
# Работа будет проходить в виде семинаров, где будут разбираться статьи и рассматриваться результаты последнего спринта (agile подход).&lt;br /&gt;
# Вы будете делать доклады и читать код друг друга.&lt;br /&gt;
# Каждый исследует свой кусок.&lt;br /&gt;
&lt;br /&gt;
=== Какие будут использоваться технологии? ===&lt;br /&gt;
* Разработка будет вестись на  С++ и Python3.&lt;br /&gt;
# Код будет храниться в открытом репозитории github.&lt;br /&gt;
# Наиболее вероятно будем использовать [http://opencv.org opencv]  и  [http://www.pointclouds.org pcl].&lt;br /&gt;
# Для обучения моделей tensorflow.&lt;br /&gt;
&lt;br /&gt;
=== Какие начальные требования? ===&lt;br /&gt;
# Знания C++ и Python3&lt;br /&gt;
# Хорошая математическая подготовка, основы машинного обучения&lt;br /&gt;
# Много свободного времени&lt;br /&gt;
# Хорошее знание английского&lt;br /&gt;
&lt;br /&gt;
=== Темы вводных занятий ===&lt;br /&gt;
Темы могут варьироваться от уровня студентов, попробуем разобраться в:&lt;br /&gt;
1. Как можно реконструировать сцену.&lt;br /&gt;
2. Детектирование одного объекта на различных снимках.&lt;br /&gt;
3. Вводная по нейросетям и сегментации.&lt;br /&gt;
&lt;br /&gt;
=== Критерии оценки ===&lt;br /&gt;
Проект исследовательский, поэтому нет четких критериев оценки. Все зависит от вашей дисциплинированности на семинарах и выполнения требований.&lt;br /&gt;
&lt;br /&gt;
=== Контактная информация ===&lt;br /&gt;
С вопросами пишите на @dasimagin в телеграм.&lt;/div&gt;</summary>
		<author><name>Simagin.denis</name></author>
	</entry>
	<entry>
		<id>https://wiki.cs.hse.ru/index.php?title=Maps_(%D0%BA%D0%BE%D0%BC%D0%B0%D0%BD%D0%B4%D0%BD%D1%8B%D0%B9_%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82)&amp;diff=24419</id>
		<title>Maps (командный проект)</title>
		<link rel="alternate" type="text/html" href="https://wiki.cs.hse.ru/index.php?title=Maps_(%D0%BA%D0%BE%D0%BC%D0%B0%D0%BD%D0%B4%D0%BD%D1%8B%D0%B9_%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82)&amp;diff=24419"/>
		<updated>2017-09-21T11:24:48Z</updated>

		<summary type="html">&lt;p&gt;Simagin.denis: &lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;{{Карточка_командного_проекта&lt;br /&gt;
|name=Maps&lt;br /&gt;
|company=Yandex&lt;br /&gt;
|semester=Осень 2017&lt;br /&gt;
|course=3&lt;br /&gt;
|number_of_students=3-5&lt;br /&gt;
|categorize=yes&lt;br /&gt;
}}&lt;br /&gt;
&lt;br /&gt;
=== Что это за проект? ===&lt;br /&gt;
Это образовательно-исследовательский проект. Сегодня делаются первые шаги для автоматического создания карт на основе различных сигналов: снимки спутника, gps-треки, объезды городов (панорамы). Возможны следующие интересные темы:&lt;br /&gt;
&lt;br /&gt;
# Можно заняться сегментацией снимков спутника, а именно выделение: гидрографии, растительности, зданий и дорог.&lt;br /&gt;
# Анализ gps-треков для восстановления и атрибутирования дорожного графа.&lt;br /&gt;
# На основе панорам реконструировать сцену и распознать объекты инфраструктуры (дорожные знаки, светофоры, пешеходны переходы, остановки и т.п.).&lt;br /&gt;
&lt;br /&gt;
Работа будет проходить в формате семинаров. К сожалению, в качестве источников данных можно использовать только открытые.&lt;br /&gt;
&lt;br /&gt;
=== Чему научатся студенты? Что самое интересное в проекте? ===&lt;br /&gt;
# Изучение современных подходов реконструкции сцены&lt;br /&gt;
# Обучение с учителем&lt;br /&gt;
# Погружение в исследовательскую деятельность&lt;br /&gt;
# Процесс ревью&lt;br /&gt;
# Работа на семинарах&lt;br /&gt;
# Чтение современных статей&lt;br /&gt;
&lt;br /&gt;
=== Организация работы (Как студенты будут работать в команде?) ===&lt;br /&gt;
# Работа будет проходить в виде семинаров, где будут разбираться статьи и рассматриваться результаты последнего спринта (agile подход).&lt;br /&gt;
# Вы будете делать доклады и читать код друг друга.&lt;br /&gt;
# Каждый исследует свой кусок.&lt;br /&gt;
&lt;br /&gt;
=== Какие будут использоваться технологии? ===&lt;br /&gt;
* Разработка будет вестись на  С++ и Python3.&lt;br /&gt;
# Код будет храниться в открытом репозитории github.&lt;br /&gt;
# Наиболее вероятно будем использовать [http://opencv.org opencv]  и  [http://www.pointclouds.org pcl].&lt;br /&gt;
# Для обучения моделей tensorflow.&lt;br /&gt;
&lt;br /&gt;
=== Какие начальные требования? ===&lt;br /&gt;
# Знания C++ и Python3&lt;br /&gt;
# Хорошая математическая подготовка, основы машинного обучения&lt;br /&gt;
# Много свободного времени&lt;br /&gt;
# Хорошее знание английского&lt;br /&gt;
&lt;br /&gt;
=== Темы вводных занятий ===&lt;br /&gt;
Темы могут варьироваться от уровня студентов, попробуем разобраться в:&lt;br /&gt;
1. Как можно реконструировать сцену.&lt;br /&gt;
2. Детектирование одного объекта на различных снимках.&lt;br /&gt;
3. Вводная по нейросетям и сегментации.&lt;br /&gt;
&lt;br /&gt;
=== Критерии оценки ===&lt;br /&gt;
Проект исследовательский, поэтому нет четких критериев оценки. В основном она будет зависеть от вашей дисциплинированности на семинарах и того, как вы выполняете требования ментора.&lt;br /&gt;
&lt;br /&gt;
=== Контактная информация ===&lt;br /&gt;
С вопросами пишите на @dasimagin в телеграм.&lt;/div&gt;</summary>
		<author><name>Simagin.denis</name></author>
	</entry>
	<entry>
		<id>https://wiki.cs.hse.ru/index.php?title=Maps_(%D0%BA%D0%BE%D0%BC%D0%B0%D0%BD%D0%B4%D0%BD%D1%8B%D0%B9_%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82)&amp;diff=24418</id>
		<title>Maps (командный проект)</title>
		<link rel="alternate" type="text/html" href="https://wiki.cs.hse.ru/index.php?title=Maps_(%D0%BA%D0%BE%D0%BC%D0%B0%D0%BD%D0%B4%D0%BD%D1%8B%D0%B9_%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82)&amp;diff=24418"/>
		<updated>2017-09-21T11:24:41Z</updated>

		<summary type="html">&lt;p&gt;Simagin.denis: &lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;{{Карточка_командного_проекта&lt;br /&gt;
|name=Maps&lt;br /&gt;
|company=Yandex&lt;br /&gt;
|semester=Осень 2017&lt;br /&gt;
|course=3&lt;br /&gt;
|number_of_students=3-5&lt;br /&gt;
|categorize=yes&lt;br /&gt;
}}&lt;br /&gt;
&lt;br /&gt;
=== Что это за проект? ===&lt;br /&gt;
Это образовательно-исследовательский проект. Сегодня делаются первые шаги для автоматического создания карт на основе различных сигналов: снимки спутника, gps-треки, объезды городов (панорамы). Возможны следующие интересные темы:&lt;br /&gt;
&lt;br /&gt;
# Можно заняться сегментацией снимков спутника, а именно выделение: гидрографии, растительности, зданий и дорог.&lt;br /&gt;
# Анализ gps-треков для восстановления и атрибутирования дорожного графа.&lt;br /&gt;
# На основе панорам реконструировать сцену и распознать объекты инфраструктуры (дорожные знаки, светофоры, пешеходны переходы, остановки и т.п.).&lt;br /&gt;
&lt;br /&gt;
Работа будет проходить в формате семинаров. К сожалению, в качестве источников данных можно использовать только открытые.&lt;br /&gt;
&lt;br /&gt;
=== Чему научатся студенты? Что самое интересное в проекте? ===&lt;br /&gt;
# Изучение современных подходов реконструкции сцены&lt;br /&gt;
# Обучение с учителем&lt;br /&gt;
# Погружение в исследовательскую деятельность&lt;br /&gt;
# Процесс ревью&lt;br /&gt;
# Работа на семинарах&lt;br /&gt;
# Чтение современных статей&lt;br /&gt;
&lt;br /&gt;
=== Организация работы (Как студенты будут работать в команде?) ===&lt;br /&gt;
# Работа будет проходить в виде семинаров, где будут разбираться статьи и рассматриваться результаты последнего спринта (agile подход).&lt;br /&gt;
# Вы будете делать доклады и читать код друг друга.&lt;br /&gt;
# Каждый исследует свой кусок.&lt;br /&gt;
&lt;br /&gt;
=== Какие будут использоваться технологии? ===&lt;br /&gt;
* Разработка будет вестись на  С++ и Python3.&lt;br /&gt;
# Код будет храниться в открытом репозитории github.&lt;br /&gt;
# Наиболее вероятно будем использовать [http://opencv.org opencv]  и  [http://www.pointclouds.org pcl].&lt;br /&gt;
# Для обучения моделей tensorflow.&lt;br /&gt;
&lt;br /&gt;
=== Какие начальные требования? ===&lt;br /&gt;
# Знания C++ и Python3&lt;br /&gt;
# Хорошая математическая подготовка, основы машинного обучения&lt;br /&gt;
# Много свободного времени&lt;br /&gt;
# Хорошее знание английского&lt;br /&gt;
&lt;br /&gt;
=== Темы вводных занятий ===&lt;br /&gt;
Темы могут варьироваться от уровня студентов, попробуем разобраться в:&lt;br /&gt;
1. Как можно реконструировать сцену.&lt;br /&gt;
2. Детектирование одного объекта на различных снимках.&lt;br /&gt;
3. Вводная по нейросетям и сегментации.&lt;br /&gt;
&lt;br /&gt;
=== Критерии оценки ===&lt;br /&gt;
Проект исследовательский, поэтому нет четких критериев оценки. В основном она будет зависеть от вашей дисциплинированности на семинарах и того, как вы выполняете требования ментора.&lt;br /&gt;
&lt;br /&gt;
=== Похожие проекты ===&lt;br /&gt;
&lt;br /&gt;
&lt;br /&gt;
=== Контактная информация ===&lt;br /&gt;
С вопросами пишите на @dasimagin в телеграм.&lt;/div&gt;</summary>
		<author><name>Simagin.denis</name></author>
	</entry>
	<entry>
		<id>https://wiki.cs.hse.ru/index.php?title=Maps_(%D0%BA%D0%BE%D0%BC%D0%B0%D0%BD%D0%B4%D0%BD%D1%8B%D0%B9_%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82)&amp;diff=24417</id>
		<title>Maps (командный проект)</title>
		<link rel="alternate" type="text/html" href="https://wiki.cs.hse.ru/index.php?title=Maps_(%D0%BA%D0%BE%D0%BC%D0%B0%D0%BD%D0%B4%D0%BD%D1%8B%D0%B9_%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82)&amp;diff=24417"/>
		<updated>2017-09-21T11:23:58Z</updated>

		<summary type="html">&lt;p&gt;Simagin.denis: Новая страница, с помощью формы Новый_командный_проект&lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;{{Карточка_командного_проекта&lt;br /&gt;
|name=Maps&lt;br /&gt;
|company=Yandex&lt;br /&gt;
|semester=Осень 2017&lt;br /&gt;
|course=3&lt;br /&gt;
|number_of_students=3-5&lt;br /&gt;
|categorize=yes&lt;br /&gt;
}}&lt;br /&gt;
&lt;br /&gt;
=== Что это за проект? ===&lt;br /&gt;
Это образовательно-исследовательский проект. Сегодня делаются первые шаги для автоматического создания карт на основе различных сигналов: снимки спутника, gps-треки, объезды городов (панорамы). Возможны следующие интересные темы:&lt;br /&gt;
&lt;br /&gt;
# Можно заняться сегментацией снимков спутника, а именно выделение: гидрографии, растительности, зданий и дорог.&lt;br /&gt;
# Анализ gps-треков для восстановления и атрибутирования дорожного графа.&lt;br /&gt;
# На основе панорам реконструировать сцену и распознать объекты инфраструктуры (дорожные знаки, светофоры, пешеходны переходы, остановки и т.п.).&lt;br /&gt;
&lt;br /&gt;
Работа будет проходить в формате семинаров. К сожалению, в качестве источников данных можно использовать только открытые.&lt;br /&gt;
&lt;br /&gt;
=== Чему научатся студенты? Что самое интересное в проекте? ===&lt;br /&gt;
# Изучение современных подходов реконструкции сцены&lt;br /&gt;
# Обучение с учителем&lt;br /&gt;
# Погружение в исследовательскую деятельность&lt;br /&gt;
# Процесс ревью&lt;br /&gt;
# Работа на семинарах&lt;br /&gt;
# Чтение современных статей&lt;br /&gt;
&lt;br /&gt;
=== Организация работы (Как студенты будут работать в команде?) ===&lt;br /&gt;
# Работа будет проходить в виде семинаров, где будут разбираться статьи и рассматриваться результаты последнего спринта (agile подход).&lt;br /&gt;
# Вы будете делать доклады и читать код друг друга.&lt;br /&gt;
# Каждый исследует свой кусок.&lt;br /&gt;
&lt;br /&gt;
=== Компоненеты (Из каких частей состоит проект?) ===&lt;br /&gt;
&lt;br /&gt;
&lt;br /&gt;
=== Какие будут использоваться технологии? ===&lt;br /&gt;
* Разработка будет вестись на  С++ и Python3.&lt;br /&gt;
# Код будет храниться в открытом репозитории github.&lt;br /&gt;
# Наиболее вероятно будем использовать [http://opencv.org opencv]  и  [http://www.pointclouds.org pcl].&lt;br /&gt;
# Для обучения моделей tensorflow.&lt;br /&gt;
&lt;br /&gt;
=== Какие начальные требования? ===&lt;br /&gt;
# Знания C++ и Python3&lt;br /&gt;
# Хорошая математическая подготовка, основы машинного обучения&lt;br /&gt;
# Много свободного времени&lt;br /&gt;
# Хорошее знание английского&lt;br /&gt;
&lt;br /&gt;
=== Темы вводных занятий ===&lt;br /&gt;
Темы могут варьироваться от уровня студентов, попробуем разобраться в:&lt;br /&gt;
1. Как можно реконструировать сцену.&lt;br /&gt;
2. Детектирование одного объекта на различных снимках.&lt;br /&gt;
3. Вводная по нейросетям и сегментации.&lt;br /&gt;
&lt;br /&gt;
=== Критерии оценки ===&lt;br /&gt;
Проект исследовательский, поэтому нет четких критериев оценки. В основном она будет зависеть от вашей дисциплинированности на семинарах и того, как вы выполняете требования ментора.&lt;br /&gt;
&lt;br /&gt;
=== Похожие проекты ===&lt;br /&gt;
&lt;br /&gt;
&lt;br /&gt;
=== Контактная информация ===&lt;br /&gt;
С вопросами пишите на @dasimagin в телеграм.&lt;/div&gt;</summary>
		<author><name>Simagin.denis</name></author>
	</entry>
	<entry>
		<id>https://wiki.cs.hse.ru/index.php?title=%D0%A3%D1%87%D0%B0%D1%81%D1%82%D0%BD%D0%B8%D0%BA:Simagin.denis&amp;diff=23544</id>
		<title>Участник:Simagin.denis</title>
		<link rel="alternate" type="text/html" href="https://wiki.cs.hse.ru/index.php?title=%D0%A3%D1%87%D0%B0%D1%81%D1%82%D0%BD%D0%B8%D0%BA:Simagin.denis&amp;diff=23544"/>
		<updated>2017-08-10T17:42:29Z</updated>

		<summary type="html">&lt;p&gt;Simagin.denis: &lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;{{Карточка_ментора&lt;br /&gt;
|categorize = yes&lt;br /&gt;
}}&lt;br /&gt;
&lt;br /&gt;
[[Файл:profile.jpg|мини|справа|Вот так выглядит Денис Симагин]]&lt;br /&gt;
&lt;br /&gt;
== Симагин Денис ==&lt;br /&gt;
В школе увлекался математикой, программированием. А после ШАДа влюбился в машинное обучение. Работаю в Яндекс.Картах.&lt;br /&gt;
&lt;br /&gt;
== Образование ==&lt;br /&gt;
* Бакалавриат, ВШЭ, Прикладная математика и инфоматика (Нижний Новгород)&lt;br /&gt;
&lt;br /&gt;
* Магистратура, ВШЭ, Компьютерные науки (Москва)&lt;br /&gt;
&lt;br /&gt;
* ШАД, Компьютерные науки&lt;br /&gt;
&lt;br /&gt;
== Интересы ==&lt;br /&gt;
* Машинное обучение&lt;br /&gt;
&lt;br /&gt;
* Большие данные&lt;br /&gt;
&lt;br /&gt;
* Красивые алгоритмические задачи&lt;br /&gt;
&lt;br /&gt;
== Контакты ==&lt;br /&gt;
E-mail: &#039;&#039;simagin.mail@yandex.ru&#039;&#039;&lt;br /&gt;
&lt;br /&gt;
Telegram: @dasimagin&lt;br /&gt;
&lt;br /&gt;
Телефон: +7 964-773-48-69&lt;/div&gt;</summary>
		<author><name>Simagin.denis</name></author>
	</entry>
	<entry>
		<id>https://wiki.cs.hse.ru/index.php?title=Ask_me_(%D1%81%D0%B5%D0%BC%D0%B8%D0%BD%D0%B0%D1%80)&amp;diff=22880</id>
		<title>Ask me (семинар)</title>
		<link rel="alternate" type="text/html" href="https://wiki.cs.hse.ru/index.php?title=Ask_me_(%D1%81%D0%B5%D0%BC%D0%B8%D0%BD%D0%B0%D1%80)&amp;diff=22880"/>
		<updated>2017-03-19T22:42:44Z</updated>

		<summary type="html">&lt;p&gt;Simagin.denis: &lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;Описание [[Ask_me_(проект)|проекта]], последнее [[Ask_me_(семинар)#.D0.A1.D0.B5.D0.BC.D0.B8.D0.BD.D0.B0.D1.80.D1.8B|занятие]].&lt;br /&gt;
&lt;br /&gt;
==Правила игры ==&lt;br /&gt;
* &#039;&#039;&#039;Ментор:&#039;&#039;&#039; [[Участник:Simagin.denis|Симагин Денис]].&lt;br /&gt;
* &#039;&#039;&#039;Место:&#039;&#039;&#039; офис Яндекса ([https://maps.yandex.ru/213/moscow/?ll=37.590150%2C55.734065&amp;amp;z=18&amp;amp;l=stv%2Csta&amp;amp;panorama%5Bpoint%5D=37.589416%2C55.733747&amp;amp;panorama%5Bdirection%5D=40.412258%2C-11.910596&amp;amp;panorama%5Bspan%5D=130.000000%2C52.209677 место встречи])&lt;br /&gt;
* &#039;&#039;&#039;Время:&#039;&#039;&#039; c 10:00, каждый четверг.&lt;br /&gt;
&lt;br /&gt;
Общение с ментором вне занятий приветствуется. Можно задавать вопросы, в том числе философские. Но перед тем, как написать, попробуйте спросить это у [https://ya.ru Яндекса]. Также не обижайтесь, если в ответ вам пришла ссылка на документацию или какую-то статью.&lt;br /&gt;
&lt;br /&gt;
===Ключевые точки===&lt;br /&gt;
Сверху нам спущены ключевые точки выполнения проекта. Для нас они скорее явлются формальными, тем не менее мы должны их соблюдать.&lt;br /&gt;
# &#039;&#039;&#039;12-17 декабря&#039;&#039;&#039; - все включились в работу&lt;br /&gt;
# &#039;&#039;&#039;20-25 марта&#039;&#039;&#039; - реализован объем работ, необходимый для зачета&lt;br /&gt;
# &#039;&#039;&#039;30 мая - 3 июня&#039;&#039;&#039; - окончание проектной работы, вы готовы, как пионеры. &lt;br /&gt;
# &#039;&#039;&#039;начало июня&#039;&#039;&#039; - конкурс проектов.&lt;br /&gt;
&lt;br /&gt;
===Правило 2Х===&lt;br /&gt;
У вас есть право на одну ошибку. Следующая - я отказываюсь с вами работать.&lt;br /&gt;
&lt;br /&gt;
===Репозитории===&lt;br /&gt;
Студенты хранят свой код в следующих репозиториях&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
|Ментор  || https://github.com/dasimagin/askme&lt;br /&gt;
|-&lt;br /&gt;
| Когтенков || https://github.com/aakogtenkov/Ask-me-if-you-can&lt;br /&gt;
|-&lt;br /&gt;
|Остяков || https://github.com/PavelOstyakov/askme&lt;br /&gt;
|-&lt;br /&gt;
|Рябинин || https://github.com/mryab/askme&lt;br /&gt;
|-&lt;br /&gt;
|Попов || https://github.com/Akiiino/Ask-Me-Anything&lt;br /&gt;
|-&lt;br /&gt;
|Ширин || https://github.com/shirinnikita/ask_me&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
===Разбор статьи===&lt;br /&gt;
В рамках проекта студент должен разобрать интересную для него статью и доложить ее на общем семинаре.&lt;br /&gt;
&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
! Студент !! Статья !! Дата&lt;br /&gt;
|-&lt;br /&gt;
|Когтенков || [https://papers.nips.cc/paper/5654-deep-knowledge-tracing.pdf Deep Knowledge Tracing] || 9 апреля&lt;br /&gt;
|-&lt;br /&gt;
|Остяков || [https://arxiv.org/pdf/1612.07411v1.pdf A Context-aware Attention Network for Interactive Question Answering] || 19 марта&lt;br /&gt;
|-&lt;br /&gt;
|Рябинин || [https://arxiv.org/abs/1609.08144 Google&#039;s Neural Machine Translation System: Bridging the Gap between Human and Machine Translation] || 2 апреля&lt;br /&gt;
|-&lt;br /&gt;
|Попов || [https://arxiv.org/pdf/1701.04189.pdf Deep Memory Networks for Attitude Identification] || 26 марта&lt;br /&gt;
|-&lt;br /&gt;
|Ширин || [https://arxiv.org/abs/1506.06714 Context-Sensitive Generation of Conversational Responses] || 16 апреля&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
===Лабораторные===&lt;br /&gt;
Лабораторные проводятся для практического закрепления материала. Их выполнение учитывается в итоговой оценке.&lt;br /&gt;
&lt;br /&gt;
# Результатом работы является jupyter notebook, где сохранен вывод вашего кода, графики и т.п. А так же его импорт в формат .py. Для автоматизации процесса можно настроить jupyter.&lt;br /&gt;
# Когда сроки выполнения лабораторной завершены, вы выкладываете ее на ревью, создавая соответствующее задание и запрос на объединение ветки с мастером (не забудьте добавить проверяющего).&lt;br /&gt;
# Ваш коллега проводит ревью кода и может оставлять замечания, как в виде комментариев к заданию, так и в файле .py. Оно предполагает проверку стиля и правильность кода, а также конструктивные замечания по производительности. Однако не стремитесь сразу оптимизировать код. Добейтесь лучше того, чтобы все работало правильно.&lt;br /&gt;
# Когда ревью завершено, влейтесь в мастер и закройте задание.&lt;br /&gt;
&lt;br /&gt;
===Результаты===&lt;br /&gt;
Текущие результаты можно найти  [https://docs.google.com/spreadsheets/d/1gO6nHbLqMeLRXAa5Mubpfoc_-gk9DWCJ4mmnV_xaeig/edit?usp=sharing здесь]. Оценка складывается из нескольких частей:&lt;br /&gt;
# Работа на семинаре&lt;br /&gt;
# Доклад статьи&lt;br /&gt;
# Итоговый результат&lt;br /&gt;
&lt;br /&gt;
==Семинары==&lt;br /&gt;
&lt;br /&gt;
===H19.03===&lt;br /&gt;
# Паша разобрал статью схожую с нашей. Авторы пытаются научить сеть задавать уточняющие вопросы, если это необходимо.&lt;br /&gt;
# Анонсирован семинар на тему генерации датасета, а так же разбор DMN+.&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;Задание&#039;&#039;&#039;&lt;br /&gt;
Воспроизвести DMN (можно в упрощенной версии) на данных bAbI. &#039;&#039;&#039;Дедлайн:&#039;&#039;&#039; 9 апреля.&lt;br /&gt;
&lt;br /&gt;
===S02.03===&lt;br /&gt;
Разбирали результаты L4, начали говорить на тему проекта.&lt;br /&gt;
&lt;br /&gt;
===L5===&lt;br /&gt;
Конкур можно найти [https://inclass.kaggle.com/c/en-phonetics здесь].&lt;br /&gt;
&lt;br /&gt;
===S19.02===&lt;br /&gt;
# Доразбирали вычисление градиента для рекуррентных сетей.&lt;br /&gt;
# Еще раз поговорили о затухании и взрыве градиента.&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;Литература для чтения:&#039;&#039;&#039;&lt;br /&gt;
* Прекрасный блог, где можно прочитать про рекуррентные сети, вот [http://www.wildml.com/2015/09/recurrent-neural-networks-tutorial-part-1-introduction-to-rnns/ первая статья], в начале есть ссылки на продолжение.&lt;br /&gt;
* Про [http://colah.github.io/posts/2015-08-Understanding-LSTMs/ LSTM] с картинками.&lt;br /&gt;
* Tensorflow и [https://www.tensorflow.org/tutorials/recurrent рекурретные] сети.&lt;br /&gt;
* Как работать с последовательностями, [https://www.tensorflow.org/tutorials/seq2seq пример] tensorflow.&lt;br /&gt;
&lt;br /&gt;
===S02.02===&lt;br /&gt;
Начали говорить о рекуррентных сетях, я обещал подробнее описать математику обучения.&lt;br /&gt;
# Поговорили о [https://en.wikipedia.org/wiki/Recurrent_neural_network рекурретных сетях] в общем&lt;br /&gt;
# Архитектура [https://en.wikipedia.org/wiki/Long_short-term_memory LSTM] сети&lt;br /&gt;
# Архитектура [https://arxiv.org/pdf/1412.3555v1.pdf GRU] сети&lt;br /&gt;
&lt;br /&gt;
===S29.01===&lt;br /&gt;
Еще раз вернулись к теме word embedding в контексте нейросетей, список затронутых статей:&lt;br /&gt;
# [http://www.jmlr.org/papers/volume3/bengio03a/bengio03a.pdf Первая сеть], предсказывающая следующее слово.&lt;br /&gt;
# [https://ronan.collobert.com/pub/matos/2008_nlp_icml.pdff Статья], где заменяется softmax&lt;br /&gt;
# [https://papers.nips.cc/paper/5021-distributed-representations-of-words-and-phrases-and-their-compositionality.pdf Статья] Миколова про word2vec.&lt;br /&gt;
&lt;br /&gt;
===L4===&lt;br /&gt;
Лабораторную работу можно найти [https://github.com/dasimagin/askme/blob/master/labs/L4%20-%20Word%20embedding.ipynb здесь].&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;Срок сдачи:&#039;&#039;&#039;&lt;br /&gt;
* Начало ревью: 24 февраля 23:59 &lt;br /&gt;
* Окончание ревью: 8 марта 23:59 &lt;br /&gt;
&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
! Ревьюер !! Разработчик !! Оценка&lt;br /&gt;
|-&lt;br /&gt;
| Попов || Рябинин || -&lt;br /&gt;
|-&lt;br /&gt;
| Остяков || Попов || -&lt;br /&gt;
|-&lt;br /&gt;
| Когтенков || Остяков || -&lt;br /&gt;
|-&lt;br /&gt;
| Ширин  || Когтенков || -&lt;br /&gt;
|-&lt;br /&gt;
| Рябинин || Ширин || -&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
===H11.01===&lt;br /&gt;
Произвели разбор L3. Описание модели победителя можно найти, а baseline доступен [https://github.com/dasimagin/askme/blob/master/labs/L3%20-%20Baseline.ipynb здесь].&lt;br /&gt;
&lt;br /&gt;
Доклады мне не очень понравились. Постараюсь написать общие замечания.&lt;br /&gt;
# Прежде всего у докладчика должна быть хорошая речь.&lt;br /&gt;
# Нужно выделить то, что действительно важно и интересно для слушателя.&lt;br /&gt;
# Делать на доске четкие и простые рисунки и записи, убедиться, что аудитория тебя понимает.&lt;br /&gt;
# Не прыгать с темы на тему, а идти в соответсвии с логическим планом.&lt;br /&gt;
&lt;br /&gt;
===S15.12===&lt;br /&gt;
Поговорили про векторное представление слов, word2vec и другие сверточные сети для работы с естественными языками.&lt;br /&gt;
&lt;br /&gt;
===H11.12===&lt;br /&gt;
Занятие было посвящено выполнению второй лабораторной. Интересный ноутбук скоро появится [здесь].&lt;br /&gt;
&lt;br /&gt;
===S08.12===&lt;br /&gt;
&#039;&#039;&#039;1. Известные архитектуры сверточных сетей&#039;&#039;&#039;&lt;br /&gt;
* [https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Alexnet]&lt;br /&gt;
* [https://arxiv.org/pdf/1409.1556.pdf VGG net]&lt;br /&gt;
* [https://arxiv.org/pdf/1409.4842v1.pdf GoogLeNet]&lt;br /&gt;
* [https://arxiv.org/pdf/1512.03385.pdf ResNet]&lt;br /&gt;
&#039;&#039;&#039;2. Поговорили:&#039;&#039;&#039;&lt;br /&gt;
* На что активируются нейроны в зависимости от слоя&lt;br /&gt;
* Генерация &#039;похожих картинок&#039;&lt;br /&gt;
* Послойное обучение сети&lt;br /&gt;
* Переобучение или дообучение уже готовой сети&lt;br /&gt;
&#039;&#039;&#039;3. Изучили примеры для библиотеки Keras&#039;&#039;&#039;&lt;br /&gt;
*  [https://github.com/fchollet/keras/blob/master/examples/mnist_mlp.py Полносвязанная сеть]&lt;br /&gt;
* [https://github.com/fchollet/keras/blob/master/examples/mnist_cnn.py Сверточная сеть ]&lt;br /&gt;
* [https://github.com/fchollet/keras/blob/master/examples/mnist_transfer_cnn.py Переобучение] сверточной сети &lt;br /&gt;
&lt;br /&gt;
===L3===&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
! Студент !! CPU !! RAM !! GPU&lt;br /&gt;
|- &lt;br /&gt;
| Пример || 6 core, 3,5 GHz || 64GB || NVIDIA TITAN X&lt;br /&gt;
|-&lt;br /&gt;
|Рябинин || 4 core, 3.5 GHz || 16 GB || Nvidia GeForce GTX 1070&lt;br /&gt;
|-&lt;br /&gt;
| Попов || 4 core, 3.2 GHz || 8 GB || GeForce GTX 750 Ti&lt;br /&gt;
|-&lt;br /&gt;
| Остяков || 8 core, 2,6 GHz || 50 GB || -&lt;br /&gt;
|-&lt;br /&gt;
| Когтенков || 2 core, 1.4 GHz || 4 GB || -&lt;br /&gt;
|-&lt;br /&gt;
| Ширин || 2 core, 1.9 GHz || 8 GB || -&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
Победить в [https://inclass.kaggle.com/c/ch-ch конкурсе] классификации,  срок 3 января, 23:59.&lt;br /&gt;
&lt;br /&gt;
Для этого вам понадобится&lt;br /&gt;
* Установить [https://www.tensorflow.org Tensorflow] &lt;br /&gt;
* Установить [https://keras.io Keras] &lt;br /&gt;
* Запастись терпением&lt;br /&gt;
&lt;br /&gt;
===S01.12===&lt;br /&gt;
&#039;&#039;&#039;1. Полносвязанные сети:&#039;&#039;&#039;&lt;br /&gt;
* Подсчитаны производные для [https://en.wikipedia.org/wiki/Backpropagation Backpropagation], обсуждены тонкости реализации.&lt;br /&gt;
* Различные виды нелинейности: [https://en.wikipedia.org/wiki/Rectifier_(neural_networks) ReLu], [https://arxiv.org/pdf/1502.01852v1.pdf PReLu], [https://en.wikipedia.org/wiki/Sigmoid_function Sigmoid].&lt;br /&gt;
* Обучение сетей при помощи [https://en.wikipedia.org/wiki/Autoencoder Autoencoder].&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;2. Сверточные сети:&#039;&#039;&#039;&lt;br /&gt;
* Cтруктура [https://en.wikipedia.org/wiki/Convolutional_neural_network CNN].&lt;br /&gt;
* Затронуты: [https://en.wikipedia.org/wiki/Convolution Convolution], [https://en.wikipedia.org/wiki/Convolutional_neural_network#Pooling_layer Pooling].&lt;br /&gt;
* Влияние различных ядер свертки на структуру сети.&lt;br /&gt;
* [https://en.wikipedia.org/wiki/Convolutional_neural_network#Choosing_hyperparameters Feature maps].&lt;br /&gt;
* Разобрана архитектура [https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Alexnet].&lt;br /&gt;
* Сочетание из Convolutional и Dense слоев.&lt;br /&gt;
&lt;br /&gt;
===S24.11===&lt;br /&gt;
&#039;&#039;&#039;1. Регуляризация:&#039;&#039;&#039;&lt;br /&gt;
* Разобрали L1 и L2 регуляризаторы, можно найти [https://en.wikipedia.org/wiki/Regularization_(mathematics) здесь].&lt;br /&gt;
* Используйте простые классификаторы&lt;br /&gt;
* Раняя остановка (смотрим качество на отложенном множестве)&lt;br /&gt;
* Добавление шума&lt;br /&gt;
* Комбинирование классификаторов&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;2. Полносвязанные сети:&#039;&#039;&#039;&lt;br /&gt;
* Множественная классификация и [https://en.wikipedia.org/wiki/Softmax_function softmax].&lt;br /&gt;
* Метод [http://www.machinelearning.ru/wiki/images/0/0f/karpinskaya-2010.pdf обратного распространения ошибки], проблема при обучении.&lt;br /&gt;
* Инициализация весов:  и [http://jmlr.org/proceedings/papers/v9/glorot10a/glorot10a.pdf xavier] и другие [https://arxiv.org/pdf/1502.01852v1.pdf вариации].&lt;br /&gt;
* Кратко о [https://en.wikipedia.org/wiki/Convolutional_neural_network#Dropout dropout].&lt;br /&gt;
&lt;br /&gt;
===L2===&lt;br /&gt;
&lt;br /&gt;
Задание можно найти [https://github.com/dasimagin/askme/blob/master/labs/L2%20-%20Nets.ipynb здесь],  срок 23:59 11 декабря.&lt;br /&gt;
&lt;br /&gt;
===S03.11===&lt;br /&gt;
# [https://en.wikipedia.org/wiki/Feature_(machine_learning) Признаки] и какие они бывают. Об отборе признаков, кратко [https://habrahabr.ru/post/264915/ тут]. Может помочь на конкурсе.&lt;br /&gt;
# Задача [http://www.machinelearning.ru/wiki/index.php?title=Линейный_классификатор бинарной классификации].&lt;br /&gt;
# [http://www.machinelearning.ru/wiki/index.php?title=Метод_градиентного_спуска Градиентный спуск].&lt;br /&gt;
# [http://www.machinelearning.ru/wiki/index.php?title=Метод_стохастического_градиента Стохастический градиентный спуск]. На английской [https://en.wikipedia.org/wiki/Stochastic_gradient_descent вике] больше интересной информации.&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;Для дополнительного чтения:&#039;&#039;&#039;&lt;br /&gt;
# [https://homes.cs.washington.edu/~pedrod/papers/cacm12.pdf Что полезно знать о машинном обучении].&lt;br /&gt;
# [https://en.wikipedia.org/wiki/Feature_(machine_learning) Английская вика про признаки]&lt;br /&gt;
# [http://www.jmlr.org/papers/volume3/guyon03a/guyon03a.pdf Отбор признаков].&lt;br /&gt;
# Мощная теоретическая работа про [https://mipt.ru/upload/medialibrary/d7e/41-91.pdf стохастический градиентный спуск].&lt;br /&gt;
&lt;br /&gt;
===L1===&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
! Ревьюер !! Разработчик !! Оценка&lt;br /&gt;
|-&lt;br /&gt;
|Рябинин || Попов || 10&lt;br /&gt;
|-&lt;br /&gt;
| Попов || Остяков || 10&lt;br /&gt;
|-&lt;br /&gt;
| Остяков || Когтенков || 10&lt;br /&gt;
|-&lt;br /&gt;
| Когтенков || Ширин || 9.7&lt;br /&gt;
|-&lt;br /&gt;
| Ширин || Рябинин || 10&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
Для [https://github.com/dasimagin/askme/blob/master/labs/L1%20-%20Gradient%20descent%20and%20linear%20models.ipynb первой] лабораторной работы вам потребуется:&lt;br /&gt;
# Настроить себе [https://pip.pypa.io/en/stable/ pip] для Python3&lt;br /&gt;
# Освоить [http://jupyter.org Jupyter notebook]&lt;br /&gt;
# Установить пакеты [http://www.scipy.org scipy]: numpy, scipy, matplotlib&lt;/div&gt;</summary>
		<author><name>Simagin.denis</name></author>
	</entry>
	<entry>
		<id>https://wiki.cs.hse.ru/index.php?title=Ask_me_(%D1%81%D0%B5%D0%BC%D0%B8%D0%BD%D0%B0%D1%80)&amp;diff=22879</id>
		<title>Ask me (семинар)</title>
		<link rel="alternate" type="text/html" href="https://wiki.cs.hse.ru/index.php?title=Ask_me_(%D1%81%D0%B5%D0%BC%D0%B8%D0%BD%D0%B0%D1%80)&amp;diff=22879"/>
		<updated>2017-03-19T22:42:29Z</updated>

		<summary type="html">&lt;p&gt;Simagin.denis: &lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;Описание [[Ask_me_(проект)|проекта]], последнее [[Ask_me_(семинар)#.D0.A1.D0.B5.D0.BC.D0.B8.D0.BD.D0.B0.D1.80.D1.8B|занятие]].&lt;br /&gt;
&lt;br /&gt;
==Правила игры ==&lt;br /&gt;
* &#039;&#039;&#039;Ментор:&#039;&#039;&#039; [[Участник:Simagin.denis|Симагин Денис]].&lt;br /&gt;
* &#039;&#039;&#039;Место:&#039;&#039;&#039; офис Яндекса ([https://maps.yandex.ru/213/moscow/?ll=37.590150%2C55.734065&amp;amp;z=18&amp;amp;l=stv%2Csta&amp;amp;panorama%5Bpoint%5D=37.589416%2C55.733747&amp;amp;panorama%5Bdirection%5D=40.412258%2C-11.910596&amp;amp;panorama%5Bspan%5D=130.000000%2C52.209677 место встречи])&lt;br /&gt;
* &#039;&#039;&#039;Время:&#039;&#039;&#039; c 10:00, каждый четверг.&lt;br /&gt;
&lt;br /&gt;
Общение с ментором вне занятий приветствуется. Можно задавать вопросы, в том числе философские. Но перед тем, как написать, попробуйте спросить это у [https://ya.ru Яндекса]. Также не обижайтесь, если в ответ вам пришла ссылка на документацию или какую-то статью.&lt;br /&gt;
&lt;br /&gt;
===Ключевые точки===&lt;br /&gt;
Сверху нам спущены ключевые точки выполнения проекта. Для нас они скорее явлются формальными, тем не менее мы должны их соблюдать.&lt;br /&gt;
# &#039;&#039;&#039;12-17 декабря&#039;&#039;&#039; - все включились в работу&lt;br /&gt;
# &#039;&#039;&#039;20-25 марта&#039;&#039;&#039; - реализован объем работ, необходимый для зачета&lt;br /&gt;
# &#039;&#039;&#039;30 мая - 3 июня&#039;&#039;&#039; - окончание проектной работы, вы готовы, как пионеры. &lt;br /&gt;
# &#039;&#039;&#039;начало июня&#039;&#039;&#039; - конкурс проектов.&lt;br /&gt;
&lt;br /&gt;
===Правило 2Х===&lt;br /&gt;
У вас есть право на одну ошибку. Следующая - я отказываюсь с вами работать.&lt;br /&gt;
&lt;br /&gt;
===Репозитории===&lt;br /&gt;
Студенты хранят свой код в следующих репозиториях&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
|Ментор  || https://github.com/dasimagin/askme&lt;br /&gt;
|-&lt;br /&gt;
| Когтенков || https://github.com/aakogtenkov/Ask-me-if-you-can&lt;br /&gt;
|-&lt;br /&gt;
|Остяков || https://github.com/PavelOstyakov/askme&lt;br /&gt;
|-&lt;br /&gt;
|Рябинин || https://github.com/mryab/askme&lt;br /&gt;
|-&lt;br /&gt;
|Попов || https://github.com/Akiiino/Ask-Me-Anything&lt;br /&gt;
|-&lt;br /&gt;
|Ширин || https://github.com/shirinnikita/ask_me&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
===Разбор статьи===&lt;br /&gt;
В рамках проекта студент должен разобрать интересную для него статью и доложить ее на общем семинаре.&lt;br /&gt;
&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
! Студент !! Статья !! Дата&lt;br /&gt;
|-&lt;br /&gt;
|Когтенков || [https://papers.nips.cc/paper/5654-deep-knowledge-tracing.pdf Deep Knowledge Tracing] || 9 апреля&lt;br /&gt;
|-&lt;br /&gt;
|Остяков || [https://arxiv.org/pdf/1612.07411v1.pdf A Context-aware Attention Network for Interactive Question Answering] || 19 марта&lt;br /&gt;
|-&lt;br /&gt;
|Рябинин || [https://arxiv.org/abs/1609.08144 Google&#039;s Neural Machine Translation System: Bridging the Gap between Human and Machine Translation] || 2 апреля&lt;br /&gt;
|-&lt;br /&gt;
|Попов || [https://arxiv.org/pdf/1701.04189.pdf Deep Memory Networks for Attitude Identification] || 26 марта&lt;br /&gt;
|-&lt;br /&gt;
|Ширин || [https://arxiv.org/abs/1506.06714 Context-Sensitive Generation of Conversational Responses] || 16 апреля&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
===Лабораторные===&lt;br /&gt;
Лабораторные проводятся для практического закрепления материала. Их выполнение учитывается в итоговой оценке.&lt;br /&gt;
&lt;br /&gt;
# Результатом работы является jupyter notebook, где сохранен вывод вашего кода, графики и т.п. А так же его импорт в формат .py. Для автоматизации процесса можно настроить jupyter.&lt;br /&gt;
# Когда сроки выполнения лабораторной завершены, вы выкладываете ее на ревью, создавая соответствующее задание и запрос на объединение ветки с мастером (не забудьте добавить проверяющего).&lt;br /&gt;
# Ваш коллега проводит ревью кода и может оставлять замечания, как в виде комментариев к заданию, так и в файле .py. Оно предполагает проверку стиля и правильность кода, а также конструктивные замечания по производительности. Однако не стремитесь сразу оптимизировать код. Добейтесь лучше того, чтобы все работало правильно.&lt;br /&gt;
# Когда ревью завершено, влейтесь в мастер и закройте задание.&lt;br /&gt;
&lt;br /&gt;
===Результаты===&lt;br /&gt;
Текущие результаты можно найти  [https://docs.google.com/spreadsheets/d/1gO6nHbLqMeLRXAa5Mubpfoc_-gk9DWCJ4mmnV_xaeig/edit?usp=sharing здесь]. Оценка складывается из нескольких частей:&lt;br /&gt;
# Работа на семинаре&lt;br /&gt;
# Доклад статьи&lt;br /&gt;
# Итоговый результат&lt;br /&gt;
&lt;br /&gt;
==Семинары==&lt;br /&gt;
&lt;br /&gt;
===H19.03===&lt;br /&gt;
1. Паша разобрал статью схожую с нашей. Авторы пытаются научить сеть задавать уточняющие вопросы, если это необходимо.&lt;br /&gt;
2. Анонсирован семинар на тему генерации датасета, а так же разбор DMN+.&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;Задание&#039;&#039;&#039;&lt;br /&gt;
Воспроизвести DMN (можно в упрощенной версии) на данных bAbI. &#039;&#039;&#039;Дедлайн:&#039;&#039;&#039; 9 апреля.&lt;br /&gt;
&lt;br /&gt;
===S02.03===&lt;br /&gt;
Разбирали результаты L4, начали говорить на тему проекта.&lt;br /&gt;
&lt;br /&gt;
===L5===&lt;br /&gt;
Конкур можно найти [https://inclass.kaggle.com/c/en-phonetics здесь].&lt;br /&gt;
&lt;br /&gt;
===S19.02===&lt;br /&gt;
# Доразбирали вычисление градиента для рекуррентных сетей.&lt;br /&gt;
# Еще раз поговорили о затухании и взрыве градиента.&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;Литература для чтения:&#039;&#039;&#039;&lt;br /&gt;
* Прекрасный блог, где можно прочитать про рекуррентные сети, вот [http://www.wildml.com/2015/09/recurrent-neural-networks-tutorial-part-1-introduction-to-rnns/ первая статья], в начале есть ссылки на продолжение.&lt;br /&gt;
* Про [http://colah.github.io/posts/2015-08-Understanding-LSTMs/ LSTM] с картинками.&lt;br /&gt;
* Tensorflow и [https://www.tensorflow.org/tutorials/recurrent рекурретные] сети.&lt;br /&gt;
* Как работать с последовательностями, [https://www.tensorflow.org/tutorials/seq2seq пример] tensorflow.&lt;br /&gt;
&lt;br /&gt;
===S02.02===&lt;br /&gt;
Начали говорить о рекуррентных сетях, я обещал подробнее описать математику обучения.&lt;br /&gt;
# Поговорили о [https://en.wikipedia.org/wiki/Recurrent_neural_network рекурретных сетях] в общем&lt;br /&gt;
# Архитектура [https://en.wikipedia.org/wiki/Long_short-term_memory LSTM] сети&lt;br /&gt;
# Архитектура [https://arxiv.org/pdf/1412.3555v1.pdf GRU] сети&lt;br /&gt;
&lt;br /&gt;
===S29.01===&lt;br /&gt;
Еще раз вернулись к теме word embedding в контексте нейросетей, список затронутых статей:&lt;br /&gt;
# [http://www.jmlr.org/papers/volume3/bengio03a/bengio03a.pdf Первая сеть], предсказывающая следующее слово.&lt;br /&gt;
# [https://ronan.collobert.com/pub/matos/2008_nlp_icml.pdff Статья], где заменяется softmax&lt;br /&gt;
# [https://papers.nips.cc/paper/5021-distributed-representations-of-words-and-phrases-and-their-compositionality.pdf Статья] Миколова про word2vec.&lt;br /&gt;
&lt;br /&gt;
===L4===&lt;br /&gt;
Лабораторную работу можно найти [https://github.com/dasimagin/askme/blob/master/labs/L4%20-%20Word%20embedding.ipynb здесь].&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;Срок сдачи:&#039;&#039;&#039;&lt;br /&gt;
* Начало ревью: 24 февраля 23:59 &lt;br /&gt;
* Окончание ревью: 8 марта 23:59 &lt;br /&gt;
&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
! Ревьюер !! Разработчик !! Оценка&lt;br /&gt;
|-&lt;br /&gt;
| Попов || Рябинин || -&lt;br /&gt;
|-&lt;br /&gt;
| Остяков || Попов || -&lt;br /&gt;
|-&lt;br /&gt;
| Когтенков || Остяков || -&lt;br /&gt;
|-&lt;br /&gt;
| Ширин  || Когтенков || -&lt;br /&gt;
|-&lt;br /&gt;
| Рябинин || Ширин || -&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
===H11.01===&lt;br /&gt;
Произвели разбор L3. Описание модели победителя можно найти, а baseline доступен [https://github.com/dasimagin/askme/blob/master/labs/L3%20-%20Baseline.ipynb здесь].&lt;br /&gt;
&lt;br /&gt;
Доклады мне не очень понравились. Постараюсь написать общие замечания.&lt;br /&gt;
# Прежде всего у докладчика должна быть хорошая речь.&lt;br /&gt;
# Нужно выделить то, что действительно важно и интересно для слушателя.&lt;br /&gt;
# Делать на доске четкие и простые рисунки и записи, убедиться, что аудитория тебя понимает.&lt;br /&gt;
# Не прыгать с темы на тему, а идти в соответсвии с логическим планом.&lt;br /&gt;
&lt;br /&gt;
===S15.12===&lt;br /&gt;
Поговорили про векторное представление слов, word2vec и другие сверточные сети для работы с естественными языками.&lt;br /&gt;
&lt;br /&gt;
===H11.12===&lt;br /&gt;
Занятие было посвящено выполнению второй лабораторной. Интересный ноутбук скоро появится [здесь].&lt;br /&gt;
&lt;br /&gt;
===S08.12===&lt;br /&gt;
&#039;&#039;&#039;1. Известные архитектуры сверточных сетей&#039;&#039;&#039;&lt;br /&gt;
* [https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Alexnet]&lt;br /&gt;
* [https://arxiv.org/pdf/1409.1556.pdf VGG net]&lt;br /&gt;
* [https://arxiv.org/pdf/1409.4842v1.pdf GoogLeNet]&lt;br /&gt;
* [https://arxiv.org/pdf/1512.03385.pdf ResNet]&lt;br /&gt;
&#039;&#039;&#039;2. Поговорили:&#039;&#039;&#039;&lt;br /&gt;
* На что активируются нейроны в зависимости от слоя&lt;br /&gt;
* Генерация &#039;похожих картинок&#039;&lt;br /&gt;
* Послойное обучение сети&lt;br /&gt;
* Переобучение или дообучение уже готовой сети&lt;br /&gt;
&#039;&#039;&#039;3. Изучили примеры для библиотеки Keras&#039;&#039;&#039;&lt;br /&gt;
*  [https://github.com/fchollet/keras/blob/master/examples/mnist_mlp.py Полносвязанная сеть]&lt;br /&gt;
* [https://github.com/fchollet/keras/blob/master/examples/mnist_cnn.py Сверточная сеть ]&lt;br /&gt;
* [https://github.com/fchollet/keras/blob/master/examples/mnist_transfer_cnn.py Переобучение] сверточной сети &lt;br /&gt;
&lt;br /&gt;
===L3===&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
! Студент !! CPU !! RAM !! GPU&lt;br /&gt;
|- &lt;br /&gt;
| Пример || 6 core, 3,5 GHz || 64GB || NVIDIA TITAN X&lt;br /&gt;
|-&lt;br /&gt;
|Рябинин || 4 core, 3.5 GHz || 16 GB || Nvidia GeForce GTX 1070&lt;br /&gt;
|-&lt;br /&gt;
| Попов || 4 core, 3.2 GHz || 8 GB || GeForce GTX 750 Ti&lt;br /&gt;
|-&lt;br /&gt;
| Остяков || 8 core, 2,6 GHz || 50 GB || -&lt;br /&gt;
|-&lt;br /&gt;
| Когтенков || 2 core, 1.4 GHz || 4 GB || -&lt;br /&gt;
|-&lt;br /&gt;
| Ширин || 2 core, 1.9 GHz || 8 GB || -&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
Победить в [https://inclass.kaggle.com/c/ch-ch конкурсе] классификации,  срок 3 января, 23:59.&lt;br /&gt;
&lt;br /&gt;
Для этого вам понадобится&lt;br /&gt;
* Установить [https://www.tensorflow.org Tensorflow] &lt;br /&gt;
* Установить [https://keras.io Keras] &lt;br /&gt;
* Запастись терпением&lt;br /&gt;
&lt;br /&gt;
===S01.12===&lt;br /&gt;
&#039;&#039;&#039;1. Полносвязанные сети:&#039;&#039;&#039;&lt;br /&gt;
* Подсчитаны производные для [https://en.wikipedia.org/wiki/Backpropagation Backpropagation], обсуждены тонкости реализации.&lt;br /&gt;
* Различные виды нелинейности: [https://en.wikipedia.org/wiki/Rectifier_(neural_networks) ReLu], [https://arxiv.org/pdf/1502.01852v1.pdf PReLu], [https://en.wikipedia.org/wiki/Sigmoid_function Sigmoid].&lt;br /&gt;
* Обучение сетей при помощи [https://en.wikipedia.org/wiki/Autoencoder Autoencoder].&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;2. Сверточные сети:&#039;&#039;&#039;&lt;br /&gt;
* Cтруктура [https://en.wikipedia.org/wiki/Convolutional_neural_network CNN].&lt;br /&gt;
* Затронуты: [https://en.wikipedia.org/wiki/Convolution Convolution], [https://en.wikipedia.org/wiki/Convolutional_neural_network#Pooling_layer Pooling].&lt;br /&gt;
* Влияние различных ядер свертки на структуру сети.&lt;br /&gt;
* [https://en.wikipedia.org/wiki/Convolutional_neural_network#Choosing_hyperparameters Feature maps].&lt;br /&gt;
* Разобрана архитектура [https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Alexnet].&lt;br /&gt;
* Сочетание из Convolutional и Dense слоев.&lt;br /&gt;
&lt;br /&gt;
===S24.11===&lt;br /&gt;
&#039;&#039;&#039;1. Регуляризация:&#039;&#039;&#039;&lt;br /&gt;
* Разобрали L1 и L2 регуляризаторы, можно найти [https://en.wikipedia.org/wiki/Regularization_(mathematics) здесь].&lt;br /&gt;
* Используйте простые классификаторы&lt;br /&gt;
* Раняя остановка (смотрим качество на отложенном множестве)&lt;br /&gt;
* Добавление шума&lt;br /&gt;
* Комбинирование классификаторов&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;2. Полносвязанные сети:&#039;&#039;&#039;&lt;br /&gt;
* Множественная классификация и [https://en.wikipedia.org/wiki/Softmax_function softmax].&lt;br /&gt;
* Метод [http://www.machinelearning.ru/wiki/images/0/0f/karpinskaya-2010.pdf обратного распространения ошибки], проблема при обучении.&lt;br /&gt;
* Инициализация весов:  и [http://jmlr.org/proceedings/papers/v9/glorot10a/glorot10a.pdf xavier] и другие [https://arxiv.org/pdf/1502.01852v1.pdf вариации].&lt;br /&gt;
* Кратко о [https://en.wikipedia.org/wiki/Convolutional_neural_network#Dropout dropout].&lt;br /&gt;
&lt;br /&gt;
===L2===&lt;br /&gt;
&lt;br /&gt;
Задание можно найти [https://github.com/dasimagin/askme/blob/master/labs/L2%20-%20Nets.ipynb здесь],  срок 23:59 11 декабря.&lt;br /&gt;
&lt;br /&gt;
===S03.11===&lt;br /&gt;
# [https://en.wikipedia.org/wiki/Feature_(machine_learning) Признаки] и какие они бывают. Об отборе признаков, кратко [https://habrahabr.ru/post/264915/ тут]. Может помочь на конкурсе.&lt;br /&gt;
# Задача [http://www.machinelearning.ru/wiki/index.php?title=Линейный_классификатор бинарной классификации].&lt;br /&gt;
# [http://www.machinelearning.ru/wiki/index.php?title=Метод_градиентного_спуска Градиентный спуск].&lt;br /&gt;
# [http://www.machinelearning.ru/wiki/index.php?title=Метод_стохастического_градиента Стохастический градиентный спуск]. На английской [https://en.wikipedia.org/wiki/Stochastic_gradient_descent вике] больше интересной информации.&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;Для дополнительного чтения:&#039;&#039;&#039;&lt;br /&gt;
# [https://homes.cs.washington.edu/~pedrod/papers/cacm12.pdf Что полезно знать о машинном обучении].&lt;br /&gt;
# [https://en.wikipedia.org/wiki/Feature_(machine_learning) Английская вика про признаки]&lt;br /&gt;
# [http://www.jmlr.org/papers/volume3/guyon03a/guyon03a.pdf Отбор признаков].&lt;br /&gt;
# Мощная теоретическая работа про [https://mipt.ru/upload/medialibrary/d7e/41-91.pdf стохастический градиентный спуск].&lt;br /&gt;
&lt;br /&gt;
===L1===&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
! Ревьюер !! Разработчик !! Оценка&lt;br /&gt;
|-&lt;br /&gt;
|Рябинин || Попов || 10&lt;br /&gt;
|-&lt;br /&gt;
| Попов || Остяков || 10&lt;br /&gt;
|-&lt;br /&gt;
| Остяков || Когтенков || 10&lt;br /&gt;
|-&lt;br /&gt;
| Когтенков || Ширин || 9.7&lt;br /&gt;
|-&lt;br /&gt;
| Ширин || Рябинин || 10&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
Для [https://github.com/dasimagin/askme/blob/master/labs/L1%20-%20Gradient%20descent%20and%20linear%20models.ipynb первой] лабораторной работы вам потребуется:&lt;br /&gt;
# Настроить себе [https://pip.pypa.io/en/stable/ pip] для Python3&lt;br /&gt;
# Освоить [http://jupyter.org Jupyter notebook]&lt;br /&gt;
# Установить пакеты [http://www.scipy.org scipy]: numpy, scipy, matplotlib&lt;/div&gt;</summary>
		<author><name>Simagin.denis</name></author>
	</entry>
	<entry>
		<id>https://wiki.cs.hse.ru/index.php?title=%D0%A0%D0%B5%D0%BD%D0%B4%D0%B7%D1%8E_(%D1%81%D0%B5%D0%BC%D0%B8%D0%BD%D0%B0%D1%80)&amp;diff=22878</id>
		<title>Рендзю (семинар)</title>
		<link rel="alternate" type="text/html" href="https://wiki.cs.hse.ru/index.php?title=%D0%A0%D0%B5%D0%BD%D0%B4%D0%B7%D1%8E_(%D1%81%D0%B5%D0%BC%D0%B8%D0%BD%D0%B0%D1%80)&amp;diff=22878"/>
		<updated>2017-03-19T22:42:16Z</updated>

		<summary type="html">&lt;p&gt;Simagin.denis: &lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;Описание [[Рендзю (проект)|проекта]], последний [[Рендзю_(семинар)#.D0.A1.D0.B5.D0.BC.D0.B8.D0.BD.D0.B0.D1.80.D1.8B|семинар]].&lt;br /&gt;
&lt;br /&gt;
==Правила игры ==&lt;br /&gt;
* &#039;&#039;&#039;Ментор:&#039;&#039;&#039; [[Участник:Simagin.denis|Симагин Денис]].&lt;br /&gt;
* &#039;&#039;&#039;Место:&#039;&#039;&#039; офис Яндекса ([https://maps.yandex.ru/213/moscow/?ll=37.590150%2C55.734065&amp;amp;z=18&amp;amp;l=stv%2Csta&amp;amp;panorama%5Bpoint%5D=37.589416%2C55.733747&amp;amp;panorama%5Bdirection%5D=40.412258%2C-11.910596&amp;amp;panorama%5Bspan%5D=130.000000%2C52.209677 место встречи])&lt;br /&gt;
* &#039;&#039;&#039;Время:&#039;&#039;&#039; c 19:00, каждую среду.&lt;br /&gt;
&lt;br /&gt;
Общение с ментором вне занятий приветствуется. Можно задавать вопросы, в том числе философские. Но перед тем, как написать, попробуйте спросить это у [https://ya.ru Яндекса]. Также не обижайтесь, если в ответ вам пришла ссылка на документацию или какую-то статью.&lt;br /&gt;
&lt;br /&gt;
===Ключевые точки===&lt;br /&gt;
Сверху нам спущены ключевые точки выполнения проекта. Для нас они скорее явлются формальными, тем не менее мы должны их соблюдать.&lt;br /&gt;
# &#039;&#039;&#039;12-17 декабря&#039;&#039;&#039; - все включились в работу&lt;br /&gt;
# &#039;&#039;&#039;20-25 марта&#039;&#039;&#039; - реализован объем работ, необходимый для зачета&lt;br /&gt;
# &#039;&#039;&#039;30 мая - 3 июня&#039;&#039;&#039; - окончание проектной работы, вы готовы, как пионеры. &lt;br /&gt;
# &#039;&#039;&#039;начало июня&#039;&#039;&#039; - конкурс проектов.&lt;br /&gt;
&lt;br /&gt;
===Правило 2Х===&lt;br /&gt;
У вас есть право на одну ошибку. Следующая - я отказываюсь с вами работать.&lt;br /&gt;
&lt;br /&gt;
===Репозитории===&lt;br /&gt;
Студенты хранят свой код в следующих репозиториях&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
| Ментор  || https://github.com/dasimagin/renju&lt;br /&gt;
|-&lt;br /&gt;
| Харламов || https://github.com/gamers5a/renju&lt;br /&gt;
|-&lt;br /&gt;
| Сопов || https://github.com/PreFX48/renju&lt;br /&gt;
|-&lt;br /&gt;
| Vodim  || https://github.com/EterniusVGM/Renju&lt;br /&gt;
|-&lt;br /&gt;
| Yuriy || https://github.com/yurriy/renju&lt;br /&gt;
|-&lt;br /&gt;
| Storozh || https://github.com/storandrew/Renju&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
===Разбор статьи===&lt;br /&gt;
В рамках проекта студент должен разобрать интересную для него статью и доложить ее на общем семинаре.&lt;br /&gt;
&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
! Студент !! Статья !! Дата&lt;br /&gt;
|-&lt;br /&gt;
| Харламов || http://web.stanford.edu/~takapoui/linear_bandits.pdf || 16 апреля&lt;br /&gt;
|-&lt;br /&gt;
| Сопов || https://papers.nips.cc/paper/6068-learning-feed-forward-one-shot-learners.pdf || 26 марта&lt;br /&gt;
|-&lt;br /&gt;
| Гринберг  || https://arxiv.org/pdf/1611.01626.pdf || 9 апреля&lt;br /&gt;
|-&lt;br /&gt;
| Баранов || https://arxiv.org/pdf/1611.01224.pdf || 2 апреля&lt;br /&gt;
|-&lt;br /&gt;
| Стороженко || https://arxiv.org/pdf/1511.06581v3.pdf || 19 марта&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
===Лабораторные===&lt;br /&gt;
Лабораторные проводятся для практического закрепления материала. Их выполнение учитывается в итоговой оценке.&lt;br /&gt;
&lt;br /&gt;
# Результатом работы является jupyter notebook, где сохранен вывод вашего кода, графики и т.п. А так же его импорт в формат .py. Для автоматизации процесса можно настроить jupyter.&lt;br /&gt;
# Когда сроки выполнения лабораторной завершены, вы выкладываете ее на ревью, создавая соответствующее задание и запрос на объединение ветки с мастером (не забудьте добавить проверяющего).&lt;br /&gt;
# Ваш коллега проводит ревью кода и может оставлять замечания, как в виде комментариев к заданию, так и в файле .py. Оно предполагает проверку стиля и правильность кода, а также конструктивные замечания по производительности. Однако не стремитесь сразу оптимизировать код. Добейтесь лучше того, чтобы все работало правильно.&lt;br /&gt;
# Когда ревью завершено, влейтесь в мастер и закройте задание.&lt;br /&gt;
&lt;br /&gt;
===Результаты===&lt;br /&gt;
Текущие результаты можно найти  [https://docs.google.com/spreadsheets/d/1VAaIoKGOYkMYKxYMPjHs_TsYabjHo27jA4fiQg_R344/edit?usp=sharing здесь]. Оценка складывается из нескольких частей:&lt;br /&gt;
# Работа на семинаре&lt;br /&gt;
# Доклад статьи&lt;br /&gt;
# Итоговое качество игры&lt;br /&gt;
&lt;br /&gt;
==Семинары==&lt;br /&gt;
===H19.03===&lt;br /&gt;
Андрей разобрал статью про DQN, она может пригодиться нам для игр.&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;Задание&#039;&#039;&#039;&lt;br /&gt;
Реализовать модель, предсказывающую следующий ход соперника. Реализовать простую версию  MCST.  &#039;&#039;&#039;Дедлайн:&#039;&#039;&#039; 9 апреля.&lt;br /&gt;
&lt;br /&gt;
===S01.03===&lt;br /&gt;
# Освежили подход TD(0): SARSA, Q-learning и Expected SARSA&lt;br /&gt;
# Double Q-learning&lt;br /&gt;
# n-step TD и n-step tree backup&lt;br /&gt;
# Поговорил про Monte Carlo tree search&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;Дополнительное чтение.&#039;&#039;&#039;&lt;br /&gt;
Не говорил на семинаре, но можно почитать:&lt;br /&gt;
# Sample ratio для TD(0) подхода&lt;br /&gt;
# Dyna-Q и Dyna-Q+&lt;br /&gt;
# Prioritized sweeping&lt;br /&gt;
&lt;br /&gt;
===S11.02===&lt;br /&gt;
Посвятили семинар обсуждения игры крестиков и ноликов на основе алгоритма DT(0).&lt;br /&gt;
&lt;br /&gt;
===S01.02===&lt;br /&gt;
Обсудили будущее. Всю дальнейшую теорию будем рассматривать сразу в рамках игры рендзю. Также согласовали формат данных для партии.&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;Формат данных&#039;&#039;&#039;&lt;br /&gt;
# Каждая партия представляет собой строку в файле (в качестве разделителя используем &#039;\n&#039;).&lt;br /&gt;
# В начале строки записан результат &#039;&#039;{black, white, draw, unknown}&#039;&#039;.&lt;br /&gt;
# Далее через пробельный разделитель перечислены ходы игроков в формате столбец-строка.&lt;br /&gt;
# Столбцы пронумерованы строчными буквами латинского алфавита .&lt;br /&gt;
# Строки пронумерованы арабскими цифрами, начиная с 1.&lt;br /&gt;
# Начало координатной сетки в левом нижнем углу.&lt;br /&gt;
# Предполагается, что первый ход делают черные.&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;Пример:&#039;&#039;&#039; unknown h8 g9 ...&lt;br /&gt;
&lt;br /&gt;
&lt;br /&gt;
Скрипт для &#039;&#039;&#039;справедливого&#039;&#039;&#039; распределения заданий по подготовке данных для обучения можно найти [https://github.com/dasimagin/renju/blob/master/data/task.py здесь].&lt;br /&gt;
&lt;br /&gt;
===S25.01===&lt;br /&gt;
# Поговорили на тему [https://en.wikipedia.org/wiki/Multi-armed_bandit многоруких бандитов].&lt;br /&gt;
# Начали осваивать [https://en.wikipedia.org/wiki/Reinforcement_learning reinforcment learning].&lt;br /&gt;
&lt;br /&gt;
Полезная книга может быть найдена [https://webdocs.cs.ualberta.ca/~sutton/book/bookdraft2016sep.pdf  здесь].&lt;br /&gt;
&lt;br /&gt;
===L4===&lt;br /&gt;
&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
! Ревьюер !! Разработчик !! Оценка&lt;br /&gt;
|-&lt;br /&gt;
| Сопов || Харламов|| -&lt;br /&gt;
|-&lt;br /&gt;
| Гринберг || Сопов  || -&lt;br /&gt;
|-&lt;br /&gt;
| Баранов  || Гринберг || -&lt;br /&gt;
|-&lt;br /&gt;
| Стороженко || Баранов || -&lt;br /&gt;
|-&lt;br /&gt;
| Харламов  || Стороженко || -&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
Появилась очередная лабораторная работа [https://github.com/dasimagin/renju/blob/master/labs/L4%20-%20Reinforcement%20learning.ipynb L4].&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;Cроки:&#039;&#039;&#039;&lt;br /&gt;
* Начало ревью: 11 февраля, 00:00.&lt;br /&gt;
* Окончание: 16 февраля, 23:59.&lt;br /&gt;
&lt;br /&gt;
===S18.01===&lt;br /&gt;
В связи с болезнью ментора занятие отменено.&lt;br /&gt;
&lt;br /&gt;
===H11.01===&lt;br /&gt;
Произвели разбор L3. Описание модели победителя можно найти [здесь], а baseline доступен [https://github.com/dasimagin/renju/blob/master/labs/L3%20-%20Baseline.ipynb здесь].&lt;br /&gt;
&lt;br /&gt;
Доклады мне не очень понравились. Постараюсь написать общие замечания.&lt;br /&gt;
# Прежде всего у докладчика должна быть хорошая речь.&lt;br /&gt;
# Нужно выделить то, что действительно важно и интересно для слушателя.&lt;br /&gt;
# Делать на доске четкие и простые рисунки и записи, убедиться, что аудитория тебя понимает.&lt;br /&gt;
# Не прыгать с темы на тему, а идти в соответсвии с логическим планом.&lt;br /&gt;
&lt;br /&gt;
===S14.12===&lt;br /&gt;
Начали разбирать нашу [https://storage.googleapis.com/deepmind-media/alphago/AlphaGoNaturePaper.pdf статью]. Есть пара источников на русском:&lt;br /&gt;
* [https://ru.wikipedia.org/wiki/AlphaGo Статья] на wikipedia&lt;br /&gt;
* [https://habrahabr.ru/post/279071/ Статья]  на хабре&lt;br /&gt;
&lt;br /&gt;
===H11.12===&lt;br /&gt;
Занятие было посвящено выполнению второй лабораторной. Интересный ноутбук скоро появится [здесь].&lt;br /&gt;
&lt;br /&gt;
===S08.12===&lt;br /&gt;
&#039;&#039;&#039;1. Известные архитектуры сверточных сетей&#039;&#039;&#039;&lt;br /&gt;
* [https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Alexnet]&lt;br /&gt;
* [https://arxiv.org/pdf/1409.1556.pdf VGG net]&lt;br /&gt;
* [https://arxiv.org/pdf/1409.4842v1.pdf GoogLeNet]&lt;br /&gt;
* [https://arxiv.org/pdf/1512.03385.pdf ResNet]&lt;br /&gt;
&#039;&#039;&#039;2. Поговорили:&#039;&#039;&#039;&lt;br /&gt;
* На что активируются нейроны в зависимости от слоя&lt;br /&gt;
* Генерация &#039;похожих картинок&#039;&lt;br /&gt;
* Послойное обучение сети&lt;br /&gt;
* Переобучение или дообучение уже готовой сети&lt;br /&gt;
&#039;&#039;&#039;3. Изучили примеры для библиотеки Keras&#039;&#039;&#039;&lt;br /&gt;
*  [https://github.com/fchollet/keras/blob/master/examples/mnist_mlp.py Полносвязанная сеть]&lt;br /&gt;
* [https://github.com/fchollet/keras/blob/master/examples/mnist_cnn.py Сверточная сеть ]&lt;br /&gt;
* [https://github.com/fchollet/keras/blob/master/examples/mnist_transfer_cnn.py Переобучение] сверточной сети &lt;br /&gt;
&lt;br /&gt;
===L3===&lt;br /&gt;
&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
! Студент !! CPU !! RAM !! GPU&lt;br /&gt;
|- &lt;br /&gt;
| Пример || 6 core, 3,5 GHz || 64GB || NVIDIA TITAN X&lt;br /&gt;
|-&lt;br /&gt;
| Харламов || 4 core, 3,6 GHz || 16GB || NVIDIA GTX 960m 2GB&lt;br /&gt;
|-&lt;br /&gt;
| Сопов || 4 core, 2,7 GHz || 8GB || NVIDIA GTX 940m&lt;br /&gt;
|-&lt;br /&gt;
| Гринберг || 4 core, 3,6 GHz || 16 GB || NVIDIA GTX 1070 8GB&lt;br /&gt;
|-&lt;br /&gt;
| Баранов || 4 core, 3,5GHz || 8GB || NVIDIA GTX 960m 2GB&lt;br /&gt;
|-&lt;br /&gt;
| Стороженко || 6 core 3.0 GHz || 16 GB || NVIDIA GTX 1060 6GB&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
Победить в [https://inclass.kaggle.com/c/ch-ch конкурсе] классификации,  срок 3 января, 23:59.&lt;br /&gt;
&lt;br /&gt;
Для этого вам понадобится&lt;br /&gt;
* Установить [https://www.tensorflow.org Tensorflow] &lt;br /&gt;
* Установить [https://keras.io Keras] &lt;br /&gt;
* Запастись терпением&lt;br /&gt;
&lt;br /&gt;
===S01.12===&lt;br /&gt;
&#039;&#039;&#039;1. Полносвязанные сети:&#039;&#039;&#039;&lt;br /&gt;
* Подсчитаны производные для [https://en.wikipedia.org/wiki/Backpropagation Backpropagation], обсуждены тонкости реализации.&lt;br /&gt;
* Различные виды нелинейности: [https://en.wikipedia.org/wiki/Rectifier_(neural_networks) ReLu], [https://arxiv.org/pdf/1502.01852v1.pdf PReLu], [https://en.wikipedia.org/wiki/Sigmoid_function Sigmoid].&lt;br /&gt;
* Обучение сетей при помощи [https://en.wikipedia.org/wiki/Autoencoder Autoencoder].&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;2. Сверточные сети:&#039;&#039;&#039;&lt;br /&gt;
* Cтруктура [https://en.wikipedia.org/wiki/Convolutional_neural_network CNN].&lt;br /&gt;
* Затронуты: [https://en.wikipedia.org/wiki/Convolution Convolution], [https://en.wikipedia.org/wiki/Convolutional_neural_network#Pooling_layer Pooling].&lt;br /&gt;
* Влияние различных ядер свертки на структуру сети.&lt;br /&gt;
* [https://en.wikipedia.org/wiki/Convolutional_neural_network#Choosing_hyperparameters Feature maps].&lt;br /&gt;
* Разобрана архитектура [https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Alexnet].&lt;br /&gt;
* Сочетание из Convolutional и Dense слоев.&lt;br /&gt;
&lt;br /&gt;
===S24.11===&lt;br /&gt;
&#039;&#039;&#039;1. Регуляризация:&#039;&#039;&#039;&lt;br /&gt;
* Разобрали L1 и L2 регуляризаторы, можно найти [https://en.wikipedia.org/wiki/Regularization_(mathematics) здесь].&lt;br /&gt;
* Используйте простые классификаторы&lt;br /&gt;
* Раняя остановка (смотрим качество на отложенном множестве)&lt;br /&gt;
* Добавление шума&lt;br /&gt;
* Комбинирование классификаторов&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;2. Полносвязанные сети:&#039;&#039;&#039;&lt;br /&gt;
* Множественная классификация и [https://en.wikipedia.org/wiki/Softmax_function softmax].&lt;br /&gt;
* Метод [http://www.machinelearning.ru/wiki/images/0/0f/karpinskaya-2010.pdf обратного распространения ошибки], проблема при обучении.&lt;br /&gt;
* Инициализация весов:  и [http://jmlr.org/proceedings/papers/v9/glorot10a/glorot10a.pdf xavier] и другие [https://arxiv.org/pdf/1502.01852v1.pdf вариации].&lt;br /&gt;
* Кратко о [https://en.wikipedia.org/wiki/Convolutional_neural_network#Dropout dropout].&lt;br /&gt;
&lt;br /&gt;
===L2===&lt;br /&gt;
Задание можно найти [https://github.com/dasimagin/renju/blob/master/labs/L2%20-%20Nets.ipynb здесь],  срок 23:59 11 декабря.&lt;br /&gt;
&lt;br /&gt;
===S02.11===&lt;br /&gt;
# [https://en.wikipedia.org/wiki/Feature_(machine_learning) Признаки] и какие они бывают. Об отборе признаков, кратко [https://habrahabr.ru/post/264915/ тут]. Может помочь на конкурсе.&lt;br /&gt;
# Задача [http://www.machinelearning.ru/wiki/index.php?title=Линейный_классификатор бинарной классификации].&lt;br /&gt;
# [http://www.machinelearning.ru/wiki/index.php?title=Метод_градиентного_спуска Градиентный спуск].&lt;br /&gt;
# [http://www.machinelearning.ru/wiki/index.php?title=Метод_стохастического_градиента Стохастический градиентный спуск]. На английской [https://en.wikipedia.org/wiki/Stochastic_gradient_descent вике] больше интересной информации.&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;Для дополнительного чтения:&#039;&#039;&#039;&lt;br /&gt;
# [https://homes.cs.washington.edu/~pedrod/papers/cacm12.pdf Что полезно знать о машинном обучении].&lt;br /&gt;
# [https://en.wikipedia.org/wiki/Feature_(machine_learning) Английская вика про признаки]&lt;br /&gt;
# [http://www.jmlr.org/papers/volume3/guyon03a/guyon03a.pdf Отбор признаков].&lt;br /&gt;
# Мощная теоретическая работа про [https://mipt.ru/upload/medialibrary/d7e/41-91.pdf стохастический градиентный спуск].&lt;br /&gt;
&lt;br /&gt;
===L1===&lt;br /&gt;
&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
! Ревьюер !! Разработчик !! Оценка&lt;br /&gt;
|-&lt;br /&gt;
|Харламов || Сопов || 9&lt;br /&gt;
|-&lt;br /&gt;
| Сопов || Гринберг || 10&lt;br /&gt;
|-&lt;br /&gt;
| Гринберг || Баранов || 8&lt;br /&gt;
|-&lt;br /&gt;
| Баранов || Стороженко || 10&lt;br /&gt;
|-&lt;br /&gt;
| Стороженко || Харламов || 8&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
Для [https://github.com/dasimagin/renju/blob/master/labs/L1%20-%20Gradient%20descent%20and%20linear%20models.ipynb первой] лабораторной работы вам потребуется:&lt;br /&gt;
# Настроить себе [https://pip.pypa.io/en/stable/ pip] для Python3&lt;br /&gt;
# Освоить [http://jupyter.org Jupyter notebook]&lt;br /&gt;
# Установить пакеты [http://www.scipy.org scipy]: numpy, scipy, matplotlib&lt;/div&gt;</summary>
		<author><name>Simagin.denis</name></author>
	</entry>
	<entry>
		<id>https://wiki.cs.hse.ru/index.php?title=%D0%A0%D0%B5%D0%BD%D0%B4%D0%B7%D1%8E_(%D1%81%D0%B5%D0%BC%D0%B8%D0%BD%D0%B0%D1%80)&amp;diff=22877</id>
		<title>Рендзю (семинар)</title>
		<link rel="alternate" type="text/html" href="https://wiki.cs.hse.ru/index.php?title=%D0%A0%D0%B5%D0%BD%D0%B4%D0%B7%D1%8E_(%D1%81%D0%B5%D0%BC%D0%B8%D0%BD%D0%B0%D1%80)&amp;diff=22877"/>
		<updated>2017-03-19T22:40:52Z</updated>

		<summary type="html">&lt;p&gt;Simagin.denis: &lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;Описание [[Рендзю (проект)|проекта]], последний [[Рендзю_(семинар)#.D0.A1.D0.B5.D0.BC.D0.B8.D0.BD.D0.B0.D1.80.D1.8B|семинар]].&lt;br /&gt;
&lt;br /&gt;
==Правила игры ==&lt;br /&gt;
* &#039;&#039;&#039;Ментор:&#039;&#039;&#039; [[Участник:Simagin.denis|Симагин Денис]].&lt;br /&gt;
* &#039;&#039;&#039;Место:&#039;&#039;&#039; офис Яндекса ([https://maps.yandex.ru/213/moscow/?ll=37.590150%2C55.734065&amp;amp;z=18&amp;amp;l=stv%2Csta&amp;amp;panorama%5Bpoint%5D=37.589416%2C55.733747&amp;amp;panorama%5Bdirection%5D=40.412258%2C-11.910596&amp;amp;panorama%5Bspan%5D=130.000000%2C52.209677 место встречи])&lt;br /&gt;
* &#039;&#039;&#039;Время:&#039;&#039;&#039; c 19:00, каждую среду.&lt;br /&gt;
&lt;br /&gt;
Общение с ментором вне занятий приветствуется. Можно задавать вопросы, в том числе философские. Но перед тем, как написать, попробуйте спросить это у [https://ya.ru Яндекса]. Также не обижайтесь, если в ответ вам пришла ссылка на документацию или какую-то статью.&lt;br /&gt;
&lt;br /&gt;
===Ключевые точки===&lt;br /&gt;
Сверху нам спущены ключевые точки выполнения проекта. Для нас они скорее явлются формальными, тем не менее мы должны их соблюдать.&lt;br /&gt;
# &#039;&#039;&#039;12-17 декабря&#039;&#039;&#039; - все включились в работу&lt;br /&gt;
# &#039;&#039;&#039;20-25 марта&#039;&#039;&#039; - реализован объем работ, необходимый для зачета&lt;br /&gt;
# &#039;&#039;&#039;30 мая - 3 июня&#039;&#039;&#039; - окончание проектной работы, вы готовы, как пионеры. &lt;br /&gt;
# &#039;&#039;&#039;начало июня&#039;&#039;&#039; - конкурс проектов.&lt;br /&gt;
&lt;br /&gt;
===Правило 2Х===&lt;br /&gt;
У вас есть право на одну ошибку. Следующая - я отказываюсь с вами работать.&lt;br /&gt;
&lt;br /&gt;
===Репозитории===&lt;br /&gt;
Студенты хранят свой код в следующих репозиториях&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
| Ментор  || https://github.com/dasimagin/renju&lt;br /&gt;
|-&lt;br /&gt;
| Харламов || https://github.com/gamers5a/renju&lt;br /&gt;
|-&lt;br /&gt;
| Сопов || https://github.com/PreFX48/renju&lt;br /&gt;
|-&lt;br /&gt;
| Vodim  || https://github.com/EterniusVGM/Renju&lt;br /&gt;
|-&lt;br /&gt;
| Yuriy || https://github.com/yurriy/renju&lt;br /&gt;
|-&lt;br /&gt;
| Storozh || https://github.com/storandrew/Renju&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
===Разбор статьи===&lt;br /&gt;
В рамках проекта студент должен разобрать интересную для него статью и доложить ее на общем семинаре.&lt;br /&gt;
&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
! Студент !! Статья !! Дата&lt;br /&gt;
|-&lt;br /&gt;
| Харламов || http://web.stanford.edu/~takapoui/linear_bandits.pdf || 16 апреля&lt;br /&gt;
|-&lt;br /&gt;
| Сопов || https://papers.nips.cc/paper/6068-learning-feed-forward-one-shot-learners.pdf || 26 марта&lt;br /&gt;
|-&lt;br /&gt;
| Гринберг  || https://arxiv.org/pdf/1611.01626.pdf || 9 апреля&lt;br /&gt;
|-&lt;br /&gt;
| Баранов || https://arxiv.org/pdf/1611.01224.pdf || 2 апреля&lt;br /&gt;
|-&lt;br /&gt;
| Стороженко || https://arxiv.org/pdf/1511.06581v3.pdf || 19 марта&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
===Лабораторные===&lt;br /&gt;
Лабораторные проводятся для практического закрепления материала. Их выполнение учитывается в итоговой оценке.&lt;br /&gt;
&lt;br /&gt;
# Результатом работы является jupyter notebook, где сохранен вывод вашего кода, графики и т.п. А так же его импорт в формат .py. Для автоматизации процесса можно настроить jupyter.&lt;br /&gt;
# Когда сроки выполнения лабораторной завершены, вы выкладываете ее на ревью, создавая соответствующее задание и запрос на объединение ветки с мастером (не забудьте добавить проверяющего).&lt;br /&gt;
# Ваш коллега проводит ревью кода и может оставлять замечания, как в виде комментариев к заданию, так и в файле .py. Оно предполагает проверку стиля и правильность кода, а также конструктивные замечания по производительности. Однако не стремитесь сразу оптимизировать код. Добейтесь лучше того, чтобы все работало правильно.&lt;br /&gt;
# Когда ревью завершено, влейтесь в мастер и закройте задание.&lt;br /&gt;
&lt;br /&gt;
===Результаты===&lt;br /&gt;
Текущие результаты можно найти  [https://docs.google.com/spreadsheets/d/1VAaIoKGOYkMYKxYMPjHs_TsYabjHo27jA4fiQg_R344/edit?usp=sharing здесь]. Оценка складывается из нескольких частей:&lt;br /&gt;
# Работа на семинаре&lt;br /&gt;
# Доклад статьи&lt;br /&gt;
# Итоговое качество игры&lt;br /&gt;
&lt;br /&gt;
==Семинары==&lt;br /&gt;
===H19.03===&lt;br /&gt;
Андрей разобрал статью про DQN, она может пригодиться нам для игр.&lt;br /&gt;
&lt;br /&gt;
**Задание**&lt;br /&gt;
Реализовать модель, предсказывающую следующий ход соперника. Реализовать простую версию  MCST.  &#039;&#039;&#039;Дедлайн:&#039;&#039;&#039; 9 апреля.&lt;br /&gt;
&lt;br /&gt;
===S01.03===&lt;br /&gt;
# Освежили подход TD(0): SARSA, Q-learning и Expected SARSA&lt;br /&gt;
# Double Q-learning&lt;br /&gt;
# n-step TD и n-step tree backup&lt;br /&gt;
# Поговорил про Monte Carlo tree search&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;Дополнительное чтение.&#039;&#039;&#039;&lt;br /&gt;
Не говорил на семинаре, но можно почитать:&lt;br /&gt;
# Sample ratio для TD(0) подхода&lt;br /&gt;
# Dyna-Q и Dyna-Q+&lt;br /&gt;
# Prioritized sweeping&lt;br /&gt;
&lt;br /&gt;
===S11.02===&lt;br /&gt;
Посвятили семинар обсуждения игры крестиков и ноликов на основе алгоритма DT(0).&lt;br /&gt;
&lt;br /&gt;
===S01.02===&lt;br /&gt;
Обсудили будущее. Всю дальнейшую теорию будем рассматривать сразу в рамках игры рендзю. Также согласовали формат данных для партии.&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;Формат данных&#039;&#039;&#039;&lt;br /&gt;
# Каждая партия представляет собой строку в файле (в качестве разделителя используем &#039;\n&#039;).&lt;br /&gt;
# В начале строки записан результат &#039;&#039;{black, white, draw, unknown}&#039;&#039;.&lt;br /&gt;
# Далее через пробельный разделитель перечислены ходы игроков в формате столбец-строка.&lt;br /&gt;
# Столбцы пронумерованы строчными буквами латинского алфавита .&lt;br /&gt;
# Строки пронумерованы арабскими цифрами, начиная с 1.&lt;br /&gt;
# Начало координатной сетки в левом нижнем углу.&lt;br /&gt;
# Предполагается, что первый ход делают черные.&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;Пример:&#039;&#039;&#039; unknown h8 g9 ...&lt;br /&gt;
&lt;br /&gt;
&lt;br /&gt;
Скрипт для &#039;&#039;&#039;справедливого&#039;&#039;&#039; распределения заданий по подготовке данных для обучения можно найти [https://github.com/dasimagin/renju/blob/master/data/task.py здесь].&lt;br /&gt;
&lt;br /&gt;
===S25.01===&lt;br /&gt;
# Поговорили на тему [https://en.wikipedia.org/wiki/Multi-armed_bandit многоруких бандитов].&lt;br /&gt;
# Начали осваивать [https://en.wikipedia.org/wiki/Reinforcement_learning reinforcment learning].&lt;br /&gt;
&lt;br /&gt;
Полезная книга может быть найдена [https://webdocs.cs.ualberta.ca/~sutton/book/bookdraft2016sep.pdf  здесь].&lt;br /&gt;
&lt;br /&gt;
===L4===&lt;br /&gt;
&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
! Ревьюер !! Разработчик !! Оценка&lt;br /&gt;
|-&lt;br /&gt;
| Сопов || Харламов|| -&lt;br /&gt;
|-&lt;br /&gt;
| Гринберг || Сопов  || -&lt;br /&gt;
|-&lt;br /&gt;
| Баранов  || Гринберг || -&lt;br /&gt;
|-&lt;br /&gt;
| Стороженко || Баранов || -&lt;br /&gt;
|-&lt;br /&gt;
| Харламов  || Стороженко || -&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
Появилась очередная лабораторная работа [https://github.com/dasimagin/renju/blob/master/labs/L4%20-%20Reinforcement%20learning.ipynb L4].&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;Cроки:&#039;&#039;&#039;&lt;br /&gt;
* Начало ревью: 11 февраля, 00:00.&lt;br /&gt;
* Окончание: 16 февраля, 23:59.&lt;br /&gt;
&lt;br /&gt;
===S18.01===&lt;br /&gt;
В связи с болезнью ментора занятие отменено.&lt;br /&gt;
&lt;br /&gt;
===H11.01===&lt;br /&gt;
Произвели разбор L3. Описание модели победителя можно найти [здесь], а baseline доступен [https://github.com/dasimagin/renju/blob/master/labs/L3%20-%20Baseline.ipynb здесь].&lt;br /&gt;
&lt;br /&gt;
Доклады мне не очень понравились. Постараюсь написать общие замечания.&lt;br /&gt;
# Прежде всего у докладчика должна быть хорошая речь.&lt;br /&gt;
# Нужно выделить то, что действительно важно и интересно для слушателя.&lt;br /&gt;
# Делать на доске четкие и простые рисунки и записи, убедиться, что аудитория тебя понимает.&lt;br /&gt;
# Не прыгать с темы на тему, а идти в соответсвии с логическим планом.&lt;br /&gt;
&lt;br /&gt;
===S14.12===&lt;br /&gt;
Начали разбирать нашу [https://storage.googleapis.com/deepmind-media/alphago/AlphaGoNaturePaper.pdf статью]. Есть пара источников на русском:&lt;br /&gt;
* [https://ru.wikipedia.org/wiki/AlphaGo Статья] на wikipedia&lt;br /&gt;
* [https://habrahabr.ru/post/279071/ Статья]  на хабре&lt;br /&gt;
&lt;br /&gt;
===H11.12===&lt;br /&gt;
Занятие было посвящено выполнению второй лабораторной. Интересный ноутбук скоро появится [здесь].&lt;br /&gt;
&lt;br /&gt;
===S08.12===&lt;br /&gt;
&#039;&#039;&#039;1. Известные архитектуры сверточных сетей&#039;&#039;&#039;&lt;br /&gt;
* [https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Alexnet]&lt;br /&gt;
* [https://arxiv.org/pdf/1409.1556.pdf VGG net]&lt;br /&gt;
* [https://arxiv.org/pdf/1409.4842v1.pdf GoogLeNet]&lt;br /&gt;
* [https://arxiv.org/pdf/1512.03385.pdf ResNet]&lt;br /&gt;
&#039;&#039;&#039;2. Поговорили:&#039;&#039;&#039;&lt;br /&gt;
* На что активируются нейроны в зависимости от слоя&lt;br /&gt;
* Генерация &#039;похожих картинок&#039;&lt;br /&gt;
* Послойное обучение сети&lt;br /&gt;
* Переобучение или дообучение уже готовой сети&lt;br /&gt;
&#039;&#039;&#039;3. Изучили примеры для библиотеки Keras&#039;&#039;&#039;&lt;br /&gt;
*  [https://github.com/fchollet/keras/blob/master/examples/mnist_mlp.py Полносвязанная сеть]&lt;br /&gt;
* [https://github.com/fchollet/keras/blob/master/examples/mnist_cnn.py Сверточная сеть ]&lt;br /&gt;
* [https://github.com/fchollet/keras/blob/master/examples/mnist_transfer_cnn.py Переобучение] сверточной сети &lt;br /&gt;
&lt;br /&gt;
===L3===&lt;br /&gt;
&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
! Студент !! CPU !! RAM !! GPU&lt;br /&gt;
|- &lt;br /&gt;
| Пример || 6 core, 3,5 GHz || 64GB || NVIDIA TITAN X&lt;br /&gt;
|-&lt;br /&gt;
| Харламов || 4 core, 3,6 GHz || 16GB || NVIDIA GTX 960m 2GB&lt;br /&gt;
|-&lt;br /&gt;
| Сопов || 4 core, 2,7 GHz || 8GB || NVIDIA GTX 940m&lt;br /&gt;
|-&lt;br /&gt;
| Гринберг || 4 core, 3,6 GHz || 16 GB || NVIDIA GTX 1070 8GB&lt;br /&gt;
|-&lt;br /&gt;
| Баранов || 4 core, 3,5GHz || 8GB || NVIDIA GTX 960m 2GB&lt;br /&gt;
|-&lt;br /&gt;
| Стороженко || 6 core 3.0 GHz || 16 GB || NVIDIA GTX 1060 6GB&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
Победить в [https://inclass.kaggle.com/c/ch-ch конкурсе] классификации,  срок 3 января, 23:59.&lt;br /&gt;
&lt;br /&gt;
Для этого вам понадобится&lt;br /&gt;
* Установить [https://www.tensorflow.org Tensorflow] &lt;br /&gt;
* Установить [https://keras.io Keras] &lt;br /&gt;
* Запастись терпением&lt;br /&gt;
&lt;br /&gt;
===S01.12===&lt;br /&gt;
&#039;&#039;&#039;1. Полносвязанные сети:&#039;&#039;&#039;&lt;br /&gt;
* Подсчитаны производные для [https://en.wikipedia.org/wiki/Backpropagation Backpropagation], обсуждены тонкости реализации.&lt;br /&gt;
* Различные виды нелинейности: [https://en.wikipedia.org/wiki/Rectifier_(neural_networks) ReLu], [https://arxiv.org/pdf/1502.01852v1.pdf PReLu], [https://en.wikipedia.org/wiki/Sigmoid_function Sigmoid].&lt;br /&gt;
* Обучение сетей при помощи [https://en.wikipedia.org/wiki/Autoencoder Autoencoder].&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;2. Сверточные сети:&#039;&#039;&#039;&lt;br /&gt;
* Cтруктура [https://en.wikipedia.org/wiki/Convolutional_neural_network CNN].&lt;br /&gt;
* Затронуты: [https://en.wikipedia.org/wiki/Convolution Convolution], [https://en.wikipedia.org/wiki/Convolutional_neural_network#Pooling_layer Pooling].&lt;br /&gt;
* Влияние различных ядер свертки на структуру сети.&lt;br /&gt;
* [https://en.wikipedia.org/wiki/Convolutional_neural_network#Choosing_hyperparameters Feature maps].&lt;br /&gt;
* Разобрана архитектура [https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Alexnet].&lt;br /&gt;
* Сочетание из Convolutional и Dense слоев.&lt;br /&gt;
&lt;br /&gt;
===S24.11===&lt;br /&gt;
&#039;&#039;&#039;1. Регуляризация:&#039;&#039;&#039;&lt;br /&gt;
* Разобрали L1 и L2 регуляризаторы, можно найти [https://en.wikipedia.org/wiki/Regularization_(mathematics) здесь].&lt;br /&gt;
* Используйте простые классификаторы&lt;br /&gt;
* Раняя остановка (смотрим качество на отложенном множестве)&lt;br /&gt;
* Добавление шума&lt;br /&gt;
* Комбинирование классификаторов&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;2. Полносвязанные сети:&#039;&#039;&#039;&lt;br /&gt;
* Множественная классификация и [https://en.wikipedia.org/wiki/Softmax_function softmax].&lt;br /&gt;
* Метод [http://www.machinelearning.ru/wiki/images/0/0f/karpinskaya-2010.pdf обратного распространения ошибки], проблема при обучении.&lt;br /&gt;
* Инициализация весов:  и [http://jmlr.org/proceedings/papers/v9/glorot10a/glorot10a.pdf xavier] и другие [https://arxiv.org/pdf/1502.01852v1.pdf вариации].&lt;br /&gt;
* Кратко о [https://en.wikipedia.org/wiki/Convolutional_neural_network#Dropout dropout].&lt;br /&gt;
&lt;br /&gt;
===L2===&lt;br /&gt;
Задание можно найти [https://github.com/dasimagin/renju/blob/master/labs/L2%20-%20Nets.ipynb здесь],  срок 23:59 11 декабря.&lt;br /&gt;
&lt;br /&gt;
===S02.11===&lt;br /&gt;
# [https://en.wikipedia.org/wiki/Feature_(machine_learning) Признаки] и какие они бывают. Об отборе признаков, кратко [https://habrahabr.ru/post/264915/ тут]. Может помочь на конкурсе.&lt;br /&gt;
# Задача [http://www.machinelearning.ru/wiki/index.php?title=Линейный_классификатор бинарной классификации].&lt;br /&gt;
# [http://www.machinelearning.ru/wiki/index.php?title=Метод_градиентного_спуска Градиентный спуск].&lt;br /&gt;
# [http://www.machinelearning.ru/wiki/index.php?title=Метод_стохастического_градиента Стохастический градиентный спуск]. На английской [https://en.wikipedia.org/wiki/Stochastic_gradient_descent вике] больше интересной информации.&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;Для дополнительного чтения:&#039;&#039;&#039;&lt;br /&gt;
# [https://homes.cs.washington.edu/~pedrod/papers/cacm12.pdf Что полезно знать о машинном обучении].&lt;br /&gt;
# [https://en.wikipedia.org/wiki/Feature_(machine_learning) Английская вика про признаки]&lt;br /&gt;
# [http://www.jmlr.org/papers/volume3/guyon03a/guyon03a.pdf Отбор признаков].&lt;br /&gt;
# Мощная теоретическая работа про [https://mipt.ru/upload/medialibrary/d7e/41-91.pdf стохастический градиентный спуск].&lt;br /&gt;
&lt;br /&gt;
===L1===&lt;br /&gt;
&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
! Ревьюер !! Разработчик !! Оценка&lt;br /&gt;
|-&lt;br /&gt;
|Харламов || Сопов || 9&lt;br /&gt;
|-&lt;br /&gt;
| Сопов || Гринберг || 10&lt;br /&gt;
|-&lt;br /&gt;
| Гринберг || Баранов || 8&lt;br /&gt;
|-&lt;br /&gt;
| Баранов || Стороженко || 10&lt;br /&gt;
|-&lt;br /&gt;
| Стороженко || Харламов || 8&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
Для [https://github.com/dasimagin/renju/blob/master/labs/L1%20-%20Gradient%20descent%20and%20linear%20models.ipynb первой] лабораторной работы вам потребуется:&lt;br /&gt;
# Настроить себе [https://pip.pypa.io/en/stable/ pip] для Python3&lt;br /&gt;
# Освоить [http://jupyter.org Jupyter notebook]&lt;br /&gt;
# Установить пакеты [http://www.scipy.org scipy]: numpy, scipy, matplotlib&lt;/div&gt;</summary>
		<author><name>Simagin.denis</name></author>
	</entry>
	<entry>
		<id>https://wiki.cs.hse.ru/index.php?title=Ask_me_(%D1%81%D0%B5%D0%BC%D0%B8%D0%BD%D0%B0%D1%80)&amp;diff=22876</id>
		<title>Ask me (семинар)</title>
		<link rel="alternate" type="text/html" href="https://wiki.cs.hse.ru/index.php?title=Ask_me_(%D1%81%D0%B5%D0%BC%D0%B8%D0%BD%D0%B0%D1%80)&amp;diff=22876"/>
		<updated>2017-03-19T22:39:09Z</updated>

		<summary type="html">&lt;p&gt;Simagin.denis: &lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;Описание [[Ask_me_(проект)|проекта]], последнее [[Ask_me_(семинар)#.D0.A1.D0.B5.D0.BC.D0.B8.D0.BD.D0.B0.D1.80.D1.8B|занятие]].&lt;br /&gt;
&lt;br /&gt;
==Правила игры ==&lt;br /&gt;
* &#039;&#039;&#039;Ментор:&#039;&#039;&#039; [[Участник:Simagin.denis|Симагин Денис]].&lt;br /&gt;
* &#039;&#039;&#039;Место:&#039;&#039;&#039; офис Яндекса ([https://maps.yandex.ru/213/moscow/?ll=37.590150%2C55.734065&amp;amp;z=18&amp;amp;l=stv%2Csta&amp;amp;panorama%5Bpoint%5D=37.589416%2C55.733747&amp;amp;panorama%5Bdirection%5D=40.412258%2C-11.910596&amp;amp;panorama%5Bspan%5D=130.000000%2C52.209677 место встречи])&lt;br /&gt;
* &#039;&#039;&#039;Время:&#039;&#039;&#039; c 10:00, каждый четверг.&lt;br /&gt;
&lt;br /&gt;
Общение с ментором вне занятий приветствуется. Можно задавать вопросы, в том числе философские. Но перед тем, как написать, попробуйте спросить это у [https://ya.ru Яндекса]. Также не обижайтесь, если в ответ вам пришла ссылка на документацию или какую-то статью.&lt;br /&gt;
&lt;br /&gt;
===Ключевые точки===&lt;br /&gt;
Сверху нам спущены ключевые точки выполнения проекта. Для нас они скорее явлются формальными, тем не менее мы должны их соблюдать.&lt;br /&gt;
# &#039;&#039;&#039;12-17 декабря&#039;&#039;&#039; - все включились в работу&lt;br /&gt;
# &#039;&#039;&#039;20-25 марта&#039;&#039;&#039; - реализован объем работ, необходимый для зачета&lt;br /&gt;
# &#039;&#039;&#039;30 мая - 3 июня&#039;&#039;&#039; - окончание проектной работы, вы готовы, как пионеры. &lt;br /&gt;
# &#039;&#039;&#039;начало июня&#039;&#039;&#039; - конкурс проектов.&lt;br /&gt;
&lt;br /&gt;
===Правило 2Х===&lt;br /&gt;
У вас есть право на одну ошибку. Следующая - я отказываюсь с вами работать.&lt;br /&gt;
&lt;br /&gt;
===Репозитории===&lt;br /&gt;
Студенты хранят свой код в следующих репозиториях&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
|Ментор  || https://github.com/dasimagin/askme&lt;br /&gt;
|-&lt;br /&gt;
| Когтенков || https://github.com/aakogtenkov/Ask-me-if-you-can&lt;br /&gt;
|-&lt;br /&gt;
|Остяков || https://github.com/PavelOstyakov/askme&lt;br /&gt;
|-&lt;br /&gt;
|Рябинин || https://github.com/mryab/askme&lt;br /&gt;
|-&lt;br /&gt;
|Попов || https://github.com/Akiiino/Ask-Me-Anything&lt;br /&gt;
|-&lt;br /&gt;
|Ширин || https://github.com/shirinnikita/ask_me&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
===Разбор статьи===&lt;br /&gt;
В рамках проекта студент должен разобрать интересную для него статью и доложить ее на общем семинаре.&lt;br /&gt;
&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
! Студент !! Статья !! Дата&lt;br /&gt;
|-&lt;br /&gt;
|Когтенков || [https://papers.nips.cc/paper/5654-deep-knowledge-tracing.pdf Deep Knowledge Tracing] || 9 апреля&lt;br /&gt;
|-&lt;br /&gt;
|Остяков || [https://arxiv.org/pdf/1612.07411v1.pdf A Context-aware Attention Network for Interactive Question Answering] || 19 марта&lt;br /&gt;
|-&lt;br /&gt;
|Рябинин || [https://arxiv.org/abs/1609.08144 Google&#039;s Neural Machine Translation System: Bridging the Gap between Human and Machine Translation] || 2 апреля&lt;br /&gt;
|-&lt;br /&gt;
|Попов || [https://arxiv.org/pdf/1701.04189.pdf Deep Memory Networks for Attitude Identification] || 26 марта&lt;br /&gt;
|-&lt;br /&gt;
|Ширин || [https://arxiv.org/abs/1506.06714 Context-Sensitive Generation of Conversational Responses] || 16 апреля&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
===Лабораторные===&lt;br /&gt;
Лабораторные проводятся для практического закрепления материала. Их выполнение учитывается в итоговой оценке.&lt;br /&gt;
&lt;br /&gt;
# Результатом работы является jupyter notebook, где сохранен вывод вашего кода, графики и т.п. А так же его импорт в формат .py. Для автоматизации процесса можно настроить jupyter.&lt;br /&gt;
# Когда сроки выполнения лабораторной завершены, вы выкладываете ее на ревью, создавая соответствующее задание и запрос на объединение ветки с мастером (не забудьте добавить проверяющего).&lt;br /&gt;
# Ваш коллега проводит ревью кода и может оставлять замечания, как в виде комментариев к заданию, так и в файле .py. Оно предполагает проверку стиля и правильность кода, а также конструктивные замечания по производительности. Однако не стремитесь сразу оптимизировать код. Добейтесь лучше того, чтобы все работало правильно.&lt;br /&gt;
# Когда ревью завершено, влейтесь в мастер и закройте задание.&lt;br /&gt;
&lt;br /&gt;
===Результаты===&lt;br /&gt;
Текущие результаты можно найти  [https://docs.google.com/spreadsheets/d/1gO6nHbLqMeLRXAa5Mubpfoc_-gk9DWCJ4mmnV_xaeig/edit?usp=sharing здесь]. Оценка складывается из нескольких частей:&lt;br /&gt;
# Работа на семинаре&lt;br /&gt;
# Доклад статьи&lt;br /&gt;
# Итоговый результат&lt;br /&gt;
&lt;br /&gt;
==Семинары==&lt;br /&gt;
&lt;br /&gt;
===H19.03===&lt;br /&gt;
1. Паша разобрал статью схожую с нашей. Авторы пытаются научить сеть задавать уточняющие вопросы, если это необходимо.&lt;br /&gt;
2. Анонсирован семинар на тему генерации датасета, а так же разбор DMN+.&lt;br /&gt;
&lt;br /&gt;
**Задание**&lt;br /&gt;
Воспроизвести DMN (можно в упрощенной версии) на данных bAbI. &#039;&#039;&#039;Дедлайн:&#039;&#039;&#039; 9 апреля.&lt;br /&gt;
&lt;br /&gt;
===S02.03===&lt;br /&gt;
Разбирали результаты L4, начали говорить на тему проекта.&lt;br /&gt;
&lt;br /&gt;
===L5===&lt;br /&gt;
Конкур можно найти [https://inclass.kaggle.com/c/en-phonetics здесь].&lt;br /&gt;
&lt;br /&gt;
===S19.02===&lt;br /&gt;
# Доразбирали вычисление градиента для рекуррентных сетей.&lt;br /&gt;
# Еще раз поговорили о затухании и взрыве градиента.&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;Литература для чтения:&#039;&#039;&#039;&lt;br /&gt;
* Прекрасный блог, где можно прочитать про рекуррентные сети, вот [http://www.wildml.com/2015/09/recurrent-neural-networks-tutorial-part-1-introduction-to-rnns/ первая статья], в начале есть ссылки на продолжение.&lt;br /&gt;
* Про [http://colah.github.io/posts/2015-08-Understanding-LSTMs/ LSTM] с картинками.&lt;br /&gt;
* Tensorflow и [https://www.tensorflow.org/tutorials/recurrent рекурретные] сети.&lt;br /&gt;
* Как работать с последовательностями, [https://www.tensorflow.org/tutorials/seq2seq пример] tensorflow.&lt;br /&gt;
&lt;br /&gt;
===S02.02===&lt;br /&gt;
Начали говорить о рекуррентных сетях, я обещал подробнее описать математику обучения.&lt;br /&gt;
# Поговорили о [https://en.wikipedia.org/wiki/Recurrent_neural_network рекурретных сетях] в общем&lt;br /&gt;
# Архитектура [https://en.wikipedia.org/wiki/Long_short-term_memory LSTM] сети&lt;br /&gt;
# Архитектура [https://arxiv.org/pdf/1412.3555v1.pdf GRU] сети&lt;br /&gt;
&lt;br /&gt;
===S29.01===&lt;br /&gt;
Еще раз вернулись к теме word embedding в контексте нейросетей, список затронутых статей:&lt;br /&gt;
# [http://www.jmlr.org/papers/volume3/bengio03a/bengio03a.pdf Первая сеть], предсказывающая следующее слово.&lt;br /&gt;
# [https://ronan.collobert.com/pub/matos/2008_nlp_icml.pdff Статья], где заменяется softmax&lt;br /&gt;
# [https://papers.nips.cc/paper/5021-distributed-representations-of-words-and-phrases-and-their-compositionality.pdf Статья] Миколова про word2vec.&lt;br /&gt;
&lt;br /&gt;
===L4===&lt;br /&gt;
Лабораторную работу можно найти [https://github.com/dasimagin/askme/blob/master/labs/L4%20-%20Word%20embedding.ipynb здесь].&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;Срок сдачи:&#039;&#039;&#039;&lt;br /&gt;
* Начало ревью: 24 февраля 23:59 &lt;br /&gt;
* Окончание ревью: 8 марта 23:59 &lt;br /&gt;
&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
! Ревьюер !! Разработчик !! Оценка&lt;br /&gt;
|-&lt;br /&gt;
| Попов || Рябинин || -&lt;br /&gt;
|-&lt;br /&gt;
| Остяков || Попов || -&lt;br /&gt;
|-&lt;br /&gt;
| Когтенков || Остяков || -&lt;br /&gt;
|-&lt;br /&gt;
| Ширин  || Когтенков || -&lt;br /&gt;
|-&lt;br /&gt;
| Рябинин || Ширин || -&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
===H11.01===&lt;br /&gt;
Произвели разбор L3. Описание модели победителя можно найти, а baseline доступен [https://github.com/dasimagin/askme/blob/master/labs/L3%20-%20Baseline.ipynb здесь].&lt;br /&gt;
&lt;br /&gt;
Доклады мне не очень понравились. Постараюсь написать общие замечания.&lt;br /&gt;
# Прежде всего у докладчика должна быть хорошая речь.&lt;br /&gt;
# Нужно выделить то, что действительно важно и интересно для слушателя.&lt;br /&gt;
# Делать на доске четкие и простые рисунки и записи, убедиться, что аудитория тебя понимает.&lt;br /&gt;
# Не прыгать с темы на тему, а идти в соответсвии с логическим планом.&lt;br /&gt;
&lt;br /&gt;
===S15.12===&lt;br /&gt;
Поговорили про векторное представление слов, word2vec и другие сверточные сети для работы с естественными языками.&lt;br /&gt;
&lt;br /&gt;
===H11.12===&lt;br /&gt;
Занятие было посвящено выполнению второй лабораторной. Интересный ноутбук скоро появится [здесь].&lt;br /&gt;
&lt;br /&gt;
===S08.12===&lt;br /&gt;
&#039;&#039;&#039;1. Известные архитектуры сверточных сетей&#039;&#039;&#039;&lt;br /&gt;
* [https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Alexnet]&lt;br /&gt;
* [https://arxiv.org/pdf/1409.1556.pdf VGG net]&lt;br /&gt;
* [https://arxiv.org/pdf/1409.4842v1.pdf GoogLeNet]&lt;br /&gt;
* [https://arxiv.org/pdf/1512.03385.pdf ResNet]&lt;br /&gt;
&#039;&#039;&#039;2. Поговорили:&#039;&#039;&#039;&lt;br /&gt;
* На что активируются нейроны в зависимости от слоя&lt;br /&gt;
* Генерация &#039;похожих картинок&#039;&lt;br /&gt;
* Послойное обучение сети&lt;br /&gt;
* Переобучение или дообучение уже готовой сети&lt;br /&gt;
&#039;&#039;&#039;3. Изучили примеры для библиотеки Keras&#039;&#039;&#039;&lt;br /&gt;
*  [https://github.com/fchollet/keras/blob/master/examples/mnist_mlp.py Полносвязанная сеть]&lt;br /&gt;
* [https://github.com/fchollet/keras/blob/master/examples/mnist_cnn.py Сверточная сеть ]&lt;br /&gt;
* [https://github.com/fchollet/keras/blob/master/examples/mnist_transfer_cnn.py Переобучение] сверточной сети &lt;br /&gt;
&lt;br /&gt;
===L3===&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
! Студент !! CPU !! RAM !! GPU&lt;br /&gt;
|- &lt;br /&gt;
| Пример || 6 core, 3,5 GHz || 64GB || NVIDIA TITAN X&lt;br /&gt;
|-&lt;br /&gt;
|Рябинин || 4 core, 3.5 GHz || 16 GB || Nvidia GeForce GTX 1070&lt;br /&gt;
|-&lt;br /&gt;
| Попов || 4 core, 3.2 GHz || 8 GB || GeForce GTX 750 Ti&lt;br /&gt;
|-&lt;br /&gt;
| Остяков || 8 core, 2,6 GHz || 50 GB || -&lt;br /&gt;
|-&lt;br /&gt;
| Когтенков || 2 core, 1.4 GHz || 4 GB || -&lt;br /&gt;
|-&lt;br /&gt;
| Ширин || 2 core, 1.9 GHz || 8 GB || -&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
Победить в [https://inclass.kaggle.com/c/ch-ch конкурсе] классификации,  срок 3 января, 23:59.&lt;br /&gt;
&lt;br /&gt;
Для этого вам понадобится&lt;br /&gt;
* Установить [https://www.tensorflow.org Tensorflow] &lt;br /&gt;
* Установить [https://keras.io Keras] &lt;br /&gt;
* Запастись терпением&lt;br /&gt;
&lt;br /&gt;
===S01.12===&lt;br /&gt;
&#039;&#039;&#039;1. Полносвязанные сети:&#039;&#039;&#039;&lt;br /&gt;
* Подсчитаны производные для [https://en.wikipedia.org/wiki/Backpropagation Backpropagation], обсуждены тонкости реализации.&lt;br /&gt;
* Различные виды нелинейности: [https://en.wikipedia.org/wiki/Rectifier_(neural_networks) ReLu], [https://arxiv.org/pdf/1502.01852v1.pdf PReLu], [https://en.wikipedia.org/wiki/Sigmoid_function Sigmoid].&lt;br /&gt;
* Обучение сетей при помощи [https://en.wikipedia.org/wiki/Autoencoder Autoencoder].&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;2. Сверточные сети:&#039;&#039;&#039;&lt;br /&gt;
* Cтруктура [https://en.wikipedia.org/wiki/Convolutional_neural_network CNN].&lt;br /&gt;
* Затронуты: [https://en.wikipedia.org/wiki/Convolution Convolution], [https://en.wikipedia.org/wiki/Convolutional_neural_network#Pooling_layer Pooling].&lt;br /&gt;
* Влияние различных ядер свертки на структуру сети.&lt;br /&gt;
* [https://en.wikipedia.org/wiki/Convolutional_neural_network#Choosing_hyperparameters Feature maps].&lt;br /&gt;
* Разобрана архитектура [https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Alexnet].&lt;br /&gt;
* Сочетание из Convolutional и Dense слоев.&lt;br /&gt;
&lt;br /&gt;
===S24.11===&lt;br /&gt;
&#039;&#039;&#039;1. Регуляризация:&#039;&#039;&#039;&lt;br /&gt;
* Разобрали L1 и L2 регуляризаторы, можно найти [https://en.wikipedia.org/wiki/Regularization_(mathematics) здесь].&lt;br /&gt;
* Используйте простые классификаторы&lt;br /&gt;
* Раняя остановка (смотрим качество на отложенном множестве)&lt;br /&gt;
* Добавление шума&lt;br /&gt;
* Комбинирование классификаторов&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;2. Полносвязанные сети:&#039;&#039;&#039;&lt;br /&gt;
* Множественная классификация и [https://en.wikipedia.org/wiki/Softmax_function softmax].&lt;br /&gt;
* Метод [http://www.machinelearning.ru/wiki/images/0/0f/karpinskaya-2010.pdf обратного распространения ошибки], проблема при обучении.&lt;br /&gt;
* Инициализация весов:  и [http://jmlr.org/proceedings/papers/v9/glorot10a/glorot10a.pdf xavier] и другие [https://arxiv.org/pdf/1502.01852v1.pdf вариации].&lt;br /&gt;
* Кратко о [https://en.wikipedia.org/wiki/Convolutional_neural_network#Dropout dropout].&lt;br /&gt;
&lt;br /&gt;
===L2===&lt;br /&gt;
&lt;br /&gt;
Задание можно найти [https://github.com/dasimagin/askme/blob/master/labs/L2%20-%20Nets.ipynb здесь],  срок 23:59 11 декабря.&lt;br /&gt;
&lt;br /&gt;
===S03.11===&lt;br /&gt;
# [https://en.wikipedia.org/wiki/Feature_(machine_learning) Признаки] и какие они бывают. Об отборе признаков, кратко [https://habrahabr.ru/post/264915/ тут]. Может помочь на конкурсе.&lt;br /&gt;
# Задача [http://www.machinelearning.ru/wiki/index.php?title=Линейный_классификатор бинарной классификации].&lt;br /&gt;
# [http://www.machinelearning.ru/wiki/index.php?title=Метод_градиентного_спуска Градиентный спуск].&lt;br /&gt;
# [http://www.machinelearning.ru/wiki/index.php?title=Метод_стохастического_градиента Стохастический градиентный спуск]. На английской [https://en.wikipedia.org/wiki/Stochastic_gradient_descent вике] больше интересной информации.&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;Для дополнительного чтения:&#039;&#039;&#039;&lt;br /&gt;
# [https://homes.cs.washington.edu/~pedrod/papers/cacm12.pdf Что полезно знать о машинном обучении].&lt;br /&gt;
# [https://en.wikipedia.org/wiki/Feature_(machine_learning) Английская вика про признаки]&lt;br /&gt;
# [http://www.jmlr.org/papers/volume3/guyon03a/guyon03a.pdf Отбор признаков].&lt;br /&gt;
# Мощная теоретическая работа про [https://mipt.ru/upload/medialibrary/d7e/41-91.pdf стохастический градиентный спуск].&lt;br /&gt;
&lt;br /&gt;
===L1===&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
! Ревьюер !! Разработчик !! Оценка&lt;br /&gt;
|-&lt;br /&gt;
|Рябинин || Попов || 10&lt;br /&gt;
|-&lt;br /&gt;
| Попов || Остяков || 10&lt;br /&gt;
|-&lt;br /&gt;
| Остяков || Когтенков || 10&lt;br /&gt;
|-&lt;br /&gt;
| Когтенков || Ширин || 9.7&lt;br /&gt;
|-&lt;br /&gt;
| Ширин || Рябинин || 10&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
Для [https://github.com/dasimagin/askme/blob/master/labs/L1%20-%20Gradient%20descent%20and%20linear%20models.ipynb первой] лабораторной работы вам потребуется:&lt;br /&gt;
# Настроить себе [https://pip.pypa.io/en/stable/ pip] для Python3&lt;br /&gt;
# Освоить [http://jupyter.org Jupyter notebook]&lt;br /&gt;
# Установить пакеты [http://www.scipy.org scipy]: numpy, scipy, matplotlib&lt;/div&gt;</summary>
		<author><name>Simagin.denis</name></author>
	</entry>
	<entry>
		<id>https://wiki.cs.hse.ru/index.php?title=Ask_me_(%D1%81%D0%B5%D0%BC%D0%B8%D0%BD%D0%B0%D1%80)&amp;diff=22865</id>
		<title>Ask me (семинар)</title>
		<link rel="alternate" type="text/html" href="https://wiki.cs.hse.ru/index.php?title=Ask_me_(%D1%81%D0%B5%D0%BC%D0%B8%D0%BD%D0%B0%D1%80)&amp;diff=22865"/>
		<updated>2017-03-19T09:57:06Z</updated>

		<summary type="html">&lt;p&gt;Simagin.denis: /* Разбор статьи */&lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;Описание [[Ask_me_(проект)|проекта]], последнее [[Ask_me_(семинар)#.D0.A1.D0.B5.D0.BC.D0.B8.D0.BD.D0.B0.D1.80.D1.8B|занятие]].&lt;br /&gt;
&lt;br /&gt;
==Правила игры ==&lt;br /&gt;
* &#039;&#039;&#039;Ментор:&#039;&#039;&#039; [[Участник:Simagin.denis|Симагин Денис]].&lt;br /&gt;
* &#039;&#039;&#039;Место:&#039;&#039;&#039; офис Яндекса ([https://maps.yandex.ru/213/moscow/?ll=37.590150%2C55.734065&amp;amp;z=18&amp;amp;l=stv%2Csta&amp;amp;panorama%5Bpoint%5D=37.589416%2C55.733747&amp;amp;panorama%5Bdirection%5D=40.412258%2C-11.910596&amp;amp;panorama%5Bspan%5D=130.000000%2C52.209677 место встречи])&lt;br /&gt;
* &#039;&#039;&#039;Время:&#039;&#039;&#039; c 10:00, каждый четверг.&lt;br /&gt;
&lt;br /&gt;
Общение с ментором вне занятий приветствуется. Можно задавать вопросы, в том числе философские. Но перед тем, как написать, попробуйте спросить это у [https://ya.ru Яндекса]. Также не обижайтесь, если в ответ вам пришла ссылка на документацию или какую-то статью.&lt;br /&gt;
&lt;br /&gt;
===Ключевые точки===&lt;br /&gt;
Сверху нам спущены ключевые точки выполнения проекта. Для нас они скорее явлются формальными, тем не менее мы должны их соблюдать.&lt;br /&gt;
# &#039;&#039;&#039;12-17 декабря&#039;&#039;&#039; - все включились в работу&lt;br /&gt;
# &#039;&#039;&#039;20-25 марта&#039;&#039;&#039; - реализован объем работ, необходимый для зачета&lt;br /&gt;
# &#039;&#039;&#039;30 мая - 3 июня&#039;&#039;&#039; - окончание проектной работы, вы готовы, как пионеры. &lt;br /&gt;
# &#039;&#039;&#039;начало июня&#039;&#039;&#039; - конкурс проектов.&lt;br /&gt;
&lt;br /&gt;
===Правило 2Х===&lt;br /&gt;
У вас есть право на одну ошибку. Следующая - я отказываюсь с вами работать.&lt;br /&gt;
&lt;br /&gt;
===Репозитории===&lt;br /&gt;
Студенты хранят свой код в следующих репозиториях&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
|Ментор  || https://github.com/dasimagin/askme&lt;br /&gt;
|-&lt;br /&gt;
| Когтенков || https://github.com/aakogtenkov/Ask-me-if-you-can&lt;br /&gt;
|-&lt;br /&gt;
|Остяков || https://github.com/PavelOstyakov/askme&lt;br /&gt;
|-&lt;br /&gt;
|Рябинин || https://github.com/mryab/askme&lt;br /&gt;
|-&lt;br /&gt;
|Попов || https://github.com/Akiiino/Ask-Me-Anything&lt;br /&gt;
|-&lt;br /&gt;
|Ширин || https://github.com/shirinnikita/ask_me&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
===Разбор статьи===&lt;br /&gt;
В рамках проекта студент должен разобрать интересную для него статью и доложить ее на общем семинаре.&lt;br /&gt;
&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
! Студент !! Статья !! Дата&lt;br /&gt;
|-&lt;br /&gt;
|Когтенков || [https://papers.nips.cc/paper/5654-deep-knowledge-tracing.pdf Deep Knowledge Tracing] || 9 апреля&lt;br /&gt;
|-&lt;br /&gt;
|Остяков || [https://arxiv.org/pdf/1612.07411v1.pdf A Context-aware Attention Network for Interactive Question Answering] || 19 марта&lt;br /&gt;
|-&lt;br /&gt;
|Рябинин || [https://arxiv.org/abs/1609.08144 Google&#039;s Neural Machine Translation System: Bridging the Gap between Human and Machine Translation] || 2 апреля&lt;br /&gt;
|-&lt;br /&gt;
|Попов || [https://arxiv.org/pdf/1701.04189.pdf Deep Memory Networks for Attitude Identification] || 26 марта&lt;br /&gt;
|-&lt;br /&gt;
|Ширин || [https://arxiv.org/abs/1506.06714 Context-Sensitive Generation of Conversational Responses] || 16 апреля&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
===Лабораторные===&lt;br /&gt;
Лабораторные проводятся для практического закрепления материала. Их выполнение учитывается в итоговой оценке.&lt;br /&gt;
&lt;br /&gt;
# Результатом работы является jupyter notebook, где сохранен вывод вашего кода, графики и т.п. А так же его импорт в формат .py. Для автоматизации процесса можно настроить jupyter.&lt;br /&gt;
# Когда сроки выполнения лабораторной завершены, вы выкладываете ее на ревью, создавая соответствующее задание и запрос на объединение ветки с мастером (не забудьте добавить проверяющего).&lt;br /&gt;
# Ваш коллега проводит ревью кода и может оставлять замечания, как в виде комментариев к заданию, так и в файле .py. Оно предполагает проверку стиля и правильность кода, а также конструктивные замечания по производительности. Однако не стремитесь сразу оптимизировать код. Добейтесь лучше того, чтобы все работало правильно.&lt;br /&gt;
# Когда ревью завершено, влейтесь в мастер и закройте задание.&lt;br /&gt;
&lt;br /&gt;
===Результаты===&lt;br /&gt;
Текущие результаты можно найти  [https://docs.google.com/spreadsheets/d/1gO6nHbLqMeLRXAa5Mubpfoc_-gk9DWCJ4mmnV_xaeig/edit?usp=sharing здесь]. Оценка складывается из нескольких частей:&lt;br /&gt;
# Работа на семинаре&lt;br /&gt;
# Доклад статьи&lt;br /&gt;
# Итоговый результат&lt;br /&gt;
&lt;br /&gt;
==Семинары==&lt;br /&gt;
&lt;br /&gt;
===S02.03===&lt;br /&gt;
Разбирали результаты L4, начали говорить на тему проекта.&lt;br /&gt;
&lt;br /&gt;
===L5===&lt;br /&gt;
Конкур можно найти [https://inclass.kaggle.com/c/en-phonetics здесь].&lt;br /&gt;
&lt;br /&gt;
===S19.02===&lt;br /&gt;
# Доразбирали вычисление градиента для рекуррентных сетей.&lt;br /&gt;
# Еще раз поговорили о затухании и взрыве градиента.&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;Литература для чтения:&#039;&#039;&#039;&lt;br /&gt;
* Прекрасный блог, где можно прочитать про рекуррентные сети, вот [http://www.wildml.com/2015/09/recurrent-neural-networks-tutorial-part-1-introduction-to-rnns/ первая статья], в начале есть ссылки на продолжение.&lt;br /&gt;
* Про [http://colah.github.io/posts/2015-08-Understanding-LSTMs/ LSTM] с картинками.&lt;br /&gt;
* Tensorflow и [https://www.tensorflow.org/tutorials/recurrent рекурретные] сети.&lt;br /&gt;
* Как работать с последовательностями, [https://www.tensorflow.org/tutorials/seq2seq пример] tensorflow.&lt;br /&gt;
&lt;br /&gt;
===S02.02===&lt;br /&gt;
Начали говорить о рекуррентных сетях, я обещал подробнее описать математику обучения.&lt;br /&gt;
# Поговорили о [https://en.wikipedia.org/wiki/Recurrent_neural_network рекурретных сетях] в общем&lt;br /&gt;
# Архитектура [https://en.wikipedia.org/wiki/Long_short-term_memory LSTM] сети&lt;br /&gt;
# Архитектура [https://arxiv.org/pdf/1412.3555v1.pdf GRU] сети&lt;br /&gt;
&lt;br /&gt;
===S29.01===&lt;br /&gt;
Еще раз вернулись к теме word embedding в контексте нейросетей, список затронутых статей:&lt;br /&gt;
# [http://www.jmlr.org/papers/volume3/bengio03a/bengio03a.pdf Первая сеть], предсказывающая следующее слово.&lt;br /&gt;
# [https://ronan.collobert.com/pub/matos/2008_nlp_icml.pdff Статья], где заменяется softmax&lt;br /&gt;
# [https://papers.nips.cc/paper/5021-distributed-representations-of-words-and-phrases-and-their-compositionality.pdf Статья] Миколова про word2vec.&lt;br /&gt;
&lt;br /&gt;
===L4===&lt;br /&gt;
Лабораторную работу можно найти [https://github.com/dasimagin/askme/blob/master/labs/L4%20-%20Word%20embedding.ipynb здесь].&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;Срок сдачи:&#039;&#039;&#039;&lt;br /&gt;
* Начало ревью: 24 февраля 23:59 &lt;br /&gt;
* Окончание ревью: 8 марта 23:59 &lt;br /&gt;
&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
! Ревьюер !! Разработчик !! Оценка&lt;br /&gt;
|-&lt;br /&gt;
| Попов || Рябинин || -&lt;br /&gt;
|-&lt;br /&gt;
| Остяков || Попов || -&lt;br /&gt;
|-&lt;br /&gt;
| Когтенков || Остяков || -&lt;br /&gt;
|-&lt;br /&gt;
| Ширин  || Когтенков || -&lt;br /&gt;
|-&lt;br /&gt;
| Рябинин || Ширин || -&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
===H11.01===&lt;br /&gt;
Произвели разбор L3. Описание модели победителя можно найти, а baseline доступен [https://github.com/dasimagin/askme/blob/master/labs/L3%20-%20Baseline.ipynb здесь].&lt;br /&gt;
&lt;br /&gt;
Доклады мне не очень понравились. Постараюсь написать общие замечания.&lt;br /&gt;
# Прежде всего у докладчика должна быть хорошая речь.&lt;br /&gt;
# Нужно выделить то, что действительно важно и интересно для слушателя.&lt;br /&gt;
# Делать на доске четкие и простые рисунки и записи, убедиться, что аудитория тебя понимает.&lt;br /&gt;
# Не прыгать с темы на тему, а идти в соответсвии с логическим планом.&lt;br /&gt;
&lt;br /&gt;
===S15.12===&lt;br /&gt;
Поговорили про векторное представление слов, word2vec и другие сверточные сети для работы с естественными языками.&lt;br /&gt;
&lt;br /&gt;
===H11.12===&lt;br /&gt;
Занятие было посвящено выполнению второй лабораторной. Интересный ноутбук скоро появится [здесь].&lt;br /&gt;
&lt;br /&gt;
===S08.12===&lt;br /&gt;
&#039;&#039;&#039;1. Известные архитектуры сверточных сетей&#039;&#039;&#039;&lt;br /&gt;
* [https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Alexnet]&lt;br /&gt;
* [https://arxiv.org/pdf/1409.1556.pdf VGG net]&lt;br /&gt;
* [https://arxiv.org/pdf/1409.4842v1.pdf GoogLeNet]&lt;br /&gt;
* [https://arxiv.org/pdf/1512.03385.pdf ResNet]&lt;br /&gt;
&#039;&#039;&#039;2. Поговорили:&#039;&#039;&#039;&lt;br /&gt;
* На что активируются нейроны в зависимости от слоя&lt;br /&gt;
* Генерация &#039;похожих картинок&#039;&lt;br /&gt;
* Послойное обучение сети&lt;br /&gt;
* Переобучение или дообучение уже готовой сети&lt;br /&gt;
&#039;&#039;&#039;3. Изучили примеры для библиотеки Keras&#039;&#039;&#039;&lt;br /&gt;
*  [https://github.com/fchollet/keras/blob/master/examples/mnist_mlp.py Полносвязанная сеть]&lt;br /&gt;
* [https://github.com/fchollet/keras/blob/master/examples/mnist_cnn.py Сверточная сеть ]&lt;br /&gt;
* [https://github.com/fchollet/keras/blob/master/examples/mnist_transfer_cnn.py Переобучение] сверточной сети &lt;br /&gt;
&lt;br /&gt;
===L3===&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
! Студент !! CPU !! RAM !! GPU&lt;br /&gt;
|- &lt;br /&gt;
| Пример || 6 core, 3,5 GHz || 64GB || NVIDIA TITAN X&lt;br /&gt;
|-&lt;br /&gt;
|Рябинин || 4 core, 3.5 GHz || 16 GB || Nvidia GeForce GTX 1070&lt;br /&gt;
|-&lt;br /&gt;
| Попов || 4 core, 3.2 GHz || 8 GB || GeForce GTX 750 Ti&lt;br /&gt;
|-&lt;br /&gt;
| Остяков || 8 core, 2,6 GHz || 50 GB || -&lt;br /&gt;
|-&lt;br /&gt;
| Когтенков || 2 core, 1.4 GHz || 4 GB || -&lt;br /&gt;
|-&lt;br /&gt;
| Ширин || 2 core, 1.9 GHz || 8 GB || -&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
Победить в [https://inclass.kaggle.com/c/ch-ch конкурсе] классификации,  срок 3 января, 23:59.&lt;br /&gt;
&lt;br /&gt;
Для этого вам понадобится&lt;br /&gt;
* Установить [https://www.tensorflow.org Tensorflow] &lt;br /&gt;
* Установить [https://keras.io Keras] &lt;br /&gt;
* Запастись терпением&lt;br /&gt;
&lt;br /&gt;
===S01.12===&lt;br /&gt;
&#039;&#039;&#039;1. Полносвязанные сети:&#039;&#039;&#039;&lt;br /&gt;
* Подсчитаны производные для [https://en.wikipedia.org/wiki/Backpropagation Backpropagation], обсуждены тонкости реализации.&lt;br /&gt;
* Различные виды нелинейности: [https://en.wikipedia.org/wiki/Rectifier_(neural_networks) ReLu], [https://arxiv.org/pdf/1502.01852v1.pdf PReLu], [https://en.wikipedia.org/wiki/Sigmoid_function Sigmoid].&lt;br /&gt;
* Обучение сетей при помощи [https://en.wikipedia.org/wiki/Autoencoder Autoencoder].&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;2. Сверточные сети:&#039;&#039;&#039;&lt;br /&gt;
* Cтруктура [https://en.wikipedia.org/wiki/Convolutional_neural_network CNN].&lt;br /&gt;
* Затронуты: [https://en.wikipedia.org/wiki/Convolution Convolution], [https://en.wikipedia.org/wiki/Convolutional_neural_network#Pooling_layer Pooling].&lt;br /&gt;
* Влияние различных ядер свертки на структуру сети.&lt;br /&gt;
* [https://en.wikipedia.org/wiki/Convolutional_neural_network#Choosing_hyperparameters Feature maps].&lt;br /&gt;
* Разобрана архитектура [https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Alexnet].&lt;br /&gt;
* Сочетание из Convolutional и Dense слоев.&lt;br /&gt;
&lt;br /&gt;
===S24.11===&lt;br /&gt;
&#039;&#039;&#039;1. Регуляризация:&#039;&#039;&#039;&lt;br /&gt;
* Разобрали L1 и L2 регуляризаторы, можно найти [https://en.wikipedia.org/wiki/Regularization_(mathematics) здесь].&lt;br /&gt;
* Используйте простые классификаторы&lt;br /&gt;
* Раняя остановка (смотрим качество на отложенном множестве)&lt;br /&gt;
* Добавление шума&lt;br /&gt;
* Комбинирование классификаторов&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;2. Полносвязанные сети:&#039;&#039;&#039;&lt;br /&gt;
* Множественная классификация и [https://en.wikipedia.org/wiki/Softmax_function softmax].&lt;br /&gt;
* Метод [http://www.machinelearning.ru/wiki/images/0/0f/karpinskaya-2010.pdf обратного распространения ошибки], проблема при обучении.&lt;br /&gt;
* Инициализация весов:  и [http://jmlr.org/proceedings/papers/v9/glorot10a/glorot10a.pdf xavier] и другие [https://arxiv.org/pdf/1502.01852v1.pdf вариации].&lt;br /&gt;
* Кратко о [https://en.wikipedia.org/wiki/Convolutional_neural_network#Dropout dropout].&lt;br /&gt;
&lt;br /&gt;
===L2===&lt;br /&gt;
&lt;br /&gt;
Задание можно найти [https://github.com/dasimagin/askme/blob/master/labs/L2%20-%20Nets.ipynb здесь],  срок 23:59 11 декабря.&lt;br /&gt;
&lt;br /&gt;
===S03.11===&lt;br /&gt;
# [https://en.wikipedia.org/wiki/Feature_(machine_learning) Признаки] и какие они бывают. Об отборе признаков, кратко [https://habrahabr.ru/post/264915/ тут]. Может помочь на конкурсе.&lt;br /&gt;
# Задача [http://www.machinelearning.ru/wiki/index.php?title=Линейный_классификатор бинарной классификации].&lt;br /&gt;
# [http://www.machinelearning.ru/wiki/index.php?title=Метод_градиентного_спуска Градиентный спуск].&lt;br /&gt;
# [http://www.machinelearning.ru/wiki/index.php?title=Метод_стохастического_градиента Стохастический градиентный спуск]. На английской [https://en.wikipedia.org/wiki/Stochastic_gradient_descent вике] больше интересной информации.&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;Для дополнительного чтения:&#039;&#039;&#039;&lt;br /&gt;
# [https://homes.cs.washington.edu/~pedrod/papers/cacm12.pdf Что полезно знать о машинном обучении].&lt;br /&gt;
# [https://en.wikipedia.org/wiki/Feature_(machine_learning) Английская вика про признаки]&lt;br /&gt;
# [http://www.jmlr.org/papers/volume3/guyon03a/guyon03a.pdf Отбор признаков].&lt;br /&gt;
# Мощная теоретическая работа про [https://mipt.ru/upload/medialibrary/d7e/41-91.pdf стохастический градиентный спуск].&lt;br /&gt;
&lt;br /&gt;
===L1===&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
! Ревьюер !! Разработчик !! Оценка&lt;br /&gt;
|-&lt;br /&gt;
|Рябинин || Попов || 10&lt;br /&gt;
|-&lt;br /&gt;
| Попов || Остяков || 10&lt;br /&gt;
|-&lt;br /&gt;
| Остяков || Когтенков || 10&lt;br /&gt;
|-&lt;br /&gt;
| Когтенков || Ширин || 9.7&lt;br /&gt;
|-&lt;br /&gt;
| Ширин || Рябинин || 10&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
Для [https://github.com/dasimagin/askme/blob/master/labs/L1%20-%20Gradient%20descent%20and%20linear%20models.ipynb первой] лабораторной работы вам потребуется:&lt;br /&gt;
# Настроить себе [https://pip.pypa.io/en/stable/ pip] для Python3&lt;br /&gt;
# Освоить [http://jupyter.org Jupyter notebook]&lt;br /&gt;
# Установить пакеты [http://www.scipy.org scipy]: numpy, scipy, matplotlib&lt;/div&gt;</summary>
		<author><name>Simagin.denis</name></author>
	</entry>
	<entry>
		<id>https://wiki.cs.hse.ru/index.php?title=%D0%A0%D0%B5%D0%BD%D0%B4%D0%B7%D1%8E_(%D1%81%D0%B5%D0%BC%D0%B8%D0%BD%D0%B0%D1%80)&amp;diff=22864</id>
		<title>Рендзю (семинар)</title>
		<link rel="alternate" type="text/html" href="https://wiki.cs.hse.ru/index.php?title=%D0%A0%D0%B5%D0%BD%D0%B4%D0%B7%D1%8E_(%D1%81%D0%B5%D0%BC%D0%B8%D0%BD%D0%B0%D1%80)&amp;diff=22864"/>
		<updated>2017-03-19T09:54:17Z</updated>

		<summary type="html">&lt;p&gt;Simagin.denis: &lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;Описание [[Рендзю (проект)|проекта]], последний [[Рендзю_(семинар)#.D0.A1.D0.B5.D0.BC.D0.B8.D0.BD.D0.B0.D1.80.D1.8B|семинар]].&lt;br /&gt;
&lt;br /&gt;
==Правила игры ==&lt;br /&gt;
* &#039;&#039;&#039;Ментор:&#039;&#039;&#039; [[Участник:Simagin.denis|Симагин Денис]].&lt;br /&gt;
* &#039;&#039;&#039;Место:&#039;&#039;&#039; офис Яндекса ([https://maps.yandex.ru/213/moscow/?ll=37.590150%2C55.734065&amp;amp;z=18&amp;amp;l=stv%2Csta&amp;amp;panorama%5Bpoint%5D=37.589416%2C55.733747&amp;amp;panorama%5Bdirection%5D=40.412258%2C-11.910596&amp;amp;panorama%5Bspan%5D=130.000000%2C52.209677 место встречи])&lt;br /&gt;
* &#039;&#039;&#039;Время:&#039;&#039;&#039; c 19:00, каждую среду.&lt;br /&gt;
&lt;br /&gt;
Общение с ментором вне занятий приветствуется. Можно задавать вопросы, в том числе философские. Но перед тем, как написать, попробуйте спросить это у [https://ya.ru Яндекса]. Также не обижайтесь, если в ответ вам пришла ссылка на документацию или какую-то статью.&lt;br /&gt;
&lt;br /&gt;
===Ключевые точки===&lt;br /&gt;
Сверху нам спущены ключевые точки выполнения проекта. Для нас они скорее явлются формальными, тем не менее мы должны их соблюдать.&lt;br /&gt;
# &#039;&#039;&#039;12-17 декабря&#039;&#039;&#039; - все включились в работу&lt;br /&gt;
# &#039;&#039;&#039;20-25 марта&#039;&#039;&#039; - реализован объем работ, необходимый для зачета&lt;br /&gt;
# &#039;&#039;&#039;30 мая - 3 июня&#039;&#039;&#039; - окончание проектной работы, вы готовы, как пионеры. &lt;br /&gt;
# &#039;&#039;&#039;начало июня&#039;&#039;&#039; - конкурс проектов.&lt;br /&gt;
&lt;br /&gt;
===Правило 2Х===&lt;br /&gt;
У вас есть право на одну ошибку. Следующая - я отказываюсь с вами работать.&lt;br /&gt;
&lt;br /&gt;
===Репозитории===&lt;br /&gt;
Студенты хранят свой код в следующих репозиториях&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
| Ментор  || https://github.com/dasimagin/renju&lt;br /&gt;
|-&lt;br /&gt;
| Харламов || https://github.com/gamers5a/renju&lt;br /&gt;
|-&lt;br /&gt;
| Сопов || https://github.com/PreFX48/renju&lt;br /&gt;
|-&lt;br /&gt;
| Vodim  || https://github.com/EterniusVGM/Renju&lt;br /&gt;
|-&lt;br /&gt;
| Yuriy || https://github.com/yurriy/renju&lt;br /&gt;
|-&lt;br /&gt;
| Storozh || https://github.com/storandrew/Renju&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
===Разбор статьи===&lt;br /&gt;
В рамках проекта студент должен разобрать интересную для него статью и доложить ее на общем семинаре.&lt;br /&gt;
&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
! Студент !! Статья !! Дата&lt;br /&gt;
|-&lt;br /&gt;
| Харламов || http://web.stanford.edu/~takapoui/linear_bandits.pdf || 16 апреля&lt;br /&gt;
|-&lt;br /&gt;
| Сопов || https://papers.nips.cc/paper/6068-learning-feed-forward-one-shot-learners.pdf || 26 марта&lt;br /&gt;
|-&lt;br /&gt;
| Гринберг  || https://arxiv.org/pdf/1611.01626.pdf || 9 апреля&lt;br /&gt;
|-&lt;br /&gt;
| Баранов || https://arxiv.org/pdf/1611.01224.pdf || 2 апреля&lt;br /&gt;
|-&lt;br /&gt;
| Стороженко || https://arxiv.org/pdf/1511.06581v3.pdf || 19 марта&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
===Лабораторные===&lt;br /&gt;
Лабораторные проводятся для практического закрепления материала. Их выполнение учитывается в итоговой оценке.&lt;br /&gt;
&lt;br /&gt;
# Результатом работы является jupyter notebook, где сохранен вывод вашего кода, графики и т.п. А так же его импорт в формат .py. Для автоматизации процесса можно настроить jupyter.&lt;br /&gt;
# Когда сроки выполнения лабораторной завершены, вы выкладываете ее на ревью, создавая соответствующее задание и запрос на объединение ветки с мастером (не забудьте добавить проверяющего).&lt;br /&gt;
# Ваш коллега проводит ревью кода и может оставлять замечания, как в виде комментариев к заданию, так и в файле .py. Оно предполагает проверку стиля и правильность кода, а также конструктивные замечания по производительности. Однако не стремитесь сразу оптимизировать код. Добейтесь лучше того, чтобы все работало правильно.&lt;br /&gt;
# Когда ревью завершено, влейтесь в мастер и закройте задание.&lt;br /&gt;
&lt;br /&gt;
===Результаты===&lt;br /&gt;
Текущие результаты можно найти  [https://docs.google.com/spreadsheets/d/1VAaIoKGOYkMYKxYMPjHs_TsYabjHo27jA4fiQg_R344/edit?usp=sharing здесь]. Оценка складывается из нескольких частей:&lt;br /&gt;
# Работа на семинаре&lt;br /&gt;
# Доклад статьи&lt;br /&gt;
# Итоговое качество игры&lt;br /&gt;
&lt;br /&gt;
==Семинары==&lt;br /&gt;
&lt;br /&gt;
===S01.03===&lt;br /&gt;
# Освежили подход TD(0): SARSA, Q-learning и Expected SARSA&lt;br /&gt;
# Double Q-learning&lt;br /&gt;
# n-step TD и n-step tree backup&lt;br /&gt;
# Поговорил про Monte Carlo tree search&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;Дополнительное чтение.&#039;&#039;&#039;&lt;br /&gt;
Не говорил на семинаре, но можно почитать:&lt;br /&gt;
# Sample ratio для TD(0) подхода&lt;br /&gt;
# Dyna-Q и Dyna-Q+&lt;br /&gt;
# Prioritized sweeping&lt;br /&gt;
&lt;br /&gt;
===S11.02===&lt;br /&gt;
Посвятили семинар обсуждения игры крестиков и ноликов на основе алгоритма DT(0).&lt;br /&gt;
&lt;br /&gt;
===S01.02===&lt;br /&gt;
Обсудили будущее. Всю дальнейшую теорию будем рассматривать сразу в рамках игры рендзю. Также согласовали формат данных для партии.&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;Формат данных&#039;&#039;&#039;&lt;br /&gt;
# Каждая партия представляет собой строку в файле (в качестве разделителя используем &#039;\n&#039;).&lt;br /&gt;
# В начале строки записан результат &#039;&#039;{black, white, draw, unknown}&#039;&#039;.&lt;br /&gt;
# Далее через пробельный разделитель перечислены ходы игроков в формате столбец-строка.&lt;br /&gt;
# Столбцы пронумерованы строчными буквами латинского алфавита .&lt;br /&gt;
# Строки пронумерованы арабскими цифрами, начиная с 1.&lt;br /&gt;
# Начало координатной сетки в левом нижнем углу.&lt;br /&gt;
# Предполагается, что первый ход делают черные.&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;Пример:&#039;&#039;&#039; unknown h8 g9 ...&lt;br /&gt;
&lt;br /&gt;
&lt;br /&gt;
Скрипт для &#039;&#039;&#039;справедливого&#039;&#039;&#039; распределения заданий по подготовке данных для обучения можно найти [https://github.com/dasimagin/renju/blob/master/data/task.py здесь].&lt;br /&gt;
&lt;br /&gt;
===S25.01===&lt;br /&gt;
# Поговорили на тему [https://en.wikipedia.org/wiki/Multi-armed_bandit многоруких бандитов].&lt;br /&gt;
# Начали осваивать [https://en.wikipedia.org/wiki/Reinforcement_learning reinforcment learning].&lt;br /&gt;
&lt;br /&gt;
Полезная книга может быть найдена [https://webdocs.cs.ualberta.ca/~sutton/book/bookdraft2016sep.pdf  здесь].&lt;br /&gt;
&lt;br /&gt;
===L4===&lt;br /&gt;
&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
! Ревьюер !! Разработчик !! Оценка&lt;br /&gt;
|-&lt;br /&gt;
| Сопов || Харламов|| -&lt;br /&gt;
|-&lt;br /&gt;
| Гринберг || Сопов  || -&lt;br /&gt;
|-&lt;br /&gt;
| Баранов  || Гринберг || -&lt;br /&gt;
|-&lt;br /&gt;
| Стороженко || Баранов || -&lt;br /&gt;
|-&lt;br /&gt;
| Харламов  || Стороженко || -&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
Появилась очередная лабораторная работа [https://github.com/dasimagin/renju/blob/master/labs/L4%20-%20Reinforcement%20learning.ipynb L4].&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;Cроки:&#039;&#039;&#039;&lt;br /&gt;
* Начало ревью: 11 февраля, 00:00.&lt;br /&gt;
* Окончание: 16 февраля, 23:59.&lt;br /&gt;
&lt;br /&gt;
===S18.01===&lt;br /&gt;
В связи с болезнью ментора занятие отменено.&lt;br /&gt;
&lt;br /&gt;
===H11.01===&lt;br /&gt;
Произвели разбор L3. Описание модели победителя можно найти [здесь], а baseline доступен [https://github.com/dasimagin/renju/blob/master/labs/L3%20-%20Baseline.ipynb здесь].&lt;br /&gt;
&lt;br /&gt;
Доклады мне не очень понравились. Постараюсь написать общие замечания.&lt;br /&gt;
# Прежде всего у докладчика должна быть хорошая речь.&lt;br /&gt;
# Нужно выделить то, что действительно важно и интересно для слушателя.&lt;br /&gt;
# Делать на доске четкие и простые рисунки и записи, убедиться, что аудитория тебя понимает.&lt;br /&gt;
# Не прыгать с темы на тему, а идти в соответсвии с логическим планом.&lt;br /&gt;
&lt;br /&gt;
===S14.12===&lt;br /&gt;
Начали разбирать нашу [https://storage.googleapis.com/deepmind-media/alphago/AlphaGoNaturePaper.pdf статью]. Есть пара источников на русском:&lt;br /&gt;
* [https://ru.wikipedia.org/wiki/AlphaGo Статья] на wikipedia&lt;br /&gt;
* [https://habrahabr.ru/post/279071/ Статья]  на хабре&lt;br /&gt;
&lt;br /&gt;
===H11.12===&lt;br /&gt;
Занятие было посвящено выполнению второй лабораторной. Интересный ноутбук скоро появится [здесь].&lt;br /&gt;
&lt;br /&gt;
===S08.12===&lt;br /&gt;
&#039;&#039;&#039;1. Известные архитектуры сверточных сетей&#039;&#039;&#039;&lt;br /&gt;
* [https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Alexnet]&lt;br /&gt;
* [https://arxiv.org/pdf/1409.1556.pdf VGG net]&lt;br /&gt;
* [https://arxiv.org/pdf/1409.4842v1.pdf GoogLeNet]&lt;br /&gt;
* [https://arxiv.org/pdf/1512.03385.pdf ResNet]&lt;br /&gt;
&#039;&#039;&#039;2. Поговорили:&#039;&#039;&#039;&lt;br /&gt;
* На что активируются нейроны в зависимости от слоя&lt;br /&gt;
* Генерация &#039;похожих картинок&#039;&lt;br /&gt;
* Послойное обучение сети&lt;br /&gt;
* Переобучение или дообучение уже готовой сети&lt;br /&gt;
&#039;&#039;&#039;3. Изучили примеры для библиотеки Keras&#039;&#039;&#039;&lt;br /&gt;
*  [https://github.com/fchollet/keras/blob/master/examples/mnist_mlp.py Полносвязанная сеть]&lt;br /&gt;
* [https://github.com/fchollet/keras/blob/master/examples/mnist_cnn.py Сверточная сеть ]&lt;br /&gt;
* [https://github.com/fchollet/keras/blob/master/examples/mnist_transfer_cnn.py Переобучение] сверточной сети &lt;br /&gt;
&lt;br /&gt;
===L3===&lt;br /&gt;
&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
! Студент !! CPU !! RAM !! GPU&lt;br /&gt;
|- &lt;br /&gt;
| Пример || 6 core, 3,5 GHz || 64GB || NVIDIA TITAN X&lt;br /&gt;
|-&lt;br /&gt;
| Харламов || 4 core, 3,6 GHz || 16GB || NVIDIA GTX 960m 2GB&lt;br /&gt;
|-&lt;br /&gt;
| Сопов || 4 core, 2,7 GHz || 8GB || NVIDIA GTX 940m&lt;br /&gt;
|-&lt;br /&gt;
| Гринберг || 4 core, 3,6 GHz || 16 GB || NVIDIA GTX 1070 8GB&lt;br /&gt;
|-&lt;br /&gt;
| Баранов || 4 core, 3,5GHz || 8GB || NVIDIA GTX 960m 2GB&lt;br /&gt;
|-&lt;br /&gt;
| Стороженко || 6 core 3.0 GHz || 16 GB || NVIDIA GTX 1060 6GB&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
Победить в [https://inclass.kaggle.com/c/ch-ch конкурсе] классификации,  срок 3 января, 23:59.&lt;br /&gt;
&lt;br /&gt;
Для этого вам понадобится&lt;br /&gt;
* Установить [https://www.tensorflow.org Tensorflow] &lt;br /&gt;
* Установить [https://keras.io Keras] &lt;br /&gt;
* Запастись терпением&lt;br /&gt;
&lt;br /&gt;
===S01.12===&lt;br /&gt;
&#039;&#039;&#039;1. Полносвязанные сети:&#039;&#039;&#039;&lt;br /&gt;
* Подсчитаны производные для [https://en.wikipedia.org/wiki/Backpropagation Backpropagation], обсуждены тонкости реализации.&lt;br /&gt;
* Различные виды нелинейности: [https://en.wikipedia.org/wiki/Rectifier_(neural_networks) ReLu], [https://arxiv.org/pdf/1502.01852v1.pdf PReLu], [https://en.wikipedia.org/wiki/Sigmoid_function Sigmoid].&lt;br /&gt;
* Обучение сетей при помощи [https://en.wikipedia.org/wiki/Autoencoder Autoencoder].&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;2. Сверточные сети:&#039;&#039;&#039;&lt;br /&gt;
* Cтруктура [https://en.wikipedia.org/wiki/Convolutional_neural_network CNN].&lt;br /&gt;
* Затронуты: [https://en.wikipedia.org/wiki/Convolution Convolution], [https://en.wikipedia.org/wiki/Convolutional_neural_network#Pooling_layer Pooling].&lt;br /&gt;
* Влияние различных ядер свертки на структуру сети.&lt;br /&gt;
* [https://en.wikipedia.org/wiki/Convolutional_neural_network#Choosing_hyperparameters Feature maps].&lt;br /&gt;
* Разобрана архитектура [https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Alexnet].&lt;br /&gt;
* Сочетание из Convolutional и Dense слоев.&lt;br /&gt;
&lt;br /&gt;
===S24.11===&lt;br /&gt;
&#039;&#039;&#039;1. Регуляризация:&#039;&#039;&#039;&lt;br /&gt;
* Разобрали L1 и L2 регуляризаторы, можно найти [https://en.wikipedia.org/wiki/Regularization_(mathematics) здесь].&lt;br /&gt;
* Используйте простые классификаторы&lt;br /&gt;
* Раняя остановка (смотрим качество на отложенном множестве)&lt;br /&gt;
* Добавление шума&lt;br /&gt;
* Комбинирование классификаторов&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;2. Полносвязанные сети:&#039;&#039;&#039;&lt;br /&gt;
* Множественная классификация и [https://en.wikipedia.org/wiki/Softmax_function softmax].&lt;br /&gt;
* Метод [http://www.machinelearning.ru/wiki/images/0/0f/karpinskaya-2010.pdf обратного распространения ошибки], проблема при обучении.&lt;br /&gt;
* Инициализация весов:  и [http://jmlr.org/proceedings/papers/v9/glorot10a/glorot10a.pdf xavier] и другие [https://arxiv.org/pdf/1502.01852v1.pdf вариации].&lt;br /&gt;
* Кратко о [https://en.wikipedia.org/wiki/Convolutional_neural_network#Dropout dropout].&lt;br /&gt;
&lt;br /&gt;
===L2===&lt;br /&gt;
Задание можно найти [https://github.com/dasimagin/renju/blob/master/labs/L2%20-%20Nets.ipynb здесь],  срок 23:59 11 декабря.&lt;br /&gt;
&lt;br /&gt;
===S02.11===&lt;br /&gt;
# [https://en.wikipedia.org/wiki/Feature_(machine_learning) Признаки] и какие они бывают. Об отборе признаков, кратко [https://habrahabr.ru/post/264915/ тут]. Может помочь на конкурсе.&lt;br /&gt;
# Задача [http://www.machinelearning.ru/wiki/index.php?title=Линейный_классификатор бинарной классификации].&lt;br /&gt;
# [http://www.machinelearning.ru/wiki/index.php?title=Метод_градиентного_спуска Градиентный спуск].&lt;br /&gt;
# [http://www.machinelearning.ru/wiki/index.php?title=Метод_стохастического_градиента Стохастический градиентный спуск]. На английской [https://en.wikipedia.org/wiki/Stochastic_gradient_descent вике] больше интересной информации.&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;Для дополнительного чтения:&#039;&#039;&#039;&lt;br /&gt;
# [https://homes.cs.washington.edu/~pedrod/papers/cacm12.pdf Что полезно знать о машинном обучении].&lt;br /&gt;
# [https://en.wikipedia.org/wiki/Feature_(machine_learning) Английская вика про признаки]&lt;br /&gt;
# [http://www.jmlr.org/papers/volume3/guyon03a/guyon03a.pdf Отбор признаков].&lt;br /&gt;
# Мощная теоретическая работа про [https://mipt.ru/upload/medialibrary/d7e/41-91.pdf стохастический градиентный спуск].&lt;br /&gt;
&lt;br /&gt;
===L1===&lt;br /&gt;
&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
! Ревьюер !! Разработчик !! Оценка&lt;br /&gt;
|-&lt;br /&gt;
|Харламов || Сопов || 9&lt;br /&gt;
|-&lt;br /&gt;
| Сопов || Гринберг || 10&lt;br /&gt;
|-&lt;br /&gt;
| Гринберг || Баранов || 8&lt;br /&gt;
|-&lt;br /&gt;
| Баранов || Стороженко || 10&lt;br /&gt;
|-&lt;br /&gt;
| Стороженко || Харламов || 8&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
Для [https://github.com/dasimagin/renju/blob/master/labs/L1%20-%20Gradient%20descent%20and%20linear%20models.ipynb первой] лабораторной работы вам потребуется:&lt;br /&gt;
# Настроить себе [https://pip.pypa.io/en/stable/ pip] для Python3&lt;br /&gt;
# Освоить [http://jupyter.org Jupyter notebook]&lt;br /&gt;
# Установить пакеты [http://www.scipy.org scipy]: numpy, scipy, matplotlib&lt;/div&gt;</summary>
		<author><name>Simagin.denis</name></author>
	</entry>
	<entry>
		<id>https://wiki.cs.hse.ru/index.php?title=Ask_me_(%D1%81%D0%B5%D0%BC%D0%B8%D0%BD%D0%B0%D1%80)&amp;diff=22766</id>
		<title>Ask me (семинар)</title>
		<link rel="alternate" type="text/html" href="https://wiki.cs.hse.ru/index.php?title=Ask_me_(%D1%81%D0%B5%D0%BC%D0%B8%D0%BD%D0%B0%D1%80)&amp;diff=22766"/>
		<updated>2017-03-05T13:20:33Z</updated>

		<summary type="html">&lt;p&gt;Simagin.denis: &lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;Описание [[Ask_me_(проект)|проекта]], последнее [[Ask_me_(семинар)#.D0.A1.D0.B5.D0.BC.D0.B8.D0.BD.D0.B0.D1.80.D1.8B|занятие]].&lt;br /&gt;
&lt;br /&gt;
==Правила игры ==&lt;br /&gt;
* &#039;&#039;&#039;Ментор:&#039;&#039;&#039; [[Участник:Simagin.denis|Симагин Денис]].&lt;br /&gt;
* &#039;&#039;&#039;Место:&#039;&#039;&#039; офис Яндекса ([https://maps.yandex.ru/213/moscow/?ll=37.590150%2C55.734065&amp;amp;z=18&amp;amp;l=stv%2Csta&amp;amp;panorama%5Bpoint%5D=37.589416%2C55.733747&amp;amp;panorama%5Bdirection%5D=40.412258%2C-11.910596&amp;amp;panorama%5Bspan%5D=130.000000%2C52.209677 место встречи])&lt;br /&gt;
* &#039;&#039;&#039;Время:&#039;&#039;&#039; c 10:00, каждый четверг.&lt;br /&gt;
&lt;br /&gt;
Общение с ментором вне занятий приветствуется. Можно задавать вопросы, в том числе философские. Но перед тем, как написать, попробуйте спросить это у [https://ya.ru Яндекса]. Также не обижайтесь, если в ответ вам пришла ссылка на документацию или какую-то статью.&lt;br /&gt;
&lt;br /&gt;
===Ключевые точки===&lt;br /&gt;
Сверху нам спущены ключевые точки выполнения проекта. Для нас они скорее явлются формальными, тем не менее мы должны их соблюдать.&lt;br /&gt;
# &#039;&#039;&#039;12-17 декабря&#039;&#039;&#039; - все включились в работу&lt;br /&gt;
# &#039;&#039;&#039;20-25 марта&#039;&#039;&#039; - реализован объем работ, необходимый для зачета&lt;br /&gt;
# &#039;&#039;&#039;30 мая - 3 июня&#039;&#039;&#039; - окончание проектной работы, вы готовы, как пионеры. &lt;br /&gt;
# &#039;&#039;&#039;начало июня&#039;&#039;&#039; - конкурс проектов.&lt;br /&gt;
&lt;br /&gt;
===Правило 2Х===&lt;br /&gt;
У вас есть право на одну ошибку. Следующая - я отказываюсь с вами работать.&lt;br /&gt;
&lt;br /&gt;
===Репозитории===&lt;br /&gt;
Студенты хранят свой код в следующих репозиториях&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
|Ментор  || https://github.com/dasimagin/askme&lt;br /&gt;
|-&lt;br /&gt;
| Когтенков || https://github.com/aakogtenkov/Ask-me-if-you-can&lt;br /&gt;
|-&lt;br /&gt;
|Остяков || https://github.com/PavelOstyakov/askme&lt;br /&gt;
|-&lt;br /&gt;
|Рябинин || https://github.com/mryab/askme&lt;br /&gt;
|-&lt;br /&gt;
|Попов || https://github.com/Akiiino/Ask-Me-Anything&lt;br /&gt;
|-&lt;br /&gt;
|Ширин || https://github.com/shirinnikita/ask_me&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
===Разбор статьи===&lt;br /&gt;
В рамках проекта студент должен разобрать интересную для него статью и доложить ее на общем семинаре.&lt;br /&gt;
&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
! Студент !! Статья !! Дата&lt;br /&gt;
|-&lt;br /&gt;
|Когтенков || [https://papers.nips.cc/paper/5654-deep-knowledge-tracing.pdf Deep Knowledge Tracing] || -&lt;br /&gt;
|-&lt;br /&gt;
|Остяков || [https://arxiv.org/pdf/1612.07411v1.pdf A Context-aware Attention Network for Interactive Question Answering] || 19 марта&lt;br /&gt;
|-&lt;br /&gt;
|Рябинин || [https://arxiv.org/abs/1609.08144 Google&#039;s Neural Machine Translation System: Bridging the Gap between Human and Machine Translation] || -&lt;br /&gt;
|-&lt;br /&gt;
|Попов || [https://arxiv.org/pdf/1701.04189.pdf Deep Memory Networks for Attitude Identification] || -&lt;br /&gt;
|-&lt;br /&gt;
|Ширин || [https://arxiv.org/abs/1506.06714 Context-Sensitive Generation of Conversational Responses] || -&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
===Лабораторные===&lt;br /&gt;
Лабораторные проводятся для практического закрепления материала. Их выполнение учитывается в итоговой оценке.&lt;br /&gt;
&lt;br /&gt;
# Результатом работы является jupyter notebook, где сохранен вывод вашего кода, графики и т.п. А так же его импорт в формат .py. Для автоматизации процесса можно настроить jupyter.&lt;br /&gt;
# Когда сроки выполнения лабораторной завершены, вы выкладываете ее на ревью, создавая соответствующее задание и запрос на объединение ветки с мастером (не забудьте добавить проверяющего).&lt;br /&gt;
# Ваш коллега проводит ревью кода и может оставлять замечания, как в виде комментариев к заданию, так и в файле .py. Оно предполагает проверку стиля и правильность кода, а также конструктивные замечания по производительности. Однако не стремитесь сразу оптимизировать код. Добейтесь лучше того, чтобы все работало правильно.&lt;br /&gt;
# Когда ревью завершено, влейтесь в мастер и закройте задание.&lt;br /&gt;
&lt;br /&gt;
===Результаты===&lt;br /&gt;
Текущие результаты можно найти  [https://docs.google.com/spreadsheets/d/1gO6nHbLqMeLRXAa5Mubpfoc_-gk9DWCJ4mmnV_xaeig/edit?usp=sharing здесь]. Оценка складывается из нескольких частей:&lt;br /&gt;
# Работа на семинаре&lt;br /&gt;
# Доклад статьи&lt;br /&gt;
# Итоговый результат&lt;br /&gt;
&lt;br /&gt;
==Семинары==&lt;br /&gt;
&lt;br /&gt;
===S02.03===&lt;br /&gt;
Разбирали результаты L4, начали говорить на тему проекта.&lt;br /&gt;
&lt;br /&gt;
===L5===&lt;br /&gt;
Конкур можно найти [https://inclass.kaggle.com/c/en-phonetics здесь].&lt;br /&gt;
&lt;br /&gt;
===S19.02===&lt;br /&gt;
# Доразбирали вычисление градиента для рекуррентных сетей.&lt;br /&gt;
# Еще раз поговорили о затухании и взрыве градиента.&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;Литература для чтения:&#039;&#039;&#039;&lt;br /&gt;
* Прекрасный блог, где можно прочитать про рекуррентные сети, вот [http://www.wildml.com/2015/09/recurrent-neural-networks-tutorial-part-1-introduction-to-rnns/ первая статья], в начале есть ссылки на продолжение.&lt;br /&gt;
* Про [http://colah.github.io/posts/2015-08-Understanding-LSTMs/ LSTM] с картинками.&lt;br /&gt;
* Tensorflow и [https://www.tensorflow.org/tutorials/recurrent рекурретные] сети.&lt;br /&gt;
* Как работать с последовательностями, [https://www.tensorflow.org/tutorials/seq2seq пример] tensorflow.&lt;br /&gt;
&lt;br /&gt;
===S02.02===&lt;br /&gt;
Начали говорить о рекуррентных сетях, я обещал подробнее описать математику обучения.&lt;br /&gt;
# Поговорили о [https://en.wikipedia.org/wiki/Recurrent_neural_network рекурретных сетях] в общем&lt;br /&gt;
# Архитектура [https://en.wikipedia.org/wiki/Long_short-term_memory LSTM] сети&lt;br /&gt;
# Архитектура [https://arxiv.org/pdf/1412.3555v1.pdf GRU] сети&lt;br /&gt;
&lt;br /&gt;
===S29.01===&lt;br /&gt;
Еще раз вернулись к теме word embedding в контексте нейросетей, список затронутых статей:&lt;br /&gt;
# [http://www.jmlr.org/papers/volume3/bengio03a/bengio03a.pdf Первая сеть], предсказывающая следующее слово.&lt;br /&gt;
# [https://ronan.collobert.com/pub/matos/2008_nlp_icml.pdff Статья], где заменяется softmax&lt;br /&gt;
# [https://papers.nips.cc/paper/5021-distributed-representations-of-words-and-phrases-and-their-compositionality.pdf Статья] Миколова про word2vec.&lt;br /&gt;
&lt;br /&gt;
===L4===&lt;br /&gt;
Лабораторную работу можно найти [https://github.com/dasimagin/askme/blob/master/labs/L4%20-%20Word%20embedding.ipynb здесь].&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;Срок сдачи:&#039;&#039;&#039;&lt;br /&gt;
* Начало ревью: 24 февраля 23:59 &lt;br /&gt;
* Окончание ревью: 8 марта 23:59 &lt;br /&gt;
&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
! Ревьюер !! Разработчик !! Оценка&lt;br /&gt;
|-&lt;br /&gt;
| Попов || Рябинин || -&lt;br /&gt;
|-&lt;br /&gt;
| Остяков || Попов || -&lt;br /&gt;
|-&lt;br /&gt;
| Когтенков || Остяков || -&lt;br /&gt;
|-&lt;br /&gt;
| Ширин  || Когтенков || -&lt;br /&gt;
|-&lt;br /&gt;
| Рябинин || Ширин || -&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
===H11.01===&lt;br /&gt;
Произвели разбор L3. Описание модели победителя можно найти, а baseline доступен [https://github.com/dasimagin/askme/blob/master/labs/L3%20-%20Baseline.ipynb здесь].&lt;br /&gt;
&lt;br /&gt;
Доклады мне не очень понравились. Постараюсь написать общие замечания.&lt;br /&gt;
# Прежде всего у докладчика должна быть хорошая речь.&lt;br /&gt;
# Нужно выделить то, что действительно важно и интересно для слушателя.&lt;br /&gt;
# Делать на доске четкие и простые рисунки и записи, убедиться, что аудитория тебя понимает.&lt;br /&gt;
# Не прыгать с темы на тему, а идти в соответсвии с логическим планом.&lt;br /&gt;
&lt;br /&gt;
===S15.12===&lt;br /&gt;
Поговорили про векторное представление слов, word2vec и другие сверточные сети для работы с естественными языками.&lt;br /&gt;
&lt;br /&gt;
===H11.12===&lt;br /&gt;
Занятие было посвящено выполнению второй лабораторной. Интересный ноутбук скоро появится [здесь].&lt;br /&gt;
&lt;br /&gt;
===S08.12===&lt;br /&gt;
&#039;&#039;&#039;1. Известные архитектуры сверточных сетей&#039;&#039;&#039;&lt;br /&gt;
* [https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Alexnet]&lt;br /&gt;
* [https://arxiv.org/pdf/1409.1556.pdf VGG net]&lt;br /&gt;
* [https://arxiv.org/pdf/1409.4842v1.pdf GoogLeNet]&lt;br /&gt;
* [https://arxiv.org/pdf/1512.03385.pdf ResNet]&lt;br /&gt;
&#039;&#039;&#039;2. Поговорили:&#039;&#039;&#039;&lt;br /&gt;
* На что активируются нейроны в зависимости от слоя&lt;br /&gt;
* Генерация &#039;похожих картинок&#039;&lt;br /&gt;
* Послойное обучение сети&lt;br /&gt;
* Переобучение или дообучение уже готовой сети&lt;br /&gt;
&#039;&#039;&#039;3. Изучили примеры для библиотеки Keras&#039;&#039;&#039;&lt;br /&gt;
*  [https://github.com/fchollet/keras/blob/master/examples/mnist_mlp.py Полносвязанная сеть]&lt;br /&gt;
* [https://github.com/fchollet/keras/blob/master/examples/mnist_cnn.py Сверточная сеть ]&lt;br /&gt;
* [https://github.com/fchollet/keras/blob/master/examples/mnist_transfer_cnn.py Переобучение] сверточной сети &lt;br /&gt;
&lt;br /&gt;
===L3===&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
! Студент !! CPU !! RAM !! GPU&lt;br /&gt;
|- &lt;br /&gt;
| Пример || 6 core, 3,5 GHz || 64GB || NVIDIA TITAN X&lt;br /&gt;
|-&lt;br /&gt;
|Рябинин || 4 core, 3.5 GHz || 16 GB || Nvidia GeForce GTX 1070&lt;br /&gt;
|-&lt;br /&gt;
| Попов || 4 core, 3.2 GHz || 8 GB || GeForce GTX 750 Ti&lt;br /&gt;
|-&lt;br /&gt;
| Остяков || 8 core, 2,6 GHz || 50 GB || -&lt;br /&gt;
|-&lt;br /&gt;
| Когтенков || 2 core, 1.4 GHz || 4 GB || -&lt;br /&gt;
|-&lt;br /&gt;
| Ширин || 2 core, 1.9 GHz || 8 GB || -&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
Победить в [https://inclass.kaggle.com/c/ch-ch конкурсе] классификации,  срок 3 января, 23:59.&lt;br /&gt;
&lt;br /&gt;
Для этого вам понадобится&lt;br /&gt;
* Установить [https://www.tensorflow.org Tensorflow] &lt;br /&gt;
* Установить [https://keras.io Keras] &lt;br /&gt;
* Запастись терпением&lt;br /&gt;
&lt;br /&gt;
===S01.12===&lt;br /&gt;
&#039;&#039;&#039;1. Полносвязанные сети:&#039;&#039;&#039;&lt;br /&gt;
* Подсчитаны производные для [https://en.wikipedia.org/wiki/Backpropagation Backpropagation], обсуждены тонкости реализации.&lt;br /&gt;
* Различные виды нелинейности: [https://en.wikipedia.org/wiki/Rectifier_(neural_networks) ReLu], [https://arxiv.org/pdf/1502.01852v1.pdf PReLu], [https://en.wikipedia.org/wiki/Sigmoid_function Sigmoid].&lt;br /&gt;
* Обучение сетей при помощи [https://en.wikipedia.org/wiki/Autoencoder Autoencoder].&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;2. Сверточные сети:&#039;&#039;&#039;&lt;br /&gt;
* Cтруктура [https://en.wikipedia.org/wiki/Convolutional_neural_network CNN].&lt;br /&gt;
* Затронуты: [https://en.wikipedia.org/wiki/Convolution Convolution], [https://en.wikipedia.org/wiki/Convolutional_neural_network#Pooling_layer Pooling].&lt;br /&gt;
* Влияние различных ядер свертки на структуру сети.&lt;br /&gt;
* [https://en.wikipedia.org/wiki/Convolutional_neural_network#Choosing_hyperparameters Feature maps].&lt;br /&gt;
* Разобрана архитектура [https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Alexnet].&lt;br /&gt;
* Сочетание из Convolutional и Dense слоев.&lt;br /&gt;
&lt;br /&gt;
===S24.11===&lt;br /&gt;
&#039;&#039;&#039;1. Регуляризация:&#039;&#039;&#039;&lt;br /&gt;
* Разобрали L1 и L2 регуляризаторы, можно найти [https://en.wikipedia.org/wiki/Regularization_(mathematics) здесь].&lt;br /&gt;
* Используйте простые классификаторы&lt;br /&gt;
* Раняя остановка (смотрим качество на отложенном множестве)&lt;br /&gt;
* Добавление шума&lt;br /&gt;
* Комбинирование классификаторов&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;2. Полносвязанные сети:&#039;&#039;&#039;&lt;br /&gt;
* Множественная классификация и [https://en.wikipedia.org/wiki/Softmax_function softmax].&lt;br /&gt;
* Метод [http://www.machinelearning.ru/wiki/images/0/0f/karpinskaya-2010.pdf обратного распространения ошибки], проблема при обучении.&lt;br /&gt;
* Инициализация весов:  и [http://jmlr.org/proceedings/papers/v9/glorot10a/glorot10a.pdf xavier] и другие [https://arxiv.org/pdf/1502.01852v1.pdf вариации].&lt;br /&gt;
* Кратко о [https://en.wikipedia.org/wiki/Convolutional_neural_network#Dropout dropout].&lt;br /&gt;
&lt;br /&gt;
===L2===&lt;br /&gt;
&lt;br /&gt;
Задание можно найти [https://github.com/dasimagin/askme/blob/master/labs/L2%20-%20Nets.ipynb здесь],  срок 23:59 11 декабря.&lt;br /&gt;
&lt;br /&gt;
===S03.11===&lt;br /&gt;
# [https://en.wikipedia.org/wiki/Feature_(machine_learning) Признаки] и какие они бывают. Об отборе признаков, кратко [https://habrahabr.ru/post/264915/ тут]. Может помочь на конкурсе.&lt;br /&gt;
# Задача [http://www.machinelearning.ru/wiki/index.php?title=Линейный_классификатор бинарной классификации].&lt;br /&gt;
# [http://www.machinelearning.ru/wiki/index.php?title=Метод_градиентного_спуска Градиентный спуск].&lt;br /&gt;
# [http://www.machinelearning.ru/wiki/index.php?title=Метод_стохастического_градиента Стохастический градиентный спуск]. На английской [https://en.wikipedia.org/wiki/Stochastic_gradient_descent вике] больше интересной информации.&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;Для дополнительного чтения:&#039;&#039;&#039;&lt;br /&gt;
# [https://homes.cs.washington.edu/~pedrod/papers/cacm12.pdf Что полезно знать о машинном обучении].&lt;br /&gt;
# [https://en.wikipedia.org/wiki/Feature_(machine_learning) Английская вика про признаки]&lt;br /&gt;
# [http://www.jmlr.org/papers/volume3/guyon03a/guyon03a.pdf Отбор признаков].&lt;br /&gt;
# Мощная теоретическая работа про [https://mipt.ru/upload/medialibrary/d7e/41-91.pdf стохастический градиентный спуск].&lt;br /&gt;
&lt;br /&gt;
===L1===&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
! Ревьюер !! Разработчик !! Оценка&lt;br /&gt;
|-&lt;br /&gt;
|Рябинин || Попов || 10&lt;br /&gt;
|-&lt;br /&gt;
| Попов || Остяков || 10&lt;br /&gt;
|-&lt;br /&gt;
| Остяков || Когтенков || 10&lt;br /&gt;
|-&lt;br /&gt;
| Когтенков || Ширин || 9.7&lt;br /&gt;
|-&lt;br /&gt;
| Ширин || Рябинин || 10&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
Для [https://github.com/dasimagin/askme/blob/master/labs/L1%20-%20Gradient%20descent%20and%20linear%20models.ipynb первой] лабораторной работы вам потребуется:&lt;br /&gt;
# Настроить себе [https://pip.pypa.io/en/stable/ pip] для Python3&lt;br /&gt;
# Освоить [http://jupyter.org Jupyter notebook]&lt;br /&gt;
# Установить пакеты [http://www.scipy.org scipy]: numpy, scipy, matplotlib&lt;/div&gt;</summary>
		<author><name>Simagin.denis</name></author>
	</entry>
	<entry>
		<id>https://wiki.cs.hse.ru/index.php?title=Ask_me_(%D1%81%D0%B5%D0%BC%D0%B8%D0%BD%D0%B0%D1%80)&amp;diff=22765</id>
		<title>Ask me (семинар)</title>
		<link rel="alternate" type="text/html" href="https://wiki.cs.hse.ru/index.php?title=Ask_me_(%D1%81%D0%B5%D0%BC%D0%B8%D0%BD%D0%B0%D1%80)&amp;diff=22765"/>
		<updated>2017-03-05T13:03:43Z</updated>

		<summary type="html">&lt;p&gt;Simagin.denis: /* L4 */&lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;Описание [[Ask_me_(проект)|проекта]], последнее [[Ask_me_(семинар)#.D0.A1.D0.B5.D0.BC.D0.B8.D0.BD.D0.B0.D1.80.D1.8B|занятие]].&lt;br /&gt;
&lt;br /&gt;
==Правила игры ==&lt;br /&gt;
* &#039;&#039;&#039;Ментор:&#039;&#039;&#039; [[Участник:Simagin.denis|Симагин Денис]].&lt;br /&gt;
* &#039;&#039;&#039;Место:&#039;&#039;&#039; офис Яндекса ([https://maps.yandex.ru/213/moscow/?ll=37.590150%2C55.734065&amp;amp;z=18&amp;amp;l=stv%2Csta&amp;amp;panorama%5Bpoint%5D=37.589416%2C55.733747&amp;amp;panorama%5Bdirection%5D=40.412258%2C-11.910596&amp;amp;panorama%5Bspan%5D=130.000000%2C52.209677 место встречи])&lt;br /&gt;
* &#039;&#039;&#039;Время:&#039;&#039;&#039; c 10:00, каждый четверг.&lt;br /&gt;
&lt;br /&gt;
Общение с ментором вне занятий приветствуется. Можно задавать вопросы, в том числе философские. Но перед тем, как написать, попробуйте спросить это у [https://ya.ru Яндекса]. Также не обижайтесь, если в ответ вам пришла ссылка на документацию или какую-то статью.&lt;br /&gt;
&lt;br /&gt;
===Ключевые точки===&lt;br /&gt;
Сверху нам спущены ключевые точки выполнения проекта. Для нас они скорее явлются формальными, тем не менее мы должны их соблюдать.&lt;br /&gt;
# &#039;&#039;&#039;12-17 декабря&#039;&#039;&#039; - все включились в работу&lt;br /&gt;
# &#039;&#039;&#039;20-25 марта&#039;&#039;&#039; - реализован объем работ, необходимый для зачета&lt;br /&gt;
# &#039;&#039;&#039;30 мая - 3 июня&#039;&#039;&#039; - окончание проектной работы, вы готовы, как пионеры. &lt;br /&gt;
# &#039;&#039;&#039;начало июня&#039;&#039;&#039; - конкурс проектов.&lt;br /&gt;
&lt;br /&gt;
===Правило 2Х===&lt;br /&gt;
У вас есть право на одну ошибку. Следующая - я отказываюсь с вами работать.&lt;br /&gt;
&lt;br /&gt;
===Репозитории===&lt;br /&gt;
Студенты хранят свой код в следующих репозиториях&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
|Ментор  || https://github.com/dasimagin/askme&lt;br /&gt;
|-&lt;br /&gt;
| Когтенков || https://github.com/aakogtenkov/Ask-me-if-you-can&lt;br /&gt;
|-&lt;br /&gt;
|Остяков || https://github.com/PavelOstyakov/askme&lt;br /&gt;
|-&lt;br /&gt;
|Рябинин || https://github.com/mryab/askme&lt;br /&gt;
|-&lt;br /&gt;
|Попов || https://github.com/Akiiino/Ask-Me-Anything&lt;br /&gt;
|-&lt;br /&gt;
|Ширин || https://github.com/shirinnikita/ask_me&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
===Разбор статьи===&lt;br /&gt;
В рамках проекта студент должен разобрать интересную для него статью и доложить ее на общем семинаре.&lt;br /&gt;
&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
! Студент !! Статья !! Дата&lt;br /&gt;
|-&lt;br /&gt;
|Когтенков || [https://papers.nips.cc/paper/5654-deep-knowledge-tracing.pdf Deep Knowledge Tracing] || -&lt;br /&gt;
|-&lt;br /&gt;
|Остяков || [https://arxiv.org/pdf/1612.07411v1.pdf A Context-aware Attention Network for Interactive Question Answering] || 19 марта&lt;br /&gt;
|-&lt;br /&gt;
|Рябинин || [https://arxiv.org/abs/1609.08144 Google&#039;s Neural Machine Translation System: Bridging the Gap between Human and Machine Translation] || -&lt;br /&gt;
|-&lt;br /&gt;
|Попов || [https://arxiv.org/pdf/1701.04189.pdf Deep Memory Networks for Attitude Identification] || -&lt;br /&gt;
|-&lt;br /&gt;
|Ширин || [https://arxiv.org/abs/1506.06714 Context-Sensitive Generation of Conversational Responses] || -&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
===Лабораторные===&lt;br /&gt;
Лабораторные проводятся для практического закрепления материала. Их выполнение учитывается в итоговой оценке.&lt;br /&gt;
&lt;br /&gt;
# Результатом работы является jupyter notebook, где сохранен вывод вашего кода, графики и т.п. А так же его импорт в формат .py. Для автоматизации процесса можно настроить jupyter.&lt;br /&gt;
# Когда сроки выполнения лабораторной завершены, вы выкладываете ее на ревью, создавая соответствующее задание и запрос на объединение ветки с мастером (не забудьте добавить проверяющего).&lt;br /&gt;
# Ваш коллега проводит ревью кода и может оставлять замечания, как в виде комментариев к заданию, так и в файле .py. Оно предполагает проверку стиля и правильность кода, а также конструктивные замечания по производительности. Однако не стремитесь сразу оптимизировать код. Добейтесь лучше того, чтобы все работало правильно.&lt;br /&gt;
# Когда ревью завершено, влейтесь в мастер и закройте задание.&lt;br /&gt;
&lt;br /&gt;
===Результаты===&lt;br /&gt;
Текущие результаты можно найти  [https://docs.google.com/spreadsheets/d/1gO6nHbLqMeLRXAa5Mubpfoc_-gk9DWCJ4mmnV_xaeig/edit?usp=sharing здесь]. Оценка складывается из нескольких частей:&lt;br /&gt;
# Работа на семинаре&lt;br /&gt;
# Доклад статьи&lt;br /&gt;
# Итоговый результат&lt;br /&gt;
&lt;br /&gt;
==Семинары==&lt;br /&gt;
&lt;br /&gt;
===S02.03===&lt;br /&gt;
Разбирали результаты L4, начали говорить на тему проекта.&lt;br /&gt;
&lt;br /&gt;
===L5===&lt;br /&gt;
Конкур можно найти [https://inclass.kaggle.com/c/en-phonetics здесь].&lt;br /&gt;
&lt;br /&gt;
===S19.02===&lt;br /&gt;
# Доразбирали вычисление градиента для рекуррентных сетей.&lt;br /&gt;
# Еще раз поговорили о затухании и взрыве градиента.&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;Литература для чтения:&#039;&#039;&#039;&lt;br /&gt;
* Прекрасный блог, где можно прочитать про рекуррентные сети, вот [http://www.wildml.com/2015/09/recurrent-neural-networks-tutorial-part-1-introduction-to-rnns/ первая статья], в начале есть ссылки на продолжение.&lt;br /&gt;
* Про [http://colah.github.io/posts/2015-08-Understanding-LSTMs/ LSTM] с картинками.&lt;br /&gt;
* Tensorflow и [https://www.tensorflow.org/tutorials/recurrent рекурретные] сети.&lt;br /&gt;
* Как работать с последовательностями, [https://www.tensorflow.org/tutorials/seq2seq пример] tensorflow.&lt;br /&gt;
&lt;br /&gt;
===S02.02===&lt;br /&gt;
Начали говорить о рекуррентных сетях, я обещал подробнее описать математику обучения.&lt;br /&gt;
# Поговорили о [https://en.wikipedia.org/wiki/Recurrent_neural_network рекурретных сетях] в общем&lt;br /&gt;
# Архитектура [https://en.wikipedia.org/wiki/Long_short-term_memory LSTM] сети&lt;br /&gt;
# Архитектура [https://arxiv.org/pdf/1412.3555v1.pdf GRU] сети&lt;br /&gt;
&lt;br /&gt;
===S29.01===&lt;br /&gt;
Еще раз вернулись к теме word embedding в контексте нейросетей, список затронутых статей:&lt;br /&gt;
# [http://www.jmlr.org/papers/volume3/bengio03a/bengio03a.pdf Первая сеть], предсказывающая следующее слово.&lt;br /&gt;
# [https://ronan.collobert.com/pub/matos/2008_nlp_icml.pdff Статья], где заменяется softmax&lt;br /&gt;
# [https://papers.nips.cc/paper/5021-distributed-representations-of-words-and-phrases-and-their-compositionality.pdf Статья] Миколова про word2vec.&lt;br /&gt;
&lt;br /&gt;
===L4===&lt;br /&gt;
Лабораторную работу можно найти [https://github.com/dasimagin/askme/blob/master/labs/L4%20-%20Word%20embedding.ipynb здесь].&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;Срок сдачи:&#039;&#039;&#039;&lt;br /&gt;
* Начало ревью: 24 февраля 23:59 &lt;br /&gt;
* Окончание ревью: 2 марта 23:59 &lt;br /&gt;
&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
! Ревьюер !! Разработчик !! Оценка&lt;br /&gt;
|-&lt;br /&gt;
| Попов || Рябинин || -&lt;br /&gt;
|-&lt;br /&gt;
| Остяков || Попов || -&lt;br /&gt;
|-&lt;br /&gt;
| Когтенков || Остяков || -&lt;br /&gt;
|-&lt;br /&gt;
| Ширин  || Когтенков || -&lt;br /&gt;
|-&lt;br /&gt;
| Рябинин || Ширин || -&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
===H11.01===&lt;br /&gt;
Произвели разбор L3. Описание модели победителя можно найти, а baseline доступен [https://github.com/dasimagin/askme/blob/master/labs/L3%20-%20Baseline.ipynb здесь].&lt;br /&gt;
&lt;br /&gt;
Доклады мне не очень понравились. Постараюсь написать общие замечания.&lt;br /&gt;
# Прежде всего у докладчика должна быть хорошая речь.&lt;br /&gt;
# Нужно выделить то, что действительно важно и интересно для слушателя.&lt;br /&gt;
# Делать на доске четкие и простые рисунки и записи, убедиться, что аудитория тебя понимает.&lt;br /&gt;
# Не прыгать с темы на тему, а идти в соответсвии с логическим планом.&lt;br /&gt;
&lt;br /&gt;
===S15.12===&lt;br /&gt;
Поговорили про векторное представление слов, word2vec и другие сверточные сети для работы с естественными языками.&lt;br /&gt;
&lt;br /&gt;
===H11.12===&lt;br /&gt;
Занятие было посвящено выполнению второй лабораторной. Интересный ноутбук скоро появится [здесь].&lt;br /&gt;
&lt;br /&gt;
===S08.12===&lt;br /&gt;
&#039;&#039;&#039;1. Известные архитектуры сверточных сетей&#039;&#039;&#039;&lt;br /&gt;
* [https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Alexnet]&lt;br /&gt;
* [https://arxiv.org/pdf/1409.1556.pdf VGG net]&lt;br /&gt;
* [https://arxiv.org/pdf/1409.4842v1.pdf GoogLeNet]&lt;br /&gt;
* [https://arxiv.org/pdf/1512.03385.pdf ResNet]&lt;br /&gt;
&#039;&#039;&#039;2. Поговорили:&#039;&#039;&#039;&lt;br /&gt;
* На что активируются нейроны в зависимости от слоя&lt;br /&gt;
* Генерация &#039;похожих картинок&#039;&lt;br /&gt;
* Послойное обучение сети&lt;br /&gt;
* Переобучение или дообучение уже готовой сети&lt;br /&gt;
&#039;&#039;&#039;3. Изучили примеры для библиотеки Keras&#039;&#039;&#039;&lt;br /&gt;
*  [https://github.com/fchollet/keras/blob/master/examples/mnist_mlp.py Полносвязанная сеть]&lt;br /&gt;
* [https://github.com/fchollet/keras/blob/master/examples/mnist_cnn.py Сверточная сеть ]&lt;br /&gt;
* [https://github.com/fchollet/keras/blob/master/examples/mnist_transfer_cnn.py Переобучение] сверточной сети &lt;br /&gt;
&lt;br /&gt;
===L3===&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
! Студент !! CPU !! RAM !! GPU&lt;br /&gt;
|- &lt;br /&gt;
| Пример || 6 core, 3,5 GHz || 64GB || NVIDIA TITAN X&lt;br /&gt;
|-&lt;br /&gt;
|Рябинин || 4 core, 3.5 GHz || 16 GB || Nvidia GeForce GTX 1070&lt;br /&gt;
|-&lt;br /&gt;
| Попов || 4 core, 3.2 GHz || 8 GB || GeForce GTX 750 Ti&lt;br /&gt;
|-&lt;br /&gt;
| Остяков || 8 core, 2,6 GHz || 50 GB || -&lt;br /&gt;
|-&lt;br /&gt;
| Когтенков || 2 core, 1.4 GHz || 4 GB || -&lt;br /&gt;
|-&lt;br /&gt;
| Ширин || 2 core, 1.9 GHz || 8 GB || -&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
Победить в [https://inclass.kaggle.com/c/ch-ch конкурсе] классификации,  срок 3 января, 23:59.&lt;br /&gt;
&lt;br /&gt;
Для этого вам понадобится&lt;br /&gt;
* Установить [https://www.tensorflow.org Tensorflow] &lt;br /&gt;
* Установить [https://keras.io Keras] &lt;br /&gt;
* Запастись терпением&lt;br /&gt;
&lt;br /&gt;
===S01.12===&lt;br /&gt;
&#039;&#039;&#039;1. Полносвязанные сети:&#039;&#039;&#039;&lt;br /&gt;
* Подсчитаны производные для [https://en.wikipedia.org/wiki/Backpropagation Backpropagation], обсуждены тонкости реализации.&lt;br /&gt;
* Различные виды нелинейности: [https://en.wikipedia.org/wiki/Rectifier_(neural_networks) ReLu], [https://arxiv.org/pdf/1502.01852v1.pdf PReLu], [https://en.wikipedia.org/wiki/Sigmoid_function Sigmoid].&lt;br /&gt;
* Обучение сетей при помощи [https://en.wikipedia.org/wiki/Autoencoder Autoencoder].&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;2. Сверточные сети:&#039;&#039;&#039;&lt;br /&gt;
* Cтруктура [https://en.wikipedia.org/wiki/Convolutional_neural_network CNN].&lt;br /&gt;
* Затронуты: [https://en.wikipedia.org/wiki/Convolution Convolution], [https://en.wikipedia.org/wiki/Convolutional_neural_network#Pooling_layer Pooling].&lt;br /&gt;
* Влияние различных ядер свертки на структуру сети.&lt;br /&gt;
* [https://en.wikipedia.org/wiki/Convolutional_neural_network#Choosing_hyperparameters Feature maps].&lt;br /&gt;
* Разобрана архитектура [https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Alexnet].&lt;br /&gt;
* Сочетание из Convolutional и Dense слоев.&lt;br /&gt;
&lt;br /&gt;
===S24.11===&lt;br /&gt;
&#039;&#039;&#039;1. Регуляризация:&#039;&#039;&#039;&lt;br /&gt;
* Разобрали L1 и L2 регуляризаторы, можно найти [https://en.wikipedia.org/wiki/Regularization_(mathematics) здесь].&lt;br /&gt;
* Используйте простые классификаторы&lt;br /&gt;
* Раняя остановка (смотрим качество на отложенном множестве)&lt;br /&gt;
* Добавление шума&lt;br /&gt;
* Комбинирование классификаторов&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;2. Полносвязанные сети:&#039;&#039;&#039;&lt;br /&gt;
* Множественная классификация и [https://en.wikipedia.org/wiki/Softmax_function softmax].&lt;br /&gt;
* Метод [http://www.machinelearning.ru/wiki/images/0/0f/karpinskaya-2010.pdf обратного распространения ошибки], проблема при обучении.&lt;br /&gt;
* Инициализация весов:  и [http://jmlr.org/proceedings/papers/v9/glorot10a/glorot10a.pdf xavier] и другие [https://arxiv.org/pdf/1502.01852v1.pdf вариации].&lt;br /&gt;
* Кратко о [https://en.wikipedia.org/wiki/Convolutional_neural_network#Dropout dropout].&lt;br /&gt;
&lt;br /&gt;
===L2===&lt;br /&gt;
&lt;br /&gt;
Задание можно найти [https://github.com/dasimagin/askme/blob/master/labs/L2%20-%20Nets.ipynb здесь],  срок 23:59 11 декабря.&lt;br /&gt;
&lt;br /&gt;
===S03.11===&lt;br /&gt;
# [https://en.wikipedia.org/wiki/Feature_(machine_learning) Признаки] и какие они бывают. Об отборе признаков, кратко [https://habrahabr.ru/post/264915/ тут]. Может помочь на конкурсе.&lt;br /&gt;
# Задача [http://www.machinelearning.ru/wiki/index.php?title=Линейный_классификатор бинарной классификации].&lt;br /&gt;
# [http://www.machinelearning.ru/wiki/index.php?title=Метод_градиентного_спуска Градиентный спуск].&lt;br /&gt;
# [http://www.machinelearning.ru/wiki/index.php?title=Метод_стохастического_градиента Стохастический градиентный спуск]. На английской [https://en.wikipedia.org/wiki/Stochastic_gradient_descent вике] больше интересной информации.&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;Для дополнительного чтения:&#039;&#039;&#039;&lt;br /&gt;
# [https://homes.cs.washington.edu/~pedrod/papers/cacm12.pdf Что полезно знать о машинном обучении].&lt;br /&gt;
# [https://en.wikipedia.org/wiki/Feature_(machine_learning) Английская вика про признаки]&lt;br /&gt;
# [http://www.jmlr.org/papers/volume3/guyon03a/guyon03a.pdf Отбор признаков].&lt;br /&gt;
# Мощная теоретическая работа про [https://mipt.ru/upload/medialibrary/d7e/41-91.pdf стохастический градиентный спуск].&lt;br /&gt;
&lt;br /&gt;
===L1===&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
! Ревьюер !! Разработчик !! Оценка&lt;br /&gt;
|-&lt;br /&gt;
|Рябинин || Попов || 10&lt;br /&gt;
|-&lt;br /&gt;
| Попов || Остяков || 10&lt;br /&gt;
|-&lt;br /&gt;
| Остяков || Когтенков || 10&lt;br /&gt;
|-&lt;br /&gt;
| Когтенков || Ширин || 9.7&lt;br /&gt;
|-&lt;br /&gt;
| Ширин || Рябинин || 10&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
Для [https://github.com/dasimagin/askme/blob/master/labs/L1%20-%20Gradient%20descent%20and%20linear%20models.ipynb первой] лабораторной работы вам потребуется:&lt;br /&gt;
# Настроить себе [https://pip.pypa.io/en/stable/ pip] для Python3&lt;br /&gt;
# Освоить [http://jupyter.org Jupyter notebook]&lt;br /&gt;
# Установить пакеты [http://www.scipy.org scipy]: numpy, scipy, matplotlib&lt;/div&gt;</summary>
		<author><name>Simagin.denis</name></author>
	</entry>
	<entry>
		<id>https://wiki.cs.hse.ru/index.php?title=Ask_me_(%D1%81%D0%B5%D0%BC%D0%B8%D0%BD%D0%B0%D1%80)&amp;diff=22764</id>
		<title>Ask me (семинар)</title>
		<link rel="alternate" type="text/html" href="https://wiki.cs.hse.ru/index.php?title=Ask_me_(%D1%81%D0%B5%D0%BC%D0%B8%D0%BD%D0%B0%D1%80)&amp;diff=22764"/>
		<updated>2017-03-05T13:03:08Z</updated>

		<summary type="html">&lt;p&gt;Simagin.denis: &lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;Описание [[Ask_me_(проект)|проекта]], последнее [[Ask_me_(семинар)#.D0.A1.D0.B5.D0.BC.D0.B8.D0.BD.D0.B0.D1.80.D1.8B|занятие]].&lt;br /&gt;
&lt;br /&gt;
==Правила игры ==&lt;br /&gt;
* &#039;&#039;&#039;Ментор:&#039;&#039;&#039; [[Участник:Simagin.denis|Симагин Денис]].&lt;br /&gt;
* &#039;&#039;&#039;Место:&#039;&#039;&#039; офис Яндекса ([https://maps.yandex.ru/213/moscow/?ll=37.590150%2C55.734065&amp;amp;z=18&amp;amp;l=stv%2Csta&amp;amp;panorama%5Bpoint%5D=37.589416%2C55.733747&amp;amp;panorama%5Bdirection%5D=40.412258%2C-11.910596&amp;amp;panorama%5Bspan%5D=130.000000%2C52.209677 место встречи])&lt;br /&gt;
* &#039;&#039;&#039;Время:&#039;&#039;&#039; c 10:00, каждый четверг.&lt;br /&gt;
&lt;br /&gt;
Общение с ментором вне занятий приветствуется. Можно задавать вопросы, в том числе философские. Но перед тем, как написать, попробуйте спросить это у [https://ya.ru Яндекса]. Также не обижайтесь, если в ответ вам пришла ссылка на документацию или какую-то статью.&lt;br /&gt;
&lt;br /&gt;
===Ключевые точки===&lt;br /&gt;
Сверху нам спущены ключевые точки выполнения проекта. Для нас они скорее явлются формальными, тем не менее мы должны их соблюдать.&lt;br /&gt;
# &#039;&#039;&#039;12-17 декабря&#039;&#039;&#039; - все включились в работу&lt;br /&gt;
# &#039;&#039;&#039;20-25 марта&#039;&#039;&#039; - реализован объем работ, необходимый для зачета&lt;br /&gt;
# &#039;&#039;&#039;30 мая - 3 июня&#039;&#039;&#039; - окончание проектной работы, вы готовы, как пионеры. &lt;br /&gt;
# &#039;&#039;&#039;начало июня&#039;&#039;&#039; - конкурс проектов.&lt;br /&gt;
&lt;br /&gt;
===Правило 2Х===&lt;br /&gt;
У вас есть право на одну ошибку. Следующая - я отказываюсь с вами работать.&lt;br /&gt;
&lt;br /&gt;
===Репозитории===&lt;br /&gt;
Студенты хранят свой код в следующих репозиториях&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
|Ментор  || https://github.com/dasimagin/askme&lt;br /&gt;
|-&lt;br /&gt;
| Когтенков || https://github.com/aakogtenkov/Ask-me-if-you-can&lt;br /&gt;
|-&lt;br /&gt;
|Остяков || https://github.com/PavelOstyakov/askme&lt;br /&gt;
|-&lt;br /&gt;
|Рябинин || https://github.com/mryab/askme&lt;br /&gt;
|-&lt;br /&gt;
|Попов || https://github.com/Akiiino/Ask-Me-Anything&lt;br /&gt;
|-&lt;br /&gt;
|Ширин || https://github.com/shirinnikita/ask_me&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
===Разбор статьи===&lt;br /&gt;
В рамках проекта студент должен разобрать интересную для него статью и доложить ее на общем семинаре.&lt;br /&gt;
&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
! Студент !! Статья !! Дата&lt;br /&gt;
|-&lt;br /&gt;
|Когтенков || [https://papers.nips.cc/paper/5654-deep-knowledge-tracing.pdf Deep Knowledge Tracing] || -&lt;br /&gt;
|-&lt;br /&gt;
|Остяков || [https://arxiv.org/pdf/1612.07411v1.pdf A Context-aware Attention Network for Interactive Question Answering] || 19 марта&lt;br /&gt;
|-&lt;br /&gt;
|Рябинин || [https://arxiv.org/abs/1609.08144 Google&#039;s Neural Machine Translation System: Bridging the Gap between Human and Machine Translation] || -&lt;br /&gt;
|-&lt;br /&gt;
|Попов || [https://arxiv.org/pdf/1701.04189.pdf Deep Memory Networks for Attitude Identification] || -&lt;br /&gt;
|-&lt;br /&gt;
|Ширин || [https://arxiv.org/abs/1506.06714 Context-Sensitive Generation of Conversational Responses] || -&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
===Лабораторные===&lt;br /&gt;
Лабораторные проводятся для практического закрепления материала. Их выполнение учитывается в итоговой оценке.&lt;br /&gt;
&lt;br /&gt;
# Результатом работы является jupyter notebook, где сохранен вывод вашего кода, графики и т.п. А так же его импорт в формат .py. Для автоматизации процесса можно настроить jupyter.&lt;br /&gt;
# Когда сроки выполнения лабораторной завершены, вы выкладываете ее на ревью, создавая соответствующее задание и запрос на объединение ветки с мастером (не забудьте добавить проверяющего).&lt;br /&gt;
# Ваш коллега проводит ревью кода и может оставлять замечания, как в виде комментариев к заданию, так и в файле .py. Оно предполагает проверку стиля и правильность кода, а также конструктивные замечания по производительности. Однако не стремитесь сразу оптимизировать код. Добейтесь лучше того, чтобы все работало правильно.&lt;br /&gt;
# Когда ревью завершено, влейтесь в мастер и закройте задание.&lt;br /&gt;
&lt;br /&gt;
===Результаты===&lt;br /&gt;
Текущие результаты можно найти  [https://docs.google.com/spreadsheets/d/1gO6nHbLqMeLRXAa5Mubpfoc_-gk9DWCJ4mmnV_xaeig/edit?usp=sharing здесь]. Оценка складывается из нескольких частей:&lt;br /&gt;
# Работа на семинаре&lt;br /&gt;
# Доклад статьи&lt;br /&gt;
# Итоговый результат&lt;br /&gt;
&lt;br /&gt;
==Семинары==&lt;br /&gt;
&lt;br /&gt;
===S02.03===&lt;br /&gt;
Разбирали результаты L4, начали говорить на тему проекта.&lt;br /&gt;
&lt;br /&gt;
===L5===&lt;br /&gt;
Конкур можно найти [https://inclass.kaggle.com/c/en-phonetics здесь].&lt;br /&gt;
&lt;br /&gt;
===S19.02===&lt;br /&gt;
# Доразбирали вычисление градиента для рекуррентных сетей.&lt;br /&gt;
# Еще раз поговорили о затухании и взрыве градиента.&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;Литература для чтения:&#039;&#039;&#039;&lt;br /&gt;
* Прекрасный блог, где можно прочитать про рекуррентные сети, вот [http://www.wildml.com/2015/09/recurrent-neural-networks-tutorial-part-1-introduction-to-rnns/ первая статья], в начале есть ссылки на продолжение.&lt;br /&gt;
* Про [http://colah.github.io/posts/2015-08-Understanding-LSTMs/ LSTM] с картинками.&lt;br /&gt;
* Tensorflow и [https://www.tensorflow.org/tutorials/recurrent рекурретные] сети.&lt;br /&gt;
* Как работать с последовательностями, [https://www.tensorflow.org/tutorials/seq2seq пример] tensorflow.&lt;br /&gt;
&lt;br /&gt;
===S02.02===&lt;br /&gt;
Начали говорить о рекуррентных сетях, я обещал подробнее описать математику обучения.&lt;br /&gt;
# Поговорили о [https://en.wikipedia.org/wiki/Recurrent_neural_network рекурретных сетях] в общем&lt;br /&gt;
# Архитектура [https://en.wikipedia.org/wiki/Long_short-term_memory LSTM] сети&lt;br /&gt;
# Архитектура [https://arxiv.org/pdf/1412.3555v1.pdf GRU] сети&lt;br /&gt;
&lt;br /&gt;
===S29.01===&lt;br /&gt;
Еще раз вернулись к теме word embedding в контексте нейросетей, список затронутых статей:&lt;br /&gt;
# [http://www.jmlr.org/papers/volume3/bengio03a/bengio03a.pdf Первая сеть], предсказывающая следующее слово.&lt;br /&gt;
# [https://ronan.collobert.com/pub/matos/2008_nlp_icml.pdff Статья], где заменяется softmax&lt;br /&gt;
# [https://papers.nips.cc/paper/5021-distributed-representations-of-words-and-phrases-and-their-compositionality.pdf Статья] Миколова про word2vec.&lt;br /&gt;
&lt;br /&gt;
===L4===&lt;br /&gt;
Лабораторную работу можно найти [https://github.com/dasimagin/askme/blob/master/labs/L4%20-%20Word%20embedding.ipynb здесь].&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;Срок сдачи:&#039;&#039;&#039;&lt;br /&gt;
* Начало ревью: 24 февраля 23:59 &lt;br /&gt;
* Окончание ревью: 2 февраля 23:59 &lt;br /&gt;
&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
! Ревьюер !! Разработчик !! Оценка&lt;br /&gt;
|-&lt;br /&gt;
| Попов || Рябинин || -&lt;br /&gt;
|-&lt;br /&gt;
| Остяков || Попов || -&lt;br /&gt;
|-&lt;br /&gt;
| Когтенков || Остяков || -&lt;br /&gt;
|-&lt;br /&gt;
| Ширин  || Когтенков || -&lt;br /&gt;
|-&lt;br /&gt;
| Рябинин || Ширин || -&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
===H11.01===&lt;br /&gt;
Произвели разбор L3. Описание модели победителя можно найти, а baseline доступен [https://github.com/dasimagin/askme/blob/master/labs/L3%20-%20Baseline.ipynb здесь].&lt;br /&gt;
&lt;br /&gt;
Доклады мне не очень понравились. Постараюсь написать общие замечания.&lt;br /&gt;
# Прежде всего у докладчика должна быть хорошая речь.&lt;br /&gt;
# Нужно выделить то, что действительно важно и интересно для слушателя.&lt;br /&gt;
# Делать на доске четкие и простые рисунки и записи, убедиться, что аудитория тебя понимает.&lt;br /&gt;
# Не прыгать с темы на тему, а идти в соответсвии с логическим планом.&lt;br /&gt;
&lt;br /&gt;
===S15.12===&lt;br /&gt;
Поговорили про векторное представление слов, word2vec и другие сверточные сети для работы с естественными языками.&lt;br /&gt;
&lt;br /&gt;
===H11.12===&lt;br /&gt;
Занятие было посвящено выполнению второй лабораторной. Интересный ноутбук скоро появится [здесь].&lt;br /&gt;
&lt;br /&gt;
===S08.12===&lt;br /&gt;
&#039;&#039;&#039;1. Известные архитектуры сверточных сетей&#039;&#039;&#039;&lt;br /&gt;
* [https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Alexnet]&lt;br /&gt;
* [https://arxiv.org/pdf/1409.1556.pdf VGG net]&lt;br /&gt;
* [https://arxiv.org/pdf/1409.4842v1.pdf GoogLeNet]&lt;br /&gt;
* [https://arxiv.org/pdf/1512.03385.pdf ResNet]&lt;br /&gt;
&#039;&#039;&#039;2. Поговорили:&#039;&#039;&#039;&lt;br /&gt;
* На что активируются нейроны в зависимости от слоя&lt;br /&gt;
* Генерация &#039;похожих картинок&#039;&lt;br /&gt;
* Послойное обучение сети&lt;br /&gt;
* Переобучение или дообучение уже готовой сети&lt;br /&gt;
&#039;&#039;&#039;3. Изучили примеры для библиотеки Keras&#039;&#039;&#039;&lt;br /&gt;
*  [https://github.com/fchollet/keras/blob/master/examples/mnist_mlp.py Полносвязанная сеть]&lt;br /&gt;
* [https://github.com/fchollet/keras/blob/master/examples/mnist_cnn.py Сверточная сеть ]&lt;br /&gt;
* [https://github.com/fchollet/keras/blob/master/examples/mnist_transfer_cnn.py Переобучение] сверточной сети &lt;br /&gt;
&lt;br /&gt;
===L3===&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
! Студент !! CPU !! RAM !! GPU&lt;br /&gt;
|- &lt;br /&gt;
| Пример || 6 core, 3,5 GHz || 64GB || NVIDIA TITAN X&lt;br /&gt;
|-&lt;br /&gt;
|Рябинин || 4 core, 3.5 GHz || 16 GB || Nvidia GeForce GTX 1070&lt;br /&gt;
|-&lt;br /&gt;
| Попов || 4 core, 3.2 GHz || 8 GB || GeForce GTX 750 Ti&lt;br /&gt;
|-&lt;br /&gt;
| Остяков || 8 core, 2,6 GHz || 50 GB || -&lt;br /&gt;
|-&lt;br /&gt;
| Когтенков || 2 core, 1.4 GHz || 4 GB || -&lt;br /&gt;
|-&lt;br /&gt;
| Ширин || 2 core, 1.9 GHz || 8 GB || -&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
Победить в [https://inclass.kaggle.com/c/ch-ch конкурсе] классификации,  срок 3 января, 23:59.&lt;br /&gt;
&lt;br /&gt;
Для этого вам понадобится&lt;br /&gt;
* Установить [https://www.tensorflow.org Tensorflow] &lt;br /&gt;
* Установить [https://keras.io Keras] &lt;br /&gt;
* Запастись терпением&lt;br /&gt;
&lt;br /&gt;
===S01.12===&lt;br /&gt;
&#039;&#039;&#039;1. Полносвязанные сети:&#039;&#039;&#039;&lt;br /&gt;
* Подсчитаны производные для [https://en.wikipedia.org/wiki/Backpropagation Backpropagation], обсуждены тонкости реализации.&lt;br /&gt;
* Различные виды нелинейности: [https://en.wikipedia.org/wiki/Rectifier_(neural_networks) ReLu], [https://arxiv.org/pdf/1502.01852v1.pdf PReLu], [https://en.wikipedia.org/wiki/Sigmoid_function Sigmoid].&lt;br /&gt;
* Обучение сетей при помощи [https://en.wikipedia.org/wiki/Autoencoder Autoencoder].&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;2. Сверточные сети:&#039;&#039;&#039;&lt;br /&gt;
* Cтруктура [https://en.wikipedia.org/wiki/Convolutional_neural_network CNN].&lt;br /&gt;
* Затронуты: [https://en.wikipedia.org/wiki/Convolution Convolution], [https://en.wikipedia.org/wiki/Convolutional_neural_network#Pooling_layer Pooling].&lt;br /&gt;
* Влияние различных ядер свертки на структуру сети.&lt;br /&gt;
* [https://en.wikipedia.org/wiki/Convolutional_neural_network#Choosing_hyperparameters Feature maps].&lt;br /&gt;
* Разобрана архитектура [https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Alexnet].&lt;br /&gt;
* Сочетание из Convolutional и Dense слоев.&lt;br /&gt;
&lt;br /&gt;
===S24.11===&lt;br /&gt;
&#039;&#039;&#039;1. Регуляризация:&#039;&#039;&#039;&lt;br /&gt;
* Разобрали L1 и L2 регуляризаторы, можно найти [https://en.wikipedia.org/wiki/Regularization_(mathematics) здесь].&lt;br /&gt;
* Используйте простые классификаторы&lt;br /&gt;
* Раняя остановка (смотрим качество на отложенном множестве)&lt;br /&gt;
* Добавление шума&lt;br /&gt;
* Комбинирование классификаторов&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;2. Полносвязанные сети:&#039;&#039;&#039;&lt;br /&gt;
* Множественная классификация и [https://en.wikipedia.org/wiki/Softmax_function softmax].&lt;br /&gt;
* Метод [http://www.machinelearning.ru/wiki/images/0/0f/karpinskaya-2010.pdf обратного распространения ошибки], проблема при обучении.&lt;br /&gt;
* Инициализация весов:  и [http://jmlr.org/proceedings/papers/v9/glorot10a/glorot10a.pdf xavier] и другие [https://arxiv.org/pdf/1502.01852v1.pdf вариации].&lt;br /&gt;
* Кратко о [https://en.wikipedia.org/wiki/Convolutional_neural_network#Dropout dropout].&lt;br /&gt;
&lt;br /&gt;
===L2===&lt;br /&gt;
&lt;br /&gt;
Задание можно найти [https://github.com/dasimagin/askme/blob/master/labs/L2%20-%20Nets.ipynb здесь],  срок 23:59 11 декабря.&lt;br /&gt;
&lt;br /&gt;
===S03.11===&lt;br /&gt;
# [https://en.wikipedia.org/wiki/Feature_(machine_learning) Признаки] и какие они бывают. Об отборе признаков, кратко [https://habrahabr.ru/post/264915/ тут]. Может помочь на конкурсе.&lt;br /&gt;
# Задача [http://www.machinelearning.ru/wiki/index.php?title=Линейный_классификатор бинарной классификации].&lt;br /&gt;
# [http://www.machinelearning.ru/wiki/index.php?title=Метод_градиентного_спуска Градиентный спуск].&lt;br /&gt;
# [http://www.machinelearning.ru/wiki/index.php?title=Метод_стохастического_градиента Стохастический градиентный спуск]. На английской [https://en.wikipedia.org/wiki/Stochastic_gradient_descent вике] больше интересной информации.&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;Для дополнительного чтения:&#039;&#039;&#039;&lt;br /&gt;
# [https://homes.cs.washington.edu/~pedrod/papers/cacm12.pdf Что полезно знать о машинном обучении].&lt;br /&gt;
# [https://en.wikipedia.org/wiki/Feature_(machine_learning) Английская вика про признаки]&lt;br /&gt;
# [http://www.jmlr.org/papers/volume3/guyon03a/guyon03a.pdf Отбор признаков].&lt;br /&gt;
# Мощная теоретическая работа про [https://mipt.ru/upload/medialibrary/d7e/41-91.pdf стохастический градиентный спуск].&lt;br /&gt;
&lt;br /&gt;
===L1===&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
! Ревьюер !! Разработчик !! Оценка&lt;br /&gt;
|-&lt;br /&gt;
|Рябинин || Попов || 10&lt;br /&gt;
|-&lt;br /&gt;
| Попов || Остяков || 10&lt;br /&gt;
|-&lt;br /&gt;
| Остяков || Когтенков || 10&lt;br /&gt;
|-&lt;br /&gt;
| Когтенков || Ширин || 9.7&lt;br /&gt;
|-&lt;br /&gt;
| Ширин || Рябинин || 10&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
Для [https://github.com/dasimagin/askme/blob/master/labs/L1%20-%20Gradient%20descent%20and%20linear%20models.ipynb первой] лабораторной работы вам потребуется:&lt;br /&gt;
# Настроить себе [https://pip.pypa.io/en/stable/ pip] для Python3&lt;br /&gt;
# Освоить [http://jupyter.org Jupyter notebook]&lt;br /&gt;
# Установить пакеты [http://www.scipy.org scipy]: numpy, scipy, matplotlib&lt;/div&gt;</summary>
		<author><name>Simagin.denis</name></author>
	</entry>
	<entry>
		<id>https://wiki.cs.hse.ru/index.php?title=%D0%A0%D0%B5%D0%BD%D0%B4%D0%B7%D1%8E_(%D1%81%D0%B5%D0%BC%D0%B8%D0%BD%D0%B0%D1%80)&amp;diff=22763</id>
		<title>Рендзю (семинар)</title>
		<link rel="alternate" type="text/html" href="https://wiki.cs.hse.ru/index.php?title=%D0%A0%D0%B5%D0%BD%D0%B4%D0%B7%D1%8E_(%D1%81%D0%B5%D0%BC%D0%B8%D0%BD%D0%B0%D1%80)&amp;diff=22763"/>
		<updated>2017-03-05T13:01:30Z</updated>

		<summary type="html">&lt;p&gt;Simagin.denis: &lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;Описание [[Рендзю (проект)|проекта]], последний [[Рендзю_(семинар)#.D0.A1.D0.B5.D0.BC.D0.B8.D0.BD.D0.B0.D1.80.D1.8B|семинар]].&lt;br /&gt;
&lt;br /&gt;
==Правила игры ==&lt;br /&gt;
* &#039;&#039;&#039;Ментор:&#039;&#039;&#039; [[Участник:Simagin.denis|Симагин Денис]].&lt;br /&gt;
* &#039;&#039;&#039;Место:&#039;&#039;&#039; офис Яндекса ([https://maps.yandex.ru/213/moscow/?ll=37.590150%2C55.734065&amp;amp;z=18&amp;amp;l=stv%2Csta&amp;amp;panorama%5Bpoint%5D=37.589416%2C55.733747&amp;amp;panorama%5Bdirection%5D=40.412258%2C-11.910596&amp;amp;panorama%5Bspan%5D=130.000000%2C52.209677 место встречи])&lt;br /&gt;
* &#039;&#039;&#039;Время:&#039;&#039;&#039; c 19:00, каждую среду.&lt;br /&gt;
&lt;br /&gt;
Общение с ментором вне занятий приветствуется. Можно задавать вопросы, в том числе философские. Но перед тем, как написать, попробуйте спросить это у [https://ya.ru Яндекса]. Также не обижайтесь, если в ответ вам пришла ссылка на документацию или какую-то статью.&lt;br /&gt;
&lt;br /&gt;
===Ключевые точки===&lt;br /&gt;
Сверху нам спущены ключевые точки выполнения проекта. Для нас они скорее явлются формальными, тем не менее мы должны их соблюдать.&lt;br /&gt;
# &#039;&#039;&#039;12-17 декабря&#039;&#039;&#039; - все включились в работу&lt;br /&gt;
# &#039;&#039;&#039;20-25 марта&#039;&#039;&#039; - реализован объем работ, необходимый для зачета&lt;br /&gt;
# &#039;&#039;&#039;30 мая - 3 июня&#039;&#039;&#039; - окончание проектной работы, вы готовы, как пионеры. &lt;br /&gt;
# &#039;&#039;&#039;начало июня&#039;&#039;&#039; - конкурс проектов.&lt;br /&gt;
&lt;br /&gt;
===Правило 2Х===&lt;br /&gt;
У вас есть право на одну ошибку. Следующая - я отказываюсь с вами работать.&lt;br /&gt;
&lt;br /&gt;
===Репозитории===&lt;br /&gt;
Студенты хранят свой код в следующих репозиториях&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
| Ментор  || https://github.com/dasimagin/renju&lt;br /&gt;
|-&lt;br /&gt;
| Харламов || https://github.com/gamers5a/renju&lt;br /&gt;
|-&lt;br /&gt;
| Сопов || https://github.com/PreFX48/renju&lt;br /&gt;
|-&lt;br /&gt;
| Vodim  || https://github.com/EterniusVGM/Renju&lt;br /&gt;
|-&lt;br /&gt;
| Yuriy || https://github.com/yurriy/renju&lt;br /&gt;
|-&lt;br /&gt;
| Storozh || https://github.com/storandrew/Renju&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
===Разбор статьи===&lt;br /&gt;
В рамках проекта студент должен разобрать интересную для него статью и доложить ее на общем семинаре.&lt;br /&gt;
&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
! Студент !! Статья !! Дата&lt;br /&gt;
|-&lt;br /&gt;
| Харламов || http://web.stanford.edu/~takapoui/linear_bandits.pdf || -&lt;br /&gt;
|-&lt;br /&gt;
| Сопов || https://papers.nips.cc/paper/6068-learning-feed-forward-one-shot-learners.pdf || -&lt;br /&gt;
|-&lt;br /&gt;
| Гринберг  || https://arxiv.org/pdf/1611.01626.pdf || -&lt;br /&gt;
|-&lt;br /&gt;
| Баранов || https://arxiv.org/pdf/1611.01224.pdf || -&lt;br /&gt;
|-&lt;br /&gt;
| Стороженко || https://arxiv.org/pdf/1511.06581v3.pdf || 19 марта&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
===Лабораторные===&lt;br /&gt;
Лабораторные проводятся для практического закрепления материала. Их выполнение учитывается в итоговой оценке.&lt;br /&gt;
&lt;br /&gt;
# Результатом работы является jupyter notebook, где сохранен вывод вашего кода, графики и т.п. А так же его импорт в формат .py. Для автоматизации процесса можно настроить jupyter.&lt;br /&gt;
# Когда сроки выполнения лабораторной завершены, вы выкладываете ее на ревью, создавая соответствующее задание и запрос на объединение ветки с мастером (не забудьте добавить проверяющего).&lt;br /&gt;
# Ваш коллега проводит ревью кода и может оставлять замечания, как в виде комментариев к заданию, так и в файле .py. Оно предполагает проверку стиля и правильность кода, а также конструктивные замечания по производительности. Однако не стремитесь сразу оптимизировать код. Добейтесь лучше того, чтобы все работало правильно.&lt;br /&gt;
# Когда ревью завершено, влейтесь в мастер и закройте задание.&lt;br /&gt;
&lt;br /&gt;
===Результаты===&lt;br /&gt;
Текущие результаты можно найти  [https://docs.google.com/spreadsheets/d/1VAaIoKGOYkMYKxYMPjHs_TsYabjHo27jA4fiQg_R344/edit?usp=sharing здесь]. Оценка складывается из нескольких частей:&lt;br /&gt;
# Работа на семинаре&lt;br /&gt;
# Доклад статьи&lt;br /&gt;
# Итоговое качество игры&lt;br /&gt;
&lt;br /&gt;
==Семинары==&lt;br /&gt;
&lt;br /&gt;
===S01.03===&lt;br /&gt;
# Освежили подход TD(0): SARSA, Q-learning и Expected SARSA&lt;br /&gt;
# Double Q-learning&lt;br /&gt;
# n-step TD и n-step tree backup&lt;br /&gt;
# Поговорил про Monte Carlo tree search&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;Дополнительное чтение.&#039;&#039;&#039;&lt;br /&gt;
Не говорил на семинаре, но можно почитать:&lt;br /&gt;
# Sample ratio для TD(0) подхода&lt;br /&gt;
# Dyna-Q и Dyna-Q+&lt;br /&gt;
# Prioritized sweeping&lt;br /&gt;
&lt;br /&gt;
===S11.02===&lt;br /&gt;
Посвятили семинар обсуждения игры крестиков и ноликов на основе алгоритма DT(0).&lt;br /&gt;
&lt;br /&gt;
===S01.02===&lt;br /&gt;
Обсудили будущее. Всю дальнейшую теорию будем рассматривать сразу в рамках игры рендзю. Также согласовали формат данных для партии.&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;Формат данных&#039;&#039;&#039;&lt;br /&gt;
# Каждая партия представляет собой строку в файле (в качестве разделителя используем &#039;\n&#039;).&lt;br /&gt;
# В начале строки записан результат &#039;&#039;{black, white, draw, unknown}&#039;&#039;.&lt;br /&gt;
# Далее через пробельный разделитель перечислены ходы игроков в формате столбец-строка.&lt;br /&gt;
# Столбцы пронумерованы строчными буквами латинского алфавита .&lt;br /&gt;
# Строки пронумерованы арабскими цифрами, начиная с 1.&lt;br /&gt;
# Начало координатной сетки в левом нижнем углу.&lt;br /&gt;
# Предполагается, что первый ход делают черные.&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;Пример:&#039;&#039;&#039; unknown h8 g9 ...&lt;br /&gt;
&lt;br /&gt;
&lt;br /&gt;
Скрипт для &#039;&#039;&#039;справедливого&#039;&#039;&#039; распределения заданий по подготовке данных для обучения можно найти [https://github.com/dasimagin/renju/blob/master/data/task.py здесь].&lt;br /&gt;
&lt;br /&gt;
===S25.01===&lt;br /&gt;
# Поговорили на тему [https://en.wikipedia.org/wiki/Multi-armed_bandit многоруких бандитов].&lt;br /&gt;
# Начали осваивать [https://en.wikipedia.org/wiki/Reinforcement_learning reinforcment learning].&lt;br /&gt;
&lt;br /&gt;
Полезная книга может быть найдена [https://webdocs.cs.ualberta.ca/~sutton/book/bookdraft2016sep.pdf  здесь].&lt;br /&gt;
&lt;br /&gt;
===L4===&lt;br /&gt;
&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
! Ревьюер !! Разработчик !! Оценка&lt;br /&gt;
|-&lt;br /&gt;
| Сопов || Харламов|| -&lt;br /&gt;
|-&lt;br /&gt;
| Гринберг || Сопов  || -&lt;br /&gt;
|-&lt;br /&gt;
| Баранов  || Гринберг || -&lt;br /&gt;
|-&lt;br /&gt;
| Стороженко || Баранов || -&lt;br /&gt;
|-&lt;br /&gt;
| Харламов  || Стороженко || -&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
Появилась очередная лабораторная работа [https://github.com/dasimagin/renju/blob/master/labs/L4%20-%20Reinforcement%20learning.ipynb L4].&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;Cроки:&#039;&#039;&#039;&lt;br /&gt;
* Начало ревью: 11 февраля, 00:00.&lt;br /&gt;
* Окончание: 16 февраля, 23:59.&lt;br /&gt;
&lt;br /&gt;
===S18.01===&lt;br /&gt;
В связи с болезнью ментора занятие отменено.&lt;br /&gt;
&lt;br /&gt;
===H11.01===&lt;br /&gt;
Произвели разбор L3. Описание модели победителя можно найти [здесь], а baseline доступен [https://github.com/dasimagin/renju/blob/master/labs/L3%20-%20Baseline.ipynb здесь].&lt;br /&gt;
&lt;br /&gt;
Доклады мне не очень понравились. Постараюсь написать общие замечания.&lt;br /&gt;
# Прежде всего у докладчика должна быть хорошая речь.&lt;br /&gt;
# Нужно выделить то, что действительно важно и интересно для слушателя.&lt;br /&gt;
# Делать на доске четкие и простые рисунки и записи, убедиться, что аудитория тебя понимает.&lt;br /&gt;
# Не прыгать с темы на тему, а идти в соответсвии с логическим планом.&lt;br /&gt;
&lt;br /&gt;
===S14.12===&lt;br /&gt;
Начали разбирать нашу [https://storage.googleapis.com/deepmind-media/alphago/AlphaGoNaturePaper.pdf статью]. Есть пара источников на русском:&lt;br /&gt;
* [https://ru.wikipedia.org/wiki/AlphaGo Статья] на wikipedia&lt;br /&gt;
* [https://habrahabr.ru/post/279071/ Статья]  на хабре&lt;br /&gt;
&lt;br /&gt;
===H11.12===&lt;br /&gt;
Занятие было посвящено выполнению второй лабораторной. Интересный ноутбук скоро появится [здесь].&lt;br /&gt;
&lt;br /&gt;
===S08.12===&lt;br /&gt;
&#039;&#039;&#039;1. Известные архитектуры сверточных сетей&#039;&#039;&#039;&lt;br /&gt;
* [https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Alexnet]&lt;br /&gt;
* [https://arxiv.org/pdf/1409.1556.pdf VGG net]&lt;br /&gt;
* [https://arxiv.org/pdf/1409.4842v1.pdf GoogLeNet]&lt;br /&gt;
* [https://arxiv.org/pdf/1512.03385.pdf ResNet]&lt;br /&gt;
&#039;&#039;&#039;2. Поговорили:&#039;&#039;&#039;&lt;br /&gt;
* На что активируются нейроны в зависимости от слоя&lt;br /&gt;
* Генерация &#039;похожих картинок&#039;&lt;br /&gt;
* Послойное обучение сети&lt;br /&gt;
* Переобучение или дообучение уже готовой сети&lt;br /&gt;
&#039;&#039;&#039;3. Изучили примеры для библиотеки Keras&#039;&#039;&#039;&lt;br /&gt;
*  [https://github.com/fchollet/keras/blob/master/examples/mnist_mlp.py Полносвязанная сеть]&lt;br /&gt;
* [https://github.com/fchollet/keras/blob/master/examples/mnist_cnn.py Сверточная сеть ]&lt;br /&gt;
* [https://github.com/fchollet/keras/blob/master/examples/mnist_transfer_cnn.py Переобучение] сверточной сети &lt;br /&gt;
&lt;br /&gt;
===L3===&lt;br /&gt;
&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
! Студент !! CPU !! RAM !! GPU&lt;br /&gt;
|- &lt;br /&gt;
| Пример || 6 core, 3,5 GHz || 64GB || NVIDIA TITAN X&lt;br /&gt;
|-&lt;br /&gt;
| Харламов || 4 core, 3,6 GHz || 16GB || NVIDIA GTX 960m 2GB&lt;br /&gt;
|-&lt;br /&gt;
| Сопов || 4 core, 2,7 GHz || 8GB || NVIDIA GTX 940m&lt;br /&gt;
|-&lt;br /&gt;
| Гринберг || 4 core, 3,6 GHz || 16 GB || NVIDIA GTX 1070 8GB&lt;br /&gt;
|-&lt;br /&gt;
| Баранов || 4 core, 3,5GHz || 8GB || NVIDIA GTX 960m 2GB&lt;br /&gt;
|-&lt;br /&gt;
| Стороженко || 6 core 3.0 GHz || 16 GB || NVIDIA GTX 1060 6GB&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
Победить в [https://inclass.kaggle.com/c/ch-ch конкурсе] классификации,  срок 3 января, 23:59.&lt;br /&gt;
&lt;br /&gt;
Для этого вам понадобится&lt;br /&gt;
* Установить [https://www.tensorflow.org Tensorflow] &lt;br /&gt;
* Установить [https://keras.io Keras] &lt;br /&gt;
* Запастись терпением&lt;br /&gt;
&lt;br /&gt;
===S01.12===&lt;br /&gt;
&#039;&#039;&#039;1. Полносвязанные сети:&#039;&#039;&#039;&lt;br /&gt;
* Подсчитаны производные для [https://en.wikipedia.org/wiki/Backpropagation Backpropagation], обсуждены тонкости реализации.&lt;br /&gt;
* Различные виды нелинейности: [https://en.wikipedia.org/wiki/Rectifier_(neural_networks) ReLu], [https://arxiv.org/pdf/1502.01852v1.pdf PReLu], [https://en.wikipedia.org/wiki/Sigmoid_function Sigmoid].&lt;br /&gt;
* Обучение сетей при помощи [https://en.wikipedia.org/wiki/Autoencoder Autoencoder].&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;2. Сверточные сети:&#039;&#039;&#039;&lt;br /&gt;
* Cтруктура [https://en.wikipedia.org/wiki/Convolutional_neural_network CNN].&lt;br /&gt;
* Затронуты: [https://en.wikipedia.org/wiki/Convolution Convolution], [https://en.wikipedia.org/wiki/Convolutional_neural_network#Pooling_layer Pooling].&lt;br /&gt;
* Влияние различных ядер свертки на структуру сети.&lt;br /&gt;
* [https://en.wikipedia.org/wiki/Convolutional_neural_network#Choosing_hyperparameters Feature maps].&lt;br /&gt;
* Разобрана архитектура [https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Alexnet].&lt;br /&gt;
* Сочетание из Convolutional и Dense слоев.&lt;br /&gt;
&lt;br /&gt;
===S24.11===&lt;br /&gt;
&#039;&#039;&#039;1. Регуляризация:&#039;&#039;&#039;&lt;br /&gt;
* Разобрали L1 и L2 регуляризаторы, можно найти [https://en.wikipedia.org/wiki/Regularization_(mathematics) здесь].&lt;br /&gt;
* Используйте простые классификаторы&lt;br /&gt;
* Раняя остановка (смотрим качество на отложенном множестве)&lt;br /&gt;
* Добавление шума&lt;br /&gt;
* Комбинирование классификаторов&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;2. Полносвязанные сети:&#039;&#039;&#039;&lt;br /&gt;
* Множественная классификация и [https://en.wikipedia.org/wiki/Softmax_function softmax].&lt;br /&gt;
* Метод [http://www.machinelearning.ru/wiki/images/0/0f/karpinskaya-2010.pdf обратного распространения ошибки], проблема при обучении.&lt;br /&gt;
* Инициализация весов:  и [http://jmlr.org/proceedings/papers/v9/glorot10a/glorot10a.pdf xavier] и другие [https://arxiv.org/pdf/1502.01852v1.pdf вариации].&lt;br /&gt;
* Кратко о [https://en.wikipedia.org/wiki/Convolutional_neural_network#Dropout dropout].&lt;br /&gt;
&lt;br /&gt;
===L2===&lt;br /&gt;
Задание можно найти [https://github.com/dasimagin/renju/blob/master/labs/L2%20-%20Nets.ipynb здесь],  срок 23:59 11 декабря.&lt;br /&gt;
&lt;br /&gt;
===S02.11===&lt;br /&gt;
# [https://en.wikipedia.org/wiki/Feature_(machine_learning) Признаки] и какие они бывают. Об отборе признаков, кратко [https://habrahabr.ru/post/264915/ тут]. Может помочь на конкурсе.&lt;br /&gt;
# Задача [http://www.machinelearning.ru/wiki/index.php?title=Линейный_классификатор бинарной классификации].&lt;br /&gt;
# [http://www.machinelearning.ru/wiki/index.php?title=Метод_градиентного_спуска Градиентный спуск].&lt;br /&gt;
# [http://www.machinelearning.ru/wiki/index.php?title=Метод_стохастического_градиента Стохастический градиентный спуск]. На английской [https://en.wikipedia.org/wiki/Stochastic_gradient_descent вике] больше интересной информации.&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;Для дополнительного чтения:&#039;&#039;&#039;&lt;br /&gt;
# [https://homes.cs.washington.edu/~pedrod/papers/cacm12.pdf Что полезно знать о машинном обучении].&lt;br /&gt;
# [https://en.wikipedia.org/wiki/Feature_(machine_learning) Английская вика про признаки]&lt;br /&gt;
# [http://www.jmlr.org/papers/volume3/guyon03a/guyon03a.pdf Отбор признаков].&lt;br /&gt;
# Мощная теоретическая работа про [https://mipt.ru/upload/medialibrary/d7e/41-91.pdf стохастический градиентный спуск].&lt;br /&gt;
&lt;br /&gt;
===L1===&lt;br /&gt;
&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
! Ревьюер !! Разработчик !! Оценка&lt;br /&gt;
|-&lt;br /&gt;
|Харламов || Сопов || 9&lt;br /&gt;
|-&lt;br /&gt;
| Сопов || Гринберг || 10&lt;br /&gt;
|-&lt;br /&gt;
| Гринберг || Баранов || 8&lt;br /&gt;
|-&lt;br /&gt;
| Баранов || Стороженко || 10&lt;br /&gt;
|-&lt;br /&gt;
| Стороженко || Харламов || 8&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
Для [https://github.com/dasimagin/renju/blob/master/labs/L1%20-%20Gradient%20descent%20and%20linear%20models.ipynb первой] лабораторной работы вам потребуется:&lt;br /&gt;
# Настроить себе [https://pip.pypa.io/en/stable/ pip] для Python3&lt;br /&gt;
# Освоить [http://jupyter.org Jupyter notebook]&lt;br /&gt;
# Установить пакеты [http://www.scipy.org scipy]: numpy, scipy, matplotlib&lt;/div&gt;</summary>
		<author><name>Simagin.denis</name></author>
	</entry>
	<entry>
		<id>https://wiki.cs.hse.ru/index.php?title=Ask_me_(%D1%81%D0%B5%D0%BC%D0%B8%D0%BD%D0%B0%D1%80)&amp;diff=22762</id>
		<title>Ask me (семинар)</title>
		<link rel="alternate" type="text/html" href="https://wiki.cs.hse.ru/index.php?title=Ask_me_(%D1%81%D0%B5%D0%BC%D0%B8%D0%BD%D0%B0%D1%80)&amp;diff=22762"/>
		<updated>2017-03-05T12:58:35Z</updated>

		<summary type="html">&lt;p&gt;Simagin.denis: /* Разбор статьи */&lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;Описание [[Ask_me_(проект)|проекта]], последнее [[Ask_me_(семинар)#.D0.A1.D0.B5.D0.BC.D0.B8.D0.BD.D0.B0.D1.80.D1.8B|занятие]].&lt;br /&gt;
&lt;br /&gt;
==Правила игры ==&lt;br /&gt;
* &#039;&#039;&#039;Ментор:&#039;&#039;&#039; [[Участник:Simagin.denis|Симагин Денис]].&lt;br /&gt;
* &#039;&#039;&#039;Место:&#039;&#039;&#039; офис Яндекса ([https://maps.yandex.ru/213/moscow/?ll=37.590150%2C55.734065&amp;amp;z=18&amp;amp;l=stv%2Csta&amp;amp;panorama%5Bpoint%5D=37.589416%2C55.733747&amp;amp;panorama%5Bdirection%5D=40.412258%2C-11.910596&amp;amp;panorama%5Bspan%5D=130.000000%2C52.209677 место встречи])&lt;br /&gt;
* &#039;&#039;&#039;Время:&#039;&#039;&#039; c 10:00, каждый четверг.&lt;br /&gt;
&lt;br /&gt;
Общение с ментором вне занятий приветствуется. Можно задавать вопросы, в том числе философские. Но перед тем, как написать, попробуйте спросить это у [https://ya.ru Яндекса]. Также не обижайтесь, если в ответ вам пришла ссылка на документацию или какую-то статью.&lt;br /&gt;
&lt;br /&gt;
===Ключевые точки===&lt;br /&gt;
Сверху нам спущены ключевые точки выполнения проекта. Для нас они скорее явлются формальными, тем не менее мы должны их соблюдать.&lt;br /&gt;
# &#039;&#039;&#039;12-17 декабря&#039;&#039;&#039; - все включились в работу&lt;br /&gt;
# &#039;&#039;&#039;20-25 марта&#039;&#039;&#039; - реализован объем работ, необходимый для зачета&lt;br /&gt;
# &#039;&#039;&#039;30 мая - 3 июня&#039;&#039;&#039; - окончание проектной работы, вы готовы, как пионеры. &lt;br /&gt;
# &#039;&#039;&#039;начало июня&#039;&#039;&#039; - конкурс проектов.&lt;br /&gt;
&lt;br /&gt;
===Правило 2Х===&lt;br /&gt;
У вас есть право на одну ошибку. Следующая - я отказываюсь с вами работать.&lt;br /&gt;
&lt;br /&gt;
===Репозитории===&lt;br /&gt;
Студенты хранят свой код в следующих репозиториях&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
|Ментор  || https://github.com/dasimagin/askme&lt;br /&gt;
|-&lt;br /&gt;
| Когтенков || https://github.com/aakogtenkov/Ask-me-if-you-can&lt;br /&gt;
|-&lt;br /&gt;
|Остяков || https://github.com/PavelOstyakov/askme&lt;br /&gt;
|-&lt;br /&gt;
|Рябинин || https://github.com/mryab/askme&lt;br /&gt;
|-&lt;br /&gt;
|Попов || https://github.com/Akiiino/Ask-Me-Anything&lt;br /&gt;
|-&lt;br /&gt;
|Ширин || https://github.com/shirinnikita/ask_me&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
===Разбор статьи===&lt;br /&gt;
В рамках проекта студент должен разобрать интересную для него статью и доложить ее на общем семинаре.&lt;br /&gt;
&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
! Студент !! Статья !! Дата&lt;br /&gt;
|-&lt;br /&gt;
|Когтенков || [https://papers.nips.cc/paper/5654-deep-knowledge-tracing.pdf Deep Knowledge Tracing] || -&lt;br /&gt;
|-&lt;br /&gt;
|Остяков || [https://arxiv.org/pdf/1612.07411v1.pdf A Context-aware Attention Network for Interactive Question Answering] || 19 марта&lt;br /&gt;
|-&lt;br /&gt;
|Рябинин || [https://arxiv.org/abs/1609.08144 Google&#039;s Neural Machine Translation System: Bridging the Gap between Human and Machine Translation] || -&lt;br /&gt;
|-&lt;br /&gt;
|Попов || [https://arxiv.org/pdf/1701.04189.pdf Deep Memory Networks for Attitude Identification] || -&lt;br /&gt;
|-&lt;br /&gt;
|Ширин || [https://arxiv.org/abs/1506.06714 Context-Sensitive Generation of Conversational Responses] || -&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
===Лабораторные===&lt;br /&gt;
Лабораторные проводятся для практического закрепления материала. Их выполнение учитывается в итоговой оценке.&lt;br /&gt;
&lt;br /&gt;
# Результатом работы является jupyter notebook, где сохранен вывод вашего кода, графики и т.п. А так же его импорт в формат .py. Для автоматизации процесса можно настроить jupyter.&lt;br /&gt;
# Когда сроки выполнения лабораторной завершены, вы выкладываете ее на ревью, создавая соответствующее задание и запрос на объединение ветки с мастером (не забудьте добавить проверяющего).&lt;br /&gt;
# Ваш коллега проводит ревью кода и может оставлять замечания, как в виде комментариев к заданию, так и в файле .py. Оно предполагает проверку стиля и правильность кода, а также конструктивные замечания по производительности. Однако не стремитесь сразу оптимизировать код. Добейтесь лучше того, чтобы все работало правильно.&lt;br /&gt;
# Когда ревью завершено, влейтесь в мастер и закройте задание.&lt;br /&gt;
&lt;br /&gt;
===Результаты===&lt;br /&gt;
Текущие результаты можно найти  [https://docs.google.com/spreadsheets/d/1gO6nHbLqMeLRXAa5Mubpfoc_-gk9DWCJ4mmnV_xaeig/edit?usp=sharing здесь]. Оценка складывается из нескольких частей:&lt;br /&gt;
# Работа на семинаре&lt;br /&gt;
# Доклад статьи&lt;br /&gt;
# Итоговый результат&lt;br /&gt;
&lt;br /&gt;
==Семинары==&lt;br /&gt;
&lt;br /&gt;
===L5===&lt;br /&gt;
Конкур можно найти [https://inclass.kaggle.com/c/en-phonetics здесь].&lt;br /&gt;
&lt;br /&gt;
===S19.02===&lt;br /&gt;
# Доразбирали вычисление градиента для рекуррентных сетей.&lt;br /&gt;
# Еще раз поговорили о затухании и взрыве градиента.&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;Литература для чтения:&#039;&#039;&#039;&lt;br /&gt;
* Прекрасный блог, где можно прочитать про рекуррентные сети, вот [http://www.wildml.com/2015/09/recurrent-neural-networks-tutorial-part-1-introduction-to-rnns/ первая статья], в начале есть ссылки на продолжение.&lt;br /&gt;
* Про [http://colah.github.io/posts/2015-08-Understanding-LSTMs/ LSTM] с картинками.&lt;br /&gt;
* Tensorflow и [https://www.tensorflow.org/tutorials/recurrent рекурретные] сети.&lt;br /&gt;
* Как работать с последовательностями, [https://www.tensorflow.org/tutorials/seq2seq пример] tensorflow.&lt;br /&gt;
&lt;br /&gt;
===S02.02===&lt;br /&gt;
Начали говорить о рекуррентных сетях, я обещал подробнее описать математику обучения.&lt;br /&gt;
# Поговорили о [https://en.wikipedia.org/wiki/Recurrent_neural_network рекурретных сетях] в общем&lt;br /&gt;
# Архитектура [https://en.wikipedia.org/wiki/Long_short-term_memory LSTM] сети&lt;br /&gt;
# Архитектура [https://arxiv.org/pdf/1412.3555v1.pdf GRU] сети&lt;br /&gt;
&lt;br /&gt;
===S29.01===&lt;br /&gt;
Еще раз вернулись к теме word embedding в контексте нейросетей, список затронутых статей:&lt;br /&gt;
# [http://www.jmlr.org/papers/volume3/bengio03a/bengio03a.pdf Первая сеть], предсказывающая следующее слово.&lt;br /&gt;
# [https://ronan.collobert.com/pub/matos/2008_nlp_icml.pdff Статья], где заменяется softmax&lt;br /&gt;
# [https://papers.nips.cc/paper/5021-distributed-representations-of-words-and-phrases-and-their-compositionality.pdf Статья] Миколова про word2vec.&lt;br /&gt;
&lt;br /&gt;
===L4===&lt;br /&gt;
Лабораторную работу можно найти [https://github.com/dasimagin/askme/blob/master/labs/L4%20-%20Word%20embedding.ipynb здесь].&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;Срок сдачи:&#039;&#039;&#039;&lt;br /&gt;
* Начало ревью: 24 февраля 23:59 &lt;br /&gt;
* Окончание ревью: 2 февраля 23:59 &lt;br /&gt;
&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
! Ревьюер !! Разработчик !! Оценка&lt;br /&gt;
|-&lt;br /&gt;
| Попов || Рябинин || -&lt;br /&gt;
|-&lt;br /&gt;
| Остяков || Попов || -&lt;br /&gt;
|-&lt;br /&gt;
| Когтенков || Остяков || -&lt;br /&gt;
|-&lt;br /&gt;
| Ширин  || Когтенков || -&lt;br /&gt;
|-&lt;br /&gt;
| Рябинин || Ширин || -&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
===H11.01===&lt;br /&gt;
Произвели разбор L3. Описание модели победителя можно найти, а baseline доступен [https://github.com/dasimagin/askme/blob/master/labs/L3%20-%20Baseline.ipynb здесь].&lt;br /&gt;
&lt;br /&gt;
Доклады мне не очень понравились. Постараюсь написать общие замечания.&lt;br /&gt;
# Прежде всего у докладчика должна быть хорошая речь.&lt;br /&gt;
# Нужно выделить то, что действительно важно и интересно для слушателя.&lt;br /&gt;
# Делать на доске четкие и простые рисунки и записи, убедиться, что аудитория тебя понимает.&lt;br /&gt;
# Не прыгать с темы на тему, а идти в соответсвии с логическим планом.&lt;br /&gt;
&lt;br /&gt;
===S15.12===&lt;br /&gt;
Поговорили про векторное представление слов, word2vec и другие сверточные сети для работы с естественными языками.&lt;br /&gt;
&lt;br /&gt;
===H11.12===&lt;br /&gt;
Занятие было посвящено выполнению второй лабораторной. Интересный ноутбук скоро появится [здесь].&lt;br /&gt;
&lt;br /&gt;
===S08.12===&lt;br /&gt;
&#039;&#039;&#039;1. Известные архитектуры сверточных сетей&#039;&#039;&#039;&lt;br /&gt;
* [https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Alexnet]&lt;br /&gt;
* [https://arxiv.org/pdf/1409.1556.pdf VGG net]&lt;br /&gt;
* [https://arxiv.org/pdf/1409.4842v1.pdf GoogLeNet]&lt;br /&gt;
* [https://arxiv.org/pdf/1512.03385.pdf ResNet]&lt;br /&gt;
&#039;&#039;&#039;2. Поговорили:&#039;&#039;&#039;&lt;br /&gt;
* На что активируются нейроны в зависимости от слоя&lt;br /&gt;
* Генерация &#039;похожих картинок&#039;&lt;br /&gt;
* Послойное обучение сети&lt;br /&gt;
* Переобучение или дообучение уже готовой сети&lt;br /&gt;
&#039;&#039;&#039;3. Изучили примеры для библиотеки Keras&#039;&#039;&#039;&lt;br /&gt;
*  [https://github.com/fchollet/keras/blob/master/examples/mnist_mlp.py Полносвязанная сеть]&lt;br /&gt;
* [https://github.com/fchollet/keras/blob/master/examples/mnist_cnn.py Сверточная сеть ]&lt;br /&gt;
* [https://github.com/fchollet/keras/blob/master/examples/mnist_transfer_cnn.py Переобучение] сверточной сети &lt;br /&gt;
&lt;br /&gt;
===L3===&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
! Студент !! CPU !! RAM !! GPU&lt;br /&gt;
|- &lt;br /&gt;
| Пример || 6 core, 3,5 GHz || 64GB || NVIDIA TITAN X&lt;br /&gt;
|-&lt;br /&gt;
|Рябинин || 4 core, 3.5 GHz || 16 GB || Nvidia GeForce GTX 1070&lt;br /&gt;
|-&lt;br /&gt;
| Попов || 4 core, 3.2 GHz || 8 GB || GeForce GTX 750 Ti&lt;br /&gt;
|-&lt;br /&gt;
| Остяков || 8 core, 2,6 GHz || 50 GB || -&lt;br /&gt;
|-&lt;br /&gt;
| Когтенков || 2 core, 1.4 GHz || 4 GB || -&lt;br /&gt;
|-&lt;br /&gt;
| Ширин || 2 core, 1.9 GHz || 8 GB || -&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
Победить в [https://inclass.kaggle.com/c/ch-ch конкурсе] классификации,  срок 3 января, 23:59.&lt;br /&gt;
&lt;br /&gt;
Для этого вам понадобится&lt;br /&gt;
* Установить [https://www.tensorflow.org Tensorflow] &lt;br /&gt;
* Установить [https://keras.io Keras] &lt;br /&gt;
* Запастись терпением&lt;br /&gt;
&lt;br /&gt;
===S01.12===&lt;br /&gt;
&#039;&#039;&#039;1. Полносвязанные сети:&#039;&#039;&#039;&lt;br /&gt;
* Подсчитаны производные для [https://en.wikipedia.org/wiki/Backpropagation Backpropagation], обсуждены тонкости реализации.&lt;br /&gt;
* Различные виды нелинейности: [https://en.wikipedia.org/wiki/Rectifier_(neural_networks) ReLu], [https://arxiv.org/pdf/1502.01852v1.pdf PReLu], [https://en.wikipedia.org/wiki/Sigmoid_function Sigmoid].&lt;br /&gt;
* Обучение сетей при помощи [https://en.wikipedia.org/wiki/Autoencoder Autoencoder].&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;2. Сверточные сети:&#039;&#039;&#039;&lt;br /&gt;
* Cтруктура [https://en.wikipedia.org/wiki/Convolutional_neural_network CNN].&lt;br /&gt;
* Затронуты: [https://en.wikipedia.org/wiki/Convolution Convolution], [https://en.wikipedia.org/wiki/Convolutional_neural_network#Pooling_layer Pooling].&lt;br /&gt;
* Влияние различных ядер свертки на структуру сети.&lt;br /&gt;
* [https://en.wikipedia.org/wiki/Convolutional_neural_network#Choosing_hyperparameters Feature maps].&lt;br /&gt;
* Разобрана архитектура [https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Alexnet].&lt;br /&gt;
* Сочетание из Convolutional и Dense слоев.&lt;br /&gt;
&lt;br /&gt;
===S24.11===&lt;br /&gt;
&#039;&#039;&#039;1. Регуляризация:&#039;&#039;&#039;&lt;br /&gt;
* Разобрали L1 и L2 регуляризаторы, можно найти [https://en.wikipedia.org/wiki/Regularization_(mathematics) здесь].&lt;br /&gt;
* Используйте простые классификаторы&lt;br /&gt;
* Раняя остановка (смотрим качество на отложенном множестве)&lt;br /&gt;
* Добавление шума&lt;br /&gt;
* Комбинирование классификаторов&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;2. Полносвязанные сети:&#039;&#039;&#039;&lt;br /&gt;
* Множественная классификация и [https://en.wikipedia.org/wiki/Softmax_function softmax].&lt;br /&gt;
* Метод [http://www.machinelearning.ru/wiki/images/0/0f/karpinskaya-2010.pdf обратного распространения ошибки], проблема при обучении.&lt;br /&gt;
* Инициализация весов:  и [http://jmlr.org/proceedings/papers/v9/glorot10a/glorot10a.pdf xavier] и другие [https://arxiv.org/pdf/1502.01852v1.pdf вариации].&lt;br /&gt;
* Кратко о [https://en.wikipedia.org/wiki/Convolutional_neural_network#Dropout dropout].&lt;br /&gt;
&lt;br /&gt;
===L2===&lt;br /&gt;
&lt;br /&gt;
Задание можно найти [https://github.com/dasimagin/askme/blob/master/labs/L2%20-%20Nets.ipynb здесь],  срок 23:59 11 декабря.&lt;br /&gt;
&lt;br /&gt;
===S03.11===&lt;br /&gt;
# [https://en.wikipedia.org/wiki/Feature_(machine_learning) Признаки] и какие они бывают. Об отборе признаков, кратко [https://habrahabr.ru/post/264915/ тут]. Может помочь на конкурсе.&lt;br /&gt;
# Задача [http://www.machinelearning.ru/wiki/index.php?title=Линейный_классификатор бинарной классификации].&lt;br /&gt;
# [http://www.machinelearning.ru/wiki/index.php?title=Метод_градиентного_спуска Градиентный спуск].&lt;br /&gt;
# [http://www.machinelearning.ru/wiki/index.php?title=Метод_стохастического_градиента Стохастический градиентный спуск]. На английской [https://en.wikipedia.org/wiki/Stochastic_gradient_descent вике] больше интересной информации.&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;Для дополнительного чтения:&#039;&#039;&#039;&lt;br /&gt;
# [https://homes.cs.washington.edu/~pedrod/papers/cacm12.pdf Что полезно знать о машинном обучении].&lt;br /&gt;
# [https://en.wikipedia.org/wiki/Feature_(machine_learning) Английская вика про признаки]&lt;br /&gt;
# [http://www.jmlr.org/papers/volume3/guyon03a/guyon03a.pdf Отбор признаков].&lt;br /&gt;
# Мощная теоретическая работа про [https://mipt.ru/upload/medialibrary/d7e/41-91.pdf стохастический градиентный спуск].&lt;br /&gt;
&lt;br /&gt;
===L1===&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
! Ревьюер !! Разработчик !! Оценка&lt;br /&gt;
|-&lt;br /&gt;
|Рябинин || Попов || 10&lt;br /&gt;
|-&lt;br /&gt;
| Попов || Остяков || 10&lt;br /&gt;
|-&lt;br /&gt;
| Остяков || Когтенков || 10&lt;br /&gt;
|-&lt;br /&gt;
| Когтенков || Ширин || 9.7&lt;br /&gt;
|-&lt;br /&gt;
| Ширин || Рябинин || 10&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
Для [https://github.com/dasimagin/askme/blob/master/labs/L1%20-%20Gradient%20descent%20and%20linear%20models.ipynb первой] лабораторной работы вам потребуется:&lt;br /&gt;
# Настроить себе [https://pip.pypa.io/en/stable/ pip] для Python3&lt;br /&gt;
# Освоить [http://jupyter.org Jupyter notebook]&lt;br /&gt;
# Установить пакеты [http://www.scipy.org scipy]: numpy, scipy, matplotlib&lt;/div&gt;</summary>
		<author><name>Simagin.denis</name></author>
	</entry>
	<entry>
		<id>https://wiki.cs.hse.ru/index.php?title=%D0%A0%D0%B5%D0%BD%D0%B4%D0%B7%D1%8E_(%D1%81%D0%B5%D0%BC%D0%B8%D0%BD%D0%B0%D1%80)&amp;diff=22761</id>
		<title>Рендзю (семинар)</title>
		<link rel="alternate" type="text/html" href="https://wiki.cs.hse.ru/index.php?title=%D0%A0%D0%B5%D0%BD%D0%B4%D0%B7%D1%8E_(%D1%81%D0%B5%D0%BC%D0%B8%D0%BD%D0%B0%D1%80)&amp;diff=22761"/>
		<updated>2017-03-05T12:54:29Z</updated>

		<summary type="html">&lt;p&gt;Simagin.denis: &lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;Описание [[Рендзю (проект)|проекта]], последний [[Рендзю_(семинар)#.D0.A1.D0.B5.D0.BC.D0.B8.D0.BD.D0.B0.D1.80.D1.8B|семинар]].&lt;br /&gt;
&lt;br /&gt;
==Правила игры ==&lt;br /&gt;
* &#039;&#039;&#039;Ментор:&#039;&#039;&#039; [[Участник:Simagin.denis|Симагин Денис]].&lt;br /&gt;
* &#039;&#039;&#039;Место:&#039;&#039;&#039; офис Яндекса ([https://maps.yandex.ru/213/moscow/?ll=37.590150%2C55.734065&amp;amp;z=18&amp;amp;l=stv%2Csta&amp;amp;panorama%5Bpoint%5D=37.589416%2C55.733747&amp;amp;panorama%5Bdirection%5D=40.412258%2C-11.910596&amp;amp;panorama%5Bspan%5D=130.000000%2C52.209677 место встречи])&lt;br /&gt;
* &#039;&#039;&#039;Время:&#039;&#039;&#039; c 19:00, каждую среду.&lt;br /&gt;
&lt;br /&gt;
Общение с ментором вне занятий приветствуется. Можно задавать вопросы, в том числе философские. Но перед тем, как написать, попробуйте спросить это у [https://ya.ru Яндекса]. Также не обижайтесь, если в ответ вам пришла ссылка на документацию или какую-то статью.&lt;br /&gt;
&lt;br /&gt;
===Ключевые точки===&lt;br /&gt;
Сверху нам спущены ключевые точки выполнения проекта. Для нас они скорее явлются формальными, тем не менее мы должны их соблюдать.&lt;br /&gt;
# &#039;&#039;&#039;12-17 декабря&#039;&#039;&#039; - все включились в работу&lt;br /&gt;
# &#039;&#039;&#039;20-25 марта&#039;&#039;&#039; - реализован объем работ, необходимый для зачета&lt;br /&gt;
# &#039;&#039;&#039;30 мая - 3 июня&#039;&#039;&#039; - окончание проектной работы, вы готовы, как пионеры. &lt;br /&gt;
# &#039;&#039;&#039;начало июня&#039;&#039;&#039; - конкурс проектов.&lt;br /&gt;
&lt;br /&gt;
===Правило 2Х===&lt;br /&gt;
У вас есть право на одну ошибку. Следующая - я отказываюсь с вами работать.&lt;br /&gt;
&lt;br /&gt;
===Репозитории===&lt;br /&gt;
Студенты хранят свой код в следующих репозиториях&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
| Ментор  || https://github.com/dasimagin/renju&lt;br /&gt;
|-&lt;br /&gt;
| Харламов || https://github.com/gamers5a/renju&lt;br /&gt;
|-&lt;br /&gt;
| Сопов || https://github.com/PreFX48/renju&lt;br /&gt;
|-&lt;br /&gt;
| Vodim  || https://github.com/EterniusVGM/Renju&lt;br /&gt;
|-&lt;br /&gt;
| Yuriy || https://github.com/yurriy/renju&lt;br /&gt;
|-&lt;br /&gt;
| Storozh || https://github.com/storandrew/Renju&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
===Разбор статьи===&lt;br /&gt;
В рамках проекта студент должен разобрать интересную для него статью и доложить ее на общем семинаре.&lt;br /&gt;
&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
! Студент !! Статья !! Дата&lt;br /&gt;
|-&lt;br /&gt;
| Харламов || http://web.stanford.edu/~takapoui/linear_bandits.pdf || -&lt;br /&gt;
|-&lt;br /&gt;
| Сопов || https://papers.nips.cc/paper/6068-learning-feed-forward-one-shot-learners.pdf || -&lt;br /&gt;
|-&lt;br /&gt;
| Гринберг  || https://arxiv.org/pdf/1611.01626.pdf || -&lt;br /&gt;
|-&lt;br /&gt;
| Баранов || https://arxiv.org/pdf/1611.01224.pdf || -&lt;br /&gt;
|-&lt;br /&gt;
| Стороженко || https://arxiv.org/pdf/1511.06581v3.pdf || 19 марта&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
===Лабораторные===&lt;br /&gt;
Лабораторные проводятся для практического закрепления материала. Их выполнение учитывается в итоговой оценке.&lt;br /&gt;
&lt;br /&gt;
# Результатом работы является jupyter notebook, где сохранен вывод вашего кода, графики и т.п. А так же его импорт в формат .py. Для автоматизации процесса можно настроить jupyter.&lt;br /&gt;
# Когда сроки выполнения лабораторной завершены, вы выкладываете ее на ревью, создавая соответствующее задание и запрос на объединение ветки с мастером (не забудьте добавить проверяющего).&lt;br /&gt;
# Ваш коллега проводит ревью кода и может оставлять замечания, как в виде комментариев к заданию, так и в файле .py. Оно предполагает проверку стиля и правильность кода, а также конструктивные замечания по производительности. Однако не стремитесь сразу оптимизировать код. Добейтесь лучше того, чтобы все работало правильно.&lt;br /&gt;
# Когда ревью завершено, влейтесь в мастер и закройте задание.&lt;br /&gt;
&lt;br /&gt;
===Результаты===&lt;br /&gt;
Текущие результаты можно найти  [https://docs.google.com/spreadsheets/d/1VAaIoKGOYkMYKxYMPjHs_TsYabjHo27jA4fiQg_R344/edit?usp=sharing здесь]. Оценка складывается из нескольких частей:&lt;br /&gt;
# Работа на семинаре&lt;br /&gt;
# Доклад статьи&lt;br /&gt;
# Итоговое качество игры&lt;br /&gt;
&lt;br /&gt;
==Семинары==&lt;br /&gt;
&lt;br /&gt;
===S01.03===&lt;br /&gt;
# Освежили подход TD(0): SARSA, Q-learning и Expected SARSA&lt;br /&gt;
# Double Q-learning&lt;br /&gt;
# n-step TD и n-step tree backup&lt;br /&gt;
# Поговорил про Monte Carlo tree search&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;Дополнительное чтение.&#039;&#039;&#039;&lt;br /&gt;
Не говорил на семинаре, но можно почитать:&lt;br /&gt;
# Sample ratio для TD(0) подхода&lt;br /&gt;
# Dyna-Q и Dyna-Q+&lt;br /&gt;
# Prioritized sweeping&lt;br /&gt;
&lt;br /&gt;
===S01.02===&lt;br /&gt;
Обсудили будущее. Всю дальнейшую теорию будем рассматривать сразу в рамках игры рендзю. Также согласовали формат данных для партии.&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;Формат данных&#039;&#039;&#039;&lt;br /&gt;
# Каждая партия представляет собой строку в файле (в качестве разделителя используем &#039;\n&#039;).&lt;br /&gt;
# В начале строки записан результат &#039;&#039;{black, white, draw, unknown}&#039;&#039;.&lt;br /&gt;
# Далее через пробельный разделитель перечислены ходы игроков в формате столбец-строка.&lt;br /&gt;
# Столбцы пронумерованы строчными буквами латинского алфавита .&lt;br /&gt;
# Строки пронумерованы арабскими цифрами, начиная с 1.&lt;br /&gt;
# Начало координатной сетки в левом нижнем углу.&lt;br /&gt;
# Предполагается, что первый ход делают черные.&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;Пример:&#039;&#039;&#039; unknown h8 g9 ...&lt;br /&gt;
&lt;br /&gt;
&lt;br /&gt;
Скрипт для &#039;&#039;&#039;справедливого&#039;&#039;&#039; распределения заданий по подготовке данных для обучения можно найти [https://github.com/dasimagin/renju/blob/master/data/task.py здесь].&lt;br /&gt;
&lt;br /&gt;
===S25.01===&lt;br /&gt;
# Поговорили на тему [https://en.wikipedia.org/wiki/Multi-armed_bandit многоруких бандитов].&lt;br /&gt;
# Начали осваивать [https://en.wikipedia.org/wiki/Reinforcement_learning reinforcment learning].&lt;br /&gt;
&lt;br /&gt;
Полезная книга может быть найдена [https://webdocs.cs.ualberta.ca/~sutton/book/bookdraft2016sep.pdf  здесь].&lt;br /&gt;
&lt;br /&gt;
===L4===&lt;br /&gt;
&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
! Ревьюер !! Разработчик !! Оценка&lt;br /&gt;
|-&lt;br /&gt;
| Сопов || Харламов|| -&lt;br /&gt;
|-&lt;br /&gt;
| Гринберг || Сопов  || -&lt;br /&gt;
|-&lt;br /&gt;
| Баранов  || Гринберг || -&lt;br /&gt;
|-&lt;br /&gt;
| Стороженко || Баранов || -&lt;br /&gt;
|-&lt;br /&gt;
| Харламов  || Стороженко || -&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
Появилась очередная лабораторная работа [https://github.com/dasimagin/renju/blob/master/labs/L4%20-%20Reinforcement%20learning.ipynb L4].&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;Cроки:&#039;&#039;&#039;&lt;br /&gt;
* Начало ревью: 11 февраля, 00:00.&lt;br /&gt;
* Окончание: 16 февраля, 23:59.&lt;br /&gt;
&lt;br /&gt;
===S18.01===&lt;br /&gt;
В связи с болезнью ментора занятие отменено.&lt;br /&gt;
&lt;br /&gt;
===H11.01===&lt;br /&gt;
Произвели разбор L3. Описание модели победителя можно найти [здесь], а baseline доступен [https://github.com/dasimagin/renju/blob/master/labs/L3%20-%20Baseline.ipynb здесь].&lt;br /&gt;
&lt;br /&gt;
Доклады мне не очень понравились. Постараюсь написать общие замечания.&lt;br /&gt;
# Прежде всего у докладчика должна быть хорошая речь.&lt;br /&gt;
# Нужно выделить то, что действительно важно и интересно для слушателя.&lt;br /&gt;
# Делать на доске четкие и простые рисунки и записи, убедиться, что аудитория тебя понимает.&lt;br /&gt;
# Не прыгать с темы на тему, а идти в соответсвии с логическим планом.&lt;br /&gt;
&lt;br /&gt;
===S14.12===&lt;br /&gt;
Начали разбирать нашу [https://storage.googleapis.com/deepmind-media/alphago/AlphaGoNaturePaper.pdf статью]. Есть пара источников на русском:&lt;br /&gt;
* [https://ru.wikipedia.org/wiki/AlphaGo Статья] на wikipedia&lt;br /&gt;
* [https://habrahabr.ru/post/279071/ Статья]  на хабре&lt;br /&gt;
&lt;br /&gt;
===H11.12===&lt;br /&gt;
Занятие было посвящено выполнению второй лабораторной. Интересный ноутбук скоро появится [здесь].&lt;br /&gt;
&lt;br /&gt;
===S08.12===&lt;br /&gt;
&#039;&#039;&#039;1. Известные архитектуры сверточных сетей&#039;&#039;&#039;&lt;br /&gt;
* [https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Alexnet]&lt;br /&gt;
* [https://arxiv.org/pdf/1409.1556.pdf VGG net]&lt;br /&gt;
* [https://arxiv.org/pdf/1409.4842v1.pdf GoogLeNet]&lt;br /&gt;
* [https://arxiv.org/pdf/1512.03385.pdf ResNet]&lt;br /&gt;
&#039;&#039;&#039;2. Поговорили:&#039;&#039;&#039;&lt;br /&gt;
* На что активируются нейроны в зависимости от слоя&lt;br /&gt;
* Генерация &#039;похожих картинок&#039;&lt;br /&gt;
* Послойное обучение сети&lt;br /&gt;
* Переобучение или дообучение уже готовой сети&lt;br /&gt;
&#039;&#039;&#039;3. Изучили примеры для библиотеки Keras&#039;&#039;&#039;&lt;br /&gt;
*  [https://github.com/fchollet/keras/blob/master/examples/mnist_mlp.py Полносвязанная сеть]&lt;br /&gt;
* [https://github.com/fchollet/keras/blob/master/examples/mnist_cnn.py Сверточная сеть ]&lt;br /&gt;
* [https://github.com/fchollet/keras/blob/master/examples/mnist_transfer_cnn.py Переобучение] сверточной сети &lt;br /&gt;
&lt;br /&gt;
===L3===&lt;br /&gt;
&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
! Студент !! CPU !! RAM !! GPU&lt;br /&gt;
|- &lt;br /&gt;
| Пример || 6 core, 3,5 GHz || 64GB || NVIDIA TITAN X&lt;br /&gt;
|-&lt;br /&gt;
| Харламов || 4 core, 3,6 GHz || 16GB || NVIDIA GTX 960m 2GB&lt;br /&gt;
|-&lt;br /&gt;
| Сопов || 4 core, 2,7 GHz || 8GB || NVIDIA GTX 940m&lt;br /&gt;
|-&lt;br /&gt;
| Гринберг || 4 core, 3,6 GHz || 16 GB || NVIDIA GTX 1070 8GB&lt;br /&gt;
|-&lt;br /&gt;
| Баранов || 4 core, 3,5GHz || 8GB || NVIDIA GTX 960m 2GB&lt;br /&gt;
|-&lt;br /&gt;
| Стороженко || 6 core 3.0 GHz || 16 GB || NVIDIA GTX 1060 6GB&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
Победить в [https://inclass.kaggle.com/c/ch-ch конкурсе] классификации,  срок 3 января, 23:59.&lt;br /&gt;
&lt;br /&gt;
Для этого вам понадобится&lt;br /&gt;
* Установить [https://www.tensorflow.org Tensorflow] &lt;br /&gt;
* Установить [https://keras.io Keras] &lt;br /&gt;
* Запастись терпением&lt;br /&gt;
&lt;br /&gt;
===S01.12===&lt;br /&gt;
&#039;&#039;&#039;1. Полносвязанные сети:&#039;&#039;&#039;&lt;br /&gt;
* Подсчитаны производные для [https://en.wikipedia.org/wiki/Backpropagation Backpropagation], обсуждены тонкости реализации.&lt;br /&gt;
* Различные виды нелинейности: [https://en.wikipedia.org/wiki/Rectifier_(neural_networks) ReLu], [https://arxiv.org/pdf/1502.01852v1.pdf PReLu], [https://en.wikipedia.org/wiki/Sigmoid_function Sigmoid].&lt;br /&gt;
* Обучение сетей при помощи [https://en.wikipedia.org/wiki/Autoencoder Autoencoder].&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;2. Сверточные сети:&#039;&#039;&#039;&lt;br /&gt;
* Cтруктура [https://en.wikipedia.org/wiki/Convolutional_neural_network CNN].&lt;br /&gt;
* Затронуты: [https://en.wikipedia.org/wiki/Convolution Convolution], [https://en.wikipedia.org/wiki/Convolutional_neural_network#Pooling_layer Pooling].&lt;br /&gt;
* Влияние различных ядер свертки на структуру сети.&lt;br /&gt;
* [https://en.wikipedia.org/wiki/Convolutional_neural_network#Choosing_hyperparameters Feature maps].&lt;br /&gt;
* Разобрана архитектура [https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Alexnet].&lt;br /&gt;
* Сочетание из Convolutional и Dense слоев.&lt;br /&gt;
&lt;br /&gt;
===S24.11===&lt;br /&gt;
&#039;&#039;&#039;1. Регуляризация:&#039;&#039;&#039;&lt;br /&gt;
* Разобрали L1 и L2 регуляризаторы, можно найти [https://en.wikipedia.org/wiki/Regularization_(mathematics) здесь].&lt;br /&gt;
* Используйте простые классификаторы&lt;br /&gt;
* Раняя остановка (смотрим качество на отложенном множестве)&lt;br /&gt;
* Добавление шума&lt;br /&gt;
* Комбинирование классификаторов&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;2. Полносвязанные сети:&#039;&#039;&#039;&lt;br /&gt;
* Множественная классификация и [https://en.wikipedia.org/wiki/Softmax_function softmax].&lt;br /&gt;
* Метод [http://www.machinelearning.ru/wiki/images/0/0f/karpinskaya-2010.pdf обратного распространения ошибки], проблема при обучении.&lt;br /&gt;
* Инициализация весов:  и [http://jmlr.org/proceedings/papers/v9/glorot10a/glorot10a.pdf xavier] и другие [https://arxiv.org/pdf/1502.01852v1.pdf вариации].&lt;br /&gt;
* Кратко о [https://en.wikipedia.org/wiki/Convolutional_neural_network#Dropout dropout].&lt;br /&gt;
&lt;br /&gt;
===L2===&lt;br /&gt;
Задание можно найти [https://github.com/dasimagin/renju/blob/master/labs/L2%20-%20Nets.ipynb здесь],  срок 23:59 11 декабря.&lt;br /&gt;
&lt;br /&gt;
===S02.11===&lt;br /&gt;
# [https://en.wikipedia.org/wiki/Feature_(machine_learning) Признаки] и какие они бывают. Об отборе признаков, кратко [https://habrahabr.ru/post/264915/ тут]. Может помочь на конкурсе.&lt;br /&gt;
# Задача [http://www.machinelearning.ru/wiki/index.php?title=Линейный_классификатор бинарной классификации].&lt;br /&gt;
# [http://www.machinelearning.ru/wiki/index.php?title=Метод_градиентного_спуска Градиентный спуск].&lt;br /&gt;
# [http://www.machinelearning.ru/wiki/index.php?title=Метод_стохастического_градиента Стохастический градиентный спуск]. На английской [https://en.wikipedia.org/wiki/Stochastic_gradient_descent вике] больше интересной информации.&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;Для дополнительного чтения:&#039;&#039;&#039;&lt;br /&gt;
# [https://homes.cs.washington.edu/~pedrod/papers/cacm12.pdf Что полезно знать о машинном обучении].&lt;br /&gt;
# [https://en.wikipedia.org/wiki/Feature_(machine_learning) Английская вика про признаки]&lt;br /&gt;
# [http://www.jmlr.org/papers/volume3/guyon03a/guyon03a.pdf Отбор признаков].&lt;br /&gt;
# Мощная теоретическая работа про [https://mipt.ru/upload/medialibrary/d7e/41-91.pdf стохастический градиентный спуск].&lt;br /&gt;
&lt;br /&gt;
===L1===&lt;br /&gt;
&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
! Ревьюер !! Разработчик !! Оценка&lt;br /&gt;
|-&lt;br /&gt;
|Харламов || Сопов || 9&lt;br /&gt;
|-&lt;br /&gt;
| Сопов || Гринберг || 10&lt;br /&gt;
|-&lt;br /&gt;
| Гринберг || Баранов || 8&lt;br /&gt;
|-&lt;br /&gt;
| Баранов || Стороженко || 10&lt;br /&gt;
|-&lt;br /&gt;
| Стороженко || Харламов || 8&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
Для [https://github.com/dasimagin/renju/blob/master/labs/L1%20-%20Gradient%20descent%20and%20linear%20models.ipynb первой] лабораторной работы вам потребуется:&lt;br /&gt;
# Настроить себе [https://pip.pypa.io/en/stable/ pip] для Python3&lt;br /&gt;
# Освоить [http://jupyter.org Jupyter notebook]&lt;br /&gt;
# Установить пакеты [http://www.scipy.org scipy]: numpy, scipy, matplotlib&lt;/div&gt;</summary>
		<author><name>Simagin.denis</name></author>
	</entry>
	<entry>
		<id>https://wiki.cs.hse.ru/index.php?title=%D0%A0%D0%B5%D0%BD%D0%B4%D0%B7%D1%8E_(%D1%81%D0%B5%D0%BC%D0%B8%D0%BD%D0%B0%D1%80)&amp;diff=22760</id>
		<title>Рендзю (семинар)</title>
		<link rel="alternate" type="text/html" href="https://wiki.cs.hse.ru/index.php?title=%D0%A0%D0%B5%D0%BD%D0%B4%D0%B7%D1%8E_(%D1%81%D0%B5%D0%BC%D0%B8%D0%BD%D0%B0%D1%80)&amp;diff=22760"/>
		<updated>2017-03-05T12:53:50Z</updated>

		<summary type="html">&lt;p&gt;Simagin.denis: &lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;Описание [[Рендзю (проект)|проекта]], последний [[Рендзю_(семинар)#.D0.A1.D0.B5.D0.BC.D0.B8.D0.BD.D0.B0.D1.80.D1.8B|семинар]].&lt;br /&gt;
&lt;br /&gt;
==Правила игры ==&lt;br /&gt;
* &#039;&#039;&#039;Ментор:&#039;&#039;&#039; [[Участник:Simagin.denis|Симагин Денис]].&lt;br /&gt;
* &#039;&#039;&#039;Место:&#039;&#039;&#039; офис Яндекса ([https://maps.yandex.ru/213/moscow/?ll=37.590150%2C55.734065&amp;amp;z=18&amp;amp;l=stv%2Csta&amp;amp;panorama%5Bpoint%5D=37.589416%2C55.733747&amp;amp;panorama%5Bdirection%5D=40.412258%2C-11.910596&amp;amp;panorama%5Bspan%5D=130.000000%2C52.209677 место встречи])&lt;br /&gt;
* &#039;&#039;&#039;Время:&#039;&#039;&#039; c 19:00, каждую среду.&lt;br /&gt;
&lt;br /&gt;
Общение с ментором вне занятий приветствуется. Можно задавать вопросы, в том числе философские. Но перед тем, как написать, попробуйте спросить это у [https://ya.ru Яндекса]. Также не обижайтесь, если в ответ вам пришла ссылка на документацию или какую-то статью.&lt;br /&gt;
&lt;br /&gt;
===Ключевые точки===&lt;br /&gt;
Сверху нам спущены ключевые точки выполнения проекта. Для нас они скорее явлются формальными, тем не менее мы должны их соблюдать.&lt;br /&gt;
# &#039;&#039;&#039;12-17 декабря&#039;&#039;&#039; - все включились в работу&lt;br /&gt;
# &#039;&#039;&#039;20-25 марта&#039;&#039;&#039; - реализован объем работ, необходимый для зачета&lt;br /&gt;
# &#039;&#039;&#039;30 мая - 3 июня&#039;&#039;&#039; - окончание проектной работы, вы готовы, как пионеры. &lt;br /&gt;
# &#039;&#039;&#039;начало июня&#039;&#039;&#039; - конкурс проектов.&lt;br /&gt;
&lt;br /&gt;
===Правило 2Х===&lt;br /&gt;
У вас есть право на одну ошибку. Следующая - я отказываюсь с вами работать.&lt;br /&gt;
&lt;br /&gt;
===Репозитории===&lt;br /&gt;
Студенты хранят свой код в следующих репозиториях&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
| Ментор  || https://github.com/dasimagin/renju&lt;br /&gt;
|-&lt;br /&gt;
| Харламов || https://github.com/gamers5a/renju&lt;br /&gt;
|-&lt;br /&gt;
| Сопов || https://github.com/PreFX48/renju&lt;br /&gt;
|-&lt;br /&gt;
| Vodim  || https://github.com/EterniusVGM/Renju&lt;br /&gt;
|-&lt;br /&gt;
| Yuriy || https://github.com/yurriy/renju&lt;br /&gt;
|-&lt;br /&gt;
| Storozh || https://github.com/storandrew/Renju&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
===Разбор статьи===&lt;br /&gt;
В рамках проекта студент должен разобрать интересную для него статью и доложить ее на общем семинаре.&lt;br /&gt;
&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
! Студент !! Статья !! Дата&lt;br /&gt;
|-&lt;br /&gt;
| Харламов || http://web.stanford.edu/~takapoui/linear_bandits.pdf || -&lt;br /&gt;
|-&lt;br /&gt;
| Сопов || https://papers.nips.cc/paper/6068-learning-feed-forward-one-shot-learners.pdf || -&lt;br /&gt;
|-&lt;br /&gt;
| Гринберг  || https://arxiv.org/pdf/1611.01626.pdf || -&lt;br /&gt;
|-&lt;br /&gt;
| Баранов || https://arxiv.org/pdf/1611.01224.pdf || -&lt;br /&gt;
|-&lt;br /&gt;
| Стороженко || https://arxiv.org/pdf/1511.06581v3.pdf || 19 марта&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
===Лабораторные===&lt;br /&gt;
Лабораторные проводятся для практического закрепления материала. Их выполнение учитывается в итоговой оценке.&lt;br /&gt;
&lt;br /&gt;
# Результатом работы является jupyter notebook, где сохранен вывод вашего кода, графики и т.п. А так же его импорт в формат .py. Для автоматизации процесса можно настроить jupyter.&lt;br /&gt;
# Когда сроки выполнения лабораторной завершены, вы выкладываете ее на ревью, создавая соответствующее задание и запрос на объединение ветки с мастером (не забудьте добавить проверяющего).&lt;br /&gt;
# Ваш коллега проводит ревью кода и может оставлять замечания, как в виде комментариев к заданию, так и в файле .py. Оно предполагает проверку стиля и правильность кода, а также конструктивные замечания по производительности. Однако не стремитесь сразу оптимизировать код. Добейтесь лучше того, чтобы все работало правильно.&lt;br /&gt;
# Когда ревью завершено, влейтесь в мастер и закройте задание.&lt;br /&gt;
&lt;br /&gt;
===Результаты===&lt;br /&gt;
Текущие результаты можно найти  [https://docs.google.com/spreadsheets/d/1VAaIoKGOYkMYKxYMPjHs_TsYabjHo27jA4fiQg_R344/edit?usp=sharing здесь]. Оценка складывается из нескольких частей:&lt;br /&gt;
# Работа на семинаре&lt;br /&gt;
# Доклад статьи&lt;br /&gt;
# Итоговое качество игры&lt;br /&gt;
&lt;br /&gt;
==Семинары==&lt;br /&gt;
&lt;br /&gt;
===S01.03===&lt;br /&gt;
1. Освежили подход TD(0): SARSA, Q-learning и Expected SARSA&lt;br /&gt;
2. Double Q-learning&lt;br /&gt;
3. n-step TD и n-step tree backup&lt;br /&gt;
4. Поговорил про Monte Carlo tree search&lt;br /&gt;
&lt;br /&gt;
**Дополнительное чтение:**&lt;br /&gt;
Не говорил на семинаре, но можно почитать:&lt;br /&gt;
1. Sample ratio для TD(0) подхода&lt;br /&gt;
2. Dyna-Q и Dyna-Q+&lt;br /&gt;
3. Prioritized sweeping&lt;br /&gt;
&lt;br /&gt;
===S01.02===&lt;br /&gt;
Обсудили будущее. Всю дальнейшую теорию будем рассматривать сразу в рамках игры рендзю. Также согласовали формат данных для партии.&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;Формат данных&#039;&#039;&#039;&lt;br /&gt;
# Каждая партия представляет собой строку в файле (в качестве разделителя используем &#039;\n&#039;).&lt;br /&gt;
# В начале строки записан результат &#039;&#039;{black, white, draw, unknown}&#039;&#039;.&lt;br /&gt;
# Далее через пробельный разделитель перечислены ходы игроков в формате столбец-строка.&lt;br /&gt;
# Столбцы пронумерованы строчными буквами латинского алфавита .&lt;br /&gt;
# Строки пронумерованы арабскими цифрами, начиная с 1.&lt;br /&gt;
# Начало координатной сетки в левом нижнем углу.&lt;br /&gt;
# Предполагается, что первый ход делают черные.&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;Пример:&#039;&#039;&#039; unknown h8 g9 ...&lt;br /&gt;
&lt;br /&gt;
&lt;br /&gt;
Скрипт для &#039;&#039;&#039;справедливого&#039;&#039;&#039; распределения заданий по подготовке данных для обучения можно найти [https://github.com/dasimagin/renju/blob/master/data/task.py здесь].&lt;br /&gt;
&lt;br /&gt;
===S25.01===&lt;br /&gt;
# Поговорили на тему [https://en.wikipedia.org/wiki/Multi-armed_bandit многоруких бандитов].&lt;br /&gt;
# Начали осваивать [https://en.wikipedia.org/wiki/Reinforcement_learning reinforcment learning].&lt;br /&gt;
&lt;br /&gt;
Полезная книга может быть найдена [https://webdocs.cs.ualberta.ca/~sutton/book/bookdraft2016sep.pdf  здесь].&lt;br /&gt;
&lt;br /&gt;
===L4===&lt;br /&gt;
&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
! Ревьюер !! Разработчик !! Оценка&lt;br /&gt;
|-&lt;br /&gt;
| Сопов || Харламов|| -&lt;br /&gt;
|-&lt;br /&gt;
| Гринберг || Сопов  || -&lt;br /&gt;
|-&lt;br /&gt;
| Баранов  || Гринберг || -&lt;br /&gt;
|-&lt;br /&gt;
| Стороженко || Баранов || -&lt;br /&gt;
|-&lt;br /&gt;
| Харламов  || Стороженко || -&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
Появилась очередная лабораторная работа [https://github.com/dasimagin/renju/blob/master/labs/L4%20-%20Reinforcement%20learning.ipynb L4].&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;Cроки:&#039;&#039;&#039;&lt;br /&gt;
* Начало ревью: 11 февраля, 00:00.&lt;br /&gt;
* Окончание: 16 февраля, 23:59.&lt;br /&gt;
&lt;br /&gt;
===S18.01===&lt;br /&gt;
В связи с болезнью ментора занятие отменено.&lt;br /&gt;
&lt;br /&gt;
===H11.01===&lt;br /&gt;
Произвели разбор L3. Описание модели победителя можно найти [здесь], а baseline доступен [https://github.com/dasimagin/renju/blob/master/labs/L3%20-%20Baseline.ipynb здесь].&lt;br /&gt;
&lt;br /&gt;
Доклады мне не очень понравились. Постараюсь написать общие замечания.&lt;br /&gt;
# Прежде всего у докладчика должна быть хорошая речь.&lt;br /&gt;
# Нужно выделить то, что действительно важно и интересно для слушателя.&lt;br /&gt;
# Делать на доске четкие и простые рисунки и записи, убедиться, что аудитория тебя понимает.&lt;br /&gt;
# Не прыгать с темы на тему, а идти в соответсвии с логическим планом.&lt;br /&gt;
&lt;br /&gt;
===S14.12===&lt;br /&gt;
Начали разбирать нашу [https://storage.googleapis.com/deepmind-media/alphago/AlphaGoNaturePaper.pdf статью]. Есть пара источников на русском:&lt;br /&gt;
* [https://ru.wikipedia.org/wiki/AlphaGo Статья] на wikipedia&lt;br /&gt;
* [https://habrahabr.ru/post/279071/ Статья]  на хабре&lt;br /&gt;
&lt;br /&gt;
===H11.12===&lt;br /&gt;
Занятие было посвящено выполнению второй лабораторной. Интересный ноутбук скоро появится [здесь].&lt;br /&gt;
&lt;br /&gt;
===S08.12===&lt;br /&gt;
&#039;&#039;&#039;1. Известные архитектуры сверточных сетей&#039;&#039;&#039;&lt;br /&gt;
* [https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Alexnet]&lt;br /&gt;
* [https://arxiv.org/pdf/1409.1556.pdf VGG net]&lt;br /&gt;
* [https://arxiv.org/pdf/1409.4842v1.pdf GoogLeNet]&lt;br /&gt;
* [https://arxiv.org/pdf/1512.03385.pdf ResNet]&lt;br /&gt;
&#039;&#039;&#039;2. Поговорили:&#039;&#039;&#039;&lt;br /&gt;
* На что активируются нейроны в зависимости от слоя&lt;br /&gt;
* Генерация &#039;похожих картинок&#039;&lt;br /&gt;
* Послойное обучение сети&lt;br /&gt;
* Переобучение или дообучение уже готовой сети&lt;br /&gt;
&#039;&#039;&#039;3. Изучили примеры для библиотеки Keras&#039;&#039;&#039;&lt;br /&gt;
*  [https://github.com/fchollet/keras/blob/master/examples/mnist_mlp.py Полносвязанная сеть]&lt;br /&gt;
* [https://github.com/fchollet/keras/blob/master/examples/mnist_cnn.py Сверточная сеть ]&lt;br /&gt;
* [https://github.com/fchollet/keras/blob/master/examples/mnist_transfer_cnn.py Переобучение] сверточной сети &lt;br /&gt;
&lt;br /&gt;
===L3===&lt;br /&gt;
&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
! Студент !! CPU !! RAM !! GPU&lt;br /&gt;
|- &lt;br /&gt;
| Пример || 6 core, 3,5 GHz || 64GB || NVIDIA TITAN X&lt;br /&gt;
|-&lt;br /&gt;
| Харламов || 4 core, 3,6 GHz || 16GB || NVIDIA GTX 960m 2GB&lt;br /&gt;
|-&lt;br /&gt;
| Сопов || 4 core, 2,7 GHz || 8GB || NVIDIA GTX 940m&lt;br /&gt;
|-&lt;br /&gt;
| Гринберг || 4 core, 3,6 GHz || 16 GB || NVIDIA GTX 1070 8GB&lt;br /&gt;
|-&lt;br /&gt;
| Баранов || 4 core, 3,5GHz || 8GB || NVIDIA GTX 960m 2GB&lt;br /&gt;
|-&lt;br /&gt;
| Стороженко || 6 core 3.0 GHz || 16 GB || NVIDIA GTX 1060 6GB&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
Победить в [https://inclass.kaggle.com/c/ch-ch конкурсе] классификации,  срок 3 января, 23:59.&lt;br /&gt;
&lt;br /&gt;
Для этого вам понадобится&lt;br /&gt;
* Установить [https://www.tensorflow.org Tensorflow] &lt;br /&gt;
* Установить [https://keras.io Keras] &lt;br /&gt;
* Запастись терпением&lt;br /&gt;
&lt;br /&gt;
===S01.12===&lt;br /&gt;
&#039;&#039;&#039;1. Полносвязанные сети:&#039;&#039;&#039;&lt;br /&gt;
* Подсчитаны производные для [https://en.wikipedia.org/wiki/Backpropagation Backpropagation], обсуждены тонкости реализации.&lt;br /&gt;
* Различные виды нелинейности: [https://en.wikipedia.org/wiki/Rectifier_(neural_networks) ReLu], [https://arxiv.org/pdf/1502.01852v1.pdf PReLu], [https://en.wikipedia.org/wiki/Sigmoid_function Sigmoid].&lt;br /&gt;
* Обучение сетей при помощи [https://en.wikipedia.org/wiki/Autoencoder Autoencoder].&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;2. Сверточные сети:&#039;&#039;&#039;&lt;br /&gt;
* Cтруктура [https://en.wikipedia.org/wiki/Convolutional_neural_network CNN].&lt;br /&gt;
* Затронуты: [https://en.wikipedia.org/wiki/Convolution Convolution], [https://en.wikipedia.org/wiki/Convolutional_neural_network#Pooling_layer Pooling].&lt;br /&gt;
* Влияние различных ядер свертки на структуру сети.&lt;br /&gt;
* [https://en.wikipedia.org/wiki/Convolutional_neural_network#Choosing_hyperparameters Feature maps].&lt;br /&gt;
* Разобрана архитектура [https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Alexnet].&lt;br /&gt;
* Сочетание из Convolutional и Dense слоев.&lt;br /&gt;
&lt;br /&gt;
===S24.11===&lt;br /&gt;
&#039;&#039;&#039;1. Регуляризация:&#039;&#039;&#039;&lt;br /&gt;
* Разобрали L1 и L2 регуляризаторы, можно найти [https://en.wikipedia.org/wiki/Regularization_(mathematics) здесь].&lt;br /&gt;
* Используйте простые классификаторы&lt;br /&gt;
* Раняя остановка (смотрим качество на отложенном множестве)&lt;br /&gt;
* Добавление шума&lt;br /&gt;
* Комбинирование классификаторов&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;2. Полносвязанные сети:&#039;&#039;&#039;&lt;br /&gt;
* Множественная классификация и [https://en.wikipedia.org/wiki/Softmax_function softmax].&lt;br /&gt;
* Метод [http://www.machinelearning.ru/wiki/images/0/0f/karpinskaya-2010.pdf обратного распространения ошибки], проблема при обучении.&lt;br /&gt;
* Инициализация весов:  и [http://jmlr.org/proceedings/papers/v9/glorot10a/glorot10a.pdf xavier] и другие [https://arxiv.org/pdf/1502.01852v1.pdf вариации].&lt;br /&gt;
* Кратко о [https://en.wikipedia.org/wiki/Convolutional_neural_network#Dropout dropout].&lt;br /&gt;
&lt;br /&gt;
===L2===&lt;br /&gt;
Задание можно найти [https://github.com/dasimagin/renju/blob/master/labs/L2%20-%20Nets.ipynb здесь],  срок 23:59 11 декабря.&lt;br /&gt;
&lt;br /&gt;
===S02.11===&lt;br /&gt;
# [https://en.wikipedia.org/wiki/Feature_(machine_learning) Признаки] и какие они бывают. Об отборе признаков, кратко [https://habrahabr.ru/post/264915/ тут]. Может помочь на конкурсе.&lt;br /&gt;
# Задача [http://www.machinelearning.ru/wiki/index.php?title=Линейный_классификатор бинарной классификации].&lt;br /&gt;
# [http://www.machinelearning.ru/wiki/index.php?title=Метод_градиентного_спуска Градиентный спуск].&lt;br /&gt;
# [http://www.machinelearning.ru/wiki/index.php?title=Метод_стохастического_градиента Стохастический градиентный спуск]. На английской [https://en.wikipedia.org/wiki/Stochastic_gradient_descent вике] больше интересной информации.&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;Для дополнительного чтения:&#039;&#039;&#039;&lt;br /&gt;
# [https://homes.cs.washington.edu/~pedrod/papers/cacm12.pdf Что полезно знать о машинном обучении].&lt;br /&gt;
# [https://en.wikipedia.org/wiki/Feature_(machine_learning) Английская вика про признаки]&lt;br /&gt;
# [http://www.jmlr.org/papers/volume3/guyon03a/guyon03a.pdf Отбор признаков].&lt;br /&gt;
# Мощная теоретическая работа про [https://mipt.ru/upload/medialibrary/d7e/41-91.pdf стохастический градиентный спуск].&lt;br /&gt;
&lt;br /&gt;
===L1===&lt;br /&gt;
&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
! Ревьюер !! Разработчик !! Оценка&lt;br /&gt;
|-&lt;br /&gt;
|Харламов || Сопов || 9&lt;br /&gt;
|-&lt;br /&gt;
| Сопов || Гринберг || 10&lt;br /&gt;
|-&lt;br /&gt;
| Гринберг || Баранов || 8&lt;br /&gt;
|-&lt;br /&gt;
| Баранов || Стороженко || 10&lt;br /&gt;
|-&lt;br /&gt;
| Стороженко || Харламов || 8&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
Для [https://github.com/dasimagin/renju/blob/master/labs/L1%20-%20Gradient%20descent%20and%20linear%20models.ipynb первой] лабораторной работы вам потребуется:&lt;br /&gt;
# Настроить себе [https://pip.pypa.io/en/stable/ pip] для Python3&lt;br /&gt;
# Освоить [http://jupyter.org Jupyter notebook]&lt;br /&gt;
# Установить пакеты [http://www.scipy.org scipy]: numpy, scipy, matplotlib&lt;/div&gt;</summary>
		<author><name>Simagin.denis</name></author>
	</entry>
	<entry>
		<id>https://wiki.cs.hse.ru/index.php?title=%D0%A0%D0%B5%D0%BD%D0%B4%D0%B7%D1%8E_(%D1%81%D0%B5%D0%BC%D0%B8%D0%BD%D0%B0%D1%80)&amp;diff=22759</id>
		<title>Рендзю (семинар)</title>
		<link rel="alternate" type="text/html" href="https://wiki.cs.hse.ru/index.php?title=%D0%A0%D0%B5%D0%BD%D0%B4%D0%B7%D1%8E_(%D1%81%D0%B5%D0%BC%D0%B8%D0%BD%D0%B0%D1%80)&amp;diff=22759"/>
		<updated>2017-03-05T12:45:07Z</updated>

		<summary type="html">&lt;p&gt;Simagin.denis: &lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;Описание [[Рендзю (проект)|проекта]], последний [[Рендзю_(семинар)#.D0.A1.D0.B5.D0.BC.D0.B8.D0.BD.D0.B0.D1.80.D1.8B|семинар]].&lt;br /&gt;
&lt;br /&gt;
==Правила игры ==&lt;br /&gt;
* &#039;&#039;&#039;Ментор:&#039;&#039;&#039; [[Участник:Simagin.denis|Симагин Денис]].&lt;br /&gt;
* &#039;&#039;&#039;Место:&#039;&#039;&#039; офис Яндекса ([https://maps.yandex.ru/213/moscow/?ll=37.590150%2C55.734065&amp;amp;z=18&amp;amp;l=stv%2Csta&amp;amp;panorama%5Bpoint%5D=37.589416%2C55.733747&amp;amp;panorama%5Bdirection%5D=40.412258%2C-11.910596&amp;amp;panorama%5Bspan%5D=130.000000%2C52.209677 место встречи])&lt;br /&gt;
* &#039;&#039;&#039;Время:&#039;&#039;&#039; c 19:00, каждую среду.&lt;br /&gt;
&lt;br /&gt;
Общение с ментором вне занятий приветствуется. Можно задавать вопросы, в том числе философские. Но перед тем, как написать, попробуйте спросить это у [https://ya.ru Яндекса]. Также не обижайтесь, если в ответ вам пришла ссылка на документацию или какую-то статью.&lt;br /&gt;
&lt;br /&gt;
===Ключевые точки===&lt;br /&gt;
Сверху нам спущены ключевые точки выполнения проекта. Для нас они скорее явлются формальными, тем не менее мы должны их соблюдать.&lt;br /&gt;
# &#039;&#039;&#039;12-17 декабря&#039;&#039;&#039; - все включились в работу&lt;br /&gt;
# &#039;&#039;&#039;20-25 марта&#039;&#039;&#039; - реализован объем работ, необходимый для зачета&lt;br /&gt;
# &#039;&#039;&#039;30 мая - 3 июня&#039;&#039;&#039; - окончание проектной работы, вы готовы, как пионеры. &lt;br /&gt;
# &#039;&#039;&#039;начало июня&#039;&#039;&#039; - конкурс проектов.&lt;br /&gt;
&lt;br /&gt;
===Правило 2Х===&lt;br /&gt;
У вас есть право на одну ошибку. Следующая - я отказываюсь с вами работать.&lt;br /&gt;
&lt;br /&gt;
===Репозитории===&lt;br /&gt;
Студенты хранят свой код в следующих репозиториях&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
| Ментор  || https://github.com/dasimagin/renju&lt;br /&gt;
|-&lt;br /&gt;
| Харламов || https://github.com/gamers5a/renju&lt;br /&gt;
|-&lt;br /&gt;
| Сопов || https://github.com/PreFX48/renju&lt;br /&gt;
|-&lt;br /&gt;
| Vodim  || https://github.com/EterniusVGM/Renju&lt;br /&gt;
|-&lt;br /&gt;
| Yuriy || https://github.com/yurriy/renju&lt;br /&gt;
|-&lt;br /&gt;
| Storozh || https://github.com/storandrew/Renju&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
===Разбор статьи===&lt;br /&gt;
В рамках проекта студент должен разобрать интересную для него статью и доложить ее на общем семинаре.&lt;br /&gt;
&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
! Студент !! Статья !! Дата&lt;br /&gt;
|-&lt;br /&gt;
| Харламов || http://web.stanford.edu/~takapoui/linear_bandits.pdf || -&lt;br /&gt;
|-&lt;br /&gt;
| Сопов || https://papers.nips.cc/paper/6068-learning-feed-forward-one-shot-learners.pdf || -&lt;br /&gt;
|-&lt;br /&gt;
| Гринберг  || https://arxiv.org/pdf/1611.01626.pdf || -&lt;br /&gt;
|-&lt;br /&gt;
| Баранов || https://arxiv.org/pdf/1611.01224.pdf || -&lt;br /&gt;
|-&lt;br /&gt;
| Стороженко || https://arxiv.org/pdf/1511.06581v3.pdf || 19 марта&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
===Лабораторные===&lt;br /&gt;
Лабораторные проводятся для практического закрепления материала. Их выполнение учитывается в итоговой оценке.&lt;br /&gt;
&lt;br /&gt;
# Результатом работы является jupyter notebook, где сохранен вывод вашего кода, графики и т.п. А так же его импорт в формат .py. Для автоматизации процесса можно настроить jupyter.&lt;br /&gt;
# Когда сроки выполнения лабораторной завершены, вы выкладываете ее на ревью, создавая соответствующее задание и запрос на объединение ветки с мастером (не забудьте добавить проверяющего).&lt;br /&gt;
# Ваш коллега проводит ревью кода и может оставлять замечания, как в виде комментариев к заданию, так и в файле .py. Оно предполагает проверку стиля и правильность кода, а также конструктивные замечания по производительности. Однако не стремитесь сразу оптимизировать код. Добейтесь лучше того, чтобы все работало правильно.&lt;br /&gt;
# Когда ревью завершено, влейтесь в мастер и закройте задание.&lt;br /&gt;
&lt;br /&gt;
===Результаты===&lt;br /&gt;
Текущие результаты можно найти  [https://docs.google.com/spreadsheets/d/1VAaIoKGOYkMYKxYMPjHs_TsYabjHo27jA4fiQg_R344/edit?usp=sharing здесь]. Оценка складывается из нескольких частей:&lt;br /&gt;
# Работа на семинаре&lt;br /&gt;
# Доклад статьи&lt;br /&gt;
# Итоговое качество игры&lt;br /&gt;
&lt;br /&gt;
==Семинары==&lt;br /&gt;
&lt;br /&gt;
===S01.02, S08.02, 15.02, 22.02, 01.03===&lt;br /&gt;
Разбор статьи&lt;br /&gt;
&lt;br /&gt;
&lt;br /&gt;
===S01.02===&lt;br /&gt;
Обсудили будущее. Всю дальнейшую теорию будем рассматривать сразу в рамках игры рендзю. Также согласовали формат данных для партии.&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;Формат данных&#039;&#039;&#039;&lt;br /&gt;
# Каждая партия представляет собой строку в файле (в качестве разделителя используем &#039;\n&#039;).&lt;br /&gt;
# В начале строки записан результат &#039;&#039;{black, white, draw, unknown}&#039;&#039;.&lt;br /&gt;
# Далее через пробельный разделитель перечислены ходы игроков в формате столбец-строка.&lt;br /&gt;
# Столбцы пронумерованы строчными буквами латинского алфавита .&lt;br /&gt;
# Строки пронумерованы арабскими цифрами, начиная с 1.&lt;br /&gt;
# Начало координатной сетки в левом нижнем углу.&lt;br /&gt;
# Предполагается, что первый ход делают черные.&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;Пример:&#039;&#039;&#039; unknown h8 g9 ...&lt;br /&gt;
&lt;br /&gt;
&lt;br /&gt;
Скрипт для &#039;&#039;&#039;справедливого&#039;&#039;&#039; распределения заданий по подготовке данных для обучения можно найти [https://github.com/dasimagin/renju/blob/master/data/task.py здесь].&lt;br /&gt;
&lt;br /&gt;
===S25.01===&lt;br /&gt;
# Поговорили на тему [https://en.wikipedia.org/wiki/Multi-armed_bandit многоруких бандитов].&lt;br /&gt;
# Начали осваивать [https://en.wikipedia.org/wiki/Reinforcement_learning reinforcment learning].&lt;br /&gt;
&lt;br /&gt;
Полезная книга может быть найдена [https://webdocs.cs.ualberta.ca/~sutton/book/bookdraft2016sep.pdf  здесь].&lt;br /&gt;
&lt;br /&gt;
===L4===&lt;br /&gt;
&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
! Ревьюер !! Разработчик !! Оценка&lt;br /&gt;
|-&lt;br /&gt;
| Сопов || Харламов|| -&lt;br /&gt;
|-&lt;br /&gt;
| Гринберг || Сопов  || -&lt;br /&gt;
|-&lt;br /&gt;
| Баранов  || Гринберг || -&lt;br /&gt;
|-&lt;br /&gt;
| Стороженко || Баранов || -&lt;br /&gt;
|-&lt;br /&gt;
| Харламов  || Стороженко || -&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
Появилась очередная лабораторная работа [https://github.com/dasimagin/renju/blob/master/labs/L4%20-%20Reinforcement%20learning.ipynb L4].&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;Cроки:&#039;&#039;&#039;&lt;br /&gt;
* Начало ревью: 11 февраля, 00:00.&lt;br /&gt;
* Окончание: 16 февраля, 23:59.&lt;br /&gt;
&lt;br /&gt;
===S18.01===&lt;br /&gt;
В связи с болезнью ментора занятие отменено.&lt;br /&gt;
&lt;br /&gt;
===H11.01===&lt;br /&gt;
Произвели разбор L3. Описание модели победителя можно найти [здесь], а baseline доступен [https://github.com/dasimagin/renju/blob/master/labs/L3%20-%20Baseline.ipynb здесь].&lt;br /&gt;
&lt;br /&gt;
Доклады мне не очень понравились. Постараюсь написать общие замечания.&lt;br /&gt;
# Прежде всего у докладчика должна быть хорошая речь.&lt;br /&gt;
# Нужно выделить то, что действительно важно и интересно для слушателя.&lt;br /&gt;
# Делать на доске четкие и простые рисунки и записи, убедиться, что аудитория тебя понимает.&lt;br /&gt;
# Не прыгать с темы на тему, а идти в соответсвии с логическим планом.&lt;br /&gt;
&lt;br /&gt;
===S14.12===&lt;br /&gt;
Начали разбирать нашу [https://storage.googleapis.com/deepmind-media/alphago/AlphaGoNaturePaper.pdf статью]. Есть пара источников на русском:&lt;br /&gt;
* [https://ru.wikipedia.org/wiki/AlphaGo Статья] на wikipedia&lt;br /&gt;
* [https://habrahabr.ru/post/279071/ Статья]  на хабре&lt;br /&gt;
&lt;br /&gt;
===H11.12===&lt;br /&gt;
Занятие было посвящено выполнению второй лабораторной. Интересный ноутбук скоро появится [здесь].&lt;br /&gt;
&lt;br /&gt;
===S08.12===&lt;br /&gt;
&#039;&#039;&#039;1. Известные архитектуры сверточных сетей&#039;&#039;&#039;&lt;br /&gt;
* [https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Alexnet]&lt;br /&gt;
* [https://arxiv.org/pdf/1409.1556.pdf VGG net]&lt;br /&gt;
* [https://arxiv.org/pdf/1409.4842v1.pdf GoogLeNet]&lt;br /&gt;
* [https://arxiv.org/pdf/1512.03385.pdf ResNet]&lt;br /&gt;
&#039;&#039;&#039;2. Поговорили:&#039;&#039;&#039;&lt;br /&gt;
* На что активируются нейроны в зависимости от слоя&lt;br /&gt;
* Генерация &#039;похожих картинок&#039;&lt;br /&gt;
* Послойное обучение сети&lt;br /&gt;
* Переобучение или дообучение уже готовой сети&lt;br /&gt;
&#039;&#039;&#039;3. Изучили примеры для библиотеки Keras&#039;&#039;&#039;&lt;br /&gt;
*  [https://github.com/fchollet/keras/blob/master/examples/mnist_mlp.py Полносвязанная сеть]&lt;br /&gt;
* [https://github.com/fchollet/keras/blob/master/examples/mnist_cnn.py Сверточная сеть ]&lt;br /&gt;
* [https://github.com/fchollet/keras/blob/master/examples/mnist_transfer_cnn.py Переобучение] сверточной сети &lt;br /&gt;
&lt;br /&gt;
===L3===&lt;br /&gt;
&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
! Студент !! CPU !! RAM !! GPU&lt;br /&gt;
|- &lt;br /&gt;
| Пример || 6 core, 3,5 GHz || 64GB || NVIDIA TITAN X&lt;br /&gt;
|-&lt;br /&gt;
| Харламов || 4 core, 3,6 GHz || 16GB || NVIDIA GTX 960m 2GB&lt;br /&gt;
|-&lt;br /&gt;
| Сопов || 4 core, 2,7 GHz || 8GB || NVIDIA GTX 940m&lt;br /&gt;
|-&lt;br /&gt;
| Гринберг || 4 core, 3,6 GHz || 16 GB || NVIDIA GTX 1070 8GB&lt;br /&gt;
|-&lt;br /&gt;
| Баранов || 4 core, 3,5GHz || 8GB || NVIDIA GTX 960m 2GB&lt;br /&gt;
|-&lt;br /&gt;
| Стороженко || 6 core 3.0 GHz || 16 GB || NVIDIA GTX 1060 6GB&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
Победить в [https://inclass.kaggle.com/c/ch-ch конкурсе] классификации,  срок 3 января, 23:59.&lt;br /&gt;
&lt;br /&gt;
Для этого вам понадобится&lt;br /&gt;
* Установить [https://www.tensorflow.org Tensorflow] &lt;br /&gt;
* Установить [https://keras.io Keras] &lt;br /&gt;
* Запастись терпением&lt;br /&gt;
&lt;br /&gt;
===S01.12===&lt;br /&gt;
&#039;&#039;&#039;1. Полносвязанные сети:&#039;&#039;&#039;&lt;br /&gt;
* Подсчитаны производные для [https://en.wikipedia.org/wiki/Backpropagation Backpropagation], обсуждены тонкости реализации.&lt;br /&gt;
* Различные виды нелинейности: [https://en.wikipedia.org/wiki/Rectifier_(neural_networks) ReLu], [https://arxiv.org/pdf/1502.01852v1.pdf PReLu], [https://en.wikipedia.org/wiki/Sigmoid_function Sigmoid].&lt;br /&gt;
* Обучение сетей при помощи [https://en.wikipedia.org/wiki/Autoencoder Autoencoder].&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;2. Сверточные сети:&#039;&#039;&#039;&lt;br /&gt;
* Cтруктура [https://en.wikipedia.org/wiki/Convolutional_neural_network CNN].&lt;br /&gt;
* Затронуты: [https://en.wikipedia.org/wiki/Convolution Convolution], [https://en.wikipedia.org/wiki/Convolutional_neural_network#Pooling_layer Pooling].&lt;br /&gt;
* Влияние различных ядер свертки на структуру сети.&lt;br /&gt;
* [https://en.wikipedia.org/wiki/Convolutional_neural_network#Choosing_hyperparameters Feature maps].&lt;br /&gt;
* Разобрана архитектура [https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Alexnet].&lt;br /&gt;
* Сочетание из Convolutional и Dense слоев.&lt;br /&gt;
&lt;br /&gt;
===S24.11===&lt;br /&gt;
&#039;&#039;&#039;1. Регуляризация:&#039;&#039;&#039;&lt;br /&gt;
* Разобрали L1 и L2 регуляризаторы, можно найти [https://en.wikipedia.org/wiki/Regularization_(mathematics) здесь].&lt;br /&gt;
* Используйте простые классификаторы&lt;br /&gt;
* Раняя остановка (смотрим качество на отложенном множестве)&lt;br /&gt;
* Добавление шума&lt;br /&gt;
* Комбинирование классификаторов&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;2. Полносвязанные сети:&#039;&#039;&#039;&lt;br /&gt;
* Множественная классификация и [https://en.wikipedia.org/wiki/Softmax_function softmax].&lt;br /&gt;
* Метод [http://www.machinelearning.ru/wiki/images/0/0f/karpinskaya-2010.pdf обратного распространения ошибки], проблема при обучении.&lt;br /&gt;
* Инициализация весов:  и [http://jmlr.org/proceedings/papers/v9/glorot10a/glorot10a.pdf xavier] и другие [https://arxiv.org/pdf/1502.01852v1.pdf вариации].&lt;br /&gt;
* Кратко о [https://en.wikipedia.org/wiki/Convolutional_neural_network#Dropout dropout].&lt;br /&gt;
&lt;br /&gt;
===L2===&lt;br /&gt;
Задание можно найти [https://github.com/dasimagin/renju/blob/master/labs/L2%20-%20Nets.ipynb здесь],  срок 23:59 11 декабря.&lt;br /&gt;
&lt;br /&gt;
===S02.11===&lt;br /&gt;
# [https://en.wikipedia.org/wiki/Feature_(machine_learning) Признаки] и какие они бывают. Об отборе признаков, кратко [https://habrahabr.ru/post/264915/ тут]. Может помочь на конкурсе.&lt;br /&gt;
# Задача [http://www.machinelearning.ru/wiki/index.php?title=Линейный_классификатор бинарной классификации].&lt;br /&gt;
# [http://www.machinelearning.ru/wiki/index.php?title=Метод_градиентного_спуска Градиентный спуск].&lt;br /&gt;
# [http://www.machinelearning.ru/wiki/index.php?title=Метод_стохастического_градиента Стохастический градиентный спуск]. На английской [https://en.wikipedia.org/wiki/Stochastic_gradient_descent вике] больше интересной информации.&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;Для дополнительного чтения:&#039;&#039;&#039;&lt;br /&gt;
# [https://homes.cs.washington.edu/~pedrod/papers/cacm12.pdf Что полезно знать о машинном обучении].&lt;br /&gt;
# [https://en.wikipedia.org/wiki/Feature_(machine_learning) Английская вика про признаки]&lt;br /&gt;
# [http://www.jmlr.org/papers/volume3/guyon03a/guyon03a.pdf Отбор признаков].&lt;br /&gt;
# Мощная теоретическая работа про [https://mipt.ru/upload/medialibrary/d7e/41-91.pdf стохастический градиентный спуск].&lt;br /&gt;
&lt;br /&gt;
===L1===&lt;br /&gt;
&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
! Ревьюер !! Разработчик !! Оценка&lt;br /&gt;
|-&lt;br /&gt;
|Харламов || Сопов || 9&lt;br /&gt;
|-&lt;br /&gt;
| Сопов || Гринберг || 10&lt;br /&gt;
|-&lt;br /&gt;
| Гринберг || Баранов || 8&lt;br /&gt;
|-&lt;br /&gt;
| Баранов || Стороженко || 10&lt;br /&gt;
|-&lt;br /&gt;
| Стороженко || Харламов || 8&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
Для [https://github.com/dasimagin/renju/blob/master/labs/L1%20-%20Gradient%20descent%20and%20linear%20models.ipynb первой] лабораторной работы вам потребуется:&lt;br /&gt;
# Настроить себе [https://pip.pypa.io/en/stable/ pip] для Python3&lt;br /&gt;
# Освоить [http://jupyter.org Jupyter notebook]&lt;br /&gt;
# Установить пакеты [http://www.scipy.org scipy]: numpy, scipy, matplotlib&lt;/div&gt;</summary>
		<author><name>Simagin.denis</name></author>
	</entry>
	<entry>
		<id>https://wiki.cs.hse.ru/index.php?title=Ask_me_(%D1%81%D0%B5%D0%BC%D0%B8%D0%BD%D0%B0%D1%80)&amp;diff=22699</id>
		<title>Ask me (семинар)</title>
		<link rel="alternate" type="text/html" href="https://wiki.cs.hse.ru/index.php?title=Ask_me_(%D1%81%D0%B5%D0%BC%D0%B8%D0%BD%D0%B0%D1%80)&amp;diff=22699"/>
		<updated>2017-02-22T22:07:42Z</updated>

		<summary type="html">&lt;p&gt;Simagin.denis: &lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;Описание [[Ask_me_(проект)|проекта]], последнее [[Ask_me_(семинар)#.D0.A1.D0.B5.D0.BC.D0.B8.D0.BD.D0.B0.D1.80.D1.8B|занятие]].&lt;br /&gt;
&lt;br /&gt;
==Правила игры ==&lt;br /&gt;
* &#039;&#039;&#039;Ментор:&#039;&#039;&#039; [[Участник:Simagin.denis|Симагин Денис]].&lt;br /&gt;
* &#039;&#039;&#039;Место:&#039;&#039;&#039; офис Яндекса ([https://maps.yandex.ru/213/moscow/?ll=37.590150%2C55.734065&amp;amp;z=18&amp;amp;l=stv%2Csta&amp;amp;panorama%5Bpoint%5D=37.589416%2C55.733747&amp;amp;panorama%5Bdirection%5D=40.412258%2C-11.910596&amp;amp;panorama%5Bspan%5D=130.000000%2C52.209677 место встречи])&lt;br /&gt;
* &#039;&#039;&#039;Время:&#039;&#039;&#039; c 10:00, каждый четверг.&lt;br /&gt;
&lt;br /&gt;
Общение с ментором вне занятий приветствуется. Можно задавать вопросы, в том числе философские. Но перед тем, как написать, попробуйте спросить это у [https://ya.ru Яндекса]. Также не обижайтесь, если в ответ вам пришла ссылка на документацию или какую-то статью.&lt;br /&gt;
&lt;br /&gt;
===Ключевые точки===&lt;br /&gt;
Сверху нам спущены ключевые точки выполнения проекта. Для нас они скорее явлются формальными, тем не менее мы должны их соблюдать.&lt;br /&gt;
# &#039;&#039;&#039;12-17 декабря&#039;&#039;&#039; - все включились в работу&lt;br /&gt;
# &#039;&#039;&#039;20-25 марта&#039;&#039;&#039; - реализован объем работ, необходимый для зачета&lt;br /&gt;
# &#039;&#039;&#039;30 мая - 3 июня&#039;&#039;&#039; - окончание проектной работы, вы готовы, как пионеры. &lt;br /&gt;
# &#039;&#039;&#039;начало июня&#039;&#039;&#039; - конкурс проектов.&lt;br /&gt;
&lt;br /&gt;
===Правило 2Х===&lt;br /&gt;
У вас есть право на одну ошибку. Следующая - я отказываюсь с вами работать.&lt;br /&gt;
&lt;br /&gt;
===Репозитории===&lt;br /&gt;
Студенты хранят свой код в следующих репозиториях&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
|Ментор  || https://github.com/dasimagin/askme&lt;br /&gt;
|-&lt;br /&gt;
| Когтенков || https://github.com/aakogtenkov/Ask-me-if-you-can&lt;br /&gt;
|-&lt;br /&gt;
|Остяков || https://github.com/PavelOstyakov/askme&lt;br /&gt;
|-&lt;br /&gt;
|Рябинин || https://github.com/mryab/askme&lt;br /&gt;
|-&lt;br /&gt;
|Попов || https://github.com/Akiiino/Ask-Me-Anything&lt;br /&gt;
|-&lt;br /&gt;
|Ширин || https://github.com/shirinnikita/ask_me&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
===Разбор статьи===&lt;br /&gt;
В рамках проекта студент должен разобрать интересную для него статью и доложить ее на общем семинаре.&lt;br /&gt;
&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
! Студент !! Статья !! Дата&lt;br /&gt;
|-&lt;br /&gt;
|Когтенков || [https://papers.nips.cc/paper/5654-deep-knowledge-tracing.pdf Deep Knowledge Tracing] || -&lt;br /&gt;
|-&lt;br /&gt;
|Остяков || [https://arxiv.org/pdf/1612.07411v1.pdf A Context-aware Attention Network for Interactive Question Answering] || -&lt;br /&gt;
|-&lt;br /&gt;
|Рябинин || [https://arxiv.org/abs/1609.08144 Google&#039;s Neural Machine Translation System: Bridging the Gap between Human and Machine Translation] || -&lt;br /&gt;
|-&lt;br /&gt;
|Попов || [https://arxiv.org/pdf/1701.04189.pdf Deep Memory Networks for Attitude Identification] || -&lt;br /&gt;
|-&lt;br /&gt;
|Ширин || [https://arxiv.org/abs/1506.06714 Context-Sensitive Generation of Conversational Responses] || -&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
===Лабораторные===&lt;br /&gt;
Лабораторные проводятся для практического закрепления материала. Их выполнение учитывается в итоговой оценке.&lt;br /&gt;
&lt;br /&gt;
# Результатом работы является jupyter notebook, где сохранен вывод вашего кода, графики и т.п. А так же его импорт в формат .py. Для автоматизации процесса можно настроить jupyter.&lt;br /&gt;
# Когда сроки выполнения лабораторной завершены, вы выкладываете ее на ревью, создавая соответствующее задание и запрос на объединение ветки с мастером (не забудьте добавить проверяющего).&lt;br /&gt;
# Ваш коллега проводит ревью кода и может оставлять замечания, как в виде комментариев к заданию, так и в файле .py. Оно предполагает проверку стиля и правильность кода, а также конструктивные замечания по производительности. Однако не стремитесь сразу оптимизировать код. Добейтесь лучше того, чтобы все работало правильно.&lt;br /&gt;
# Когда ревью завершено, влейтесь в мастер и закройте задание.&lt;br /&gt;
&lt;br /&gt;
===Результаты===&lt;br /&gt;
Текущие результаты можно найти  [https://docs.google.com/spreadsheets/d/1gO6nHbLqMeLRXAa5Mubpfoc_-gk9DWCJ4mmnV_xaeig/edit?usp=sharing здесь]. Оценка складывается из нескольких частей:&lt;br /&gt;
# Работа на семинаре&lt;br /&gt;
# Доклад статьи&lt;br /&gt;
# Итоговый результат&lt;br /&gt;
&lt;br /&gt;
==Семинары==&lt;br /&gt;
&lt;br /&gt;
===L5===&lt;br /&gt;
Конкур можно найти [https://inclass.kaggle.com/c/en-phonetics здесь].&lt;br /&gt;
&lt;br /&gt;
===S19.02===&lt;br /&gt;
# Доразбирали вычисление градиента для рекуррентных сетей.&lt;br /&gt;
# Еще раз поговорили о затухании и взрыве градиента.&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;Литература для чтения:&#039;&#039;&#039;&lt;br /&gt;
* Прекрасный блог, где можно прочитать про рекуррентные сети, вот [http://www.wildml.com/2015/09/recurrent-neural-networks-tutorial-part-1-introduction-to-rnns/ первая статья], в начале есть ссылки на продолжение.&lt;br /&gt;
* Про [http://colah.github.io/posts/2015-08-Understanding-LSTMs/ LSTM] с картинками.&lt;br /&gt;
* Tensorflow и [https://www.tensorflow.org/tutorials/recurrent рекурретные] сети.&lt;br /&gt;
* Как работать с последовательностями, [https://www.tensorflow.org/tutorials/seq2seq пример] tensorflow.&lt;br /&gt;
&lt;br /&gt;
===S02.02===&lt;br /&gt;
Начали говорить о рекуррентных сетях, я обещал подробнее описать математику обучения.&lt;br /&gt;
# Поговорили о [https://en.wikipedia.org/wiki/Recurrent_neural_network рекурретных сетях] в общем&lt;br /&gt;
# Архитектура [https://en.wikipedia.org/wiki/Long_short-term_memory LSTM] сети&lt;br /&gt;
# Архитектура [https://arxiv.org/pdf/1412.3555v1.pdf GRU] сети&lt;br /&gt;
&lt;br /&gt;
===S29.01===&lt;br /&gt;
Еще раз вернулись к теме word embedding в контексте нейросетей, список затронутых статей:&lt;br /&gt;
# [http://www.jmlr.org/papers/volume3/bengio03a/bengio03a.pdf Первая сеть], предсказывающая следующее слово.&lt;br /&gt;
# [https://ronan.collobert.com/pub/matos/2008_nlp_icml.pdff Статья], где заменяется softmax&lt;br /&gt;
# [https://papers.nips.cc/paper/5021-distributed-representations-of-words-and-phrases-and-their-compositionality.pdf Статья] Миколова про word2vec.&lt;br /&gt;
&lt;br /&gt;
===L4===&lt;br /&gt;
Лабораторную работу можно найти [https://github.com/dasimagin/askme/blob/master/labs/L4%20-%20Word%20embedding.ipynb здесь].&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;Срок сдачи:&#039;&#039;&#039;&lt;br /&gt;
* Начало ревью: 24 февраля 23:59 &lt;br /&gt;
* Окончание ревью: 2 февраля 23:59 &lt;br /&gt;
&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
! Ревьюер !! Разработчик !! Оценка&lt;br /&gt;
|-&lt;br /&gt;
| Попов || Рябинин || -&lt;br /&gt;
|-&lt;br /&gt;
| Остяков || Попов || -&lt;br /&gt;
|-&lt;br /&gt;
| Когтенков || Остяков || -&lt;br /&gt;
|-&lt;br /&gt;
| Ширин  || Когтенков || -&lt;br /&gt;
|-&lt;br /&gt;
| Рябинин || Ширин || -&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
===H11.01===&lt;br /&gt;
Произвели разбор L3. Описание модели победителя можно найти, а baseline доступен [https://github.com/dasimagin/askme/blob/master/labs/L3%20-%20Baseline.ipynb здесь].&lt;br /&gt;
&lt;br /&gt;
Доклады мне не очень понравились. Постараюсь написать общие замечания.&lt;br /&gt;
# Прежде всего у докладчика должна быть хорошая речь.&lt;br /&gt;
# Нужно выделить то, что действительно важно и интересно для слушателя.&lt;br /&gt;
# Делать на доске четкие и простые рисунки и записи, убедиться, что аудитория тебя понимает.&lt;br /&gt;
# Не прыгать с темы на тему, а идти в соответсвии с логическим планом.&lt;br /&gt;
&lt;br /&gt;
===S15.12===&lt;br /&gt;
Поговорили про векторное представление слов, word2vec и другие сверточные сети для работы с естественными языками.&lt;br /&gt;
&lt;br /&gt;
===H11.12===&lt;br /&gt;
Занятие было посвящено выполнению второй лабораторной. Интересный ноутбук скоро появится [здесь].&lt;br /&gt;
&lt;br /&gt;
===S08.12===&lt;br /&gt;
&#039;&#039;&#039;1. Известные архитектуры сверточных сетей&#039;&#039;&#039;&lt;br /&gt;
* [https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Alexnet]&lt;br /&gt;
* [https://arxiv.org/pdf/1409.1556.pdf VGG net]&lt;br /&gt;
* [https://arxiv.org/pdf/1409.4842v1.pdf GoogLeNet]&lt;br /&gt;
* [https://arxiv.org/pdf/1512.03385.pdf ResNet]&lt;br /&gt;
&#039;&#039;&#039;2. Поговорили:&#039;&#039;&#039;&lt;br /&gt;
* На что активируются нейроны в зависимости от слоя&lt;br /&gt;
* Генерация &#039;похожих картинок&#039;&lt;br /&gt;
* Послойное обучение сети&lt;br /&gt;
* Переобучение или дообучение уже готовой сети&lt;br /&gt;
&#039;&#039;&#039;3. Изучили примеры для библиотеки Keras&#039;&#039;&#039;&lt;br /&gt;
*  [https://github.com/fchollet/keras/blob/master/examples/mnist_mlp.py Полносвязанная сеть]&lt;br /&gt;
* [https://github.com/fchollet/keras/blob/master/examples/mnist_cnn.py Сверточная сеть ]&lt;br /&gt;
* [https://github.com/fchollet/keras/blob/master/examples/mnist_transfer_cnn.py Переобучение] сверточной сети &lt;br /&gt;
&lt;br /&gt;
===L3===&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
! Студент !! CPU !! RAM !! GPU&lt;br /&gt;
|- &lt;br /&gt;
| Пример || 6 core, 3,5 GHz || 64GB || NVIDIA TITAN X&lt;br /&gt;
|-&lt;br /&gt;
|Рябинин || 4 core, 3.5 GHz || 16 GB || Nvidia GeForce GTX 1070&lt;br /&gt;
|-&lt;br /&gt;
| Попов || 4 core, 3.2 GHz || 8 GB || GeForce GTX 750 Ti&lt;br /&gt;
|-&lt;br /&gt;
| Остяков || 8 core, 2,6 GHz || 50 GB || -&lt;br /&gt;
|-&lt;br /&gt;
| Когтенков || 2 core, 1.4 GHz || 4 GB || -&lt;br /&gt;
|-&lt;br /&gt;
| Ширин || 2 core, 1.9 GHz || 8 GB || -&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
Победить в [https://inclass.kaggle.com/c/ch-ch конкурсе] классификации,  срок 3 января, 23:59.&lt;br /&gt;
&lt;br /&gt;
Для этого вам понадобится&lt;br /&gt;
* Установить [https://www.tensorflow.org Tensorflow] &lt;br /&gt;
* Установить [https://keras.io Keras] &lt;br /&gt;
* Запастись терпением&lt;br /&gt;
&lt;br /&gt;
===S01.12===&lt;br /&gt;
&#039;&#039;&#039;1. Полносвязанные сети:&#039;&#039;&#039;&lt;br /&gt;
* Подсчитаны производные для [https://en.wikipedia.org/wiki/Backpropagation Backpropagation], обсуждены тонкости реализации.&lt;br /&gt;
* Различные виды нелинейности: [https://en.wikipedia.org/wiki/Rectifier_(neural_networks) ReLu], [https://arxiv.org/pdf/1502.01852v1.pdf PReLu], [https://en.wikipedia.org/wiki/Sigmoid_function Sigmoid].&lt;br /&gt;
* Обучение сетей при помощи [https://en.wikipedia.org/wiki/Autoencoder Autoencoder].&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;2. Сверточные сети:&#039;&#039;&#039;&lt;br /&gt;
* Cтруктура [https://en.wikipedia.org/wiki/Convolutional_neural_network CNN].&lt;br /&gt;
* Затронуты: [https://en.wikipedia.org/wiki/Convolution Convolution], [https://en.wikipedia.org/wiki/Convolutional_neural_network#Pooling_layer Pooling].&lt;br /&gt;
* Влияние различных ядер свертки на структуру сети.&lt;br /&gt;
* [https://en.wikipedia.org/wiki/Convolutional_neural_network#Choosing_hyperparameters Feature maps].&lt;br /&gt;
* Разобрана архитектура [https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Alexnet].&lt;br /&gt;
* Сочетание из Convolutional и Dense слоев.&lt;br /&gt;
&lt;br /&gt;
===S24.11===&lt;br /&gt;
&#039;&#039;&#039;1. Регуляризация:&#039;&#039;&#039;&lt;br /&gt;
* Разобрали L1 и L2 регуляризаторы, можно найти [https://en.wikipedia.org/wiki/Regularization_(mathematics) здесь].&lt;br /&gt;
* Используйте простые классификаторы&lt;br /&gt;
* Раняя остановка (смотрим качество на отложенном множестве)&lt;br /&gt;
* Добавление шума&lt;br /&gt;
* Комбинирование классификаторов&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;2. Полносвязанные сети:&#039;&#039;&#039;&lt;br /&gt;
* Множественная классификация и [https://en.wikipedia.org/wiki/Softmax_function softmax].&lt;br /&gt;
* Метод [http://www.machinelearning.ru/wiki/images/0/0f/karpinskaya-2010.pdf обратного распространения ошибки], проблема при обучении.&lt;br /&gt;
* Инициализация весов:  и [http://jmlr.org/proceedings/papers/v9/glorot10a/glorot10a.pdf xavier] и другие [https://arxiv.org/pdf/1502.01852v1.pdf вариации].&lt;br /&gt;
* Кратко о [https://en.wikipedia.org/wiki/Convolutional_neural_network#Dropout dropout].&lt;br /&gt;
&lt;br /&gt;
===L2===&lt;br /&gt;
&lt;br /&gt;
Задание можно найти [https://github.com/dasimagin/askme/blob/master/labs/L2%20-%20Nets.ipynb здесь],  срок 23:59 11 декабря.&lt;br /&gt;
&lt;br /&gt;
===S03.11===&lt;br /&gt;
# [https://en.wikipedia.org/wiki/Feature_(machine_learning) Признаки] и какие они бывают. Об отборе признаков, кратко [https://habrahabr.ru/post/264915/ тут]. Может помочь на конкурсе.&lt;br /&gt;
# Задача [http://www.machinelearning.ru/wiki/index.php?title=Линейный_классификатор бинарной классификации].&lt;br /&gt;
# [http://www.machinelearning.ru/wiki/index.php?title=Метод_градиентного_спуска Градиентный спуск].&lt;br /&gt;
# [http://www.machinelearning.ru/wiki/index.php?title=Метод_стохастического_градиента Стохастический градиентный спуск]. На английской [https://en.wikipedia.org/wiki/Stochastic_gradient_descent вике] больше интересной информации.&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;Для дополнительного чтения:&#039;&#039;&#039;&lt;br /&gt;
# [https://homes.cs.washington.edu/~pedrod/papers/cacm12.pdf Что полезно знать о машинном обучении].&lt;br /&gt;
# [https://en.wikipedia.org/wiki/Feature_(machine_learning) Английская вика про признаки]&lt;br /&gt;
# [http://www.jmlr.org/papers/volume3/guyon03a/guyon03a.pdf Отбор признаков].&lt;br /&gt;
# Мощная теоретическая работа про [https://mipt.ru/upload/medialibrary/d7e/41-91.pdf стохастический градиентный спуск].&lt;br /&gt;
&lt;br /&gt;
===L1===&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
! Ревьюер !! Разработчик !! Оценка&lt;br /&gt;
|-&lt;br /&gt;
|Рябинин || Попов || 10&lt;br /&gt;
|-&lt;br /&gt;
| Попов || Остяков || 10&lt;br /&gt;
|-&lt;br /&gt;
| Остяков || Когтенков || 10&lt;br /&gt;
|-&lt;br /&gt;
| Когтенков || Ширин || 9.7&lt;br /&gt;
|-&lt;br /&gt;
| Ширин || Рябинин || 10&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
Для [https://github.com/dasimagin/askme/blob/master/labs/L1%20-%20Gradient%20descent%20and%20linear%20models.ipynb первой] лабораторной работы вам потребуется:&lt;br /&gt;
# Настроить себе [https://pip.pypa.io/en/stable/ pip] для Python3&lt;br /&gt;
# Освоить [http://jupyter.org Jupyter notebook]&lt;br /&gt;
# Установить пакеты [http://www.scipy.org scipy]: numpy, scipy, matplotlib&lt;/div&gt;</summary>
		<author><name>Simagin.denis</name></author>
	</entry>
	<entry>
		<id>https://wiki.cs.hse.ru/index.php?title=Ask_me_(%D1%81%D0%B5%D0%BC%D0%B8%D0%BD%D0%B0%D1%80)&amp;diff=22677</id>
		<title>Ask me (семинар)</title>
		<link rel="alternate" type="text/html" href="https://wiki.cs.hse.ru/index.php?title=Ask_me_(%D1%81%D0%B5%D0%BC%D0%B8%D0%BD%D0%B0%D1%80)&amp;diff=22677"/>
		<updated>2017-02-19T13:33:49Z</updated>

		<summary type="html">&lt;p&gt;Simagin.denis: /* L4 */&lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;Описание [[Ask_me_(проект)|проекта]], последнее [[Ask_me_(семинар)#.D0.A1.D0.B5.D0.BC.D0.B8.D0.BD.D0.B0.D1.80.D1.8B|занятие]].&lt;br /&gt;
&lt;br /&gt;
==Правила игры ==&lt;br /&gt;
* &#039;&#039;&#039;Ментор:&#039;&#039;&#039; [[Участник:Simagin.denis|Симагин Денис]].&lt;br /&gt;
* &#039;&#039;&#039;Место:&#039;&#039;&#039; офис Яндекса ([https://maps.yandex.ru/213/moscow/?ll=37.590150%2C55.734065&amp;amp;z=18&amp;amp;l=stv%2Csta&amp;amp;panorama%5Bpoint%5D=37.589416%2C55.733747&amp;amp;panorama%5Bdirection%5D=40.412258%2C-11.910596&amp;amp;panorama%5Bspan%5D=130.000000%2C52.209677 место встречи])&lt;br /&gt;
* &#039;&#039;&#039;Время:&#039;&#039;&#039; c 10:00, каждый четверг.&lt;br /&gt;
&lt;br /&gt;
Общение с ментором вне занятий приветствуется. Можно задавать вопросы, в том числе философские. Но перед тем, как написать, попробуйте спросить это у [https://ya.ru Яндекса]. Также не обижайтесь, если в ответ вам пришла ссылка на документацию или какую-то статью.&lt;br /&gt;
&lt;br /&gt;
===Ключевые точки===&lt;br /&gt;
Сверху нам спущены ключевые точки выполнения проекта. Для нас они скорее явлются формальными, тем не менее мы должны их соблюдать.&lt;br /&gt;
# &#039;&#039;&#039;12-17 декабря&#039;&#039;&#039; - все включились в работу&lt;br /&gt;
# &#039;&#039;&#039;20-25 марта&#039;&#039;&#039; - реализован объем работ, необходимый для зачета&lt;br /&gt;
# &#039;&#039;&#039;30 мая - 3 июня&#039;&#039;&#039; - окончание проектной работы, вы готовы, как пионеры. &lt;br /&gt;
# &#039;&#039;&#039;начало июня&#039;&#039;&#039; - конкурс проектов.&lt;br /&gt;
&lt;br /&gt;
===Правило 2Х===&lt;br /&gt;
У вас есть право на одну ошибку. Следующая - я отказываюсь с вами работать.&lt;br /&gt;
&lt;br /&gt;
===Репозитории===&lt;br /&gt;
Студенты хранят свой код в следующих репозиториях&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
|Ментор  || https://github.com/dasimagin/askme&lt;br /&gt;
|-&lt;br /&gt;
| Когтенков || https://github.com/aakogtenkov/Ask-me-if-you-can&lt;br /&gt;
|-&lt;br /&gt;
|Остяков || https://github.com/PavelOstyakov/askme&lt;br /&gt;
|-&lt;br /&gt;
|Рябинин || https://github.com/mryab/askme&lt;br /&gt;
|-&lt;br /&gt;
|Попов || https://github.com/Akiiino/Ask-Me-Anything&lt;br /&gt;
|-&lt;br /&gt;
|Ширин || https://github.com/shirinnikita/ask_me&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
===Разбор статьи===&lt;br /&gt;
В рамках проекта студент должен разобрать интересную для него статью и доложить ее на общем семинаре.&lt;br /&gt;
&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
! Студент !! Статья !! Дата&lt;br /&gt;
|-&lt;br /&gt;
|Когтенков || [https://papers.nips.cc/paper/5654-deep-knowledge-tracing.pdf Deep Knowledge Tracing] || -&lt;br /&gt;
|-&lt;br /&gt;
|Остяков || [https://arxiv.org/pdf/1612.07411v1.pdf A Context-aware Attention Network for Interactive Question Answering] || -&lt;br /&gt;
|-&lt;br /&gt;
|Рябинин || [https://arxiv.org/abs/1609.08144 Google&#039;s Neural Machine Translation System: Bridging the Gap between Human and Machine Translation] || -&lt;br /&gt;
|-&lt;br /&gt;
|Попов || [https://arxiv.org/pdf/1701.04189.pdf Deep Memory Networks for Attitude Identification] || -&lt;br /&gt;
|-&lt;br /&gt;
|Ширин || [https://arxiv.org/abs/1506.06714 Context-Sensitive Generation of Conversational Responses] || -&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
===Лабораторные===&lt;br /&gt;
Лабораторные проводятся для практического закрепления материала. Их выполнение учитывается в итоговой оценке.&lt;br /&gt;
&lt;br /&gt;
# Результатом работы является jupyter notebook, где сохранен вывод вашего кода, графики и т.п. А так же его импорт в формат .py. Для автоматизации процесса можно настроить jupyter.&lt;br /&gt;
# Когда сроки выполнения лабораторной завершены, вы выкладываете ее на ревью, создавая соответствующее задание и запрос на объединение ветки с мастером (не забудьте добавить проверяющего).&lt;br /&gt;
# Ваш коллега проводит ревью кода и может оставлять замечания, как в виде комментариев к заданию, так и в файле .py. Оно предполагает проверку стиля и правильность кода, а также конструктивные замечания по производительности. Однако не стремитесь сразу оптимизировать код. Добейтесь лучше того, чтобы все работало правильно.&lt;br /&gt;
# Когда ревью завершено, влейтесь в мастер и закройте задание.&lt;br /&gt;
&lt;br /&gt;
===Результаты===&lt;br /&gt;
Текущие результаты можно найти  [https://docs.google.com/spreadsheets/d/1gO6nHbLqMeLRXAa5Mubpfoc_-gk9DWCJ4mmnV_xaeig/edit?usp=sharing здесь]. Оценка складывается из нескольких частей:&lt;br /&gt;
# Работа на семинаре&lt;br /&gt;
# Доклад статьи&lt;br /&gt;
# Итоговый результат&lt;br /&gt;
&lt;br /&gt;
==Семинары==&lt;br /&gt;
&lt;br /&gt;
===S19.02===&lt;br /&gt;
# Доразбирали вычисление градиента для рекуррентных сетей.&lt;br /&gt;
# Еще раз поговорили о затухании и взрыве градиента.&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;Литература для чтения:&#039;&#039;&#039;&lt;br /&gt;
* Прекрасный блог, где можно прочитать про рекуррентные сети, вот [http://www.wildml.com/2015/09/recurrent-neural-networks-tutorial-part-1-introduction-to-rnns/ первая статья], в начале есть ссылки на продолжение.&lt;br /&gt;
* Про [http://colah.github.io/posts/2015-08-Understanding-LSTMs/ LSTM] с картинками.&lt;br /&gt;
* Tensorflow и [https://www.tensorflow.org/tutorials/recurrent рекурретные] сети.&lt;br /&gt;
* Как работать с последовательностями, [https://www.tensorflow.org/tutorials/seq2seq пример] tensorflow.&lt;br /&gt;
&lt;br /&gt;
===S02.02===&lt;br /&gt;
Начали говорить о рекуррентных сетях, я обещал подробнее описать математику обучения.&lt;br /&gt;
# Поговорили о [https://en.wikipedia.org/wiki/Recurrent_neural_network рекурретных сетях] в общем&lt;br /&gt;
# Архитектура [https://en.wikipedia.org/wiki/Long_short-term_memory LSTM] сети&lt;br /&gt;
# Архитектура [https://arxiv.org/pdf/1412.3555v1.pdf GRU] сети&lt;br /&gt;
&lt;br /&gt;
===S29.01===&lt;br /&gt;
Еще раз вернулись к теме word embedding в контексте нейросетей, список затронутых статей:&lt;br /&gt;
# [http://www.jmlr.org/papers/volume3/bengio03a/bengio03a.pdf Первая сеть], предсказывающая следующее слово.&lt;br /&gt;
# [https://ronan.collobert.com/pub/matos/2008_nlp_icml.pdff Статья], где заменяется softmax&lt;br /&gt;
# [https://papers.nips.cc/paper/5021-distributed-representations-of-words-and-phrases-and-their-compositionality.pdf Статья] Миколова про word2vec.&lt;br /&gt;
&lt;br /&gt;
===L4===&lt;br /&gt;
Лабораторную работу можно найти [https://github.com/dasimagin/askme/blob/master/labs/L4%20-%20Word%20embedding.ipynb здесь].&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;Срок сдачи:&#039;&#039;&#039;&lt;br /&gt;
* Начало ревью: 24 февраля 23:59 &lt;br /&gt;
* Окончание ревью: 2 февраля 23:59 &lt;br /&gt;
&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
! Ревьюер !! Разработчик !! Оценка&lt;br /&gt;
|-&lt;br /&gt;
| Попов || Рябинин || -&lt;br /&gt;
|-&lt;br /&gt;
| Остяков || Попов || -&lt;br /&gt;
|-&lt;br /&gt;
| Когтенков || Остяков || -&lt;br /&gt;
|-&lt;br /&gt;
| Ширин  || Когтенков || -&lt;br /&gt;
|-&lt;br /&gt;
| Рябинин || Ширин || -&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
===H11.01===&lt;br /&gt;
Произвели разбор L3. Описание модели победителя можно найти, а baseline доступен [https://github.com/dasimagin/askme/blob/master/labs/L3%20-%20Baseline.ipynb здесь].&lt;br /&gt;
&lt;br /&gt;
Доклады мне не очень понравились. Постараюсь написать общие замечания.&lt;br /&gt;
# Прежде всего у докладчика должна быть хорошая речь.&lt;br /&gt;
# Нужно выделить то, что действительно важно и интересно для слушателя.&lt;br /&gt;
# Делать на доске четкие и простые рисунки и записи, убедиться, что аудитория тебя понимает.&lt;br /&gt;
# Не прыгать с темы на тему, а идти в соответсвии с логическим планом.&lt;br /&gt;
&lt;br /&gt;
===S15.12===&lt;br /&gt;
Поговорили про векторное представление слов, word2vec и другие сверточные сети для работы с естественными языками.&lt;br /&gt;
&lt;br /&gt;
===H11.12===&lt;br /&gt;
Занятие было посвящено выполнению второй лабораторной. Интересный ноутбук скоро появится [здесь].&lt;br /&gt;
&lt;br /&gt;
===S08.12===&lt;br /&gt;
&#039;&#039;&#039;1. Известные архитектуры сверточных сетей&#039;&#039;&#039;&lt;br /&gt;
* [https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Alexnet]&lt;br /&gt;
* [https://arxiv.org/pdf/1409.1556.pdf VGG net]&lt;br /&gt;
* [https://arxiv.org/pdf/1409.4842v1.pdf GoogLeNet]&lt;br /&gt;
* [https://arxiv.org/pdf/1512.03385.pdf ResNet]&lt;br /&gt;
&#039;&#039;&#039;2. Поговорили:&#039;&#039;&#039;&lt;br /&gt;
* На что активируются нейроны в зависимости от слоя&lt;br /&gt;
* Генерация &#039;похожих картинок&#039;&lt;br /&gt;
* Послойное обучение сети&lt;br /&gt;
* Переобучение или дообучение уже готовой сети&lt;br /&gt;
&#039;&#039;&#039;3. Изучили примеры для библиотеки Keras&#039;&#039;&#039;&lt;br /&gt;
*  [https://github.com/fchollet/keras/blob/master/examples/mnist_mlp.py Полносвязанная сеть]&lt;br /&gt;
* [https://github.com/fchollet/keras/blob/master/examples/mnist_cnn.py Сверточная сеть ]&lt;br /&gt;
* [https://github.com/fchollet/keras/blob/master/examples/mnist_transfer_cnn.py Переобучение] сверточной сети &lt;br /&gt;
&lt;br /&gt;
===L3===&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
! Студент !! CPU !! RAM !! GPU&lt;br /&gt;
|- &lt;br /&gt;
| Пример || 6 core, 3,5 GHz || 64GB || NVIDIA TITAN X&lt;br /&gt;
|-&lt;br /&gt;
|Рябинин || 4 core, 3.5 GHz || 16 GB || Nvidia GeForce GTX 1070&lt;br /&gt;
|-&lt;br /&gt;
| Попов || 4 core, 3.2 GHz || 8 GB || GeForce GTX 750 Ti&lt;br /&gt;
|-&lt;br /&gt;
| Остяков || 8 core, 2,6 GHz || 50 GB || -&lt;br /&gt;
|-&lt;br /&gt;
| Когтенков || 2 core, 1.4 GHz || 4 GB || -&lt;br /&gt;
|-&lt;br /&gt;
| Ширин || 2 core, 1.9 GHz || 8 GB || -&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
Победить в [https://inclass.kaggle.com/c/ch-ch конкурсе] классификации,  срок 3 января, 23:59.&lt;br /&gt;
&lt;br /&gt;
Для этого вам понадобится&lt;br /&gt;
* Установить [https://www.tensorflow.org Tensorflow] &lt;br /&gt;
* Установить [https://keras.io Keras] &lt;br /&gt;
* Запастись терпением&lt;br /&gt;
&lt;br /&gt;
===S01.12===&lt;br /&gt;
&#039;&#039;&#039;1. Полносвязанные сети:&#039;&#039;&#039;&lt;br /&gt;
* Подсчитаны производные для [https://en.wikipedia.org/wiki/Backpropagation Backpropagation], обсуждены тонкости реализации.&lt;br /&gt;
* Различные виды нелинейности: [https://en.wikipedia.org/wiki/Rectifier_(neural_networks) ReLu], [https://arxiv.org/pdf/1502.01852v1.pdf PReLu], [https://en.wikipedia.org/wiki/Sigmoid_function Sigmoid].&lt;br /&gt;
* Обучение сетей при помощи [https://en.wikipedia.org/wiki/Autoencoder Autoencoder].&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;2. Сверточные сети:&#039;&#039;&#039;&lt;br /&gt;
* Cтруктура [https://en.wikipedia.org/wiki/Convolutional_neural_network CNN].&lt;br /&gt;
* Затронуты: [https://en.wikipedia.org/wiki/Convolution Convolution], [https://en.wikipedia.org/wiki/Convolutional_neural_network#Pooling_layer Pooling].&lt;br /&gt;
* Влияние различных ядер свертки на структуру сети.&lt;br /&gt;
* [https://en.wikipedia.org/wiki/Convolutional_neural_network#Choosing_hyperparameters Feature maps].&lt;br /&gt;
* Разобрана архитектура [https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Alexnet].&lt;br /&gt;
* Сочетание из Convolutional и Dense слоев.&lt;br /&gt;
&lt;br /&gt;
===S24.11===&lt;br /&gt;
&#039;&#039;&#039;1. Регуляризация:&#039;&#039;&#039;&lt;br /&gt;
* Разобрали L1 и L2 регуляризаторы, можно найти [https://en.wikipedia.org/wiki/Regularization_(mathematics) здесь].&lt;br /&gt;
* Используйте простые классификаторы&lt;br /&gt;
* Раняя остановка (смотрим качество на отложенном множестве)&lt;br /&gt;
* Добавление шума&lt;br /&gt;
* Комбинирование классификаторов&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;2. Полносвязанные сети:&#039;&#039;&#039;&lt;br /&gt;
* Множественная классификация и [https://en.wikipedia.org/wiki/Softmax_function softmax].&lt;br /&gt;
* Метод [http://www.machinelearning.ru/wiki/images/0/0f/karpinskaya-2010.pdf обратного распространения ошибки], проблема при обучении.&lt;br /&gt;
* Инициализация весов:  и [http://jmlr.org/proceedings/papers/v9/glorot10a/glorot10a.pdf xavier] и другие [https://arxiv.org/pdf/1502.01852v1.pdf вариации].&lt;br /&gt;
* Кратко о [https://en.wikipedia.org/wiki/Convolutional_neural_network#Dropout dropout].&lt;br /&gt;
&lt;br /&gt;
===L2===&lt;br /&gt;
&lt;br /&gt;
Задание можно найти [https://github.com/dasimagin/askme/blob/master/labs/L2%20-%20Nets.ipynb здесь],  срок 23:59 11 декабря.&lt;br /&gt;
&lt;br /&gt;
===S03.11===&lt;br /&gt;
# [https://en.wikipedia.org/wiki/Feature_(machine_learning) Признаки] и какие они бывают. Об отборе признаков, кратко [https://habrahabr.ru/post/264915/ тут]. Может помочь на конкурсе.&lt;br /&gt;
# Задача [http://www.machinelearning.ru/wiki/index.php?title=Линейный_классификатор бинарной классификации].&lt;br /&gt;
# [http://www.machinelearning.ru/wiki/index.php?title=Метод_градиентного_спуска Градиентный спуск].&lt;br /&gt;
# [http://www.machinelearning.ru/wiki/index.php?title=Метод_стохастического_градиента Стохастический градиентный спуск]. На английской [https://en.wikipedia.org/wiki/Stochastic_gradient_descent вике] больше интересной информации.&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;Для дополнительного чтения:&#039;&#039;&#039;&lt;br /&gt;
# [https://homes.cs.washington.edu/~pedrod/papers/cacm12.pdf Что полезно знать о машинном обучении].&lt;br /&gt;
# [https://en.wikipedia.org/wiki/Feature_(machine_learning) Английская вика про признаки]&lt;br /&gt;
# [http://www.jmlr.org/papers/volume3/guyon03a/guyon03a.pdf Отбор признаков].&lt;br /&gt;
# Мощная теоретическая работа про [https://mipt.ru/upload/medialibrary/d7e/41-91.pdf стохастический градиентный спуск].&lt;br /&gt;
&lt;br /&gt;
===L1===&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
! Ревьюер !! Разработчик !! Оценка&lt;br /&gt;
|-&lt;br /&gt;
|Рябинин || Попов || 10&lt;br /&gt;
|-&lt;br /&gt;
| Попов || Остяков || 10&lt;br /&gt;
|-&lt;br /&gt;
| Остяков || Когтенков || 10&lt;br /&gt;
|-&lt;br /&gt;
| Когтенков || Ширин || 9.7&lt;br /&gt;
|-&lt;br /&gt;
| Ширин || Рябинин || 10&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
Для [https://github.com/dasimagin/askme/blob/master/labs/L1%20-%20Gradient%20descent%20and%20linear%20models.ipynb первой] лабораторной работы вам потребуется:&lt;br /&gt;
# Настроить себе [https://pip.pypa.io/en/stable/ pip] для Python3&lt;br /&gt;
# Освоить [http://jupyter.org Jupyter notebook]&lt;br /&gt;
# Установить пакеты [http://www.scipy.org scipy]: numpy, scipy, matplotlib&lt;/div&gt;</summary>
		<author><name>Simagin.denis</name></author>
	</entry>
	<entry>
		<id>https://wiki.cs.hse.ru/index.php?title=Ask_me_(%D1%81%D0%B5%D0%BC%D0%B8%D0%BD%D0%B0%D1%80)&amp;diff=22676</id>
		<title>Ask me (семинар)</title>
		<link rel="alternate" type="text/html" href="https://wiki.cs.hse.ru/index.php?title=Ask_me_(%D1%81%D0%B5%D0%BC%D0%B8%D0%BD%D0%B0%D1%80)&amp;diff=22676"/>
		<updated>2017-02-19T13:32:43Z</updated>

		<summary type="html">&lt;p&gt;Simagin.denis: &lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;Описание [[Ask_me_(проект)|проекта]], последнее [[Ask_me_(семинар)#.D0.A1.D0.B5.D0.BC.D0.B8.D0.BD.D0.B0.D1.80.D1.8B|занятие]].&lt;br /&gt;
&lt;br /&gt;
==Правила игры ==&lt;br /&gt;
* &#039;&#039;&#039;Ментор:&#039;&#039;&#039; [[Участник:Simagin.denis|Симагин Денис]].&lt;br /&gt;
* &#039;&#039;&#039;Место:&#039;&#039;&#039; офис Яндекса ([https://maps.yandex.ru/213/moscow/?ll=37.590150%2C55.734065&amp;amp;z=18&amp;amp;l=stv%2Csta&amp;amp;panorama%5Bpoint%5D=37.589416%2C55.733747&amp;amp;panorama%5Bdirection%5D=40.412258%2C-11.910596&amp;amp;panorama%5Bspan%5D=130.000000%2C52.209677 место встречи])&lt;br /&gt;
* &#039;&#039;&#039;Время:&#039;&#039;&#039; c 10:00, каждый четверг.&lt;br /&gt;
&lt;br /&gt;
Общение с ментором вне занятий приветствуется. Можно задавать вопросы, в том числе философские. Но перед тем, как написать, попробуйте спросить это у [https://ya.ru Яндекса]. Также не обижайтесь, если в ответ вам пришла ссылка на документацию или какую-то статью.&lt;br /&gt;
&lt;br /&gt;
===Ключевые точки===&lt;br /&gt;
Сверху нам спущены ключевые точки выполнения проекта. Для нас они скорее явлются формальными, тем не менее мы должны их соблюдать.&lt;br /&gt;
# &#039;&#039;&#039;12-17 декабря&#039;&#039;&#039; - все включились в работу&lt;br /&gt;
# &#039;&#039;&#039;20-25 марта&#039;&#039;&#039; - реализован объем работ, необходимый для зачета&lt;br /&gt;
# &#039;&#039;&#039;30 мая - 3 июня&#039;&#039;&#039; - окончание проектной работы, вы готовы, как пионеры. &lt;br /&gt;
# &#039;&#039;&#039;начало июня&#039;&#039;&#039; - конкурс проектов.&lt;br /&gt;
&lt;br /&gt;
===Правило 2Х===&lt;br /&gt;
У вас есть право на одну ошибку. Следующая - я отказываюсь с вами работать.&lt;br /&gt;
&lt;br /&gt;
===Репозитории===&lt;br /&gt;
Студенты хранят свой код в следующих репозиториях&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
|Ментор  || https://github.com/dasimagin/askme&lt;br /&gt;
|-&lt;br /&gt;
| Когтенков || https://github.com/aakogtenkov/Ask-me-if-you-can&lt;br /&gt;
|-&lt;br /&gt;
|Остяков || https://github.com/PavelOstyakov/askme&lt;br /&gt;
|-&lt;br /&gt;
|Рябинин || https://github.com/mryab/askme&lt;br /&gt;
|-&lt;br /&gt;
|Попов || https://github.com/Akiiino/Ask-Me-Anything&lt;br /&gt;
|-&lt;br /&gt;
|Ширин || https://github.com/shirinnikita/ask_me&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
===Разбор статьи===&lt;br /&gt;
В рамках проекта студент должен разобрать интересную для него статью и доложить ее на общем семинаре.&lt;br /&gt;
&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
! Студент !! Статья !! Дата&lt;br /&gt;
|-&lt;br /&gt;
|Когтенков || [https://papers.nips.cc/paper/5654-deep-knowledge-tracing.pdf Deep Knowledge Tracing] || -&lt;br /&gt;
|-&lt;br /&gt;
|Остяков || [https://arxiv.org/pdf/1612.07411v1.pdf A Context-aware Attention Network for Interactive Question Answering] || -&lt;br /&gt;
|-&lt;br /&gt;
|Рябинин || [https://arxiv.org/abs/1609.08144 Google&#039;s Neural Machine Translation System: Bridging the Gap between Human and Machine Translation] || -&lt;br /&gt;
|-&lt;br /&gt;
|Попов || [https://arxiv.org/pdf/1701.04189.pdf Deep Memory Networks for Attitude Identification] || -&lt;br /&gt;
|-&lt;br /&gt;
|Ширин || [https://arxiv.org/abs/1506.06714 Context-Sensitive Generation of Conversational Responses] || -&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
===Лабораторные===&lt;br /&gt;
Лабораторные проводятся для практического закрепления материала. Их выполнение учитывается в итоговой оценке.&lt;br /&gt;
&lt;br /&gt;
# Результатом работы является jupyter notebook, где сохранен вывод вашего кода, графики и т.п. А так же его импорт в формат .py. Для автоматизации процесса можно настроить jupyter.&lt;br /&gt;
# Когда сроки выполнения лабораторной завершены, вы выкладываете ее на ревью, создавая соответствующее задание и запрос на объединение ветки с мастером (не забудьте добавить проверяющего).&lt;br /&gt;
# Ваш коллега проводит ревью кода и может оставлять замечания, как в виде комментариев к заданию, так и в файле .py. Оно предполагает проверку стиля и правильность кода, а также конструктивные замечания по производительности. Однако не стремитесь сразу оптимизировать код. Добейтесь лучше того, чтобы все работало правильно.&lt;br /&gt;
# Когда ревью завершено, влейтесь в мастер и закройте задание.&lt;br /&gt;
&lt;br /&gt;
===Результаты===&lt;br /&gt;
Текущие результаты можно найти  [https://docs.google.com/spreadsheets/d/1gO6nHbLqMeLRXAa5Mubpfoc_-gk9DWCJ4mmnV_xaeig/edit?usp=sharing здесь]. Оценка складывается из нескольких частей:&lt;br /&gt;
# Работа на семинаре&lt;br /&gt;
# Доклад статьи&lt;br /&gt;
# Итоговый результат&lt;br /&gt;
&lt;br /&gt;
==Семинары==&lt;br /&gt;
&lt;br /&gt;
===S19.02===&lt;br /&gt;
# Доразбирали вычисление градиента для рекуррентных сетей.&lt;br /&gt;
# Еще раз поговорили о затухании и взрыве градиента.&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;Литература для чтения:&#039;&#039;&#039;&lt;br /&gt;
* Прекрасный блог, где можно прочитать про рекуррентные сети, вот [http://www.wildml.com/2015/09/recurrent-neural-networks-tutorial-part-1-introduction-to-rnns/ первая статья], в начале есть ссылки на продолжение.&lt;br /&gt;
* Про [http://colah.github.io/posts/2015-08-Understanding-LSTMs/ LSTM] с картинками.&lt;br /&gt;
* Tensorflow и [https://www.tensorflow.org/tutorials/recurrent рекурретные] сети.&lt;br /&gt;
* Как работать с последовательностями, [https://www.tensorflow.org/tutorials/seq2seq пример] tensorflow.&lt;br /&gt;
&lt;br /&gt;
===S02.02===&lt;br /&gt;
Начали говорить о рекуррентных сетях, я обещал подробнее описать математику обучения.&lt;br /&gt;
# Поговорили о [https://en.wikipedia.org/wiki/Recurrent_neural_network рекурретных сетях] в общем&lt;br /&gt;
# Архитектура [https://en.wikipedia.org/wiki/Long_short-term_memory LSTM] сети&lt;br /&gt;
# Архитектура [https://arxiv.org/pdf/1412.3555v1.pdf GRU] сети&lt;br /&gt;
&lt;br /&gt;
===S29.01===&lt;br /&gt;
Еще раз вернулись к теме word embedding в контексте нейросетей, список затронутых статей:&lt;br /&gt;
# [http://www.jmlr.org/papers/volume3/bengio03a/bengio03a.pdf Первая сеть], предсказывающая следующее слово.&lt;br /&gt;
# [https://ronan.collobert.com/pub/matos/2008_nlp_icml.pdff Статья], где заменяется softmax&lt;br /&gt;
# [https://papers.nips.cc/paper/5021-distributed-representations-of-words-and-phrases-and-their-compositionality.pdf Статья] Миколова про word2vec.&lt;br /&gt;
&lt;br /&gt;
===L4===&lt;br /&gt;
Лабораторную работу можно найти [https://github.com/dasimagin/askme/blob/master/labs/L4%20-%20Word%20embedding.ipynb здесь].&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;Срок сдачи:&#039;&#039;&#039;&lt;br /&gt;
* Начало ревью: 19 февраля 23:59 &lt;br /&gt;
* Окончание ревью: 23 февраля 23:59 &lt;br /&gt;
&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
! Ревьюер !! Разработчик !! Оценка&lt;br /&gt;
|-&lt;br /&gt;
| Попов || Рябинин || -&lt;br /&gt;
|-&lt;br /&gt;
| Остяков || Попов || -&lt;br /&gt;
|-&lt;br /&gt;
| Когтенков || Остяков || -&lt;br /&gt;
|-&lt;br /&gt;
| Ширин  || Когтенков || -&lt;br /&gt;
|-&lt;br /&gt;
| Рябинин || Ширин || -&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
===H11.01===&lt;br /&gt;
Произвели разбор L3. Описание модели победителя можно найти, а baseline доступен [https://github.com/dasimagin/askme/blob/master/labs/L3%20-%20Baseline.ipynb здесь].&lt;br /&gt;
&lt;br /&gt;
Доклады мне не очень понравились. Постараюсь написать общие замечания.&lt;br /&gt;
# Прежде всего у докладчика должна быть хорошая речь.&lt;br /&gt;
# Нужно выделить то, что действительно важно и интересно для слушателя.&lt;br /&gt;
# Делать на доске четкие и простые рисунки и записи, убедиться, что аудитория тебя понимает.&lt;br /&gt;
# Не прыгать с темы на тему, а идти в соответсвии с логическим планом.&lt;br /&gt;
&lt;br /&gt;
===S15.12===&lt;br /&gt;
Поговорили про векторное представление слов, word2vec и другие сверточные сети для работы с естественными языками.&lt;br /&gt;
&lt;br /&gt;
===H11.12===&lt;br /&gt;
Занятие было посвящено выполнению второй лабораторной. Интересный ноутбук скоро появится [здесь].&lt;br /&gt;
&lt;br /&gt;
===S08.12===&lt;br /&gt;
&#039;&#039;&#039;1. Известные архитектуры сверточных сетей&#039;&#039;&#039;&lt;br /&gt;
* [https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Alexnet]&lt;br /&gt;
* [https://arxiv.org/pdf/1409.1556.pdf VGG net]&lt;br /&gt;
* [https://arxiv.org/pdf/1409.4842v1.pdf GoogLeNet]&lt;br /&gt;
* [https://arxiv.org/pdf/1512.03385.pdf ResNet]&lt;br /&gt;
&#039;&#039;&#039;2. Поговорили:&#039;&#039;&#039;&lt;br /&gt;
* На что активируются нейроны в зависимости от слоя&lt;br /&gt;
* Генерация &#039;похожих картинок&#039;&lt;br /&gt;
* Послойное обучение сети&lt;br /&gt;
* Переобучение или дообучение уже готовой сети&lt;br /&gt;
&#039;&#039;&#039;3. Изучили примеры для библиотеки Keras&#039;&#039;&#039;&lt;br /&gt;
*  [https://github.com/fchollet/keras/blob/master/examples/mnist_mlp.py Полносвязанная сеть]&lt;br /&gt;
* [https://github.com/fchollet/keras/blob/master/examples/mnist_cnn.py Сверточная сеть ]&lt;br /&gt;
* [https://github.com/fchollet/keras/blob/master/examples/mnist_transfer_cnn.py Переобучение] сверточной сети &lt;br /&gt;
&lt;br /&gt;
===L3===&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
! Студент !! CPU !! RAM !! GPU&lt;br /&gt;
|- &lt;br /&gt;
| Пример || 6 core, 3,5 GHz || 64GB || NVIDIA TITAN X&lt;br /&gt;
|-&lt;br /&gt;
|Рябинин || 4 core, 3.5 GHz || 16 GB || Nvidia GeForce GTX 1070&lt;br /&gt;
|-&lt;br /&gt;
| Попов || 4 core, 3.2 GHz || 8 GB || GeForce GTX 750 Ti&lt;br /&gt;
|-&lt;br /&gt;
| Остяков || 8 core, 2,6 GHz || 50 GB || -&lt;br /&gt;
|-&lt;br /&gt;
| Когтенков || 2 core, 1.4 GHz || 4 GB || -&lt;br /&gt;
|-&lt;br /&gt;
| Ширин || 2 core, 1.9 GHz || 8 GB || -&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
Победить в [https://inclass.kaggle.com/c/ch-ch конкурсе] классификации,  срок 3 января, 23:59.&lt;br /&gt;
&lt;br /&gt;
Для этого вам понадобится&lt;br /&gt;
* Установить [https://www.tensorflow.org Tensorflow] &lt;br /&gt;
* Установить [https://keras.io Keras] &lt;br /&gt;
* Запастись терпением&lt;br /&gt;
&lt;br /&gt;
===S01.12===&lt;br /&gt;
&#039;&#039;&#039;1. Полносвязанные сети:&#039;&#039;&#039;&lt;br /&gt;
* Подсчитаны производные для [https://en.wikipedia.org/wiki/Backpropagation Backpropagation], обсуждены тонкости реализации.&lt;br /&gt;
* Различные виды нелинейности: [https://en.wikipedia.org/wiki/Rectifier_(neural_networks) ReLu], [https://arxiv.org/pdf/1502.01852v1.pdf PReLu], [https://en.wikipedia.org/wiki/Sigmoid_function Sigmoid].&lt;br /&gt;
* Обучение сетей при помощи [https://en.wikipedia.org/wiki/Autoencoder Autoencoder].&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;2. Сверточные сети:&#039;&#039;&#039;&lt;br /&gt;
* Cтруктура [https://en.wikipedia.org/wiki/Convolutional_neural_network CNN].&lt;br /&gt;
* Затронуты: [https://en.wikipedia.org/wiki/Convolution Convolution], [https://en.wikipedia.org/wiki/Convolutional_neural_network#Pooling_layer Pooling].&lt;br /&gt;
* Влияние различных ядер свертки на структуру сети.&lt;br /&gt;
* [https://en.wikipedia.org/wiki/Convolutional_neural_network#Choosing_hyperparameters Feature maps].&lt;br /&gt;
* Разобрана архитектура [https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Alexnet].&lt;br /&gt;
* Сочетание из Convolutional и Dense слоев.&lt;br /&gt;
&lt;br /&gt;
===S24.11===&lt;br /&gt;
&#039;&#039;&#039;1. Регуляризация:&#039;&#039;&#039;&lt;br /&gt;
* Разобрали L1 и L2 регуляризаторы, можно найти [https://en.wikipedia.org/wiki/Regularization_(mathematics) здесь].&lt;br /&gt;
* Используйте простые классификаторы&lt;br /&gt;
* Раняя остановка (смотрим качество на отложенном множестве)&lt;br /&gt;
* Добавление шума&lt;br /&gt;
* Комбинирование классификаторов&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;2. Полносвязанные сети:&#039;&#039;&#039;&lt;br /&gt;
* Множественная классификация и [https://en.wikipedia.org/wiki/Softmax_function softmax].&lt;br /&gt;
* Метод [http://www.machinelearning.ru/wiki/images/0/0f/karpinskaya-2010.pdf обратного распространения ошибки], проблема при обучении.&lt;br /&gt;
* Инициализация весов:  и [http://jmlr.org/proceedings/papers/v9/glorot10a/glorot10a.pdf xavier] и другие [https://arxiv.org/pdf/1502.01852v1.pdf вариации].&lt;br /&gt;
* Кратко о [https://en.wikipedia.org/wiki/Convolutional_neural_network#Dropout dropout].&lt;br /&gt;
&lt;br /&gt;
===L2===&lt;br /&gt;
&lt;br /&gt;
Задание можно найти [https://github.com/dasimagin/askme/blob/master/labs/L2%20-%20Nets.ipynb здесь],  срок 23:59 11 декабря.&lt;br /&gt;
&lt;br /&gt;
===S03.11===&lt;br /&gt;
# [https://en.wikipedia.org/wiki/Feature_(machine_learning) Признаки] и какие они бывают. Об отборе признаков, кратко [https://habrahabr.ru/post/264915/ тут]. Может помочь на конкурсе.&lt;br /&gt;
# Задача [http://www.machinelearning.ru/wiki/index.php?title=Линейный_классификатор бинарной классификации].&lt;br /&gt;
# [http://www.machinelearning.ru/wiki/index.php?title=Метод_градиентного_спуска Градиентный спуск].&lt;br /&gt;
# [http://www.machinelearning.ru/wiki/index.php?title=Метод_стохастического_градиента Стохастический градиентный спуск]. На английской [https://en.wikipedia.org/wiki/Stochastic_gradient_descent вике] больше интересной информации.&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;Для дополнительного чтения:&#039;&#039;&#039;&lt;br /&gt;
# [https://homes.cs.washington.edu/~pedrod/papers/cacm12.pdf Что полезно знать о машинном обучении].&lt;br /&gt;
# [https://en.wikipedia.org/wiki/Feature_(machine_learning) Английская вика про признаки]&lt;br /&gt;
# [http://www.jmlr.org/papers/volume3/guyon03a/guyon03a.pdf Отбор признаков].&lt;br /&gt;
# Мощная теоретическая работа про [https://mipt.ru/upload/medialibrary/d7e/41-91.pdf стохастический градиентный спуск].&lt;br /&gt;
&lt;br /&gt;
===L1===&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
! Ревьюер !! Разработчик !! Оценка&lt;br /&gt;
|-&lt;br /&gt;
|Рябинин || Попов || 10&lt;br /&gt;
|-&lt;br /&gt;
| Попов || Остяков || 10&lt;br /&gt;
|-&lt;br /&gt;
| Остяков || Когтенков || 10&lt;br /&gt;
|-&lt;br /&gt;
| Когтенков || Ширин || 9.7&lt;br /&gt;
|-&lt;br /&gt;
| Ширин || Рябинин || 10&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
Для [https://github.com/dasimagin/askme/blob/master/labs/L1%20-%20Gradient%20descent%20and%20linear%20models.ipynb первой] лабораторной работы вам потребуется:&lt;br /&gt;
# Настроить себе [https://pip.pypa.io/en/stable/ pip] для Python3&lt;br /&gt;
# Освоить [http://jupyter.org Jupyter notebook]&lt;br /&gt;
# Установить пакеты [http://www.scipy.org scipy]: numpy, scipy, matplotlib&lt;/div&gt;</summary>
		<author><name>Simagin.denis</name></author>
	</entry>
	<entry>
		<id>https://wiki.cs.hse.ru/index.php?title=Ask_me_(%D1%81%D0%B5%D0%BC%D0%B8%D0%BD%D0%B0%D1%80)&amp;diff=22637</id>
		<title>Ask me (семинар)</title>
		<link rel="alternate" type="text/html" href="https://wiki.cs.hse.ru/index.php?title=Ask_me_(%D1%81%D0%B5%D0%BC%D0%B8%D0%BD%D0%B0%D1%80)&amp;diff=22637"/>
		<updated>2017-02-14T21:06:05Z</updated>

		<summary type="html">&lt;p&gt;Simagin.denis: &lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;Описание [[Ask_me_(проект)|проекта]], последнее [[Ask_me_(семинар)#.D0.A1.D0.B5.D0.BC.D0.B8.D0.BD.D0.B0.D1.80.D1.8B|занятие]].&lt;br /&gt;
&lt;br /&gt;
==Правила игры ==&lt;br /&gt;
* &#039;&#039;&#039;Ментор:&#039;&#039;&#039; [[Участник:Simagin.denis|Симагин Денис]].&lt;br /&gt;
* &#039;&#039;&#039;Место:&#039;&#039;&#039; офис Яндекса ([https://maps.yandex.ru/213/moscow/?ll=37.590150%2C55.734065&amp;amp;z=18&amp;amp;l=stv%2Csta&amp;amp;panorama%5Bpoint%5D=37.589416%2C55.733747&amp;amp;panorama%5Bdirection%5D=40.412258%2C-11.910596&amp;amp;panorama%5Bspan%5D=130.000000%2C52.209677 место встречи])&lt;br /&gt;
* &#039;&#039;&#039;Время:&#039;&#039;&#039; c 10:00, каждый четверг.&lt;br /&gt;
&lt;br /&gt;
Общение с ментором вне занятий приветствуется. Можно задавать вопросы, в том числе философские. Но перед тем, как написать, попробуйте спросить это у [https://ya.ru Яндекса]. Также не обижайтесь, если в ответ вам пришла ссылка на документацию или какую-то статью.&lt;br /&gt;
&lt;br /&gt;
===Ключевые точки===&lt;br /&gt;
Сверху нам спущены ключевые точки выполнения проекта. Для нас они скорее явлются формальными, тем не менее мы должны их соблюдать.&lt;br /&gt;
# &#039;&#039;&#039;12-17 декабря&#039;&#039;&#039; - все включились в работу&lt;br /&gt;
# &#039;&#039;&#039;20-25 марта&#039;&#039;&#039; - реализован объем работ, необходимый для зачета&lt;br /&gt;
# &#039;&#039;&#039;30 мая - 3 июня&#039;&#039;&#039; - окончание проектной работы, вы готовы, как пионеры. &lt;br /&gt;
# &#039;&#039;&#039;начало июня&#039;&#039;&#039; - конкурс проектов.&lt;br /&gt;
&lt;br /&gt;
===Правило 2Х===&lt;br /&gt;
У вас есть право на одну ошибку. Следующая - я отказываюсь с вами работать.&lt;br /&gt;
&lt;br /&gt;
===Репозитории===&lt;br /&gt;
Студенты хранят свой код в следующих репозиториях&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
|Ментор  || https://github.com/dasimagin/askme&lt;br /&gt;
|-&lt;br /&gt;
| Когтенков || https://github.com/aakogtenkov/Ask-me-if-you-can&lt;br /&gt;
|-&lt;br /&gt;
|Остяков || https://github.com/PavelOstyakov/askme&lt;br /&gt;
|-&lt;br /&gt;
|Рябинин || https://github.com/mryab/askme&lt;br /&gt;
|-&lt;br /&gt;
|Попов || https://github.com/Akiiino/Ask-Me-Anything&lt;br /&gt;
|-&lt;br /&gt;
|Ширин || https://github.com/shirinnikita/ask_me&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
===Разбор статьи===&lt;br /&gt;
В рамках проекта студент должен разобрать интересную для него статью и доложить ее на общем семинаре.&lt;br /&gt;
&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
! Студент !! Статья !! Дата&lt;br /&gt;
|-&lt;br /&gt;
|Когтенков || [https://papers.nips.cc/paper/5654-deep-knowledge-tracing.pdf Deep Knowledge Tracing] || -&lt;br /&gt;
|-&lt;br /&gt;
|Остяков || [https://arxiv.org/pdf/1612.07411v1.pdf A Context-aware Attention Network for Interactive Question Answering] || -&lt;br /&gt;
|-&lt;br /&gt;
|Рябинин || [https://arxiv.org/abs/1609.08144 Google&#039;s Neural Machine Translation System: Bridging the Gap between Human and Machine Translation] || -&lt;br /&gt;
|-&lt;br /&gt;
|Попов || [https://arxiv.org/pdf/1701.04189.pdf Deep Memory Networks for Attitude Identification] || -&lt;br /&gt;
|-&lt;br /&gt;
|Ширин || [https://arxiv.org/abs/1506.06714 Context-Sensitive Generation of Conversational Responses] || -&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
===Лабораторные===&lt;br /&gt;
Лабораторные проводятся для практического закрепления материала. Их выполнение учитывается в итоговой оценке.&lt;br /&gt;
&lt;br /&gt;
# Результатом работы является jupyter notebook, где сохранен вывод вашего кода, графики и т.п. А так же его импорт в формат .py. Для автоматизации процесса можно настроить jupyter.&lt;br /&gt;
# Когда сроки выполнения лабораторной завершены, вы выкладываете ее на ревью, создавая соответствующее задание и запрос на объединение ветки с мастером (не забудьте добавить проверяющего).&lt;br /&gt;
# Ваш коллега проводит ревью кода и может оставлять замечания, как в виде комментариев к заданию, так и в файле .py. Оно предполагает проверку стиля и правильность кода, а также конструктивные замечания по производительности. Однако не стремитесь сразу оптимизировать код. Добейтесь лучше того, чтобы все работало правильно.&lt;br /&gt;
# Когда ревью завершено, влейтесь в мастер и закройте задание.&lt;br /&gt;
&lt;br /&gt;
===Результаты===&lt;br /&gt;
Текущие результаты можно найти  [https://docs.google.com/spreadsheets/d/1gO6nHbLqMeLRXAa5Mubpfoc_-gk9DWCJ4mmnV_xaeig/edit?usp=sharing здесь]. Оценка складывается из нескольких частей:&lt;br /&gt;
# Работа на семинаре&lt;br /&gt;
# Доклад статьи&lt;br /&gt;
# Итоговый результат&lt;br /&gt;
&lt;br /&gt;
==Семинары==&lt;br /&gt;
&lt;br /&gt;
===S09.02, 16.02, 23.02, 02.03, 09.03 ===&lt;br /&gt;
Рассказ статей&lt;br /&gt;
===S02.02===&lt;br /&gt;
Начали говорить о рекуррентных сетях, я обещал подробнее описать математику обучения.&lt;br /&gt;
# Поговорили о [https://en.wikipedia.org/wiki/Recurrent_neural_network рекурретных сетях] в общем&lt;br /&gt;
# Архитектура [https://en.wikipedia.org/wiki/Long_short-term_memory LSTM] сети&lt;br /&gt;
# Архитектура [https://arxiv.org/pdf/1412.3555v1.pdf GRU] сети&lt;br /&gt;
&lt;br /&gt;
===S29.01===&lt;br /&gt;
Еще раз вернулись к теме word embedding в контексте нейросетей, список затронутых статей:&lt;br /&gt;
# [http://www.jmlr.org/papers/volume3/bengio03a/bengio03a.pdf Первая сеть], предсказывающая следующее слово.&lt;br /&gt;
# [https://ronan.collobert.com/pub/matos/2008_nlp_icml.pdff Статья], где заменяется softmax&lt;br /&gt;
# [https://papers.nips.cc/paper/5021-distributed-representations-of-words-and-phrases-and-their-compositionality.pdf Статья] Миколова про word2vec.&lt;br /&gt;
&lt;br /&gt;
===L4===&lt;br /&gt;
Лабораторную работу можно найти [https://github.com/dasimagin/askme/blob/master/labs/L4%20-%20Word%20embedding.ipynb здесь].&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;Срок сдачи:&#039;&#039;&#039;&lt;br /&gt;
* Начало ревью: 19 февраля 23:59 &lt;br /&gt;
* Окончание ревью: 23 февраля 23:59 &lt;br /&gt;
&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
! Ревьюер !! Разработчик !! Оценка&lt;br /&gt;
|-&lt;br /&gt;
| Попов || Рябинин || -&lt;br /&gt;
|-&lt;br /&gt;
| Остяков || Попов || -&lt;br /&gt;
|-&lt;br /&gt;
| Когтенков || Остяков || -&lt;br /&gt;
|-&lt;br /&gt;
| Ширин  || Когтенков || -&lt;br /&gt;
|-&lt;br /&gt;
| Рябинин || Ширин || -&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
===H11.01===&lt;br /&gt;
Произвели разбор L3. Описание модели победителя можно найти, а baseline доступен [https://github.com/dasimagin/askme/blob/master/labs/L3%20-%20Baseline.ipynb здесь].&lt;br /&gt;
&lt;br /&gt;
Доклады мне не очень понравились. Постараюсь написать общие замечания.&lt;br /&gt;
# Прежде всего у докладчика должна быть хорошая речь.&lt;br /&gt;
# Нужно выделить то, что действительно важно и интересно для слушателя.&lt;br /&gt;
# Делать на доске четкие и простые рисунки и записи, убедиться, что аудитория тебя понимает.&lt;br /&gt;
# Не прыгать с темы на тему, а идти в соответсвии с логическим планом.&lt;br /&gt;
&lt;br /&gt;
===S15.12===&lt;br /&gt;
Поговорили про векторное представление слов, word2vec и другие сверточные сети для работы с естественными языками.&lt;br /&gt;
&lt;br /&gt;
===H11.12===&lt;br /&gt;
Занятие было посвящено выполнению второй лабораторной. Интересный ноутбук скоро появится [здесь].&lt;br /&gt;
&lt;br /&gt;
===S08.12===&lt;br /&gt;
&#039;&#039;&#039;1. Известные архитектуры сверточных сетей&#039;&#039;&#039;&lt;br /&gt;
* [https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Alexnet]&lt;br /&gt;
* [https://arxiv.org/pdf/1409.1556.pdf VGG net]&lt;br /&gt;
* [https://arxiv.org/pdf/1409.4842v1.pdf GoogLeNet]&lt;br /&gt;
* [https://arxiv.org/pdf/1512.03385.pdf ResNet]&lt;br /&gt;
&#039;&#039;&#039;2. Поговорили:&#039;&#039;&#039;&lt;br /&gt;
* На что активируются нейроны в зависимости от слоя&lt;br /&gt;
* Генерация &#039;похожих картинок&#039;&lt;br /&gt;
* Послойное обучение сети&lt;br /&gt;
* Переобучение или дообучение уже готовой сети&lt;br /&gt;
&#039;&#039;&#039;3. Изучили примеры для библиотеки Keras&#039;&#039;&#039;&lt;br /&gt;
*  [https://github.com/fchollet/keras/blob/master/examples/mnist_mlp.py Полносвязанная сеть]&lt;br /&gt;
* [https://github.com/fchollet/keras/blob/master/examples/mnist_cnn.py Сверточная сеть ]&lt;br /&gt;
* [https://github.com/fchollet/keras/blob/master/examples/mnist_transfer_cnn.py Переобучение] сверточной сети &lt;br /&gt;
&lt;br /&gt;
===L3===&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
! Студент !! CPU !! RAM !! GPU&lt;br /&gt;
|- &lt;br /&gt;
| Пример || 6 core, 3,5 GHz || 64GB || NVIDIA TITAN X&lt;br /&gt;
|-&lt;br /&gt;
|Рябинин || 4 core, 3.5 GHz || 16 GB || Nvidia GeForce GTX 1070&lt;br /&gt;
|-&lt;br /&gt;
| Попов || 4 core, 3.2 GHz || 8 GB || GeForce GTX 750 Ti&lt;br /&gt;
|-&lt;br /&gt;
| Остяков || 8 core, 2,6 GHz || 50 GB || -&lt;br /&gt;
|-&lt;br /&gt;
| Когтенков || 2 core, 1.4 GHz || 4 GB || -&lt;br /&gt;
|-&lt;br /&gt;
| Ширин || 2 core, 1.9 GHz || 8 GB || -&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
Победить в [https://inclass.kaggle.com/c/ch-ch конкурсе] классификации,  срок 3 января, 23:59.&lt;br /&gt;
&lt;br /&gt;
Для этого вам понадобится&lt;br /&gt;
* Установить [https://www.tensorflow.org Tensorflow] &lt;br /&gt;
* Установить [https://keras.io Keras] &lt;br /&gt;
* Запастись терпением&lt;br /&gt;
&lt;br /&gt;
===S01.12===&lt;br /&gt;
&#039;&#039;&#039;1. Полносвязанные сети:&#039;&#039;&#039;&lt;br /&gt;
* Подсчитаны производные для [https://en.wikipedia.org/wiki/Backpropagation Backpropagation], обсуждены тонкости реализации.&lt;br /&gt;
* Различные виды нелинейности: [https://en.wikipedia.org/wiki/Rectifier_(neural_networks) ReLu], [https://arxiv.org/pdf/1502.01852v1.pdf PReLu], [https://en.wikipedia.org/wiki/Sigmoid_function Sigmoid].&lt;br /&gt;
* Обучение сетей при помощи [https://en.wikipedia.org/wiki/Autoencoder Autoencoder].&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;2. Сверточные сети:&#039;&#039;&#039;&lt;br /&gt;
* Cтруктура [https://en.wikipedia.org/wiki/Convolutional_neural_network CNN].&lt;br /&gt;
* Затронуты: [https://en.wikipedia.org/wiki/Convolution Convolution], [https://en.wikipedia.org/wiki/Convolutional_neural_network#Pooling_layer Pooling].&lt;br /&gt;
* Влияние различных ядер свертки на структуру сети.&lt;br /&gt;
* [https://en.wikipedia.org/wiki/Convolutional_neural_network#Choosing_hyperparameters Feature maps].&lt;br /&gt;
* Разобрана архитектура [https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Alexnet].&lt;br /&gt;
* Сочетание из Convolutional и Dense слоев.&lt;br /&gt;
&lt;br /&gt;
===S24.11===&lt;br /&gt;
&#039;&#039;&#039;1. Регуляризация:&#039;&#039;&#039;&lt;br /&gt;
* Разобрали L1 и L2 регуляризаторы, можно найти [https://en.wikipedia.org/wiki/Regularization_(mathematics) здесь].&lt;br /&gt;
* Используйте простые классификаторы&lt;br /&gt;
* Раняя остановка (смотрим качество на отложенном множестве)&lt;br /&gt;
* Добавление шума&lt;br /&gt;
* Комбинирование классификаторов&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;2. Полносвязанные сети:&#039;&#039;&#039;&lt;br /&gt;
* Множественная классификация и [https://en.wikipedia.org/wiki/Softmax_function softmax].&lt;br /&gt;
* Метод [http://www.machinelearning.ru/wiki/images/0/0f/karpinskaya-2010.pdf обратного распространения ошибки], проблема при обучении.&lt;br /&gt;
* Инициализация весов:  и [http://jmlr.org/proceedings/papers/v9/glorot10a/glorot10a.pdf xavier] и другие [https://arxiv.org/pdf/1502.01852v1.pdf вариации].&lt;br /&gt;
* Кратко о [https://en.wikipedia.org/wiki/Convolutional_neural_network#Dropout dropout].&lt;br /&gt;
&lt;br /&gt;
===L2===&lt;br /&gt;
&lt;br /&gt;
Задание можно найти [https://github.com/dasimagin/askme/blob/master/labs/L2%20-%20Nets.ipynb здесь],  срок 23:59 11 декабря.&lt;br /&gt;
&lt;br /&gt;
===S03.11===&lt;br /&gt;
# [https://en.wikipedia.org/wiki/Feature_(machine_learning) Признаки] и какие они бывают. Об отборе признаков, кратко [https://habrahabr.ru/post/264915/ тут]. Может помочь на конкурсе.&lt;br /&gt;
# Задача [http://www.machinelearning.ru/wiki/index.php?title=Линейный_классификатор бинарной классификации].&lt;br /&gt;
# [http://www.machinelearning.ru/wiki/index.php?title=Метод_градиентного_спуска Градиентный спуск].&lt;br /&gt;
# [http://www.machinelearning.ru/wiki/index.php?title=Метод_стохастического_градиента Стохастический градиентный спуск]. На английской [https://en.wikipedia.org/wiki/Stochastic_gradient_descent вике] больше интересной информации.&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;Для дополнительного чтения:&#039;&#039;&#039;&lt;br /&gt;
# [https://homes.cs.washington.edu/~pedrod/papers/cacm12.pdf Что полезно знать о машинном обучении].&lt;br /&gt;
# [https://en.wikipedia.org/wiki/Feature_(machine_learning) Английская вика про признаки]&lt;br /&gt;
# [http://www.jmlr.org/papers/volume3/guyon03a/guyon03a.pdf Отбор признаков].&lt;br /&gt;
# Мощная теоретическая работа про [https://mipt.ru/upload/medialibrary/d7e/41-91.pdf стохастический градиентный спуск].&lt;br /&gt;
&lt;br /&gt;
===L1===&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
! Ревьюер !! Разработчик !! Оценка&lt;br /&gt;
|-&lt;br /&gt;
|Рябинин || Попов || 10&lt;br /&gt;
|-&lt;br /&gt;
| Попов || Остяков || 10&lt;br /&gt;
|-&lt;br /&gt;
| Остяков || Когтенков || 10&lt;br /&gt;
|-&lt;br /&gt;
| Когтенков || Ширин || 9.7&lt;br /&gt;
|-&lt;br /&gt;
| Ширин || Рябинин || 10&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
Для [https://github.com/dasimagin/askme/blob/master/labs/L1%20-%20Gradient%20descent%20and%20linear%20models.ipynb первой] лабораторной работы вам потребуется:&lt;br /&gt;
# Настроить себе [https://pip.pypa.io/en/stable/ pip] для Python3&lt;br /&gt;
# Освоить [http://jupyter.org Jupyter notebook]&lt;br /&gt;
# Установить пакеты [http://www.scipy.org scipy]: numpy, scipy, matplotlib&lt;/div&gt;</summary>
		<author><name>Simagin.denis</name></author>
	</entry>
	<entry>
		<id>https://wiki.cs.hse.ru/index.php?title=Ask_me_(%D1%81%D0%B5%D0%BC%D0%B8%D0%BD%D0%B0%D1%80)&amp;diff=22636</id>
		<title>Ask me (семинар)</title>
		<link rel="alternate" type="text/html" href="https://wiki.cs.hse.ru/index.php?title=Ask_me_(%D1%81%D0%B5%D0%BC%D0%B8%D0%BD%D0%B0%D1%80)&amp;diff=22636"/>
		<updated>2017-02-14T21:04:23Z</updated>

		<summary type="html">&lt;p&gt;Simagin.denis: &lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;Описание [[Ask_me_(проект)|проекта]], последнее [[Ask_me_(семинар)#.D0.A1.D0.B5.D0.BC.D0.B8.D0.BD.D0.B0.D1.80.D1.8B|занятие]].&lt;br /&gt;
&lt;br /&gt;
==Правила игры ==&lt;br /&gt;
* &#039;&#039;&#039;Ментор:&#039;&#039;&#039; [[Участник:Simagin.denis|Симагин Денис]].&lt;br /&gt;
* &#039;&#039;&#039;Место:&#039;&#039;&#039; офис Яндекса ([https://maps.yandex.ru/213/moscow/?ll=37.590150%2C55.734065&amp;amp;z=18&amp;amp;l=stv%2Csta&amp;amp;panorama%5Bpoint%5D=37.589416%2C55.733747&amp;amp;panorama%5Bdirection%5D=40.412258%2C-11.910596&amp;amp;panorama%5Bspan%5D=130.000000%2C52.209677 место встречи])&lt;br /&gt;
* &#039;&#039;&#039;Время:&#039;&#039;&#039; c 10:00, каждый четверг.&lt;br /&gt;
&lt;br /&gt;
Общение с ментором вне занятий приветствуется. Можно задавать вопросы, в том числе философские. Но перед тем, как написать, попробуйте спросить это у [https://ya.ru Яндекса]. Также не обижайтесь, если в ответ вам пришла ссылка на документацию или какую-то статью.&lt;br /&gt;
&lt;br /&gt;
===Ключевые точки===&lt;br /&gt;
Сверху нам спущены ключевые точки выполнения проекта. Для нас они скорее явлются формальными, тем не менее мы должны их соблюдать.&lt;br /&gt;
# &#039;&#039;&#039;12-17 декабря&#039;&#039;&#039; - все включились в работу&lt;br /&gt;
# &#039;&#039;&#039;20-25 марта&#039;&#039;&#039; - реализован объем работ, необходимый для зачета&lt;br /&gt;
# &#039;&#039;&#039;30 мая - 3 июня&#039;&#039;&#039; - окончание проектной работы, вы готовы, как пионеры. &lt;br /&gt;
# &#039;&#039;&#039;начало июня&#039;&#039;&#039; - конкурс проектов.&lt;br /&gt;
&lt;br /&gt;
===Правило 2Х===&lt;br /&gt;
У вас есть право на одну ошибку. Следующая - я отказываюсь с вами работать.&lt;br /&gt;
&lt;br /&gt;
===Репозитории===&lt;br /&gt;
Студенты хранят свой код в следующих репозиториях&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
|Ментор  || https://github.com/dasimagin/askme&lt;br /&gt;
|-&lt;br /&gt;
| Когтенков || https://github.com/aakogtenkov/Ask-me-if-you-can&lt;br /&gt;
|-&lt;br /&gt;
|Остяков || https://github.com/PavelOstyakov/askme&lt;br /&gt;
|-&lt;br /&gt;
|Рябинин || https://github.com/mryab/askme&lt;br /&gt;
|-&lt;br /&gt;
|Попов || https://github.com/Akiiino/Ask-Me-Anything&lt;br /&gt;
|-&lt;br /&gt;
|Ширин || https://github.com/shirinnikita/ask_me&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
===Разбор статьи===&lt;br /&gt;
В рамках проекта студент должен разобрать интересную для него статью и доложить ее на общем семинаре.&lt;br /&gt;
&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
! Студент !! Статья !! Дата&lt;br /&gt;
|-&lt;br /&gt;
|Когтенков || [https://papers.nips.cc/paper/5654-deep-knowledge-tracing.pdf Deep Knowledge Tracing] || -&lt;br /&gt;
|-&lt;br /&gt;
|Остяков || [https://arxiv.org/pdf/1612.07411v1.pdf A Context-aware Attention Network for Interactive Question Answering] || -&lt;br /&gt;
|-&lt;br /&gt;
|Рябинин || [https://arxiv.org/abs/1609.08144 Google&#039;s Neural Machine Translation System: Bridging the Gap between Human and Machine Translation] || -&lt;br /&gt;
|-&lt;br /&gt;
|Попов || [https://arxiv.org/pdf/1701.04189.pdf Deep Memory Networks for Attitude Identification] || -&lt;br /&gt;
|-&lt;br /&gt;
|Ширин || [https://arxiv.org/abs/1506.06714 Context-Sensitive Generation of Conversational Responses] || -&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
===Лабораторные===&lt;br /&gt;
Лабораторные проводятся для практического закрепления материала. Их выполнение учитывается в итоговой оценке.&lt;br /&gt;
&lt;br /&gt;
# Результатом работы является jupyter notebook, где сохранен вывод вашего кода, графики и т.п. А так же его импорт в формат .py. Для автоматизации процесса можно настроить jupyter.&lt;br /&gt;
# Когда сроки выполнения лабораторной завершены, вы выкладываете ее на ревью, создавая соответствующее задание и запрос на объединение ветки с мастером (не забудьте добавить проверяющего).&lt;br /&gt;
# Ваш коллега проводит ревью кода и может оставлять замечания, как в виде комментариев к заданию, так и в файле .py. Оно предполагает проверку стиля и правильность кода, а также конструктивные замечания по производительности. Однако не стремитесь сразу оптимизировать код. Добейтесь лучше того, чтобы все работало правильно.&lt;br /&gt;
# Когда ревью завершено, влейтесь в мастер и закройте задание.&lt;br /&gt;
&lt;br /&gt;
===Результаты===&lt;br /&gt;
Текущие результаты можно найти  [https://docs.google.com/spreadsheets/d/1gO6nHbLqMeLRXAa5Mubpfoc_-gk9DWCJ4mmnV_xaeig/edit?usp=sharing здесь]. Оценка складывается из нескольких частей:&lt;br /&gt;
# Работа на семинаре&lt;br /&gt;
# Доклад статьи&lt;br /&gt;
# Итоговый результат&lt;br /&gt;
&lt;br /&gt;
==Семинары==&lt;br /&gt;
&lt;br /&gt;
===S09.02, 16.02, 23.02, 02.03, 09.03 ===&lt;br /&gt;
Рассказ статей&lt;br /&gt;
===S02.02===&lt;br /&gt;
Начали говорить о рекуррентных сетях, я обещал подробнее описать математику обучения.&lt;br /&gt;
# Поговорили о [https://en.wikipedia.org/wiki/Recurrent_neural_network рекурретных сетях] в общем&lt;br /&gt;
# Архитектура [https://en.wikipedia.org/wiki/Long_short-term_memory LSTM] сети&lt;br /&gt;
# Архитектура [https://arxiv.org/pdf/1412.3555v1.pdf GRU] сети&lt;br /&gt;
&lt;br /&gt;
===S29.01===&lt;br /&gt;
Еще раз вернулись к теме word embedding в контексте нейросетей, список затронутых статей:&lt;br /&gt;
# [http://www.jmlr.org/papers/volume3/bengio03a/bengio03a.pdf Первая сеть], предсказывающая следующее слово.&lt;br /&gt;
# [https://ronan.collobert.com/pub/matos/2008_nlp_icml.pdff Статья], где заменяется softmax&lt;br /&gt;
# [https://papers.nips.cc/paper/5021-distributed-representations-of-words-and-phrases-and-their-compositionality.pdf Статья] Миколова про word2vec.&lt;br /&gt;
&lt;br /&gt;
===L4===&lt;br /&gt;
Лабораторную работу можно найти [https://github.com/dasimagin/askme/blob/master/labs/L4%20-%20Word%20embedding.ipynb здесь].&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;Срок сдачи:&#039;&#039;&#039; 19 февраля 23:59 &lt;br /&gt;
&#039;&#039;&#039;Окончание ревью:&#039;&#039;&#039; 23 февраля 23:59 &lt;br /&gt;
&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
! Ревьюер !! Разработчик !! Оценка&lt;br /&gt;
|-&lt;br /&gt;
| Попов || Рябинин || -&lt;br /&gt;
|-&lt;br /&gt;
| Остяков || Попов || -&lt;br /&gt;
|-&lt;br /&gt;
| Когтенков || Остяков || -&lt;br /&gt;
|-&lt;br /&gt;
| Ширин  || Когтенков || -&lt;br /&gt;
|-&lt;br /&gt;
| Рябинин || Ширин || -&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
===H11.01===&lt;br /&gt;
Произвели разбор L3. Описание модели победителя можно найти, а baseline доступен [https://github.com/dasimagin/askme/blob/master/labs/L3%20-%20Baseline.ipynb здесь].&lt;br /&gt;
&lt;br /&gt;
Доклады мне не очень понравились. Постараюсь написать общие замечания.&lt;br /&gt;
# Прежде всего у докладчика должна быть хорошая речь.&lt;br /&gt;
# Нужно выделить то, что действительно важно и интересно для слушателя.&lt;br /&gt;
# Делать на доске четкие и простые рисунки и записи, убедиться, что аудитория тебя понимает.&lt;br /&gt;
# Не прыгать с темы на тему, а идти в соответсвии с логическим планом.&lt;br /&gt;
&lt;br /&gt;
===S15.12===&lt;br /&gt;
Поговорили про векторное представление слов, word2vec и другие сверточные сети для работы с естественными языками.&lt;br /&gt;
&lt;br /&gt;
===H11.12===&lt;br /&gt;
Занятие было посвящено выполнению второй лабораторной. Интересный ноутбук скоро появится [здесь].&lt;br /&gt;
&lt;br /&gt;
===S08.12===&lt;br /&gt;
&#039;&#039;&#039;1. Известные архитектуры сверточных сетей&#039;&#039;&#039;&lt;br /&gt;
* [https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Alexnet]&lt;br /&gt;
* [https://arxiv.org/pdf/1409.1556.pdf VGG net]&lt;br /&gt;
* [https://arxiv.org/pdf/1409.4842v1.pdf GoogLeNet]&lt;br /&gt;
* [https://arxiv.org/pdf/1512.03385.pdf ResNet]&lt;br /&gt;
&#039;&#039;&#039;2. Поговорили:&#039;&#039;&#039;&lt;br /&gt;
* На что активируются нейроны в зависимости от слоя&lt;br /&gt;
* Генерация &#039;похожих картинок&#039;&lt;br /&gt;
* Послойное обучение сети&lt;br /&gt;
* Переобучение или дообучение уже готовой сети&lt;br /&gt;
&#039;&#039;&#039;3. Изучили примеры для библиотеки Keras&#039;&#039;&#039;&lt;br /&gt;
*  [https://github.com/fchollet/keras/blob/master/examples/mnist_mlp.py Полносвязанная сеть]&lt;br /&gt;
* [https://github.com/fchollet/keras/blob/master/examples/mnist_cnn.py Сверточная сеть ]&lt;br /&gt;
* [https://github.com/fchollet/keras/blob/master/examples/mnist_transfer_cnn.py Переобучение] сверточной сети &lt;br /&gt;
&lt;br /&gt;
===L3===&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
! Студент !! CPU !! RAM !! GPU&lt;br /&gt;
|- &lt;br /&gt;
| Пример || 6 core, 3,5 GHz || 64GB || NVIDIA TITAN X&lt;br /&gt;
|-&lt;br /&gt;
|Рябинин || 4 core, 3.5 GHz || 16 GB || Nvidia GeForce GTX 1070&lt;br /&gt;
|-&lt;br /&gt;
| Попов || 4 core, 3.2 GHz || 8 GB || GeForce GTX 750 Ti&lt;br /&gt;
|-&lt;br /&gt;
| Остяков || 8 core, 2,6 GHz || 50 GB || -&lt;br /&gt;
|-&lt;br /&gt;
| Когтенков || 2 core, 1.4 GHz || 4 GB || -&lt;br /&gt;
|-&lt;br /&gt;
| Ширин || 2 core, 1.9 GHz || 8 GB || -&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
Победить в [https://inclass.kaggle.com/c/ch-ch конкурсе] классификации,  срок 3 января, 23:59.&lt;br /&gt;
&lt;br /&gt;
Для этого вам понадобится&lt;br /&gt;
* Установить [https://www.tensorflow.org Tensorflow] &lt;br /&gt;
* Установить [https://keras.io Keras] &lt;br /&gt;
* Запастись терпением&lt;br /&gt;
&lt;br /&gt;
===S01.12===&lt;br /&gt;
&#039;&#039;&#039;1. Полносвязанные сети:&#039;&#039;&#039;&lt;br /&gt;
* Подсчитаны производные для [https://en.wikipedia.org/wiki/Backpropagation Backpropagation], обсуждены тонкости реализации.&lt;br /&gt;
* Различные виды нелинейности: [https://en.wikipedia.org/wiki/Rectifier_(neural_networks) ReLu], [https://arxiv.org/pdf/1502.01852v1.pdf PReLu], [https://en.wikipedia.org/wiki/Sigmoid_function Sigmoid].&lt;br /&gt;
* Обучение сетей при помощи [https://en.wikipedia.org/wiki/Autoencoder Autoencoder].&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;2. Сверточные сети:&#039;&#039;&#039;&lt;br /&gt;
* Cтруктура [https://en.wikipedia.org/wiki/Convolutional_neural_network CNN].&lt;br /&gt;
* Затронуты: [https://en.wikipedia.org/wiki/Convolution Convolution], [https://en.wikipedia.org/wiki/Convolutional_neural_network#Pooling_layer Pooling].&lt;br /&gt;
* Влияние различных ядер свертки на структуру сети.&lt;br /&gt;
* [https://en.wikipedia.org/wiki/Convolutional_neural_network#Choosing_hyperparameters Feature maps].&lt;br /&gt;
* Разобрана архитектура [https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Alexnet].&lt;br /&gt;
* Сочетание из Convolutional и Dense слоев.&lt;br /&gt;
&lt;br /&gt;
===S24.11===&lt;br /&gt;
&#039;&#039;&#039;1. Регуляризация:&#039;&#039;&#039;&lt;br /&gt;
* Разобрали L1 и L2 регуляризаторы, можно найти [https://en.wikipedia.org/wiki/Regularization_(mathematics) здесь].&lt;br /&gt;
* Используйте простые классификаторы&lt;br /&gt;
* Раняя остановка (смотрим качество на отложенном множестве)&lt;br /&gt;
* Добавление шума&lt;br /&gt;
* Комбинирование классификаторов&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;2. Полносвязанные сети:&#039;&#039;&#039;&lt;br /&gt;
* Множественная классификация и [https://en.wikipedia.org/wiki/Softmax_function softmax].&lt;br /&gt;
* Метод [http://www.machinelearning.ru/wiki/images/0/0f/karpinskaya-2010.pdf обратного распространения ошибки], проблема при обучении.&lt;br /&gt;
* Инициализация весов:  и [http://jmlr.org/proceedings/papers/v9/glorot10a/glorot10a.pdf xavier] и другие [https://arxiv.org/pdf/1502.01852v1.pdf вариации].&lt;br /&gt;
* Кратко о [https://en.wikipedia.org/wiki/Convolutional_neural_network#Dropout dropout].&lt;br /&gt;
&lt;br /&gt;
===L2===&lt;br /&gt;
&lt;br /&gt;
Задание можно найти [https://github.com/dasimagin/askme/blob/master/labs/L2%20-%20Nets.ipynb здесь],  срок 23:59 11 декабря.&lt;br /&gt;
&lt;br /&gt;
===S03.11===&lt;br /&gt;
# [https://en.wikipedia.org/wiki/Feature_(machine_learning) Признаки] и какие они бывают. Об отборе признаков, кратко [https://habrahabr.ru/post/264915/ тут]. Может помочь на конкурсе.&lt;br /&gt;
# Задача [http://www.machinelearning.ru/wiki/index.php?title=Линейный_классификатор бинарной классификации].&lt;br /&gt;
# [http://www.machinelearning.ru/wiki/index.php?title=Метод_градиентного_спуска Градиентный спуск].&lt;br /&gt;
# [http://www.machinelearning.ru/wiki/index.php?title=Метод_стохастического_градиента Стохастический градиентный спуск]. На английской [https://en.wikipedia.org/wiki/Stochastic_gradient_descent вике] больше интересной информации.&lt;br /&gt;
&lt;br /&gt;
&#039;&#039;&#039;Для дополнительного чтения:&#039;&#039;&#039;&lt;br /&gt;
# [https://homes.cs.washington.edu/~pedrod/papers/cacm12.pdf Что полезно знать о машинном обучении].&lt;br /&gt;
# [https://en.wikipedia.org/wiki/Feature_(machine_learning) Английская вика про признаки]&lt;br /&gt;
# [http://www.jmlr.org/papers/volume3/guyon03a/guyon03a.pdf Отбор признаков].&lt;br /&gt;
# Мощная теоретическая работа про [https://mipt.ru/upload/medialibrary/d7e/41-91.pdf стохастический градиентный спуск].&lt;br /&gt;
&lt;br /&gt;
===L1===&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
! Ревьюер !! Разработчик !! Оценка&lt;br /&gt;
|-&lt;br /&gt;
|Рябинин || Попов || 10&lt;br /&gt;
|-&lt;br /&gt;
| Попов || Остяков || 10&lt;br /&gt;
|-&lt;br /&gt;
| Остяков || Когтенков || 10&lt;br /&gt;
|-&lt;br /&gt;
| Когтенков || Ширин || 9.7&lt;br /&gt;
|-&lt;br /&gt;
| Ширин || Рябинин || 10&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
Для [https://github.com/dasimagin/askme/blob/master/labs/L1%20-%20Gradient%20descent%20and%20linear%20models.ipynb первой] лабораторной работы вам потребуется:&lt;br /&gt;
# Настроить себе [https://pip.pypa.io/en/stable/ pip] для Python3&lt;br /&gt;
# Освоить [http://jupyter.org Jupyter notebook]&lt;br /&gt;
# Установить пакеты [http://www.scipy.org scipy]: numpy, scipy, matplotlib&lt;/div&gt;</summary>
		<author><name>Simagin.denis</name></author>
	</entry>
</feed>