Wiki - Факультет компьютерных наук - Вклад [ru]

Мониторинг внимания аудитории по видео (командный проект)

2016-11-23T10:10:53Z

Peter Romov:

=== Что это за проект? ===
Организаторам лекционных мероприятий интересно уметь численно оценивать качество мероприятий: число зрителей, их социально-демографический портрет, вовлеченность аудитории во время доклада. По наборам метрик мероприятия можно сравнивать между собой, выявлять проблемы и искать пути их исправления.

В рамках проекта предлагается построить приложение, которое будет вычислять метрики вовлеченности зрителей, используя запись с камеры, которая снимает зал со зрителями. Используя техники компьютерного зрения и машинного обучения можно выделить на кадрах видеопотока отдельных зрителей, оценить их пол/возраст, выделить моменты, в которые зритель смотрел доклад, или наоборот — уткнулся в экран смартфона или попросту уснул. В результате анализа видео-файла, приложение выводит временные ряды изменения метрик и суммарные показатели качества мероприятия.

Пример видео: https://yadi.sk/d/vl-M4jbSvtyor

[[Файл:Скриншот к проекту про мониторинг внимания.png|frameless|500px|Кадр из видеосъемки зала во время доклада]]

=== Чему научатся студенты? Что самое интересное в проекте? ===
Базовые техники компьютерного зрения: обработка изображений, детектирование объектов на изображении, трекинг объектов в видео.
Классификация изображений при помощи глубинного обучения (Deep Learning): файн-тюнинг современных сверточных нейронных сетей.

=== Организация работы (Как студенты будут работать в команде?) ===
Желательно 2 студента:
# С фокусом на задаче выделения объектов (зрителей)
# С фокусом на классификации изображений

Третий студент допустим в случае наличия у команды четкого разделения ролей в проекте.

=== Компоненеты (Из каких частей состоит проект?) ===
# Выделение зрителей на одном изображении (кадре)
# Улучшение выделения зрителей за счет использования видео-потока. Прототип 1: подсчет временного ряда числа зрителей в видео.
# Оценка пола и возраста по лицу при помощи предобученных нейронных сетей из Caffe ModelZoo. Прототип 2: определение соц-дема аудитории.
# Выделение типичных состояний людей (смотрит, общается с соседом, спит, втыкает в смартфон), обучение нейронной сети для определения состояния. Прототип 3: временные ряды и статистики вовлеченности аудитории.
# CLI-приложение, генерирующее отчет в виде документа с графиками + (опционально) наложить изменение метрик на видео.
#(*) Nightmare: real-time версия алгоритма

=== Какие будут использоваться технологии? ===
* OpenCV
* Python
* Deep Learning: Caffe + TensorFlow или Keras или Lasagne

=== Какие начальные требования? ===
Уверенное владение языком Python, базовое знание C++.
Угар по компьютерному зрению.

=== Темы вводных занятий ===
* Библиотеки для обработки изображений
* Базовые представления о детектировании объектов на изображении, существующие детекторы и трекеры лиц
* Deep Learning и библиотеки для него

=== Критерии оценки ===
* 4-5: Консольное приложение, подсчитывающее по видео временные ряды числа зрителей, числа вовлеченных и соц. дем статистика.
* 6-7: Введение бенчмарков и оценка качества отдельных частей приложения, качественный код на GitHub
* 8-10: Вариант 1: отработка приложения в бою (анализ нескольких мероприятий) + оценка качества работы приложения в целом + пост на Хабрахабр. Варант 2: реализация real-time версии приложения + пост на Хабр.

=== Похожие проекты ===
Проект оригинальный и может являться хорошим элементом портфолио.
К вопросу о том что могут делать сверточные нейронные сети: http://howhot.io/, как можно находить лица в видео: https://youtu.be/iI7mWvf0g1M

=== Контактная информация ===
Петр Ромов (peter@romov.ru), Алексей Артемов (artonson@yandex.ru)

[http://www.slideshare.net/romovpa/ss-67001177 Слайды с презентации проектов]

Автостатсмен для Dota 2 (командный проект)

2016-11-23T10:10:19Z

Peter Romov:

=== Что это за проект? ===

[[Файл:Dota Statsman Screenshot 3.png|x300px|обрамить|справа|Типичный статсмен]]

Статсмен в Dota 2 — человек, который занимается поиском любопытных статистических фактов и закономерностей в истории матчей Dota 2. Такая информация обычно используется во время трансляции игр, на постматчевой аналитике или же при подготовке команд к конкретным противникам.

При этом ключевыми источниками информации для подготовки являются 2 сайта: Dotabuff и DatDota и статсменам приходится вручную искать по ним необходимую информацию для ответа на интересующие их вопросы или составления статистических отчетов. Для того, чтобы облегчить их труд, данный процесс можно автоматизировать, сделав поиск и извлечение релевантной информации автоматическим.

=== Чему научатся студенты? Что самое интересное в проекте? ===
В рамках данного проекта студенты научатся извлечению данных со страниц веб-сайтов (scraping), использованию API, алгоритмизации выполнения поисковых и аналитических запросов. Проект предполагает создание микросервиса для взаимодействия с Dota 2 API в режиме реального времени и публикации результатов в социальных сетях.

=== Организация работы (Как студенты будут работать в команде?) ===
Для работы над данным проектом потребуется как минимум 2 студента
# специализирующийся на сборе и хранении данных
# специализирующийся на алгоритмизации извлечения и аналитики информации, полученной из данных

=== Компоненеты (Из каких частей состоит проект?) ===
#Создание системы по сбору и хранению данных о профессиональных матчах используя Steam API;
#Создание автоматической системы сбора статистической информации о героях/игроках с Dotabuff и Datdota;
#Классификация типовых статистических запросов и алгоритмизация их выполнения;
#Построение модели машинного обучения, ранжирующую полученную информацию по интересности
#Автоматизация работы системы в режиме реального времени на основе данных из текущих матчей Dota 2 Live API.
#(*) Чат-бот, дающий ответы на вопросы по данным о матчах, вроде того: Какой герой имеет наибольший винрейт на последнем чемпионате?

=== Какие будут использоваться технологии? ===
* Краулинг данных с веб-сайтов: Scrapy, HTML/CSS
* Получение полных данных о матчах и данных в live-режиме (Steam API)
* Хранение данных: , MongoDB, SQL
* Бэкенд: Python, AWS EC2
* Машинное обучение: SciKit-Learn, XGBoost, методы ранжирования
* Telegram API, Twitter API - в зависимости от выбранного способа публикации

=== Какие начальные требования? ===
* 3k+ MMR, лучше — 4k+ MMR
* Страсть к анализу данных и киберспорту

=== Темы вводных занятий ===
* Краулинг данных
* Работа со Steam API
* Способы хранения данных
* Ликбез по машинному обучению

=== Критерии оценки ===
Для получения хорошей оценки необходимо будет запустить автоматического статсмена в виде канала в социальной сети (например, Twitter), опубликовать по результатам проекта статью в релевантном издании.

=== Похожие проекты ===

=== Контактная информация ===
Даниил Яшков (daniil.yashkov@phystech.edu) — YDF, Александр Семенов — [https://anr.hse.ru/ ANR HSE]

Автостатсмен для Dota 2 (командный проект)

2016-10-11T14:53:50Z

Peter Romov: /* Компоненеты (Из каких частей состоит проект?) */

{{Карточка_командного_проекта
|name=Автостатсмен для Dota 2
|company=Yandex Data Factory & Co
|semester=Осень 2016
|course=3
|number_of_students=2-3
|categorize=yes
}}

=== Что это за проект? ===

[[Файл:Dota Statsman Screenshot 3.png|x300px|обрамить|справа|Типичный статсмен]]

Статсмен в Dota 2 — человек, который занимается поиском любопытных статистических фактов и закономерностей в истории матчей Dota 2. Такая информация обычно используется во время трансляции игр, на постматчевой аналитике или же при подготовке команд к конкретным противникам.

При этом ключевыми источниками информации для подготовки являются 2 сайта: Dotabuff и DatDota и статсменам приходится вручную искать по ним необходимую информацию для ответа на интересующие их вопросы или составления статистических отчетов. Для того, чтобы облегчить их труд, данный процесс можно автоматизировать, сделав поиск и извлечение релевантной информации автоматическим.

=== Чему научатся студенты? Что самое интересное в проекте? ===
В рамках данного проекта студенты научатся извлечению данных со страниц веб-сайтов (scraping), использованию API, алгоритмизации выполнения поисковых и аналитических запросов. Проект предполагает создание микросервиса для взаимодействия с Dota 2 API в режиме реального времени и публикации результатов в социальных сетях.

=== Организация работы (Как студенты будут работать в команде?) ===
Для работы над данным проектом потребуется как минимум 2 студента
# специализирующийся на сборе и хранении данных
# специализирующийся на алгоритмизации извлечения и аналитики информации, полученной из данных

=== Компоненеты (Из каких частей состоит проект?) ===
#Создание системы по сбору и хранению данных о профессиональных матчах используя Steam API;
#Создание автоматической системы сбора статистической информации о героях/игроках с Dotabuff и Datdota;
#Классификация типовых статистических запросов и алгоритмизация их выполнения;
#Построение модели машинного обучения, ранжирующую полученную информацию по интересности
#Автоматизация работы системы в режиме реального времени на основе данных из текущих матчей Dota 2 Live API.
#(*) Чат-бот, дающий ответы на вопросы по данным о матчах, вроде того: Какой герой имеет наибольший винрейт на последнем чемпионате?

=== Какие будут использоваться технологии? ===
* Краулинг данных с веб-сайтов: Scrapy, HTML/CSS
* Получение полных данных о матчах и данных в live-режиме (Steam API)
* Хранение данных: , MongoDB, SQL
* Бэкенд: Python, AWS EC2
* Машинное обучение: SciKit-Learn, XGBoost, методы ранжирования
* Telegram API, Twitter API - в зависимости от выбранного способа публикации

=== Какие начальные требования? ===
* 3k+ MMR, лучше — 4k+ MMR
* Страсть к анализу данных и киберспорту

=== Темы вводных занятий ===
* Краулинг данных
* Работа со Steam API
* Способы хранения данных
* Ликбез по машинному обучению

=== Критерии оценки ===
Для получения хорошей оценки необходимо будет запустить автоматического статсмена в виде канала в социальной сети (например, Twitter), опубликовать по результатам проекта статью в релевантном издании.

=== Похожие проекты ===

=== Контактная информация ===
Даниил Яшков (daniil.yashkov@phystech.edu) — YDF, Александр Семенов — [https://anr.hse.ru/ ANR HSE], Петр Ермаков — HeadHunter

Автостатсмен для Dota 2 (командный проект)

2016-10-11T14:53:30Z

Peter Romov: /* Компоненеты (Из каких частей состоит проект?) */

{{Карточка_командного_проекта
|name=Автостатсмен для Dota 2
|company=Yandex Data Factory & Co
|semester=Осень 2016
|course=3
|number_of_students=2-3
|categorize=yes
}}

=== Что это за проект? ===

[[Файл:Dota Statsman Screenshot 3.png|x300px|обрамить|справа|Типичный статсмен]]

Статсмен в Dota 2 — человек, который занимается поиском любопытных статистических фактов и закономерностей в истории матчей Dota 2. Такая информация обычно используется во время трансляции игр, на постматчевой аналитике или же при подготовке команд к конкретным противникам.

При этом ключевыми источниками информации для подготовки являются 2 сайта: Dotabuff и DatDota и статсменам приходится вручную искать по ним необходимую информацию для ответа на интересующие их вопросы или составления статистических отчетов. Для того, чтобы облегчить их труд, данный процесс можно автоматизировать, сделав поиск и извлечение релевантной информации автоматическим.

=== Чему научатся студенты? Что самое интересное в проекте? ===
В рамках данного проекта студенты научатся извлечению данных со страниц веб-сайтов (scraping), использованию API, алгоритмизации выполнения поисковых и аналитических запросов. Проект предполагает создание микросервиса для взаимодействия с Dota 2 API в режиме реального времени и публикации результатов в социальных сетях.

=== Организация работы (Как студенты будут работать в команде?) ===
Для работы над данным проектом потребуется как минимум 2 студента
# специализирующийся на сборе и хранении данных
# специализирующийся на алгоритмизации извлечения и аналитики информации, полученной из данных

=== Компоненеты (Из каких частей состоит проект?) ===
#Создание системы по сбору и хранению данных о профессиональных матчах используя Steam API;
#Создание автоматической системы сбора статистической информации о героях/игроках с Dotabuff и Datdota;
#Классификация типовых статистических запросов и алгоритмизация их выполнения;
#Построение модели машинного обучения, ранжирующую полученную информацию по интересности
#Автоматизация работы системы в режиме реального времени на основе данных из текущих матчей Dota 2 Live API.
#(*) Чат-бот, дающий ответы на вопросы, вроде того: Какой герой имеет наибольший винрейт на последнем чемпионате?

=== Какие будут использоваться технологии? ===
* Краулинг данных с веб-сайтов: Scrapy, HTML/CSS
* Получение полных данных о матчах и данных в live-режиме (Steam API)
* Хранение данных: , MongoDB, SQL
* Бэкенд: Python, AWS EC2
* Машинное обучение: SciKit-Learn, XGBoost, методы ранжирования
* Telegram API, Twitter API - в зависимости от выбранного способа публикации

=== Какие начальные требования? ===
* 3k+ MMR, лучше — 4k+ MMR
* Страсть к анализу данных и киберспорту

=== Темы вводных занятий ===
* Краулинг данных
* Работа со Steam API
* Способы хранения данных
* Ликбез по машинному обучению

=== Критерии оценки ===
Для получения хорошей оценки необходимо будет запустить автоматического статсмена в виде канала в социальной сети (например, Twitter), опубликовать по результатам проекта статью в релевантном издании.

=== Похожие проекты ===

=== Контактная информация ===
Даниил Яшков (daniil.yashkov@phystech.edu) — YDF, Александр Семенов — [https://anr.hse.ru/ ANR HSE], Петр Ермаков — HeadHunter

Автостатсмен для Dota 2 (командный проект)

2016-10-11T13:25:17Z

Peter Romov: /* Контактная информация */

{{Карточка_командного_проекта
|name=Автостатсмен для Dota 2
|company=Yandex Data Factory & Co
|semester=Осень 2016
|course=3
|number_of_students=2-3
|categorize=yes
}}

=== Что это за проект? ===

[[Файл:Dota Statsman Screenshot 3.png|x300px|обрамить|справа|Типичный статсмен]]

Статсмен в Dota 2 — человек, который занимается поиском любопытных статистических фактов и закономерностей в истории матчей Dota 2. Такая информация обычно используется во время трансляции игр, на постматчевой аналитике или же при подготовке команд к конкретным противникам.

При этом ключевыми источниками информации для подготовки являются 2 сайта: Dotabuff и DatDota и статсменам приходится вручную искать по ним необходимую информацию для ответа на интересующие их вопросы или составления статистических отчетов. Для того, чтобы облегчить их труд, данный процесс можно автоматизировать, сделав поиск и извлечение релевантной информации автоматическим.

=== Чему научатся студенты? Что самое интересное в проекте? ===
В рамках данного проекта студенты научатся извлечению данных со страниц веб-сайтов (scraping), использованию API, алгоритмизации выполнения поисковых и аналитических запросов. Проект предполагает создание микросервиса для взаимодействия с Dota 2 API в режиме реального времени и публикации результатов в социальных сетях.

=== Организация работы (Как студенты будут работать в команде?) ===
Для работы над данным проектом потребуется как минимум 2 студента
# специализирующийся на сборе и хранении данных
# специализирующийся на алгоритмизации извлечения и аналитики информации, полученной из данных

=== Компоненеты (Из каких частей состоит проект?) ===
#Создание системы по сбору и хранению данных о профессиональных матчах с Dotabuff и Datdota;
#Классификация типовых статистических запросов и алгоритмизация их выполнения;
#Создание веб-интерфейса для работы с созданной базой данных;
#Автоматизация работы системы в режиме реального времени на основе данных из текущих матчей Dota 2 Live API.

=== Какие будут использоваться технологии? ===
TBD

=== Какие начальные требования? ===
* 3k+ MMR, лучше — 4k+ MMR
* Страсть к анализу данных и киберспорту

=== Темы вводных занятий ===
TBD

=== Критерии оценки ===
Для получения хорошей оценки необходимо будет запустить автоматического статсмена в виде канала в социальной сети (например, Twitter), опубликовать по результатам проекта статью в релевантном издании.

=== Похожие проекты ===

=== Контактная информация ===
Даниил Яшков (daniil.yashkov@phystech.edu) — YDF, Александр Семенов — [https://anr.hse.ru/ ANR HSE], Петр Ермаков — HeadHunter

Мониторинг внимания аудитории по видео (командный проект)

2016-10-11T12:52:19Z

Peter Romov: /* Контактная информация */

{{Карточка_командного_проекта
|name=Мониторинг внимания аудитории по видео
|company=Yandex Data Factory
|semester=Осень 2016
|course=3
|number_of_students=2-3
|categorize=yes
}}

=== Что это за проект? ===
Организаторам лекционных мероприятий интересно уметь численно оценивать качество мероприятий: число зрителей, их социально-демографический портрет, вовлеченность аудитории во время доклада. По наборам метрик мероприятия можно сравнивать между собой, выявлять проблемы и искать пути их исправления.

В рамках проекта предлагается построить приложение, которое будет вычислять метрики вовлеченности зрителей, используя запись с камеры, которая снимает зал со зрителями. Используя техники компьютерного зрения и машинного обучения можно выделить на кадрах видеопотока отдельных зрителей, оценить их пол/возраст, выделить моменты, в которые зритель смотрел доклад, или наоборот — уткнулся в экран смартфона или попросту уснул. В результате анализа видео-файла, приложение выводит временные ряды изменения метрик и суммарные показатели качества мероприятия.

Пример видео: https://yadi.sk/d/vl-M4jbSvtyor

[[Файл:Скриншот к проекту про мониторинг внимания.png|frameless|500px|Кадр из видеосъемки зала во время доклада]]

=== Чему научатся студенты? Что самое интересное в проекте? ===
Базовые техники компьютерного зрения: обработка изображений, детектирование объектов на изображении, трекинг объектов в видео.
Классификация изображений при помощи глубинного обучения (Deep Learning): файн-тюнинг современных сверточных нейронных сетей.

=== Организация работы (Как студенты будут работать в команде?) ===
Желательно 2 студента:
# С фокусом на задаче выделения объектов (зрителей)
# С фокусом на классификации изображений

Третий студент допустим в случае наличия у команды четкого разделения ролей в проекте.

=== Компоненеты (Из каких частей состоит проект?) ===
# Выделение зрителей на одном изображении (кадре)
# Улучшение выделения зрителей за счет использования видео-потока. Прототип 1: подсчет временного ряда числа зрителей в видео.
# Оценка пола и возраста по лицу при помощи предобученных нейронных сетей из Caffe ModelZoo. Прототип 2: определение соц-дема аудитории.
# Выделение типичных состояний людей (смотрит, общается с соседом, спит, втыкает в смартфон), обучение нейронной сети для определения состояния. Прототип 3: временные ряды и статистики вовлеченности аудитории.
# CLI-приложение, генерирующее отчет в виде документа с графиками + (опционально) наложить изменение метрик на видео.
#(*) Nightmare: real-time версия алгоритма

=== Какие будут использоваться технологии? ===
* OpenCV
* Python
* Deep Learning: Caffe + TensorFlow или Keras или Lasagne

=== Какие начальные требования? ===
Уверенное владение языком Python, базовое знание C++.
Угар по компьютерному зрению.

=== Темы вводных занятий ===
* Библиотеки для обработки изображений
* Базовые представления о детектировании объектов на изображении, существующие детекторы и трекеры лиц
* Deep Learning и библиотеки для него

=== Критерии оценки ===
* 4-5: Консольное приложение, подсчитывающее по видео временные ряды числа зрителей, числа вовлеченных и соц. дем статистика.
* 6-7: Введение бенчмарков и оценка качества отдельных частей приложения, качественный код на GitHub
* 8-10: Вариант 1: отработка приложения в бою (анализ нескольких мероприятий) + оценка качества работы приложения в целом + пост на Хабрахабр. Варант 2: реализация real-time версии приложения + пост на Хабр.

=== Похожие проекты ===
Проект оригинальный и может являться хорошим элементом портфолио.
К вопросу о том что могут делать сверточные нейронные сети: http://howhot.io/, как можно находить лица в видео: https://youtu.be/iI7mWvf0g1M

=== Контактная информация ===
Петр Ромов (peter@romov.ru), Алексей Артемов (artonson@yandex.ru)

[http://www.slideshare.net/romovpa/ss-67001177 Слайды с презентации проектов]

Инструмент для машинного обучения на частично-структурированных данных (командный проект)

2016-10-11T12:52:12Z

Peter Romov: /* Контактная информация */

{{Карточка_командного_проекта
|name=Инструмент для машинного обучения на частично-структурированных данных
|company=Yandex Data Factory
|semester=Осень 2016
|course=3
|number_of_students=2-3
|categorize=yes
}}

=== Что это за проект? ===
Классическая постановка задачи машинного обучения очень проста: необходимо построить модель (алгоритм), которая по числовому вектору признаков предсказывает значение некоторой целевой переменной. Такая постановка максимально удобна для работы с ней на языке математики, разработки численных методов. Однако, в практике специалиста по анализу данных приходится иметь дело со сложными объектами, процесс описания которых в виде числового вектора (feature engineering) — одна из наиболее трудозатратных задач. Вот этот процесс разработки признаков хочется как можно сильнее упростить.

В рамках проекта предлагается разработать инструмент для построения моделей машинного обучения, в котором объекты описываются при помощи структуры данных в достаточно распространенном формате JSON. Алгоритм обучения должен уметь самостоятельно определять, какими признаками описываются объекты, какой тип имеют признаки, генерировать числовые описания признаков, сводя тем самым задачу к классической постановке.

Примеры типов признаков, которые должна уметь обрабатывать библиотека:
* числа
* категория
* текст
* дата/время
* временной ряд (массив из чисел)
* последовательность событий (массив из вложенных объектов)

Имея генератор векторно-числовых описаний объектов, инструмент использует наиболее универсальный и простой метод машинного обучения — градиентный бустинг над решающими деревьями (см. XGBoost) и таким образом строит конечную модель.

Почему описывать объекты именно в формате JSON? Для этого есть несколько аргументов: формат прост и подходит для описания почти любых типов данных, на этом языке реализованы многие Web API, одна из наиболее удачных реализаций концепции NoSQL баз данных (MongoDB) предлагает хранить данные именно в формате JSON.
Вот несколько примеров наборов данных, представленных в формате JSON, с платформы Kaggle:
* https://www.kaggle.com/c/yelp-recsys-2013/data
* https://www.kaggle.com/c/whats-cooking/data
* https://www.kaggle.com/c/random-acts-of-pizza/data

=== Чему научатся студенты? Что самое интересное в проекте? ===
Создавать программный продукт, решающий реально существующую проблему в области Data Science. Правильно использовать методы машинного обучения с данными различной природы. Отличная возможность узнать целый спектр задач, к которым применяется машинное обучение.

=== Организация работы (Как студенты будут работать в команде?) ===
Проект расчитан на 2–3 студентов:
# Архитектор, в ответственности которого — разработка ядра библиотеки
# Разработчик с фокусом на data science, в его ответственности — разработка обработчиков признаков и обсуждение архитектурных решений
# Опционально: третий разработчик, либо аналитик с фокусом на подготовку бенчмарков, прототипирование и выбор наиболее перспективных методов feature engineer-инга для реализации в библиотеке

=== Компоненеты (Из каких частей состоит проект?) ===
# Подготовка и разбор бенчмарков: подборка наборов данных, построение модели “вручную”, используя стандартные приемы feature engineer-инга.
# Разработка библиотеки с модульной архитектурой, позволяющей добавлять обработчики признаков. Налаживание процесса совместной разработки и автоматического тестирования.
# Реализация обработчиков различных видов признаков (см. примеры в описании проекта), тестирование алгоритма на построенных бенчмарках.
# Интерфейс и его документация: CLI xgboost-like + Python sklearn-like.
# (*) Элементы AutoML: автоматический подбор параметров обучения, отбор фичей (или способов их генерации)
# (*) Интеграция с NoSQL базами данных вроде MongoDB.

Звездочкой отмечены направления развития, на случай если основная часть проекта покажется слишком простой.

=== Какие будут использоваться технологии? ===
* Библиотеки XGBoost, SciKit-Learn.
* База данных MongoDB.
* GitHub + Travis CI (непрерывная интеграция)

=== Какие начальные требования? ===
Внутренняя потребность (и относительное умение) писать качественный код, продумывать архитектуру, ACM ICPC уровня бог или чуть ниже — может быть плюсом. Минимальный опыт построения моделей машинного обучения, большим плюсом — успешное участие в соревнования по машинному обучению на Kaggle или иных площадках.

=== Темы вводных занятий ===
* Инструменты коллективной разработки и автоматического тестирования
* Элементы agile
* Feature engineering в различных задачах

=== Критерии оценки ===
* 4-5: Алгоритм реализован и дает приемлемое качество на минимум 3х бенчмарках
* 6-7: Реализованы обработчики большинства видов признаков, часто встречаемых в прикладных задачах. Библиотеку получила положительный отзыв у независимого практикующего data scientиста, протестировавшего ее в реальной задаче.
* 8-10: Качественно реализованная и оформленная open source библиотека на GitHub + публикация в профессиональном издании + 200+ поинтов на HackerNews

=== Похожие проекты ===

=== Контактная информация ===
Ромов Петр (peter@romov.ru), будет еще технический ко-ментор

[http://www.slideshare.net/romovpa/ss-67001177 Слайды с презентации проектов]

Прогноз популярности статьи в блоге (командный проект)

2016-10-11T12:52:03Z

Peter Romov: /* Контактная информация */

{{Карточка_командного_проекта
|name=Прогноз популярности статьи в блоге
|company=Yandex Data Factory
|semester=Осень 2016
|course=3
|number_of_students=2-3
|categorize=yes
}}

=== Что это за проект? ===
В платформах для блоггинга, таких как Хабрахабр или Medium, как правило имеется система оценивания публикаций, которая поощряет авторов писать качественные статьи, интересные сообществу. Так на Хабре, участники имеющие достаточную карму могут поставить статье плюс или минус, а у Medium есть возможность “порекомендовать” статью другим читателям. Чем больше плюсов получает статья, тем выше она находится в лентах и тем больше других людей ее увидят.

А что если... научиться предсказывать оценку, которую пользователи поставят статье, до её публикации в блоге? С одной стороны это просто интересно — знать наперед, как отнесутся к твоему творению хабровчане, попытаться что-то поправить в статье, чтобы повысить ожидаемую оценку. С другой стороны, компаниям, которые ведут коммерческие блоги, очень важно иметь оценку популярности для своего медиапланирования, существующий подход к оценке популярности — “наметанный глаз копирайтера” и наборы рекомендаций.

В рамках проекта предлагается сделать расширение для браузера, которое на странице редактирования статьи будет показывать прогнозируемую популярность и лучшее время для публикации. Прогноз будет делаться при помощи модели машинного обучения, построенной на основе многолетней истории блог-платформы.

=== Чему научатся студенты? Что самое интересное в проекте? ===
Техники машинного обучения и анализа текстов (Natural Language Processing). Сбор данных со страниц интернета (краулинг). Забавное и потенциально резонансное приложение машинного обучения.

=== Организация работы (Как студенты будут работать в команде?) ===
Проект расчитан на команду из 2–3 студентов:
# Веб-разработчик: сбор данных, разработка расширения для браузера, развертывание бэкенда на сервере
# Аналитик: прототипирование и внедрение предсказательной модели, генерация признаков, оценка качества

Возможен вариант с разделением работы аналитика при наличии детального плана экспериментов и опыта командной работы у третьего участника.

=== Компоненеты (Из каких частей состоит проект?) ===
# Сбор данных для анализа и построения модели
# Прототипирование модели прогноза популярности
# Разработка бэкенда системы: обученная модель как сервис
# Разработка расширения для браузера
# (*) Автоматическое поддержание модели в актуальном состоянии (обучение на свежих данных)
# (*) Рекомендации автору по улучшению статьи, используя методы объяснения прогноза

Звездочкой отмечены направления развития, на случай если основная часть проекта покажется слишком простой.

=== Какие будут использоваться технологии? ===
* Бэкенд: Python, Flask, AWS EC2
* Машинное обучение: SciKit-Learn, XGBoost
* Обработка текстов: NLTK, Pymorphy2
* Краулинг данных с веб-сайтов: Scrapy, HTML/CSS
* Расширение для браузера: JavaScript, Chrome Extension API

=== Какие начальные требования? ===
Уверенное знание языка Python. Интерес к тебе блоггинга: регулярное чтение лент или даже опыт написания статей. Желательно иметь представление о веб-программировании.

=== Темы вводных занятий ===
* Краулинг данных
* Способы извлечения признаков из текстовых данных
* Ликбез по машинному обучению
* Ликбез по веб-разработке

=== Критерии оценки ===
* 4-5: Работающий сервис, возможность по статье предсказывать популярность после ее публикации
* 6-7: Отказоустойчивый сервис, детальная проработка признаков (учет всех возможных аспектов, влияющих на популярность), детальный анализ качества предсказаний и слабых мест модели
* 8-10: Расширение для браузера выложено на Chrome Web Store + статья на Хабр + сервис выдерживает Хабраэффект (моментальный наплыв пользователей)

=== Похожие проекты ===

=== Контактная информация ===
Петр Ромов (peter@romov.ru), Александр Черноморов (achernomorov@gmail.com)

[http://www.slideshare.net/romovpa/ss-67001177 Слайды с презентации проектов]

Автостатсмен для Dota 2 (командный проект)

2016-10-11T12:02:40Z

Peter Romov: /* Темы вводных занятий */

{{Карточка_командного_проекта
|name=Автостатсмен для Dota 2
|company=Yandex Data Factory & Co
|semester=Осень 2016
|course=3
|number_of_students=2-3
|categorize=yes
}}

=== Что это за проект? ===

[[Файл:Dota Statsman Screenshot 3.png|x300px|обрамить|справа|Типичный статсмен]]

Статсмен в Dota 2 — человек, который занимается поиском любопытных статистических фактов и закономерностей в истории матчей Dota 2. Такая информация обычно используется во время трансляции игр, на постматчевой аналитике или же при подготовке команд к конкретным противникам.

При этом ключевыми источниками информации для подготовки являются 2 сайта: Dotabuff и DatDota и статсменам приходится вручную искать по ним необходимую информацию для ответа на интересующие их вопросы или составления статистических отчетов. Для того, чтобы облегчить их труд, данный процесс можно автоматизировать, сделав поиск и извлечение релевантной информации автоматическим.

=== Чему научатся студенты? Что самое интересное в проекте? ===
В рамках данного проекта студенты научатся извлечению данных со страниц веб-сайтов (scraping), использованию API, алгоритмизации выполнения поисковых и аналитических запросов. Проект предполагает создание микросервиса для взаимодействия с Dota 2 API в режиме реального времени и публикации результатов в социальных сетях.

=== Организация работы (Как студенты будут работать в команде?) ===
Для работы над данным проектом потребуется как минимум 2 студента
# специализирующийся на сборе и хранении данных
# специализирующийся на алгоритмизации извлечения и аналитики информации, полученной из данных

=== Компоненеты (Из каких частей состоит проект?) ===
#Создание системы по сбору и хранению данных о профессиональных матчах с Dotabuff и Datdota;
#Классификация типовых статистических запросов и алгоритмизация их выполнения;
#Создание веб-интерфейса для работы с созданной базой данных;
#Автоматизация работы системы в режиме реального времени на основе данных из текущих матчей Dota 2 Live API.

=== Какие будут использоваться технологии? ===
TBD

=== Какие начальные требования? ===
* 3k+ MMR, лучше — 4k+ MMR
* Страсть к анализу данных и киберспорту

=== Темы вводных занятий ===
TBD

=== Критерии оценки ===
Для получения хорошей оценки необходимо будет запустить автоматического статсмена в виде канала в социальной сети (например, Twitter), опубликовать по результатам проекта статью в релевантном издании.

=== Похожие проекты ===

=== Контактная информация ===
Даниил Яшков (daniil.yashkov@phystech.edu) — YDF, Александр Семенов — МТС, Петр Ермаков — HeadHunter

Автостатсмен для Dota 2 (командный проект)

2016-10-11T11:56:20Z

Peter Romov: /* Что это за проект? */

{{Карточка_командного_проекта
|name=Автостатсмен для Dota 2
|company=Yandex Data Factory & Co
|semester=Осень 2016
|course=3
|number_of_students=2-3
|categorize=yes
}}

=== Что это за проект? ===

[[Файл:Dota Statsman Screenshot 3.png|x300px|обрамить|справа|Типичный статсмен]]

Статсмен в Dota 2 — человек, который занимается поиском любопытных статистических фактов и закономерностей в истории матчей Dota 2. Такая информация обычно используется во время трансляции игр, на постматчевой аналитике или же при подготовке команд к конкретным противникам.

При этом ключевыми источниками информации для подготовки являются 2 сайта: Dotabuff и DatDota и статсменам приходится вручную искать по ним необходимую информацию для ответа на интересующие их вопросы или составления статистических отчетов. Для того, чтобы облегчить их труд, данный процесс можно автоматизировать, сделав поиск и извлечение релевантной информации автоматическим.

=== Чему научатся студенты? Что самое интересное в проекте? ===
В рамках данного проекта студенты научатся извлечению данных со страниц веб-сайтов (scraping), использованию API, алгоритмизации выполнения поисковых и аналитических запросов. Проект предполагает создание микросервиса для взаимодействия с Dota 2 API в режиме реального времени и публикации результатов в социальных сетях.

=== Организация работы (Как студенты будут работать в команде?) ===
Для работы над данным проектом потребуется как минимум 2 студента
# специализирующийся на сборе и хранении данных
# специализирующийся на алгоритмизации извлечения и аналитики информации, полученной из данных

=== Компоненеты (Из каких частей состоит проект?) ===
#Создание системы по сбору и хранению данных о профессиональных матчах с Dotabuff и Datdota;
#Классификация типовых статистических запросов и алгоритмизация их выполнения;
#Создание веб-интерфейса для работы с созданной базой данных;
#Автоматизация работы системы в режиме реального времени на основе данных из текущих матчей Dota 2 Live API.

=== Какие будут использоваться технологии? ===
TBD

=== Какие начальные требования? ===
* 3k+ MMR, лучше — 4k+ MMR
* Страсть к анализу данных и киберспорту

=== Темы вводных занятий ===
* Скрапинг данных и работа с API

=== Критерии оценки ===
Для получения хорошей оценки необходимо будет запустить автоматического статсмена в виде канала в социальной сети (например, Twitter), опубликовать по результатам проекта статью в релевантном издании.

=== Похожие проекты ===

=== Контактная информация ===
Даниил Яшков (daniil.yashkov@phystech.edu) — YDF, Александр Семенов — МТС, Петр Ермаков — HeadHunter

Автостатсмен для Dota 2 (командный проект)

2016-10-11T11:50:02Z

Peter Romov: /* Что это за проект? */

{{Карточка_командного_проекта
|name=Автостатсмен для Dota 2
|company=Yandex Data Factory & Co
|semester=Осень 2016
|course=3
|number_of_students=2-3
|categorize=yes
}}

=== Что это за проект? ===
Статсмен в Dota 2 — человек, который занимается поиском любопытных статистических фактов и закономерностей в истории матчей Dota 2. Такая информация обычно используется во время трансляции игр, на постматчевой аналитике или же при подготовке команд к конкретным противникам.

При этом ключевыми источниками информации для подготовки являются 2 сайта: Dotabuff и DatDota и статсменам приходится вручную искать по ним необходимую информацию для ответа на интересующие их вопросы или составления статистических отчетов. Для того, чтобы облегчить их труд, данный процесс можно автоматизировать, сделав поиск и извлечение релевантной информации автоматическим.

<gallery mode="slideshow">
Файл:Dota Statsman Screenshot 1.png
Файл:Dota Statsman Screenshot 2.png
Файл:Dota Statsman Screenshot 3.png
</gallery>

=== Чему научатся студенты? Что самое интересное в проекте? ===
В рамках данного проекта студенты научатся извлечению данных со страниц веб-сайтов (scraping), использованию API, алгоритмизации выполнения поисковых и аналитических запросов. Проект предполагает создание микросервиса для взаимодействия с Dota 2 API в режиме реального времени и публикации результатов в социальных сетях.

=== Организация работы (Как студенты будут работать в команде?) ===
Для работы над данным проектом потребуется как минимум 2 студента
# специализирующийся на сборе и хранении данных
# специализирующийся на алгоритмизации извлечения и аналитики информации, полученной из данных

=== Компоненеты (Из каких частей состоит проект?) ===
#Создание системы по сбору и хранению данных о профессиональных матчах с Dotabuff и Datdota;
#Классификация типовых статистических запросов и алгоритмизация их выполнения;
#Создание веб-интерфейса для работы с созданной базой данных;
#Автоматизация работы системы в режиме реального времени на основе данных из текущих матчей Dota 2 Live API.

=== Какие будут использоваться технологии? ===
TBD

=== Какие начальные требования? ===
* 3k+ MMR, лучше — 4k+ MMR
* Страсть к анализу данных и киберспорту

=== Темы вводных занятий ===
* Скрапинг данных и работа с API

=== Критерии оценки ===
Для получения хорошей оценки необходимо будет запустить автоматического статсмена в виде канала в социальной сети (например, Twitter), опубликовать по результатам проекта статью в релевантном издании.

=== Похожие проекты ===

=== Контактная информация ===
Даниил Яшков (daniil.yashkov@phystech.edu) — YDF, Александр Семенов — МТС, Петр Ермаков — HeadHunter

Автостатсмен для Dota 2 (командный проект)

2016-10-11T11:48:49Z

Peter Romov: /* Что это за проект? */

{{Карточка_командного_проекта
|name=Автостатсмен для Dota 2
|company=Yandex Data Factory & Co
|semester=Осень 2016
|course=3
|number_of_students=2-3
|categorize=yes
}}

=== Что это за проект? ===
Статсмен в Dota 2 — человек, который занимается поиском любопытных статистических фактов и закономерностей в истории матчей Dota 2. Такая информация обычно используется во время трансляции игр, на постматчевой аналитике или же при подготовке команд к конкретным противникам.

При этом ключевыми источниками информации для подготовки являются 2 сайта: Dotabuff и DatDota и статсменам приходится вручную искать по ним необходимую информацию для ответа на интересующие их вопросы или составления статистических отчетов. Для того, чтобы облегчить их труд, данный процесс можно автоматизировать, сделав поиск и извлечение релевантной информации автоматическим.

<gallery>
Файл:Dota Statsman Screenshot 1.png
Файл:Dota Statsman Screenshot 2.png
Файл:Dota Statsman Screenshot 3.png
</gallery>

=== Чему научатся студенты? Что самое интересное в проекте? ===
В рамках данного проекта студенты научатся извлечению данных со страниц веб-сайтов (scraping), использованию API, алгоритмизации выполнения поисковых и аналитических запросов. Проект предполагает создание микросервиса для взаимодействия с Dota 2 API в режиме реального времени и публикации результатов в социальных сетях.

=== Организация работы (Как студенты будут работать в команде?) ===
Для работы над данным проектом потребуется как минимум 2 студента
# специализирующийся на сборе и хранении данных
# специализирующийся на алгоритмизации извлечения и аналитики информации, полученной из данных

=== Компоненеты (Из каких частей состоит проект?) ===
#Создание системы по сбору и хранению данных о профессиональных матчах с Dotabuff и Datdota;
#Классификация типовых статистических запросов и алгоритмизация их выполнения;
#Создание веб-интерфейса для работы с созданной базой данных;
#Автоматизация работы системы в режиме реального времени на основе данных из текущих матчей Dota 2 Live API.

=== Какие будут использоваться технологии? ===
TBD

=== Какие начальные требования? ===
* 3k+ MMR, лучше — 4k+ MMR
* Страсть к анализу данных и киберспорту

=== Темы вводных занятий ===
* Скрапинг данных и работа с API

=== Критерии оценки ===
Для получения хорошей оценки необходимо будет запустить автоматического статсмена в виде канала в социальной сети (например, Twitter), опубликовать по результатам проекта статью в релевантном издании.

=== Похожие проекты ===

=== Контактная информация ===
Даниил Яшков (daniil.yashkov@phystech.edu) — YDF, Александр Семенов — МТС, Петр Ермаков — HeadHunter

Файл:Dota Statsman Screenshot 1.png

2016-10-11T11:47:08Z

Peter Romov:

Файл:Dota Statsman Screenshot 2.png

2016-10-11T11:46:47Z

Peter Romov:

Файл:Dota Statsman Screenshot 3.png

2016-10-11T11:46:24Z

Peter Romov:

Автостатсмен для Dota 2 (командный проект)

2016-10-11T11:42:34Z

Peter Romov: /* Что это за проект? */

{{Карточка_командного_проекта
|name=Автостатсмен для Dota 2
|company=Yandex Data Factory & Co
|semester=Осень 2016
|course=3
|number_of_students=2-3
|categorize=yes
}}

=== Что это за проект? ===
Статсмен в Dota 2 — человек, который занимается поиском любопытных статистических фактов и закономерностей в истории матчей Dota 2. Такая информация обычно используется во время трансляции игр, на постматчевой аналитике или же при подготовке команд к конкретным противникам.

При этом ключевыми источниками информации для подготовки являются 2 сайта: Dotabuff и DatDota и статсменам приходится вручную искать по ним необходимую информацию для ответа на интересующие их вопросы или составления статистических отчетов. Для того, чтобы облегчить их труд, данный процесс можно автоматизировать, сделав поиск и извлечение релевантной информации автоматическим.

=== Чему научатся студенты? Что самое интересное в проекте? ===
В рамках данного проекта студенты научатся извлечению данных со страниц веб-сайтов (scraping), использованию API, алгоритмизации выполнения поисковых и аналитических запросов. Проект предполагает создание микросервиса для взаимодействия с Dota 2 API в режиме реального времени и публикации результатов в социальных сетях.

=== Организация работы (Как студенты будут работать в команде?) ===
Для работы над данным проектом потребуется как минимум 2 студента
# специализирующийся на сборе и хранении данных
# специализирующийся на алгоритмизации извлечения и аналитики информации, полученной из данных

=== Компоненеты (Из каких частей состоит проект?) ===
#Создание системы по сбору и хранению данных о профессиональных матчах с Dotabuff и Datdota;
#Классификация типовых статистических запросов и алгоритмизация их выполнения;
#Создание веб-интерфейса для работы с созданной базой данных;
#Автоматизация работы системы в режиме реального времени на основе данных из текущих матчей Dota 2 Live API.

=== Какие будут использоваться технологии? ===
TBD

=== Какие начальные требования? ===
* 3k+ MMR, лучше — 4k+ MMR
* Страсть к анализу данных и киберспорту

=== Темы вводных занятий ===
* Скрапинг данных и работа с API

=== Критерии оценки ===
Для получения хорошей оценки необходимо будет запустить автоматического статсмена в виде канала в социальной сети (например, Twitter), опубликовать по результатам проекта статью в релевантном издании.

=== Похожие проекты ===

=== Контактная информация ===
Даниил Яшков (daniil.yashkov@phystech.edu) — YDF, Александр Семенов — МТС, Петр Ермаков — HeadHunter

Автостатсмен для Dota 2 (командный проект)

2016-10-11T11:42:11Z

Peter Romov: Новая страница, с помощью формы Новый_командный_проект

{{Карточка_командного_проекта
|name=Автостатсмен для Dota 2
|company=Yandex Data Factory & Co
|semester=Осень 2016
|course=3
|number_of_students=2-3
|categorize=yes
}}

=== Что это за проект? ===
Статсмен в Дота 2 — человек, который занимается поиском любопытных статистических фактов и закономерностей в истории матчей Dota 2. Такая информация обычно используется во время трансляции игр, на постматчевой аналитике или же при подготовке команд к конкретным противникам.

При этом ключевыми источниками информации для подготовки являются 2 сайта: Dotabuff и DatDota и статсменам приходится вручную искать по ним необходимую информацию для ответа на интересующие их вопросы или составления статистических отчетов. Для того, чтобы облегчить их труд, данный процесс можно автоматизировать, сделав поиск и извлечение релевантной информации автоматическим.

=== Чему научатся студенты? Что самое интересное в проекте? ===
В рамках данного проекта студенты научатся извлечению данных со страниц веб-сайтов (scraping), использованию API, алгоритмизации выполнения поисковых и аналитических запросов. Проект предполагает создание микросервиса для взаимодействия с Dota 2 API в режиме реального времени и публикации результатов в социальных сетях.

=== Организация работы (Как студенты будут работать в команде?) ===
Для работы над данным проектом потребуется как минимум 2 студента
# специализирующийся на сборе и хранении данных
# специализирующийся на алгоритмизации извлечения и аналитики информации, полученной из данных

=== Компоненеты (Из каких частей состоит проект?) ===
#Создание системы по сбору и хранению данных о профессиональных матчах с Dotabuff и Datdota;
#Классификация типовых статистических запросов и алгоритмизация их выполнения;
#Создание веб-интерфейса для работы с созданной базой данных;
#Автоматизация работы системы в режиме реального времени на основе данных из текущих матчей Dota 2 Live API.

=== Какие будут использоваться технологии? ===
TBD

=== Какие начальные требования? ===
* 3k+ MMR, лучше — 4k+ MMR
* Страсть к анализу данных и киберспорту

=== Темы вводных занятий ===
* Скрапинг данных и работа с API

=== Критерии оценки ===
Для получения хорошей оценки необходимо будет запустить автоматического статсмена в виде канала в социальной сети (например, Twitter), опубликовать по результатам проекта статью в релевантном издании.

=== Похожие проекты ===

=== Контактная информация ===
Даниил Яшков (daniil.yashkov@phystech.edu) — YDF, Александр Семенов — МТС, Петр Ермаков — HeadHunter

Инструмент для машинного обучения на частично-структурированных данных (командный проект)

2016-10-06T17:28:03Z

Peter Romov: /* Какие начальные требования? */

Мониторинг внимания аудитории по видео (командный проект)

2016-10-06T15:57:01Z

Peter Romov: /* Что это за проект? */

Файл:Скриншот к проекту про мониторинг внимания.png

2016-10-06T15:53:58Z

Peter Romov:

Прогноз популярности статьи в блоге (командный проект)

2016-10-05T18:45:16Z

Peter Romov: /* Контактная информация */

Прогноз популярности статьи в блоге (командный проект)

2016-10-05T18:40:25Z

Peter Romov: /* Контактная информация */

{{Карточка_командного_проекта
|name=Прогноз популярности статьи в блоге
|company=Yandex Data Factory
|semester=Осень 2016
|course=3
|number_of_students=2-3
|categorize=yes
}}

=== Что это за проект? ===
В платформах для блоггинга, таких как Хабрахабр или Medium, как правило имеется система оценивания публикаций, которая поощряет авторов писать качественные статьи, интересные сообществу. Так на Хабре, участники имеющие достаточную карму могут поставить статье плюс или минус, а у Medium есть возможность “порекомендовать” статью другим читателям. Чем больше плюсов получает статья, тем выше она находится в лентах и тем больше других людей ее увидят.

А что если... научиться предсказывать оценку, которую пользователи поставят статье, до её публикации в блоге? С одной стороны это просто интересно — знать наперед, как отнесутся к твоему творению хабровчане, попытаться что-то поправить в статье, чтобы повысить ожидаемую оценку. С другой стороны, компаниям, которые ведут коммерческие блоги, очень важно иметь оценку популярности для своего медиапланирования, существующий подход к оценке популярности — “наметанный глаз копирайтера” и наборы рекомендаций.

В рамках проекта предлагается сделать расширение для браузера, которое на странице редактирования статьи будет показывать прогнозируемую популярность и лучшее время для публикации. Прогноз будет делаться при помощи модели машинного обучения, построенной на основе многолетней истории блог-платформы.

=== Чему научатся студенты? Что самое интересное в проекте? ===
Техники машинного обучения и анализа текстов (Natural Language Processing). Сбор данных со страниц интернета (краулинг). Забавное и потенциально резонансное приложение машинного обучения.

=== Организация работы (Как студенты будут работать в команде?) ===
Проект расчитан на команду из 2–3 студентов:
# Веб-разработчик: сбор данных, разработка расширения для браузера, развертывание бэкенда на сервере
# Аналитик: прототипирование и внедрение предсказательной модели, генерация признаков, оценка качества

Возможен вариант с разделением работы аналитика при наличии детального плана экспериментов и опыта командной работы у третьего участника.

=== Компоненеты (Из каких частей состоит проект?) ===
# Сбор данных для анализа и построения модели
# Прототипирование модели прогноза популярности
# Разработка бэкенда системы: обученная модель как сервис
# Разработка расширения для браузера
# (*) Автоматическое поддержание модели в актуальном состоянии (обучение на свежих данных)
# (*) Рекомендации автору по улучшению статьи, используя методы объяснения прогноза

Звездочкой отмечены направления развития, на случай если основная часть проекта покажется слишком простой.

=== Какие будут использоваться технологии? ===
* Бэкенд: Python, Flask, AWS EC2
* Машинное обучение: SciKit-Learn, XGBoost
* Обработка текстов: NLTK, Pymorphy2
* Краулинг данных с веб-сайтов: Scrapy, HTML/CSS
* Расширение для браузера: JavaScript, Chrome Extension API

=== Какие начальные требования? ===
Уверенное знание языка Python. Интерес к тебе блоггинга: регулярное чтение лент или даже опыт написания статей. Желательно иметь представление о веб-программировании.

=== Темы вводных занятий ===
* Краулинг данных
* Способы извлечения признаков из текстовых данных
* Ликбез по машинному обучению
* Ликбез по веб-разработке

=== Критерии оценки ===
* 4-5: Работающий сервис, возможность по статье предсказывать популярность после ее публикации
* 6-7: Отказоустойчивый сервис, детальная проработка признаков (учет всех возможных аспектов, влияющих на популярность), детальный анализ качества предсказаний и слабых мест модели
* 8-10: Расширение для браузера выложено на Chrome Web Store + статья на Хабр + сервис выдерживает Хабраэффект (моментальный наплыв пользователей)

=== Похожие проекты ===

=== Контактная информация ===
Ромов Петр (peter@romov.ru), Александр Черноморов (achernomorov@gmail.com)

Прогноз популярности статьи в блоге (командный проект)

2016-10-05T16:09:18Z

Peter Romov: /* Какие будут использоваться технологии? */

{{Карточка_командного_проекта
|name=Прогноз популярности статьи в блоге
|company=Yandex Data Factory
|semester=Осень 2016
|course=3
|number_of_students=2-3
|categorize=yes
}}

=== Что это за проект? ===
В платформах для блоггинга, таких как Хабрахабр или Medium, как правило имеется система оценивания публикаций, которая поощряет авторов писать качественные статьи, интересные сообществу. Так на Хабре, участники имеющие достаточную карму могут поставить статье плюс или минус, а у Medium есть возможность “порекомендовать” статью другим читателям. Чем больше плюсов получает статья, тем выше она находится в лентах и тем больше других людей ее увидят.

А что если... научиться предсказывать оценку, которую пользователи поставят статье, до её публикации в блоге? С одной стороны это просто интересно — знать наперед, как отнесутся к твоему творению хабровчане, попытаться что-то поправить в статье, чтобы повысить ожидаемую оценку. С другой стороны, компаниям, которые ведут коммерческие блоги, очень важно иметь оценку популярности для своего медиапланирования, существующий подход к оценке популярности — “наметанный глаз копирайтера” и наборы рекомендаций.

В рамках проекта предлагается сделать расширение для браузера, которое на странице редактирования статьи будет показывать прогнозируемую популярность и лучшее время для публикации. Прогноз будет делаться при помощи модели машинного обучения, построенной на основе многолетней истории блог-платформы.

=== Чему научатся студенты? Что самое интересное в проекте? ===
Техники машинного обучения и анализа текстов (Natural Language Processing). Сбор данных со страниц интернета (краулинг). Забавное и потенциально резонансное приложение машинного обучения.

=== Организация работы (Как студенты будут работать в команде?) ===
Проект расчитан на команду из 2–3 студентов:
# Веб-разработчик: сбор данных, разработка расширения для браузера, развертывание бэкенда на сервере
# Аналитик: прототипирование и внедрение предсказательной модели, генерация признаков, оценка качества

Возможен вариант с разделением работы аналитика при наличии детального плана экспериментов и опыта командной работы у третьего участника.

=== Компоненеты (Из каких частей состоит проект?) ===
# Сбор данных для анализа и построения модели
# Прототипирование модели прогноза популярности
# Разработка бэкенда системы: обученная модель как сервис
# Разработка расширения для браузера
# (*) Автоматическое поддержание модели в актуальном состоянии (обучение на свежих данных)
# (*) Рекомендации автору по улучшению статьи, используя методы объяснения прогноза

Звездочкой отмечены направления развития, на случай если основная часть проекта покажется слишком простой.

=== Какие будут использоваться технологии? ===
* Бэкенд: Python, Flask, AWS EC2
* Машинное обучение: SciKit-Learn, XGBoost
* Обработка текстов: NLTK, Pymorphy2
* Краулинг данных с веб-сайтов: Scrapy, HTML/CSS
* Расширение для браузера: JavaScript, Chrome Extension API

=== Какие начальные требования? ===
Уверенное знание языка Python. Интерес к тебе блоггинга: регулярное чтение лент или даже опыт написания статей. Желательно иметь представление о веб-программировании.

=== Темы вводных занятий ===
* Краулинг данных
* Способы извлечения признаков из текстовых данных
* Ликбез по машинному обучению
* Ликбез по веб-разработке

=== Критерии оценки ===
* 4-5: Работающий сервис, возможность по статье предсказывать популярность после ее публикации
* 6-7: Отказоустойчивый сервис, детальная проработка признаков (учет всех возможных аспектов, влияющих на популярность), детальный анализ качества предсказаний и слабых мест модели
* 8-10: Расширение для браузера выложено на Chrome Web Store + статья на Хабр + сервис выдерживает Хабраэффект (моментальный наплыв пользователей)

=== Похожие проекты ===

=== Контактная информация ===
Ромов Петр (peter@romov.ru), будет ко-ментор

Прогноз популярности статьи в блоге (командный проект)

2016-10-05T16:08:57Z

Peter Romov: Новая страница, с помощью формы Новый_командный_проект

{{Карточка_командного_проекта
|name=Прогноз популярности статьи в блоге
|company=Yandex Data Factory
|semester=Осень 2016
|course=3
|number_of_students=2-3
|categorize=yes
}}

=== Что это за проект? ===
В платформах для блоггинга, таких как Хабрахабр или Medium, как правило имеется система оценивания публикаций, которая поощряет авторов писать качественные статьи, интересные сообществу. Так на Хабре, участники имеющие достаточную карму могут поставить статье плюс или минус, а у Medium есть возможность “порекомендовать” статью другим читателям. Чем больше плюсов получает статья, тем выше она находится в лентах и тем больше других людей ее увидят.

А что если... научиться предсказывать оценку, которую пользователи поставят статье, до её публикации в блоге? С одной стороны это просто интересно — знать наперед, как отнесутся к твоему творению хабровчане, попытаться что-то поправить в статье, чтобы повысить ожидаемую оценку. С другой стороны, компаниям, которые ведут коммерческие блоги, очень важно иметь оценку популярности для своего медиапланирования, существующий подход к оценке популярности — “наметанный глаз копирайтера” и наборы рекомендаций.

В рамках проекта предлагается сделать расширение для браузера, которое на странице редактирования статьи будет показывать прогнозируемую популярность и лучшее время для публикации. Прогноз будет делаться при помощи модели машинного обучения, построенной на основе многолетней истории блог-платформы.

=== Чему научатся студенты? Что самое интересное в проекте? ===
Техники машинного обучения и анализа текстов (Natural Language Processing). Сбор данных со страниц интернета (краулинг). Забавное и потенциально резонансное приложение машинного обучения.

=== Организация работы (Как студенты будут работать в команде?) ===
Проект расчитан на команду из 2–3 студентов:
# Веб-разработчик: сбор данных, разработка расширения для браузера, развертывание бэкенда на сервере
# Аналитик: прототипирование и внедрение предсказательной модели, генерация признаков, оценка качества

Возможен вариант с разделением работы аналитика при наличии детального плана экспериментов и опыта командной работы у третьего участника.

=== Компоненеты (Из каких частей состоит проект?) ===
# Сбор данных для анализа и построения модели
# Прототипирование модели прогноза популярности
# Разработка бэкенда системы: обученная модель как сервис
# Разработка расширения для браузера
# (*) Автоматическое поддержание модели в актуальном состоянии (обучение на свежих данных)
# (*) Рекомендации автору по улучшению статьи, используя методы объяснения прогноза

Звездочкой отмечены направления развития, на случай если основная часть проекта покажется слишком простой.

=== Какие будут использоваться технологии? ===
Бэкенд: Python, Flask, AWS EC2
Машинное обучение: SciKit-Learn, XGBoost
Обработка текстов: NLTK, Pymorphy2
Краулинг данных с веб-сайтов: Scrapy, HTML/CSS
Расширение для браузера: JavaScript, Chrome Extension API

=== Какие начальные требования? ===
Уверенное знание языка Python. Интерес к тебе блоггинга: регулярное чтение лент или даже опыт написания статей. Желательно иметь представление о веб-программировании.

=== Темы вводных занятий ===
* Краулинг данных
* Способы извлечения признаков из текстовых данных
* Ликбез по машинному обучению
* Ликбез по веб-разработке

=== Критерии оценки ===
* 4-5: Работающий сервис, возможность по статье предсказывать популярность после ее публикации
* 6-7: Отказоустойчивый сервис, детальная проработка признаков (учет всех возможных аспектов, влияющих на популярность), детальный анализ качества предсказаний и слабых мест модели
* 8-10: Расширение для браузера выложено на Chrome Web Store + статья на Хабр + сервис выдерживает Хабраэффект (моментальный наплыв пользователей)

=== Похожие проекты ===

=== Контактная информация ===
Ромов Петр (peter@romov.ru), будет ко-ментор

Инструмент для машинного обучения на частично-структурированных данных (командный проект)

2016-10-05T14:47:46Z

Peter Romov: Новая страница, с помощью формы Новый_командный_проект

{{Карточка_командного_проекта
|name=Инструмент для машинного обучения на частично-структурированных данных
|company=Yandex Data Factory
|semester=Осень 2016
|course=3
|number_of_students=2-3
|categorize=yes
}}

=== Что это за проект? ===
Классическая постановка задачи машинного обучения очень проста: необходимо построить модель (алгоритм), которая по числовому вектору признаков предсказывает значение некоторой целевой переменной. Такая постановка максимально удобна для работы с ней на языке математики, разработки численных методов. Однако, в практике специалиста по анализу данных приходится иметь дело со сложными объектами, процесс описания которых в виде числового вектора (feature engineering) — одна из наиболее трудозатратных задач. Вот этот процесс разработки признаков хочется как можно сильнее упростить.

В рамках проекта предлагается разработать инструмент для построения моделей машинного обучения, в котором объекты описываются при помощи структуры данных в достаточно распространенном формате JSON. Алгоритм обучения должен уметь самостоятельно определять, какими признаками описываются объекты, какой тип имеют признаки, генерировать числовые описания признаков, сводя тем самым задачу к классической постановке.

Примеры типов признаков, которые должна уметь обрабатывать библиотека:
* числа
* категория
* текст
* дата/время
* временной ряд (массив из чисел)
* последовательность событий (массив из вложенных объектов)

Имея генератор векторно-числовых описаний объектов, инструмент использует наиболее универсальный и простой метод машинного обучения — градиентный бустинг над решающими деревьями (см. XGBoost) и таким образом строит конечную модель.

Почему описывать объекты именно в формате JSON? Для этого есть несколько аргументов: формат прост и подходит для описания почти любых типов данных, на этом языке реализованы многие Web API, одна из наиболее удачных реализаций концепции NoSQL баз данных (MongoDB) предлагает хранить данные именно в формате JSON.
Вот несколько примеров наборов данных, представленных в формате JSON, с платформы Kaggle:
* https://www.kaggle.com/c/yelp-recsys-2013/data
* https://www.kaggle.com/c/whats-cooking/data
* https://www.kaggle.com/c/random-acts-of-pizza/data

=== Чему научатся студенты? Что самое интересное в проекте? ===
Создавать программный продукт, решающий реально существующую проблему в области Data Science. Правильно использовать методы машинного обучения с данными различной природы. Отличная возможность узнать целый спектр задач, к которым применяется машинное обучение.

=== Организация работы (Как студенты будут работать в команде?) ===
Проект расчитан на 2–3 студентов:
# Архитектор, в ответственности которого — разработка ядра библиотеки
# Разработчик с фокусом на data science, в его ответственности — разработка обработчиков признаков и обсуждение архитектурных решений
# Опционально: третий разработчик, либо аналитик с фокусом на подготовку бенчмарков, прототипирование и выбор наиболее перспективных методов feature engineer-инга для реализации в библиотеке

=== Компоненеты (Из каких частей состоит проект?) ===
# Подготовка и разбор бенчмарков: подборка наборов данных, построение модели “вручную”, используя стандартные приемы feature engineer-инга.
# Разработка библиотеки с модульной архитектурой, позволяющей добавлять обработчики признаков. Налаживание процесса совместной разработки и автоматического тестирования.
# Реализация обработчиков различных видов признаков (см. примеры в описании проекта), тестирование алгоритма на построенных бенчмарках.
# Интерфейс и его документация: CLI xgboost-like + Python sklearn-like.
# (*) Элементы AutoML: автоматический подбор параметров обучения, отбор фичей (или способов их генерации)
# (*) Интеграция с NoSQL базами данных вроде MongoDB.

Звездочкой отмечены направления развития, на случай если основная часть проекта покажется слишком простой.

=== Какие будут использоваться технологии? ===
* Библиотеки XGBoost, SciKit-Learn.
* База данных MongoDB.
* GitHub + Travis CI (непрерывная интеграция)

=== Какие начальные требования? ===
Внутренняя потребность (и относительное умение) писать качественный код, продумывать архитектуру. ACM ICPC уровня бог или чуть ниже — может быть плюсом.

=== Темы вводных занятий ===
* Инструменты коллективной разработки и автоматического тестирования
* Элементы agile
* Feature engineering в различных задачах

=== Критерии оценки ===
* 4-5: Алгоритм реализован и дает приемлемое качество на минимум 3х бенчмарках
* 6-7: Реализованы обработчики большинства видов признаков, часто встречаемых в прикладных задачах. Библиотеку получила положительный отзыв у независимого практикующего data scientиста, протестировавшего ее в реальной задаче.
* 8-10: Качественно реализованная и оформленная open source библиотека на GitHub + публикация в профессиональном издании + 200+ поинтов на HackerNews

=== Похожие проекты ===

=== Контактная информация ===
Ромов Петр (peter@romov.ru), будет еще технический ко-ментор

Мониторинг внимания аудитории по видео (командный проект)

2016-10-05T12:35:20Z

Peter Romov: /* Критерии оценки */

{{Карточка_командного_проекта
|name=Мониторинг внимания аудитории по видео
|company=Yandex Data Factory
|semester=Осень 2016
|course=3
|number_of_students=2-3
|categorize=yes
}}

=== Что это за проект? ===
Организаторам лекционных мероприятий интересно уметь численно оценивать качество мероприятий: число зрителей, их социально-демографический портрет, вовлеченность аудитории во время доклада. По наборам метрик мероприятия можно сравнивать между собой, выявлять проблемы и искать пути их исправления.

В рамках проекта предлагается построить приложение, которое будет вычислять метрики вовлеченности зрителей, используя запись с камеры, которая снимает зал со зрителями. Используя техники компьютерного зрения и машинного обучения можно выделить на кадрах видеопотока отдельных зрителей, оценить их пол/возраст, выделить моменты, в которые зритель смотрел доклад, или наоборот — уткнулся в экран смартфона или попросту уснул. В результате анализа видео-файла, приложение выводит временные ряды изменения метрик и суммарные показатели качества мероприятия.

Пример видео: https://yadi.sk/d/vl-M4jbSvtyor

=== Чему научатся студенты? Что самое интересное в проекте? ===
Базовые техники компьютерного зрения: обработка изображений, детектирование объектов на изображении, трекинг объектов в видео.
Классификация изображений при помощи глубинного обучения (Deep Learning): файн-тюнинг современных сверточных нейронных сетей.

=== Организация работы (Как студенты будут работать в команде?) ===
Желательно 2 студента:
# С фокусом на задаче выделения объектов (зрителей)
# С фокусом на классификации изображений

Третий студент допустим в случае наличия у команды четкого разделения ролей в проекте.

=== Компоненеты (Из каких частей состоит проект?) ===
# Выделение зрителей на одном изображении (кадре)
# Улучшение выделения зрителей за счет использования видео-потока. Прототип 1: подсчет временного ряда числа зрителей в видео.
# Оценка пола и возраста по лицу при помощи предобученных нейронных сетей из Caffe ModelZoo. Прототип 2: определение соц-дема аудитории.
# Выделение типичных состояний людей (смотрит, общается с соседом, спит, втыкает в смартфон), обучение нейронной сети для определения состояния. Прототип 3: временные ряды и статистики вовлеченности аудитории.
# CLI-приложение, генерирующее отчет в виде документа с графиками + (опционально) наложить изменение метрик на видео.
#(*) Nightmare: real-time версия алгоритма

=== Какие будут использоваться технологии? ===
* OpenCV
* Python
* Deep Learning: Caffe + TensorFlow или Keras или Lasagne

=== Какие начальные требования? ===
Уверенное владение языком Python, базовое знание C++.
Угар по компьютерному зрению.

=== Темы вводных занятий ===
* Библиотеки для обработки изображений
* Базовые представления о детектировании объектов на изображении, существующие детекторы и трекеры лиц
* Deep Learning и библиотеки для него

=== Критерии оценки ===
* 4-5: Консольное приложение, подсчитывающее по видео временные ряды числа зрителей, числа вовлеченных и соц. дем статистика.
* 6-7: Введение бенчмарков и оценка качества отдельных частей приложения, качественный код на GitHub
* 8-10: Вариант 1: отработка приложения в бою (анализ нескольких мероприятий) + оценка качества работы приложения в целом + пост на Хабрахабр. Варант 2: реализация real-time версии приложения + пост на Хабр.

=== Похожие проекты ===
Проект оригинальный и может являться хорошим элементом портфолио.
К вопросу о том что могут делать сверточные нейронные сети: http://howhot.io/, как можно находить лица в видео: https://youtu.be/iI7mWvf0g1M

=== Контактная информация ===
Петр Ромов (peter@romov.ru), Алексей Артемов (artonson@yandex.ru)

Мониторинг внимания аудитории по видео (командный проект)

2016-10-05T12:35:10Z

Peter Romov: /* Темы вводных занятий */

{{Карточка_командного_проекта
|name=Мониторинг внимания аудитории по видео
|company=Yandex Data Factory
|semester=Осень 2016
|course=3
|number_of_students=2-3
|categorize=yes
}}

=== Что это за проект? ===
Организаторам лекционных мероприятий интересно уметь численно оценивать качество мероприятий: число зрителей, их социально-демографический портрет, вовлеченность аудитории во время доклада. По наборам метрик мероприятия можно сравнивать между собой, выявлять проблемы и искать пути их исправления.

В рамках проекта предлагается построить приложение, которое будет вычислять метрики вовлеченности зрителей, используя запись с камеры, которая снимает зал со зрителями. Используя техники компьютерного зрения и машинного обучения можно выделить на кадрах видеопотока отдельных зрителей, оценить их пол/возраст, выделить моменты, в которые зритель смотрел доклад, или наоборот — уткнулся в экран смартфона или попросту уснул. В результате анализа видео-файла, приложение выводит временные ряды изменения метрик и суммарные показатели качества мероприятия.

Пример видео: https://yadi.sk/d/vl-M4jbSvtyor

=== Чему научатся студенты? Что самое интересное в проекте? ===
Базовые техники компьютерного зрения: обработка изображений, детектирование объектов на изображении, трекинг объектов в видео.
Классификация изображений при помощи глубинного обучения (Deep Learning): файн-тюнинг современных сверточных нейронных сетей.

=== Организация работы (Как студенты будут работать в команде?) ===
Желательно 2 студента:
# С фокусом на задаче выделения объектов (зрителей)
# С фокусом на классификации изображений

Третий студент допустим в случае наличия у команды четкого разделения ролей в проекте.

=== Компоненеты (Из каких частей состоит проект?) ===
# Выделение зрителей на одном изображении (кадре)
# Улучшение выделения зрителей за счет использования видео-потока. Прототип 1: подсчет временного ряда числа зрителей в видео.
# Оценка пола и возраста по лицу при помощи предобученных нейронных сетей из Caffe ModelZoo. Прототип 2: определение соц-дема аудитории.
# Выделение типичных состояний людей (смотрит, общается с соседом, спит, втыкает в смартфон), обучение нейронной сети для определения состояния. Прототип 3: временные ряды и статистики вовлеченности аудитории.
# CLI-приложение, генерирующее отчет в виде документа с графиками + (опционально) наложить изменение метрик на видео.
#(*) Nightmare: real-time версия алгоритма

=== Какие будут использоваться технологии? ===
* OpenCV
* Python
* Deep Learning: Caffe + TensorFlow или Keras или Lasagne

=== Какие начальные требования? ===
Уверенное владение языком Python, базовое знание C++.
Угар по компьютерному зрению.

=== Темы вводных занятий ===
* Библиотеки для обработки изображений
* Базовые представления о детектировании объектов на изображении, существующие детекторы и трекеры лиц
* Deep Learning и библиотеки для него

=== Критерии оценки ===
4-5: Консольное приложение, подсчитывающее по видео временные ряды числа зрителей, числа вовлеченных и соц. дем статистика.
6-7: Введение бенчмарков и оценка качества отдельных частей приложения, качественный код на GitHub
8-10: Вариант 1: отработка приложения в бою (анализ нескольких мероприятий) + оценка качества работы приложения в целом + пост на Хабрахабр. Варант 2: реализация real-time версии приложения + пост на Хабр.

=== Похожие проекты ===
Проект оригинальный и может являться хорошим элементом портфолио.
К вопросу о том что могут делать сверточные нейронные сети: http://howhot.io/, как можно находить лица в видео: https://youtu.be/iI7mWvf0g1M

=== Контактная информация ===
Петр Ромов (peter@romov.ru), Алексей Артемов (artonson@yandex.ru)

Мониторинг внимания аудитории по видео (командный проект)

2016-10-05T12:34:54Z

Peter Romov: /* Какие будут использоваться технологии? */

{{Карточка_командного_проекта
|name=Мониторинг внимания аудитории по видео
|company=Yandex Data Factory
|semester=Осень 2016
|course=3
|number_of_students=2-3
|categorize=yes
}}

=== Что это за проект? ===
Организаторам лекционных мероприятий интересно уметь численно оценивать качество мероприятий: число зрителей, их социально-демографический портрет, вовлеченность аудитории во время доклада. По наборам метрик мероприятия можно сравнивать между собой, выявлять проблемы и искать пути их исправления.

В рамках проекта предлагается построить приложение, которое будет вычислять метрики вовлеченности зрителей, используя запись с камеры, которая снимает зал со зрителями. Используя техники компьютерного зрения и машинного обучения можно выделить на кадрах видеопотока отдельных зрителей, оценить их пол/возраст, выделить моменты, в которые зритель смотрел доклад, или наоборот — уткнулся в экран смартфона или попросту уснул. В результате анализа видео-файла, приложение выводит временные ряды изменения метрик и суммарные показатели качества мероприятия.

Пример видео: https://yadi.sk/d/vl-M4jbSvtyor

=== Чему научатся студенты? Что самое интересное в проекте? ===
Базовые техники компьютерного зрения: обработка изображений, детектирование объектов на изображении, трекинг объектов в видео.
Классификация изображений при помощи глубинного обучения (Deep Learning): файн-тюнинг современных сверточных нейронных сетей.

=== Организация работы (Как студенты будут работать в команде?) ===
Желательно 2 студента:
# С фокусом на задаче выделения объектов (зрителей)
# С фокусом на классификации изображений

Третий студент допустим в случае наличия у команды четкого разделения ролей в проекте.

=== Компоненеты (Из каких частей состоит проект?) ===
# Выделение зрителей на одном изображении (кадре)
# Улучшение выделения зрителей за счет использования видео-потока. Прототип 1: подсчет временного ряда числа зрителей в видео.
# Оценка пола и возраста по лицу при помощи предобученных нейронных сетей из Caffe ModelZoo. Прототип 2: определение соц-дема аудитории.
# Выделение типичных состояний людей (смотрит, общается с соседом, спит, втыкает в смартфон), обучение нейронной сети для определения состояния. Прототип 3: временные ряды и статистики вовлеченности аудитории.
# CLI-приложение, генерирующее отчет в виде документа с графиками + (опционально) наложить изменение метрик на видео.
#(*) Nightmare: real-time версия алгоритма

=== Какие будут использоваться технологии? ===
* OpenCV
* Python
* Deep Learning: Caffe + TensorFlow или Keras или Lasagne

=== Какие начальные требования? ===
Уверенное владение языком Python, базовое знание C++.
Угар по компьютерному зрению.

=== Темы вводных занятий ===
- Библиотеки для обработки изображений
- Базовые представления о детектировании объектов на изображении, существующие детекторы и трекеры лиц
- Deep Learning и библиотеки для него

=== Критерии оценки ===
4-5: Консольное приложение, подсчитывающее по видео временные ряды числа зрителей, числа вовлеченных и соц. дем статистика.
6-7: Введение бенчмарков и оценка качества отдельных частей приложения, качественный код на GitHub
8-10: Вариант 1: отработка приложения в бою (анализ нескольких мероприятий) + оценка качества работы приложения в целом + пост на Хабрахабр. Варант 2: реализация real-time версии приложения + пост на Хабр.

=== Похожие проекты ===
Проект оригинальный и может являться хорошим элементом портфолио.
К вопросу о том что могут делать сверточные нейронные сети: http://howhot.io/, как можно находить лица в видео: https://youtu.be/iI7mWvf0g1M

=== Контактная информация ===
Петр Ромов (peter@romov.ru), Алексей Артемов (artonson@yandex.ru)

Мониторинг внимания аудитории по видео (командный проект)

2016-10-05T12:34:39Z

Peter Romov: /* Компоненеты (Из каких частей состоит проект?) */

{{Карточка_командного_проекта
|name=Мониторинг внимания аудитории по видео
|company=Yandex Data Factory
|semester=Осень 2016
|course=3
|number_of_students=2-3
|categorize=yes
}}

=== Что это за проект? ===
Организаторам лекционных мероприятий интересно уметь численно оценивать качество мероприятий: число зрителей, их социально-демографический портрет, вовлеченность аудитории во время доклада. По наборам метрик мероприятия можно сравнивать между собой, выявлять проблемы и искать пути их исправления.

В рамках проекта предлагается построить приложение, которое будет вычислять метрики вовлеченности зрителей, используя запись с камеры, которая снимает зал со зрителями. Используя техники компьютерного зрения и машинного обучения можно выделить на кадрах видеопотока отдельных зрителей, оценить их пол/возраст, выделить моменты, в которые зритель смотрел доклад, или наоборот — уткнулся в экран смартфона или попросту уснул. В результате анализа видео-файла, приложение выводит временные ряды изменения метрик и суммарные показатели качества мероприятия.

Пример видео: https://yadi.sk/d/vl-M4jbSvtyor

=== Чему научатся студенты? Что самое интересное в проекте? ===
Базовые техники компьютерного зрения: обработка изображений, детектирование объектов на изображении, трекинг объектов в видео.
Классификация изображений при помощи глубинного обучения (Deep Learning): файн-тюнинг современных сверточных нейронных сетей.

=== Организация работы (Как студенты будут работать в команде?) ===
Желательно 2 студента:
# С фокусом на задаче выделения объектов (зрителей)
# С фокусом на классификации изображений

Третий студент допустим в случае наличия у команды четкого разделения ролей в проекте.

=== Компоненеты (Из каких частей состоит проект?) ===
# Выделение зрителей на одном изображении (кадре)
# Улучшение выделения зрителей за счет использования видео-потока. Прототип 1: подсчет временного ряда числа зрителей в видео.
# Оценка пола и возраста по лицу при помощи предобученных нейронных сетей из Caffe ModelZoo. Прототип 2: определение соц-дема аудитории.
# Выделение типичных состояний людей (смотрит, общается с соседом, спит, втыкает в смартфон), обучение нейронной сети для определения состояния. Прототип 3: временные ряды и статистики вовлеченности аудитории.
# CLI-приложение, генерирующее отчет в виде документа с графиками + (опционально) наложить изменение метрик на видео.
#(*) Nightmare: real-time версия алгоритма

=== Какие будут использоваться технологии? ===
- OpenCV
- Python
- Deep Learning: Caffe + TensorFlow или Keras или Lasagne

=== Какие начальные требования? ===
Уверенное владение языком Python, базовое знание C++.
Угар по компьютерному зрению.

=== Темы вводных занятий ===
- Библиотеки для обработки изображений
- Базовые представления о детектировании объектов на изображении, существующие детекторы и трекеры лиц
- Deep Learning и библиотеки для него

=== Критерии оценки ===
4-5: Консольное приложение, подсчитывающее по видео временные ряды числа зрителей, числа вовлеченных и соц. дем статистика.
6-7: Введение бенчмарков и оценка качества отдельных частей приложения, качественный код на GitHub
8-10: Вариант 1: отработка приложения в бою (анализ нескольких мероприятий) + оценка качества работы приложения в целом + пост на Хабрахабр. Варант 2: реализация real-time версии приложения + пост на Хабр.

=== Похожие проекты ===
Проект оригинальный и может являться хорошим элементом портфолио.
К вопросу о том что могут делать сверточные нейронные сети: http://howhot.io/, как можно находить лица в видео: https://youtu.be/iI7mWvf0g1M

=== Контактная информация ===
Петр Ромов (peter@romov.ru), Алексей Артемов (artonson@yandex.ru)

Мониторинг внимания аудитории по видео (командный проект)

2016-10-05T12:34:13Z

Peter Romov: /* Организация работы (Как студенты будут работать в команде?) */

{{Карточка_командного_проекта
|name=Мониторинг внимания аудитории по видео
|company=Yandex Data Factory
|semester=Осень 2016
|course=3
|number_of_students=2-3
|categorize=yes
}}

=== Что это за проект? ===
Организаторам лекционных мероприятий интересно уметь численно оценивать качество мероприятий: число зрителей, их социально-демографический портрет, вовлеченность аудитории во время доклада. По наборам метрик мероприятия можно сравнивать между собой, выявлять проблемы и искать пути их исправления.

В рамках проекта предлагается построить приложение, которое будет вычислять метрики вовлеченности зрителей, используя запись с камеры, которая снимает зал со зрителями. Используя техники компьютерного зрения и машинного обучения можно выделить на кадрах видеопотока отдельных зрителей, оценить их пол/возраст, выделить моменты, в которые зритель смотрел доклад, или наоборот — уткнулся в экран смартфона или попросту уснул. В результате анализа видео-файла, приложение выводит временные ряды изменения метрик и суммарные показатели качества мероприятия.

Пример видео: https://yadi.sk/d/vl-M4jbSvtyor

=== Чему научатся студенты? Что самое интересное в проекте? ===
Базовые техники компьютерного зрения: обработка изображений, детектирование объектов на изображении, трекинг объектов в видео.
Классификация изображений при помощи глубинного обучения (Deep Learning): файн-тюнинг современных сверточных нейронных сетей.

=== Организация работы (Как студенты будут работать в команде?) ===
Желательно 2 студента:
# С фокусом на задаче выделения объектов (зрителей)
# С фокусом на классификации изображений

Третий студент допустим в случае наличия у команды четкого разделения ролей в проекте.

=== Компоненеты (Из каких частей состоит проект?) ===
1. Выделение зрителей на одном изображении (кадре)
2. Улучшение выделения зрителей за счет использования видео-потока. Прототип 1: подсчет временного ряда числа зрителей в видео.
3. Оценка пола и возраста по лицу при помощи предобученных нейронных сетей из Caffe ModelZoo. Прототип 2: определение соц-дема аудитории.
4. Выделение типичных состояний людей (смотрит, общается с соседом, спит, втыкает в смартфон), обучение нейронной сети для определения состояния. Прототип 3: временные ряды и статистики вовлеченности аудитории.
5. CLI-приложение, генерирующее отчет в виде документа с графиками + (опционально) наложить изменение метрик на видео.
6(*). Nightmare: real-time версия алгоритма

=== Какие будут использоваться технологии? ===
- OpenCV
- Python
- Deep Learning: Caffe + TensorFlow или Keras или Lasagne

=== Какие начальные требования? ===
Уверенное владение языком Python, базовое знание C++.
Угар по компьютерному зрению.

=== Темы вводных занятий ===
- Библиотеки для обработки изображений
- Базовые представления о детектировании объектов на изображении, существующие детекторы и трекеры лиц
- Deep Learning и библиотеки для него

=== Критерии оценки ===
4-5: Консольное приложение, подсчитывающее по видео временные ряды числа зрителей, числа вовлеченных и соц. дем статистика.
6-7: Введение бенчмарков и оценка качества отдельных частей приложения, качественный код на GitHub
8-10: Вариант 1: отработка приложения в бою (анализ нескольких мероприятий) + оценка качества работы приложения в целом + пост на Хабрахабр. Варант 2: реализация real-time версии приложения + пост на Хабр.

=== Похожие проекты ===
Проект оригинальный и может являться хорошим элементом портфолио.
К вопросу о том что могут делать сверточные нейронные сети: http://howhot.io/, как можно находить лица в видео: https://youtu.be/iI7mWvf0g1M

=== Контактная информация ===
Петр Ромов (peter@romov.ru), Алексей Артемов (artonson@yandex.ru)

Мониторинг внимания аудитории по видео (командный проект)

2016-10-05T12:33:48Z

Peter Romov: Новая страница, с помощью формы Новый_командный_проект

{{Карточка_командного_проекта
|name=Мониторинг внимания аудитории по видео
|company=Yandex Data Factory
|semester=Осень 2016
|course=3
|number_of_students=2-3
|categorize=yes
}}

=== Что это за проект? ===
Организаторам лекционных мероприятий интересно уметь численно оценивать качество мероприятий: число зрителей, их социально-демографический портрет, вовлеченность аудитории во время доклада. По наборам метрик мероприятия можно сравнивать между собой, выявлять проблемы и искать пути их исправления.

В рамках проекта предлагается построить приложение, которое будет вычислять метрики вовлеченности зрителей, используя запись с камеры, которая снимает зал со зрителями. Используя техники компьютерного зрения и машинного обучения можно выделить на кадрах видеопотока отдельных зрителей, оценить их пол/возраст, выделить моменты, в которые зритель смотрел доклад, или наоборот — уткнулся в экран смартфона или попросту уснул. В результате анализа видео-файла, приложение выводит временные ряды изменения метрик и суммарные показатели качества мероприятия.

Пример видео: https://yadi.sk/d/vl-M4jbSvtyor

=== Чему научатся студенты? Что самое интересное в проекте? ===
Базовые техники компьютерного зрения: обработка изображений, детектирование объектов на изображении, трекинг объектов в видео.
Классификация изображений при помощи глубинного обучения (Deep Learning): файн-тюнинг современных сверточных нейронных сетей.

=== Организация работы (Как студенты будут работать в команде?) ===
Желательно 2 студента:
1. С фокусом на задаче выделения объектов (зрителей)
2. С фокусом на классификации изображений

Третий студент допустим в случае наличия у команды четкого разделения ролей в проекте.

=== Компоненеты (Из каких частей состоит проект?) ===
1. Выделение зрителей на одном изображении (кадре)
2. Улучшение выделения зрителей за счет использования видео-потока. Прототип 1: подсчет временного ряда числа зрителей в видео.
3. Оценка пола и возраста по лицу при помощи предобученных нейронных сетей из Caffe ModelZoo. Прототип 2: определение соц-дема аудитории.
4. Выделение типичных состояний людей (смотрит, общается с соседом, спит, втыкает в смартфон), обучение нейронной сети для определения состояния. Прототип 3: временные ряды и статистики вовлеченности аудитории.
5. CLI-приложение, генерирующее отчет в виде документа с графиками + (опционально) наложить изменение метрик на видео.
6(*). Nightmare: real-time версия алгоритма

=== Какие будут использоваться технологии? ===
- OpenCV
- Python
- Deep Learning: Caffe + TensorFlow или Keras или Lasagne

=== Какие начальные требования? ===
Уверенное владение языком Python, базовое знание C++.
Угар по компьютерному зрению.

=== Темы вводных занятий ===
- Библиотеки для обработки изображений
- Базовые представления о детектировании объектов на изображении, существующие детекторы и трекеры лиц
- Deep Learning и библиотеки для него

=== Критерии оценки ===
4-5: Консольное приложение, подсчитывающее по видео временные ряды числа зрителей, числа вовлеченных и соц. дем статистика.
6-7: Введение бенчмарков и оценка качества отдельных частей приложения, качественный код на GitHub
8-10: Вариант 1: отработка приложения в бою (анализ нескольких мероприятий) + оценка качества работы приложения в целом + пост на Хабрахабр. Варант 2: реализация real-time версии приложения + пост на Хабр.

=== Похожие проекты ===
Проект оригинальный и может являться хорошим элементом портфолио.
К вопросу о том что могут делать сверточные нейронные сети: http://howhot.io/, как можно находить лица в видео: https://youtu.be/iI7mWvf0g1M

=== Контактная информация ===
Петр Ромов (peter@romov.ru), Алексей Артемов (artonson@yandex.ru)

Майнор Интеллектуальный анализ данных/Введение в анализ данных/ИАД-13

2016-06-07T05:58:10Z

Peter Romov:

== Общая информация ==

Семинарист — Ромов Петр.

Почта курса: hse.minor.dm@gmail.com (обратите внимание на оформление темы письма)

== Семинары ==
{| class="wikitable"
|-
! Дата !! Тема !! Материалы семинара
|-
| 12.01.2016 || Вводный семинар ||
|-
| 19.01.2016 || Работа с данными в Python ||
|-
| 26.01.2016 || Постановка задачи обучения с учителем || [https://github.com/romovpa/ml-course-hse/blob/master/sem03/MachineLearningProblemStatement.ipynb Тетрадка]
|-
| 26.01.2016 || Вектора и матрицы || [https://github.com/romovpa/ml-course-hse/blob/master/sem04/Seminar04_Matrices.ipynb Тетрадка]
|-
| 09.02.2016 || Линейные модели || [https://github.com/romovpa/ml-course-hse/blob/master/sem05/Seminar05_LinearModels.ipynb Тетрадка]
|-
|}

== Домашние задания ==
{| class="wikitable"
|-
! Дата выдачи !! Дедлайн !! Задание
|-
| 26.01.2016 || 09.02.2016 09:00 MSK || [http://nbviewer.jupyter.org/github/romovpa/ml-course-hse/blob/master/sem03/Lab01_Python_and_Data_Analysis.ipynb Лабораторная работа 1. NumPy и Pandas]
|-
| 18.03.2016 || 05.04.2016 09:00 MSK || [http://nbviewer.jupyter.org/github/romovpa/ml-course-hse/blob/master/Lab02_Naive_Bayes.ipynb Лабораторная работа 2. Наивный Байес]
|-
| 5.04.2016 || 19.04.2016 09:00 MSK || [https://github.com/romovpa/ml-course-hse/blob/master/Project.ipynb Проект. Часть 1]
|-
| - || - || [https://github.com/romovpa/ml-course-hse/blob/master/Lab03_Linear.ipynb Лабораторная работа 3. Линейные модели]
|-
| - || - || [https://github.com/romovpa/ml-course-hse/blob/master/Lab04_Trees.ipynb Лабораторная работа 4. Решающие деревья и леса. Кластеризация и понижение размерности]
|-
| - || - || [https://github.com/romovpa/ml-course-hse/blob/master/Project2.ipynb Проект. Часть 2]
|}

== Правила игры ==
Информация о домашних заданиях появится позже.

Иногда на семинарах будут проводиться проверочные работы. Об этом будет объявляться заранее. Также каждый студент делает проект в течение двух модулей (решение какой-то задачи анализа данных, информация будет объявлена позже).

===Про домашние задания===

Каждое ДЗ выдается на две (полных) недели. Дедлайн строгий, после него задание сдать нельзя.

Плагиат будет строго наказываться: вся компонента — и те, кто списал, и те, у кого списали — получает не более 0 баллов за задание. Цените свое время.

== Оформление темы письма ==
При написании письма необходимо указывать тему, как описано ниже (почта, на которую вы отправляете вопросы и работы, является почтой ''всего'' майнора, поэтому указывая тему письма правильно вы повышаете шансы дождаться ответа). Далее NN - номер вашей группы. X - номер лабораторной работы.
* Для вопросов: [ИАД-NN] - Вопрос - Фамилия Имя Отчество
* Для домашних лабораторных работ: [ИАД-NN] - Лабораторная работа X - Фамилия Имя Отчество

Майнор Интеллектуальный анализ данных/Введение в анализ данных/ИАД-13

2016-04-05T05:25:29Z

Peter Romov:

== Общая информация ==

Семинарист — Ромов Петр.

Почта курса: hse.minor.dm@gmail.com (обратите внимание на оформление темы письма)

== Семинары ==
{| class="wikitable"
|-
! Дата !! Тема !! Материалы семинара
|-
| 12.01.2016 || Вводный семинар ||
|-
| 19.01.2016 || Работа с данными в Python ||
|-
| 26.01.2016 || Постановка задачи обучения с учителем || [https://github.com/romovpa/ml-course-hse/blob/master/sem03/MachineLearningProblemStatement.ipynb Тетрадка]
|-
| 26.01.2016 || Вектора и матрицы || [https://github.com/romovpa/ml-course-hse/blob/master/sem04/Seminar04_Matrices.ipynb Тетрадка]
|-
| 09.02.2016 || Линейные модели || [https://github.com/romovpa/ml-course-hse/blob/master/sem05/Seminar05_LinearModels.ipynb Тетрадка]
|-
|}

== Домашние задания ==
{| class="wikitable"
|-
! Дата выдачи !! Дедлайн !! Задание
|-
| 26.01.2016 || 09.02.2016 09:00 MSK || [http://nbviewer.jupyter.org/github/romovpa/ml-course-hse/blob/master/sem03/Lab01_Python_and_Data_Analysis.ipynb Лабораторная работа 1. NumPy и Pandas]
|-
| 18.03.2016 || 05.04.2016 09:00 MSK || [http://nbviewer.jupyter.org/github/romovpa/ml-course-hse/blob/master/Lab02_Naive_Bayes.ipynb Лабораторная работа 2. Наивный Байес]
|-
| 5.04.2016 || 19.04.2016 09:00 MSK || [https://github.com/romovpa/ml-course-hse/blob/master/Project.ipynb Проект. Часть 1]
|}

== Правила игры ==
Информация о домашних заданиях появится позже.

Иногда на семинарах будут проводиться проверочные работы. Об этом будет объявляться заранее. Также каждый студент делает проект в течение двух модулей (решение какой-то задачи анализа данных, информация будет объявлена позже).

===Про домашние задания===

Каждое ДЗ выдается на две (полных) недели. Дедлайн строгий, после него задание сдать нельзя.

Плагиат будет строго наказываться: вся компонента — и те, кто списал, и те, у кого списали — получает не более 0 баллов за задание. Цените свое время.

== Оформление темы письма ==
При написании письма необходимо указывать тему, как описано ниже (почта, на которую вы отправляете вопросы и работы, является почтой ''всего'' майнора, поэтому указывая тему письма правильно вы повышаете шансы дождаться ответа). Далее NN - номер вашей группы. X - номер лабораторной работы.
* Для вопросов: [ИАД-NN] - Вопрос - Фамилия Имя Отчество
* Для домашних лабораторных работ: [ИАД-NN] - Лабораторная работа X - Фамилия Имя Отчество

Майнор Интеллектуальный анализ данных/Введение в анализ данных/ИАД-13

2016-03-18T17:41:19Z

Peter Romov: /* Домашние задания */

== Общая информация ==

Семинарист — Ромов Петр.

Почта курса: hse.minor.dm@gmail.com (обратите внимание на оформление темы письма)

== Семинары ==
{| class="wikitable"
|-
! Дата !! Тема !! Материалы семинара
|-
| 12.01.2016 || Вводный семинар ||
|-
| 19.01.2016 || Работа с данными в Python ||
|-
| 26.01.2016 || Постановка задачи обучения с учителем || [https://github.com/romovpa/ml-course-hse/blob/master/sem03/MachineLearningProblemStatement.ipynb Тетрадка]
|-
| 26.01.2016 || Вектора и матрицы || [https://github.com/romovpa/ml-course-hse/blob/master/sem04/Seminar04_Matrices.ipynb Тетрадка]
|-
| 09.02.2016 || Линейные модели || [https://github.com/romovpa/ml-course-hse/blob/master/sem05/Seminar05_LinearModels.ipynb Тетрадка]
|-
|}

== Домашние задания ==
{| class="wikitable"
|-
! Дата выдачи !! Дедлайн !! Задание
|-
| 26.01.2016 || 09.02.2016 09:00 MSK || [http://nbviewer.jupyter.org/github/romovpa/ml-course-hse/blob/master/sem03/Lab01_Python_and_Data_Analysis.ipynb Лабораторная работа 1. NumPy и Pandas]
|-
| 18.03.2016 || 05.04.2016 09:00 MSK || [http://nbviewer.jupyter.org/github/romovpa/ml-course-hse/blob/master/Lab02_Naive_Bayes.ipynb Лабораторная работа 2. Наивный Байес]
|}

== Правила игры ==
Информация о домашних заданиях появится позже.

Иногда на семинарах будут проводиться проверочные работы. Об этом будет объявляться заранее. Также каждый студент делает проект в течение двух модулей (решение какой-то задачи анализа данных, информация будет объявлена позже).

===Про домашние задания===

Каждое ДЗ выдается на две (полных) недели. Дедлайн строгий, после него задание сдать нельзя.

Плагиат будет строго наказываться: вся компонента — и те, кто списал, и те, у кого списали — получает не более 0 баллов за задание. Цените свое время.

== Оформление темы письма ==
При написании письма необходимо указывать тему, как описано ниже (почта, на которую вы отправляете вопросы и работы, является почтой ''всего'' майнора, поэтому указывая тему письма правильно вы повышаете шансы дождаться ответа). Далее NN - номер вашей группы. X - номер лабораторной работы.
* Для вопросов: [ИАД-NN] - Вопрос - Фамилия Имя Отчество
* Для домашних лабораторных работ: [ИАД-NN] - Лабораторная работа X - Фамилия Имя Отчество

Майнор Интеллектуальный анализ данных/Введение в анализ данных/ИАД-13

2016-03-18T17:35:57Z

Peter Romov: /* Домашние задания */

== Общая информация ==

Семинарист — Ромов Петр.

Почта курса: hse.minor.dm@gmail.com (обратите внимание на оформление темы письма)

== Семинары ==
{| class="wikitable"
|-
! Дата !! Тема !! Материалы семинара
|-
| 12.01.2016 || Вводный семинар ||
|-
| 19.01.2016 || Работа с данными в Python ||
|-
| 26.01.2016 || Постановка задачи обучения с учителем || [https://github.com/romovpa/ml-course-hse/blob/master/sem03/MachineLearningProblemStatement.ipynb Тетрадка]
|-
| 26.01.2016 || Вектора и матрицы || [https://github.com/romovpa/ml-course-hse/blob/master/sem04/Seminar04_Matrices.ipynb Тетрадка]
|-
| 09.02.2016 || Линейные модели || [https://github.com/romovpa/ml-course-hse/blob/master/sem05/Seminar05_LinearModels.ipynb Тетрадка]
|-
|}

== Домашние задания ==
{| class="wikitable"
|-
! Дата выдачи !! Дедлайн !! Задание
|-
| 26.01.2016 || 09.02.2016 09:00 MSK || [http://nbviewer.jupyter.org/github/romovpa/ml-course-hse/blob/master/sem03/Lab01_Python_and_Data_Analysis.ipynb Лабораторная работа 1. NumPy и Pandas]
|-
| 18.03.2016 || 01.04.2016 23:59 MSK || [http://nbviewer.jupyter.org/github/romovpa/ml-course-hse/blob/master/Lab02_Naive_Bayes.ipynb Лабораторная работа 2. Наивный Байес]
|}

== Правила игры ==
Информация о домашних заданиях появится позже.

Иногда на семинарах будут проводиться проверочные работы. Об этом будет объявляться заранее. Также каждый студент делает проект в течение двух модулей (решение какой-то задачи анализа данных, информация будет объявлена позже).

===Про домашние задания===

Каждое ДЗ выдается на две (полных) недели. Дедлайн строгий, после него задание сдать нельзя.

Плагиат будет строго наказываться: вся компонента — и те, кто списал, и те, у кого списали — получает не более 0 баллов за задание. Цените свое время.

== Оформление темы письма ==
При написании письма необходимо указывать тему, как описано ниже (почта, на которую вы отправляете вопросы и работы, является почтой ''всего'' майнора, поэтому указывая тему письма правильно вы повышаете шансы дождаться ответа). Далее NN - номер вашей группы. X - номер лабораторной работы.
* Для вопросов: [ИАД-NN] - Вопрос - Фамилия Имя Отчество
* Для домашних лабораторных работ: [ИАД-NN] - Лабораторная работа X - Фамилия Имя Отчество

Майнор Интеллектуальный анализ данных/Введение в анализ данных/ИАД-13

2016-02-09T06:23:14Z

Peter Romov:

== Общая информация ==

Семинарист — Ромов Петр.

Почта курса: hse.minor.dm@gmail.com (обратите внимание на оформление темы письма)

== Семинары ==
{| class="wikitable"
|-
! Дата !! Тема !! Материалы семинара
|-
| 12.01.2016 || Вводный семинар ||
|-
| 19.01.2016 || Работа с данными в Python ||
|-
| 26.01.2016 || Постановка задачи обучения с учителем || [https://github.com/romovpa/ml-course-hse/blob/master/sem03/MachineLearningProblemStatement.ipynb Тетрадка]
|-
| 26.01.2016 || Вектора и матрицы || [https://github.com/romovpa/ml-course-hse/blob/master/sem04/Seminar04_Matrices.ipynb Тетрадка]
|-
| 09.02.2016 || Линейные модели || [https://github.com/romovpa/ml-course-hse/blob/master/sem05/Seminar05_LinearModels.ipynb Тетрадка]
|-
|}

== Домашние задания ==
{| class="wikitable"
|-
! Дата выдачи !! Дедлайн !! Задание
|-
| 26.01.2016 || 09.02.2016 09:00 MSK || [http://nbviewer.jupyter.org/github/romovpa/ml-course-hse/blob/master/sem03/Lab01_Python_and_Data_Analysis.ipynb Лабораторная работа 1. NumPy и Pandas]
|-
|}

== Правила игры ==
Информация о домашних заданиях появится позже.

Иногда на семинарах будут проводиться проверочные работы. Об этом будет объявляться заранее. Также каждый студент делает проект в течение двух модулей (решение какой-то задачи анализа данных, информация будет объявлена позже).

===Про домашние задания===

Каждое ДЗ выдается на две (полных) недели. Дедлайн строгий, после него задание сдать нельзя.

Плагиат будет строго наказываться: вся компонента — и те, кто списал, и те, у кого списали — получает не более 0 баллов за задание. Цените свое время.

== Оформление темы письма ==
При написании письма необходимо указывать тему, как описано ниже (почта, на которую вы отправляете вопросы и работы, является почтой ''всего'' майнора, поэтому указывая тему письма правильно вы повышаете шансы дождаться ответа). Далее NN - номер вашей группы. X - номер лабораторной работы.
* Для вопросов: [ИАД-NN] - Вопрос - Фамилия Имя Отчество
* Для домашних лабораторных работ: [ИАД-NN] - Лабораторная работа X - Фамилия Имя Отчество

Майнор Интеллектуальный анализ данных/Введение в анализ данных/ИАД-13

2016-02-02T06:02:52Z

Peter Romov:

== Общая информация ==

Семинарист — Ромов Петр.

Почта курса: hse.minor.dm@gmail.com (обратите внимание на оформление темы письма)

== Семинары ==
{| class="wikitable"
|-
! Дата !! Тема !! Материалы семинара
|-
| 12.01.2016 || Вводный семинар ||
|-
| 19.01.2016 || Работа с данными в Python ||
|-
| 26.01.2016 || Постановка задачи обучения с учителем || [https://github.com/romovpa/ml-course-hse/blob/master/sem03/MachineLearningProblemStatement.ipynb Тетрадка]
|-
| 26.01.2016 || Вектора и матрицы || [https://github.com/romovpa/ml-course-hse/blob/master/sem04/Seminar04_Matrices.ipynb Тетрадка]
|-
|}

== Домашние задания ==
{| class="wikitable"
|-
! Дата выдачи !! Дедлайн !! Задание
|-
| 26.01.2016 || 09.02.2016 09:00 MSK || [http://nbviewer.jupyter.org/github/romovpa/ml-course-hse/blob/master/sem03/Lab01_Python_and_Data_Analysis.ipynb Лабораторная работа 1. NumPy и Pandas]
|-
|}

== Правила игры ==
Информация о домашних заданиях появится позже.

Иногда на семинарах будут проводиться проверочные работы. Об этом будет объявляться заранее. Также каждый студент делает проект в течение двух модулей (решение какой-то задачи анализа данных, информация будет объявлена позже).

===Про домашние задания===

Каждое ДЗ выдается на две (полных) недели. Дедлайн строгий, после него задание сдать нельзя.

Плагиат будет строго наказываться: вся компонента — и те, кто списал, и те, у кого списали — получает не более 0 баллов за задание. Цените свое время.

== Оформление темы письма ==
При написании письма необходимо указывать тему, как описано ниже (почта, на которую вы отправляете вопросы и работы, является почтой ''всего'' майнора, поэтому указывая тему письма правильно вы повышаете шансы дождаться ответа). Далее NN - номер вашей группы. X - номер лабораторной работы.
* Для вопросов: [ИАД-NN] - Вопрос - Фамилия Имя Отчество
* Для домашних лабораторных работ: [ИАД-NN] - Лабораторная работа X - Фамилия Имя Отчество

Майнор Интеллектуальный анализ данных/Введение в анализ данных/ИАД-13

2016-01-26T05:04:00Z

Peter Romov: /* Семинары */

== Общая информация ==

Семинарист — Ромов Петр.

Почта курса: hse.minor.dm@gmail.com (обратите внимание на оформление темы письма)

== Семинары ==
{| class="wikitable"
|-
! Дата !! Тема !! Материалы семинара
|-
| 12.01.2016 || Вводный семинар ||
|-
| 19.01.2016 || Работа с данными в Python ||
|-
| 26.01.2016 || Постановка задачи обучения с учителем || [https://github.com/romovpa/ml-course-hse/blob/master/sem03/MachineLearningProblemStatement.ipynb Тетрадка]
|-
|}

== Домашние задания ==
{| class="wikitable"
|-
! Дата выдачи !! Дедлайн !! Задание
|-
| 26.01.2016 || 09.02.2016 09:00 MSK || [http://nbviewer.jupyter.org/github/romovpa/ml-course-hse/blob/master/sem03/Lab01_Python_and_Data_Analysis.ipynb Лабораторная работа 1. NumPy и Pandas]
|-
|}

== Правила игры ==
Информация о домашних заданиях появится позже.

Иногда на семинарах будут проводиться проверочные работы. Об этом будет объявляться заранее. Также каждый студент делает проект в течение двух модулей (решение какой-то задачи анализа данных, информация будет объявлена позже).

===Про домашние задания===

Каждое ДЗ выдается на две (полных) недели. Дедлайн строгий, после него задание сдать нельзя.

Плагиат будет строго наказываться: вся компонента — и те, кто списал, и те, у кого списали — получает не более 0 баллов за задание. Цените свое время.

== Оформление темы письма ==
При написании письма необходимо указывать тему, как описано ниже (почта, на которую вы отправляете вопросы и работы, является почтой ''всего'' майнора, поэтому указывая тему письма правильно вы повышаете шансы дождаться ответа). Далее NN - номер вашей группы. X - номер лабораторной работы.
* Для вопросов: [ИАД-NN] - Вопрос - Фамилия Имя Отчество
* Для домашних лабораторных работ: [ИАД-NN] - Лабораторная работа X - Фамилия Имя Отчество

Майнор Интеллектуальный анализ данных/Введение в анализ данных/ИАД-13

2016-01-26T04:54:00Z

Peter Romov:

== Общая информация ==

Семинарист — Ромов Петр.

Почта курса: hse.minor.dm@gmail.com (обратите внимание на оформление темы письма)

== Семинары ==
{| class="wikitable"
|-
! Дата !! Тема !! Материалы семинара
|-
| 12.01.2016 || Вводный семинар ||
|-
| 19.01.2016 || Работа с данными в Python ||
|-
| 26.01.2016 || Постановка задачи обучения с учителем || [http://nbviewer.jupyter.org/github/romovpa/ml-course-hse/blob/master/sem03/MachineLearningProblemStatement.ipynb Тетрадка]
|-
|}

== Домашние задания ==
{| class="wikitable"
|-
! Дата выдачи !! Дедлайн !! Задание
|-
| 26.01.2016 || 09.02.2016 09:00 MSK || [http://nbviewer.jupyter.org/github/romovpa/ml-course-hse/blob/master/sem03/Lab01_Python_and_Data_Analysis.ipynb Лабораторная работа 1. NumPy и Pandas]
|-
|}

== Правила игры ==
Информация о домашних заданиях появится позже.

Иногда на семинарах будут проводиться проверочные работы. Об этом будет объявляться заранее. Также каждый студент делает проект в течение двух модулей (решение какой-то задачи анализа данных, информация будет объявлена позже).

===Про домашние задания===

Каждое ДЗ выдается на две (полных) недели. Дедлайн строгий, после него задание сдать нельзя.

Плагиат будет строго наказываться: вся компонента — и те, кто списал, и те, у кого списали — получает не более 0 баллов за задание. Цените свое время.

== Оформление темы письма ==
При написании письма необходимо указывать тему, как описано ниже (почта, на которую вы отправляете вопросы и работы, является почтой ''всего'' майнора, поэтому указывая тему письма правильно вы повышаете шансы дождаться ответа). Далее NN - номер вашей группы. X - номер лабораторной работы.
* Для вопросов: [ИАД-NN] - Вопрос - Фамилия Имя Отчество
* Для домашних лабораторных работ: [ИАД-NN] - Лабораторная работа X - Фамилия Имя Отчество

Майнор Интеллектуальный анализ данных/Введение в анализ данных/ИАД-13

2016-01-26T04:51:36Z

Peter Romov:

Майнор Интеллектуальный анализ данных/Введение в анализ данных/ИАД-13

2016-01-26T04:51:20Z

Peter Romov: Новая страница: «== Общая информация == Семинарист — Ромов Петр. Почта курса: hse.minor.dm@gmail.com (обратите внима…»

Майнор Интеллектуальный анализ данных/Введение в анализ данных

2016-01-26T04:40:38Z

Peter Romov: /* Страницы семинаров */

== О курсе ==
В рамках курса «Введение в анализ данных» студенты овладевают базовыми понятиями и методами машинного обучения, учатся применять их в задачах анализа данных, а также приобретают практические навыки специалиста по анализу данных (data scientist). Практические задания и итоговый проект выполняются с использованием языка Python и инструментов PyData (iPython Notebook, NumPy, Pandas, scikit-learn и др.). 

'''Читается:''' 3-4 модуль 2 курса, 2015/2016 учебный год. 
'''Пререквизиты:''' Введение в программирование 
'''Трудоемкость:''' 5 кредитов 

=== Продолжительность ===
'''Всего:''' 72 аудиторных часа: 
'''Из них:'''
* 36 часов лекций
* 36 часов практических занятий

=== Формы контроля ===
* проверочные работы на семинарах
* домашние задания
* проект по анализу данных
* экзамен

==Учебный процесс==

===Полезные ссылки===
Написать отзыв (анонимно): http://goo.gl/forms/RwdMxnChST 

'''Второй поток'''

Почта потока (для домашних заданий и вопросов): [mailto:hse.minor.dm@gmail.com hse.minor.dm@gmail.com]

Почта лектора: [mailto:sokolov.evg@gmail.com sokolov.evg@gmail.com]

[https://docs.google.com/spreadsheets/d/1jZL_-ELf0Ogj2XHa6VVbkg8vrInycv2-Z9UR5keLDfM/edit?usp=sharing Таблица с оценками]

Подписаться на рассылку (информация об отменах и переносах занятий): напишите пустое письмо на [mailto:hse-minor-datamining-2+subscribe@googlegroups.com hse-minor-datamining-2+subscribe@googlegroups.com]

===Расписание лекций===

Все занятия проходят по вторникам на ул. Шаболовка, 26.

{| class="wikitable"
|-
! Пара !! Группы !! Преподаватель
|-
| 2, 10.30-11.50 || Второй поток, ИАД-11 – ИАД-20 (К-9) || Соколов Евгений Андреевич
|-
| 3, 12.10-13.30 || Первый поток, ИАД-1 – ИАД-10 (К-9) || Игнатов Дмитрий Игоревич
|}

===Расписание семинаров===

Все занятия проходят по вторникам на ул. Шаболовка, 26.

{| class="wikitable"
|-
! Пара !! Группа !! Преподаватель !! Группа !! Преподаватель !! Группа !! Преподаватель !! Группа !! Преподаватель !! Группа !! Преподаватель
|-
| 1, 09.00-10.20 || ИАД-8 (ауд.4335) || Панов || ИАД-11 (ауд.3214) || Козлова || ИАД-13 (ауд.4336) || Ромов || ИАД-18 (ауд.4427) || Гитман, Рысьмятова || ИАД-19 (ауд.4428) || Квасов, Полякова
|-
| 1, 09.00-10.20 || ИАД-20 (ауд.3203) || Струминский || || || || || || || ||
|-
| 2, 10.30-10.50 || ИАД-4 (ауд.4336) || Умнов || ИАД-8 (ауд.4335) || Панов || ИАД-9 (ауд.4427) || Папулин || ИАД-10 (ауд.4428) || Зиннурова || ||
|-
| 3, 12.10-13.30 || ИАД-12 (ауд.3214) || Козлова || ИАД-14 (ауд.4427) || Папулин || ИАД-15 (ауд.4428) || Зиннурова || ИАД-16 (ауд.3203) || Даулбаев, Чиркова || ИАД-17 (ауд.4335) || Гитман, Захаров
|-
| 4, 13.40-15.00 || ИАД-2 (ауд.4427) || Папулин || ИАД-3 (ауд.4428) || Шестаков || ИАД-5 (ауд.3203) || Паринов || ИАД-6 (ауд.3214) || Кашницкий || ИАД-7 (ауд.4336) || Умнов
|-
| 5, 15.10-16.30 || ИАД-1 (ауд.4427) || Папулин || ИАД-6 (ауд.3214) || Кашницкий || || || || || ||
|}

===Программа лекций===

Лекция 1 (12.01.2016). Введение в машинное обучение и анализ данных. [[https://db.tt/c9XsAVym Слайды, 1 поток]] [[https://github.com/esokolov/ml-minor-hse/blob/master/lectures/lecture01-intro.pdf Слайды, 2 поток]]

Лекция 2 (19.01.2016). Постановки задач в машинном обучении. Примеры прикладных задач. [Слайды, 1 поток] [[https://github.com/esokolov/ml-minor-hse/blob/master/lectures/lecture02-intro.pdf Слайды, 2 поток]]

Лекция 3. Линейная алгебра и анализ данных.

Лекция 4. Математический анализ и анализ данных.

Лекция 5. Теория вероятностей и анализ данных.

Лекция 6. Математическая статистика и анализ данных.

Лекция 7. Линейная регрессия.

Лекция 8. Линейная классификация.

Лекция 9. Метрики качества алгоритмов.

Лекция 10. Оценивание качества алгоритмов.

Лекция 11. Логические методы и их интерпретируемость.

Лекция 12. Построение деревьев решений.

Лекция 13. Введение в композиции алгоритмов. Случайные леса.

Лекция 14. Особенности реальных данных.

Лекция 15. Анализ частых множеств признаков и ассоциативных правил.

Лекция 16. Задача кластеризации.

Лекция 17. Заключительная лекция.

===Страницы семинаров===
* ИАД-1, Папулин С.Ю.
* ИАД-2, Папулин С.Ю.
* [[Minor_da2016_gr3|ИАД-3, Шестаков А.]]
* [[Майнор_Анализ_Данных_ИАД-4_ИАД-7|ИАД-4, Умнов А.В.]]
* ИАД-5, Паринов А.С.
* [[Майнор Интеллектуальный анализ данных/Введение в анализ данных/ИАД-6|ИАД-6, Кашницкий Ю.С.]]
* [[Майнор_Анализ_Данных_ИАД-4_ИАД-7|ИАД-7, Умнов А.В.]]
* ИАД-8, Панов А.И.
* ИАД-9, Папулин С.Ю.
* [[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/ИАД-10|ИАД-10, Зиннурова Э.А.]]
* [[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/ИАД-11,12|ИАД-11, Козлова А.]]
* [[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/ИАД-11,12|ИАД-12, Козлова А.]]
* [[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/ИАД-13|ИАД-13, Ромов П.А.]]
* ИАД-14, Папулин С.Ю.
* [[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/ИАД-15|ИАД-15, Зиннурова Э.А.]]
* [[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/ИАД-16|ИАД-16, Даулбаев Т., Чиркова Н.]]
* [[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/ИАД-17|ИАД-17, Гитман И., Захаров Е.]]
* [[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/ИАД-18|ИАД-18, Гитман И., Рысьмятова А.]]
* [[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/ИАД-19|ИАД-19, Квасов А., Полякова Н.]]
* [[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/ИАД-20|ИАД-20, Струминский К.]]

==Полезные материалы==
===Курсы по машинному обучению и анализу данных===
* [http://www.machinelearning.ru/wiki/index.php?title=Машинное_обучение_%28курс_лекций%2C_К.В.Воронцов%29 Курс по машинному обучению К.В. Воронцова]
* [https://yandexdataschool.ru/edu-process/courses/machine-learning Видеозаписи лекций курса Школы Анализа Данных, К.В. Воронцов]
* [https://www.coursera.org/specializations/machine-learning-data-analysis Coursera: Машинное обучение и анализ данных (специализация)]
* [https://www.coursera.org/learn/introduction-machine-learning Coursera: Введение в машинное обучение, К.В. Воронцов]
* [https://www.coursera.org/learn/machine-learning Coursera: Machine Learning, Andrew Ng]

===Статьи===
* [http://www.toptal.com/machine-learning/machine-learning-theory-an-introductory-primer An Introduction to Machine Learning Theory and Its Applications: A Visual Tutorial with Examples]
* [http://www.r2d3.us/visual-intro-to-machine-learning-part-1/ A Visual Introduction to Machine Learning]

===Книги===
* Mohammed J. Zaki, Wagner Meira Jr. Data Mining and Analysis. Fundamental Concepts and Algorithms. Cambridge University Press, 2014.
* Boris Mirkin. Core Concepts in Data Analysis: Summarization, Correlation, Visualization. 2010.
* James, Witten, Hastie, Tibshirani. An Introduction to Statistical Learning. 2013.

[[Category:Майнор "Интеллектуальный анализ данных"]]