Wiki - Факультет компьютерных наук - Вклад [ru]

Машинное обучение 1/2023 2024

2017-10-23T09:41:44Z

Dyashkov: /* Семинары */

== О курсе ==

[[Файл:ML_surfaces.png|280px|borderless|left]]

Курс читается для студентов 3-го курса [https://cs.hse.ru/ami ПМИ ФКН ВШЭ] в 1-2 модулях.

Проводится с 2016 года.

'''Лектор:''' [http://www.hse.ru/staff/esokolov Соколов Евгений Андреевич]

Лекции проходят по пятницам, 10:30 - 11:50, ауд. 317.

=== Полезные ссылки ===

[https://www.hse.ru/ba/ami/courses/205507250.html Карточка курса и программа]

[https://github.com/esokolov/ml-course-hse Репозиторий с материалами на GitHub]

Почта для сдачи домашних заданий: hse.cs.ml+<номер группы>@gmail.com (например, hse.cs.ml+151@gmail.com)

Канал в telegram для объявлений: https://telegram.me/hse_cs_ml_course_2017

Чат в telegram для обсуждений: https://t.me/joinchat/A5rlQEQ7r16nvyHbyXtjNA

[https://docs.google.com/spreadsheets/d/16wj3eH2crdGY-MFqiMMUoy1E7uo80nYT2MYfz3Y7gx4/edit?usp=sharing Таблица с оценками]

Оставить отзыв на курс: [https://goo.gl/forms/5CddG0gc75VZvqi52 форма]

'''Вопросы''' по курсу можно задавать на почту курса, а также в телеграм лектору (esokolov@) или семинаристу.
Вопросы по материалам лекций/семинаров и по заданиям лучше всего оформлять в виде [https://github.com/esokolov/ml-course-hse/issues Issue] в [https://github.com/esokolov/ml-course-hse github-репозитории курса].

=== Семинары ===

{| class="wikitable"
|-
! Группа !! Преподаватель !! Учебный ассистент !! Страница !! Расписание
|-
| 151 (МОП) || [https://www.hse.ru/org/persons/165212870 Зиннурова Эльвира Альбертовна] || Атанов Андрей || || пятница, 12:10 - 13:30, ауд. 300
|-
| 152 (МОП) || [https://www.hse.ru/org/persons/191263008 Неклюдов Кирилл Олегович] || Гадецкий Артём || || понедельник, 15:10 - 16:30, ауд. 505
|-
| 153 (АПР) || [https://www.hse.ru/org/persons/209813467 Никишин Евгений Сергеевич] || Ковалёв Евгений || || пятница, 12:10 - 13:30, ауд. 322
|-
| 154 (АДИС) || [https://www.hse.ru/org/persons/209813459 Каюмов Эмиль Марселевич] || Панков Алексей || || пятница, 12:10 - 13:30, ауд. 501
|-
| 155 (РС) || [https://www.hse.ru/org/persons/192085968 Яшков Даниил Дмитриевич] || [https://t.me/despairazure Кохтев Вадим] || || понедельник, 12:10 - 13:30, ауд. 513
|-
| 156 (ТИ) || [https://www.hse.ru/org/persons/141880775 Умнов Алексей Витальевич] || Шевченко Александр || [[Машинное обучение 1/156 | ссылка]]|| пятница, 15:10 - 16:30, ауд. 311
|-
| Магистратура ФТиАД || [https://www.hse.ru/org/persons/191576735 Чиркова Надежда Александровна] || Першин Максим || ||
|-
|}

=== Консультации ===

=== Правила выставления оценок ===

В курсе предусмотрено несколько форм контроля знания:
* Самостоятельные работы на семинарах, проверяющие знание основных фактов с лекций
* Теоретические домашние работы и их защиты
* Практические домашние работы на Python
* Контрольные работы
* Письменный экзамен

Итоговая оценка вычисляется на основе оценки за работу в семестре и оценки за экзамен:

Oитоговая = 0.7 * Oнакопленная + 0.3 * Оэкз

Оценка за работу в семестре вычисляется по формуле

Oнакопленная = 0.1 * Oсамостоятельные + 0.4 * Опрактические дз + 0.3 * Отеоретические дз + 0.2 * Оконтрольные

Оценка за самостоятельную работу вычисляется как среднее по всем самостоятельным, оценка за домашнюю работу — как среднее по всем практическим заданиям и соревнованиям.

=== Правила сдачи заданий ===

Дедлайны по всем домашним заданиям являются жёсткими, то есть после срока работа не принимаются.

При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.

При наличии уважительной причины пропущенную проверочную можно написать позднее, а дедлайн по домашнему заданию может быть перенесён (при этом получить дополнительные баллы за призовые места на конкурсе можно только при участии в общий срок). Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.

== Лекции ==

'''Лекция 1''' (1 сентября). Введение в машинное обучение. Основные термины, постановки задач и примеры применения. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/lecture-notes/lecture01-intro.pdf Конспект]]

'''Лекция 2''' (8 сентября). Линейная регрессия. Метрики качества регрессии. Градиентный спуск и способы оценивания градиента. Продвинутые градиентные методы. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/lecture-notes/lecture02-linregr.pdf Конспект]]

'''Лекция 3''' (15 сентября). Переобучение и регуляризация. Разреженные линейные модели. Квантильная регрессия. Подготовка признаков. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/lecture-notes/lecture03-linregr.pdf Конспект]]

'''Лекция 4''' (22 сентября). Линейная классификация. Отступ и верхние оценки на пороговую функцию потерь. Метрики качества классификации. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/lecture-notes/lecture04-linclass.pdf Конспект]]

'''Лекция 5''' (29 сентября). Линейная классификация. Логистическая регрессия и оценки вероятности классов. Метод опорных векторов. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/lecture-notes/lecture05-linclass.pdf Конспект]]

'''Лекция 6''' (6 октября). Многоклассовая классификация, сведение к бинарным задачам. Многоклассовая логистическая регрессия. Классификация с пересекающимися классами. Метрики качества многоклассовой классификации. Категориальные признаки: хэширование и счётчики. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/lecture-notes/lecture06-linclass.pdf Конспект]]

== Семинары ==

'''Семинар 1'''. Постановки задач, примеры применения, инструменты. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/seminars/sem01-intro.ipynb Ноутбук с семинара]] [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/seminars/sem01-tools.ipynb Ноутбук для самостоятельного изучения]]

'''Семинар 2'''. Векторное дифференцирование. Линейная регрессия, аналитическое и численное решение. Свойства градиента. Сравнение градиентного спуска и стохастического градиентного спуска. Scikit-learn. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/seminars/sem02-linregr-part1.pdf Конспект]] [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/seminars/sem02-linregr-part2.ipynb Notebook]] [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/homeworks-theory/homework-theory-01-linregr.pdf Домашнее задание]]

'''Семинар 3'''. Предобработка данных для линейных моделей. Функции потерь в линейной регрессии. Вероятностный взгляд на линейную регрессию. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/seminars/sem03-linregr.ipynb Notebook]] [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/homeworks-theory/homework-theory-02-linregr.pdf Домашнее задание]]

'''Семинар 4'''. Метрики качества классификации. ROC-кривая, алгоритм её построения, AUC-ROC. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/seminars/sem04-linclass-metrics.pdf Конспект]] [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/homeworks-theory/homework-theory-03-linclass-metrics.pdf Домашнее задание]]

'''Семинар 5'''. Оценивание вероятностей классов. Метод опорных векторов. Эквивалентность регуляризации и раннего останова в градиентном спуске. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/seminars/sem05-linclass.pdf Конспект]] [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/homeworks-theory/homework-theory-04-linclass.pdf Домашнее задание]]

'''Семинар 6'''. Метод K ближайших соседей. Различные способы задания метрик. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/seminars/sem-knn.pdf Конспект]] [[ Домашнее задание]]

== Практические задания ==

'''Задание 1.''' Библиотека numpy и работа с данными.

Дата выдачи: 18.09.2017

Мягкий дедлайн: 01.10.2017 23:59MSK

Жесткий дедлайн: 08.10.2017 23:59MSK.

За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются.

[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/homeworks-practice/homework-practice-01.ipynb Условие],
[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/homeworks-practice/homework-practice-01.zip архив с условием и шаблонами],
[https://official.contest.yandex.ru/contest/5016/problems/ соревнование в Яндекс.Контесте],
[https://contest.yandex.ru/contest/5016/problems/ альтернативная ссылка на соревнование в Яндекс.Контесте].

== Полезные материалы ==
===Книги===
* Hastie T., Tibshirani R, Friedman J. The Elements of Statistical Learning (2nd edition). Springer, 2009.
* Bishop C. M. Pattern Recognition and Machine Learning. Springer, 2006.
* Mohri M., Rostamizadeh A., Talwalkar A. Foundations of Machine Learning. MIT Press, 2012.
* Murphy K. Machine Learning: A Probabilistic Perspective. MIT Press, 2012.
* Mohammed J. Zaki, Wagner Meira Jr. Data Mining and Analysis. Fundamental Concepts and Algorithms. Cambridge University Press, 2014.
* Willi Richert, Luis Pedro Coelho. Building Machine Learning Systems with Python. Packt Publishing, 2013.

===Курсы по машинному обучению и анализу данных===
* [http://www.machinelearning.ru/wiki/index.php?title=Машинное_обучение_%28курс_лекций%2C_К.В.Воронцов%29 Курс по машинному обучению К.В. Воронцова]
* [https://yandexdataschool.ru/edu-process/courses/machine-learning Видеозаписи лекций курса Школы Анализа Данных, К.В. Воронцов]
* [https://www.coursera.org/specializations/machine-learning-data-analysis Coursera: Машинное обучение и анализ данных (специализация)]
* [https://www.coursera.org/learn/introduction-machine-learning Coursera: Введение в машинное обучение, К.В. Воронцов]

== Страницы предыдущих лет ==

[[Машинное_обучение_1/2016_2017 | 2016/2017 учебный год]]

Майнор Интеллектуальный анализ данных/Введение в анализ данных

2017-02-22T09:34:48Z

Dyashkov:

== О курсе ==

Курс читается для студентов 2-го курса [https://electives.hse.ru/2015/minor_intel/ майнора ИАД] в 3-4 модулях.

Проводится с 2015 года.

'''Лектор:''' [http://www.hse.ru/staff/esokolov Соколов Евгений Андреевич]

Лекции проходят по средам, 10:30 - 11:50, ауд. 5215 (Шаболовка, 26).

=== Полезные ссылки ===

[https://www.hse.ru/edu/courses/185566965 Карточка курса и программа]

[https://github.com/esokolov/ml-minor-hse Репозиторий с материалами на GitHub]

Почта для сдачи домашних заданий: hse.minor.dm+<номер группы>@gmail.com (например, hse.minor.dm+3@gmail.com)

Канал в telegram для объявлений: https://telegram.me/hse_minor_intro_dm

[https://docs.google.com/spreadsheets/d/1sFKaErC0N7YteroaNS8N9JkHZUdWKc3RFv1wv5kGyzw/edit?usp=sharing Таблица с оценками]

Оставить отзыв на курс: [http://goo.gl/forms/RwdMxnChST форма]

'''Вопросы''' по курсу можно задавать на почту курса, а также в телеграм лектору (esokolov@) или семинаристу.
Вопросы по материалам лекций лучше всего оформлять в виде [https://github.com/esokolov/ml-minor-hse/issues Issue] в [https://github.com/esokolov/ml-minor-hse github-репозитории курса].

=== Семинары ===

{| class="wikitable"
|-
! Группа !! Преподаватель !! Учебный ассистент !! Страница !! Расписание
|-
| ИАД-1 || [https://www.hse.ru/org/persons/161192709 Папулин Сергей Юрьевич] || || || среда, 12:10 - 13:30, ауд. 3214
|-
| ИАД-2 || [https://www.hse.ru/staff/ashestakoff Шестаков Андрей Владимирович] || Чеснокова Полина || [[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/ИАД_2|Тут]] || среда, 12:10 - 13:30, ауд. 4427
|-
| ИАД-3 || [https://www.hse.ru/org/persons/200501640 Даулбаев Талгат Кайратулы] || Першин Дмитрий|| [https://github.com/iad34/seminars Ссылка] || среда, 09:00 - 10:20, ауд. 4335
|-
| ИАД-4 || [https://www.hse.ru/org/persons/191576735 Чиркова Надежда Александровна] || Стрельцов Антон ||[https://github.com/iad34/seminars Ссылка] || среда, 12:10 - 13:30, ауд. 4335
|-
| ИАД-5 || [https://www.hse.ru/org/persons/192085968 Яшков Даниил Дмитриевич] || Кохтев Вадим ||[https://github.com/yashakb/minor_HSE/ github] || среда, 12:10 - 13:30, ауд. 4336
|-
|}

=== Правила выставления оценок ===

В курсе предусмотрено несколько форм контроля знания:
* Самостоятельные работы на семинарах, проверяющие знание основных фактов с лекций и семинаров
* Практические домашние работы на Python
* Коллоквиум в конце 1-го модуля
* Экзамен

Итоговая оценка вычисляется на основе оценки за работу в семестре и оценки за экзамен:

Oитоговая = 0.7 * Oнакопленная + 0.3 * Оэкз

Оценка за работу в семестре вычисляется по формуле

Oнакопленная = 0.2 * Oсамостоятельные + 0.6 * Одз + 0.2 * Околлоквиум

Оценка за самостоятельную работу вычисляется как среднее по всем самостоятельным, оценка за домашнюю работу — как среднее по всем практическим заданиям и соревнованиям.

=== Правила сдачи заданий ===

При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.

При наличии уважительной причины дедлайн по домашнему заданию может быть перенесён. Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.

==Лекции==
[[Файл:how-to-download.png|thumb|right|200px|Файлы со слайдами очень легко скачать с GitHub с помощью кнопки Raw!]]

Лекция 1 (18.01.2017). Введение в машинное обучение и анализ данных. [[https://github.com/esokolov/ml-minor-hse/blob/master/lectures-2017/lecture01-intro.pdf Слайды]]

Лекция 2 (25.01.2017). Типы задач машинного обучения. Типы признаков. Обобщающая способность и переобучение. Примеры задач анализа данных. [[https://github.com/esokolov/ml-minor-hse/blob/master/lectures-2017/lecture02-intro.pdf Слайды]]

Лекция 3 (01.02.2017). Векторы и матрицы. Норма, метрика и скалярное произведение. Качество классификации, доля верных ответов. Оценивание обобщающей способности, кросс-валидация. Гипотеза компактности. Метод k ближайших соседей. [[https://github.com/esokolov/ml-minor-hse/blob/master/lectures-2017/lecture03-knn.pdf Слайды]]

Лекция 4 (08.02.2017). Метод k ближайших соседей в регрессии. Среднеквадратичная ошибка. Матричное умножение. Производные и градиенты. Экстремумы функций. Обучение линейной регрессии. [[https://github.com/esokolov/ml-minor-hse/blob/master/lectures-2017/lecture04-regression.pdf Слайды]]

Лекция 5 (15.02.2017). Градиентный спуск. Линейные зависимости и мультиколлинеарность. Регуляризация линейных моделей. Масштабирование признаков. [[https://github.com/esokolov/ml-minor-hse/blob/master/lectures-2017/lecture05-regression.pdf Слайды]]

==Полезные материалы==
===Курсы по машинному обучению и анализу данных===
* [http://www.machinelearning.ru/wiki/index.php?title=Машинное_обучение_%28курс_лекций%2C_К.В.Воронцов%29 Курс по машинному обучению К.В. Воронцова]
* [https://yandexdataschool.ru/edu-process/courses/machine-learning Видеозаписи лекций курса Школы Анализа Данных, К.В. Воронцов]
* [https://www.coursera.org/specializations/machine-learning-data-analysis Coursera: Машинное обучение и анализ данных (специализация)]
* [https://www.coursera.org/learn/introduction-machine-learning Coursera: Введение в машинное обучение, К.В. Воронцов]
* [https://www.coursera.org/learn/machine-learning Coursera: Machine Learning, Andrew Ng]

===Статьи===
* [http://www.toptal.com/machine-learning/machine-learning-theory-an-introductory-primer An Introduction to Machine Learning Theory and Its Applications: A Visual Tutorial with Examples]
* [http://www.r2d3.us/visual-intro-to-machine-learning-part-1/ A Visual Introduction to Machine Learning]

===Книги===
* Mohammed J. Zaki, Wagner Meira Jr. Data Mining and Analysis. Fundamental Concepts and Algorithms. Cambridge University Press, 2014.
* Boris Mirkin. Core Concepts in Data Analysis: Summarization, Correlation, Visualization. 2010.
* James, Witten, Hastie, Tibshirani. An Introduction to Statistical Learning. 2013.

== Страницы прошлых лет ==

[[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/2015-2016 | 2015/16 учебный год ]]

[[Category:Майнор "Интеллектуальный анализ данных"]]

Майнор Интеллектуальный анализ данных/Введение в анализ данных

2017-02-03T10:38:16Z

Dyashkov: /* Семинары */

== О курсе ==

Курс читается для студентов 2-го курса [https://electives.hse.ru/2015/minor_intel/ майнора ИАД] в 3-4 модулях.

Проводится с 2015 года.

'''Лектор:''' [http://www.hse.ru/staff/esokolov Соколов Евгений Андреевич]

Лекции проходят по средам, 10:30 - 11:50, ауд. 5307 (Шаболовка, 26).

=== Полезные ссылки ===

[https://www.hse.ru/edu/courses/185566965 Карточка курса и программа]

[https://github.com/esokolov/ml-minor-hse Репозиторий с материалами на GitHub]

Почта для сдачи домашних заданий: hse.minor.dm+<номер группы>@gmail.com (например, hse.minor.dm+3@gmail.com)

Канал в telegram для объявлений: https://telegram.me/hse_minor_intro_dm

[https://docs.google.com/spreadsheets/d/1sFKaErC0N7YteroaNS8N9JkHZUdWKc3RFv1wv5kGyzw/edit?usp=sharing Таблица с оценками]

Оставить отзыв на курс: [http://goo.gl/forms/RwdMxnChST форма]

'''Вопросы''' по курсу можно задавать на почту курса, а также в телеграм лектору (esokolov@) или семинаристу.
Вопросы по материалам лекций лучше всего оформлять в виде [https://github.com/esokolov/ml-minor-hse/issues Issue] в [https://github.com/esokolov/ml-minor-hse github-репозитории курса].

=== Семинары ===

{| class="wikitable"
|-
! Группа !! Преподаватель !! Учебный ассистент !! Страница !! Расписание
|-
| ИАД-1 || [https://www.hse.ru/org/persons/161192709 Папулин Сергей Юрьевич] || || || среда, 12:10 - 13:30, ауд. 3214
|-
| ИАД-2 || [https://www.hse.ru/staff/ashestakoff Шестаков Андрей Владимирович] || Чеснокова Полина || [[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/ИАД_2|Тут]] || среда, 12:10 - 13:30, ауд. 4427
|-
| ИАД-3 || [https://www.hse.ru/org/persons/200501640 Даулбаев Талгат Кайратулы] || Першин Дмитрий|| [https://github.com/iad34/seminars Ссылка] || среда, 09:00 - 10:20, ауд. 4335
|-
| ИАД-4 || [https://www.hse.ru/org/persons/191576735 Чиркова Надежда Александровна] || Стрельцов Антон ||[https://github.com/iad34/seminars Ссылка] || среда, 12:10 - 13:30, ауд. 4335
|-
| ИАД-5 || [https://www.hse.ru/org/persons/192085968 Яшков Даниил Дмитриевич] || ||[https://github.com/yashakb/minor_HSE/ github] || среда, 12:10 - 13:30, ауд. 4336
|-
|}

=== Правила выставления оценок ===

В курсе предусмотрено несколько форм контроля знания:
* Самостоятельные работы на семинарах, проверяющие знание основных фактов с лекций и семинаров
* Практические домашние работы на Python
* Коллоквиум в конце 1-го модуля
* Экзамен

Итоговая оценка вычисляется на основе оценки за работу в семестре и оценки за экзамен:

Oитоговая = 0.7 * Oнакопленная + 0.3 * Оэкз

Оценка за работу в семестре вычисляется по формуле

Oнакопленная = 0.2 * Oсамостоятельные + 0.6 * Одз + 0.2 * Околлоквиум

Оценка за самостоятельную работу вычисляется как среднее по всем самостоятельным, оценка за домашнюю работу — как среднее по всем практическим заданиям и соревнованиям.

=== Правила сдачи заданий ===

При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.

При наличии уважительной причины дедлайн по домашнему заданию может быть перенесён. Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.

==Лекции==
[[Файл:how-to-download.png|thumb|right|200px|Файлы со слайдами очень легко скачать с GitHub с помощью кнопки Raw!]]

Лекция 1 (18.01.2017). Введение в машинное обучение и анализ данных. [[https://github.com/esokolov/ml-minor-hse/blob/master/lectures-2017/lecture01-intro.pdf Слайды]]

Лекция 2 (25.01.2017). Типы задач машинного обучения. Типы признаков. Обобщающая способность и переобучение. Примеры задач анализа данных. [[https://github.com/esokolov/ml-minor-hse/blob/master/lectures-2017/lecture02-intro.pdf Слайды]]

Лекция 3 (01.02.2017). Векторы и матрицы. Норма, метрика и скалярное произведение. Качество классификации, доля верных ответов. Оценивание обобщающей способности, кросс-валидация. Гипотеза компактности. Метод k ближайших соседей. [[https://github.com/esokolov/ml-minor-hse/blob/master/lectures-2017/lecture03-knn.pdf Слайды]]

==Полезные материалы==
===Курсы по машинному обучению и анализу данных===
* [http://www.machinelearning.ru/wiki/index.php?title=Машинное_обучение_%28курс_лекций%2C_К.В.Воронцов%29 Курс по машинному обучению К.В. Воронцова]
* [https://yandexdataschool.ru/edu-process/courses/machine-learning Видеозаписи лекций курса Школы Анализа Данных, К.В. Воронцов]
* [https://www.coursera.org/specializations/machine-learning-data-analysis Coursera: Машинное обучение и анализ данных (специализация)]
* [https://www.coursera.org/learn/introduction-machine-learning Coursera: Введение в машинное обучение, К.В. Воронцов]
* [https://www.coursera.org/learn/machine-learning Coursera: Machine Learning, Andrew Ng]

===Статьи===
* [http://www.toptal.com/machine-learning/machine-learning-theory-an-introductory-primer An Introduction to Machine Learning Theory and Its Applications: A Visual Tutorial with Examples]
* [http://www.r2d3.us/visual-intro-to-machine-learning-part-1/ A Visual Introduction to Machine Learning]

===Книги===
* Mohammed J. Zaki, Wagner Meira Jr. Data Mining and Analysis. Fundamental Concepts and Algorithms. Cambridge University Press, 2014.
* Boris Mirkin. Core Concepts in Data Analysis: Summarization, Correlation, Visualization. 2010.
* James, Witten, Hastie, Tibshirani. An Introduction to Statistical Learning. 2013.

== Страницы прошлых лет ==

[[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/2015-2016 | 2015/16 учебный год ]]

[[Category:Майнор "Интеллектуальный анализ данных"]]

Автостатсмен для Dota 2 (командный проект)

2016-10-11T14:37:55Z

Dyashkov:

{{Карточка_командного_проекта
|name=Автостатсмен для Dota 2
|company=Yandex Data Factory & Co
|semester=Осень 2016
|course=3
|number_of_students=2-3
|categorize=yes
}}

=== Что это за проект? ===

[[Файл:Dota Statsman Screenshot 3.png|x300px|обрамить|справа|Типичный статсмен]]

Статсмен в Dota 2 — человек, который занимается поиском любопытных статистических фактов и закономерностей в истории матчей Dota 2. Такая информация обычно используется во время трансляции игр, на постматчевой аналитике или же при подготовке команд к конкретным противникам.

При этом ключевыми источниками информации для подготовки являются 2 сайта: Dotabuff и DatDota и статсменам приходится вручную искать по ним необходимую информацию для ответа на интересующие их вопросы или составления статистических отчетов. Для того, чтобы облегчить их труд, данный процесс можно автоматизировать, сделав поиск и извлечение релевантной информации автоматическим.

=== Чему научатся студенты? Что самое интересное в проекте? ===
В рамках данного проекта студенты научатся извлечению данных со страниц веб-сайтов (scraping), использованию API, алгоритмизации выполнения поисковых и аналитических запросов. Проект предполагает создание микросервиса для взаимодействия с Dota 2 API в режиме реального времени и публикации результатов в социальных сетях.

=== Организация работы (Как студенты будут работать в команде?) ===
Для работы над данным проектом потребуется как минимум 2 студента
# специализирующийся на сборе и хранении данных
# специализирующийся на алгоритмизации извлечения и аналитики информации, полученной из данных

=== Компоненеты (Из каких частей состоит проект?) ===
#Создание системы по сбору и хранению данных о профессиональных матчах используя Steam API;
#Создание автоматической системы сбора статистической информации о героях/игроках с Dotabuff и Datdota;
#Классификация типовых статистических запросов и алгоритмизация их выполнения;
#Построение модели машинного обучения, ранжирующую полученную информацию по интересности
#Автоматизация работы системы в режиме реального времени на основе данных из текущих матчей Dota 2 Live API.
#(*) Создание вопросно-ответной системы для ответов на вопросы из разряда (Какой герой имеет наибольший винрейт на последнем чемпионате?).

=== Какие будут использоваться технологии? ===
* Краулинг данных с веб-сайтов: Scrapy, HTML/CSS
* Получение полных данных о матчах и данных в live-режиме (Steam API)
* Хранение данных: , MongoDB, SQL
* Бэкенд: Python, AWS EC2
* Машинное обучение: SciKit-Learn, XGBoost, методы ранжирования
* Telegram API, Twitter API - в зависимости от выбранного способа публикации

=== Какие начальные требования? ===
* 3k+ MMR, лучше — 4k+ MMR
* Страсть к анализу данных и киберспорту

=== Темы вводных занятий ===
* Краулинг данных
* Работа со Steam API
* Способы хранения данных
* Ликбез по машинному обучению

=== Критерии оценки ===
Для получения хорошей оценки необходимо будет запустить автоматического статсмена в виде канала в социальной сети (например, Twitter), опубликовать по результатам проекта статью в релевантном издании.

=== Похожие проекты ===

=== Контактная информация ===
Даниил Яшков (daniil.yashkov@phystech.edu) — YDF, Александр Семенов — [https://anr.hse.ru/ ANR HSE], Петр Ермаков — HeadHunter

Автостатсмен для Dota 2 (командный проект)

2016-10-11T14:37:20Z

Dyashkov:

{{Карточка_командного_проекта
|name=Автостатсмен для Dota 2
|company=Yandex Data Factory & Co
|semester=Осень 2016
|course=3
|number_of_students=2-3
|categorize=yes
}}

=== Что это за проект? ===

[[Файл:Dota Statsman Screenshot 3.png|x300px|обрамить|справа|Типичный статсмен]]

Статсмен в Dota 2 — человек, который занимается поиском любопытных статистических фактов и закономерностей в истории матчей Dota 2. Такая информация обычно используется во время трансляции игр, на постматчевой аналитике или же при подготовке команд к конкретным противникам.

При этом ключевыми источниками информации для подготовки являются 2 сайта: Dotabuff и DatDota и статсменам приходится вручную искать по ним необходимую информацию для ответа на интересующие их вопросы или составления статистических отчетов. Для того, чтобы облегчить их труд, данный процесс можно автоматизировать, сделав поиск и извлечение релевантной информации автоматическим.

=== Чему научатся студенты? Что самое интересное в проекте? ===
В рамках данного проекта студенты научатся извлечению данных со страниц веб-сайтов (scraping), использованию API, алгоритмизации выполнения поисковых и аналитических запросов. Проект предполагает создание микросервиса для взаимодействия с Dota 2 API в режиме реального времени и публикации результатов в социальных сетях.

=== Организация работы (Как студенты будут работать в команде?) ===
Для работы над данным проектом потребуется как минимум 2 студента
# специализирующийся на сборе и хранении данных
# специализирующийся на алгоритмизации извлечения и аналитики информации, полученной из данных

=== Компоненеты (Из каких частей состоит проект?) ===
#Создание системы по сбору и хранению данных о профессиональных матчах используя Steam API;
#Создание автоматическая системы сбора статистической информации о героях/игроках с Dotabuff и Datdota;
#Классификация типовых статистических запросов и алгоритмизация их выполнения;
#Построение модели машинного обучения, ранжирующую полученную информацию по интересности
#Автоматизация работы системы в режиме реального времени на основе данных из текущих матчей Dota 2 Live API.
#(*) Создание вопросно-ответной системы для ответов на вопросы из разряда (Какой герой имеет наибольший винрейт на последнем чемпионате?).

=== Какие будут использоваться технологии? ===
* Краулинг данных с веб-сайтов: Scrapy, HTML/CSS
* Получение полных данных о матчах и данных в live-режиме (Steam API)
* Хранение данных: , MongoDB, SQL
* Бэкенд: Python, AWS EC2
* Машинное обучение: SciKit-Learn, XGBoost, методы ранжирования
* Telegram API, Twitter API - в зависимости от выбранного способа публикации

=== Какие начальные требования? ===
* 3k+ MMR, лучше — 4k+ MMR
* Страсть к анализу данных и киберспорту

=== Темы вводных занятий ===
* Краулинг данных
* Работа со Steam API
* Способы хранения данных
* Ликбез по машинному обучению

=== Критерии оценки ===
Для получения хорошей оценки необходимо будет запустить автоматического статсмена в виде канала в социальной сети (например, Twitter), опубликовать по результатам проекта статью в релевантном издании.

=== Похожие проекты ===

=== Контактная информация ===
Даниил Яшков (daniil.yashkov@phystech.edu) — YDF, Александр Семенов — [https://anr.hse.ru/ ANR HSE], Петр Ермаков — HeadHunter

Автостатсмен для Dota 2 (командный проект)

2016-10-11T14:32:25Z

Dyashkov:

{{Карточка_командного_проекта
|name=Автостатсмен для Dota 2
|company=Yandex Data Factory & Co
|semester=Осень 2016
|course=3
|number_of_students=2-3
|categorize=yes
}}

=== Что это за проект? ===

[[Файл:Dota Statsman Screenshot 3.png|x300px|обрамить|справа|Типичный статсмен]]

Статсмен в Dota 2 — человек, который занимается поиском любопытных статистических фактов и закономерностей в истории матчей Dota 2. Такая информация обычно используется во время трансляции игр, на постматчевой аналитике или же при подготовке команд к конкретным противникам.

При этом ключевыми источниками информации для подготовки являются 2 сайта: Dotabuff и DatDota и статсменам приходится вручную искать по ним необходимую информацию для ответа на интересующие их вопросы или составления статистических отчетов. Для того, чтобы облегчить их труд, данный процесс можно автоматизировать, сделав поиск и извлечение релевантной информации автоматическим.

=== Чему научатся студенты? Что самое интересное в проекте? ===
В рамках данного проекта студенты научатся извлечению данных со страниц веб-сайтов (scraping), использованию API, алгоритмизации выполнения поисковых и аналитических запросов. Проект предполагает создание микросервиса для взаимодействия с Dota 2 API в режиме реального времени и публикации результатов в социальных сетях.

=== Организация работы (Как студенты будут работать в команде?) ===
Для работы над данным проектом потребуется как минимум 2 студента
# специализирующийся на сборе и хранении данных
# специализирующийся на алгоритмизации извлечения и аналитики информации, полученной из данных

=== Компоненеты (Из каких частей состоит проект?) ===
#Создание системы по сбору и хранению данных о профессиональных матчах используя Steam API;
#Создание автоматическая системы сбора статистической информации о героях/игроках с Dotabuff и Datdota;
#Классификация типовых статистических запросов и алгоритмизация их выполнения;
#Создание веб-интерфейса для работы с созданной базой данных;
#Автоматизация работы системы в режиме реального времени на основе данных из текущих матчей Dota 2 Live API.

=== Какие будут использоваться технологии? ===
* Краулинг данных с веб-сайтов: Scrapy, HTML/CSS
* Получение полных данных о матчах и данных в live-режиме (Steam API)
* Хранение данных: , MongoDB, SQL
* Бэкенд: Python, AWS EC2
* Машинное обучение: SciKit-Learn, XGBoost, методы ранжирования
* Telegram API, Twitter API - в зависимости от выбранного способа публикации

=== Какие начальные требования? ===
* 3k+ MMR, лучше — 4k+ MMR
* Страсть к анализу данных и киберспорту

=== Темы вводных занятий ===
* Краулинг данных
* Работа со Steam API
* Способы хранения данных
* Ликбез по машинному обучению

=== Критерии оценки ===
Для получения хорошей оценки необходимо будет запустить автоматического статсмена в виде канала в социальной сети (например, Twitter), опубликовать по результатам проекта статью в релевантном издании.

=== Похожие проекты ===

=== Контактная информация ===
Даниил Яшков (daniil.yashkov@phystech.edu) — YDF, Александр Семенов — [https://anr.hse.ru/ ANR HSE], Петр Ермаков — HeadHunter

Автостатсмен для Dota 2 (командный проект)

2016-10-11T14:28:29Z

Dyashkov: /* Темы вводных занятий */

{{Карточка_командного_проекта
|name=Автостатсмен для Dota 2
|company=Yandex Data Factory & Co
|semester=Осень 2016
|course=3
|number_of_students=2-3
|categorize=yes
}}

=== Что это за проект? ===

[[Файл:Dota Statsman Screenshot 3.png|x300px|обрамить|справа|Типичный статсмен]]

Статсмен в Dota 2 — человек, который занимается поиском любопытных статистических фактов и закономерностей в истории матчей Dota 2. Такая информация обычно используется во время трансляции игр, на постматчевой аналитике или же при подготовке команд к конкретным противникам.

При этом ключевыми источниками информации для подготовки являются 2 сайта: Dotabuff и DatDota и статсменам приходится вручную искать по ним необходимую информацию для ответа на интересующие их вопросы или составления статистических отчетов. Для того, чтобы облегчить их труд, данный процесс можно автоматизировать, сделав поиск и извлечение релевантной информации автоматическим.

=== Чему научатся студенты? Что самое интересное в проекте? ===
В рамках данного проекта студенты научатся извлечению данных со страниц веб-сайтов (scraping), использованию API, алгоритмизации выполнения поисковых и аналитических запросов. Проект предполагает создание микросервиса для взаимодействия с Dota 2 API в режиме реального времени и публикации результатов в социальных сетях.

=== Организация работы (Как студенты будут работать в команде?) ===
Для работы над данным проектом потребуется как минимум 2 студента
# специализирующийся на сборе и хранении данных
# специализирующийся на алгоритмизации извлечения и аналитики информации, полученной из данных

=== Компоненеты (Из каких частей состоит проект?) ===
#Создание системы по сбору и хранению данных о профессиональных матчах с Dotabuff и Datdota;
#Классификация типовых статистических запросов и алгоритмизация их выполнения;
#Создание веб-интерфейса для работы с созданной базой данных;
#Автоматизация работы системы в режиме реального времени на основе данных из текущих матчей Dota 2 Live API.

=== Какие будут использоваться технологии? ===
* Краулинг данных с веб-сайтов: Scrapy, HTML/CSS
* Получение полных данных о матчах и данных в live-режиме (Steam API)
* Хранение данных: , MongoDB, SQL
* Бэкенд: Python, AWS EC2
* Машинное обучение: SciKit-Learn, XGBoost, методы ранжирования
* Telegram API, Twitter API - в зависимости от выбранного способа публикации

=== Какие начальные требования? ===
* 3k+ MMR, лучше — 4k+ MMR
* Страсть к анализу данных и киберспорту

=== Темы вводных занятий ===
* Краулинг данных
* Работа со Steam API
* Способы хранения данных
* Ликбез по машинному обучению

=== Критерии оценки ===
Для получения хорошей оценки необходимо будет запустить автоматического статсмена в виде канала в социальной сети (например, Twitter), опубликовать по результатам проекта статью в релевантном издании.

=== Похожие проекты ===

=== Контактная информация ===
Даниил Яшков (daniil.yashkov@phystech.edu) — YDF, Александр Семенов — [https://anr.hse.ru/ ANR HSE], Петр Ермаков — HeadHunter

Автостатсмен для Dota 2 (командный проект)

2016-10-11T14:26:44Z

Dyashkov: поправлены используемые технологии

{{Карточка_командного_проекта
|name=Автостатсмен для Dota 2
|company=Yandex Data Factory & Co
|semester=Осень 2016
|course=3
|number_of_students=2-3
|categorize=yes
}}

=== Что это за проект? ===

[[Файл:Dota Statsman Screenshot 3.png|x300px|обрамить|справа|Типичный статсмен]]

Статсмен в Dota 2 — человек, который занимается поиском любопытных статистических фактов и закономерностей в истории матчей Dota 2. Такая информация обычно используется во время трансляции игр, на постматчевой аналитике или же при подготовке команд к конкретным противникам.

При этом ключевыми источниками информации для подготовки являются 2 сайта: Dotabuff и DatDota и статсменам приходится вручную искать по ним необходимую информацию для ответа на интересующие их вопросы или составления статистических отчетов. Для того, чтобы облегчить их труд, данный процесс можно автоматизировать, сделав поиск и извлечение релевантной информации автоматическим.

=== Чему научатся студенты? Что самое интересное в проекте? ===
В рамках данного проекта студенты научатся извлечению данных со страниц веб-сайтов (scraping), использованию API, алгоритмизации выполнения поисковых и аналитических запросов. Проект предполагает создание микросервиса для взаимодействия с Dota 2 API в режиме реального времени и публикации результатов в социальных сетях.

=== Организация работы (Как студенты будут работать в команде?) ===
Для работы над данным проектом потребуется как минимум 2 студента
# специализирующийся на сборе и хранении данных
# специализирующийся на алгоритмизации извлечения и аналитики информации, полученной из данных

=== Компоненеты (Из каких частей состоит проект?) ===
#Создание системы по сбору и хранению данных о профессиональных матчах с Dotabuff и Datdota;
#Классификация типовых статистических запросов и алгоритмизация их выполнения;
#Создание веб-интерфейса для работы с созданной базой данных;
#Автоматизация работы системы в режиме реального времени на основе данных из текущих матчей Dota 2 Live API.

=== Какие будут использоваться технологии? ===
* Краулинг данных с веб-сайтов: Scrapy, HTML/CSS
* Получение полных данных о матчах и данных в live-режиме (Steam API)
* Хранение данных: , MongoDB, SQL
* Бэкенд: Python, AWS EC2
* Машинное обучение: SciKit-Learn, XGBoost, методы ранжирования
* Telegram API, Twitter API - в зависимости от выбранного способа публикации

=== Какие начальные требования? ===
* 3k+ MMR, лучше — 4k+ MMR
* Страсть к анализу данных и киберспорту

=== Темы вводных занятий ===
TBD

=== Критерии оценки ===
Для получения хорошей оценки необходимо будет запустить автоматического статсмена в виде канала в социальной сети (например, Twitter), опубликовать по результатам проекта статью в релевантном издании.

=== Похожие проекты ===

=== Контактная информация ===
Даниил Яшков (daniil.yashkov@phystech.edu) — YDF, Александр Семенов — [https://anr.hse.ru/ ANR HSE], Петр Ермаков — HeadHunter