Wiki - Факультет компьютерных наук - Вклад [ru]

Машинное обучение 2/2023 2024

2022-02-18T07:09:57Z

Emilkayumov: /* Практические задания */ Добавлено 9-е задание

== О курсе ==

[[Файл:ML_surfaces.png|280px|borderless|left]]

Курс читается для студентов 3-го курса [https://cs.hse.ru/ami ПМИ ФКН ВШЭ] в 3-4 модулях.

Проводится с 2016 года.

'''Лектор:''' [http://www.hse.ru/staff/esokolov Соколов Евгений Андреевич]

Лекции проходят по пятницам, 11:10 - 12:30, в [https://zoom.us/j/97122303621?pwd=aytscC9BY0lBbUo1ZU1QSm05Vzdodz09 zoom].

=== Полезные ссылки ===

[https://www.hse.ru/edu/courses/339494475 Карточка курса и программа]

[https://github.com/esokolov/ml-course-hse Репозиторий с материалами на GitHub]

Почта для сдачи домашних заданий (на самом деле задания сдаются в AnyTask, но если он не работает, то присылайте на почту): hse.cs.ml+<номер группы>@gmail.com (например, hse.cs.ml+161@gmail.com)

Канал в telegram для объявлений: https://t.me/hse_cs_ml_2

Чат в telegram для обсуждений (предназначение чата до конца не ясно, вопросы может быть правильнее задавать в чатах групп): https://t.me/+NRpKJ09prtRlMTli

Ссылка на курс в Anytask: https://anytask.org/course/905

[https://docs.google.com/spreadsheets/d/1_qMPqgcJZEJaiXZpMbjKM0trw_aGkkulrZG7Lq7kjU8/edit?usp=sharing Таблица с оценками]

Плейлист с записями занятий: https://www.youtube.com/playlist?list=PLEwK9wdS5g0o_HWWtNffNsBPpNmeuSDYV

Оставить отзыв на курс: [https://goo.gl/forms/5CddG0gc75VZvqi52 форма]

'''Вопросы''' по курсу можно задавать на почту курса, а также в телеграм лектору (esokolov@) или семинаристу.
Вопросы по материалам лекций/семинаров и по заданиям лучше всего оформлять в виде [https://github.com/esokolov/ml-course-hse/issues Issue] в [https://github.com/esokolov/ml-course-hse github-репозитории курса].

=== Семинары ===

{| class="wikitable"
|-
! Группа !! Преподаватель !! Учебный ассистент
|-
| 191 (МОП) || [https://www.hse.ru/org/persons/208533329 Шабалин Александр Михайлович] || [https://t.me/ainmukh Мухамбетова Айнур]
|-
| 192 (МОП) || [http://www.hse.ru/staff/esokolov Соколов Евгений Андреевич] || [https://t.me/Birshert Биршерт Леша] [https://t.me/madn_boi Морозов Никита]
|-
| 193 (МОП) || [https://www.hse.ru/org/persons/208522505 Садртдинов Ильдус Рустемович] || [https://t.me/horror_in_black Коган Саша] [https://t.me/sol_arch Андреев Никита]
|-
| Курс по выбору для ПМИ || Каюмов Эмиль Марселевич || [https://t.me/tamogashev_kv Тамогашев Кирилл] [https://t.me/sol_arch Андреев Никита]

|-
| Межампус || [https://www.hse.ru/org/persons/218009880 Ульянкин Филипп] [https://t.me/ppilif @ppilif] || [https://t.me/cherepasska Баранов Миша] [https://t.me/tamogashev_kv Тамогашев Кирилл]
|-
|}

=== Правила выставления оценок ===

В курсе предусмотрено несколько форм контроля знания:
* Самостоятельные работы на семинарах, проверяющие знание основных фактов с лекций
* Практические домашние работы на Python
* Устный коллоквиум
* Письменный экзамен

Итоговая оценка вычисляется на основе оценки за работу в семестре и оценки за экзамен:

Итог = Округление(0.4 * ДЗ + 0.2 * К + 0.1 * ПР + 0.3 * Э)

ПР — средняя оценка за самостоятельные работы на семинарах

ДЗ — средняя оценка за практические домашние работы на Python

К — оценка за коллоквиум

Э — оценка за экзамен

Округление арифметическое.

=== Правила сдачи заданий ===

За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются. Даже при опоздании на одну секунду. Сдавайте заранее.

Два раза студент может сдать домашнее задание после мягкого дедлайна (но до жёсткого) без штрафов. Также разрешается в конце курса написать одну проверочную, пропущенную без уважительной причины.

При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.

При наличии уважительной причины пропущенную проверочную можно написать позднее, а дедлайн по домашнему заданию может быть перенесён. Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.

== Лекции ==

Ко всем конспектам на GitHub есть исходники. Исправления и дополнения всячески приветствуются!

'''Лекция 1''' (14 января). Двойственные представления для линейной регрессии и SVM. Ядра. Теорема Мерсера. Способы построения ядер. Полиномиальные и гауссовы ядра. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-spring/lecture-notes/lecture13-kernels.pdf Конспект]] [[https://youtu.be/EHolYsWUXNE Запись лекции]]

'''Лекция 2''' (21 января). Двойственная задача SVM. Типы объектов в SVM. Kernel trick. Аппроксимации ядер. Метод случайных признаков Фурье. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-spring/lecture-notes/lecture14-kernels.pdf Конспект]] [[https://youtu.be/rK-yypS9Soo Запись лекции]]

== Семинары ==

'''Семинар 1'''. Задачи условной оптимизации и теорема Куна-Таккера. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-spring/seminars/sem13-kkt.pdf Конспект]]

'''Семинар 2'''. Задачи на построение ядер. Задачи на прямую и двойственную формулировки метода опорных векторов. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-spring/seminars/sem14-kernels.pdf Конспект]]

== Теоретические задания ==

[https://github.com/esokolov/ml-course-hse/tree/master/2021-spring/homeworks-theory Теоретические ДЗ] не проверяются, но задачи из них могут войти в проверочные работы на семинарах.

'''Задание 1.''' Ядра и условия ККТ. [https://github.com/esokolov/ml-course-hse/blob/master/2021-spring/homeworks-theory/homework-theory-05-kernels.pdf Условие]

'''Задание 2.''' ЕМ-алгоритм. [https://github.com/esokolov/ml-course-hse/blob/master/2021-spring/homeworks-theory/homework-theory-06-em.pdf Условие]

== Практические задания ==

'''Задание 8.''' Метод опорных векторов и аппроксимация ядер

Мягкий дедлайн: 14.02.2022 23:59.

Жесткий дедлайн: 17.02.2022 23:59.

[[https://github.com/esokolov/ml-course-hse/blob/master/2021-spring/homeworks-practice/homework-practice-08-random-features.ipynb Ноутбук с заданием]]

'''Задание 9.''' EM-алгоритм

Мягкий дедлайн: 10.03.2022 23:59.

Жесткий дедлайн: 13.03.2022 23:59.

[[https://github.com/esokolov/ml-course-hse/blob/master/2021-spring/homeworks-practice/homework-practice-09-em/homework-practice-09-em.ipynb Ноутбук с заданием]] / [[https://contest.yandex.ru/contest/35552 контест]]

== Соревнования ==

===Правила участия и оценивания===
В соревновании по анализу данных вам предлагается по имеющимся данным решить некоторую задачу, оптимизируя указанную метрику, и отправить ответы для заданного тестового множества. Максимальное количество посылок в сутки ограничено (как правило, разрешается сделать 2 посылки), ближе к концу соревнования вам будем необходимо выбрать 2 посылки, которые вы считаете лучшими. Тестовые данные делятся на публичные и приватные в некотором соотношении, на основе которых строятся публичный и приватный лидерборды соответственно, при этом публичный лидерборд доступен в течение всего соревнования, а приватный строится после его окончания для выбранных вами посылок.

В лидербордах каждого из соревнований присутствуют несколько базовых решений (бейзлайнов), каждое из которых соответствует определённой оценке. Например, для получения оценки не ниже 8 баллов необходимо, чтобы ваше решение на '''приватном''' лидерборде оказалось лучше соответствующего бейзлайна. Далее для студента, преодолевшего бейзлайн на N_1 баллов, но не преодолевшего бейзлайн на N_2 балла, итоговая оценка за соревнование рассчитывается по равномерной сетке среди всех таких студентов в зависимости от места в приватном лидерборде среди них; если быть точными, то по следующей формуле:

N_2 - (N_2 - N_1) * i / M,

где M — количество студентов (из всех студентов, изучающих курс), преодолевших бейзлайн на N_1 баллов, но не преодолевших бейзлайн на N_2 балла;

i — место (начиная с 1) студента в приватном лидерборде среди всех таких студентов.

Единственное исключение из формулы — студенты, преодолевшие самый сильный бейзлайн, получают прибавку 1/M к своей оценке.

Чтобы вас не пропустили при проверке решений соревнования, '''необходимо''' использовать следующий формат для имени команды (вкладка Team):

«Имя Фамилия номер_группы»

В течение 3 суток после окончания соревнования в соответствующее задание на anytask необходимо прислать код, воспроизводящий ответы для посылки, фигурирующей в приватном лидерборде. При оформлении кода предполагайте, что данные лежат рядом с ним в папке data, а в результате выполнения кода ответы должны быть записаны в файл solution-N-Username.csv, где N — номер соревнования, Username — ваша фамилия. У нас должна быть возможность запустить код и получить те же ответы, что и в вашей посылке, — в частности, это означает, что:

1. Если вы отправляете файл *.py, мы будем запускать его при помощи команды python *.py в вышеуказанном предположении о местонахождении данных.

2. Если вы отправляете ноутбук *.ipynb, мы последовательно запустим все ячейки ноутбука и будем ожидать в результате его работы формирование файла с ответами.

3. Если вы отправляете код с использованием другого языка программирования, в том же письме направьте нам инструкцию по его запуску с тем, чтобы получить тот же файл с ответами.

В случае отсутствия кода, воспроизводящего результат, в установленный срок студенту выставляется 0 в качестве оценки за соревнование. Студенты, попавшие в топ-5 согласно приватному лидерборду, смогут получить бонусные баллы, если в течение недели после окончания соревнования пришлют на почту курса отчет о получении решения, фигурирующего в приватном лидерборде. Если не оговорено иное, использовать любые внешние данные в соревнованиях '''запрещено'''. Под внешними данными понимаются размеченные данные, где разметка имеет прямое отношение к решаемой задаче. Грубо говоря, сборник текстов с википедии не считается внешними данными.

== Коллоквиум ==

== Экзамен ==

== Полезные материалы ==
===Книги===
* Hastie T., Tibshirani R, Friedman J. The Elements of Statistical Learning (2nd edition). Springer, 2009.
* Bishop C. M. Pattern Recognition and Machine Learning. Springer, 2006.
* Mohri M., Rostamizadeh A., Talwalkar A. Foundations of Machine Learning. MIT Press, 2012.
* Murphy K. Machine Learning: A Probabilistic Perspective. MIT Press, 2012.
* Mohammed J. Zaki, Wagner Meira Jr. Data Mining and Analysis. Fundamental Concepts and Algorithms. Cambridge University Press, 2014.
* Willi Richert, Luis Pedro Coelho. Building Machine Learning Systems with Python. Packt Publishing, 2013.

===Курсы по машинному обучению и анализу данных===
* [http://www.machinelearning.ru/wiki/index.php?title=Машинное_обучение_%28курс_лекций%2C_К.В.Воронцов%29 Курс по машинному обучению К.В. Воронцова]
* [https://yandexdataschool.ru/edu-process/courses/machine-learning Видеозаписи лекций курса Школы Анализа Данных, К.В. Воронцов]
* [https://www.coursera.org/specializations/machine-learning-from-statistics-to-neural-networks Coursera: Машинное обучение от статистики до нейросетей (специализация)]
* [https://www.coursera.org/specializations/machine-learning-data-analysis Coursera: Машинное обучение и анализ данных (специализация)]
* [https://www.coursera.org/learn/introduction-machine-learning Coursera: Введение в машинное обучение, К.В. Воронцов]

== Страницы предыдущих лет ==

[[Машинное_обучение_2/2020_2021 | 2020/2021 учебный год]]

[[Машинное_обучение_2/2019_2020 | 2019/2020 учебный год]]

[[Машинное_обучение_2/2018_2019 | 2018/2019 учебный год]]

[[Машинное_обучение_2/2017_2018 | 2017/2018 учебный год]]

[[Машинное_обучение_2/2016_2017 | 2016/2017 учебный год]]

Машинное обучение 1/2023 2024

2019-11-23T10:54:09Z

Emilkayumov: /* Практические задания */ Опубликовано задание 6

== О курсе ==

[[Файл:ML_surfaces.png|280px|borderless|left]]

Курс читается для студентов 3-го курса [https://cs.hse.ru/ami ПМИ ФКН ВШЭ] в 1-2 модулях.

Проводится с 2016 года.

'''Лектор:''' [http://www.hse.ru/staff/esokolov Соколов Евгений Андреевич]

Лекции проходят по пятницам, 12:10 - 13:30, ауд. R404 (Покровский бульвар, 11).

=== Полезные ссылки ===

[https://www.hse.ru/ba/ami/courses/292689583.html Карточка курса и программа]

[https://github.com/esokolov/ml-course-hse Репозиторий с материалами на GitHub]

[https://www.youtube.com/watch?v=OBG6EUSRC9g&list=PLEqoHzpnmTfDwuwrFHWVHdr1-qJsfqCUX Видеозаписи лекций 18/19 года]

Почта для сдачи домашних заданий (на самом деле задания сдаются в AnyTask, но если он не работает, то присылайте на почту): hse.cs.ml+<номер группы>@gmail.com (например, hse.cs.ml+171@gmail.com)

Канал в telegram для объявлений: https://t.me/joinchat/AAAAAEtiwm9A8i-78LNcKQ

Чат в telegram для обсуждений (предназначение чата до конца не ясно, вопросы может быть правильнее задавать в чатах групп): https://t.me/joinchat/A5rlQBUrWTeXl7eBbnyBcQ

Ссылка на курс в Anytask: https://anytask.org/course/537

[https://docs.google.com/spreadsheets/d/1QIUMUkjzHfRqNIkYHVb4jsi3Pkq7URAQWSW8c9UwE-g/edit?usp=sharing Таблица с оценками]

Оставить отзыв на курс: [https://goo.gl/forms/5CddG0gc75VZvqi52 форма]

'''Вопросы''' по курсу можно задавать на почту курса, а также в телеграм лектору (esokolov@) или семинаристу.
Вопросы по материалам лекций/семинаров и по заданиям лучше всего оформлять в виде [https://github.com/esokolov/ml-course-hse/issues Issue] в [https://github.com/esokolov/ml-course-hse github-репозитории курса].

=== Семинары ===

{| class="wikitable"
|-
! Группа !! Преподаватель !! Учебный ассистент
|-
| 171 (МОП) || [https://www.hse.ru/org/persons/165212870 Зиннурова Эльвира Альбертовна] || [https://t.me/granilace Виктор Куканов]
|-
| 172 (МОП) || [https://www.hse.ru/org/persons/209813459 Каюмов Эмиль Марселевич] || [https://t.me/svdcvt Соня Дымченко]
|-
| 173 (ТИ) || [https://www.hse.ru/org/persons/? Хрушков Павел Вадимович] || [https://t.me/resokolov Роман Соколов]
|-
| 174 (АДИС) || [https://www.hse.ru/org/persons/? Кохтев Вадим Михайлович] || [https://t.me/widepeepoBlanket Евгений Алаев]
|-
| 175 (РС) || [https://www.hse.ru/org/persons/228364473 Волохова Александра Константиновна] || [https://t.me/President153 Ярослав Пудяков]
|-
| 176 (РС) || [https://www.hse.ru/org/persons/192085968 Яшков Даниил Дмитриевич] || [https://t.me/arcstranger Николай Пальчиков]
|-
| Магистратура ФТиАД || [https://www.hse.ru/org/persons/? Рысьмятова Анастасия Александровна] || [https://t.me/oleg_top Олег Дешеулин]
|-
|}

=== Консультации ===

=== Правила выставления оценок ===

В курсе предусмотрено несколько форм контроля знания:
* Самостоятельные работы на семинарах, проверяющие знание основных фактов с лекций
* Практические домашние работы на Python
* Письменная контрольная работа
* Письменный экзамен

Итоговая оценка вычисляется на основе оценки за работу в семестре и оценки за экзамен:

Итог = Округление(0.15 * ПР + 0.4 * ДЗ + 0.15 * КР + 0.3 * Э)

ПР — средняя оценка за самостоятельные работы на семинарах

ДЗ — средняя оценка за практические домашние работы на Python

КР — оценка за контрольную работу

Э — оценка за экзамен

Округление арифметическое.

=== Правила сдачи заданий ===

За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются. Даже при опоздании на одну секунду. Сдавайте заранее.

При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.

При наличии уважительной причины пропущенную проверочную можно написать позднее, а дедлайн по домашнему заданию может быть перенесён. Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.

== Лекции ==

Ко всем конспектам на GitHub есть исходники. Исправления и дополнения всячески приветствуются!

'''Лекция 1''' (6 сентября). Введение в машинное обучение. Основные термины, постановки задач и примеры применения. [[https://github.com/esokolov/ml-course-hse/blob/master/2019-fall/lecture-notes/lecture01-intro.pdf Конспект]]

'''Лекция 2''' (13 сентября). Линейная регрессия. Метрики качества регрессии. Градиентный спуск и способы оценивания градиента. Продвинутые градиентные методы. [[https://github.com/esokolov/ml-course-hse/blob/master/2019-fall/lecture-notes/lecture02-linregr.pdf Конспект]]

'''Лекция 3''' (20 сентября). Переобучение и регуляризация. Разреженные линейные модели. Квантильная регрессия. Подготовка признаков. [[https://github.com/esokolov/ml-course-hse/blob/master/2019-fall/lecture-notes/lecture03-linregr.pdf Конспект]]

'''Лекция 4''' (27 сентября). Линейная классификация. Отступ и верхние оценки на пороговую функцию потерь. Метрики качества классификации. [[https://github.com/esokolov/ml-course-hse/blob/master/2019-fall/lecture-notes/lecture04-linclass.pdf Конспект]]

'''Лекция 5''' (4 октября). Линейная классификация. Логистическая регрессия и оценки вероятности классов. Метод опорных векторов. [[https://github.com/esokolov/ml-course-hse/blob/master/2019-fall/lecture-notes/lecture05-linclass.pdf Конспект]]

'''Лекция 6''' (11 октября). Многоклассовая классификация, сведение к бинарным задачам. Многоклассовая логистическая регрессия. Классификация с пересекающимися классами. Метрики качества многоклассовой классификации. [[https://github.com/esokolov/ml-course-hse/blob/master/2019-fall/lecture-notes/lecture06-linclass.pdf Конспект]]

'''Лекция 7''' (18 октября). Решающие деревья. Жадный алгоритм построения. Выбор лучшего разбиения с помощью критерия информативности. Критерии информативности для регрессии и классификации. Учёт пропусков в деревьях. Решающие деревья и категориальные признаки. [[https://github.com/esokolov/ml-course-hse/blob/master/2019-fall/lecture-notes/lecture07-trees.pdf Конспект]]

'''Лекция 8''' (1 ноября). Бутстрап и бэггинг. Разложение ошибки на смещение и разброс (bias-variance decomposition). Случайный лес. Вычисление расстояний с помощью лесов. [[https://github.com/esokolov/ml-course-hse/blob/master/2019-fall/lecture-notes/lecture08-ensembles.pdf Конспект]]

'''Лекция 9''' (8 ноября). Градиентный бустинг. Регуляризация. Особенности бустинга над деревьями. Взвешивание объектов в градиентном бустинге. [[https://github.com/esokolov/ml-course-hse/blob/master/2019-fall/lecture-notes/lecture09-ensembles.pdf Конспект]]

'''Лекция 10''' (15 ноября). Оптимизация второго порядка в градиентном бустинге. Регуляризация деревьев. XGBoost. Стекинг. [[https://github.com/esokolov/ml-course-hse/blob/master/2019-fall/lecture-notes/lecture10-ensembles.pdf Конспект]]

== Семинары ==

'''Семинар 1.''' Области применения машинного обучения. Инструменты data scientist'а. Pandas и разведочный анализ данных. [[https://github.com/esokolov/ml-course-hse/blob/master/2019-fall/seminars/sem01-intro.ipynb Ноутбук]]

'''Семинар 2.''' Линейная регрессия. Библиотека scikit-learn. Валидация моделей. Работа с категориальными признаками. [[https://github.com/esokolov/ml-course-hse/blob/master/2019-fall/seminars/sem02-sklearn-linreg.ipynb Ноутбук]]

'''Семинар 3.''' Градиент и его свойства. Векторное дифференцирование. Градиентый спуск, его модификации, практические аспекты. [[https://github.com/esokolov/ml-course-hse/blob/master/2019-fall/seminars/sem03-linregr-part1.pdf Конспект]] [[https://github.com/esokolov/ml-course-hse/blob/master/2019-fall/seminars/sem03-linregr-part2.ipynb Ноутбук]]

'''Семинар 4.''' Предобработка данных. [[https://github.com/esokolov/ml-course-hse/blob/master/2019-fall/seminars/sem04-features.pdf Конспект]] [[https://nbviewer.jupyter.org/github/esokolov/ml-course-hse/blob/master/2019-fall/seminars/sem04-features.ipynb Ноутбук]]

'''Семинар 5.''' Метрики качества классификации. AUC-ROC и его прямая оптимизация. [[https://github.com/esokolov/ml-course-hse/blob/master/2019-fall/seminars/sem05-linclass-metrics.pdf Конспект]]

'''Семинар 6.''' Оценивание вероятностей классов. Квантильная регрессия [[https://github.com/esokolov/ml-course-hse/blob/master/2019-fall/seminars/sem06-probs-quantile.pdf Конспект]]

'''Семинар 7.''' Решающие деревья. Критерии информативности. Гиперпараметры в деревьях. [[https://github.com/esokolov/ml-course-hse/blob/master/2019-fall/seminars/sem07-trees.pdf Конспект]] [[https://github.com/esokolov/ml-course-hse/blob/master/2019-fall/seminars/sem07-trees.ipynb Ноутбук]]

'''Семинар 8.''' Разложение ошибки на смещение и разброс. [[https://github.com/esokolov/ml-course-hse/blob/master/2019-fall/seminars/sem08-bvd.pdf Конспект]]

'''Семинар 9.''' Градиентный бустинг. Вывод формул для сдвигов. Сравнение со случайным лесом. Деревья и экстраполяция данных. [[https://github.com/esokolov/ml-course-hse/blob/master/2019-fall/seminars/sem09-gbm-part1.pdf Конспект]] [[https://github.com/esokolov/ml-course-hse/blob/master/2019-fall/seminars/sem09-gbm-part2.ipynb Ноутбук]]

== Практические задания ==

За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются. В течение семестра каждый студент может не более 2 раз сдать задание после жёсткого дедлайна.

'''Задание 1.''' Работа с Pandas и Matplotlib.

Мягкий дедлайн: 15.09.2019 23:59.

Жесткий дедлайн: 17.09.2019 23:59.

[[https://github.com/esokolov/ml-course-hse/blob/master/2019-fall/homeworks-practice/homework-practice-01.ipynb Ноутбук с заданием]]

'''Задание 2.''' Exploratory Data Analysis и линейная регрессия.

Мягкий дедлайн: 01.10.2019 23:59.

Жесткий дедлайн: 04.10.2019 23:59 (за каждый день просрочки снимается 2 балла).

[[https://github.com/esokolov/ml-course-hse/blob/master/2019-fall/homeworks-practice/homework-practice-02.ipynb Ноутбук с заданием]]

'''Задание 3.''' Градиентный спуск своими руками.

Мягкий дедлайн: 15.10.2019 07:59.

Жесткий дедлайн: 17.10.2019 23:59.

'''Задание 4.''' Метод опорных векторов, категориальные признаки, калибровка предсказаний и отбор признаков.

Мягкий дедлайн: 11.11.2019 07:59.

Жесткий дедлайн: 13.11.2019 23:59.

[[https://nbviewer.jupyter.org/github/esokolov/ml-course-hse/blob/master/2019-fall/homeworks-practice/homework-practice-04.ipynb Ноутбук с заданием]]

'''Задание 5.''' Решающие деревья

Мягкий дедлайн: 22.11.2019 1:59

Жесткий дедлайн: 23.11.2019 23:59

[[https://github.com/esokolov/ml-course-hse/tree/master/2019-fall/homeworks-practice/homework-practice-05 Ноутбук и модуль с заданием]]

'''Задание 6.''' Разложение ошибки на смещение и разброс

Мягкий дедлайн: 01.12.2019 8:00

Жесткий дедлайн: 02.12.2019 23:59

[[https://github.com/esokolov/ml-course-hse/tree/master/2019-fall/homeworks-practice/homework-practice-06.ipynb Ноутбук с заданием]]

==Теоретические домашние задания==

Теоретические ДЗ не проверяются, но задачи из них могут войти в проверочные работы на семинарах.

'''Теоретическое домашнее задание 1''': линейная регрессия и векторное дифференцирование [[https://github.com/esokolov/ml-course-hse/blob/master/2019-fall/homeworks-theory/homework-theory-01-linregr.pdf ссылка]]

'''Теоретическое домашнее задание 2''': линейная классификация [[https://github.com/esokolov/ml-course-hse/blob/master/2019-fall/homeworks-theory/homework-theory-02-linclass.pdf ссылка]]

'''Теоретическое домашнее задание 3''': решающие деревья [[https://github.com/esokolov/ml-course-hse/blob/master/2019-fall/homeworks-theory/homework-theory-03-trees.pdf ссылка]]

'''Теоретическое домашнее задание 4''': разложение ошибки на смещение и разброс [[https://github.com/esokolov/ml-course-hse/blob/master/2019-fall/homeworks-theory/homework-theory-04-bvd.pdf ссылка]]

== Соревнования ==

===Правила участия и оценивания===
В соревновании по анализу данных вам предлагается по имеющимся данным решить некоторую задачу, оптимизируя указанную метрику, и отправить ответы для заданного тестового множества. Максимальное количество посылок в сутки ограничено (как правило, разрешается сделать 2 посылки), ближе к концу соревнования вам будем необходимо выбрать 2 посылки, которые вы считаете лучшими. Тестовые данные делятся на публичные и приватные в некотором соотношении, на основе которых строятся публичный и приватный лидерборды соответственно, при этом публичный лидерборд доступен в течение всего соревнования, а приватный строится после его окончания для выбранных вами посылок.

В лидербордах каждого из соревнований присутствуют несколько базовых решений (бейзлайнов), каждое из которых соответствует определённой оценке. Например, для получения оценки не ниже 8 баллов необходимо, чтобы ваше решение на '''приватном''' лидерборде оказалось лучше соответствующего бейзлайна. Далее для студента, преодолевшего бейзлайн на N_1 баллов, но не преодолевшего бейзлайн на N_2 балла, итоговая оценка за соревнование рассчитывается по равномерной сетке среди всех таких студентов в зависимости от места в приватном лидерборде среди них; если быть точными, то по следующей формуле:

N_2 - (N_2 - N_1) * i / M,

где M — количество студентов (из всех студентов, изучающих курс), преодолевших бейзлайн на N_1 баллов, но не преодолевших бейзлайн на N_2 балла;

i — место (начиная с 1) студента в приватном лидерборде среди всех таких студентов.

Единственное исключение из формулы — студенты, преодолевшие самый сильный бейзлайн, получают прибавку 1/M к своей оценке.

Чтобы вас не пропустили при проверке решений соревнования, '''необходимо''' использовать следующий формат для имени команды (вкладка Team):

«Имя Фамилия номер_группы»

В течение 3 суток после окончания соревнования в соответствующее задание на anytask необходимо прислать код, воспроизводящий ответы для посылки, фигурирующей в приватном лидерборде. При оформлении кода предполагайте, что данные лежат рядом с ним в папке data, а в результате выполнения кода ответы должны быть записаны в файл solution-N-Username.csv, где N — номер соревнования, Username — ваша фамилия. У нас должна быть возможность запустить код и получить те же ответы, что и в вашей посылке, — в частности, это означает, что:

1. Если вы отправляете файл *.py, мы будем запускать его при помощи команды python *.py в вышеуказанном предположении о местонахождении данных.

2. Если вы отправляете ноутбук *.ipynb, мы последовательно запустим все ячейки ноутбука и будем ожидать в результате его работы формирование файла с ответами.

3. Если вы отправляете код с использованием другого языка программирования, в том же письме направьте нам инструкцию по его запуску с тем, чтобы получить тот же файл с ответами.

В случае отсутствия кода, воспроизводящего результат, в установленный срок студенту выставляется 0 в качестве оценки за соревнование. Студенты, попавшие в топ-5 согласно приватному лидерборду, смогут получить бонусные баллы, если в течение недели после окончания соревнования пришлют на почту курса отчет о получении решения, фигурирующего в приватном лидерборде. Если не оговорено иное, использовать любые внешние данные в соревнованиях '''запрещено'''.

=== Соревнование 1: Определение категории товара ===

'''Соревнование на бонусные баллы, не входит в основную формулу оценки'''

Дата выдачи: 9.11.2019

Срок окончания соревнования: 11.12.2019 23:59MSK

Срок отправки кода: 14.12.2019 23:59MSK

Бейзлайн на 4 балла

[https://www.kaggle.com/t/78b4150e88c84935b37e550fbb636a4f Ссылка на участие в соревновании]

== Бонусы за соревнования ==

За успешное участие в соревнованиях по анализу данных могут быть выставлены бонусные баллы, которые можно прибавить к оценке за любое практическое или теоретическое домашнее задание, а также за самостоятельную работу. Под успешным участием понимается попадание в топ-10% мест; если соревнование особо сложное и крупное, может рассматриваться и попадание в топ-20% мест. Конкретное число баллов определяется преподавателями и зависит от сложности соревнования и занятого места. За одно соревнование можно получить не более 5 баллов. Для получения оценки необходимо предоставить краткий отчёт о решении задачи.

== Контрольная работа ==

Контрольная работа состоится на лекции 6 декабря (предварительно).

В варианте будут два теоретических вопроса и две задачи (возможно, будут также дополнительные задачи на бонусные баллы, для получения максимальной оценки за контрольную их решать не потребуется). Теоретические вопросы будут затрагивать материалы всех лекций и семинаров по темам до градиентного бустинга включительно. Основные задачи будут затрагивать все темы, которые затрагивались в теоретических домашних заданиях (линейные модели, деревья, разложение ошибки на смещение и разброс).

[https://docs.google.com/document/d/1xSaTtFqXkj1hG0Da7lX8GkGn7kaqAxWGYflLLvKf5z0/edit?usp=sharing Вопросы для подготовки]

== Экзамен ==

== Полезные материалы ==
===Книги===
* Hastie T., Tibshirani R, Friedman J. The Elements of Statistical Learning (2nd edition). Springer, 2009.
* Bishop C. M. Pattern Recognition and Machine Learning. Springer, 2006.
* Mohri M., Rostamizadeh A., Talwalkar A. Foundations of Machine Learning. MIT Press, 2012.
* Murphy K. Machine Learning: A Probabilistic Perspective. MIT Press, 2012.
* Mohammed J. Zaki, Wagner Meira Jr. Data Mining and Analysis. Fundamental Concepts and Algorithms. Cambridge University Press, 2014.
* Willi Richert, Luis Pedro Coelho. Building Machine Learning Systems with Python. Packt Publishing, 2013.

===Курсы по машинному обучению и анализу данных===
* [http://www.machinelearning.ru/wiki/index.php?title=Машинное_обучение_%28курс_лекций%2C_К.В.Воронцов%29 Курс по машинному обучению К.В. Воронцова]
* [https://yandexdataschool.ru/edu-process/courses/machine-learning Видеозаписи лекций курса Школы Анализа Данных, К.В. Воронцов]
* [https://www.coursera.org/specializations/machine-learning-data-analysis Coursera: Машинное обучение и анализ данных (специализация)]
* [https://www.coursera.org/learn/introduction-machine-learning Coursera: Введение в машинное обучение, К.В. Воронцов]

== Страницы предыдущих лет ==

[[Машинное_обучение_1/2018_2019 | 2018/2019 учебный год]]

[[Машинное_обучение_1/2017_2018 | 2017/2018 учебный год]]

[[Машинное_обучение_1/2016_2017 | 2016/2017 учебный год]]

Машинное обучение 1/2023 2024

2019-10-28T09:17:11Z

Emilkayumov: /* Практические задания */ Добавлено задание 4

Машинное обучение 1/2023 2024

2019-09-28T11:16:22Z

Emilkayumov: /* Семинары */ Семинар 4

Машинное обучение 2/2023 2024

2019-05-14T08:20:07Z

Emilkayumov: /* Коллоквиум */

== О курсе ==

[[Файл:ML_surfaces.png|280px|borderless|left]]

Курс читается для студентов 3-го курса [https://cs.hse.ru/ami ПМИ ФКН ВШЭ] в 3-4 модулях.

Проводится с 2016 года.

'''Лектор:''' [http://www.hse.ru/staff/esokolov Соколов Евгений Андреевич]

Лекции проходят по пятницам, 12:10 - 13:30, ауд. 317.

=== Полезные ссылки ===

[https://www.hse.ru/ba/ami/courses/219874286.html Карточка курса и программа]

[https://github.com/esokolov/ml-course-hse Репозиторий с материалами на GitHub]

Почта для сдачи домашних заданий (на самом деле задания сдаются в AnyTask, но если он не работает, то присылайте на почту): hse.cs.ml+<номер группы>@gmail.com (например, hse.cs.ml+161@gmail.com)

Канал в telegram для объявлений: https://t.me/joinchat/AAAAAFhaKwm7kIqKGeAojA

Чат в telegram для обсуждений: https://t.me/joinchat/A5rlQE2eFY0LN0AWcGH3qA

[https://docs.google.com/spreadsheets/d/1u832G7b9aRyayoncaKXr7XPD6WisDr85AYRBKSVCMq0/edit?usp=sharing Таблица с оценками]

Оставить отзыв на курс: [https://goo.gl/forms/5CddG0gc75VZvqi52 форма]

'''Вопросы''' по курсу можно задавать на почту курса, а также в телеграм лектору (esokolov@) или семинаристу.
Вопросы по материалам лекций/семинаров и по заданиям лучше всего оформлять в виде [https://github.com/esokolov/ml-course-hse/issues Issue] в [https://github.com/esokolov/ml-course-hse github-репозитории курса].

=== Семинары ===

{| class="wikitable"
|-
! Группа !! Преподаватель !! Расписание
|-
| 161 (МОП) || [https://www.hse.ru/org/persons/165212870 Зиннурова Эльвира Альбертовна] ||
|-
| 162 (МОП) || [https://www.hse.ru/org/persons/137283751 Атанов Андрей Игоревич] ||
|-
| Курс по выбору || [https://www.hse.ru/org/persons/209813459 Каюмов Эмиль Марселевич] ||
|-
|}

=== Консультации ===

Консультации с преподавателями и учебными ассистентами по курсу проводятся по предварительной договорённости.

Итоговая оценка вычисляется на основе оценки за работу в семестре и оценки за экзамен:

Oитоговая = 0.7 * Oнакопленная + 0.3 * Оэкз

Оценка за работу в семестре вычисляется по формуле

Oнакопленная = 0.2 * Oсамостоятельные + 0.6 * Опрактические дз + 0.2 * Околлоквиум

Оценка за самостоятельную работу вычисляется как среднее по всем самостоятельным, оценка за домашнюю работу — как среднее по всем практическим заданиям и соревнованиям.

Накопленная, экзаменационная и итоговая оценки округляются арифметически.

=== Правила сдачи заданий ===

За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются.

При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.

При наличии уважительной причины пропущенную проверочную можно написать позднее, а дедлайн по домашнему заданию может быть перенесён (при этом получить дополнительные баллы за призовые места на конкурсе можно только при участии в общий срок). Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.

== Лекции ==

'''Лекция 13''' (18 января). Двойственные представления для линейной регрессии и SVM. Ядра. Теорема Мерсера. Способы построения ядер. Полиномиальные и гауссовы ядра. [[https://github.com/esokolov/ml-course-hse/blob/master/2018-spring/lecture-notes/lecture13-kernels.pdf Конспект]]

'''Лекция 14''' (1 февраля). Аппроксимация ядер, метод случайных признаков Фурье. Ядра для строк, all-subsequences kernel. Ядровой метод главных компонент. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-spring/lecture-notes/lecture14-kernels.pdf Конспект]]

'''Лекция 15''' (8 февраля). Смеси распределений. Модели со скрытыми переменными. KL-дивергения. EM-алгоритм в общем виде, его сходимость. [[https://github.com/esokolov/ml-course-hse/blob/master/2018-spring/lecture-notes/lecture15-em.pdf Конспект]]

'''Лекция 16''' (15 февраля). Работа с несбалансированными выборками. Одноклассовые методы и обнаружение аномалий: статистический и метрический подходы. Одноклассовый SVM. Isolation forest. [[https://github.com/esokolov/ml-course-hse/blob/master/2018-spring/lecture-notes/lecture16-anomaly.pdf Конспект]]

'''Лекция 17''' (1 марта). Обучение без учителя. DBSCAN. Спектральная кластеризация. Supervised-метрики кластеризации.

'''Лекция 18''' (15 марта). Частичное обучение. Self-training. Генеративные модели. Semi-supervised SVM. Частичное обучение и графовые методы.

'''Лекция 19''' (22 марта). Рекомендательные системы. Коллаборативные модели: memory-based, матричные разложения, факторизационные машины. Контентные модели. Метрики качества. Архитектура рекомендательных систем. [[https://github.com/esokolov/ml-course-hse/blob/master/2018-spring/lecture-notes/lecture19-recommender.pdf Конспект]]

== Семинары ==

'''Семинар 14'''. Решение задач условной оптимизации. Условия Куна-Таккера. Двойственная задача SVM. [[https://github.com/esokolov/ml-course-hse/blob/master/2018-spring/seminars/sem14-svm.pdf Конспект]]

'''Семинар 15'''. Решение задач на ядра. [[https://github.com/esokolov/ml-course-hse/blob/master/2018-spring/seminars/sem15-kernels.pdf Конспект]]

'''Семинар 16'''. EM-алгоритм. [[https://github.com/esokolov/ml-course-hse/blob/master/2018-spring/seminars/sem16-em.pdf Конспект]]

'''Семинар 17'''. Оценки максимального правдоподобия на параметры многомерного нормального распределения. Байесовские классификаторы. [[https://github.com/esokolov/ml-course-hse/blob/master/2018-spring/seminars/sem17-bayes.pdf Конспект]]

'''Семинар 18'''. Спектральная кластеризация. [[https://github.com/esokolov/ml-course-hse/blob/master/2018-spring/seminars/sem18-unsupervised.pdf Конспект]]

'''Семинар 19'''. Multi-label классификация, focal loss. [[https://github.com/esokolov/ml-course-hse/blob/master/2018-spring/seminars/sem19-multilabel.pdf Конспект]]

'''Семинар 20'''. Вывод ALS и HALS для LFM. Факторизационные машины. [[https://github.com/esokolov/ml-course-hse/blob/master/2018-spring/seminars/sem20-recommendations.pdf Конспект]]

'''Семинар 21'''. Метод k ближайших соседей. Способы задания расстояния на различных типах признаков. [[https://github.com/esokolov/ml-course-hse/blob/master/2018-spring/seminars/sem21-knn.pdf Конспект]]

'''Семинар 22'''. Тематическое моделирование. [[https://github.com/esokolov/ml-course-hse/blob/master/2018-spring/seminars/sem22-tm.pdf Конспект]]

== Теоретические задания ==

'''Теоретическое домашнее задание 1''': ядровые методы [[https://github.com/esokolov/ml-course-hse/blob/master/2018-spring/homeworks-theory/homework-theory-05-kernels.pdf ссылка]]

'''Теоретическое домашнее задание 2''': обучение без учителя [[https://github.com/esokolov/ml-course-hse/blob/master/2018-spring/homeworks-theory/homework-theory-06-unsupervised.pdf ссылка]]

== Практические задания ==

За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются. В течение семестра каждый студент может не более 2 раз сдать задание после жёсткого дедлайна.

'''Задание 8.''' Кластеризация.

Мягкий дедлайн: 24.03.2019 05:59 MSK

Жесткий дедлайн: 28.03.2019 05:59 MSK

[https://github.com/esokolov/ml-course-hse/blob/master/2018-spring/homeworks-practice/homework-practice-08.ipynb Условие]

'''Задание 9.''' EM-алгоритм.

Мягкий дедлайн: 14.04.2019 07:59 MSK

Жесткий дедлайн: 16.04.2019 23:59 MSK

[https://github.com/esokolov/ml-course-hse/blob/master/2018-spring/homeworks-practice/homework-practice-09/homework-practice-09.ipynb Условие]

'''Задание 10.''' Тематическое моделирование.

Мягкий дедлайн: 12.05.2019 08:00 MSK

Жесткий дедлайн: 14.05.2019 23:59 MSK

[https://github.com/esokolov/ml-course-hse/blob/master/2018-spring/homeworks-practice/homework-practice-10/homework-practice-10.ipynb Условие]

== Соревнования ==

===Правила участия и оценивания===
В соревновании по анализу данных вам предлагается по имеющимся данным решить некоторую задачу, оптимизируя указанную метрику, и отправить ответы для заданного тестового множества. Максимальное количество посылок в сутки ограничено (как правило, разрешается сделать 2 посылки), ближе к концу соревнования вам будем необходимо выбрать 2 посылки, которые вы считаете лучшими. Тестовые данные делятся на публичные и приватные в некотором соотношении, на основе которых строятся публичный и приватный лидерборды соответственно, при этом публичный лидерборд доступен в течение всего соревнования, а приватный строится после его окончания для выбранных вами посылок.

В лидербордах каждого из соревнований присутствуют несколько базовых решений (бейзлайнов), каждое из которых соответствует определённой оценке. Например, для получения оценки не ниже 8 баллов необходимо, чтобы ваше решение на '''приватном''' лидерборде оказалось лучше соответствующего бейзлайна. Далее для студента, преодолевшего бейзлайн на N_1 баллов, но не преодолевшего бейзлайн на N_2 балла, итоговая оценка за соревнование рассчитывается по равномерной сетке среди всех таких студентов в зависимости от места в приватном лидерборде среди них; если быть точными, то по следующей формуле:

N_2 - (N_2 - N_1) * i / M,

где M — количество студентов (из всех студентов, изучающих курс), преодолевших бейзлайн на N_1 баллов, но не преодолевших бейзлайн на N_2 балла;

i — место (начиная с 1) студента в приватном лидерборде среди всех таких студентов.

Единственное исключение из формулы — студенты, преодолевшие самый сильный бейзлайн, получают прибавку 1/M к своей оценке.

Чтобы вас не пропустили при проверке решений соревнования, '''необходимо''' использовать следующий формат для имени команды (вкладка Team):

«Имя Фамилия номер_группы»

В течение 3 суток после окончания соревнования в соответствующее задание на anytask необходимо прислать код, воспроизводящий ответы для посылки, фигурирующей в приватном лидерборде. При оформлении кода предполагайте, что данные лежат рядом с ним в папке data, а в результате выполнения кода ответы должны быть записаны в файл solution-N-Username.csv, где N — номер соревнования, Username — ваша фамилия. У нас должна быть возможность запустить код и получить те же ответы, что и в вашей посылке, — в частности, это означает, что:

1. Если вы отправляете файл *.py, мы будем запускать его при помощи команды python *.py в вышеуказанном предположении о местонахождении данных.

2. Если вы отправляете ноутбук *.ipynb, мы последовательно запустим все ячейки ноутбука и будем ожидать в результате его работы формирование файла с ответами.

3. Если вы отправляете код с использованием другого языка программирования, в том же письме направьте нам инструкцию по его запуску с тем, чтобы получить тот же файл с ответами.

В случае отсутствия кода, воспроизводящего результат, в установленный срок студенту выставляется 0 в качестве оценки за соревнование. Студенты, попавшие в топ-5 согласно приватному лидерборду, смогут получить бонусные баллы, если в течение недели после окончания соревнования пришлют на почту курса отчет о получении решения, фигурирующего в приватном лидерборде. Если не оговорено иное, использовать любые внешние данные в соревнованиях '''запрещено'''.

=== Соревнование 4: Рекомендательная система ===

Дата выдачи: 24.04.2019

Срок окончания соревнования: 18.05.2019 23:59MSK

Срок отправки кода: 21.05.2019 23:59MSK

[https://www.kaggle.com/t/f2aa63ee305d45219df1ca48f242263c Ссылка на участие в соревновании]

== Коллоквиум ==

Коллоквиум пройдёт 18 мая.

* [https://docs.google.com/document/d/1pSRySGMbE-oTr1HAOCKeAr6OdutPV2huCEC5fBct74Y/edit?usp=sharing Вопросы] для подготовки
* [https://docs.google.com/document/d/1iJ_Q5hBiKpPd3MQ3OhBA6SzyIaTiLuuOKphjAi_fIlU/edit?usp=sharing Теоретический минимум]

Схема опроса на коллоквиуме:
# Разрешается принести с собой один лист А4, где от руки написано что угодно. Можно будет пользоваться этим листом в любом момент, кроме опроса по теоретическому минимуму.
# В начале студенту задаётся три вопроса из теоретического минимума. Отсутствие полного ответа на хотя бы один из них сразу же гарантирует нулевую оценку за коллоквиум. Если на все вопросы ответы полные и правильные, то студент получает 2 балла. Если при дальнейшем опросе студент демонстрирует ненулевые знания, то он получает ещё 2 балла за теоретический минимум.
# Далее студенту даётся вопрос из списка вопросов (первая ссылка выше). Ответ на него оценивается максимум в 4 балла.
# Далее студенту даётся ещё один вопрос из списка или задача. Ответ оценивается максимум в 4 балла.
# Все баллы суммируются, больше 10 баллов получить нельзя. Избыток баллов уходит в бонусы.

== Экзамен ==

== Полезные материалы ==
===Книги===
* Hastie T., Tibshirani R, Friedman J. The Elements of Statistical Learning (2nd edition). Springer, 2009.
* Bishop C. M. Pattern Recognition and Machine Learning. Springer, 2006.
* Mohri M., Rostamizadeh A., Talwalkar A. Foundations of Machine Learning. MIT Press, 2012.
* Murphy K. Machine Learning: A Probabilistic Perspective. MIT Press, 2012.
* Mohammed J. Zaki, Wagner Meira Jr. Data Mining and Analysis. Fundamental Concepts and Algorithms. Cambridge University Press, 2014.
* Willi Richert, Luis Pedro Coelho. Building Machine Learning Systems with Python. Packt Publishing, 2013.

===Курсы по машинному обучению и анализу данных===
* [http://www.machinelearning.ru/wiki/index.php?title=Машинное_обучение_%28курс_лекций%2C_К.В.Воронцов%29 Курс по машинному обучению К.В. Воронцова]
* [https://yandexdataschool.ru/edu-process/courses/machine-learning Видеозаписи лекций курса Школы Анализа Данных, К.В. Воронцов]
* [https://www.coursera.org/specializations/machine-learning-data-analysis Coursera: Машинное обучение и анализ данных (специализация)]
* [https://www.coursera.org/learn/introduction-machine-learning Coursera: Введение в машинное обучение, К.В. Воронцов]

== Страницы предыдущих лет ==

[[Машинное_обучение_2/2017_2018 | 2017/2018 учебный год]]

[[Машинное_обучение_2/2016_2017 | 2016/2017 учебный год]]

Машинное обучение 2/2023 2024

2019-05-14T08:18:45Z

Emilkayumov: /* Коллоквиум */

== О курсе ==

[[Файл:ML_surfaces.png|280px|borderless|left]]

Курс читается для студентов 3-го курса [https://cs.hse.ru/ami ПМИ ФКН ВШЭ] в 3-4 модулях.

Проводится с 2016 года.

'''Лектор:''' [http://www.hse.ru/staff/esokolov Соколов Евгений Андреевич]

Лекции проходят по пятницам, 12:10 - 13:30, ауд. 317.

=== Полезные ссылки ===

[https://www.hse.ru/ba/ami/courses/219874286.html Карточка курса и программа]

[https://github.com/esokolov/ml-course-hse Репозиторий с материалами на GitHub]

Почта для сдачи домашних заданий (на самом деле задания сдаются в AnyTask, но если он не работает, то присылайте на почту): hse.cs.ml+<номер группы>@gmail.com (например, hse.cs.ml+161@gmail.com)

Канал в telegram для объявлений: https://t.me/joinchat/AAAAAFhaKwm7kIqKGeAojA

Чат в telegram для обсуждений: https://t.me/joinchat/A5rlQE2eFY0LN0AWcGH3qA

[https://docs.google.com/spreadsheets/d/1u832G7b9aRyayoncaKXr7XPD6WisDr85AYRBKSVCMq0/edit?usp=sharing Таблица с оценками]

Оставить отзыв на курс: [https://goo.gl/forms/5CddG0gc75VZvqi52 форма]

'''Вопросы''' по курсу можно задавать на почту курса, а также в телеграм лектору (esokolov@) или семинаристу.
Вопросы по материалам лекций/семинаров и по заданиям лучше всего оформлять в виде [https://github.com/esokolov/ml-course-hse/issues Issue] в [https://github.com/esokolov/ml-course-hse github-репозитории курса].

=== Семинары ===

{| class="wikitable"
|-
! Группа !! Преподаватель !! Расписание
|-
| 161 (МОП) || [https://www.hse.ru/org/persons/165212870 Зиннурова Эльвира Альбертовна] ||
|-
| 162 (МОП) || [https://www.hse.ru/org/persons/137283751 Атанов Андрей Игоревич] ||
|-
| Курс по выбору || [https://www.hse.ru/org/persons/209813459 Каюмов Эмиль Марселевич] ||
|-
|}

=== Консультации ===

Консультации с преподавателями и учебными ассистентами по курсу проводятся по предварительной договорённости.

Итоговая оценка вычисляется на основе оценки за работу в семестре и оценки за экзамен:

Oитоговая = 0.7 * Oнакопленная + 0.3 * Оэкз

Оценка за работу в семестре вычисляется по формуле

Oнакопленная = 0.2 * Oсамостоятельные + 0.6 * Опрактические дз + 0.2 * Околлоквиум

Оценка за самостоятельную работу вычисляется как среднее по всем самостоятельным, оценка за домашнюю работу — как среднее по всем практическим заданиям и соревнованиям.

Накопленная, экзаменационная и итоговая оценки округляются арифметически.

=== Правила сдачи заданий ===

За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются.

При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.

При наличии уважительной причины пропущенную проверочную можно написать позднее, а дедлайн по домашнему заданию может быть перенесён (при этом получить дополнительные баллы за призовые места на конкурсе можно только при участии в общий срок). Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.

== Лекции ==

'''Лекция 13''' (18 января). Двойственные представления для линейной регрессии и SVM. Ядра. Теорема Мерсера. Способы построения ядер. Полиномиальные и гауссовы ядра. [[https://github.com/esokolov/ml-course-hse/blob/master/2018-spring/lecture-notes/lecture13-kernels.pdf Конспект]]

'''Лекция 14''' (1 февраля). Аппроксимация ядер, метод случайных признаков Фурье. Ядра для строк, all-subsequences kernel. Ядровой метод главных компонент. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-spring/lecture-notes/lecture14-kernels.pdf Конспект]]

'''Лекция 15''' (8 февраля). Смеси распределений. Модели со скрытыми переменными. KL-дивергения. EM-алгоритм в общем виде, его сходимость. [[https://github.com/esokolov/ml-course-hse/blob/master/2018-spring/lecture-notes/lecture15-em.pdf Конспект]]

'''Лекция 16''' (15 февраля). Работа с несбалансированными выборками. Одноклассовые методы и обнаружение аномалий: статистический и метрический подходы. Одноклассовый SVM. Isolation forest. [[https://github.com/esokolov/ml-course-hse/blob/master/2018-spring/lecture-notes/lecture16-anomaly.pdf Конспект]]

'''Лекция 17''' (1 марта). Обучение без учителя. DBSCAN. Спектральная кластеризация. Supervised-метрики кластеризации.

'''Лекция 18''' (15 марта). Частичное обучение. Self-training. Генеративные модели. Semi-supervised SVM. Частичное обучение и графовые методы.

'''Лекция 19''' (22 марта). Рекомендательные системы. Коллаборативные модели: memory-based, матричные разложения, факторизационные машины. Контентные модели. Метрики качества. Архитектура рекомендательных систем. [[https://github.com/esokolov/ml-course-hse/blob/master/2018-spring/lecture-notes/lecture19-recommender.pdf Конспект]]

== Семинары ==

'''Семинар 14'''. Решение задач условной оптимизации. Условия Куна-Таккера. Двойственная задача SVM. [[https://github.com/esokolov/ml-course-hse/blob/master/2018-spring/seminars/sem14-svm.pdf Конспект]]

'''Семинар 15'''. Решение задач на ядра. [[https://github.com/esokolov/ml-course-hse/blob/master/2018-spring/seminars/sem15-kernels.pdf Конспект]]

'''Семинар 16'''. EM-алгоритм. [[https://github.com/esokolov/ml-course-hse/blob/master/2018-spring/seminars/sem16-em.pdf Конспект]]

'''Семинар 17'''. Оценки максимального правдоподобия на параметры многомерного нормального распределения. Байесовские классификаторы. [[https://github.com/esokolov/ml-course-hse/blob/master/2018-spring/seminars/sem17-bayes.pdf Конспект]]

'''Семинар 18'''. Спектральная кластеризация. [[https://github.com/esokolov/ml-course-hse/blob/master/2018-spring/seminars/sem18-unsupervised.pdf Конспект]]

'''Семинар 19'''. Multi-label классификация, focal loss. [[https://github.com/esokolov/ml-course-hse/blob/master/2018-spring/seminars/sem19-multilabel.pdf Конспект]]

'''Семинар 20'''. Вывод ALS и HALS для LFM. Факторизационные машины. [[https://github.com/esokolov/ml-course-hse/blob/master/2018-spring/seminars/sem20-recommendations.pdf Конспект]]

'''Семинар 21'''. Метод k ближайших соседей. Способы задания расстояния на различных типах признаков. [[https://github.com/esokolov/ml-course-hse/blob/master/2018-spring/seminars/sem21-knn.pdf Конспект]]

'''Семинар 22'''. Тематическое моделирование. [[https://github.com/esokolov/ml-course-hse/blob/master/2018-spring/seminars/sem22-tm.pdf Конспект]]

== Теоретические задания ==

'''Теоретическое домашнее задание 1''': ядровые методы [[https://github.com/esokolov/ml-course-hse/blob/master/2018-spring/homeworks-theory/homework-theory-05-kernels.pdf ссылка]]

'''Теоретическое домашнее задание 2''': обучение без учителя [[https://github.com/esokolov/ml-course-hse/blob/master/2018-spring/homeworks-theory/homework-theory-06-unsupervised.pdf ссылка]]

== Практические задания ==

За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются. В течение семестра каждый студент может не более 2 раз сдать задание после жёсткого дедлайна.

'''Задание 8.''' Кластеризация.

Мягкий дедлайн: 24.03.2019 05:59 MSK

Жесткий дедлайн: 28.03.2019 05:59 MSK

[https://github.com/esokolov/ml-course-hse/blob/master/2018-spring/homeworks-practice/homework-practice-08.ipynb Условие]

'''Задание 9.''' EM-алгоритм.

Мягкий дедлайн: 14.04.2019 07:59 MSK

Жесткий дедлайн: 16.04.2019 23:59 MSK

[https://github.com/esokolov/ml-course-hse/blob/master/2018-spring/homeworks-practice/homework-practice-09/homework-practice-09.ipynb Условие]

'''Задание 10.''' Тематическое моделирование.

Мягкий дедлайн: 12.05.2019 08:00 MSK

Жесткий дедлайн: 14.05.2019 23:59 MSK

[https://github.com/esokolov/ml-course-hse/blob/master/2018-spring/homeworks-practice/homework-practice-10/homework-practice-10.ipynb Условие]

== Соревнования ==

===Правила участия и оценивания===
В соревновании по анализу данных вам предлагается по имеющимся данным решить некоторую задачу, оптимизируя указанную метрику, и отправить ответы для заданного тестового множества. Максимальное количество посылок в сутки ограничено (как правило, разрешается сделать 2 посылки), ближе к концу соревнования вам будем необходимо выбрать 2 посылки, которые вы считаете лучшими. Тестовые данные делятся на публичные и приватные в некотором соотношении, на основе которых строятся публичный и приватный лидерборды соответственно, при этом публичный лидерборд доступен в течение всего соревнования, а приватный строится после его окончания для выбранных вами посылок.

В лидербордах каждого из соревнований присутствуют несколько базовых решений (бейзлайнов), каждое из которых соответствует определённой оценке. Например, для получения оценки не ниже 8 баллов необходимо, чтобы ваше решение на '''приватном''' лидерборде оказалось лучше соответствующего бейзлайна. Далее для студента, преодолевшего бейзлайн на N_1 баллов, но не преодолевшего бейзлайн на N_2 балла, итоговая оценка за соревнование рассчитывается по равномерной сетке среди всех таких студентов в зависимости от места в приватном лидерборде среди них; если быть точными, то по следующей формуле:

N_2 - (N_2 - N_1) * i / M,

где M — количество студентов (из всех студентов, изучающих курс), преодолевших бейзлайн на N_1 баллов, но не преодолевших бейзлайн на N_2 балла;

i — место (начиная с 1) студента в приватном лидерборде среди всех таких студентов.

Единственное исключение из формулы — студенты, преодолевшие самый сильный бейзлайн, получают прибавку 1/M к своей оценке.

Чтобы вас не пропустили при проверке решений соревнования, '''необходимо''' использовать следующий формат для имени команды (вкладка Team):

«Имя Фамилия номер_группы»

В течение 3 суток после окончания соревнования в соответствующее задание на anytask необходимо прислать код, воспроизводящий ответы для посылки, фигурирующей в приватном лидерборде. При оформлении кода предполагайте, что данные лежат рядом с ним в папке data, а в результате выполнения кода ответы должны быть записаны в файл solution-N-Username.csv, где N — номер соревнования, Username — ваша фамилия. У нас должна быть возможность запустить код и получить те же ответы, что и в вашей посылке, — в частности, это означает, что:

1. Если вы отправляете файл *.py, мы будем запускать его при помощи команды python *.py в вышеуказанном предположении о местонахождении данных.

2. Если вы отправляете ноутбук *.ipynb, мы последовательно запустим все ячейки ноутбука и будем ожидать в результате его работы формирование файла с ответами.

3. Если вы отправляете код с использованием другого языка программирования, в том же письме направьте нам инструкцию по его запуску с тем, чтобы получить тот же файл с ответами.

В случае отсутствия кода, воспроизводящего результат, в установленный срок студенту выставляется 0 в качестве оценки за соревнование. Студенты, попавшие в топ-5 согласно приватному лидерборду, смогут получить бонусные баллы, если в течение недели после окончания соревнования пришлют на почту курса отчет о получении решения, фигурирующего в приватном лидерборде. Если не оговорено иное, использовать любые внешние данные в соревнованиях '''запрещено'''.

=== Соревнование 4: Рекомендательная система ===

Дата выдачи: 24.04.2019

Срок окончания соревнования: 18.05.2019 23:59MSK

Срок отправки кода: 21.05.2019 23:59MSK

[https://www.kaggle.com/t/f2aa63ee305d45219df1ca48f242263c Ссылка на участие в соревновании]

== Коллоквиум ==

Коллоквиум пройдёт 18 мая.

Вопросы для подготовки: https://docs.google.com/document/d/1pSRySGMbE-oTr1HAOCKeAr6OdutPV2huCEC5fBct74Y/edit?usp=sharing

Теоретический минимум: https://docs.google.com/document/d/1iJ_Q5hBiKpPd3MQ3OhBA6SzyIaTiLuuOKphjAi_fIlU/edit?usp=sharing

Схема опроса на коллоквиуме:
# Разрешается принести с собой один лист А4, где от руки написано что угодно. Можно будет пользоваться этим листом в любом момент, кроме опроса по теоретическому минимуму.
# В начале студенту задаётся три вопроса из теоретического минимума. Отсутствие полного ответа на хотя бы один из них сразу же гарантирует нулевую оценку за коллоквиум. Если на все вопросы ответы полные и правильные, то студент получает 2 балла. Если при дальнейшем опросе студент демонстрирует ненулевые знания, то он получает ещё 2 балла за теоретический минимум.
# Далее студенту даётся вопрос из списка вопросов (первая ссылка выше). Ответ на него оценивается максимум в 4 балла.
# Далее студенту даётся ещё один вопрос из списка или задача. Ответ оценивается максимум в 4 балла.
# Все баллы суммируются, больше 10 баллов получить нельзя. Избыток баллов уходит в бонусы.

== Экзамен ==

== Полезные материалы ==
===Книги===
* Hastie T., Tibshirani R, Friedman J. The Elements of Statistical Learning (2nd edition). Springer, 2009.
* Bishop C. M. Pattern Recognition and Machine Learning. Springer, 2006.
* Mohri M., Rostamizadeh A., Talwalkar A. Foundations of Machine Learning. MIT Press, 2012.
* Murphy K. Machine Learning: A Probabilistic Perspective. MIT Press, 2012.
* Mohammed J. Zaki, Wagner Meira Jr. Data Mining and Analysis. Fundamental Concepts and Algorithms. Cambridge University Press, 2014.
* Willi Richert, Luis Pedro Coelho. Building Machine Learning Systems with Python. Packt Publishing, 2013.

===Курсы по машинному обучению и анализу данных===
* [http://www.machinelearning.ru/wiki/index.php?title=Машинное_обучение_%28курс_лекций%2C_К.В.Воронцов%29 Курс по машинному обучению К.В. Воронцова]
* [https://yandexdataschool.ru/edu-process/courses/machine-learning Видеозаписи лекций курса Школы Анализа Данных, К.В. Воронцов]
* [https://www.coursera.org/specializations/machine-learning-data-analysis Coursera: Машинное обучение и анализ данных (специализация)]
* [https://www.coursera.org/learn/introduction-machine-learning Coursera: Введение в машинное обучение, К.В. Воронцов]

== Страницы предыдущих лет ==

[[Машинное_обучение_2/2017_2018 | 2017/2018 учебный год]]

[[Машинное_обучение_2/2016_2017 | 2016/2017 учебный год]]

Машинное обучение 2/2023 2024

2019-05-10T19:00:18Z

Emilkayumov: Добавлен семинар по тематическому моделированию

== О курсе ==

[[Файл:ML_surfaces.png|280px|borderless|left]]

Курс читается для студентов 3-го курса [https://cs.hse.ru/ami ПМИ ФКН ВШЭ] в 3-4 модулях.

Проводится с 2016 года.

'''Лектор:''' [http://www.hse.ru/staff/esokolov Соколов Евгений Андреевич]

Лекции проходят по пятницам, 12:10 - 13:30, ауд. 317.

=== Полезные ссылки ===

[https://www.hse.ru/ba/ami/courses/219874286.html Карточка курса и программа]

[https://github.com/esokolov/ml-course-hse Репозиторий с материалами на GitHub]

Почта для сдачи домашних заданий (на самом деле задания сдаются в AnyTask, но если он не работает, то присылайте на почту): hse.cs.ml+<номер группы>@gmail.com (например, hse.cs.ml+161@gmail.com)

Канал в telegram для объявлений: https://t.me/joinchat/AAAAAFhaKwm7kIqKGeAojA

Чат в telegram для обсуждений: https://t.me/joinchat/A5rlQE2eFY0LN0AWcGH3qA

[https://docs.google.com/spreadsheets/d/1u832G7b9aRyayoncaKXr7XPD6WisDr85AYRBKSVCMq0/edit?usp=sharing Таблица с оценками]

Оставить отзыв на курс: [https://goo.gl/forms/5CddG0gc75VZvqi52 форма]

'''Вопросы''' по курсу можно задавать на почту курса, а также в телеграм лектору (esokolov@) или семинаристу.
Вопросы по материалам лекций/семинаров и по заданиям лучше всего оформлять в виде [https://github.com/esokolov/ml-course-hse/issues Issue] в [https://github.com/esokolov/ml-course-hse github-репозитории курса].

=== Семинары ===

{| class="wikitable"
|-
! Группа !! Преподаватель !! Расписание
|-
| 161 (МОП) || [https://www.hse.ru/org/persons/165212870 Зиннурова Эльвира Альбертовна] ||
|-
| 162 (МОП) || [https://www.hse.ru/org/persons/137283751 Атанов Андрей Игоревич] ||
|-
| Курс по выбору || [https://www.hse.ru/org/persons/209813459 Каюмов Эмиль Марселевич] ||
|-
|}

=== Консультации ===

Консультации с преподавателями и учебными ассистентами по курсу проводятся по предварительной договорённости.

Итоговая оценка вычисляется на основе оценки за работу в семестре и оценки за экзамен:

Oитоговая = 0.7 * Oнакопленная + 0.3 * Оэкз

Оценка за работу в семестре вычисляется по формуле

Oнакопленная = 0.2 * Oсамостоятельные + 0.6 * Опрактические дз + 0.2 * Околлоквиум

Оценка за самостоятельную работу вычисляется как среднее по всем самостоятельным, оценка за домашнюю работу — как среднее по всем практическим заданиям и соревнованиям.

Накопленная, экзаменационная и итоговая оценки округляются арифметически.

=== Правила сдачи заданий ===

За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются.

При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.

При наличии уважительной причины пропущенную проверочную можно написать позднее, а дедлайн по домашнему заданию может быть перенесён (при этом получить дополнительные баллы за призовые места на конкурсе можно только при участии в общий срок). Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.

== Лекции ==

'''Лекция 13''' (18 января). Двойственные представления для линейной регрессии и SVM. Ядра. Теорема Мерсера. Способы построения ядер. Полиномиальные и гауссовы ядра. [[https://github.com/esokolov/ml-course-hse/blob/master/2018-spring/lecture-notes/lecture13-kernels.pdf Конспект]]

'''Лекция 14''' (1 февраля). Аппроксимация ядер, метод случайных признаков Фурье. Ядра для строк, all-subsequences kernel. Ядровой метод главных компонент. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-spring/lecture-notes/lecture14-kernels.pdf Конспект]]

'''Лекция 15''' (8 февраля). Смеси распределений. Модели со скрытыми переменными. KL-дивергения. EM-алгоритм в общем виде, его сходимость. [[https://github.com/esokolov/ml-course-hse/blob/master/2018-spring/lecture-notes/lecture15-em.pdf Конспект]]

'''Лекция 16''' (15 февраля). Работа с несбалансированными выборками. Одноклассовые методы и обнаружение аномалий: статистический и метрический подходы. Одноклассовый SVM. Isolation forest. [[https://github.com/esokolov/ml-course-hse/blob/master/2018-spring/lecture-notes/lecture16-anomaly.pdf Конспект]]

'''Лекция 17''' (1 марта). Обучение без учителя. DBSCAN. Спектральная кластеризация. Supervised-метрики кластеризации.

'''Лекция 18''' (15 марта). Частичное обучение. Self-training. Генеративные модели. Semi-supervised SVM. Частичное обучение и графовые методы.

'''Лекция 19''' (22 марта). Рекомендательные системы. Коллаборативные модели: memory-based, матричные разложения, факторизационные машины. Контентные модели. Метрики качества. Архитектура рекомендательных систем. [[https://github.com/esokolov/ml-course-hse/blob/master/2018-spring/lecture-notes/lecture19-recommender.pdf Конспект]]

== Семинары ==

'''Семинар 14'''. Решение задач условной оптимизации. Условия Куна-Таккера. Двойственная задача SVM. [[https://github.com/esokolov/ml-course-hse/blob/master/2018-spring/seminars/sem14-svm.pdf Конспект]]

'''Семинар 15'''. Решение задач на ядра. [[https://github.com/esokolov/ml-course-hse/blob/master/2018-spring/seminars/sem15-kernels.pdf Конспект]]

'''Семинар 16'''. EM-алгоритм. [[https://github.com/esokolov/ml-course-hse/blob/master/2018-spring/seminars/sem16-em.pdf Конспект]]

'''Семинар 17'''. Оценки максимального правдоподобия на параметры многомерного нормального распределения. Байесовские классификаторы. [[https://github.com/esokolov/ml-course-hse/blob/master/2018-spring/seminars/sem17-bayes.pdf Конспект]]

'''Семинар 18'''. Спектральная кластеризация. [[https://github.com/esokolov/ml-course-hse/blob/master/2018-spring/seminars/sem18-unsupervised.pdf Конспект]]

'''Семинар 19'''. Multi-label классификация, focal loss. [[https://github.com/esokolov/ml-course-hse/blob/master/2018-spring/seminars/sem19-multilabel.pdf Конспект]]

'''Семинар 20'''. Вывод ALS и HALS для LFM. Факторизационные машины. [[https://github.com/esokolov/ml-course-hse/blob/master/2018-spring/seminars/sem20-recommendations.pdf Конспект]]

'''Семинар 21'''. Метод k ближайших соседей. Способы задания расстояния на различных типах признаков. [[https://github.com/esokolov/ml-course-hse/blob/master/2018-spring/seminars/sem21-knn.pdf Конспект]]

'''Семинар 22'''. Тематическое моделирование. [[https://github.com/esokolov/ml-course-hse/blob/master/2018-spring/seminars/sem22-tm.pdf Конспект]]

== Теоретические задания ==

'''Теоретическое домашнее задание 1''': ядровые методы [[https://github.com/esokolov/ml-course-hse/blob/master/2018-spring/homeworks-theory/homework-theory-05-kernels.pdf ссылка]]

'''Теоретическое домашнее задание 2''': обучение без учителя [[https://github.com/esokolov/ml-course-hse/blob/master/2018-spring/homeworks-theory/homework-theory-06-unsupervised.pdf ссылка]]

== Практические задания ==

За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются. В течение семестра каждый студент может не более 2 раз сдать задание после жёсткого дедлайна.

'''Задание 8.''' Кластеризация.

Мягкий дедлайн: 24.03.2019 05:59 MSK

Жесткий дедлайн: 28.03.2019 05:59 MSK

[https://github.com/esokolov/ml-course-hse/blob/master/2018-spring/homeworks-practice/homework-practice-08.ipynb Условие]

'''Задание 9.''' EM-алгоритм.

Мягкий дедлайн: 14.04.2019 07:59 MSK

Жесткий дедлайн: 16.04.2019 23:59 MSK

[https://github.com/esokolov/ml-course-hse/blob/master/2018-spring/homeworks-practice/homework-practice-09/homework-practice-09.ipynb Условие]

'''Задание 10.''' Тематическое моделирование.

Мягкий дедлайн: 12.05.2019 08:00 MSK

Жесткий дедлайн: 14.05.2019 23:59 MSK

[https://github.com/esokolov/ml-course-hse/blob/master/2018-spring/homeworks-practice/homework-practice-10/homework-practice-10.ipynb Условие]

== Соревнования ==

===Правила участия и оценивания===
В соревновании по анализу данных вам предлагается по имеющимся данным решить некоторую задачу, оптимизируя указанную метрику, и отправить ответы для заданного тестового множества. Максимальное количество посылок в сутки ограничено (как правило, разрешается сделать 2 посылки), ближе к концу соревнования вам будем необходимо выбрать 2 посылки, которые вы считаете лучшими. Тестовые данные делятся на публичные и приватные в некотором соотношении, на основе которых строятся публичный и приватный лидерборды соответственно, при этом публичный лидерборд доступен в течение всего соревнования, а приватный строится после его окончания для выбранных вами посылок.

В лидербордах каждого из соревнований присутствуют несколько базовых решений (бейзлайнов), каждое из которых соответствует определённой оценке. Например, для получения оценки не ниже 8 баллов необходимо, чтобы ваше решение на '''приватном''' лидерборде оказалось лучше соответствующего бейзлайна. Далее для студента, преодолевшего бейзлайн на N_1 баллов, но не преодолевшего бейзлайн на N_2 балла, итоговая оценка за соревнование рассчитывается по равномерной сетке среди всех таких студентов в зависимости от места в приватном лидерборде среди них; если быть точными, то по следующей формуле:

N_2 - (N_2 - N_1) * i / M,

где M — количество студентов (из всех студентов, изучающих курс), преодолевших бейзлайн на N_1 баллов, но не преодолевших бейзлайн на N_2 балла;

i — место (начиная с 1) студента в приватном лидерборде среди всех таких студентов.

Единственное исключение из формулы — студенты, преодолевшие самый сильный бейзлайн, получают прибавку 1/M к своей оценке.

Чтобы вас не пропустили при проверке решений соревнования, '''необходимо''' использовать следующий формат для имени команды (вкладка Team):

«Имя Фамилия номер_группы»

В течение 3 суток после окончания соревнования в соответствующее задание на anytask необходимо прислать код, воспроизводящий ответы для посылки, фигурирующей в приватном лидерборде. При оформлении кода предполагайте, что данные лежат рядом с ним в папке data, а в результате выполнения кода ответы должны быть записаны в файл solution-N-Username.csv, где N — номер соревнования, Username — ваша фамилия. У нас должна быть возможность запустить код и получить те же ответы, что и в вашей посылке, — в частности, это означает, что:

1. Если вы отправляете файл *.py, мы будем запускать его при помощи команды python *.py в вышеуказанном предположении о местонахождении данных.

2. Если вы отправляете ноутбук *.ipynb, мы последовательно запустим все ячейки ноутбука и будем ожидать в результате его работы формирование файла с ответами.

3. Если вы отправляете код с использованием другого языка программирования, в том же письме направьте нам инструкцию по его запуску с тем, чтобы получить тот же файл с ответами.

В случае отсутствия кода, воспроизводящего результат, в установленный срок студенту выставляется 0 в качестве оценки за соревнование. Студенты, попавшие в топ-5 согласно приватному лидерборду, смогут получить бонусные баллы, если в течение недели после окончания соревнования пришлют на почту курса отчет о получении решения, фигурирующего в приватном лидерборде. Если не оговорено иное, использовать любые внешние данные в соревнованиях '''запрещено'''.

=== Соревнование 4: Рекомендательная система ===

Дата выдачи: 24.04.2019

Срок окончания соревнования: 18.05.2019 23:59MSK

Срок отправки кода: 21.05.2019 23:59MSK

[https://www.kaggle.com/t/f2aa63ee305d45219df1ca48f242263c Ссылка на участие в соревновании]

== Коллоквиум ==

Коллоквиум пройдёт 18 мая.

Вопросы для подготовки: https://docs.google.com/document/d/1pSRySGMbE-oTr1HAOCKeAr6OdutPV2huCEC5fBct74Y/edit?usp=sharing

== Экзамен ==

== Полезные материалы ==
===Книги===
* Hastie T., Tibshirani R, Friedman J. The Elements of Statistical Learning (2nd edition). Springer, 2009.
* Bishop C. M. Pattern Recognition and Machine Learning. Springer, 2006.
* Mohri M., Rostamizadeh A., Talwalkar A. Foundations of Machine Learning. MIT Press, 2012.
* Murphy K. Machine Learning: A Probabilistic Perspective. MIT Press, 2012.
* Mohammed J. Zaki, Wagner Meira Jr. Data Mining and Analysis. Fundamental Concepts and Algorithms. Cambridge University Press, 2014.
* Willi Richert, Luis Pedro Coelho. Building Machine Learning Systems with Python. Packt Publishing, 2013.

===Курсы по машинному обучению и анализу данных===
* [http://www.machinelearning.ru/wiki/index.php?title=Машинное_обучение_%28курс_лекций%2C_К.В.Воронцов%29 Курс по машинному обучению К.В. Воронцова]
* [https://yandexdataschool.ru/edu-process/courses/machine-learning Видеозаписи лекций курса Школы Анализа Данных, К.В. Воронцов]
* [https://www.coursera.org/specializations/machine-learning-data-analysis Coursera: Машинное обучение и анализ данных (специализация)]
* [https://www.coursera.org/learn/introduction-machine-learning Coursera: Введение в машинное обучение, К.В. Воронцов]

== Страницы предыдущих лет ==

[[Машинное_обучение_2/2017_2018 | 2017/2018 учебный год]]

[[Машинное_обучение_2/2016_2017 | 2016/2017 учебный год]]

Машинное обучение 2/2023 2024

2019-03-20T14:55:24Z

Emilkayumov: /* Семинары */ Семинар 19

== О курсе ==

[[Файл:ML_surfaces.png|280px|borderless|left]]

Курс читается для студентов 3-го курса [https://cs.hse.ru/ami ПМИ ФКН ВШЭ] в 3-4 модулях.

Проводится с 2016 года.

'''Лектор:''' [http://www.hse.ru/staff/esokolov Соколов Евгений Андреевич]

Лекции проходят по пятницам, 12:10 - 13:30, ауд. 317.

=== Полезные ссылки ===

[https://www.hse.ru/ba/ami/courses/219874286.html Карточка курса и программа]

[https://github.com/esokolov/ml-course-hse Репозиторий с материалами на GitHub]

Почта для сдачи домашних заданий (на самом деле задания сдаются в AnyTask, но если он не работает, то присылайте на почту): hse.cs.ml+<номер группы>@gmail.com (например, hse.cs.ml+161@gmail.com)

Канал в telegram для объявлений: https://t.me/joinchat/AAAAAFhaKwm7kIqKGeAojA

Чат в telegram для обсуждений: https://t.me/joinchat/A5rlQE2eFY0LN0AWcGH3qA

[https://docs.google.com/spreadsheets/d/1u832G7b9aRyayoncaKXr7XPD6WisDr85AYRBKSVCMq0/edit?usp=sharing Таблица с оценками]

Оставить отзыв на курс: [https://goo.gl/forms/5CddG0gc75VZvqi52 форма]

'''Вопросы''' по курсу можно задавать на почту курса, а также в телеграм лектору (esokolov@) или семинаристу.
Вопросы по материалам лекций/семинаров и по заданиям лучше всего оформлять в виде [https://github.com/esokolov/ml-course-hse/issues Issue] в [https://github.com/esokolov/ml-course-hse github-репозитории курса].

=== Семинары ===

{| class="wikitable"
|-
! Группа !! Преподаватель !! Расписание
|-
| 161 (МОП) || [https://www.hse.ru/org/persons/165212870 Зиннурова Эльвира Альбертовна] ||
|-
| 162 (МОП) || [https://www.hse.ru/org/persons/137283751 Атанов Андрей Игоревич] ||
|-
| Курс по выбору || [https://www.hse.ru/org/persons/209813459 Каюмов Эмиль Марселевич] ||
|-
|}

=== Консультации ===

Консультации с преподавателями и учебными ассистентами по курсу проводятся по предварительной договорённости.

Итоговая оценка вычисляется на основе оценки за работу в семестре и оценки за экзамен:

Oитоговая = 0.7 * Oнакопленная + 0.3 * Оэкз

Оценка за работу в семестре вычисляется по формуле

Oнакопленная = 0.2 * Oсамостоятельные + 0.6 * Опрактические дз + 0.2 * Околлоквиум

Оценка за самостоятельную работу вычисляется как среднее по всем самостоятельным, оценка за домашнюю работу — как среднее по всем практическим заданиям и соревнованиям.

Накопленная, экзаменационная и итоговая оценки округляются арифметически.

=== Правила сдачи заданий ===

За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются.

При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.

При наличии уважительной причины пропущенную проверочную можно написать позднее, а дедлайн по домашнему заданию может быть перенесён (при этом получить дополнительные баллы за призовые места на конкурсе можно только при участии в общий срок). Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.

== Лекции ==

'''Лекция 13''' (18 января). Двойственные представления для линейной регрессии и SVM. Ядра. Теорема Мерсера. Способы построения ядер. Полиномиальные и гауссовы ядра. [[https://github.com/esokolov/ml-course-hse/blob/master/2018-spring/lecture-notes/lecture13-kernels.pdf Конспект]]

'''Лекция 14''' (1 февраля). Аппроксимация ядер, метод случайных признаков Фурье. Ядра для строк, all-subsequences kernel. Ядровой метод главных компонент. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-spring/lecture-notes/lecture14-kernels.pdf Конспект]]

'''Лекция 15''' (8 февраля). Смеси распределений. Модели со скрытыми переменными. KL-дивергения. EM-алгоритм в общем виде, его сходимость. [[https://github.com/esokolov/ml-course-hse/blob/master/2018-spring/lecture-notes/lecture15-em.pdf Конспект]]

'''Лекция 16''' (15 февраля). Работа с несбалансированными выборками. Одноклассовые методы и обнаружение аномалий: статистический и метрический подходы. Одноклассовый SVM. Isolation forest. [[https://github.com/esokolov/ml-course-hse/blob/master/2018-spring/lecture-notes/lecture16-anomaly.pdf Конспект]]

== Семинары ==

'''Семинар 14'''. Решение задач условной оптимизации. Условия Куна-Таккера. Двойственная задача SVM. [[https://github.com/esokolov/ml-course-hse/blob/master/2018-spring/seminars/sem14-svm.pdf Конспект]]

'''Семинар 15'''. Решение задач на ядра. [[https://github.com/esokolov/ml-course-hse/blob/master/2018-spring/seminars/sem15-kernels.pdf Конспект]]

'''Семинар 16'''. EM-алгоритм. [[https://github.com/esokolov/ml-course-hse/blob/master/2018-spring/seminars/sem16-em.pdf Конспект]]

'''Семинар 19'''. Multi-label классификация, focal loss. [[https://github.com/esokolov/ml-course-hse/blob/master/2018-spring/seminars/sem19-multilabel.pdf Конспект]]

== Теоретические задания ==

== Практические задания ==

За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются. В течение семестра каждый студент может не более 2 раз сдать задание после жёсткого дедлайна.

== Соревнования ==

===Правила участия и оценивания===
В соревновании по анализу данных вам предлагается по имеющимся данным решить некоторую задачу, оптимизируя указанную метрику, и отправить ответы для заданного тестового множества. Максимальное количество посылок в сутки ограничено (как правило, разрешается сделать 2 посылки), ближе к концу соревнования вам будем необходимо выбрать 2 посылки, которые вы считаете лучшими. Тестовые данные делятся на публичные и приватные в некотором соотношении, на основе которых строятся публичный и приватный лидерборды соответственно, при этом публичный лидерборд доступен в течение всего соревнования, а приватный строится после его окончания для выбранных вами посылок.

В лидербордах каждого из соревнований присутствуют несколько базовых решений (бейзлайнов), каждое из которых соответствует определённой оценке. Например, для получения оценки не ниже 8 баллов необходимо, чтобы ваше решение на '''приватном''' лидерборде оказалось лучше соответствующего бейзлайна. Далее для студента, преодолевшего бейзлайн на N_1 баллов, но не преодолевшего бейзлайн на N_2 балла, итоговая оценка за соревнование рассчитывается по равномерной сетке среди всех таких студентов в зависимости от места в приватном лидерборде среди них; если быть точными, то по следующей формуле:

N_2 - (N_2 - N_1) * i / M,

где M — количество студентов (из всех студентов, изучающих курс), преодолевших бейзлайн на N_1 баллов, но не преодолевших бейзлайн на N_2 балла;

i — место (начиная с 1) студента в приватном лидерборде среди всех таких студентов.

Единственное исключение из формулы — студенты, преодолевшие самый сильный бейзлайн, получают прибавку 1/M к своей оценке.

Чтобы вас не пропустили при проверке решений соревнования, '''необходимо''' использовать следующий формат для имени команды (вкладка Team):

«Имя Фамилия номер_группы»

В течение 3 суток после окончания соревнования в соответствующее задание на anytask необходимо прислать код, воспроизводящий ответы для посылки, фигурирующей в приватном лидерборде. При оформлении кода предполагайте, что данные лежат рядом с ним в папке data, а в результате выполнения кода ответы должны быть записаны в файл solution-N-Username.csv, где N — номер соревнования, Username — ваша фамилия. У нас должна быть возможность запустить код и получить те же ответы, что и в вашей посылке, — в частности, это означает, что:

1. Если вы отправляете файл *.py, мы будем запускать его при помощи команды python *.py в вышеуказанном предположении о местонахождении данных.

2. Если вы отправляете ноутбук *.ipynb, мы последовательно запустим все ячейки ноутбука и будем ожидать в результате его работы формирование файла с ответами.

3. Если вы отправляете код с использованием другого языка программирования, в том же письме направьте нам инструкцию по его запуску с тем, чтобы получить тот же файл с ответами.

В случае отсутствия кода, воспроизводящего результат, в установленный срок студенту выставляется 0 в качестве оценки за соревнование. Студенты, попавшие в топ-5 согласно приватному лидерборду, смогут получить бонусные баллы, если в течение недели после окончания соревнования пришлют на почту курса отчет о получении решения, фигурирующего в приватном лидерборде. Если не оговорено иное, использовать любые внешние данные в соревнованиях '''запрещено'''.

== Коллоквиум ==

== Экзамен ==

== Полезные материалы ==
===Книги===
* Hastie T., Tibshirani R, Friedman J. The Elements of Statistical Learning (2nd edition). Springer, 2009.
* Bishop C. M. Pattern Recognition and Machine Learning. Springer, 2006.
* Mohri M., Rostamizadeh A., Talwalkar A. Foundations of Machine Learning. MIT Press, 2012.
* Murphy K. Machine Learning: A Probabilistic Perspective. MIT Press, 2012.
* Mohammed J. Zaki, Wagner Meira Jr. Data Mining and Analysis. Fundamental Concepts and Algorithms. Cambridge University Press, 2014.
* Willi Richert, Luis Pedro Coelho. Building Machine Learning Systems with Python. Packt Publishing, 2013.

===Курсы по машинному обучению и анализу данных===
* [http://www.machinelearning.ru/wiki/index.php?title=Машинное_обучение_%28курс_лекций%2C_К.В.Воронцов%29 Курс по машинному обучению К.В. Воронцова]
* [https://yandexdataschool.ru/edu-process/courses/machine-learning Видеозаписи лекций курса Школы Анализа Данных, К.В. Воронцов]
* [https://www.coursera.org/specializations/machine-learning-data-analysis Coursera: Машинное обучение и анализ данных (специализация)]
* [https://www.coursera.org/learn/introduction-machine-learning Coursera: Введение в машинное обучение, К.В. Воронцов]

== Страницы предыдущих лет ==

[[Машинное_обучение_2/2017_2018 | 2017/2018 учебный год]]

[[Машинное_обучение_2/2016_2017 | 2016/2017 учебный год]]

Машинное обучение 1/2023 2024

2018-10-15T13:01:27Z

Emilkayumov: /* Семинары */ Ссылки на семинары.

== О курсе ==

[[Файл:ML_surfaces.png|280px|borderless|left]]

Курс читается для студентов 3-го курса [https://cs.hse.ru/ami ПМИ ФКН ВШЭ] в 1-2 модулях.

Проводится с 2016 года.

'''Лектор:''' [http://www.hse.ru/staff/esokolov Соколов Евгений Андреевич]

Лекции проходят по пятницам, 12:10 - 13:30, ауд. 317.

=== Полезные ссылки ===

[https://www.hse.ru/ba/ami/courses/219888994.html Карточка курса и программа]

[https://github.com/esokolov/ml-course-hse Репозиторий с материалами на GitHub]

Почта для сдачи домашних заданий (на самом деле задания сдаются в AnyTask, но если он не работает, то присылайте на почту): hse.cs.ml+<номер группы>@gmail.com (например, hse.cs.ml+161@gmail.com)

Канал в telegram для объявлений: https://t.me/joinchat/AAAAAEprV-8gsyFBkYbvkg

Чат в telegram для обсуждений: https://t.me/joinchat/A5rlQE2eFY0LN0AWcGH3qA

Ссылка на курс в Anytask: https://anytask.org/course/390

[https://docs.google.com/spreadsheets/d/1u832G7b9aRyayoncaKXr7XPD6WisDr85AYRBKSVCMq0/edit?usp=sharing Таблица с оценками]

Оставить отзыв на курс: [https://goo.gl/forms/5CddG0gc75VZvqi52 форма]

'''Вопросы''' по курсу можно задавать на почту курса, а также в телеграм лектору (esokolov@) или семинаристу.
Вопросы по материалам лекций/семинаров и по заданиям лучше всего оформлять в виде [https://github.com/esokolov/ml-course-hse/issues Issue] в [https://github.com/esokolov/ml-course-hse github-репозитории курса].

=== Семинары ===

{| class="wikitable"
|-
! Группа !! Преподаватель !! Учебный ассистент !! Страница !! Расписание
|-
| 161 (МОП) || [https://www.hse.ru/org/persons/165212870 Зиннурова Эльвира Альбертовна] || [https://t.me/mryab Рябинин Максим] || || пятница, 10:30 - 11:50, ауд. 503
|-
| 162 (МОП) || [https://www.hse.ru/org/persons/191263008 Неклюдов Кирилл Олегович] || [http://t.me/bazpasha Хрушков Павел] || ||
|-
| 163 (АДИС) || [https://t.me/despairazure Кохтев Вадим Михайлович] || [http://t.me/marka_17 Маркович Александр] || || пятница, 10:30 - 11:50, ауд. 400
|-
| 164 (АДИС) || [https://www.hse.ru/org/persons/137283751 Атанов Андрей Игоревич] || [http://t.me/liza_s Свитанько Лиза] || ||
|-
| 165 (РС) || [https://www.hse.ru/org/persons/209813459 Каюмов Эмиль Марселевич] || [http://t.me/akiiino Попов Никита] || || вторник, 9:00 – 10:20, ауд. 311
|-
| 166 (РС) || [https://www.hse.ru/org/persons/192085968 Яшков Даниил Дмитриевич] || [http://t.me/Saigetsu Хайдуров Руслан] || ||
|-
| Магистратура ФТиАД || [https://www.hse.ru/org/persons/191576735 Чиркова Надежда Александровна] || [https://t.me/nbagiyan Багиян Нерсес] || ||
|-
|}

=== Консультации ===

=== Правила выставления оценок ===

В курсе предусмотрено несколько форм контроля знания:
* Самостоятельные работы на семинарах, проверяющие знание основных фактов с лекций
* Практические домашние работы на Python
* Контрольная работа
* Письменный экзамен

Итоговая оценка вычисляется на основе оценки за работу в семестре и оценки за экзамен:

Oитоговая = 0.7 * Oнакопленная + 0.3 * Оэкз

Оценка за работу в семестре вычисляется по формуле

Oнакопленная = 0.2 * Oсамостоятельные + 0.6 * Опрактические дз + 0.2 * Оконтрольная

Оценка за самостоятельную работу вычисляется как среднее по всем самостоятельным, оценка за домашнюю работу — как среднее по всем практическим заданиям и соревнованиям.

Накопленная, экзаменационная и итоговая оценки округляются арифметически.

=== Правила сдачи заданий ===

За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются.

При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.

При наличии уважительной причины пропущенную проверочную можно написать позднее, а дедлайн по домашнему заданию может быть перенесён (при этом получить дополнительные баллы за призовые места на конкурсе можно только при участии в общий срок). Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.

== Лекции ==

'''Лекция 1''' (3 сентября). Введение в машинное обучение. Основные термины, постановки задач и примеры применения. [[https://github.com/esokolov/ml-course-hse/blob/master/2018-fall/lecture-notes/lecture01-intro.pdf Конспект]]

'''Лекция 2''' (14 сентября). Линейная регрессия. Метрики качества регрессии. Градиентный спуск и способы оценивания градиента. Продвинутые градиентные методы. [[https://github.com/esokolov/ml-course-hse/blob/master/2018-fall/lecture-notes/lecture02-linregr.pdf Конспект]]

'''Лекция 3''' (21 сентября). Переобучение и регуляризация. Разреженные линейные модели. Квантильная регрессия. Подготовка признаков. [[https://github.com/esokolov/ml-course-hse/blob/master/2018-fall/lecture-notes/lecture03-linregr.pdf Конспект]]

'''Лекция 4''' (28 сентября). Линейная классификация. Отступ и верхние оценки на пороговую функцию потерь. Метрики качества классификации. [[https://github.com/esokolov/ml-course-hse/blob/master/2018-fall/lecture-notes/lecture04-linclass.pdf Конспект]]

'''Лекция 5''' (1 октября). Линейная классификация. Логистическая регрессия и оценки вероятности классов. Метод опорных векторов. [[https://github.com/esokolov/ml-course-hse/blob/master/2018-fall/lecture-notes/lecture05-linclass.pdf Конспект]]

'''Лекция 6''' (12 октября). Многоклассовая классификация, сведение к бинарным задачам. Многоклассовая логистическая регрессия. Классификация с пересекающимися классами. Метрики качества многоклассовой классификации. Категориальные признаки: хэширование и счётчики. [[https://github.com/esokolov/ml-course-hse/blob/master/2018-fall/lecture-notes/lecture06-linclass.pdf Конспект]]

'''Лекция 7''' (19 октября). Решающие деревья. Жадный алгоритм построения. Выбор лучшего разбиения с помощью критерия информативности. Критерии информативности для регрессии и классификации. Учёт пропусков в деревьях. Решающие деревья и категориальные признаки.

'''Лекция 8''' (2 ноября). Бутстрап и бэггинг. Разложение ошибки на смещение и разброс (bias-variance decomposition). Случайный лес. Вычисление расстояний с помощью лесов.

'''Лекция 9''' (9 ноября). Градиентный бустинг. Регуляризация. Особенности бустинга над деревьями. Взвешивание объектов в градиентном бустинге.

'''Лекция 10''' (16 ноября). Оптимизация второго порядка в градиентном бустинге. Регуляризация деревьев. XGBoost. Стекинг.

'''Лекция 11''' (23 ноября). Графы вычислений, их обучение и метод обратного распространения ошибки. Полносвязные, свёрточные и рекуррентные слои. Возможности аппроксимации.

'''Лекция 12''' (30 ноября). Обучение без учителя. Кластеризация: метрики качества, K-Means, иерархический и графовый подходы. Визуализация, t-SNE. Обучение представлений. word2vec.

'''Лекция 13''' (7 декабря). Метод главных компонент, его связь с матричными разложениями. Рекомендательные системы: постановка задачи, коллаборативные методы, матричные разложения, контентные методы.

== Семинары ==

'''Семинар 1.''' [https://github.com/esokolov/ml-course-hse/blob/master/2018-fall/seminars/sem01-intro.ipynb Ноутбук].

'''Семинар 2.''' [https://github.com/esokolov/ml-course-hse/blob/master/2018-fall/seminars/sem02-sklearn.ipynb Ноутбук].

'''Семинар 3.''' [https://github.com/esokolov/ml-course-hse/blob/master/2018-fall/seminars/sem03-linregr.pdf Конспект], [https://github.com/esokolov/ml-course-hse/blob/master/2018-fall/seminars/sem03-linregr.ipynb ноутбук].

'''Семинар 4.''' [https://github.com/esokolov/ml-course-hse/blob/master/2018-fall/seminars/sem04-linregr.pdf Конспект].

'''Семинар 5.''' [https://github.com/esokolov/ml-course-hse/blob/master/2018-fall/seminars/sem05-linclass-metrics.pdf Конспект].

'''Семинар 6.''' [https://github.com/esokolov/ml-course-hse/blob/master/2018-fall/seminars/sem06.pdf Конспект], [https://github.com/esokolov/ml-course-hse/blob/master/2018-fall/seminars/sem06.ipynb ноутбук].

== Практические задания ==

За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются. В течение семестра каждый студент может не более 2 раз сдать задание после жёсткого дедлайна.

'''Задание 1.''' Работа с Pandas и Matplotlib.

Мягкий дедлайн: 07:59 15.09.2018.

Жесткий дедлайн: 23:59 16.09.2018.

[https://github.com/esokolov/ml-course-hse/blob/master/2018-fall/homeworks-practice/homework-practice-01.ipynb Github].

'''Задание 2.''' Numpy. Линейная регрессия.

Дата выдачи: 17.09.2018

Мягкий дедлайн: 2:59MSK 24.09.2018

Жесткий дедлайн: 23:59MSK 26.09.2018.

[https://github.com/esokolov/ml-course-hse/blob/master/2018-fall/homeworks-practice/homework-practice-02.ipynb Условие],
[https://github.com/esokolov/ml-course-hse/blob/master/2018-fall/homeworks-practice/homework-practice-02-templates.zip архив с шаблонами],
[https://contest.yandex.ru/contest/9148/enter/ соревнование в Яндекс.Контесте],
[https://official.contest.yandex.ru/contest/9148/enter/ альтернативная ссылка на соревнование в Яндекс.Контесте].

'''Задание 3.''' Регуляризация. Градиентный спуск.

Дата выдачи: 22.09.2018

Мягкий дедлайн: 7:59MSK 02.10.2018

Жесткий дедлайн: 23:59MSK 03.10.2018.

[https://github.com/esokolov/ml-course-hse/blob/master/2018-fall/homeworks-practice/homework-practice-03.ipynb Условие],
[https://github.com/esokolov/ml-course-hse/blob/master/2018-fall/homeworks-practice/data/homework-practice-03-data.csv данные],
[https://contest.yandex.ru/contest/9247 соревнование в Яндекс.Контесте],
[https://official.contest.yandex.ru/contest/9247 альтернативная ссылка на соревнование в Яндекс.Контесте].

'''Задание 4.''' Калибровка вероятностей, обработка категориальных признаков.

Дата выдачи: 12.10.2018

Мягкий дедлайн: 7:59MSK 20.10.2018

Жесткий дедлайн: 23:59MSK 21.10.2018.

[https://github.com/esokolov/ml-course-hse/blob/master/2018-fall/homeworks-practice/homework-practice-04.ipynb Условие]

== Соревнования ==

===Правила участия и оценивания===
В соревновании по анализу данных вам предлагается по имеющимся данным решить некоторую задачу, оптимизируя указанную метрику, и отправить ответы для заданного тестового множества. Максимальное количество посылок в сутки ограничено (как правило, разрешается сделать 2 посылки), ближе к концу соревнования вам будем необходимо выбрать 2 посылки, которые вы считаете лучшими. Тестовые данные делятся на публичные и приватные в некотором соотношении, на основе которых строятся публичный и приватный лидерборды соответственно, при этом публичный лидерборд доступен в течение всего соревнования, а приватный строится после его окончания для выбранных вами посылок.

В лидербордах каждого из соревнований присутствуют несколько базовых решений (бейзлайнов), каждое из которых соответствует определённой оценке. Например, для получения оценки не ниже 8 баллов необходимо, чтобы ваше решение на '''приватном''' лидерборде оказалось лучше соответствующего бейзлайна. Далее для студента, преодолевшего бейзлайн на N_1 баллов, но не преодолевшего бейзлайн на N_2 балла, итоговая оценка за соревнование рассчитывается по равномерной сетке среди всех таких студентов в зависимости от места в приватном лидерборде среди них; если быть точными, то по следующей формуле:

N_2 - (N_2 - N_1) * i / M,

где M — количество студентов (из всех студентов, изучающих курс), преодолевших бейзлайн на N_1 баллов, но не преодолевших бейзлайн на N_2 балла;

i — место (начиная с 1) студента в приватном лидерборде среди всех таких студентов.

Единственное исключение из формулы — студенты, преодолевшие самый сильный бейзлайн, получают прибавку 1/M к своей оценке.

Чтобы вас не пропустили при проверке решений соревнования, '''необходимо''' использовать следующий формат для имени команды (вкладка Team):

«Имя Фамилия номер_группы»

В течение 3 суток после окончания соревнования в соответствующее задание на anytask необходимо прислать код, воспроизводящий ответы для посылки, фигурирующей в приватном лидерборде. При оформлении кода предполагайте, что данные лежат рядом с ним в папке data, а в результате выполнения кода ответы должны быть записаны в файл solution-N-Username.csv, где N — номер соревнования, Username — ваша фамилия. У нас должна быть возможность запустить код и получить те же ответы, что и в вашей посылке, — в частности, это означает, что:

1. Если вы отправляете файл *.py, мы будем запускать его при помощи команды python *.py в вышеуказанном предположении о местонахождении данных.

2. Если вы отправляете ноутбук *.ipynb, мы последовательно запустим все ячейки ноутбука и будем ожидать в результате его работы формирование файла с ответами.

3. Если вы отправляете код с использованием другого языка программирования, в том же письме направьте нам инструкцию по его запуску с тем, чтобы получить тот же файл с ответами.

В случае отсутствия кода, воспроизводящего результат, в установленный срок студенту выставляется 0 в качестве оценки за соревнование. Студенты, попавшие в топ-5 согласно приватному лидерборду, смогут получить бонусные баллы, если в течение недели после окончания соревнования пришлют на почту курса отчет о получении решения, фигурирующего в приватном лидерборде. Если не оговорено иное, использовать любые внешние данные в соревнованиях '''запрещено'''.

=== Соревнование 1: House pricing ===

Дата выдачи: 15.09.2018

Срок окончания соревнования: 30.09.2018 23:59MSK

Срок отправки кода: 03.10.2018 23:59MSK

Бейзлайны: на 4 и на 8 баллов

[https://www.kaggle.com/t/5a486fc7863548a58cfc1f702690b5c3 Ссылка на участие в соревновании]

=== Соревнование 2: Sentiment analysis ===

Дата выдачи: 15.10.2018

Срок окончания соревнования: 04.11.2018 23:59UTC

Бейзлайны: TBA

[https://www.kaggle.com/t/1e4f5623f3fc4f898cec6b1e21acf6b5 Ссылка на участие в соревновании]

В данном соревновании оцениваются только решения, полученные как результат работы [https://www.kaggle.com/kernels private kernel], к которому дан доступ для просмотра ассистенту вашей группы.

==Теоретические домашние задания==

'''Теоретическое домашнее задание 1''': линейная регрессия [[https://github.com/esokolov/ml-course-hse/blob/master/2018-fall/homeworks-theory/homework-theory-01-linregr.pdf ссылка]]

'''Теоретическое домашнее задание 2''': линейная классификация [[https://github.com/esokolov/ml-course-hse/blob/master/2018-fall/homeworks-theory/homework-theory-02-linclass.pdf ссылка]]

== Бонусы за соревнования ==

За успешное участие в соревнованиях по анализу данных могут быть выставлены бонусные баллы, которые можно прибавить к оценке за любое практическое или теоретическое домашнее задание, а также за самостоятельную работу. Под успешным участием понимается попадание в топ-10% мест; если соревнование особо сложное и крупное, может рассматриваться и попадание в топ-20% мест. Конкретное число баллов определяется преподавателями и зависит от сложности соревнования и занятого места. За одно соревнование можно получить не более 5 баллов. Для получения оценки необходимо предоставить краткий отчёт о решении задачи.

== Контрольная работа ==

== Экзамен ==

== Полезные материалы ==
===Книги===
* Hastie T., Tibshirani R, Friedman J. The Elements of Statistical Learning (2nd edition). Springer, 2009.
* Bishop C. M. Pattern Recognition and Machine Learning. Springer, 2006.
* Mohri M., Rostamizadeh A., Talwalkar A. Foundations of Machine Learning. MIT Press, 2012.
* Murphy K. Machine Learning: A Probabilistic Perspective. MIT Press, 2012.
* Mohammed J. Zaki, Wagner Meira Jr. Data Mining and Analysis. Fundamental Concepts and Algorithms. Cambridge University Press, 2014.
* Willi Richert, Luis Pedro Coelho. Building Machine Learning Systems with Python. Packt Publishing, 2013.

===Курсы по машинному обучению и анализу данных===
* [http://www.machinelearning.ru/wiki/index.php?title=Машинное_обучение_%28курс_лекций%2C_К.В.Воронцов%29 Курс по машинному обучению К.В. Воронцова]
* [https://yandexdataschool.ru/edu-process/courses/machine-learning Видеозаписи лекций курса Школы Анализа Данных, К.В. Воронцов]
* [https://www.coursera.org/specializations/machine-learning-data-analysis Coursera: Машинное обучение и анализ данных (специализация)]
* [https://www.coursera.org/learn/introduction-machine-learning Coursera: Введение в машинное обучение, К.В. Воронцов]

== Страницы предыдущих лет ==

[[Машинное_обучение_1/2017_2018 | 2017/2018 учебный год]]

[[Машинное_обучение_1/2016_2017 | 2016/2017 учебный год]]

Машинное обучение 1/2023 2024

2018-10-12T13:33:38Z

Emilkayumov: /* Практические задания */ Практическое задание #4

== О курсе ==

[[Файл:ML_surfaces.png|280px|borderless|left]]

Курс читается для студентов 3-го курса [https://cs.hse.ru/ami ПМИ ФКН ВШЭ] в 1-2 модулях.

Проводится с 2016 года.

'''Лектор:''' [http://www.hse.ru/staff/esokolov Соколов Евгений Андреевич]

Лекции проходят по пятницам, 12:10 - 13:30, ауд. 317.

=== Полезные ссылки ===

[https://www.hse.ru/ba/ami/courses/219888994.html Карточка курса и программа]

[https://github.com/esokolov/ml-course-hse Репозиторий с материалами на GitHub]

Почта для сдачи домашних заданий (на самом деле задания сдаются в AnyTask, но если он не работает, то присылайте на почту): hse.cs.ml+<номер группы>@gmail.com (например, hse.cs.ml+161@gmail.com)

Канал в telegram для объявлений: https://t.me/joinchat/AAAAAEprV-8gsyFBkYbvkg

Чат в telegram для обсуждений: https://t.me/joinchat/A5rlQE2eFY0LN0AWcGH3qA

Ссылка на курс в Anytask: https://anytask.org/course/390

[https://docs.google.com/spreadsheets/d/1u832G7b9aRyayoncaKXr7XPD6WisDr85AYRBKSVCMq0/edit?usp=sharing Таблица с оценками]

Оставить отзыв на курс: [https://goo.gl/forms/5CddG0gc75VZvqi52 форма]

'''Вопросы''' по курсу можно задавать на почту курса, а также в телеграм лектору (esokolov@) или семинаристу.
Вопросы по материалам лекций/семинаров и по заданиям лучше всего оформлять в виде [https://github.com/esokolov/ml-course-hse/issues Issue] в [https://github.com/esokolov/ml-course-hse github-репозитории курса].

=== Семинары ===

{| class="wikitable"
|-
! Группа !! Преподаватель !! Учебный ассистент !! Страница !! Расписание
|-
| 161 (МОП) || [https://www.hse.ru/org/persons/165212870 Зиннурова Эльвира Альбертовна] || [https://t.me/mryab Рябинин Максим] || || пятница, 10:30 - 11:50, ауд. 503
|-
| 162 (МОП) || [https://www.hse.ru/org/persons/191263008 Неклюдов Кирилл Олегович] || [http://t.me/bazpasha Хрушков Павел] || ||
|-
| 163 (АДИС) || [https://t.me/despairazure Кохтев Вадим Михайлович] || [http://t.me/marka_17 Маркович Александр] || || пятница, 10:30 - 11:50, ауд. 400
|-
| 164 (АДИС) || [https://www.hse.ru/org/persons/137283751 Атанов Андрей Игоревич] || [http://t.me/liza_s Свитанько Лиза] || ||
|-
| 165 (РС) || [https://www.hse.ru/org/persons/209813459 Каюмов Эмиль Марселевич] || [http://t.me/akiiino Попов Никита] || || вторник, 9:00 – 10:20, ауд. 311
|-
| 166 (РС) || [https://www.hse.ru/org/persons/192085968 Яшков Даниил Дмитриевич] || [http://t.me/Saigetsu Хайдуров Руслан] || ||
|-
| Магистратура ФТиАД || [https://www.hse.ru/org/persons/191576735 Чиркова Надежда Александровна] || [https://t.me/nbagiyan Багиян Нерсес] || ||
|-
|}

=== Консультации ===

=== Правила выставления оценок ===

В курсе предусмотрено несколько форм контроля знания:
* Самостоятельные работы на семинарах, проверяющие знание основных фактов с лекций
* Практические домашние работы на Python
* Контрольная работа
* Письменный экзамен

Итоговая оценка вычисляется на основе оценки за работу в семестре и оценки за экзамен:

Oитоговая = 0.7 * Oнакопленная + 0.3 * Оэкз

Оценка за работу в семестре вычисляется по формуле

Oнакопленная = 0.2 * Oсамостоятельные + 0.6 * Опрактические дз + 0.2 * Оконтрольная

Оценка за самостоятельную работу вычисляется как среднее по всем самостоятельным, оценка за домашнюю работу — как среднее по всем практическим заданиям и соревнованиям.

Накопленная, экзаменационная и итоговая оценки округляются арифметически.

=== Правила сдачи заданий ===

За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются.

При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.

При наличии уважительной причины пропущенную проверочную можно написать позднее, а дедлайн по домашнему заданию может быть перенесён (при этом получить дополнительные баллы за призовые места на конкурсе можно только при участии в общий срок). Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.

== Лекции ==

'''Лекция 1''' (3 сентября). Введение в машинное обучение. Основные термины, постановки задач и примеры применения. [[https://github.com/esokolov/ml-course-hse/blob/master/2018-fall/lecture-notes/lecture01-intro.pdf Конспект]]

'''Лекция 2''' (14 сентября). Линейная регрессия. Метрики качества регрессии. Градиентный спуск и способы оценивания градиента. Продвинутые градиентные методы. [[https://github.com/esokolov/ml-course-hse/blob/master/2018-fall/lecture-notes/lecture02-linregr.pdf Конспект]]

'''Лекция 3''' (21 сентября). Переобучение и регуляризация. Разреженные линейные модели. Квантильная регрессия. Подготовка признаков. [[https://github.com/esokolov/ml-course-hse/blob/master/2018-fall/lecture-notes/lecture03-linregr.pdf Конспект]]

'''Лекция 4''' (28 сентября). Линейная классификация. Отступ и верхние оценки на пороговую функцию потерь. Метрики качества классификации. [[https://github.com/esokolov/ml-course-hse/blob/master/2018-fall/lecture-notes/lecture04-linclass.pdf Конспект]]

'''Лекция 5''' (1 октября). Линейная классификация. Логистическая регрессия и оценки вероятности классов. Метод опорных векторов. [[https://github.com/esokolov/ml-course-hse/blob/master/2018-fall/lecture-notes/lecture05-linclass.pdf Конспект]]

'''Лекция 6''' (12 октября). Многоклассовая классификация, сведение к бинарным задачам. Многоклассовая логистическая регрессия. Классификация с пересекающимися классами. Метрики качества многоклассовой классификации. Категориальные признаки: хэширование и счётчики. [[https://github.com/esokolov/ml-course-hse/blob/master/2018-fall/lecture-notes/lecture06-linclass.pdf Конспект]]

'''Лекция 7''' (19 октября). Решающие деревья. Жадный алгоритм построения. Выбор лучшего разбиения с помощью критерия информативности. Критерии информативности для регрессии и классификации. Учёт пропусков в деревьях. Решающие деревья и категориальные признаки.

'''Лекция 8''' (2 ноября). Бутстрап и бэггинг. Разложение ошибки на смещение и разброс (bias-variance decomposition). Случайный лес. Вычисление расстояний с помощью лесов.

'''Лекция 9''' (9 ноября). Градиентный бустинг. Регуляризация. Особенности бустинга над деревьями. Взвешивание объектов в градиентном бустинге.

'''Лекция 10''' (16 ноября). Оптимизация второго порядка в градиентном бустинге. Регуляризация деревьев. XGBoost. Стекинг.

'''Лекция 11''' (23 ноября). Графы вычислений, их обучение и метод обратного распространения ошибки. Полносвязные, свёрточные и рекуррентные слои. Возможности аппроксимации.

'''Лекция 12''' (30 ноября). Обучение без учителя. Кластеризация: метрики качества, K-Means, иерархический и графовый подходы. Визуализация, t-SNE. Обучение представлений. word2vec.

'''Лекция 13''' (7 декабря). Метод главных компонент, его связь с матричными разложениями. Рекомендательные системы: постановка задачи, коллаборативные методы, матричные разложения, контентные методы.

== Семинары ==

== Практические задания ==

За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются. В течение семестра каждый студент может не более 2 раз сдать задание после жёсткого дедлайна.

'''Задание 1.''' Работа с Pandas и Matplotlib.

Мягкий дедлайн: 07:59 15.09.2018.

Жесткий дедлайн: 23:59 16.09.2018.

[https://github.com/esokolov/ml-course-hse/blob/master/2018-fall/homeworks-practice/homework-practice-01.ipynb Github].

'''Задание 2.''' Numpy. Линейная регрессия.

Дата выдачи: 17.09.2018

Мягкий дедлайн: 2:59MSK 24.09.2018

Жесткий дедлайн: 23:59MSK 26.09.2018.

[https://github.com/esokolov/ml-course-hse/blob/master/2018-fall/homeworks-practice/homework-practice-02.ipynb Условие],
[https://github.com/esokolov/ml-course-hse/blob/master/2018-fall/homeworks-practice/homework-practice-02-templates.zip архив с шаблонами],
[https://contest.yandex.ru/contest/9148/enter/ соревнование в Яндекс.Контесте],
[https://official.contest.yandex.ru/contest/9148/enter/ альтернативная ссылка на соревнование в Яндекс.Контесте].

'''Задание 3.''' Регуляризация. Градиентный спуск.

Дата выдачи: 22.09.2018

Мягкий дедлайн: 7:59MSK 02.10.2018

Жесткий дедлайн: 23:59MSK 03.10.2018.

[https://github.com/esokolov/ml-course-hse/blob/master/2018-fall/homeworks-practice/homework-practice-03.ipynb Условие],
[https://github.com/esokolov/ml-course-hse/blob/master/2018-fall/homeworks-practice/data/homework-practice-03-data.csv данные],
[https://contest.yandex.ru/contest/9247 соревнование в Яндекс.Контесте],
[https://official.contest.yandex.ru/contest/9247 альтернативная ссылка на соревнование в Яндекс.Контесте].

'''Задание 4.''' Калибровка вероятностей, обработка категориальных признаков.

Дата выдачи: 12.10.2018

Мягкий дедлайн: 7:59MSK 20.10.2018

Жесткий дедлайн: 23:59MSK 21.10.2018.

[https://github.com/esokolov/ml-course-hse/blob/master/2018-fall/homeworks-practice/homework-practice-04.ipynb Условие]

== Соревнования ==

===Правила участия и оценивания===
В соревновании по анализу данных вам предлагается по имеющимся данным решить некоторую задачу, оптимизируя указанную метрику, и отправить ответы для заданного тестового множества. Максимальное количество посылок в сутки ограничено (как правило, разрешается сделать 2 посылки), ближе к концу соревнования вам будем необходимо выбрать 2 посылки, которые вы считаете лучшими. Тестовые данные делятся на публичные и приватные в некотором соотношении, на основе которых строятся публичный и приватный лидерборды соответственно, при этом публичный лидерборд доступен в течение всего соревнования, а приватный строится после его окончания для выбранных вами посылок.

В лидербордах каждого из соревнований присутствуют несколько базовых решений (бейзлайнов), каждое из которых соответствует определённой оценке. Например, для получения оценки не ниже 8 баллов необходимо, чтобы ваше решение на '''приватном''' лидерборде оказалось лучше соответствующего бейзлайна. Далее для студента, преодолевшего бейзлайн на N_1 баллов, но не преодолевшего бейзлайн на N_2 балла, итоговая оценка за соревнование рассчитывается по равномерной сетке среди всех таких студентов в зависимости от места в приватном лидерборде среди них; если быть точными, то по следующей формуле:

N_2 - (N_2 - N_1) * i / M,

где M — количество студентов (из всех студентов, изучающих курс), преодолевших бейзлайн на N_1 баллов, но не преодолевших бейзлайн на N_2 балла;

i — место (начиная с 1) студента в приватном лидерборде среди всех таких студентов.

Единственное исключение из формулы — студенты, преодолевшие самый сильный бейзлайн, получают прибавку 1/M к своей оценке.

В течение 3 суток после окончания соревнования в соответствующее задание на anytask необходимо прислать код, воспроизводящий ответы для посылки, фигурирующей в приватном лидерборде. При оформлении кода предполагайте, что данные лежат рядом с ним в папке data, а в результате выполнения кода ответы должны быть записаны в файл solution-N-Username.csv, где N — номер соревнования, Username — ваша фамилия. У нас должна быть возможность запустить код и получить те же ответы, что и в вашей посылке, — в частности, это означает, что:

1. Если вы отправляете файл *.py, мы будем запускать его при помощи команды python *.py в вышеуказанном предположении о местонахождении данных.

2. Если вы отправляете ноутбук *.ipynb, мы последовательно запустим все ячейки ноутбука и будем ожидать в результате его работы формирование файла с ответами.

3. Если вы отправляете код с использованием другого языка программирования, в том же письме направьте нам инструкцию по его запуску с тем, чтобы получить тот же файл с ответами.

В случае отсутствия кода, воспроизводящего результат, в установленный срок студенту выставляется 0 в качестве оценки за соревнование. Студенты, попавшие в топ-5 согласно приватному лидерборду, смогут получить бонусные баллы, если в течение недели после окончания соревнования пришлют на почту курса отчет о получении решения, фигурирующего в приватном лидерборде. Если не оговорено иное, использовать любые внешние данные в соревнованиях '''запрещено'''.

=== Соревнование 1: House pricing ===

Дата выдачи: 15.09.2018

Срок окончания соревнования: 30.09.2018 23:59MSK

Срок отправки кода: 03.10.2018 23:59MSK

Бейзлайны: на 4 и на 8 баллов

[https://www.kaggle.com/t/5a486fc7863548a58cfc1f702690b5c3 Ссылка на участие в соревновании]

==Теоретические домашние задания==

'''Теоретическое домашнее задание 1''': линейная регрессия [[https://github.com/esokolov/ml-course-hse/blob/master/2018-fall/homeworks-theory/homework-theory-01-linregr.pdf ссылка]]

'''Теоретическое домашнее задание 2''': линейная классификация [[https://github.com/esokolov/ml-course-hse/blob/master/2018-fall/homeworks-theory/homework-theory-02-linclass.pdf ссылка]]

== Бонусы за соревнования ==

За успешное участие в соревнованиях по анализу данных могут быть выставлены бонусные баллы, которые можно прибавить к оценке за любое практическое или теоретическое домашнее задание, а также за самостоятельную работу. Под успешным участием понимается попадание в топ-10% мест; если соревнование особо сложное и крупное, может рассматриваться и попадание в топ-20% мест. Конкретное число баллов определяется преподавателями и зависит от сложности соревнования и занятого места. За одно соревнование можно получить не более 5 баллов. Для получения оценки необходимо предоставить краткий отчёт о решении задачи.

== Контрольная работа ==

== Экзамен ==

== Полезные материалы ==
===Книги===
* Hastie T., Tibshirani R, Friedman J. The Elements of Statistical Learning (2nd edition). Springer, 2009.
* Bishop C. M. Pattern Recognition and Machine Learning. Springer, 2006.
* Mohri M., Rostamizadeh A., Talwalkar A. Foundations of Machine Learning. MIT Press, 2012.
* Murphy K. Machine Learning: A Probabilistic Perspective. MIT Press, 2012.
* Mohammed J. Zaki, Wagner Meira Jr. Data Mining and Analysis. Fundamental Concepts and Algorithms. Cambridge University Press, 2014.
* Willi Richert, Luis Pedro Coelho. Building Machine Learning Systems with Python. Packt Publishing, 2013.

===Курсы по машинному обучению и анализу данных===
* [http://www.machinelearning.ru/wiki/index.php?title=Машинное_обучение_%28курс_лекций%2C_К.В.Воронцов%29 Курс по машинному обучению К.В. Воронцова]
* [https://yandexdataschool.ru/edu-process/courses/machine-learning Видеозаписи лекций курса Школы Анализа Данных, К.В. Воронцов]
* [https://www.coursera.org/specializations/machine-learning-data-analysis Coursera: Машинное обучение и анализ данных (специализация)]
* [https://www.coursera.org/learn/introduction-machine-learning Coursera: Введение в машинное обучение, К.В. Воронцов]

== Страницы предыдущих лет ==

[[Машинное_обучение_1/2017_2018 | 2017/2018 учебный год]]

[[Машинное_обучение_1/2016_2017 | 2016/2017 учебный год]]

Машинное обучение 1/2023 2024

2018-09-10T14:51:36Z

Emilkayumov: /* Семинары */

Машинное обучение 1/2023 2024

2018-09-07T13:35:39Z

Emilkayumov: /* Практические задания */

Машинное обучение 1/2023 2024

2018-09-07T13:35:24Z

Emilkayumov: /* Практические задания */

Машинное обучение 1/2023 2024

2018-09-07T13:28:26Z

Emilkayumov: /* Практические задания */ Добавлено практическое заданий 1.

Майнор Интеллектуальный анализ данных/Введение в анализ данных

2018-04-27T09:14:49Z

Emilkayumov: /* Практические задания */ Добавлено 3-е практическое задание.

== О курсе ==

Курс читается для студентов 2-го курса [https://electives.hse.ru/2015/minor_intel/ майнора ИАД] в 3-4 модулях.

Проводится с 2015 года.

'''Лектор:''' [http://www.hse.ru/staff/esokolov Соколов Евгений Андреевич]

Лекции проходят по средам, 10:30 - 11:50, ауд. 5306 (Шаболовка, 26).

=== Полезные ссылки ===

[https://www.hse.ru/ba/ami/courses/205537431.html Карточка курса и программа]

[https://github.com/esokolov/ml-minor-hse Репозиторий с материалами на GitHub]

Почта для сдачи домашних заданий: hse.minor.dm+<номер группы>@gmail.com (например, hse.minor.dm+3@gmail.com)

Канал в telegram для объявлений: https://telegram.me/hse_minor_intro_dm_2018

[https://docs.google.com/spreadsheets/d/1n6-_nCiIQYQQwDbqJKtDoKXNRlbEk3798nKTkOqc6YE/edit?usp=sharing Таблица с оценками]

Оставить отзыв на курс: [http://goo.gl/forms/RwdMxnChST форма]

'''Вопросы''' по курсу можно задавать на почту курса, а также в телеграм лектору (esokolov@) или семинаристу.
Вопросы по материалам лекций лучше всего оформлять в виде [https://github.com/esokolov/ml-minor-hse/issues Issue] в [https://github.com/esokolov/ml-minor-hse github-репозитории курса].

=== Семинары ===

{| class="wikitable"
|-
! Группа !! Преподаватель !! Учебный ассистент !! Страница !! Расписание
|-
| ИАД-1 || Рысьмятова Анастасия || Багиян Нерсес [https://t.me/nbagiyan Telegram], [mailto:nkb997@gmail.com Mail]|| [https://github.com/AnastasiaRysmyatova/IAD-1/blob/master/README.md Страница] || среда, 12:10 - 13:30, ауд. 4336
|-
| ИАД-2 || Талгат Даулбаев, Надежда Чиркова || Першин Максим [https://t.me/Skvidvardin Telegram], [mailto:max_pershin@bk.ru Mail] || [https://github.com/iad-24/seminars Страница] || среда, 09:00 - 10:20, ауд. 4336
|-
| ИАД-3 || Каюмов Эмиль || Ковалев Евгений [https://t.me/blackitten13 Telegram], [https://vk.com/blackitten13 VK], [https://www.instagram.com/blackitten13 Instagram :)] || || среда, 09:00 - 10:20, ауд. 4427
|-
| ИАД-4 || Надежда Чиркова, Талгат Даулбаев || Вальчук Ксения [https://t.me/nu_takoe Telegram], [mailto:ksenia.valchuk@gmail.com Mail] || [https://github.com/iad-24/seminars Страница] || среда, 12:10 - 13:30, ауд. 4335
|-
| ИАД-5 || Филатов Артём || Рогачевская Анастасия [https://t.me/arogachewskaya Telegram], [mailto:arogachewskaya@gmail.com Mail] || [https://t.me/joinchat/ABAXWFByRjNOFQCQabgiKA Telegram] || среда, 09:00 - 10:20, ауд. 4337
|-
|}

=== Правила выставления оценок ===

В курсе предусмотрено несколько форм контроля знания:
* Самостоятельные работы на семинарах, проверяющие знание основных фактов с лекций и семинаров
* Практические домашние работы на Python
* Контрольная где-то в середине курса
* Письменный экзамен

Итоговая оценка вычисляется на основе оценки за работу в семестре и оценки за экзамен:

Oитоговая = 0.7 * Oнакопленная + 0.3 * Оэкз

Оценка за работу в семестре вычисляется по формуле

Oнакопленная = 0.2 * Oсамостоятельные + 0.6 * Одз + 0.2 * Оконтрольная

Оценка за самостоятельную работу вычисляется как среднее по всем самостоятельным, оценка за домашнюю работу — как среднее по всем практическим заданиям.

=== Правила сдачи заданий ===

При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.

При наличии уважительной причины дедлайн по домашнему заданию может быть перенесён. Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.

==Лекции==
[[Файл:how-to-download.png|thumb|right|200px|Файлы со слайдами очень легко скачать с GitHub с помощью кнопки Raw!]]

Лекция 1 (17.01.2017). Введение в машинное обучение и анализ данных. [[https://github.com/esokolov/ml-minor-hse/blob/master/lectures-2018/lecture01-intro.pdf Слайды]]

Лекция 2 (24.01.2017). Типы задач машинного обучения. Типы признаков. Обобщающая способность и переобучение. Примеры задач анализа данных. [[https://github.com/esokolov/ml-minor-hse/blob/master/lectures-2018/lecture02-intro.pdf Слайды]]

Лекция 3 (31.01.2017). Векторы и матрицы. Норма, метрика и скалярное произведение. Качество классификации, доля верных ответов. Оценивание обобщающей способности, кросс-валидация. Гипотеза компактности. Метод k ближайших соседей. [[https://github.com/esokolov/ml-minor-hse/blob/master/lectures-2018/lecture03-knn.pdf Слайды]]

Лекция 4 (07.02.2017). Метод k ближайших соседей в регрессии. Среднеквадратичная ошибка. Матричное умножение. Производные и градиенты. Экстремумы функций. Обучение линейной регрессии. [[https://github.com/esokolov/ml-minor-hse/blob/master/lectures-2018/lecture04-regression.pdf Слайды]]

Лекция 5 (14.02.2017). Градиентный спуск. Линейные зависимости и мультиколлинеарность. Регуляризация линейных моделей. Масштабирование признаков. [[https://github.com/esokolov/ml-minor-hse/blob/master/lectures-2018/lecture05-regression.pdf Слайды]]

Лекция 6 (21.02.2017). Линейная классификация. Логистическая регрессия. Оценивание вероятностей. Метрики качества классификации: accuracy, precision, recall. [[https://github.com/esokolov/ml-minor-hse/blob/master/lectures-2018/lecture06-linclass.pdf Слайды]]

Лекция 7 (28.02.2017). Работа с категориальными признаками. Метрики качества регрессии: MSE, MAE, коэффициент детерминации. Устойчивые оценки. Качество классификации, AUC-PR, AUC-ROC. Параметры и гиперпараметры. [[https://github.com/esokolov/ml-minor-hse/blob/master/lectures-2018/lecture07-quality.pdf Слайды]]

Лекция 8 (14.03.2017). Многоклассовая классификация, подход one-vs-all. Решающие деревья. Критерии информативности. Энтропия и энтропийный критерий для классификации. Гиперпараметры деревьев, борьба с переобучением. [[https://github.com/esokolov/ml-minor-hse/blob/master/lectures-2018/lecture08-trees.pdf Слайды]]

Лекция 9 (21.03.2017). Композиции алгоритмов. Случайные леса [[https://github.com/esokolov/ml-minor-hse/blob/master/lectures-2018/lecture09-ensembles.pdf Слайды]]

Лекция 10 (18.04.2017). Понижение размерности данных. Отбор признаков: одномерные методы, отбор с помощью моделей. Визуализация данных, t-SNE. [[https://github.com/esokolov/ml-minor-hse/blob/master/lectures-2018/lecture10-reduction.pdf Слайды]]

Лекция 11 (25.04.2017). Обучение без учителя. Примеры задач. Кластеризация: K-Means, DBSCAN, графовые методы. Представления слов. [[https://github.com/esokolov/ml-minor-hse/blob/master/lectures-2018/lecture11-clustering.pdf Слайды]]

==Семинары==

Семинар 1 (17.01.2018). Библиотека для работы с матрицами Numpy. [[https://github.com/iad-24/seminars/blob/master/materials/hw_sem1_opt.ipynb Необязательное домашнее задание для тренировки]]

== Практические задания ==
За каждый день просрочки снимается 0.5 балла.

[https://github.com/AnastasiaRysmyatova/IAD-1/blob/master/materials/HW1_Username.ipynb Задание 1]. NumPy, Pandas, Matplotlib. Срок сдачи: 13 февраля 23:59

[https://github.com/AnastasiaRysmyatova/IAD-1/blob/master/materials/HW2_Username.ipynb Задание 2]. Линейная регрессия, KNN. Срок сдачи: 13 марта 23:59

[https://github.com/esokolov/ml-minor-hse/blob/master/homeworks-2018/practice-homework-03.ipynb Задание 3]. Логистическая регрессия, случайный лес. Срок сдачи: 18 мая 23:59

== Контрольная работа ==

Контрольная работа состоится 11 апреля во время лекции.
Аудитории 5306, 5215

Вопросы: https://docs.google.com/document/d/1UG6FJzJ52AEa92iKPu6uVh05RtPDF1zCBTRiuIl3juM/edit?usp=sharing

Примеры задач:
* Метрические методы, kNN [[http://nbviewer.jupyter.org/github/shestakoff/minor_da_2017/blob/master/colloc_knn.ipynb Примеры задач]]
* Линейные методы [[https://github.com/esokolov/ml-minor-hse/blob/master/colloquium-2017/colloquium_minor_problems_linear.pdf Примеры задач]]
* Решающие деревья [[https://github.com/esokolov/ml-minor-hse/blob/master/colloquium-2017/colloquium_minor_problems_trees.ipynb Примеры задач]]
* Метрики качества [[https://github.com/esokolov/ml-minor-hse/blob/master/colloquium-2017/colloquium_minor_problems_metrics.ipynb Примеры задач]]

== Экзамен ==

Вопросы прошлого года: https://docs.google.com/document/d/1IU2jEN5NU3tSuP_5YnFSS2GUDYxoLfSQ4dSy1B_a29M/edit?usp=sharing

[https://github.com/esokolov/ml-minor-hse/blob/master/exam-2017/exam_problems_example.pdf Примеры задач прошлого года] (также могут войти задачи из коллоквиума)

Если накопленная оценка равна 6 или выше, то можно её автоматом перенести в накопленную. Необходимое условие — хорошая оценка за контрольную работу (точный порог будет объявлен позже).

==Полезные материалы==
===Курсы по машинному обучению и анализу данных===
* [http://www.machinelearning.ru/wiki/index.php?title=Машинное_обучение_%28курс_лекций%2C_К.В.Воронцов%29 Курс по машинному обучению К.В. Воронцова]
* [https://yandexdataschool.ru/edu-process/courses/machine-learning Видеозаписи лекций курса Школы Анализа Данных, К.В. Воронцов]
* [https://www.coursera.org/specializations/machine-learning-data-analysis Coursera: Машинное обучение и анализ данных (специализация)]
* [https://www.coursera.org/learn/introduction-machine-learning Coursera: Введение в машинное обучение, К.В. Воронцов]
* [https://www.coursera.org/learn/machine-learning Coursera: Machine Learning, Andrew Ng]

===Статьи===
* [http://www.toptal.com/machine-learning/machine-learning-theory-an-introductory-primer An Introduction to Machine Learning Theory and Its Applications: A Visual Tutorial with Examples]
* [http://www.r2d3.us/visual-intro-to-machine-learning-part-1/ A Visual Introduction to Machine Learning]

===Книги===
* Mohammed J. Zaki, Wagner Meira Jr. Data Mining and Analysis. Fundamental Concepts and Algorithms. Cambridge University Press, 2014.
* Boris Mirkin. Core Concepts in Data Analysis: Summarization, Correlation, Visualization. 2010.
* James, Witten, Hastie, Tibshirani. An Introduction to Statistical Learning. 2013.

== Страницы прошлых лет ==

[[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/2016-2017 | 2016/17 учебный год ]]

[[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/2015-2016 | 2015/16 учебный год ]]

[[Category:Майнор "Интеллектуальный анализ данных"]]

Майнор Интеллектуальный анализ данных/Введение в анализ данных

2018-01-24T05:15:56Z

Emilkayumov: /* Семинары */

Майнор Интеллектуальный анализ данных/Введение в анализ данных

2018-01-24T05:14:51Z

Emilkayumov: /* Семинары */

Машинное обучение 1/2023 2024

2017-12-03T16:00:26Z

Emilkayumov: /* Семинары */ Добавлено теоретическое ДЗ 7

== О курсе ==

[[Файл:ML_surfaces.png|280px|borderless|left]]

Курс читается для студентов 3-го курса [https://cs.hse.ru/ami ПМИ ФКН ВШЭ] в 1-2 модулях.

Проводится с 2016 года.

'''Лектор:''' [http://www.hse.ru/staff/esokolov Соколов Евгений Андреевич]

Лекции проходят по пятницам, 10:30 - 11:50, ауд. 317.

=== Полезные ссылки ===

[https://www.hse.ru/ba/ami/courses/205507250.html Карточка курса и программа]

[https://github.com/esokolov/ml-course-hse Репозиторий с материалами на GitHub]

Почта для сдачи домашних заданий: hse.cs.ml+<номер группы>@gmail.com (например, hse.cs.ml+151@gmail.com)

Канал в telegram для объявлений: https://telegram.me/hse_cs_ml_course_2017

Чат в telegram для обсуждений: https://t.me/joinchat/A5rlQEQ7r16nvyHbyXtjNA

[https://docs.google.com/spreadsheets/d/16wj3eH2crdGY-MFqiMMUoy1E7uo80nYT2MYfz3Y7gx4/edit?usp=sharing Таблица с оценками]

Оставить отзыв на курс: [https://goo.gl/forms/5CddG0gc75VZvqi52 форма]

'''Вопросы''' по курсу можно задавать на почту курса, а также в телеграм лектору (esokolov@) или семинаристу.
Вопросы по материалам лекций/семинаров и по заданиям лучше всего оформлять в виде [https://github.com/esokolov/ml-course-hse/issues Issue] в [https://github.com/esokolov/ml-course-hse github-репозитории курса].

=== Семинары ===

{| class="wikitable"
|-
! Группа !! Преподаватель !! Учебный ассистент !! Страница !! Расписание
|-
| 151 (МОП) || [https://www.hse.ru/org/persons/165212870 Зиннурова Эльвира Альбертовна] || Атанов Андрей || || пятница, 12:10 - 13:30, ауд. 300
|-
| 152 (МОП) || [https://www.hse.ru/org/persons/191263008 Неклюдов Кирилл Олегович] || Гадецкий Артём || || понедельник, 15:10 - 16:30, ауд. 505
|-
| 153 (АПР) || [https://www.hse.ru/org/persons/209813467 Никишин Евгений Сергеевич] || Ковалёв Евгений || || пятница, 12:10 - 13:30, ауд. 322
|-
| 154 (АДИС) || [https://www.hse.ru/org/persons/209813459 Каюмов Эмиль Марселевич] || Панков Алексей || || пятница, 12:10 - 13:30, ауд. 501
|-
| 155 (РС) || [https://www.hse.ru/org/persons/192085968 Яшков Даниил Дмитриевич] || [https://t.me/despairazure Кохтев Вадим] || || понедельник, 12:10 - 13:30, ауд. 513
|-
| 156 (ТИ) || [https://www.hse.ru/org/persons/141880775 Умнов Алексей Витальевич] || Шевченко Александр || [[Машинное обучение 1/156 | ссылка]]|| пятница, 15:10 - 16:30, ауд. 311
|-
| Магистратура ФТиАД || [https://www.hse.ru/org/persons/191576735 Чиркова Надежда Александровна] || Першин Максим || ||
|-
|}

=== Консультации ===

=== Правила выставления оценок ===

В курсе предусмотрено несколько форм контроля знания:
* Самостоятельные работы на семинарах, проверяющие знание основных фактов с лекций
* Теоретические домашние работы и их защиты
* Практические домашние работы на Python
* Контрольные работы
* Письменный экзамен

Итоговая оценка вычисляется на основе оценки за работу в семестре и оценки за экзамен:

Oитоговая = 0.7 * Oнакопленная + 0.3 * Оэкз

Оценка за работу в семестре вычисляется по формуле

Oнакопленная = 0.1 * Oсамостоятельные + 0.4 * Опрактические дз + 0.3 * Отеоретические дз + 0.2 * Оконтрольные

Оценка за самостоятельную работу вычисляется как среднее по всем самостоятельным, оценка за домашнюю работу — как среднее по всем практическим заданиям и соревнованиям.

=== Правила сдачи заданий ===

Дедлайны по всем домашним заданиям являются жёсткими, то есть после срока работа не принимаются.

При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.

При наличии уважительной причины пропущенную проверочную можно написать позднее, а дедлайн по домашнему заданию может быть перенесён (при этом получить дополнительные баллы за призовые места на конкурсе можно только при участии в общий срок). Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.

== Лекции ==

'''Лекция 1''' (1 сентября). Введение в машинное обучение. Основные термины, постановки задач и примеры применения. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/lecture-notes/lecture01-intro.pdf Конспект]]

'''Лекция 2''' (8 сентября). Линейная регрессия. Метрики качества регрессии. Градиентный спуск и способы оценивания градиента. Продвинутые градиентные методы. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/lecture-notes/lecture02-linregr.pdf Конспект]]

'''Лекция 3''' (15 сентября). Переобучение и регуляризация. Разреженные линейные модели. Квантильная регрессия. Подготовка признаков. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/lecture-notes/lecture03-linregr.pdf Конспект]]

'''Лекция 4''' (22 сентября). Линейная классификация. Отступ и верхние оценки на пороговую функцию потерь. Метрики качества классификации. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/lecture-notes/lecture04-linclass.pdf Конспект]]

'''Лекция 5''' (29 сентября). Линейная классификация. Логистическая регрессия и оценки вероятности классов. Метод опорных векторов. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/lecture-notes/lecture05-linclass.pdf Конспект]]

'''Лекция 6''' (6 октября). Многоклассовая классификация, сведение к бинарным задачам. Многоклассовая логистическая регрессия. Классификация с пересекающимися классами. Метрики качества многоклассовой классификации. Категориальные признаки: хэширование и счётчики. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/lecture-notes/lecture06-linclass.pdf Конспект]]

'''Лекция 7''' (20 октября). Решающие деревья. Жадный алгоритм построения. Выбор лучшего разбиения с помощью критерия информативности. Критерии информативности для регрессии и классификации. Учёт пропусков в деревьях. Решающие деревья и категориальные признаки. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/lecture-notes/lecture07-trees.pdf Конспект]]

'''Лекция 8''' (3 ноября). Бутстрап и бэггинг. Разложение ошибки на смещение и разброс (bias-variance decomposition). Случайный лес. Вычисление расстояний с помощью лесов. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/lecture-notes/lecture08-ensembles.pdf Конспект]]

'''Лекция 9''' (10 ноября). Градиентный бустинг. Регуляризация. Особенности бустинга над деревьями. Взвешивание объектов в градиентном бустинге. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/lecture-notes/lecture09-ensembles.pdf Конспект]]

'''Лекция 10''' (17 ноября). Оптимизация второго порядка в градиентном бустинге. Регуляризация деревьев. XGBoost. Стекинг. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/lecture-notes/lecture10-ensembles.pdf Конспект]]

'''Лекция 11''' (23 ноября). Графы вычислений, их обучение и метод обратного распространения ошибки. Полносвязные, свёрточные и рекуррентные слои. Возможности аппроксимации. Transfer learning. Глубинное обучение. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/lecture-notes/lecture11-dl.pdf Конспект]]

'''Лекция 12''' (1 декабря). Обучение без учителя. Кластеризация: метрики качества, K-Means, иерархический и графовый подходы. Визуализация, t-SNE. Обучение представлений. word2vec. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/lecture-notes/lecture12-unsupervised.pdf Конспект]]

== Семинары ==

'''Семинар 1'''. Постановки задач, примеры применения, инструменты. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/seminars/sem01-intro.ipynb Ноутбук с семинара]] [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/seminars/sem01-tools.ipynb Ноутбук для самостоятельного изучения]]

'''Семинар 2'''. Векторное дифференцирование. Линейная регрессия, аналитическое и численное решение. Свойства градиента. Сравнение градиентного спуска и стохастического градиентного спуска. Scikit-learn. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/seminars/sem02-linregr-part1.pdf Конспект]] [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/seminars/sem02-linregr-part2.ipynb Notebook]] [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/homeworks-theory/homework-theory-01-linregr.pdf Домашнее задание]]

'''Семинар 3'''. Предобработка данных для линейных моделей. Функции потерь в линейной регрессии. Вероятностный взгляд на линейную регрессию. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/seminars/sem03-linregr.ipynb Notebook]] [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/homeworks-theory/homework-theory-02-linregr.pdf Домашнее задание]]

'''Семинар 4'''. Метрики качества классификации. ROC-кривая, алгоритм её построения, AUC-ROC. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/seminars/sem04-linclass-metrics.pdf Конспект]] [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/homeworks-theory/homework-theory-03-linclass-metrics.pdf Домашнее задание]]

'''Семинар 5'''. Оценивание вероятностей классов. Метод опорных векторов. Эквивалентность регуляризации и раннего останова в градиентном спуске. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/seminars/sem05-linclass.pdf Конспект]] [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/seminars/sem05-ipynb Конспект]] [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/homeworks-theory/homework-theory-04-linclass.pdf Домашнее задание]]

'''Семинар 6'''. Метод K ближайших соседей. Различные способы задания метрик. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/seminars/sem06-knn.pdf Конспект]]

'''Семинар 7'''. Решающие деревья. Критерии информативности. Способность решающих деревьев к переобучению. Калибровка вероятностей. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/seminars/sem07-trees.ipynb Конспект]] [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/homeworks-theory/homework-theory-05-knn-trees.pdf Домашнее задание]]

'''Семинар 8'''. Разложение ошибки на смещение и разброс. Композиции. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/seminars/sem08_bvd.pdf Конспект]] [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/homeworks-theory/homework-theory-06-bvd.pdf Домашнее задание]]

'''Семинар 9'''. Градиентный бустинг, его особенности по сравнению с другими видами композиций алгоритмов. Особенности градиентного бустинга над деревьями. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/seminars/sem09-gbm-part1.pdf Конспект]] [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/seminars/sem09-gbm-part2.ipynb Notebook]]

'''Семинар 10'''. Метод обратного распространения ошибки. Нейронные сети. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/seminars/sem10-nn-part1.pdf Конспект]] [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/seminars/sem10-nn-part2.ipynb Notebook]] [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/homeworks-theory/homework-theory-07-nn.pdf Домашнее задание]]

== Практические задания ==

За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются.

'''Задание 1.''' Библиотека numpy и работа с данными.

Дата выдачи: 18.09.2017

Мягкий дедлайн: 01.10.2017 23:59MSK

Жесткий дедлайн: 08.10.2017 23:59MSK.

[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/homeworks-practice/homework-practice-01.ipynb Условие],
[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/homeworks-practice/homework-practice-01.zip архив с условием и шаблонами],
[https://official.contest.yandex.ru/contest/5016/problems/ соревнование в Яндекс.Контесте],
[https://contest.yandex.ru/contest/5016/problems/ альтернативная ссылка на соревнование в Яндекс.Контесте].

'''Задание 2.''' Линейные методы и работа с категориальными признаками

Дата выдачи: 03.11.2017

Мягкий дедлайн: 19.11.2017 23:59MSK

Жесткий дедлайн: 26.11.2017 23:59MSK

[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/homeworks-practice/homework-practice-02.ipynb Условие], [https://official.contest.yandex.ru/contest/5704/problems/ соревнование в Яндекс.Контесте],
[https://contest.yandex.ru/contest/5704/problems/ альтернативная ссылка на соревнование в Яндекс.Контесте].

'''Задание 3.''' Разложение ошибки на смещение и разброс, решающие деревья, композиции.

Дата выдачи: 27.11.2017

Мягкий дедлайн: 10.12.2017 23:59MSK

Жесткий дедлайн: 17.12.2017 23:59MSK

За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются.

[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/homeworks-practice/homework-practice-03/homework-practice-03.ipynb Условие], [https://official.contest.yandex.ru/contest/6469/problems/ соревнование в Яндекс.Контесте],
[https://contest.yandex.ru/contest/6469/problems/ альтернативная ссылка на соревнование в Яндекс.Контесте].

==Теоретические домашние заданий==

После (почти) каждого семинара выкладывается теоретическое домашнее задание, состоящее из задач по теме прошедших занятий. Выполнение каждого из данных заданий проверяется при помощи его защиты: преподаватель или ассистент спрашивает решения 1-2 задач из задания, и оценка за каждую из спрошенных задач выставляется, если студент успешно рассказывает решения и отвечает на сопутствующие вопросы принимающего. Подробные правила защит описаны [https://docs.google.com/document/d/1Fo2dUGHEJU_6P5Snex1i4qP793zdaYmqg8_Ayt980dY/edit?usp=sharing здесь]. Начиная с ДЗ №5 отправка решений в отсканированном или набранном в ТеХе виде обязательна.

'''ДЗ №№1—4'''

Срок защиты (включительно): 13.10.2017 (151, 153, 154, 156 группы), 16.10.2017 (152, 155 группы)

Срок отправки решений: 15.10.2017 23:59MSK (151, 153, 154, 156 группы), 18.10.2017 23:59MSK (152, 155 группы)

'''ДЗ №№5—6'''

Срок защиты (включительно): 11.12.2017

Срок отправки решений: 04.12.2017 23:59MSK

'''ДЗ №№7—8'''

Срок защиты (включительно): 19.12.2017

Срок отправки решений: 12.12.2017 23:59MSK

== Бонусы за соревнования ==

За успешное участие в соревнованиях по анализу данных могут быть выставлены бонусные баллы, которые можно прибавить к оценке за любое практическое или теоретическое домашнее задание, а также за самостоятельную работу. Конкретное число баллов определяется преподавателями и зависит от сложности соревнования и занятого места. За одно соревнование можно получить не более 5 баллов. Для получения оценки необходимо предоставить краткий отчёт о решении задачи.

== Контрольная работа ==

Дата: 08.12.2017

[[https://docs.google.com/document/d/19PtvmS2SEVnhzLc7_yzQ0kBKHv44bL1RwYDSweWDXaU/edit?usp=sharing Вопросы для подготовки]]

Контрольная работа будет проводиться на лекции по обычному расписанию (10:30, ауд. 317). Работа является письменной и будет состоять из теоретических вопросов (список появится в ближайшее время) и задач.

== Полезные материалы ==
===Книги===
* Hastie T., Tibshirani R, Friedman J. The Elements of Statistical Learning (2nd edition). Springer, 2009.
* Bishop C. M. Pattern Recognition and Machine Learning. Springer, 2006.
* Mohri M., Rostamizadeh A., Talwalkar A. Foundations of Machine Learning. MIT Press, 2012.
* Murphy K. Machine Learning: A Probabilistic Perspective. MIT Press, 2012.
* Mohammed J. Zaki, Wagner Meira Jr. Data Mining and Analysis. Fundamental Concepts and Algorithms. Cambridge University Press, 2014.
* Willi Richert, Luis Pedro Coelho. Building Machine Learning Systems with Python. Packt Publishing, 2013.

===Курсы по машинному обучению и анализу данных===
* [http://www.machinelearning.ru/wiki/index.php?title=Машинное_обучение_%28курс_лекций%2C_К.В.Воронцов%29 Курс по машинному обучению К.В. Воронцова]
* [https://yandexdataschool.ru/edu-process/courses/machine-learning Видеозаписи лекций курса Школы Анализа Данных, К.В. Воронцов]
* [https://www.coursera.org/specializations/machine-learning-data-analysis Coursera: Машинное обучение и анализ данных (специализация)]
* [https://www.coursera.org/learn/introduction-machine-learning Coursera: Введение в машинное обучение, К.В. Воронцов]

== Страницы предыдущих лет ==

[[Машинное_обучение_1/2016_2017 | 2016/2017 учебный год]]

Машинное обучение 1/2023 2024

2017-11-25T15:50:33Z

Emilkayumov: /* Семинары */ Добавлен 10-й семинар

== О курсе ==

[[Файл:ML_surfaces.png|280px|borderless|left]]

Курс читается для студентов 3-го курса [https://cs.hse.ru/ami ПМИ ФКН ВШЭ] в 1-2 модулях.

Проводится с 2016 года.

'''Лектор:''' [http://www.hse.ru/staff/esokolov Соколов Евгений Андреевич]

Лекции проходят по пятницам, 10:30 - 11:50, ауд. 317.

=== Полезные ссылки ===

[https://www.hse.ru/ba/ami/courses/205507250.html Карточка курса и программа]

[https://github.com/esokolov/ml-course-hse Репозиторий с материалами на GitHub]

Почта для сдачи домашних заданий: hse.cs.ml+<номер группы>@gmail.com (например, hse.cs.ml+151@gmail.com)

Канал в telegram для объявлений: https://telegram.me/hse_cs_ml_course_2017

Чат в telegram для обсуждений: https://t.me/joinchat/A5rlQEQ7r16nvyHbyXtjNA

[https://docs.google.com/spreadsheets/d/16wj3eH2crdGY-MFqiMMUoy1E7uo80nYT2MYfz3Y7gx4/edit?usp=sharing Таблица с оценками]

Оставить отзыв на курс: [https://goo.gl/forms/5CddG0gc75VZvqi52 форма]

'''Вопросы''' по курсу можно задавать на почту курса, а также в телеграм лектору (esokolov@) или семинаристу.
Вопросы по материалам лекций/семинаров и по заданиям лучше всего оформлять в виде [https://github.com/esokolov/ml-course-hse/issues Issue] в [https://github.com/esokolov/ml-course-hse github-репозитории курса].

=== Семинары ===

{| class="wikitable"
|-
! Группа !! Преподаватель !! Учебный ассистент !! Страница !! Расписание
|-
| 151 (МОП) || [https://www.hse.ru/org/persons/165212870 Зиннурова Эльвира Альбертовна] || Атанов Андрей || || пятница, 12:10 - 13:30, ауд. 300
|-
| 152 (МОП) || [https://www.hse.ru/org/persons/191263008 Неклюдов Кирилл Олегович] || Гадецкий Артём || || понедельник, 15:10 - 16:30, ауд. 505
|-
| 153 (АПР) || [https://www.hse.ru/org/persons/209813467 Никишин Евгений Сергеевич] || Ковалёв Евгений || || пятница, 12:10 - 13:30, ауд. 322
|-
| 154 (АДИС) || [https://www.hse.ru/org/persons/209813459 Каюмов Эмиль Марселевич] || Панков Алексей || || пятница, 12:10 - 13:30, ауд. 501
|-
| 155 (РС) || [https://www.hse.ru/org/persons/192085968 Яшков Даниил Дмитриевич] || [https://t.me/despairazure Кохтев Вадим] || || понедельник, 12:10 - 13:30, ауд. 513
|-
| 156 (ТИ) || [https://www.hse.ru/org/persons/141880775 Умнов Алексей Витальевич] || Шевченко Александр || [[Машинное обучение 1/156 | ссылка]]|| пятница, 15:10 - 16:30, ауд. 311
|-
| Магистратура ФТиАД || [https://www.hse.ru/org/persons/191576735 Чиркова Надежда Александровна] || Першин Максим || ||
|-
|}

=== Консультации ===

=== Правила выставления оценок ===

В курсе предусмотрено несколько форм контроля знания:
* Самостоятельные работы на семинарах, проверяющие знание основных фактов с лекций
* Теоретические домашние работы и их защиты
* Практические домашние работы на Python
* Контрольные работы
* Письменный экзамен

Итоговая оценка вычисляется на основе оценки за работу в семестре и оценки за экзамен:

Oитоговая = 0.7 * Oнакопленная + 0.3 * Оэкз

Оценка за работу в семестре вычисляется по формуле

Oнакопленная = 0.1 * Oсамостоятельные + 0.4 * Опрактические дз + 0.3 * Отеоретические дз + 0.2 * Оконтрольные

Оценка за самостоятельную работу вычисляется как среднее по всем самостоятельным, оценка за домашнюю работу — как среднее по всем практическим заданиям и соревнованиям.

=== Правила сдачи заданий ===

Дедлайны по всем домашним заданиям являются жёсткими, то есть после срока работа не принимаются.

При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.

При наличии уважительной причины пропущенную проверочную можно написать позднее, а дедлайн по домашнему заданию может быть перенесён (при этом получить дополнительные баллы за призовые места на конкурсе можно только при участии в общий срок). Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.

== Лекции ==

'''Лекция 1''' (1 сентября). Введение в машинное обучение. Основные термины, постановки задач и примеры применения. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/lecture-notes/lecture01-intro.pdf Конспект]]

'''Лекция 2''' (8 сентября). Линейная регрессия. Метрики качества регрессии. Градиентный спуск и способы оценивания градиента. Продвинутые градиентные методы. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/lecture-notes/lecture02-linregr.pdf Конспект]]

'''Лекция 3''' (15 сентября). Переобучение и регуляризация. Разреженные линейные модели. Квантильная регрессия. Подготовка признаков. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/lecture-notes/lecture03-linregr.pdf Конспект]]

'''Лекция 4''' (22 сентября). Линейная классификация. Отступ и верхние оценки на пороговую функцию потерь. Метрики качества классификации. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/lecture-notes/lecture04-linclass.pdf Конспект]]

'''Лекция 5''' (29 сентября). Линейная классификация. Логистическая регрессия и оценки вероятности классов. Метод опорных векторов. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/lecture-notes/lecture05-linclass.pdf Конспект]]

'''Лекция 6''' (6 октября). Многоклассовая классификация, сведение к бинарным задачам. Многоклассовая логистическая регрессия. Классификация с пересекающимися классами. Метрики качества многоклассовой классификации. Категориальные признаки: хэширование и счётчики. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/lecture-notes/lecture06-linclass.pdf Конспект]]

'''Лекция 7''' (20 октября). Решающие деревья. Жадный алгоритм построения. Выбор лучшего разбиения с помощью критерия информативности. Критерии информативности для регрессии и классификации. Учёт пропусков в деревьях. Решающие деревья и категориальные признаки. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/lecture-notes/lecture07-trees.pdf Конспект]]

'''Лекция 8''' (3 ноября). Бутстрап и бэггинг. Разложение ошибки на смещение и разброс (bias-variance decomposition). Случайный лес. Вычисление расстояний с помощью лесов. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/lecture-notes/lecture08-ensembles.pdf Конспект]]

'''Лекция 9''' (10 ноября). Градиентный бустинг. Регуляризация. Особенности бустинга над деревьями. Взвешивание объектов в градиентном бустинге. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/lecture-notes/lecture09-ensembles.pdf Конспект]]

'''Лекция 10''' (17 ноября). Оптимизация второго порядка в градиентном бустинге. Регуляризация деревьев. XGBoost. Стекинг. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/lecture-notes/lecture10-ensembles.pdf Конспект]]

'''Лекция 11''' (23 ноября). Графы вычислений, их обучение и метод обратного распространения ошибки. Полносвязные, свёрточные и рекуррентные слои. Возможности аппроксимации. Transfer learning. Глубинное обучение. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/lecture-notes/lecture11-dl.pdf Конспект]]

== Семинары ==

'''Семинар 1'''. Постановки задач, примеры применения, инструменты. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/seminars/sem01-intro.ipynb Ноутбук с семинара]] [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/seminars/sem01-tools.ipynb Ноутбук для самостоятельного изучения]]

'''Семинар 2'''. Векторное дифференцирование. Линейная регрессия, аналитическое и численное решение. Свойства градиента. Сравнение градиентного спуска и стохастического градиентного спуска. Scikit-learn. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/seminars/sem02-linregr-part1.pdf Конспект]] [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/seminars/sem02-linregr-part2.ipynb Notebook]] [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/homeworks-theory/homework-theory-01-linregr.pdf Домашнее задание]]

'''Семинар 3'''. Предобработка данных для линейных моделей. Функции потерь в линейной регрессии. Вероятностный взгляд на линейную регрессию. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/seminars/sem03-linregr.ipynb Notebook]] [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/homeworks-theory/homework-theory-02-linregr.pdf Домашнее задание]]

'''Семинар 4'''. Метрики качества классификации. ROC-кривая, алгоритм её построения, AUC-ROC. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/seminars/sem04-linclass-metrics.pdf Конспект]] [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/homeworks-theory/homework-theory-03-linclass-metrics.pdf Домашнее задание]]

'''Семинар 5'''. Оценивание вероятностей классов. Метод опорных векторов. Эквивалентность регуляризации и раннего останова в градиентном спуске. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/seminars/sem05-linclass.pdf Конспект]] [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/seminars/sem05-ipynb Конспект]] [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/homeworks-theory/homework-theory-04-linclass.pdf Домашнее задание]]

'''Семинар 6'''. Метод K ближайших соседей. Различные способы задания метрик. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/seminars/sem06-knn.pdf Конспект]]

'''Семинар 7'''. Решающие деревья. Критерии информативности. Способность решающих деревьев к переобучению. Калибровка вероятностей. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/seminars/sem07-trees.ipynb Конспект]] [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/homeworks-theory/homework-theory-05-knn-trees.pdf Домашнее задание]]

'''Семинар 8'''. Разложение ошибки на смещение и разброс. Композиции. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/seminars/sem08_bvd.pdf Конспект]] [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/homeworks-theory/homework-theory-06-bvd.pdf Домашнее задание]]

'''Семинар 9'''. Градиентный бустинг, его особенности по сравнению с другими видами композиций алгоритмов. Особенности градиентного бустинга над деревьями. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/seminars/sem09-gbm-part1.pdf Конспект]] [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/seminars/sem09-gbm-part2.ipynb Notebook]]

'''Семинар 10'''. Метод обратного распространения ошибки. Нейронные сети. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/seminars/sem10-nn-part1.pdf Конспект]] [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/seminars/sem10-nn-part2.ipynb Notebook]]

== Практические задания ==

'''Задание 1.''' Библиотека numpy и работа с данными.

Дата выдачи: 18.09.2017

Мягкий дедлайн: 01.10.2017 23:59MSK

Жесткий дедлайн: 08.10.2017 23:59MSK.

За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются.

[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/homeworks-practice/homework-practice-01.ipynb Условие],
[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/homeworks-practice/homework-practice-01.zip архив с условием и шаблонами],
[https://official.contest.yandex.ru/contest/5016/problems/ соревнование в Яндекс.Контесте],
[https://contest.yandex.ru/contest/5016/problems/ альтернативная ссылка на соревнование в Яндекс.Контесте].

'''Задание 2.''' Линейные методы и работа с категориальными признаками

Дата выдачи: 03.11.2017

Мягкий дедлайн: 19.11.2017 23:59MSK

Жесткий дедлайн: 26.11.2017 23:59MSK

За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются.

[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/homeworks-practice/homework-practice-02.ipynb Условие], [https://official.contest.yandex.ru/contest/5704/problems/ соревнование в Яндекс.Контесте]
[https://contest.yandex.ru/contest/5704/problems/ альтернативная ссылка на соревнование в Яндекс.Контесте].

==Теоретические домашние заданий==

После (почти) каждого семинара выкладывается теоретическое домашнее задание, состоящее из задач по теме прошедших занятий. Выполнение каждого из данных заданий проверяется при помощи его защиты: преподаватель или ассистент спрашивает решения 1-2 задач из задания, и оценка за каждую из спрошенных задач выставляется, если студент успешно рассказывает решения и отвечает на сопутствующие вопросы принимающего. Подробные правила защит описаны [https://docs.google.com/document/d/1Fo2dUGHEJU_6P5Snex1i4qP793zdaYmqg8_Ayt980dY/edit?usp=sharing здесь]. Начиная с ДЗ №5 отправка решений в отсканированном или набранном в ТеХе виде обязательна.

'''ДЗ №№1—4'''

Срок защиты (включительно): 13.10.2017 (151, 153, 154, 156 группы), 16.10.2017 (152, 155 группы)

Срок отправки решений: 15.10.2017 23:59MSK (151, 153, 154, 156 группы), 18.10.2017 23:59MSK (152, 155 группы)

'''ДЗ №№5—6'''

Срок защиты (включительно): 11.12.2017

Срок отправки решений: 04.12.2017 23:59MSK

'''ДЗ №№7—8'''

Срок защиты (включительно): 19.12.2017

Срок отправки решений: 12.12.2017 23:59MSK

== Бонусы за соревнования ==

За успешное участие в соревнованиях по анализу данных могут быть выставлены бонусные баллы, которые можно прибавить к оценке за любое практическое или теоретическое домашнее задание, а также за самостоятельную работу. Конкретное число баллов определяется преподавателями и зависит от сложности соревнования и занятого места. За одно соревнование можно получить не более 5 баллов. Для получения оценки необходимо предоставить краткий отчёт о решении задачи.

== Контрольная работа ==

Дата: 08.12.2017

[[Вопросы для подготовки]]

Контрольная работа будет проводиться на лекции по обычному расписанию (10:30, ауд. 317). Работа является письменной и будет состоять из теоретических вопросов (список появится в ближайшее время) и задач.

== Полезные материалы ==
===Книги===
* Hastie T., Tibshirani R, Friedman J. The Elements of Statistical Learning (2nd edition). Springer, 2009.
* Bishop C. M. Pattern Recognition and Machine Learning. Springer, 2006.
* Mohri M., Rostamizadeh A., Talwalkar A. Foundations of Machine Learning. MIT Press, 2012.
* Murphy K. Machine Learning: A Probabilistic Perspective. MIT Press, 2012.
* Mohammed J. Zaki, Wagner Meira Jr. Data Mining and Analysis. Fundamental Concepts and Algorithms. Cambridge University Press, 2014.
* Willi Richert, Luis Pedro Coelho. Building Machine Learning Systems with Python. Packt Publishing, 2013.

===Курсы по машинному обучению и анализу данных===
* [http://www.machinelearning.ru/wiki/index.php?title=Машинное_обучение_%28курс_лекций%2C_К.В.Воронцов%29 Курс по машинному обучению К.В. Воронцова]
* [https://yandexdataschool.ru/edu-process/courses/machine-learning Видеозаписи лекций курса Школы Анализа Данных, К.В. Воронцов]
* [https://www.coursera.org/specializations/machine-learning-data-analysis Coursera: Машинное обучение и анализ данных (специализация)]
* [https://www.coursera.org/learn/introduction-machine-learning Coursera: Введение в машинное обучение, К.В. Воронцов]

== Страницы предыдущих лет ==

[[Машинное_обучение_1/2016_2017 | 2016/2017 учебный год]]

Машинное обучение 1/2023 2024

2017-11-02T23:14:04Z

Emilkayumov: /* Практические задания */

Машинное обучение 1/2023 2024

2017-11-02T23:13:46Z

Emilkayumov: /* Практические задания */

Машинное обучение 1/2023 2024

2017-11-02T23:13:23Z

Emilkayumov: /* Практические задания */ Добавлено второе практическое задание.

Машинное обучение 1/2023 2024

2017-09-08T18:12:35Z

Emilkayumov: /* Семинары */ Добавлена ссылка второй ноутбук с семинара 1

Машинное обучение 1/2023 2024

2017-09-04T06:52:17Z

Emilkayumov: /* Семинары */ Добавлена ссылка на семинар 1