Wiki - Факультет компьютерных наук - Вклад [ru]

Машинное обучение 2/2023 2024

2022-04-22T10:52:33Z

Ainurmukh:

== О курсе ==

[[Файл:ML_surfaces.png|280px|borderless|left]]

Курс читается для студентов 3-го курса [https://cs.hse.ru/ami ПМИ ФКН ВШЭ] в 3-4 модулях.

Проводится с 2016 года.

'''Лектор:''' [http://www.hse.ru/staff/esokolov Соколов Евгений Андреевич]

Лекции проходят по пятницам, 11:10 - 12:30, в [https://zoom.us/j/97122303621?pwd=aytscC9BY0lBbUo1ZU1QSm05Vzdodz09 zoom].

=== Полезные ссылки ===

[https://www.hse.ru/edu/courses/339494475 Карточка курса и программа]

[https://github.com/esokolov/ml-course-hse Репозиторий с материалами на GitHub]

Почта для сдачи домашних заданий (на самом деле задания сдаются в AnyTask, но если он не работает, то присылайте на почту): hse.cs.ml+<номер группы>@gmail.com (например, hse.cs.ml+161@gmail.com)

Канал в telegram для объявлений: https://t.me/hse_cs_ml_2

Чат в telegram для обсуждений (предназначение чата до конца не ясно, вопросы может быть правильнее задавать в чатах групп): https://t.me/+NRpKJ09prtRlMTli

Ссылка на курс в Anytask: https://anytask.org/course/905

[https://docs.google.com/spreadsheets/d/1_qMPqgcJZEJaiXZpMbjKM0trw_aGkkulrZG7Lq7kjU8/edit?usp=sharing Таблица с оценками]

Плейлист с записями занятий: https://www.youtube.com/playlist?list=PLEwK9wdS5g0o_HWWtNffNsBPpNmeuSDYV

Оставить отзыв на курс: [https://goo.gl/forms/5CddG0gc75VZvqi52 форма]

'''Вопросы''' по курсу можно задавать на почту курса, а также в телеграм лектору (esokolov@) или семинаристу.
Вопросы по материалам лекций/семинаров и по заданиям лучше всего оформлять в виде [https://github.com/esokolov/ml-course-hse/issues Issue] в [https://github.com/esokolov/ml-course-hse github-репозитории курса].

=== Семинары ===

{| class="wikitable"
|-
! Группа !! Преподаватель !! Учебный ассистент
|-
| 191 (МОП) || [https://www.hse.ru/org/persons/208533329 Шабалин Александр Михайлович] || [https://t.me/ainmukh Мухамбетова Айнур]
|-
| 192 (МОП) || [http://www.hse.ru/staff/esokolov Соколов Евгений Андреевич] || [https://t.me/Birshert Биршерт Леша] [https://t.me/madn_boi Морозов Никита]
|-
| 193 (МОП) || [https://www.hse.ru/org/persons/208522505 Садртдинов Ильдус Рустемович] || [https://t.me/horror_in_black Коган Саша] [https://t.me/sol_arch Андреев Никита]
|-
| Курс по выбору для ПМИ || Каюмов Эмиль Марселевич || [https://t.me/tamogashev_kv Тамогашев Кирилл] [https://t.me/sol_arch Андреев Никита]

|-
| Межампус || [https://www.hse.ru/org/persons/218009880 Ульянкин Филипп] [https://t.me/ppilif @ppilif] || [https://t.me/cherepasska Баранов Миша] [https://t.me/tamogashev_kv Тамогашев Кирилл]
|-
|}

=== Правила выставления оценок ===

В курсе предусмотрено несколько форм контроля знания:
* Самостоятельные работы на семинарах, проверяющие знание основных фактов с лекций
* Практические домашние работы на Python
* Устный коллоквиум
* Письменный экзамен

Итоговая оценка вычисляется на основе оценки за работу в семестре и оценки за экзамен:

Итог = Округление(0.4 * ДЗ + 0.2 * К + 0.1 * ПР + 0.3 * Э)

ПР — средняя оценка за самостоятельные работы на семинарах

ДЗ — средняя оценка за практические домашние работы на Python

К — оценка за коллоквиум

Э — оценка за экзамен

Округление арифметическое.

=== Правила сдачи заданий ===

За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются. Даже при опоздании на одну секунду. Сдавайте заранее.

Два раза студент может сдать домашнее задание после мягкого дедлайна (но до жёсткого) без штрафов. Также разрешается в конце курса написать одну проверочную, пропущенную без уважительной причины.

При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.

При наличии уважительной причины пропущенную проверочную можно написать позднее, а дедлайн по домашнему заданию может быть перенесён. Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.

== Лекции ==

Ко всем конспектам на GitHub есть исходники. Исправления и дополнения всячески приветствуются!

'''Лекция 1''' (14 января). Ядровые методы [[https://github.com/esokolov/ml-course-hse/blob/master/2021-spring/lecture-notes/lecture13-kernels.pdf Конспект]] [[https://youtu.be/EHolYsWUXNE Запись лекции]]

'''Лекция 2''' (21 января). Ядровой метод опорных векторов [[https://github.com/esokolov/ml-course-hse/blob/master/2021-spring/lecture-notes/lecture14-kernels.pdf Конспект]] [[https://youtu.be/rK-yypS9Soo Запись лекции]]

'''Лекция 3''' (28 января). Аппроксимация ядер. ЕМ-алгоритм. [[https://github.com/esokolov/ml-course-hse/blob/master/2020-spring/lecture-notes/lecture15-em.pdf Конспект]] [[https://youtu.be/3naJOfl2lpQ Запись лекции]]

'''Лекция 4''' (4 февраля). ЕМ-алгоритм. [[https://github.com/esokolov/ml-course-hse/blob/master/2020-spring/lecture-notes/lecture15-em.pdf Конспект]] [[https://youtu.be/XR01YWk0ssA Запись лекции]]

'''Лекция 5''' (14 февраля). Одноклассовая классификация. [[https://github.com/esokolov/ml-course-hse/blob/master/2020-spring/lecture-notes/lecture16-anomaly.pdf Конспект]] [[https://youtu.be/hE3aOQhNWaE Запись лекции]]

'''Лекция 6''' (26 февраля). Одноклассовая классификация. Спектральная кластеризация. [[https://github.com/esokolov/ml-course-hse/blob/master/2020-spring/lecture-notes/lecture17-clusterization.pdf Конспект]] [[https://youtu.be/N6h11I4j5hw Запись лекции]]

'''Лекция 7''' (7 марта). Спектральная кластеризация. Внешние метрики качества кластеризации. [[https://youtu.be/hyQUyGYDrfU Запись лекции]]

'''Лекция 8''' (11 марта). Метрические методы. [[https://github.com/esokolov/ml-course-hse/blob/master/2020-spring/lecture-notes/lecture20-knn.pdf Конспект]] [[https://youtu.be/lZm69TlIGSU Запись лекции]]

'''Лекция 9''' (24 марта). Быстрый поиск ближайших соседей. [[https://github.com/esokolov/ml-course-hse/blob/master/2020-spring/lecture-notes/lecture20-knn.pdf Конспект]] [[https://youtu.be/wGncBo-v0KQ Запись лекции]]

'''Лекция 10''' (25 марта). Быстрый поиск ближайших соседей. [[https://youtu.be/G-BNulqXJ6w Запись лекции]]

'''Лекция 11''' (11 апреля). Частичное обучение [[https://github.com/esokolov/ml-course-hse/blob/master/2020-spring/lecture-notes/lecture19-semisupervised.pdf Конспект]] [[https://youtu.be/-kW7yytkQyU Запись лекции]]

Кристина, нормально?

Миша, огонь, спасибо!

== Семинары ==

'''Семинар 1'''. Задачи условной оптимизации и теорема Куна-Таккера. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-spring/seminars/sem13-kkt.pdf Конспект]]

'''Семинар 2'''. Задачи на построение ядер. Задачи на прямую и двойственную формулировки метода опорных векторов. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-spring/seminars/sem14-kernels.pdf Конспект]]

'''Семинар 3'''. EM-алгоритм. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-spring/seminars/sem15-em.pdf Конспект]]. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-spring/seminars/sem15-em.ipynb Ноутбук с применением алгоритма]]

'''Семинар 4'''. Байесовские методы машинного обучения. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-spring/seminars/sem16-bayes.pdf Конспект]]

'''Семинар 5'''. Машинное обучение на графах. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-spring/seminars/sem17-graph.pdf Конспект]]. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-spring/seminars/sem17-graph.ipynb Ноутбук с примерами методов]]

'''Семинар 6'''. Кластеризация на графах. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-spring/seminars/sem18-graph-clustering.pdf Конспект]]

'''Семинар 7'''. kNN. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-spring/seminars/sem19-knn.pdf Конспект]]. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-spring/seminars/sem19-knn.ipynb Ноутбук с примерами]]

'''Семинар 8'''. Обучение метрик. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-spring/seminars/sem20-metric-learning.pdf Конспект]]

'''Семинар 9'''. Multi-label классификация. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-spring/seminars/sem21-multilabel.pdf Конспект]]

'''Семинар 10'''. Интерпретируемость моделей. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-spring/seminars/sem22-interpreting.pdf Конспект]]

'''Семинар 11'''. Ранжирование. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-spring/seminars/sem23-ranking.pdf Конспект]]

== Теоретические задания ==

[https://github.com/esokolov/ml-course-hse/tree/master/2021-spring/homeworks-theory Теоретические ДЗ] не проверяются, но задачи из них могут войти в проверочные работы на семинарах.

'''Задание 1.''' Ядра и условия ККТ. [https://github.com/esokolov/ml-course-hse/blob/master/2021-spring/homeworks-theory/homework-theory-05-kernels.pdf Условие]

'''Задание 2.''' ЕМ-алгоритм. [https://github.com/esokolov/ml-course-hse/blob/master/2021-spring/homeworks-theory/homework-theory-06-em.pdf Условие]

== Практические задания ==

'''Задание 8.''' Метод опорных векторов и аппроксимация ядер

Мягкий дедлайн: 14.02.2022 23:59.

Жесткий дедлайн: 17.02.2022 23:59.

[[https://github.com/esokolov/ml-course-hse/blob/master/2021-spring/homeworks-practice/homework-practice-08-random-features.ipynb Ноутбук с заданием]]

'''Задание 9.''' EM-алгоритм

Мягкий дедлайн: 10.03.2022 23:59.

Жесткий дедлайн: 13.03.2022 23:59.

[[https://github.com/esokolov/ml-course-hse/blob/master/2021-spring/homeworks-practice/homework-practice-09-em/homework-practice-09-em.ipynb Ноутбук с заданием]] / [[https://contest.yandex.ru/contest/35552 контест]]

'''Задание 10.''' Обучение без учителя

Мягкий дедлайн: 06.04.2022 23:59.

Жесткий дедлайн: 10.04.2022 23:59.

[[https://github.com/esokolov/ml-course-hse/blob/master/2021-spring/homeworks-practice/homework-practice-10-unsupervised.ipynb Ноутбук с заданием]]

== Соревнования ==

===Правила участия и оценивания===
В соревновании по анализу данных вам предлагается по имеющимся данным решить некоторую задачу, оптимизируя указанную метрику, и отправить ответы для заданного тестового множества. Максимальное количество посылок в сутки ограничено (как правило, разрешается сделать 2 посылки), ближе к концу соревнования вам будем необходимо выбрать 2 посылки, которые вы считаете лучшими. Тестовые данные делятся на публичные и приватные в некотором соотношении, на основе которых строятся публичный и приватный лидерборды соответственно, при этом публичный лидерборд доступен в течение всего соревнования, а приватный строится после его окончания для выбранных вами посылок.

В лидербордах каждого из соревнований присутствуют несколько базовых решений (бейзлайнов), каждое из которых соответствует определённой оценке. Например, для получения оценки не ниже 8 баллов необходимо, чтобы ваше решение на '''приватном''' лидерборде оказалось лучше соответствующего бейзлайна. Далее для студента, преодолевшего бейзлайн на N_1 баллов, но не преодолевшего бейзлайн на N_2 балла, итоговая оценка за соревнование рассчитывается по равномерной сетке среди всех таких студентов в зависимости от места в приватном лидерборде среди них; если быть точными, то по следующей формуле:

N_2 - (N_2 - N_1) * i / M,

где M — количество студентов (из всех студентов, изучающих курс), преодолевших бейзлайн на N_1 баллов, но не преодолевших бейзлайн на N_2 балла;

i — место (начиная с 1) студента в приватном лидерборде среди всех таких студентов.

Единственное исключение из формулы — студенты, преодолевшие самый сильный бейзлайн, получают прибавку 1/M к своей оценке.

Чтобы вас не пропустили при проверке решений соревнования, '''необходимо''' использовать следующий формат для имени команды (вкладка Team):

«Имя Фамилия номер_группы»

В течение 3 суток после окончания соревнования в соответствующее задание на anytask необходимо прислать код, воспроизводящий ответы для посылки, фигурирующей в приватном лидерборде. При оформлении кода предполагайте, что данные лежат рядом с ним в папке data, а в результате выполнения кода ответы должны быть записаны в файл solution-N-Username.csv, где N — номер соревнования, Username — ваша фамилия. У нас должна быть возможность запустить код и получить те же ответы, что и в вашей посылке, — в частности, это означает, что:

1. Если вы отправляете файл *.py, мы будем запускать его при помощи команды python *.py в вышеуказанном предположении о местонахождении данных.

2. Если вы отправляете ноутбук *.ipynb, мы последовательно запустим все ячейки ноутбука и будем ожидать в результате его работы формирование файла с ответами.

3. Если вы отправляете код с использованием другого языка программирования, в том же письме направьте нам инструкцию по его запуску с тем, чтобы получить тот же файл с ответами.

В случае отсутствия кода, воспроизводящего результат, в установленный срок студенту выставляется 0 в качестве оценки за соревнование. Студенты, попавшие в топ-5 согласно приватному лидерборду, смогут получить бонусные баллы, если в течение недели после окончания соревнования пришлют на почту курса отчет о получении решения, фигурирующего в приватном лидерборде. Если не оговорено иное, использовать любые внешние данные в соревнованиях '''запрещено'''. Под внешними данными понимаются размеченные данные, где разметка имеет прямое отношение к решаемой задаче. Грубо говоря, сборник текстов с википедии не считается внешними данными.

== Проект ==

Одной из форм контроля является проект. Результатом выполнения проекта должен быть отчёт, содержащий в себе:
* Описание задачи
* Описание методов
* Описание данных, на которых проводились эксперименты
* Подробное описание экспериментов и результатов
* Анализ результатов и выводы

Не нужно писать формальный текст — будет здорово, если у вас получится интересная и доступная обзорная статья.

За проект можно получить до 5 бонусных баллов. Если получится совсем потрясающе — то и до 10 баллов.

Темы проектов: https://docs.google.com/spreadsheets/d/1A5VcX8qiaAoMNbKJDcYcnbB4Q60eJwzTfyXxXFd90Ic/edit?usp=sharing

Можно предлагать свои темы — их нужно вписать в ту же табличку. Такие темы нужно согласовать с лектором.

По умолчанию каждую тему может взять одна команда из 2-3 студентов. По согласованию с лектором одну тему может взять несколько команд.

Дедлайн сдачи отчёта и кода: 4 июня 23:59.

== Коллоквиум ==

== Экзамен ==

== Полезные материалы ==
===Книги===
* Hastie T., Tibshirani R, Friedman J. The Elements of Statistical Learning (2nd edition). Springer, 2009.
* Bishop C. M. Pattern Recognition and Machine Learning. Springer, 2006.
* Mohri M., Rostamizadeh A., Talwalkar A. Foundations of Machine Learning. MIT Press, 2012.
* Murphy K. Machine Learning: A Probabilistic Perspective. MIT Press, 2012.
* Mohammed J. Zaki, Wagner Meira Jr. Data Mining and Analysis. Fundamental Concepts and Algorithms. Cambridge University Press, 2014.
* Willi Richert, Luis Pedro Coelho. Building Machine Learning Systems with Python. Packt Publishing, 2013.

===Курсы по машинному обучению и анализу данных===
* [http://www.machinelearning.ru/wiki/index.php?title=Машинное_обучение_%28курс_лекций%2C_К.В.Воронцов%29 Курс по машинному обучению К.В. Воронцова]
* [https://yandexdataschool.ru/edu-process/courses/machine-learning Видеозаписи лекций курса Школы Анализа Данных, К.В. Воронцов]
* [https://www.coursera.org/specializations/machine-learning-from-statistics-to-neural-networks Coursera: Машинное обучение от статистики до нейросетей (специализация)]
* [https://www.coursera.org/specializations/machine-learning-data-analysis Coursera: Машинное обучение и анализ данных (специализация)]
* [https://www.coursera.org/learn/introduction-machine-learning Coursera: Введение в машинное обучение, К.В. Воронцов]

== Страницы предыдущих лет ==

[[Машинное_обучение_2/2020_2021 | 2020/2021 учебный год]]

[[Машинное_обучение_2/2019_2020 | 2019/2020 учебный год]]

[[Машинное_обучение_2/2018_2019 | 2018/2019 учебный год]]

[[Машинное_обучение_2/2017_2018 | 2017/2018 учебный год]]

[[Машинное_обучение_2/2016_2017 | 2016/2017 учебный год]]

Машинное обучение 2/2023 2024

2022-04-20T15:20:25Z

Ainurmukh: семинары 3-5

== О курсе ==

[[Файл:ML_surfaces.png|280px|borderless|left]]

Курс читается для студентов 3-го курса [https://cs.hse.ru/ami ПМИ ФКН ВШЭ] в 3-4 модулях.

Проводится с 2016 года.

'''Лектор:''' [http://www.hse.ru/staff/esokolov Соколов Евгений Андреевич]

Лекции проходят по пятницам, 11:10 - 12:30, в [https://zoom.us/j/97122303621?pwd=aytscC9BY0lBbUo1ZU1QSm05Vzdodz09 zoom].

=== Полезные ссылки ===

[https://www.hse.ru/edu/courses/339494475 Карточка курса и программа]

[https://github.com/esokolov/ml-course-hse Репозиторий с материалами на GitHub]

Почта для сдачи домашних заданий (на самом деле задания сдаются в AnyTask, но если он не работает, то присылайте на почту): hse.cs.ml+<номер группы>@gmail.com (например, hse.cs.ml+161@gmail.com)

Канал в telegram для объявлений: https://t.me/hse_cs_ml_2

Чат в telegram для обсуждений (предназначение чата до конца не ясно, вопросы может быть правильнее задавать в чатах групп): https://t.me/+NRpKJ09prtRlMTli

Ссылка на курс в Anytask: https://anytask.org/course/905

[https://docs.google.com/spreadsheets/d/1_qMPqgcJZEJaiXZpMbjKM0trw_aGkkulrZG7Lq7kjU8/edit?usp=sharing Таблица с оценками]

Плейлист с записями занятий: https://www.youtube.com/playlist?list=PLEwK9wdS5g0o_HWWtNffNsBPpNmeuSDYV

Оставить отзыв на курс: [https://goo.gl/forms/5CddG0gc75VZvqi52 форма]

'''Вопросы''' по курсу можно задавать на почту курса, а также в телеграм лектору (esokolov@) или семинаристу.
Вопросы по материалам лекций/семинаров и по заданиям лучше всего оформлять в виде [https://github.com/esokolov/ml-course-hse/issues Issue] в [https://github.com/esokolov/ml-course-hse github-репозитории курса].

=== Семинары ===

{| class="wikitable"
|-
! Группа !! Преподаватель !! Учебный ассистент
|-
| 191 (МОП) || [https://www.hse.ru/org/persons/208533329 Шабалин Александр Михайлович] || [https://t.me/ainmukh Мухамбетова Айнур]
|-
| 192 (МОП) || [http://www.hse.ru/staff/esokolov Соколов Евгений Андреевич] || [https://t.me/Birshert Биршерт Леша] [https://t.me/madn_boi Морозов Никита]
|-
| 193 (МОП) || [https://www.hse.ru/org/persons/208522505 Садртдинов Ильдус Рустемович] || [https://t.me/horror_in_black Коган Саша] [https://t.me/sol_arch Андреев Никита]
|-
| Курс по выбору для ПМИ || Каюмов Эмиль Марселевич || [https://t.me/tamogashev_kv Тамогашев Кирилл] [https://t.me/sol_arch Андреев Никита]

|-
| Межампус || [https://www.hse.ru/org/persons/218009880 Ульянкин Филипп] [https://t.me/ppilif @ppilif] || [https://t.me/cherepasska Баранов Миша] [https://t.me/tamogashev_kv Тамогашев Кирилл]
|-
|}

=== Правила выставления оценок ===

В курсе предусмотрено несколько форм контроля знания:
* Самостоятельные работы на семинарах, проверяющие знание основных фактов с лекций
* Практические домашние работы на Python
* Устный коллоквиум
* Письменный экзамен

Итоговая оценка вычисляется на основе оценки за работу в семестре и оценки за экзамен:

Итог = Округление(0.4 * ДЗ + 0.2 * К + 0.1 * ПР + 0.3 * Э)

ПР — средняя оценка за самостоятельные работы на семинарах

ДЗ — средняя оценка за практические домашние работы на Python

К — оценка за коллоквиум

Э — оценка за экзамен

Округление арифметическое.

=== Правила сдачи заданий ===

За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются. Даже при опоздании на одну секунду. Сдавайте заранее.

Два раза студент может сдать домашнее задание после мягкого дедлайна (но до жёсткого) без штрафов. Также разрешается в конце курса написать одну проверочную, пропущенную без уважительной причины.

При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.

При наличии уважительной причины пропущенную проверочную можно написать позднее, а дедлайн по домашнему заданию может быть перенесён. Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.

== Лекции ==

Ко всем конспектам на GitHub есть исходники. Исправления и дополнения всячески приветствуются!

'''Лекция 1''' (14 января). Ядровые методы [[https://github.com/esokolov/ml-course-hse/blob/master/2021-spring/lecture-notes/lecture13-kernels.pdf Конспект]] [[https://youtu.be/EHolYsWUXNE Запись лекции]]

'''Лекция 2''' (21 января). Ядровой метод опорных векторов [[https://github.com/esokolov/ml-course-hse/blob/master/2021-spring/lecture-notes/lecture14-kernels.pdf Конспект]] [[https://youtu.be/rK-yypS9Soo Запись лекции]]

'''Лекция 3''' (28 января). Аппроксимация ядер. ЕМ-алгоритм. [[https://github.com/esokolov/ml-course-hse/blob/master/2020-spring/lecture-notes/lecture15-em.pdf Конспект]] [[https://youtu.be/3naJOfl2lpQ Запись лекции]]

'''Лекция 4''' (4 февраля). ЕМ-алгоритм. [[https://github.com/esokolov/ml-course-hse/blob/master/2020-spring/lecture-notes/lecture15-em.pdf Конспект]] [[https://youtu.be/XR01YWk0ssA Запись лекции]]

'''Лекция 5''' (14 февраля). Одноклассовая классификация. [[https://github.com/esokolov/ml-course-hse/blob/master/2020-spring/lecture-notes/lecture16-anomaly.pdf Конспект]] [[https://youtu.be/hE3aOQhNWaE Запись лекции]]

'''Лекция 6''' (26 февраля). Одноклассовая классификация. Спектральная кластеризация. [[https://github.com/esokolov/ml-course-hse/blob/master/2020-spring/lecture-notes/lecture17-clusterization.pdf Конспект]] [[https://youtu.be/N6h11I4j5hw Запись лекции]]

'''Лекция 7''' (7 марта). Спектральная кластеризация. Внешние метрики качества кластеризации. [[https://youtu.be/hyQUyGYDrfU Запись лекции]]

'''Лекция 8''' (11 марта). Метрические методы. [[https://github.com/esokolov/ml-course-hse/blob/master/2020-spring/lecture-notes/lecture20-knn.pdf Конспект]] [[https://youtu.be/lZm69TlIGSU Запись лекции]]

'''Лекция 9''' (24 марта). Быстрый поиск ближайших соседей. [[https://github.com/esokolov/ml-course-hse/blob/master/2020-spring/lecture-notes/lecture20-knn.pdf Конспект]] [[https://youtu.be/wGncBo-v0KQ Запись лекции]]

'''Лекция 10''' (25 марта). Быстрый поиск ближайших соседей. [[https://youtu.be/G-BNulqXJ6w Запись лекции]]

'''Лекция 11''' (11 апреля). Частичное обучение [[https://github.com/esokolov/ml-course-hse/blob/master/2020-spring/lecture-notes/lecture19-semisupervised.pdf Конспект]] [[https://youtu.be/-kW7yytkQyU Запись лекции]]

Кристина, нормально?

== Семинары ==

'''Семинар 1'''. Задачи условной оптимизации и теорема Куна-Таккера. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-spring/seminars/sem13-kkt.pdf Конспект]]

'''Семинар 2'''. Задачи на построение ядер. Задачи на прямую и двойственную формулировки метода опорных векторов. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-spring/seminars/sem14-kernels.pdf Конспект]]

'''Семинар 3'''. EM-алгоритм. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-spring/seminars/sem15-em.pdf Конспект]]. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-spring/seminars/sem15-em.ipynb Ноутбук с применением алгоритма]]

'''Семинар 4'''. Байесовские методы машинного обучения. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-spring/seminars/sem16-bayes.pdf Конспект]]

'''Семинар 5'''. Машинное обучение на графах. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-spring/seminars/sem17-graph.pdf Конспект]]. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-spring/seminars/sem17-graph.ipynb Ноутбук с примерами методов]]

== Теоретические задания ==

[https://github.com/esokolov/ml-course-hse/tree/master/2021-spring/homeworks-theory Теоретические ДЗ] не проверяются, но задачи из них могут войти в проверочные работы на семинарах.

'''Задание 1.''' Ядра и условия ККТ. [https://github.com/esokolov/ml-course-hse/blob/master/2021-spring/homeworks-theory/homework-theory-05-kernels.pdf Условие]

'''Задание 2.''' ЕМ-алгоритм. [https://github.com/esokolov/ml-course-hse/blob/master/2021-spring/homeworks-theory/homework-theory-06-em.pdf Условие]

== Практические задания ==

'''Задание 8.''' Метод опорных векторов и аппроксимация ядер

Мягкий дедлайн: 14.02.2022 23:59.

Жесткий дедлайн: 17.02.2022 23:59.

[[https://github.com/esokolov/ml-course-hse/blob/master/2021-spring/homeworks-practice/homework-practice-08-random-features.ipynb Ноутбук с заданием]]

'''Задание 9.''' EM-алгоритм

Мягкий дедлайн: 10.03.2022 23:59.

Жесткий дедлайн: 13.03.2022 23:59.

[[https://github.com/esokolov/ml-course-hse/blob/master/2021-spring/homeworks-practice/homework-practice-09-em/homework-practice-09-em.ipynb Ноутбук с заданием]] / [[https://contest.yandex.ru/contest/35552 контест]]

'''Задание 10.''' Обучение без учителя

Мягкий дедлайн: 06.04.2022 23:59.

Жесткий дедлайн: 10.04.2022 23:59.

[[https://github.com/esokolov/ml-course-hse/blob/master/2021-spring/homeworks-practice/homework-practice-10-unsupervised.ipynb Ноутбук с заданием]]

== Соревнования ==

===Правила участия и оценивания===
В соревновании по анализу данных вам предлагается по имеющимся данным решить некоторую задачу, оптимизируя указанную метрику, и отправить ответы для заданного тестового множества. Максимальное количество посылок в сутки ограничено (как правило, разрешается сделать 2 посылки), ближе к концу соревнования вам будем необходимо выбрать 2 посылки, которые вы считаете лучшими. Тестовые данные делятся на публичные и приватные в некотором соотношении, на основе которых строятся публичный и приватный лидерборды соответственно, при этом публичный лидерборд доступен в течение всего соревнования, а приватный строится после его окончания для выбранных вами посылок.

В лидербордах каждого из соревнований присутствуют несколько базовых решений (бейзлайнов), каждое из которых соответствует определённой оценке. Например, для получения оценки не ниже 8 баллов необходимо, чтобы ваше решение на '''приватном''' лидерборде оказалось лучше соответствующего бейзлайна. Далее для студента, преодолевшего бейзлайн на N_1 баллов, но не преодолевшего бейзлайн на N_2 балла, итоговая оценка за соревнование рассчитывается по равномерной сетке среди всех таких студентов в зависимости от места в приватном лидерборде среди них; если быть точными, то по следующей формуле:

N_2 - (N_2 - N_1) * i / M,

где M — количество студентов (из всех студентов, изучающих курс), преодолевших бейзлайн на N_1 баллов, но не преодолевших бейзлайн на N_2 балла;

i — место (начиная с 1) студента в приватном лидерборде среди всех таких студентов.

Единственное исключение из формулы — студенты, преодолевшие самый сильный бейзлайн, получают прибавку 1/M к своей оценке.

Чтобы вас не пропустили при проверке решений соревнования, '''необходимо''' использовать следующий формат для имени команды (вкладка Team):

«Имя Фамилия номер_группы»

В течение 3 суток после окончания соревнования в соответствующее задание на anytask необходимо прислать код, воспроизводящий ответы для посылки, фигурирующей в приватном лидерборде. При оформлении кода предполагайте, что данные лежат рядом с ним в папке data, а в результате выполнения кода ответы должны быть записаны в файл solution-N-Username.csv, где N — номер соревнования, Username — ваша фамилия. У нас должна быть возможность запустить код и получить те же ответы, что и в вашей посылке, — в частности, это означает, что:

1. Если вы отправляете файл *.py, мы будем запускать его при помощи команды python *.py в вышеуказанном предположении о местонахождении данных.

2. Если вы отправляете ноутбук *.ipynb, мы последовательно запустим все ячейки ноутбука и будем ожидать в результате его работы формирование файла с ответами.

3. Если вы отправляете код с использованием другого языка программирования, в том же письме направьте нам инструкцию по его запуску с тем, чтобы получить тот же файл с ответами.

В случае отсутствия кода, воспроизводящего результат, в установленный срок студенту выставляется 0 в качестве оценки за соревнование. Студенты, попавшие в топ-5 согласно приватному лидерборду, смогут получить бонусные баллы, если в течение недели после окончания соревнования пришлют на почту курса отчет о получении решения, фигурирующего в приватном лидерборде. Если не оговорено иное, использовать любые внешние данные в соревнованиях '''запрещено'''. Под внешними данными понимаются размеченные данные, где разметка имеет прямое отношение к решаемой задаче. Грубо говоря, сборник текстов с википедии не считается внешними данными.

== Проект ==

Одной из форм контроля является проект. Результатом выполнения проекта должен быть отчёт, содержащий в себе:
* Описание задачи
* Описание методов
* Описание данных, на которых проводились эксперименты
* Подробное описание экспериментов и результатов
* Анализ результатов и выводы

Не нужно писать формальный текст — будет здорово, если у вас получится интересная и доступная обзорная статья.

За проект можно получить до 5 бонусных баллов. Если получится совсем потрясающе — то и до 10 баллов.

Темы проектов: https://docs.google.com/spreadsheets/d/1A5VcX8qiaAoMNbKJDcYcnbB4Q60eJwzTfyXxXFd90Ic/edit?usp=sharing

Можно предлагать свои темы — их нужно вписать в ту же табличку. Такие темы нужно согласовать с лектором.

По умолчанию каждую тему может взять одна команда из 2-3 студентов. По согласованию с лектором одну тему может взять несколько команд.

Дедлайн сдачи отчёта и кода: 4 июня 23:59.

== Коллоквиум ==

== Экзамен ==

== Полезные материалы ==
===Книги===
* Hastie T., Tibshirani R, Friedman J. The Elements of Statistical Learning (2nd edition). Springer, 2009.
* Bishop C. M. Pattern Recognition and Machine Learning. Springer, 2006.
* Mohri M., Rostamizadeh A., Talwalkar A. Foundations of Machine Learning. MIT Press, 2012.
* Murphy K. Machine Learning: A Probabilistic Perspective. MIT Press, 2012.
* Mohammed J. Zaki, Wagner Meira Jr. Data Mining and Analysis. Fundamental Concepts and Algorithms. Cambridge University Press, 2014.
* Willi Richert, Luis Pedro Coelho. Building Machine Learning Systems with Python. Packt Publishing, 2013.

===Курсы по машинному обучению и анализу данных===
* [http://www.machinelearning.ru/wiki/index.php?title=Машинное_обучение_%28курс_лекций%2C_К.В.Воронцов%29 Курс по машинному обучению К.В. Воронцова]
* [https://yandexdataschool.ru/edu-process/courses/machine-learning Видеозаписи лекций курса Школы Анализа Данных, К.В. Воронцов]
* [https://www.coursera.org/specializations/machine-learning-from-statistics-to-neural-networks Coursera: Машинное обучение от статистики до нейросетей (специализация)]
* [https://www.coursera.org/specializations/machine-learning-data-analysis Coursera: Машинное обучение и анализ данных (специализация)]
* [https://www.coursera.org/learn/introduction-machine-learning Coursera: Введение в машинное обучение, К.В. Воронцов]

== Страницы предыдущих лет ==

[[Машинное_обучение_2/2020_2021 | 2020/2021 учебный год]]

[[Машинное_обучение_2/2019_2020 | 2019/2020 учебный год]]

[[Машинное_обучение_2/2018_2019 | 2018/2019 учебный год]]

[[Машинное_обучение_2/2017_2018 | 2017/2018 учебный год]]

[[Машинное_обучение_2/2016_2017 | 2016/2017 учебный год]]

Машинное обучение 1/2023 2024

2021-11-13T11:39:35Z

Ainurmukh:

== О курсе ==

[[Файл:ML_surfaces.png|280px|borderless|left]]

Курс читается для студентов 3-го курса [https://cs.hse.ru/ami ПМИ ФКН ВШЭ] в 1-2 модулях.

Проводится с 2016 года.

'''Лектор:''' [http://www.hse.ru/staff/esokolov Соколов Евгений Андреевич]

Лекции проходят по пятницам, 11:10 - 12:30, в zoom (https://zoom.us/j/98499384799?pwd=OC9GcFd5QlJkZlA5Uk85SHNVTGxSdz09).

=== Полезные ссылки ===

[https://www.hse.ru/ba/ami/courses/450802413.html Карточка курса и программа]

[https://github.com/esokolov/ml-course-hse Репозиторий с материалами на GitHub]

[https://www.youtube.com/watch?v=OBG6EUSRC9g&list=PLEqoHzpnmTfDwuwrFHWVHdr1-qJsfqCUX Видеозаписи лекций 18/19 года]

Почта для сдачи домашних заданий (на самом деле задания сдаются в AnyTask, но если он не работает, то присылайте на почту): hse.cs.ml+<номер группы>@gmail.com (например, hse.cs.ml+171@gmail.com)

Канал в telegram для объявлений: https://t.me/joinchat/G2T6pB1CgF82NTMy

Чат в telegram для обсуждений (предназначение чата до конца не ясно, вопросы может быть правильнее задавать в чатах групп): https://t.me/joinchat/NRpKJ09prtRlMTli

Ссылка на курс в Anytask: https://anytask.org/course/856

[https://docs.google.com/spreadsheets/d/1_qMPqgcJZEJaiXZpMbjKM0trw_aGkkulrZG7Lq7kjU8/edit?usp=sharing Таблица с оценками]

Оставить отзыв на курс: [https://goo.gl/forms/5CddG0gc75VZvqi52 форма]

'''Вопросы''' по курсу можно задавать в телеграм лектору (esokolov@) или семинаристу.
Вопросы по материалам лекций/семинаров и по заданиям лучше всего задавать на [https://github.com/esokolov/ml-course-hse/discussions форуме].

=== Семинары ===

{| class="wikitable"
|-
! Группа !! Преподаватель
|-
| 191 (МОП) || Хрушков Павел Вадимович
|-
| 192 (МОП) || [https://www.hse.ru/staff/esokolov Соколов Евгений Андреевич]
|-
| 193 (МОП) || [https://www.hse.ru/org/persons/208522505 Садртдинов Ильдус Рустемович]
|-
| 194 (АДИС)|| [https://www.hse.ru/staff/atsvigun Цвигун Аким Олегович]
|-
| 195 (РС) || Каюмов Эмиль Марселевич
|-
| 196 (РС) || Шабалин Александр Михайлович
|-
| 197 (АПР) || [https://www.hse.ru/org/persons/160961881 Глазкова Екатерина Васильевна]
|-
| 198 (ТИ) || [https://www.hse.ru/org/persons/218009880 Ульянкин Филипп] [https://t.me/ppilif @ppilif]
|-
| 199 (МИ) || [https://www.hse.ru/org/persons/160995848/ Семенкин Антон Александрович]
|-
| 1910 (ПР) || [https://www.hse.ru/org/persons/208488544 Биршерт Алексей Дмитриевич]
|-
| ФЭН || [https://www.hse.ru/org/persons/190889495 Зехов Матвей Сергеевич]
|-
| Пермь (БИ) || [https://www.hse.ru/org/persons/343120018 Собянин Кирилл Валентинович]
|-
| Пермь (ПИ) || [https://www.hse.ru/org/persons/343120018 Собянин Кирилл Валентинович]
|}

=== Консультации ===

{| class="wikitable"
|-
! Учебные ассистенты
|-
| [https://t.me/treacker Евгений Шабалин - 191]
|-
| [https://t.me/madn_boi Никита Морозов - 192]
|-
| [https://t.me/artiloid Щербинин Артём - 193]
|-
| [https://t.me/sibsonya Сибагатова Софья - 193]
|-
| [https://t.me/khaykingleb Хайкин Глеб - 194]
|-
| [https://t.me/sol_arch Никита Андреев - 195]
|-
| [https://t.me/sabinadayanova Сабина Даянова - 195]
|-
| [https://t.me/ainmukh Айнур Мухамбетова - 196]
|-
| [https://t.me/daviddramb Драмбян Давид - 198]
|-
| [https://t.me/fdrose Абрахам Максим - 199]
|-
| [https://t.me/naumovanast Наумова Настя - 1910]
|-
| [https://t.me/horror_in_black Коган Саша - 197]
|-
| [https://t.me/cherepasska Баранов Михаил - ФЭН]
|-
| [https://t.me/lena_rus_21 Русакова Елена]
|}

=== Правила выставления оценок ===

В курсе предусмотрено несколько форм контроля знания:
* Самостоятельные работы на семинарах, проверяющие знание основных фактов с лекций и семинаров
* Практические домашние работы на Python
* Письменная контрольная работа
* Письменный экзамен

Итоговая оценка вычисляется на основе оценки за работу в семестре и оценки за экзамен:

Итог = Округление(0.15 * ПР + 0.4 * ДЗ + 0.15 * КР + 0.3 * Э)

ПР — средняя оценка за самостоятельные работы на семинарах

ДЗ — средняя оценка за практические домашние работы на Python

КР — оценка за контрольную работу

Э — оценка за экзамен

Округление арифметическое.

=== Правила сдачи заданий ===

За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются. Даже при опоздании на одну секунду. Сдавайте заранее. Есть исключение: в течение семестра каждый студент может не более 2 раз сдать задание после жёсткого дедлайна — в этом случае за каждый день просрочки продолжает вычитаться по одному баллу (если не оговорено иное).

При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.

При наличии уважительной причины пропущенную проверочную можно написать позднее, а дедлайн по домашнему заданию может быть перенесён. Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.

== Лекции ==

Ко всем конспектам на GitHub есть исходники. Исправления и дополнения всячески приветствуются!

'''Лекция 1''' (3 сентября). Введение в машинное обучение. Основные термины, постановки задач и примеры применения. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/lecture-notes/lecture01-intro.pdf Конспект]] [[https://youtu.be/HLg4EpeqZP0 Запись лекции]]

'''Лекция 2''' (10 сентября). Модель линейной регрессии. Подготовка данных для линейных моделей. Измерение ошибки в задачах регрессии. Устойчивые к выбросам функции потерь. Относительные функции потерь. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/lecture-notes/lecture02-linregr.pdf Конспект]] [[https://youtu.be/0YugAdKXfdY Запись лекции]]

'''Лекция 3''' (17 сентября). Переобучение. Отложенная выборка и кросс-валидация. Аналитическое решение для линейной регрессии и MSE. Градиентный спуск. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/lecture-notes/lecture03-linregr.pdf Конспект]] [[https://youtu.be/Sio_aNIxnaA Запись лекции]]

'''Лекция 4''' (24 сентября). Стохастический градиентный спуск. SAG, Momentum, AdaGrad, Adam. Регуляризация линейных моделей. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/lecture-notes/lecture04-linregr.pdf Конспект]] [[https://www.youtube.com/watch?v=7ODlUv9W7p4 Запись лекции]]

'''Лекция 5''' (1 октября). Разреженные линейные модели. Линейные классификаторы. Обучение линейных классификаторов через верхние оценки на пороговую функцию потерь. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/lecture-notes/lecture05-linclass.pdf Конспект]] [[https://www.youtube.com/watch?v=YtOWnaZGh7E Запись лекции]]

'''Лекция 6''' (8 октября). Метрики качества классификации. Доля верных ответов. Точность, полнота, F-мера и другие способы усреднения. ROC-кривая и PR-кривая, площади под ними. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/lecture-notes/lecture05-linclass.pdf Конспект]] [[https://www.youtube.com/watch?v=mwUrBQoHdQM Запись лекции]]

'''Лекция 7''' (15 октября). Оценивание вероятностей. Логистическая регрессия. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/lecture-notes/lecture06-linclass.pdf Конспект]] [[https://www.youtube.com/watch?v=2-wWxLeVd1U Запись лекции]]

'''Лекция 8''' (29 октября). Метод опорных векторов. Многоклассовая классификация. Метрики качества многоклассовой классификации. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/lecture-notes/lecture06-linclass.pdf Конспект по SVM]] [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/lecture-notes/lecture07-linclass.pdf Конспект по многоклассовой классификации]] [[https://youtu.be/OsfuADBOCZY Запись лекции]]

'''Лекция 9''' (5 ноября). Решающие деревья. Жадный алгоритм обучения дерева. Функционалы качества предикатов. Связь решающих деревьев и линейных моделей. Разложение ошибки на смещение и разброс. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/lecture-notes/lecture08-trees.pdf Конспект по деревьям]] [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/lecture-notes/lecture09-ensembles.pdf Конспект по BVD]] [[https://youtu.be/biDD-wAZrDQ Запись лекции]]

== Семинары ==

'''Семинар 1'''. Типы данных и виды задач машинного обучения [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/seminars/sem01-data.ipynb Ноутбук]]. Библиотека pandas [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/seminars/sem01-pandas.ipynb Ноутбук]].

'''Семинар 2'''. Исследование данных. Библиотека scikit-learn. Подготовка данных для линейных моделей. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/seminars/sem02-sklearn-linregr.ipynb Ноутбук]]

'''Семинар 3'''. Векторное дифференцирование [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/seminars/sem03-vector-diff.pdf Конспект]]. Градиентный спуск [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/seminars/sem03-gd.ipynb Ноутбук]]. А также: [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/seminars/sem03-numpy.ipynb Ноутбук про numpy для самостоятельного изучения]].

'''Семинар 4'''. Обработка данных. Работа с категориальными и текстовыми данными. Mean-target encoding. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/seminars/sem04-features.pdf Конспект]] [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/seminars/sem04-features.ipynb Ноутбук]]

'''Семинар 5'''. Метрики качества классификации. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/seminars/sem05-linclass-metrics.pdf Конспект]]

'''Семинар 6'''. Оценивание вероятностей классов. Калибровка вероятностей. Квантильная регрессия. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/seminars/sem06-probs-quantile.pdf Конспект]] [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/seminars/sem06-calibration.ipynb Ноутбук]]

'''Семинар 7'''. Решающие деревья. Критерии информативности. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/seminars/sem07-trees.pdf Конспект]] [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/seminars/sem07-trees.ipynb Ноутбук]]

== Практические задания ==

'''Задание 1.''' Pandas и распределение студентов ПМИ по элективам.

Мягкий дедлайн: 25.09.2021 23:59 MSK.

Жесткий дедлайн: 28.09.2021 23:59 MSK.

[[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/homeworks-practice/homework-practice-01-pandas.ipynb Ноутбук с заданием]]

'''Задание 2.''' Разведочный анализ данных, линейная регрессия и разработка признаков.

Мягкий дедлайн: 11.10.2021 23:59 MSK.

Жесткий дедлайн: 14.10.2021 23:59 MSK.

[[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/homeworks-practice/homework-practice-02-linregr.ipynb Ноутбук с заданием]]

'''Задание 3.''' Градиентный спуск своими руками.

Мягкий дедлайн: 27.10.2021 23:59 MSK.

Жесткий дедлайн: 29.10.2021 23:59 MSK.

[[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/homeworks-practice/homework-practice-03-gd/homework-practice-03-gd.ipynb Ноутбук с заданием]]

'''Задание 4.''' Классификация.

Мягкий дедлайн: 10.11.2021 23:59 MSK.

Жесткий дедлайн: 13.11.2021 23:59 MSK.

[[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/homeworks-practice/homework-practice-04-classification.ipynb Ноутбук с заданием]]

'''Задание 5.''' Решающие деревья.

Мягий дедлайн: 23.11.2021 23:59 MSK.

Жестокий дедлайн: 26.11.2021 23:59 MSK.

[[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/homeworks-practice/homework-practice-05-trees/homework-practice-05-trees.ipynb Ноутбук с заданием]]

==Теоретические домашние задания==

[https://github.com/esokolov/ml-course-hse/tree/master/2021-fall/homeworks-theory Теоретические ДЗ] не проверяются, но задачи из них могут войти в проверочные работы на семинарах.

== Соревнования ==

===Правила участия и оценивания===
В соревновании по анализу данных вам предлагается по имеющимся данным решить некоторую задачу, оптимизируя указанную метрику, и отправить ответы для заданного тестового множества. Максимальное количество посылок в сутки ограничено (как правило, разрешается сделать 2 посылки), ближе к концу соревнования вам будем необходимо выбрать 2 посылки, которые вы считаете лучшими. Тестовые данные делятся на публичные и приватные в некотором соотношении, на основе которых строятся публичный и приватный лидерборды соответственно, при этом публичный лидерборд доступен в течение всего соревнования, а приватный строится после его окончания для выбранных вами посылок.

В лидербордах каждого из соревнований присутствуют несколько базовых решений (бейзлайнов), каждое из которых соответствует определённой оценке. Например, для получения оценки не ниже 8 баллов необходимо, чтобы ваше решение на '''приватном''' лидерборде оказалось лучше соответствующего бейзлайна. Далее для студента, преодолевшего бейзлайн на N_1 баллов, но не преодолевшего бейзлайн на N_2 балла, итоговая оценка за соревнование рассчитывается по равномерной сетке среди всех таких студентов в зависимости от места в приватном лидерборде среди них; если быть точными, то по следующей формуле:

N_2 - (N_2 - N_1) * i / M,

где M — количество студентов (из всех студентов, изучающих курс), преодолевших бейзлайн на N_1 баллов, но не преодолевших бейзлайн на N_2 балла;

i — место (начиная с 1) студента в приватном лидерборде среди всех таких студентов.

Единственное исключение из формулы — студенты, преодолевшие самый сильный бейзлайн, получают прибавку 1/M к своей оценке.

Чтобы вас не пропустили при проверке решений соревнования, '''необходимо''' использовать следующий формат для имени команды (вкладка Team):

«[ПМИ] Имя Фамилия номер_группы»

В течение 3 суток после окончания соревнования в соответствующее задание на anytask необходимо прислать код, воспроизводящий ответы для посылки, фигурирующей в приватном лидерборде. При оформлении кода предполагайте, что данные лежат рядом с ним в папке data, а в результате выполнения кода ответы должны быть записаны в файл solution-N-Username.csv, где N — номер соревнования, Username — ваша фамилия. У нас должна быть возможность запустить код и получить те же ответы, что и в вашей посылке, — в частности, это означает, что:

1. Если вы отправляете файл *.py, мы будем запускать его при помощи команды python *.py в вышеуказанном предположении о местонахождении данных.

2. Если вы отправляете ноутбук *.ipynb, мы последовательно запустим все ячейки ноутбука и будем ожидать в результате его работы формирование файла с ответами.

3. Если вы отправляете код с использованием другого языка программирования, в том же письме направьте нам инструкцию по его запуску с тем, чтобы получить тот же файл с ответами.

В случае отсутствия кода, воспроизводящего результат, в установленный срок студенту выставляется 0 в качестве оценки за соревнование. Студенты, попавшие в топ-3 согласно приватному лидерборду, смогут получить бонусные баллы, если в течение недели после окончания соревнования сдадут в anytask отчет о получении решения, фигурирующего в приватном лидерборде. Если не оговорено иное, использовать любые внешние данные в соревнованиях '''запрещено'''. Под внешними данными понимаются размеченные данные, где разметка имеет прямое отношение к решаемой задаче. Грубо говоря, сборник текстов с википедии не считается внешними данными.

В некоторых соревнованиях данные взяты из завершившегося соревнования на Kaggle.
Категорически запрещено использовать данные из оригинального соревнования для восстановления целевой переменной на тестовой выборке.

=== Соревнование 1 ===

== Бонусы за соревнования ==

За успешное участие в соревнованиях по анализу данных могут быть выставлены бонусные баллы, которые можно прибавить к оценке за любое практическое или теоретическое домашнее задание, а также за самостоятельную работу. Под успешным участием понимается попадание в топ-10% мест; если соревнование особо сложное и крупное, может рассматриваться и попадание в топ-20% мест. Конкретное число баллов определяется преподавателями и зависит от сложности соревнования и занятого места. За одно соревнование можно получить не более 5 баллов. Для получения оценки необходимо предоставить краткий отчёт о решении задачи.

== Контрольная работа ==

== Экзамен ==

== Полезные материалы ==
===Книги===
* Hastie T., Tibshirani R, Friedman J. The Elements of Statistical Learning (2nd edition). Springer, 2009.
* Bishop C. M. Pattern Recognition and Machine Learning. Springer, 2006.
* Mohri M., Rostamizadeh A., Talwalkar A. Foundations of Machine Learning. MIT Press, 2012.
* Murphy K. Machine Learning: A Probabilistic Perspective. MIT Press, 2012.
* Mohammed J. Zaki, Wagner Meira Jr. Data Mining and Analysis. Fundamental Concepts and Algorithms. Cambridge University Press, 2014.
* Willi Richert, Luis Pedro Coelho. Building Machine Learning Systems with Python. Packt Publishing, 2013.

===Курсы по машинному обучению и анализу данных===
* [http://www.machinelearning.ru/wiki/index.php?title=Машинное_обучение_%28курс_лекций%2C_К.В.Воронцов%29 Курс по машинному обучению К.В. Воронцова]
* [https://yandexdataschool.ru/edu-process/courses/machine-learning Видеозаписи лекций курса Школы Анализа Данных, К.В. Воронцов]
* [https://www.coursera.org/specializations/machine-learning-from-statistics-to-neural-networks Coursera: Машинное обучение от статистики до нейросетей (специализация)]
* [https://www.coursera.org/specializations/machine-learning-data-analysis Coursera: Машинное обучение и анализ данных (специализация)]
* [https://www.coursera.org/learn/introduction-machine-learning Coursera: Введение в машинное обучение, К.В. Воронцов]
* [https://openedu.ru/course/hse/INTRML/ Введение в машинное обучение (онлайн-курс НИУ ВШЭ)]

== Страницы предыдущих лет ==

[[Машинное_обучение_1/2020_2021 | 2020/2021 учебный год]]

[[Машинное_обучение_1/2019_2020 | 2019/2020 учебный год]]

[[Машинное_обучение_1/2018_2019 | 2018/2019 учебный год]]

[[Машинное_обучение_1/2017_2018 | 2017/2018 учебный год]]

[[Машинное_обучение_1/2016_2017 | 2016/2017 учебный год]]

Машинное обучение 1/2023 2024

2021-11-11T18:24:06Z

Ainurmukh:

== О курсе ==

[[Файл:ML_surfaces.png|280px|borderless|left]]

Курс читается для студентов 3-го курса [https://cs.hse.ru/ami ПМИ ФКН ВШЭ] в 1-2 модулях.

Проводится с 2016 года.

'''Лектор:''' [http://www.hse.ru/staff/esokolov Соколов Евгений Андреевич]

Лекции проходят по пятницам, 11:10 - 12:30, в zoom (https://zoom.us/j/98499384799?pwd=OC9GcFd5QlJkZlA5Uk85SHNVTGxSdz09).

=== Полезные ссылки ===

[https://www.hse.ru/ba/ami/courses/450802413.html Карточка курса и программа]

[https://github.com/esokolov/ml-course-hse Репозиторий с материалами на GitHub]

[https://www.youtube.com/watch?v=OBG6EUSRC9g&list=PLEqoHzpnmTfDwuwrFHWVHdr1-qJsfqCUX Видеозаписи лекций 18/19 года]

Почта для сдачи домашних заданий (на самом деле задания сдаются в AnyTask, но если он не работает, то присылайте на почту): hse.cs.ml+<номер группы>@gmail.com (например, hse.cs.ml+171@gmail.com)

Канал в telegram для объявлений: https://t.me/joinchat/G2T6pB1CgF82NTMy

Чат в telegram для обсуждений (предназначение чата до конца не ясно, вопросы может быть правильнее задавать в чатах групп): https://t.me/joinchat/NRpKJ09prtRlMTli

Ссылка на курс в Anytask: https://anytask.org/course/856

[https://docs.google.com/spreadsheets/d/1_qMPqgcJZEJaiXZpMbjKM0trw_aGkkulrZG7Lq7kjU8/edit?usp=sharing Таблица с оценками]

Оставить отзыв на курс: [https://goo.gl/forms/5CddG0gc75VZvqi52 форма]

'''Вопросы''' по курсу можно задавать в телеграм лектору (esokolov@) или семинаристу.
Вопросы по материалам лекций/семинаров и по заданиям лучше всего задавать на [https://github.com/esokolov/ml-course-hse/discussions форуме].

=== Семинары ===

{| class="wikitable"
|-
! Группа !! Преподаватель
|-
| 191 (МОП) || Хрушков Павел Вадимович
|-
| 192 (МОП) || [https://www.hse.ru/staff/esokolov Соколов Евгений Андреевич]
|-
| 193 (МОП) || [https://www.hse.ru/org/persons/208522505 Садртдинов Ильдус Рустемович]
|-
| 194 (АДИС)|| [https://www.hse.ru/staff/atsvigun Цвигун Аким Олегович]
|-
| 195 (РС) || Каюмов Эмиль Марселевич
|-
| 196 (РС) || Шабалин Александр Михайлович
|-
| 197 (АПР) || [https://www.hse.ru/org/persons/160961881 Глазкова Екатерина Васильевна]
|-
| 198 (ТИ) || [https://www.hse.ru/org/persons/218009880 Ульянкин Филипп] [https://t.me/ppilif @ppilif]
|-
| 199 (МИ) || [https://www.hse.ru/org/persons/160995848/ Семенкин Антон Александрович]
|-
| 1910 (ПР) || [https://www.hse.ru/org/persons/208488544 Биршерт Алексей Дмитриевич]
|-
| ФЭН || [https://www.hse.ru/org/persons/190889495 Зехов Матвей Сергеевич]
|-
| Пермь (БИ) || [https://www.hse.ru/org/persons/343120018 Собянин Кирилл Валентинович]
|-
| Пермь (ПИ) || [https://www.hse.ru/org/persons/343120018 Собянин Кирилл Валентинович]
|}

=== Консультации ===

{| class="wikitable"
|-
! Учебные ассистенты
|-
| [https://t.me/treacker Евгений Шабалин - 191]
|-
| [https://t.me/madn_boi Никита Морозов - 192]
|-
| [https://t.me/artiloid Щербинин Артём - 193]
|-
| [https://t.me/sibsonya Сибагатова Софья - 193]
|-
| [https://t.me/khaykingleb Хайкин Глеб - 194]
|-
| [https://t.me/sol_arch Никита Андреев - 195]
|-
| [https://t.me/sabinadayanova Сабина Даянова - 195]
|-
| [https://t.me/ainmukh Айнур Мухамбетова - 196]
|-
| [https://t.me/daviddramb Драмбян Давид - 198]
|-
| [https://t.me/fdrose Абрахам Максим - 199]
|-
| [https://t.me/naumovanast Наумова Настя - 1910]
|-
| [https://t.me/horror_in_black Коган Саша - 197]
|-
| [https://t.me/cherepasska Баранов Михаил - ФЭН]
|-
| [https://t.me/lena_rus_21 Русакова Елена]
|}

=== Правила выставления оценок ===

В курсе предусмотрено несколько форм контроля знания:
* Самостоятельные работы на семинарах, проверяющие знание основных фактов с лекций и семинаров
* Практические домашние работы на Python
* Письменная контрольная работа
* Письменный экзамен

Итоговая оценка вычисляется на основе оценки за работу в семестре и оценки за экзамен:

Итог = Округление(0.15 * ПР + 0.4 * ДЗ + 0.15 * КР + 0.3 * Э)

ПР — средняя оценка за самостоятельные работы на семинарах

ДЗ — средняя оценка за практические домашние работы на Python

КР — оценка за контрольную работу

Э — оценка за экзамен

Округление арифметическое.

=== Правила сдачи заданий ===

За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются. Даже при опоздании на одну секунду. Сдавайте заранее. Есть исключение: в течение семестра каждый студент может не более 2 раз сдать задание после жёсткого дедлайна — в этом случае за каждый день просрочки продолжает вычитаться по одному баллу (если не оговорено иное).

При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.

При наличии уважительной причины пропущенную проверочную можно написать позднее, а дедлайн по домашнему заданию может быть перенесён. Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.

== Лекции ==

Ко всем конспектам на GitHub есть исходники. Исправления и дополнения всячески приветствуются!

'''Лекция 1''' (3 сентября). Введение в машинное обучение. Основные термины, постановки задач и примеры применения. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/lecture-notes/lecture01-intro.pdf Конспект]] [[https://youtu.be/HLg4EpeqZP0 Запись лекции]]

'''Лекция 2''' (10 сентября). Модель линейной регрессии. Подготовка данных для линейных моделей. Измерение ошибки в задачах регрессии. Устойчивые к выбросам функции потерь. Относительные функции потерь. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/lecture-notes/lecture02-linregr.pdf Конспект]] [[https://youtu.be/0YugAdKXfdY Запись лекции]]

'''Лекция 3''' (17 сентября). Переобучение. Отложенная выборка и кросс-валидация. Аналитическое решение для линейной регрессии и MSE. Градиентный спуск. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/lecture-notes/lecture03-linregr.pdf Конспект]] [[https://youtu.be/Sio_aNIxnaA Запись лекции]]

'''Лекция 4''' (24 сентября). Стохастический градиентный спуск. SAG, Momentum, AdaGrad, Adam. Регуляризация линейных моделей. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/lecture-notes/lecture04-linregr.pdf Конспект]] [[https://www.youtube.com/watch?v=7ODlUv9W7p4 Запись лекции]]

'''Лекция 5''' (1 октября). Разреженные линейные модели. Линейные классификаторы. Обучение линейных классификаторов через верхние оценки на пороговую функцию потерь. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/lecture-notes/lecture05-linclass.pdf Конспект]] [[https://www.youtube.com/watch?v=YtOWnaZGh7E Запись лекции]]

'''Лекция 6''' (8 октября). Метрики качества классификации. Доля верных ответов. Точность, полнота, F-мера и другие способы усреднения. ROC-кривая и PR-кривая, площади под ними. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/lecture-notes/lecture05-linclass.pdf Конспект]] [[https://www.youtube.com/watch?v=mwUrBQoHdQM Запись лекции]]

'''Лекция 7''' (15 октября). Оценивание вероятностей. Логистическая регрессия. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/lecture-notes/lecture06-linclass.pdf Конспект]] [[https://www.youtube.com/watch?v=2-wWxLeVd1U Запись лекции]]

'''Лекция 8''' (29 октября). Метод опорных векторов. Многоклассовая классификация. Метрики качества многоклассовой классификации. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/lecture-notes/lecture06-linclass.pdf Конспект по SVM]] [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/lecture-notes/lecture07-linclass.pdf Конспект по многоклассовой классификации]] [[https://youtu.be/OsfuADBOCZY Запись лекции]]

'''Лекция 9''' (5 ноября). Решающие деревья. Жадный алгоритм обучения дерева. Функционалы качества предикатов. Связь решающих деревьев и линейных моделей. Разложение ошибки на смещение и разброс. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/lecture-notes/lecture08-trees.pdf Конспект по деревьям]] [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/lecture-notes/lecture09-ensembles.pdf Конспект по BVD]] [[https://youtu.be/biDD-wAZrDQ Запись лекции]]

== Семинары ==

'''Семинар 1'''. Типы данных и виды задач машинного обучения [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/seminars/sem01-data.ipynb Ноутбук]]. Библиотека pandas [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/seminars/sem01-pandas.ipynb Ноутбук]].

'''Семинар 2'''. Исследование данных. Библиотека scikit-learn. Подготовка данных для линейных моделей. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/seminars/sem02-sklearn-linregr.ipynb Ноутбук]]

'''Семинар 3'''. Векторное дифференцирование [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/seminars/sem03-vector-diff.pdf Конспект]]. Градиентный спуск [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/seminars/sem03-gd.ipynb Ноутбук]]. А также: [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/seminars/sem03-numpy.ipynb Ноутбук про numpy для самостоятельного изучения]].

'''Семинар 4'''. Обработка данных. Работа с категориальными и текстовыми данными. Mean-target encoding. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/seminars/sem04-features.pdf Конспект]] [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/seminars/sem04-features.ipynb Ноутбук]]

'''Семинар 5'''. Метрики качества классификации. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/seminars/sem05-linclass-metrics.pdf Конспект]]

'''Семинар 6'''. Оценивание вероятностей классов. Калибровка вероятностей. Квантильная регрессия. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/seminars/sem06-probs-quantile.pdf Конспект]] [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/seminars/sem06-calibration.ipynb Ноутбук]]

'''Семинар 7'''. Решающие деревья. Критерии информативности. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/seminars/sem07-trees.pdf Конспект]] [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/seminars/sem07-trees.ipynb Ноутбук]]

== Практические задания ==

'''Задание 1.''' Pandas и распределение студентов ПМИ по элективам.

Мягкий дедлайн: 25.09.2021 23:59 MSK.

Жесткий дедлайн: 28.09.2021 23:59 MSK.

[[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/homeworks-practice/homework-practice-01-pandas.ipynb Ноутбук с заданием]]

'''Задание 2.''' Разведочный анализ данных, линейная регрессия и разработка признаков.

Мягкий дедлайн: 11.10.2021 23:59 MSK.

Жесткий дедлайн: 14.10.2021 23:59 MSK.

[[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/homeworks-practice/homework-practice-02-linregr.ipynb Ноутбук с заданием]]

'''Задание 3.''' Градиентный спуск своими руками.

Мягкий дедлайн: 27.10.2021 23:59 MSK.

Жесткий дедлайн: 29.10.2021 23:59 MSK.

[[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/homeworks-practice/homework-practice-03-gd/homework-practice-03-gd.ipynb Ноутбук с заданием]]

'''Задание 4.''' Классификация.

Мягкий дедлайн: 10.11.2021 23:59 MSK.

Жесткий дедлайн: 13.11.2021 23:59 MSK.

[[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/homeworks-practice/homework-practice-04-classification.ipynb Ноутбук с заданием]]

'''Задание 5.''' Решающие деревья.

Мягий дедлайн: 23.11.2021 01:59 MSK.

Жестокий дедлайн: 26.11.2021 01:59 MSK.

[[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/homeworks-practice/homework-practice-05-trees/homework-practice-05-trees.ipynb Ноутбук с заданием]]

==Теоретические домашние задания==

[https://github.com/esokolov/ml-course-hse/tree/master/2021-fall/homeworks-theory Теоретические ДЗ] не проверяются, но задачи из них могут войти в проверочные работы на семинарах.

== Соревнования ==

===Правила участия и оценивания===
В соревновании по анализу данных вам предлагается по имеющимся данным решить некоторую задачу, оптимизируя указанную метрику, и отправить ответы для заданного тестового множества. Максимальное количество посылок в сутки ограничено (как правило, разрешается сделать 2 посылки), ближе к концу соревнования вам будем необходимо выбрать 2 посылки, которые вы считаете лучшими. Тестовые данные делятся на публичные и приватные в некотором соотношении, на основе которых строятся публичный и приватный лидерборды соответственно, при этом публичный лидерборд доступен в течение всего соревнования, а приватный строится после его окончания для выбранных вами посылок.

В лидербордах каждого из соревнований присутствуют несколько базовых решений (бейзлайнов), каждое из которых соответствует определённой оценке. Например, для получения оценки не ниже 8 баллов необходимо, чтобы ваше решение на '''приватном''' лидерборде оказалось лучше соответствующего бейзлайна. Далее для студента, преодолевшего бейзлайн на N_1 баллов, но не преодолевшего бейзлайн на N_2 балла, итоговая оценка за соревнование рассчитывается по равномерной сетке среди всех таких студентов в зависимости от места в приватном лидерборде среди них; если быть точными, то по следующей формуле:

N_2 - (N_2 - N_1) * i / M,

где M — количество студентов (из всех студентов, изучающих курс), преодолевших бейзлайн на N_1 баллов, но не преодолевших бейзлайн на N_2 балла;

i — место (начиная с 1) студента в приватном лидерборде среди всех таких студентов.

Единственное исключение из формулы — студенты, преодолевшие самый сильный бейзлайн, получают прибавку 1/M к своей оценке.

Чтобы вас не пропустили при проверке решений соревнования, '''необходимо''' использовать следующий формат для имени команды (вкладка Team):

«[ПМИ] Имя Фамилия номер_группы»

В течение 3 суток после окончания соревнования в соответствующее задание на anytask необходимо прислать код, воспроизводящий ответы для посылки, фигурирующей в приватном лидерборде. При оформлении кода предполагайте, что данные лежат рядом с ним в папке data, а в результате выполнения кода ответы должны быть записаны в файл solution-N-Username.csv, где N — номер соревнования, Username — ваша фамилия. У нас должна быть возможность запустить код и получить те же ответы, что и в вашей посылке, — в частности, это означает, что:

1. Если вы отправляете файл *.py, мы будем запускать его при помощи команды python *.py в вышеуказанном предположении о местонахождении данных.

2. Если вы отправляете ноутбук *.ipynb, мы последовательно запустим все ячейки ноутбука и будем ожидать в результате его работы формирование файла с ответами.

3. Если вы отправляете код с использованием другого языка программирования, в том же письме направьте нам инструкцию по его запуску с тем, чтобы получить тот же файл с ответами.

В случае отсутствия кода, воспроизводящего результат, в установленный срок студенту выставляется 0 в качестве оценки за соревнование. Студенты, попавшие в топ-3 согласно приватному лидерборду, смогут получить бонусные баллы, если в течение недели после окончания соревнования сдадут в anytask отчет о получении решения, фигурирующего в приватном лидерборде. Если не оговорено иное, использовать любые внешние данные в соревнованиях '''запрещено'''. Под внешними данными понимаются размеченные данные, где разметка имеет прямое отношение к решаемой задаче. Грубо говоря, сборник текстов с википедии не считается внешними данными.

В некоторых соревнованиях данные взяты из завершившегося соревнования на Kaggle.
Категорически запрещено использовать данные из оригинального соревнования для восстановления целевой переменной на тестовой выборке.

=== Соревнование 1 ===

== Бонусы за соревнования ==

За успешное участие в соревнованиях по анализу данных могут быть выставлены бонусные баллы, которые можно прибавить к оценке за любое практическое или теоретическое домашнее задание, а также за самостоятельную работу. Под успешным участием понимается попадание в топ-10% мест; если соревнование особо сложное и крупное, может рассматриваться и попадание в топ-20% мест. Конкретное число баллов определяется преподавателями и зависит от сложности соревнования и занятого места. За одно соревнование можно получить не более 5 баллов. Для получения оценки необходимо предоставить краткий отчёт о решении задачи.

== Контрольная работа ==

== Экзамен ==

== Полезные материалы ==
===Книги===
* Hastie T., Tibshirani R, Friedman J. The Elements of Statistical Learning (2nd edition). Springer, 2009.
* Bishop C. M. Pattern Recognition and Machine Learning. Springer, 2006.
* Mohri M., Rostamizadeh A., Talwalkar A. Foundations of Machine Learning. MIT Press, 2012.
* Murphy K. Machine Learning: A Probabilistic Perspective. MIT Press, 2012.
* Mohammed J. Zaki, Wagner Meira Jr. Data Mining and Analysis. Fundamental Concepts and Algorithms. Cambridge University Press, 2014.
* Willi Richert, Luis Pedro Coelho. Building Machine Learning Systems with Python. Packt Publishing, 2013.

===Курсы по машинному обучению и анализу данных===
* [http://www.machinelearning.ru/wiki/index.php?title=Машинное_обучение_%28курс_лекций%2C_К.В.Воронцов%29 Курс по машинному обучению К.В. Воронцова]
* [https://yandexdataschool.ru/edu-process/courses/machine-learning Видеозаписи лекций курса Школы Анализа Данных, К.В. Воронцов]
* [https://www.coursera.org/specializations/machine-learning-from-statistics-to-neural-networks Coursera: Машинное обучение от статистики до нейросетей (специализация)]
* [https://www.coursera.org/specializations/machine-learning-data-analysis Coursera: Машинное обучение и анализ данных (специализация)]
* [https://www.coursera.org/learn/introduction-machine-learning Coursera: Введение в машинное обучение, К.В. Воронцов]
* [https://openedu.ru/course/hse/INTRML/ Введение в машинное обучение (онлайн-курс НИУ ВШЭ)]

== Страницы предыдущих лет ==

[[Машинное_обучение_1/2020_2021 | 2020/2021 учебный год]]

[[Машинное_обучение_1/2019_2020 | 2019/2020 учебный год]]

[[Машинное_обучение_1/2018_2019 | 2018/2019 учебный год]]

[[Машинное_обучение_1/2017_2018 | 2017/2018 учебный год]]

[[Машинное_обучение_1/2016_2017 | 2016/2017 учебный год]]

Машинное обучение 1/2023 2024

2021-11-11T18:22:59Z

Ainurmukh: fix HW4, add HW5

== О курсе ==

[[Файл:ML_surfaces.png|280px|borderless|left]]

Курс читается для студентов 3-го курса [https://cs.hse.ru/ami ПМИ ФКН ВШЭ] в 1-2 модулях.

Проводится с 2016 года.

'''Лектор:''' [http://www.hse.ru/staff/esokolov Соколов Евгений Андреевич]

Лекции проходят по пятницам, 11:10 - 12:30, в zoom (https://zoom.us/j/98499384799?pwd=OC9GcFd5QlJkZlA5Uk85SHNVTGxSdz09).

=== Полезные ссылки ===

[https://www.hse.ru/ba/ami/courses/450802413.html Карточка курса и программа]

[https://github.com/esokolov/ml-course-hse Репозиторий с материалами на GitHub]

[https://www.youtube.com/watch?v=OBG6EUSRC9g&list=PLEqoHzpnmTfDwuwrFHWVHdr1-qJsfqCUX Видеозаписи лекций 18/19 года]

Почта для сдачи домашних заданий (на самом деле задания сдаются в AnyTask, но если он не работает, то присылайте на почту): hse.cs.ml+<номер группы>@gmail.com (например, hse.cs.ml+171@gmail.com)

Канал в telegram для объявлений: https://t.me/joinchat/G2T6pB1CgF82NTMy

Чат в telegram для обсуждений (предназначение чата до конца не ясно, вопросы может быть правильнее задавать в чатах групп): https://t.me/joinchat/NRpKJ09prtRlMTli

Ссылка на курс в Anytask: https://anytask.org/course/856

[https://docs.google.com/spreadsheets/d/1_qMPqgcJZEJaiXZpMbjKM0trw_aGkkulrZG7Lq7kjU8/edit?usp=sharing Таблица с оценками]

Оставить отзыв на курс: [https://goo.gl/forms/5CddG0gc75VZvqi52 форма]

'''Вопросы''' по курсу можно задавать в телеграм лектору (esokolov@) или семинаристу.
Вопросы по материалам лекций/семинаров и по заданиям лучше всего задавать на [https://github.com/esokolov/ml-course-hse/discussions форуме].

=== Семинары ===

{| class="wikitable"
|-
! Группа !! Преподаватель
|-
| 191 (МОП) || Хрушков Павел Вадимович
|-
| 192 (МОП) || [https://www.hse.ru/staff/esokolov Соколов Евгений Андреевич]
|-
| 193 (МОП) || [https://www.hse.ru/org/persons/208522505 Садртдинов Ильдус Рустемович]
|-
| 194 (АДИС)|| [https://www.hse.ru/staff/atsvigun Цвигун Аким Олегович]
|-
| 195 (РС) || Каюмов Эмиль Марселевич
|-
| 196 (РС) || Шабалин Александр Михайлович
|-
| 197 (АПР) || [https://www.hse.ru/org/persons/160961881 Глазкова Екатерина Васильевна]
|-
| 198 (ТИ) || [https://www.hse.ru/org/persons/218009880 Ульянкин Филипп] [https://t.me/ppilif @ppilif]
|-
| 199 (МИ) || [https://www.hse.ru/org/persons/160995848/ Семенкин Антон Александрович]
|-
| 1910 (ПР) || [https://www.hse.ru/org/persons/208488544 Биршерт Алексей Дмитриевич]
|-
| ФЭН || [https://www.hse.ru/org/persons/190889495 Зехов Матвей Сергеевич]
|-
| Пермь (БИ) || [https://www.hse.ru/org/persons/343120018 Собянин Кирилл Валентинович]
|-
| Пермь (ПИ) || [https://www.hse.ru/org/persons/343120018 Собянин Кирилл Валентинович]
|}

=== Консультации ===

{| class="wikitable"
|-
! Учебные ассистенты
|-
| [https://t.me/treacker Евгений Шабалин - 191]
|-
| [https://t.me/madn_boi Никита Морозов - 192]
|-
| [https://t.me/artiloid Щербинин Артём - 193]
|-
| [https://t.me/sibsonya Сибагатова Софья - 193]
|-
| [https://t.me/khaykingleb Хайкин Глеб - 194]
|-
| [https://t.me/sol_arch Никита Андреев - 195]
|-
| [https://t.me/sabinadayanova Сабина Даянова - 195]
|-
| [https://t.me/ainmukh Айнур Мухамбетова - 196]
|-
| [https://t.me/daviddramb Драмбян Давид - 198]
|-
| [https://t.me/fdrose Абрахам Максим - 199]
|-
| [https://t.me/naumovanast Наумова Настя - 1910]
|-
| [https://t.me/horror_in_black Коган Саша - 197]
|-
| [https://t.me/cherepasska Баранов Михаил - ФЭН]
|-
| [https://t.me/lena_rus_21 Русакова Елена]
|}

=== Правила выставления оценок ===

В курсе предусмотрено несколько форм контроля знания:
* Самостоятельные работы на семинарах, проверяющие знание основных фактов с лекций и семинаров
* Практические домашние работы на Python
* Письменная контрольная работа
* Письменный экзамен

Итоговая оценка вычисляется на основе оценки за работу в семестре и оценки за экзамен:

Итог = Округление(0.15 * ПР + 0.4 * ДЗ + 0.15 * КР + 0.3 * Э)

ПР — средняя оценка за самостоятельные работы на семинарах

ДЗ — средняя оценка за практические домашние работы на Python

КР — оценка за контрольную работу

Э — оценка за экзамен

Округление арифметическое.

=== Правила сдачи заданий ===

За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются. Даже при опоздании на одну секунду. Сдавайте заранее. Есть исключение: в течение семестра каждый студент может не более 2 раз сдать задание после жёсткого дедлайна — в этом случае за каждый день просрочки продолжает вычитаться по одному баллу (если не оговорено иное).

При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.

При наличии уважительной причины пропущенную проверочную можно написать позднее, а дедлайн по домашнему заданию может быть перенесён. Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.

== Лекции ==

Ко всем конспектам на GitHub есть исходники. Исправления и дополнения всячески приветствуются!

'''Лекция 1''' (3 сентября). Введение в машинное обучение. Основные термины, постановки задач и примеры применения. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/lecture-notes/lecture01-intro.pdf Конспект]] [[https://youtu.be/HLg4EpeqZP0 Запись лекции]]

'''Лекция 2''' (10 сентября). Модель линейной регрессии. Подготовка данных для линейных моделей. Измерение ошибки в задачах регрессии. Устойчивые к выбросам функции потерь. Относительные функции потерь. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/lecture-notes/lecture02-linregr.pdf Конспект]] [[https://youtu.be/0YugAdKXfdY Запись лекции]]

'''Лекция 3''' (17 сентября). Переобучение. Отложенная выборка и кросс-валидация. Аналитическое решение для линейной регрессии и MSE. Градиентный спуск. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/lecture-notes/lecture03-linregr.pdf Конспект]] [[https://youtu.be/Sio_aNIxnaA Запись лекции]]

'''Лекция 4''' (24 сентября). Стохастический градиентный спуск. SAG, Momentum, AdaGrad, Adam. Регуляризация линейных моделей. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/lecture-notes/lecture04-linregr.pdf Конспект]] [[https://www.youtube.com/watch?v=7ODlUv9W7p4 Запись лекции]]

'''Лекция 5''' (1 октября). Разреженные линейные модели. Линейные классификаторы. Обучение линейных классификаторов через верхние оценки на пороговую функцию потерь. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/lecture-notes/lecture05-linclass.pdf Конспект]] [[https://www.youtube.com/watch?v=YtOWnaZGh7E Запись лекции]]

'''Лекция 6''' (8 октября). Метрики качества классификации. Доля верных ответов. Точность, полнота, F-мера и другие способы усреднения. ROC-кривая и PR-кривая, площади под ними. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/lecture-notes/lecture05-linclass.pdf Конспект]] [[https://www.youtube.com/watch?v=mwUrBQoHdQM Запись лекции]]

'''Лекция 7''' (15 октября). Оценивание вероятностей. Логистическая регрессия. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/lecture-notes/lecture06-linclass.pdf Конспект]] [[https://www.youtube.com/watch?v=2-wWxLeVd1U Запись лекции]]

'''Лекция 8''' (29 октября). Метод опорных векторов. Многоклассовая классификация. Метрики качества многоклассовой классификации. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/lecture-notes/lecture06-linclass.pdf Конспект по SVM]] [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/lecture-notes/lecture07-linclass.pdf Конспект по многоклассовой классификации]] [[https://youtu.be/OsfuADBOCZY Запись лекции]]

'''Лекция 9''' (5 ноября). Решающие деревья. Жадный алгоритм обучения дерева. Функционалы качества предикатов. Связь решающих деревьев и линейных моделей. Разложение ошибки на смещение и разброс. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/lecture-notes/lecture08-trees.pdf Конспект по деревьям]] [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/lecture-notes/lecture09-ensembles.pdf Конспект по BVD]] [[https://youtu.be/biDD-wAZrDQ Запись лекции]]

== Семинары ==

'''Семинар 1'''. Типы данных и виды задач машинного обучения [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/seminars/sem01-data.ipynb Ноутбук]]. Библиотека pandas [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/seminars/sem01-pandas.ipynb Ноутбук]].

'''Семинар 2'''. Исследование данных. Библиотека scikit-learn. Подготовка данных для линейных моделей. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/seminars/sem02-sklearn-linregr.ipynb Ноутбук]]

'''Семинар 3'''. Векторное дифференцирование [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/seminars/sem03-vector-diff.pdf Конспект]]. Градиентный спуск [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/seminars/sem03-gd.ipynb Ноутбук]]. А также: [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/seminars/sem03-numpy.ipynb Ноутбук про numpy для самостоятельного изучения]].

'''Семинар 4'''. Обработка данных. Работа с категориальными и текстовыми данными. Mean-target encoding. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/seminars/sem04-features.pdf Конспект]] [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/seminars/sem04-features.ipynb Ноутбук]]

'''Семинар 5'''. Метрики качества классификации. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/seminars/sem05-linclass-metrics.pdf Конспект]]

'''Семинар 6'''. Оценивание вероятностей классов. Калибровка вероятностей. Квантильная регрессия. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/seminars/sem06-probs-quantile.pdf Конспект]] [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/seminars/sem06-calibration.ipynb Ноутбук]]

'''Семинар 7'''. Решающие деревья. Критерии информативности. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/seminars/sem07-trees.pdf Конспект]] [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/seminars/sem07-trees.ipynb Ноутбук]]

== Практические задания ==

'''Задание 1.''' Pandas и распределение студентов ПМИ по элективам.

Мягкий дедлайн: 25.09.2021 23:59 MSK.

Жесткий дедлайн: 28.09.2021 23:59 MSK.

[[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/homeworks-practice/homework-practice-01-pandas.ipynb Ноутбук с заданием]]

'''Задание 2.''' Разведочный анализ данных, линейная регрессия и разработка признаков.

Мягкий дедлайн: 11.10.2021 23:59 MSK.

Жесткий дедлайн: 14.10.2021 23:59 MSK.

[[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/homeworks-practice/homework-practice-02-linregr.ipynb Ноутбук с заданием]]

'''Задание 3.''' Градиентный спуск своими руками.

Мягкий дедлайн: 27.10.2021 23:59 MSK.

Жесткий дедлайн: 29.10.2021 23:59 MSK.

[[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/homeworks-practice/homework-practice-03-gd/homework-practice-03-gd.ipynb Ноутбук с заданием]]

'''Задание 4.''' Классификация.

Мягкий дедлайн: 10.11.2021 23:59 MSK.

Жесткий дедлайн: 13.11.2021 23:59 MSK.

[[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/homeworks-practice/homework-practice-04-classification.ipynb Ноутбук с заданием]]

'''Задание 5.''' Решающие деревья.

Мягий дедлайн: 01:59MSK 23.11.2021

Жестокий дедлайн: 01:59MSK 26.11.2021

[[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/homeworks-practice/homework-practice-05-trees/homework-practice-05-trees.ipynb Ноутбук с заданием]]

==Теоретические домашние задания==

[https://github.com/esokolov/ml-course-hse/tree/master/2021-fall/homeworks-theory Теоретические ДЗ] не проверяются, но задачи из них могут войти в проверочные работы на семинарах.

== Соревнования ==

===Правила участия и оценивания===
В соревновании по анализу данных вам предлагается по имеющимся данным решить некоторую задачу, оптимизируя указанную метрику, и отправить ответы для заданного тестового множества. Максимальное количество посылок в сутки ограничено (как правило, разрешается сделать 2 посылки), ближе к концу соревнования вам будем необходимо выбрать 2 посылки, которые вы считаете лучшими. Тестовые данные делятся на публичные и приватные в некотором соотношении, на основе которых строятся публичный и приватный лидерборды соответственно, при этом публичный лидерборд доступен в течение всего соревнования, а приватный строится после его окончания для выбранных вами посылок.

В лидербордах каждого из соревнований присутствуют несколько базовых решений (бейзлайнов), каждое из которых соответствует определённой оценке. Например, для получения оценки не ниже 8 баллов необходимо, чтобы ваше решение на '''приватном''' лидерборде оказалось лучше соответствующего бейзлайна. Далее для студента, преодолевшего бейзлайн на N_1 баллов, но не преодолевшего бейзлайн на N_2 балла, итоговая оценка за соревнование рассчитывается по равномерной сетке среди всех таких студентов в зависимости от места в приватном лидерборде среди них; если быть точными, то по следующей формуле:

N_2 - (N_2 - N_1) * i / M,

где M — количество студентов (из всех студентов, изучающих курс), преодолевших бейзлайн на N_1 баллов, но не преодолевших бейзлайн на N_2 балла;

i — место (начиная с 1) студента в приватном лидерборде среди всех таких студентов.

Единственное исключение из формулы — студенты, преодолевшие самый сильный бейзлайн, получают прибавку 1/M к своей оценке.

Чтобы вас не пропустили при проверке решений соревнования, '''необходимо''' использовать следующий формат для имени команды (вкладка Team):

«[ПМИ] Имя Фамилия номер_группы»

В течение 3 суток после окончания соревнования в соответствующее задание на anytask необходимо прислать код, воспроизводящий ответы для посылки, фигурирующей в приватном лидерборде. При оформлении кода предполагайте, что данные лежат рядом с ним в папке data, а в результате выполнения кода ответы должны быть записаны в файл solution-N-Username.csv, где N — номер соревнования, Username — ваша фамилия. У нас должна быть возможность запустить код и получить те же ответы, что и в вашей посылке, — в частности, это означает, что:

1. Если вы отправляете файл *.py, мы будем запускать его при помощи команды python *.py в вышеуказанном предположении о местонахождении данных.

2. Если вы отправляете ноутбук *.ipynb, мы последовательно запустим все ячейки ноутбука и будем ожидать в результате его работы формирование файла с ответами.

3. Если вы отправляете код с использованием другого языка программирования, в том же письме направьте нам инструкцию по его запуску с тем, чтобы получить тот же файл с ответами.

В случае отсутствия кода, воспроизводящего результат, в установленный срок студенту выставляется 0 в качестве оценки за соревнование. Студенты, попавшие в топ-3 согласно приватному лидерборду, смогут получить бонусные баллы, если в течение недели после окончания соревнования сдадут в anytask отчет о получении решения, фигурирующего в приватном лидерборде. Если не оговорено иное, использовать любые внешние данные в соревнованиях '''запрещено'''. Под внешними данными понимаются размеченные данные, где разметка имеет прямое отношение к решаемой задаче. Грубо говоря, сборник текстов с википедии не считается внешними данными.

В некоторых соревнованиях данные взяты из завершившегося соревнования на Kaggle.
Категорически запрещено использовать данные из оригинального соревнования для восстановления целевой переменной на тестовой выборке.

=== Соревнование 1 ===

== Бонусы за соревнования ==

За успешное участие в соревнованиях по анализу данных могут быть выставлены бонусные баллы, которые можно прибавить к оценке за любое практическое или теоретическое домашнее задание, а также за самостоятельную работу. Под успешным участием понимается попадание в топ-10% мест; если соревнование особо сложное и крупное, может рассматриваться и попадание в топ-20% мест. Конкретное число баллов определяется преподавателями и зависит от сложности соревнования и занятого места. За одно соревнование можно получить не более 5 баллов. Для получения оценки необходимо предоставить краткий отчёт о решении задачи.

== Контрольная работа ==

== Экзамен ==

== Полезные материалы ==
===Книги===
* Hastie T., Tibshirani R, Friedman J. The Elements of Statistical Learning (2nd edition). Springer, 2009.
* Bishop C. M. Pattern Recognition and Machine Learning. Springer, 2006.
* Mohri M., Rostamizadeh A., Talwalkar A. Foundations of Machine Learning. MIT Press, 2012.
* Murphy K. Machine Learning: A Probabilistic Perspective. MIT Press, 2012.
* Mohammed J. Zaki, Wagner Meira Jr. Data Mining and Analysis. Fundamental Concepts and Algorithms. Cambridge University Press, 2014.
* Willi Richert, Luis Pedro Coelho. Building Machine Learning Systems with Python. Packt Publishing, 2013.

===Курсы по машинному обучению и анализу данных===
* [http://www.machinelearning.ru/wiki/index.php?title=Машинное_обучение_%28курс_лекций%2C_К.В.Воронцов%29 Курс по машинному обучению К.В. Воронцова]
* [https://yandexdataschool.ru/edu-process/courses/machine-learning Видеозаписи лекций курса Школы Анализа Данных, К.В. Воронцов]
* [https://www.coursera.org/specializations/machine-learning-from-statistics-to-neural-networks Coursera: Машинное обучение от статистики до нейросетей (специализация)]
* [https://www.coursera.org/specializations/machine-learning-data-analysis Coursera: Машинное обучение и анализ данных (специализация)]
* [https://www.coursera.org/learn/introduction-machine-learning Coursera: Введение в машинное обучение, К.В. Воронцов]
* [https://openedu.ru/course/hse/INTRML/ Введение в машинное обучение (онлайн-курс НИУ ВШЭ)]

== Страницы предыдущих лет ==

[[Машинное_обучение_1/2020_2021 | 2020/2021 учебный год]]

[[Машинное_обучение_1/2019_2020 | 2019/2020 учебный год]]

[[Машинное_обучение_1/2018_2019 | 2018/2019 учебный год]]

[[Машинное_обучение_1/2017_2018 | 2017/2018 учебный год]]

[[Машинное_обучение_1/2016_2017 | 2016/2017 учебный год]]

Машинное обучение 1/2023 2024

2021-09-14T13:29:43Z

Ainurmukh: внесла ссылку на anytask

== О курсе ==

[[Файл:ML_surfaces.png|280px|borderless|left]]

Курс читается для студентов 3-го курса [https://cs.hse.ru/ami ПМИ ФКН ВШЭ] в 1-2 модулях.

Проводится с 2016 года.

'''Лектор:''' [http://www.hse.ru/staff/esokolov Соколов Евгений Андреевич]

Лекции проходят по пятницам, 11:10 - 12:30, в zoom (https://zoom.us/j/98499384799?pwd=OC9GcFd5QlJkZlA5Uk85SHNVTGxSdz09).

=== Полезные ссылки ===

[https://www.hse.ru/ba/ami/courses/450802413.html Карточка курса и программа]

[https://github.com/esokolov/ml-course-hse Репозиторий с материалами на GitHub]

[https://www.youtube.com/watch?v=OBG6EUSRC9g&list=PLEqoHzpnmTfDwuwrFHWVHdr1-qJsfqCUX Видеозаписи лекций 18/19 года]

Почта для сдачи домашних заданий (на самом деле задания сдаются в AnyTask, но если он не работает, то присылайте на почту): hse.cs.ml+<номер группы>@gmail.com (например, hse.cs.ml+171@gmail.com)

Канал в telegram для объявлений: https://t.me/joinchat/G2T6pB1CgF82NTMy

Чат в telegram для обсуждений (предназначение чата до конца не ясно, вопросы может быть правильнее задавать в чатах групп): https://t.me/joinchat/NRpKJ09prtRlMTli

Ссылка на курс в Anytask: https://anytask.org/course/856

[https://docs.google.com/spreadsheets/d/1_qMPqgcJZEJaiXZpMbjKM0trw_aGkkulrZG7Lq7kjU8/edit?usp=sharing Таблица с оценками]

Оставить отзыв на курс: [https://goo.gl/forms/5CddG0gc75VZvqi52 форма]

'''Вопросы''' по курсу можно задавать в телеграм лектору (esokolov@) или семинаристу.
Вопросы по материалам лекций/семинаров и по заданиям лучше всего задавать на [https://github.com/esokolov/ml-course-hse/discussions форуме].

=== Семинары ===

{| class="wikitable"
|-
! Группа !! Преподаватель
|-
| 191 (МОП) || Хрушков Павел Вадимович
|-
| 192 (МОП) || [https://www.hse.ru/staff/esokolov Соколов Евгений Андреевич]
|-
| 193 (МОП) || [https://www.hse.ru/org/persons/208522505 Садртдинов Ильдус Рустемович]
|-
| 194 (АДИС)|| [https://www.hse.ru/staff/atsvigun Цвигун Аким Олегович]
|-
| 195 (РС) || Каюмов Эмиль Марселевич
|-
| 196 (РС) || Шабалин Александр Михайлович
|-
| 197 (АПР) || [https://www.hse.ru/org/persons/160961881 Глазкова Екатерина Васильевна]
|-
| 198 (ТИ) || [https://www.hse.ru/org/persons/218009880 Ульянкин Филипп] [https://t.me/ppilif @ppilif]
|-
| 199 (МИ) || [https://www.hse.ru/org/persons/160995848/ Семенкин Антон Александрович]
|-
| 1910 (ПР) || [https://www.hse.ru/org/persons/208488544 Биршерт Алексей Дмитриевич]
|-
| ФЭН || [https://www.hse.ru/org/persons/190889495 Зехов Матвей Сергеевич]
|-
| Пермь (БИ) || [https://www.hse.ru/org/persons/343120018 Собянин Кирилл Валентинович]
|-
| Пермь (ПИ) || [https://www.hse.ru/org/persons/343120018 Собянин Кирилл Валентинович]
|}

=== Консультации ===

{| class="wikitable"
|-
! Учебные ассистенты
|-
| [https://t.me/treacker Евгений Шабалин - 191]
|-
| [https://t.me/madn_boi Никита Морозов - 192]
|-
| [https://t.me/artiloid Щербинин Артём - 193]
|-
| [https://t.me/sibsonya Сибагатова Софья - 193]
|-
| [https://t.me/khaykingleb Хайкин Глеб - 194]
|-
| [https://t.me/sol_arch Никита Андреев - 195]
|-
| [https://t.me/sabinadayanova Сабина Даянова - 195]
|-
| [https://t.me/ainmukh Айнур Мухамбетова - 196]
|-
| [https://t.me/daviddramb Драмбян Давид - 198]
|-
| [https://t.me/fdrose Абрахам Максим - 199]
|-
| [https://t.me/naumovanast Наумова Настя - 1910]
|-
| [https://t.me/horror_in_black Коган Саша - 197]
|-
| [https://t.me/cherepasska Баранов Михаил - ФЭН]
|-
| [https://t.me/lena_rus_21 Русакова Елена]
|}

=== Правила выставления оценок ===

В курсе предусмотрено несколько форм контроля знания:
* Самостоятельные работы на семинарах, проверяющие знание основных фактов с лекций и семинаров
* Практические домашние работы на Python
* Письменная контрольная работа
* Письменный экзамен

Итоговая оценка вычисляется на основе оценки за работу в семестре и оценки за экзамен:

Итог = Округление(0.15 * ПР + 0.4 * ДЗ + 0.15 * КР + 0.3 * Э)

ПР — средняя оценка за самостоятельные работы на семинарах

ДЗ — средняя оценка за практические домашние работы на Python

КР — оценка за контрольную работу

Э — оценка за экзамен

Округление арифметическое.

=== Правила сдачи заданий ===

За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются. Даже при опоздании на одну секунду. Сдавайте заранее. Есть исключение: в течение семестра каждый студент может не более 2 раз сдать задание после жёсткого дедлайна — в этом случае за каждый день просрочки продолжает вычитаться по одному баллу (если не оговорено иное).

При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.

При наличии уважительной причины пропущенную проверочную можно написать позднее, а дедлайн по домашнему заданию может быть перенесён. Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.

== Лекции ==

Ко всем конспектам на GitHub есть исходники. Исправления и дополнения всячески приветствуются!

'''Лекция 1''' (3 сентября). Введение в машинное обучение. Основные термины, постановки задач и примеры применения. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/lecture-notes/lecture01-intro.pdf Конспект]] [[https://youtu.be/HLg4EpeqZP0 Запись лекции]]

== Семинары ==

'''Семинар 1'''. Типы данных и виды задач машинного обучения [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/seminars/sem01-data.ipynb Ноутбук]]. Библиотека pandas [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/seminars/sem01-pandas.ipynb Ноутбук]].

== Практические задания ==

'''Задание 1.''' Pandas и распределение студентов ПМИ по элективам.

Мягкий дедлайн: 23:59 MSK 25.09.2021.

Жесткий дедлайн: 23:59 MSK 28.09.2021.

[[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/homeworks-practice/homework_practice_01_pandas.ipynb Ноутбук с заданием]]

==Теоретические домашние задания==

Теоретические ДЗ не проверяются, но задачи из них могут войти в проверочные работы на семинарах.

== Соревнования ==

===Правила участия и оценивания===
В соревновании по анализу данных вам предлагается по имеющимся данным решить некоторую задачу, оптимизируя указанную метрику, и отправить ответы для заданного тестового множества. Максимальное количество посылок в сутки ограничено (как правило, разрешается сделать 2 посылки), ближе к концу соревнования вам будем необходимо выбрать 2 посылки, которые вы считаете лучшими. Тестовые данные делятся на публичные и приватные в некотором соотношении, на основе которых строятся публичный и приватный лидерборды соответственно, при этом публичный лидерборд доступен в течение всего соревнования, а приватный строится после его окончания для выбранных вами посылок.

В лидербордах каждого из соревнований присутствуют несколько базовых решений (бейзлайнов), каждое из которых соответствует определённой оценке. Например, для получения оценки не ниже 8 баллов необходимо, чтобы ваше решение на '''приватном''' лидерборде оказалось лучше соответствующего бейзлайна. Далее для студента, преодолевшего бейзлайн на N_1 баллов, но не преодолевшего бейзлайн на N_2 балла, итоговая оценка за соревнование рассчитывается по равномерной сетке среди всех таких студентов в зависимости от места в приватном лидерборде среди них; если быть точными, то по следующей формуле:

N_2 - (N_2 - N_1) * i / M,

где M — количество студентов (из всех студентов, изучающих курс), преодолевших бейзлайн на N_1 баллов, но не преодолевших бейзлайн на N_2 балла;

i — место (начиная с 1) студента в приватном лидерборде среди всех таких студентов.

Единственное исключение из формулы — студенты, преодолевшие самый сильный бейзлайн, получают прибавку 1/M к своей оценке.

Чтобы вас не пропустили при проверке решений соревнования, '''необходимо''' использовать следующий формат для имени команды (вкладка Team):

«[ПМИ] Имя Фамилия номер_группы»

В течение 3 суток после окончания соревнования в соответствующее задание на anytask необходимо прислать код, воспроизводящий ответы для посылки, фигурирующей в приватном лидерборде. При оформлении кода предполагайте, что данные лежат рядом с ним в папке data, а в результате выполнения кода ответы должны быть записаны в файл solution-N-Username.csv, где N — номер соревнования, Username — ваша фамилия. У нас должна быть возможность запустить код и получить те же ответы, что и в вашей посылке, — в частности, это означает, что:

1. Если вы отправляете файл *.py, мы будем запускать его при помощи команды python *.py в вышеуказанном предположении о местонахождении данных.

2. Если вы отправляете ноутбук *.ipynb, мы последовательно запустим все ячейки ноутбука и будем ожидать в результате его работы формирование файла с ответами.

3. Если вы отправляете код с использованием другого языка программирования, в том же письме направьте нам инструкцию по его запуску с тем, чтобы получить тот же файл с ответами.

В случае отсутствия кода, воспроизводящего результат, в установленный срок студенту выставляется 0 в качестве оценки за соревнование. Студенты, попавшие в топ-3 согласно приватному лидерборду, смогут получить бонусные баллы, если в течение недели после окончания соревнования сдадут в anytask отчет о получении решения, фигурирующего в приватном лидерборде. Если не оговорено иное, использовать любые внешние данные в соревнованиях '''запрещено'''. Под внешними данными понимаются размеченные данные, где разметка имеет прямое отношение к решаемой задаче. Грубо говоря, сборник текстов с википедии не считается внешними данными.

В некоторых соревнованиях данные взяты из завершившегося соревнования на Kaggle.
Категорически запрещено использовать данные из оригинального соревнования для восстановления целевой переменной на тестовой выборке.

=== Соревнование 1 ===

== Бонусы за соревнования ==

За успешное участие в соревнованиях по анализу данных могут быть выставлены бонусные баллы, которые можно прибавить к оценке за любое практическое или теоретическое домашнее задание, а также за самостоятельную работу. Под успешным участием понимается попадание в топ-10% мест; если соревнование особо сложное и крупное, может рассматриваться и попадание в топ-20% мест. Конкретное число баллов определяется преподавателями и зависит от сложности соревнования и занятого места. За одно соревнование можно получить не более 5 баллов. Для получения оценки необходимо предоставить краткий отчёт о решении задачи.

== Контрольная работа ==

== Экзамен ==

== Полезные материалы ==
===Книги===
* Hastie T., Tibshirani R, Friedman J. The Elements of Statistical Learning (2nd edition). Springer, 2009.
* Bishop C. M. Pattern Recognition and Machine Learning. Springer, 2006.
* Mohri M., Rostamizadeh A., Talwalkar A. Foundations of Machine Learning. MIT Press, 2012.
* Murphy K. Machine Learning: A Probabilistic Perspective. MIT Press, 2012.
* Mohammed J. Zaki, Wagner Meira Jr. Data Mining and Analysis. Fundamental Concepts and Algorithms. Cambridge University Press, 2014.
* Willi Richert, Luis Pedro Coelho. Building Machine Learning Systems with Python. Packt Publishing, 2013.

===Курсы по машинному обучению и анализу данных===
* [http://www.machinelearning.ru/wiki/index.php?title=Машинное_обучение_%28курс_лекций%2C_К.В.Воронцов%29 Курс по машинному обучению К.В. Воронцова]
* [https://yandexdataschool.ru/edu-process/courses/machine-learning Видеозаписи лекций курса Школы Анализа Данных, К.В. Воронцов]
* [https://www.coursera.org/specializations/machine-learning-from-statistics-to-neural-networks Coursera: Машинное обучение от статистики до нейросетей (специализация)]
* [https://www.coursera.org/specializations/machine-learning-data-analysis Coursera: Машинное обучение и анализ данных (специализация)]
* [https://www.coursera.org/learn/introduction-machine-learning Coursera: Введение в машинное обучение, К.В. Воронцов]
* [https://openedu.ru/course/hse/INTRML/ Введение в машинное обучение (онлайн-курс НИУ ВШЭ)]

== Страницы предыдущих лет ==

[[Машинное_обучение_1/2020_2021 | 2020/2021 учебный год]]

[[Машинное_обучение_1/2019_2020 | 2019/2020 учебный год]]

[[Машинное_обучение_1/2018_2019 | 2018/2019 учебный год]]

[[Машинное_обучение_1/2017_2018 | 2017/2018 учебный год]]

[[Машинное_обучение_1/2016_2017 | 2016/2017 учебный год]]