Wiki - Факультет компьютерных наук - Вклад [ru]

Машинное обучение 1/2023 2024

2022-09-04T16:38:31Z

Birshert1:

Машинное обучение 1/2023 2024

2022-09-04T16:38:13Z

Birshert1:

Машинное обучение 1/2023 2024

2022-09-04T16:25:35Z

Birshert1:

Машинное обучение 1/2023 2024

2021-12-06T11:13:40Z

Birshert1:

== О курсе ==

[[Файл:ML_surfaces.png|280px|borderless|left]]

Курс читается для студентов 3-го курса [https://cs.hse.ru/ami ПМИ ФКН ВШЭ] в 1-2 модулях.

Проводится с 2016 года.

'''Лектор:''' [http://www.hse.ru/staff/esokolov Соколов Евгений Андреевич]

Лекции проходят по пятницам, 11:10 - 12:30, в zoom (https://zoom.us/j/98499384799?pwd=OC9GcFd5QlJkZlA5Uk85SHNVTGxSdz09).

=== Полезные ссылки ===

[https://www.hse.ru/ba/ami/courses/450802413.html Карточка курса и программа]

[https://github.com/esokolov/ml-course-hse Репозиторий с материалами на GitHub]

[https://www.youtube.com/watch?v=OBG6EUSRC9g&list=PLEqoHzpnmTfDwuwrFHWVHdr1-qJsfqCUX Видеозаписи лекций 18/19 года]

Почта для сдачи домашних заданий (на самом деле задания сдаются в AnyTask, но если он не работает, то присылайте на почту): hse.cs.ml+<номер группы>@gmail.com (например, hse.cs.ml+171@gmail.com)

Канал в telegram для объявлений: https://t.me/joinchat/G2T6pB1CgF82NTMy

Чат в telegram для обсуждений (предназначение чата до конца не ясно, вопросы может быть правильнее задавать в чатах групп): https://t.me/joinchat/NRpKJ09prtRlMTli

Ссылка на курс в Anytask: https://anytask.org/course/856

[https://docs.google.com/spreadsheets/d/1_qMPqgcJZEJaiXZpMbjKM0trw_aGkkulrZG7Lq7kjU8/edit?usp=sharing Таблица с оценками]

Оставить отзыв на курс: [https://goo.gl/forms/5CddG0gc75VZvqi52 форма]

'''Вопросы''' по курсу можно задавать в телеграм лектору (esokolov@) или семинаристу.
Вопросы по материалам лекций/семинаров и по заданиям лучше всего задавать на [https://github.com/esokolov/ml-course-hse/discussions форуме].

=== Семинары ===

{| class="wikitable"
|-
! Группа !! Преподаватель
|-
| 191 (МОП) || Хрушков Павел Вадимович
|-
| 192 (МОП) || [https://www.hse.ru/staff/esokolov Соколов Евгений Андреевич]
|-
| 193 (МОП) || [https://www.hse.ru/org/persons/208522505 Садртдинов Ильдус Рустемович]
|-
| 194 (АДИС)|| [https://www.hse.ru/staff/atsvigun Цвигун Аким Олегович]
|-
| 195 (РС) || Каюмов Эмиль Марселевич
|-
| 196 (РС) || Шабалин Александр Михайлович
|-
| 197 (АПР) || [https://www.hse.ru/org/persons/160961881 Глазкова Екатерина Васильевна]
|-
| 198 (ТИ) || [https://www.hse.ru/org/persons/218009880 Ульянкин Филипп] [https://t.me/ppilif @ppilif]
|-
| 199 (МИ) || [https://www.hse.ru/org/persons/160995848/ Семенкин Антон Александрович]
|-
| 1910 (ПР) || [https://www.hse.ru/org/persons/208488544 Биршерт Алексей Дмитриевич]
|-
| ФЭН || [https://www.hse.ru/org/persons/190889495 Зехов Матвей Сергеевич]
|-
| Пермь (БИ) || [https://www.hse.ru/org/persons/343120018 Собянин Кирилл Валентинович]
|-
| Пермь (ПИ) || [https://www.hse.ru/org/persons/343120018 Собянин Кирилл Валентинович]
|}

=== Консультации ===

{| class="wikitable"
|-
! Учебные ассистенты
|-
| [https://t.me/treacker Евгений Шабалин - 191]
|-
| [https://t.me/madn_boi Никита Морозов - 192]
|-
| [https://t.me/artiloid Щербинин Артём - 193]
|-
| [https://t.me/sibsonya Сибагатова Софья - 193]
|-
| [https://t.me/khaykingleb Хайкин Глеб - 194]
|-
| [https://t.me/sol_arch Никита Андреев - 195]
|-
| [https://t.me/sabinadayanova Сабина Даянова - 195]
|-
| [https://t.me/ainmukh Айнур Мухамбетова - 196]
|-
| [https://t.me/daviddramb Драмбян Давид - 198]
|-
| [https://t.me/fdrose Абрахам Максим - 199]
|-
| [https://t.me/naumovanast Наумова Настя - 1910]
|-
| [https://t.me/horror_in_black Коган Саша - 197]
|-
| [https://t.me/cherepasska Баранов Михаил - ФЭН]
|-
| [https://t.me/lena_rus_21 Русакова Елена]
|}

=== Правила выставления оценок ===

В курсе предусмотрено несколько форм контроля знания:
* Самостоятельные работы на семинарах, проверяющие знание основных фактов с лекций и семинаров
* Практические домашние работы на Python
* Письменная контрольная работа
* Письменный экзамен

Итоговая оценка вычисляется на основе оценки за работу в семестре и оценки за экзамен:

Итог = Округление(0.15 * ПР + 0.4 * ДЗ + 0.15 * КР + 0.3 * Э)

ПР — средняя оценка за самостоятельные работы на семинарах

ДЗ — средняя оценка за практические домашние работы на Python

КР — оценка за контрольную работу

Э — оценка за экзамен

Округление арифметическое.

=== Правила сдачи заданий ===

За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются. Даже при опоздании на одну секунду. Сдавайте заранее. Есть исключение: в течение семестра каждый студент может не более 2 раз сдать задание после жёсткого дедлайна — в этом случае за каждый день просрочки продолжает вычитаться по одному баллу (если не оговорено иное).

При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.

При наличии уважительной причины пропущенную проверочную можно написать позднее, а дедлайн по домашнему заданию может быть перенесён. Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.

== Лекции ==

Ко всем конспектам на GitHub есть исходники. Исправления и дополнения всячески приветствуются!

'''Лекция 1''' (3 сентября). Введение в машинное обучение. Основные термины, постановки задач и примеры применения. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/lecture-notes/lecture01-intro.pdf Конспект]] [[https://youtu.be/HLg4EpeqZP0 Запись лекции]]

'''Лекция 2''' (10 сентября). Модель линейной регрессии. Подготовка данных для линейных моделей. Измерение ошибки в задачах регрессии. Устойчивые к выбросам функции потерь. Относительные функции потерь. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/lecture-notes/lecture02-linregr.pdf Конспект]] [[https://youtu.be/0YugAdKXfdY Запись лекции]]

'''Лекция 3''' (17 сентября). Переобучение. Отложенная выборка и кросс-валидация. Аналитическое решение для линейной регрессии и MSE. Градиентный спуск. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/lecture-notes/lecture03-linregr.pdf Конспект]] [[https://youtu.be/Sio_aNIxnaA Запись лекции]]

'''Лекция 4''' (24 сентября). Стохастический градиентный спуск. SAG, Momentum, AdaGrad, Adam. Регуляризация линейных моделей. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/lecture-notes/lecture04-linregr.pdf Конспект]] [[https://www.youtube.com/watch?v=7ODlUv9W7p4 Запись лекции]]

'''Лекция 5''' (1 октября). Разреженные линейные модели. Линейные классификаторы. Обучение линейных классификаторов через верхние оценки на пороговую функцию потерь. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/lecture-notes/lecture05-linclass.pdf Конспект]] [[https://www.youtube.com/watch?v=YtOWnaZGh7E Запись лекции]]

'''Лекция 6''' (8 октября). Метрики качества классификации. Доля верных ответов. Точность, полнота, F-мера и другие способы усреднения. ROC-кривая и PR-кривая, площади под ними. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/lecture-notes/lecture05-linclass.pdf Конспект]] [[https://www.youtube.com/watch?v=mwUrBQoHdQM Запись лекции]]

'''Лекция 7''' (15 октября). Оценивание вероятностей. Логистическая регрессия. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/lecture-notes/lecture06-linclass.pdf Конспект]] [[https://www.youtube.com/watch?v=2-wWxLeVd1U Запись лекции]]

'''Лекция 8''' (29 октября). Метод опорных векторов. Многоклассовая классификация. Метрики качества многоклассовой классификации. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/lecture-notes/lecture06-linclass.pdf Конспект по SVM]] [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/lecture-notes/lecture07-linclass.pdf Конспект по многоклассовой классификации]] [[https://youtu.be/OsfuADBOCZY Запись лекции]]

'''Лекция 9''' (5 ноября). Решающие деревья. Жадный алгоритм обучения дерева. Функционалы качества предикатов. Связь решающих деревьев и линейных моделей. Разложение ошибки на смещение и разброс. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/lecture-notes/lecture08-trees.pdf Конспект по деревьям]] [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/lecture-notes/lecture09-ensembles.pdf Конспект по BVD]] [[https://youtu.be/biDD-wAZrDQ Запись лекции]]

'''Лекция 10''' (12 ноября). Бэггинг и случайные леса. Out-of-bag оценка. Градиентный бустинг. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/lecture-notes/lecture09-ensembles.pdf Конспект по бэггингу и RF]] [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/lecture-notes/lecture10-ensembles.pdf Конспект по бустингу]] [[https://youtu.be/TGevGT8qbQw Запись лекции]]

'''Лекция 11''' (19 ноября). Градиентный бустинг. Сокращение шага. Стохастический градиентный бустинг. Бустинг над деревьями, дообучение прогнозов в листьях. Бустинг второго порядка. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/lecture-notes/lecture10-ensembles.pdf Конспект по бустингу]] [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/lecture-notes/lecture11-ensembles.pdf Продолжение конспекта по бустингу]] [[https://www.youtube.com/watch?v=pfT2nqR_Q24 Запись лекции]]

'''Лекция 12''' (26 ноября). Бустинг второго порядка. Регуляризация деревьев в бустинге. Выбор предикатов под функционал бустинга. Разное. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/lecture-notes/lecture11-ensembles.pdf Конспект]] [[https://youtu.be/aoCbsALAdSU Запись лекции]]

== Семинары ==

'''Семинар 1'''. Типы данных и виды задач машинного обучения [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/seminars/sem01-data.ipynb Ноутбук]]. Библиотека pandas [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/seminars/sem01-pandas.ipynb Ноутбук]].

'''Семинар 2'''. Исследование данных. Библиотека scikit-learn. Подготовка данных для линейных моделей. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/seminars/sem02-sklearn-linregr.ipynb Ноутбук]]

'''Семинар 3'''. Векторное дифференцирование [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/seminars/sem03-vector-diff.pdf Конспект]]. Градиентный спуск [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/seminars/sem03-gd.ipynb Ноутбук]]. А также: [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/seminars/sem03-numpy.ipynb Ноутбук про numpy для самостоятельного изучения]].

'''Семинар 4'''. Обработка данных. Работа с категориальными и текстовыми данными. Mean-target encoding. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/seminars/sem04-features.pdf Конспект]] [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/seminars/sem04-features.ipynb Ноутбук]]

'''Семинар 5'''. Метрики качества классификации. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/seminars/sem05-linclass-metrics.pdf Конспект]]

'''Семинар 6'''. Оценивание вероятностей классов. Калибровка вероятностей. Квантильная регрессия. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/seminars/sem06-probs-quantile.pdf Конспект]] [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/seminars/sem06-calibration.ipynb Ноутбук]]

'''Семинар 7'''. Решающие деревья. Критерии информативности. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/seminars/sem07-trees.pdf Конспект]] [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/seminars/sem07-trees.ipynb Ноутбук]]

'''Семинар 8'''. Разложение ошибки на смещение и разброс. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/seminars/sem08-bvd.pdf Конспект]]

'''Семинар 9'''. Почему градиентный бустинг так устроен? [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/seminars/sem09-gbm-part1.pdf Конспект]] [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/seminars/sem09-gbm-part2.ipynb Ноутбук]]

== Практические задания ==

'''Задание 1.''' Pandas и распределение студентов ПМИ по элективам.

Мягкий дедлайн: 25.09.2021 23:59 MSK.

Жесткий дедлайн: 28.09.2021 23:59 MSK.

[[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/homeworks-practice/homework-practice-01-pandas.ipynb Ноутбук с заданием]]

'''Задание 2.''' Разведочный анализ данных, линейная регрессия и разработка признаков.

Мягкий дедлайн: 11.10.2021 23:59 MSK.

Жесткий дедлайн: 14.10.2021 23:59 MSK.

[[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/homeworks-practice/homework-practice-02-linregr.ipynb Ноутбук с заданием]]

'''Задание 3.''' Градиентный спуск своими руками.

Мягкий дедлайн: 27.10.2021 23:59 MSK.

Жесткий дедлайн: 29.10.2021 23:59 MSK.

[[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/homeworks-practice/homework-practice-03-gd/homework-practice-03-gd.ipynb Ноутбук с заданием]]

'''Задание 4.''' Классификация.

Мягкий дедлайн: 10.11.2021 23:59 MSK.

Жесткий дедлайн: 13.11.2021 23:59 MSK.

[[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/homeworks-practice/homework-practice-04-classification.ipynb Ноутбук с заданием]]

'''Задание 5.''' Решающие деревья.

Мягий дедлайн: 26.11.2021 23:59 MSK.

Жестокий дедлайн: 26.11.2021 23:59 MSK.

[[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/homeworks-practice/homework-practice-05-trees/homework-practice-05-trees.ipynb Ноутбук с заданием]]

'''Задание 6.''' Разложение ошибки на смещение и разброс.

Мягкий дедлайн: 23:59MSK 07.12.2021

Жесткий дедлайн: 23:59MSK 10.12.2021

'''Задание 7.''' Обучение бустингов

Мягкий дедлайн: 23:59MSK 18.12.2021

Жесткий дедлайн: 23:59MSK 19.12.2021

[[https://github.com/esokolov/ml-course-hse/tree/master/2021-fall/homeworks-practice/homework-practice-07-boosting Ноутбук с заданием]]

==Теоретические домашние задания==

[https://github.com/esokolov/ml-course-hse/tree/master/2021-fall/homeworks-theory Теоретические ДЗ] не проверяются, но задачи из них могут войти в проверочные работы на семинарах.

== Соревнования ==

===Правила участия и оценивания===
В соревновании по анализу данных вам предлагается по имеющимся данным решить некоторую задачу, оптимизируя указанную метрику, и отправить ответы для заданного тестового множества. Максимальное количество посылок в сутки ограничено (как правило, разрешается сделать 2 посылки), ближе к концу соревнования вам будем необходимо выбрать 2 посылки, которые вы считаете лучшими. Тестовые данные делятся на публичные и приватные в некотором соотношении, на основе которых строятся публичный и приватный лидерборды соответственно, при этом публичный лидерборд доступен в течение всего соревнования, а приватный строится после его окончания для выбранных вами посылок.

В лидербордах каждого из соревнований присутствуют несколько базовых решений (бейзлайнов), каждое из которых соответствует определённой оценке. Например, для получения оценки не ниже 8 баллов необходимо, чтобы ваше решение на '''приватном''' лидерборде оказалось лучше соответствующего бейзлайна. Далее для студента, преодолевшего бейзлайн на N_1 баллов, но не преодолевшего бейзлайн на N_2 балла, итоговая оценка за соревнование рассчитывается по равномерной сетке среди всех таких студентов в зависимости от места в приватном лидерборде среди них; если быть точными, то по следующей формуле:

N_2 - (N_2 - N_1) * i / M,

где M — количество студентов (из всех студентов, изучающих курс), преодолевших бейзлайн на N_1 баллов, но не преодолевших бейзлайн на N_2 балла;

i — место (начиная с 1) студента в приватном лидерборде среди всех таких студентов.

Единственное исключение из формулы — студенты, преодолевшие самый сильный бейзлайн, получают прибавку 1/M к своей оценке.

Чтобы вас не пропустили при проверке решений соревнования, '''необходимо''' использовать следующий формат для имени команды (вкладка Team):

«[ПМИ] Имя Фамилия номер_группы»

В течение 3 суток после окончания соревнования в соответствующее задание на anytask необходимо прислать код, воспроизводящий ответы для посылки, фигурирующей в приватном лидерборде. При оформлении кода предполагайте, что данные лежат рядом с ним в папке data, а в результате выполнения кода ответы должны быть записаны в файл solution-N-Username.csv, где N — номер соревнования, Username — ваша фамилия. У нас должна быть возможность запустить код и получить те же ответы, что и в вашей посылке, — в частности, это означает, что:

1. Если вы отправляете файл *.py, мы будем запускать его при помощи команды python *.py в вышеуказанном предположении о местонахождении данных.

2. Если вы отправляете ноутбук *.ipynb, мы последовательно запустим все ячейки ноутбука и будем ожидать в результате его работы формирование файла с ответами.

3. Если вы отправляете код с использованием другого языка программирования, в том же письме направьте нам инструкцию по его запуску с тем, чтобы получить тот же файл с ответами.

В случае отсутствия кода, воспроизводящего результат, в установленный срок студенту выставляется 0 в качестве оценки за соревнование. Студенты, попавшие в топ-3 согласно приватному лидерборду, смогут получить бонусные баллы, если в течение недели после окончания соревнования сдадут в anytask отчет о получении решения, фигурирующего в приватном лидерборде. Если не оговорено иное, использовать любые внешние данные в соревнованиях '''запрещено'''. Под внешними данными понимаются размеченные данные, где разметка имеет прямое отношение к решаемой задаче. Грубо говоря, сборник текстов с википедии не считается внешними данными.

В некоторых соревнованиях данные взяты из завершившегося соревнования на Kaggle.
Категорически запрещено использовать данные из оригинального соревнования для восстановления целевой переменной на тестовой выборке.

=== Соревнование 1 ===

Задача: выявление мошеннических тразнакций

Это соревнование на бонусные баллы, оно не является обязательным.

Ссылка для участия: https://www.kaggle.com/t/bbc6f629ab1a4e4b9a79900f94dea96b

Дедлайн: 13.12.2021 23:59MSK

В задании всего один бейзлайн (lightgbm), ненулевые баллы получают решения, преодолевшие его на приватном лидерборде.
Все решения выше этого бейзлайна оцениваются по равномерной шкале от 0 до 5.

Обратите внимание на раздел Baselines на Kaggle — там можно найти много полезного.

== Бонусы за соревнования ==

За успешное участие в соревнованиях по анализу данных могут быть выставлены бонусные баллы, которые можно прибавить к оценке за любое практическое или теоретическое домашнее задание, а также за самостоятельную работу. Под успешным участием понимается попадание в топ-10% мест; если соревнование особо сложное и крупное, может рассматриваться и попадание в топ-20% мест. Конкретное число баллов определяется преподавателями и зависит от сложности соревнования и занятого места. За одно соревнование можно получить не более 5 баллов. Для получения оценки необходимо предоставить краткий отчёт о решении задачи.

== Контрольная работа ==

Контрольная работа состоится 3 декабря на лекции. Продолжительность — 80 минут. Проходит в zoom, студенты должны будут писать работу с включенным камерами и расшаренным экраном. На фотографирование и сдачу листочков дополнительно даётся 5 минут.

[https://docs.google.com/document/d/1I40EZqslLoj10CSQ0LbsW17cB5uHVHooJ86kcThKewE/edit?usp=sharing Вопросы для подготовки]

[https://github.com/esokolov/ml-course-hse/blob/master/2020-fall/midterm-fall-2020-example.pdf Нулевой вариант]

== Экзамен ==

== Полезные материалы ==
===Книги===
* Hastie T., Tibshirani R, Friedman J. The Elements of Statistical Learning (2nd edition). Springer, 2009.
* Bishop C. M. Pattern Recognition and Machine Learning. Springer, 2006.
* Mohri M., Rostamizadeh A., Talwalkar A. Foundations of Machine Learning. MIT Press, 2012.
* Murphy K. Machine Learning: A Probabilistic Perspective. MIT Press, 2012.
* Mohammed J. Zaki, Wagner Meira Jr. Data Mining and Analysis. Fundamental Concepts and Algorithms. Cambridge University Press, 2014.
* Willi Richert, Luis Pedro Coelho. Building Machine Learning Systems with Python. Packt Publishing, 2013.

===Курсы по машинному обучению и анализу данных===
* [http://www.machinelearning.ru/wiki/index.php?title=Машинное_обучение_%28курс_лекций%2C_К.В.Воронцов%29 Курс по машинному обучению К.В. Воронцова]
* [https://yandexdataschool.ru/edu-process/courses/machine-learning Видеозаписи лекций курса Школы Анализа Данных, К.В. Воронцов]
* [https://www.coursera.org/specializations/machine-learning-from-statistics-to-neural-networks Coursera: Машинное обучение от статистики до нейросетей (специализация)]
* [https://www.coursera.org/specializations/machine-learning-data-analysis Coursera: Машинное обучение и анализ данных (специализация)]
* [https://www.coursera.org/learn/introduction-machine-learning Coursera: Введение в машинное обучение, К.В. Воронцов]
* [https://openedu.ru/course/hse/INTRML/ Введение в машинное обучение (онлайн-курс НИУ ВШЭ)]

== Страницы предыдущих лет ==

[[Машинное_обучение_1/2020_2021 | 2020/2021 учебный год]]

[[Машинное_обучение_1/2019_2020 | 2019/2020 учебный год]]

[[Машинное_обучение_1/2018_2019 | 2018/2019 учебный год]]

[[Машинное_обучение_1/2017_2018 | 2017/2018 учебный год]]

[[Машинное_обучение_1/2016_2017 | 2016/2017 учебный год]]

Машинное обучение 1/2023 2024

2021-12-02T11:31:42Z

Birshert1: Добавил 6 дз

== О курсе ==

[[Файл:ML_surfaces.png|280px|borderless|left]]

Курс читается для студентов 3-го курса [https://cs.hse.ru/ami ПМИ ФКН ВШЭ] в 1-2 модулях.

Проводится с 2016 года.

'''Лектор:''' [http://www.hse.ru/staff/esokolov Соколов Евгений Андреевич]

Лекции проходят по пятницам, 11:10 - 12:30, в zoom (https://zoom.us/j/98499384799?pwd=OC9GcFd5QlJkZlA5Uk85SHNVTGxSdz09).

=== Полезные ссылки ===

[https://www.hse.ru/ba/ami/courses/450802413.html Карточка курса и программа]

[https://github.com/esokolov/ml-course-hse Репозиторий с материалами на GitHub]

[https://www.youtube.com/watch?v=OBG6EUSRC9g&list=PLEqoHzpnmTfDwuwrFHWVHdr1-qJsfqCUX Видеозаписи лекций 18/19 года]

Почта для сдачи домашних заданий (на самом деле задания сдаются в AnyTask, но если он не работает, то присылайте на почту): hse.cs.ml+<номер группы>@gmail.com (например, hse.cs.ml+171@gmail.com)

Канал в telegram для объявлений: https://t.me/joinchat/G2T6pB1CgF82NTMy

Чат в telegram для обсуждений (предназначение чата до конца не ясно, вопросы может быть правильнее задавать в чатах групп): https://t.me/joinchat/NRpKJ09prtRlMTli

Ссылка на курс в Anytask: https://anytask.org/course/856

[https://docs.google.com/spreadsheets/d/1_qMPqgcJZEJaiXZpMbjKM0trw_aGkkulrZG7Lq7kjU8/edit?usp=sharing Таблица с оценками]

Оставить отзыв на курс: [https://goo.gl/forms/5CddG0gc75VZvqi52 форма]

'''Вопросы''' по курсу можно задавать в телеграм лектору (esokolov@) или семинаристу.
Вопросы по материалам лекций/семинаров и по заданиям лучше всего задавать на [https://github.com/esokolov/ml-course-hse/discussions форуме].

=== Семинары ===

{| class="wikitable"
|-
! Группа !! Преподаватель
|-
| 191 (МОП) || Хрушков Павел Вадимович
|-
| 192 (МОП) || [https://www.hse.ru/staff/esokolov Соколов Евгений Андреевич]
|-
| 193 (МОП) || [https://www.hse.ru/org/persons/208522505 Садртдинов Ильдус Рустемович]
|-
| 194 (АДИС)|| [https://www.hse.ru/staff/atsvigun Цвигун Аким Олегович]
|-
| 195 (РС) || Каюмов Эмиль Марселевич
|-
| 196 (РС) || Шабалин Александр Михайлович
|-
| 197 (АПР) || [https://www.hse.ru/org/persons/160961881 Глазкова Екатерина Васильевна]
|-
| 198 (ТИ) || [https://www.hse.ru/org/persons/218009880 Ульянкин Филипп] [https://t.me/ppilif @ppilif]
|-
| 199 (МИ) || [https://www.hse.ru/org/persons/160995848/ Семенкин Антон Александрович]
|-
| 1910 (ПР) || [https://www.hse.ru/org/persons/208488544 Биршерт Алексей Дмитриевич]
|-
| ФЭН || [https://www.hse.ru/org/persons/190889495 Зехов Матвей Сергеевич]
|-
| Пермь (БИ) || [https://www.hse.ru/org/persons/343120018 Собянин Кирилл Валентинович]
|-
| Пермь (ПИ) || [https://www.hse.ru/org/persons/343120018 Собянин Кирилл Валентинович]
|}

=== Консультации ===

{| class="wikitable"
|-
! Учебные ассистенты
|-
| [https://t.me/treacker Евгений Шабалин - 191]
|-
| [https://t.me/madn_boi Никита Морозов - 192]
|-
| [https://t.me/artiloid Щербинин Артём - 193]
|-
| [https://t.me/sibsonya Сибагатова Софья - 193]
|-
| [https://t.me/khaykingleb Хайкин Глеб - 194]
|-
| [https://t.me/sol_arch Никита Андреев - 195]
|-
| [https://t.me/sabinadayanova Сабина Даянова - 195]
|-
| [https://t.me/ainmukh Айнур Мухамбетова - 196]
|-
| [https://t.me/daviddramb Драмбян Давид - 198]
|-
| [https://t.me/fdrose Абрахам Максим - 199]
|-
| [https://t.me/naumovanast Наумова Настя - 1910]
|-
| [https://t.me/horror_in_black Коган Саша - 197]
|-
| [https://t.me/cherepasska Баранов Михаил - ФЭН]
|-
| [https://t.me/lena_rus_21 Русакова Елена]
|}

=== Правила выставления оценок ===

В курсе предусмотрено несколько форм контроля знания:
* Самостоятельные работы на семинарах, проверяющие знание основных фактов с лекций и семинаров
* Практические домашние работы на Python
* Письменная контрольная работа
* Письменный экзамен

Итоговая оценка вычисляется на основе оценки за работу в семестре и оценки за экзамен:

Итог = Округление(0.15 * ПР + 0.4 * ДЗ + 0.15 * КР + 0.3 * Э)

ПР — средняя оценка за самостоятельные работы на семинарах

ДЗ — средняя оценка за практические домашние работы на Python

КР — оценка за контрольную работу

Э — оценка за экзамен

Округление арифметическое.

=== Правила сдачи заданий ===

За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются. Даже при опоздании на одну секунду. Сдавайте заранее. Есть исключение: в течение семестра каждый студент может не более 2 раз сдать задание после жёсткого дедлайна — в этом случае за каждый день просрочки продолжает вычитаться по одному баллу (если не оговорено иное).

При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.

При наличии уважительной причины пропущенную проверочную можно написать позднее, а дедлайн по домашнему заданию может быть перенесён. Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.

== Лекции ==

Ко всем конспектам на GitHub есть исходники. Исправления и дополнения всячески приветствуются!

'''Лекция 1''' (3 сентября). Введение в машинное обучение. Основные термины, постановки задач и примеры применения. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/lecture-notes/lecture01-intro.pdf Конспект]] [[https://youtu.be/HLg4EpeqZP0 Запись лекции]]

'''Лекция 2''' (10 сентября). Модель линейной регрессии. Подготовка данных для линейных моделей. Измерение ошибки в задачах регрессии. Устойчивые к выбросам функции потерь. Относительные функции потерь. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/lecture-notes/lecture02-linregr.pdf Конспект]] [[https://youtu.be/0YugAdKXfdY Запись лекции]]

'''Лекция 3''' (17 сентября). Переобучение. Отложенная выборка и кросс-валидация. Аналитическое решение для линейной регрессии и MSE. Градиентный спуск. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/lecture-notes/lecture03-linregr.pdf Конспект]] [[https://youtu.be/Sio_aNIxnaA Запись лекции]]

'''Лекция 4''' (24 сентября). Стохастический градиентный спуск. SAG, Momentum, AdaGrad, Adam. Регуляризация линейных моделей. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/lecture-notes/lecture04-linregr.pdf Конспект]] [[https://www.youtube.com/watch?v=7ODlUv9W7p4 Запись лекции]]

'''Лекция 5''' (1 октября). Разреженные линейные модели. Линейные классификаторы. Обучение линейных классификаторов через верхние оценки на пороговую функцию потерь. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/lecture-notes/lecture05-linclass.pdf Конспект]] [[https://www.youtube.com/watch?v=YtOWnaZGh7E Запись лекции]]

'''Лекция 6''' (8 октября). Метрики качества классификации. Доля верных ответов. Точность, полнота, F-мера и другие способы усреднения. ROC-кривая и PR-кривая, площади под ними. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/lecture-notes/lecture05-linclass.pdf Конспект]] [[https://www.youtube.com/watch?v=mwUrBQoHdQM Запись лекции]]

'''Лекция 7''' (15 октября). Оценивание вероятностей. Логистическая регрессия. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/lecture-notes/lecture06-linclass.pdf Конспект]] [[https://www.youtube.com/watch?v=2-wWxLeVd1U Запись лекции]]

'''Лекция 8''' (29 октября). Метод опорных векторов. Многоклассовая классификация. Метрики качества многоклассовой классификации. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/lecture-notes/lecture06-linclass.pdf Конспект по SVM]] [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/lecture-notes/lecture07-linclass.pdf Конспект по многоклассовой классификации]] [[https://youtu.be/OsfuADBOCZY Запись лекции]]

'''Лекция 9''' (5 ноября). Решающие деревья. Жадный алгоритм обучения дерева. Функционалы качества предикатов. Связь решающих деревьев и линейных моделей. Разложение ошибки на смещение и разброс. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/lecture-notes/lecture08-trees.pdf Конспект по деревьям]] [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/lecture-notes/lecture09-ensembles.pdf Конспект по BVD]] [[https://youtu.be/biDD-wAZrDQ Запись лекции]]

'''Лекция 10''' (12 ноября). Бэггинг и случайные леса. Out-of-bag оценка. Градиентный бустинг. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/lecture-notes/lecture09-ensembles.pdf Конспект по бэггингу и RF]] [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/lecture-notes/lecture10-ensembles.pdf Конспект по бустингу]] [[https://youtu.be/TGevGT8qbQw Запись лекции]]

'''Лекция 11''' (19 ноября). Градиентный бустинг. Сокращение шага. Стохастический градиентный бустинг. Бустинг над деревьями, дообучение прогнозов в листьях. Бустинг второго порядка. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/lecture-notes/lecture10-ensembles.pdf Конспект по бустингу]] [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/lecture-notes/lecture11-ensembles.pdf Продолжение конспекта по бустингу]] [[https://www.youtube.com/watch?v=pfT2nqR_Q24 Запись лекции]]

'''Лекция 12''' (26 ноября). Бустинг второго порядка. Регуляризация деревьев в бустинге. Выбор предикатов под функционал бустинга. Разное. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/lecture-notes/lecture11-ensembles.pdf Конспект]] [[https://youtu.be/aoCbsALAdSU Запись лекции]]

== Семинары ==

'''Семинар 1'''. Типы данных и виды задач машинного обучения [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/seminars/sem01-data.ipynb Ноутбук]]. Библиотека pandas [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/seminars/sem01-pandas.ipynb Ноутбук]].

'''Семинар 2'''. Исследование данных. Библиотека scikit-learn. Подготовка данных для линейных моделей. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/seminars/sem02-sklearn-linregr.ipynb Ноутбук]]

'''Семинар 3'''. Векторное дифференцирование [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/seminars/sem03-vector-diff.pdf Конспект]]. Градиентный спуск [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/seminars/sem03-gd.ipynb Ноутбук]]. А также: [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/seminars/sem03-numpy.ipynb Ноутбук про numpy для самостоятельного изучения]].

'''Семинар 4'''. Обработка данных. Работа с категориальными и текстовыми данными. Mean-target encoding. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/seminars/sem04-features.pdf Конспект]] [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/seminars/sem04-features.ipynb Ноутбук]]

'''Семинар 5'''. Метрики качества классификации. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/seminars/sem05-linclass-metrics.pdf Конспект]]

'''Семинар 6'''. Оценивание вероятностей классов. Калибровка вероятностей. Квантильная регрессия. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/seminars/sem06-probs-quantile.pdf Конспект]] [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/seminars/sem06-calibration.ipynb Ноутбук]]

'''Семинар 7'''. Решающие деревья. Критерии информативности. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/seminars/sem07-trees.pdf Конспект]] [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/seminars/sem07-trees.ipynb Ноутбук]]

'''Семинар 8'''. Разложение ошибки на смещение и разброс. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/seminars/sem08-bvd.pdf Конспект]]

'''Семинар 9'''. Почему градиентный бустинг так устроен? [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/seminars/sem09-gbm-part1.pdf Конспект]] [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/seminars/sem09-gbm-part2.ipynb Ноутбук]]

== Практические задания ==

'''Задание 1.''' Pandas и распределение студентов ПМИ по элективам.

Мягкий дедлайн: 25.09.2021 23:59 MSK.

Жесткий дедлайн: 28.09.2021 23:59 MSK.

[[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/homeworks-practice/homework-practice-01-pandas.ipynb Ноутбук с заданием]]

'''Задание 2.''' Разведочный анализ данных, линейная регрессия и разработка признаков.

Мягкий дедлайн: 11.10.2021 23:59 MSK.

Жесткий дедлайн: 14.10.2021 23:59 MSK.

[[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/homeworks-practice/homework-practice-02-linregr.ipynb Ноутбук с заданием]]

'''Задание 3.''' Градиентный спуск своими руками.

Мягкий дедлайн: 27.10.2021 23:59 MSK.

Жесткий дедлайн: 29.10.2021 23:59 MSK.

[[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/homeworks-practice/homework-practice-03-gd/homework-practice-03-gd.ipynb Ноутбук с заданием]]

'''Задание 4.''' Классификация.

Мягкий дедлайн: 10.11.2021 23:59 MSK.

Жесткий дедлайн: 13.11.2021 23:59 MSK.

[[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/homeworks-practice/homework-practice-04-classification.ipynb Ноутбук с заданием]]

'''Задание 5.''' Решающие деревья.

Мягий дедлайн: 26.11.2021 23:59 MSK.

Жестокий дедлайн: 26.11.2021 23:59 MSK.

[[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/homeworks-practice/homework-practice-05-trees/homework-practice-05-trees.ipynb Ноутбук с заданием]]

'''Задание 6.''' Разложение ошибки на смещение и разброс.

Мягкий дедлайн: 23:59MSK 07.12.2021

Жесткий дедлайн: 23:59MSK 10.12.2021

[[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/homeworks-practice/homework-practice-06-bvd.ipynb Ноутбук с заданием]]

==Теоретические домашние задания==

[https://github.com/esokolov/ml-course-hse/tree/master/2021-fall/homeworks-theory Теоретические ДЗ] не проверяются, но задачи из них могут войти в проверочные работы на семинарах.

== Соревнования ==

===Правила участия и оценивания===
В соревновании по анализу данных вам предлагается по имеющимся данным решить некоторую задачу, оптимизируя указанную метрику, и отправить ответы для заданного тестового множества. Максимальное количество посылок в сутки ограничено (как правило, разрешается сделать 2 посылки), ближе к концу соревнования вам будем необходимо выбрать 2 посылки, которые вы считаете лучшими. Тестовые данные делятся на публичные и приватные в некотором соотношении, на основе которых строятся публичный и приватный лидерборды соответственно, при этом публичный лидерборд доступен в течение всего соревнования, а приватный строится после его окончания для выбранных вами посылок.

В лидербордах каждого из соревнований присутствуют несколько базовых решений (бейзлайнов), каждое из которых соответствует определённой оценке. Например, для получения оценки не ниже 8 баллов необходимо, чтобы ваше решение на '''приватном''' лидерборде оказалось лучше соответствующего бейзлайна. Далее для студента, преодолевшего бейзлайн на N_1 баллов, но не преодолевшего бейзлайн на N_2 балла, итоговая оценка за соревнование рассчитывается по равномерной сетке среди всех таких студентов в зависимости от места в приватном лидерборде среди них; если быть точными, то по следующей формуле:

N_2 - (N_2 - N_1) * i / M,

где M — количество студентов (из всех студентов, изучающих курс), преодолевших бейзлайн на N_1 баллов, но не преодолевших бейзлайн на N_2 балла;

i — место (начиная с 1) студента в приватном лидерборде среди всех таких студентов.

Единственное исключение из формулы — студенты, преодолевшие самый сильный бейзлайн, получают прибавку 1/M к своей оценке.

Чтобы вас не пропустили при проверке решений соревнования, '''необходимо''' использовать следующий формат для имени команды (вкладка Team):

«[ПМИ] Имя Фамилия номер_группы»

В течение 3 суток после окончания соревнования в соответствующее задание на anytask необходимо прислать код, воспроизводящий ответы для посылки, фигурирующей в приватном лидерборде. При оформлении кода предполагайте, что данные лежат рядом с ним в папке data, а в результате выполнения кода ответы должны быть записаны в файл solution-N-Username.csv, где N — номер соревнования, Username — ваша фамилия. У нас должна быть возможность запустить код и получить те же ответы, что и в вашей посылке, — в частности, это означает, что:

1. Если вы отправляете файл *.py, мы будем запускать его при помощи команды python *.py в вышеуказанном предположении о местонахождении данных.

2. Если вы отправляете ноутбук *.ipynb, мы последовательно запустим все ячейки ноутбука и будем ожидать в результате его работы формирование файла с ответами.

3. Если вы отправляете код с использованием другого языка программирования, в том же письме направьте нам инструкцию по его запуску с тем, чтобы получить тот же файл с ответами.

В случае отсутствия кода, воспроизводящего результат, в установленный срок студенту выставляется 0 в качестве оценки за соревнование. Студенты, попавшие в топ-3 согласно приватному лидерборду, смогут получить бонусные баллы, если в течение недели после окончания соревнования сдадут в anytask отчет о получении решения, фигурирующего в приватном лидерборде. Если не оговорено иное, использовать любые внешние данные в соревнованиях '''запрещено'''. Под внешними данными понимаются размеченные данные, где разметка имеет прямое отношение к решаемой задаче. Грубо говоря, сборник текстов с википедии не считается внешними данными.

В некоторых соревнованиях данные взяты из завершившегося соревнования на Kaggle.
Категорически запрещено использовать данные из оригинального соревнования для восстановления целевой переменной на тестовой выборке.

=== Соревнование 1 ===

Задача: выявление мошеннических тразнакций

Это соревнование на бонусные баллы, оно не является обязательным.

Ссылка для участия: https://www.kaggle.com/t/bbc6f629ab1a4e4b9a79900f94dea96b

Дедлайн: 13.12.2021 23:59MSK

В задании всего один бейзлайн (lightgbm), ненулевые баллы получают решения, преодолевшие его на приватном лидерборде.
Все решения выше этого бейзлайна оцениваются по равномерной шкале от 0 до 5.

Обратите внимание на раздел Baselines на Kaggle — там можно найти много полезного.

== Бонусы за соревнования ==

За успешное участие в соревнованиях по анализу данных могут быть выставлены бонусные баллы, которые можно прибавить к оценке за любое практическое или теоретическое домашнее задание, а также за самостоятельную работу. Под успешным участием понимается попадание в топ-10% мест; если соревнование особо сложное и крупное, может рассматриваться и попадание в топ-20% мест. Конкретное число баллов определяется преподавателями и зависит от сложности соревнования и занятого места. За одно соревнование можно получить не более 5 баллов. Для получения оценки необходимо предоставить краткий отчёт о решении задачи.

== Контрольная работа ==

Контрольная работа состоится 3 декабря на лекции. Продолжительность — 80 минут. Проходит в zoom, студенты должны будут писать работу с включенным камерами и расшаренным экраном. На фотографирование и сдачу листочков дополнительно даётся 5 минут.

[https://docs.google.com/document/d/1I40EZqslLoj10CSQ0LbsW17cB5uHVHooJ86kcThKewE/edit?usp=sharing Вопросы для подготовки]

[https://github.com/esokolov/ml-course-hse/blob/master/2020-fall/midterm-fall-2020-example.pdf Нулевой вариант]

== Экзамен ==

== Полезные материалы ==
===Книги===
* Hastie T., Tibshirani R, Friedman J. The Elements of Statistical Learning (2nd edition). Springer, 2009.
* Bishop C. M. Pattern Recognition and Machine Learning. Springer, 2006.
* Mohri M., Rostamizadeh A., Talwalkar A. Foundations of Machine Learning. MIT Press, 2012.
* Murphy K. Machine Learning: A Probabilistic Perspective. MIT Press, 2012.
* Mohammed J. Zaki, Wagner Meira Jr. Data Mining and Analysis. Fundamental Concepts and Algorithms. Cambridge University Press, 2014.
* Willi Richert, Luis Pedro Coelho. Building Machine Learning Systems with Python. Packt Publishing, 2013.

===Курсы по машинному обучению и анализу данных===
* [http://www.machinelearning.ru/wiki/index.php?title=Машинное_обучение_%28курс_лекций%2C_К.В.Воронцов%29 Курс по машинному обучению К.В. Воронцова]
* [https://yandexdataschool.ru/edu-process/courses/machine-learning Видеозаписи лекций курса Школы Анализа Данных, К.В. Воронцов]
* [https://www.coursera.org/specializations/machine-learning-from-statistics-to-neural-networks Coursera: Машинное обучение от статистики до нейросетей (специализация)]
* [https://www.coursera.org/specializations/machine-learning-data-analysis Coursera: Машинное обучение и анализ данных (специализация)]
* [https://www.coursera.org/learn/introduction-machine-learning Coursera: Введение в машинное обучение, К.В. Воронцов]
* [https://openedu.ru/course/hse/INTRML/ Введение в машинное обучение (онлайн-курс НИУ ВШЭ)]

== Страницы предыдущих лет ==

[[Машинное_обучение_1/2020_2021 | 2020/2021 учебный год]]

[[Машинное_обучение_1/2019_2020 | 2019/2020 учебный год]]

[[Машинное_обучение_1/2018_2019 | 2018/2019 учебный год]]

[[Машинное_обучение_1/2017_2018 | 2017/2018 учебный год]]

[[Машинное_обучение_1/2016_2017 | 2016/2017 учебный год]]

Машинное обучение 1/2023 2024

2021-09-07T20:38:35Z

Birshert1:

Машинное обучение 1/2023 2024

2021-09-07T10:10:24Z

Birshert1: Разделение учебных ассистентов от групп

Машинное обучение 1/2023 2024

2021-09-03T10:34:55Z

Birshert1: Внес Биршерта в список семинаристов (зачем?)

Машинное обучение 2/2023 2024

2021-06-14T10:10:20Z

Birshert1: /* Практические задания */

== О курсе ==

[[Файл:ML_surfaces.png|280px|borderless|left]]

Курс читается для студентов 3-го курса [https://cs.hse.ru/ami ПМИ ФКН ВШЭ] в 3-4 модулях.

Проводится с 2016 года.

'''Лектор:''' [http://www.hse.ru/staff/esokolov Соколов Евгений Андреевич]

Лекции проходят по пятницам, 11:10 - 12:30, в zoom (https://zoom.us/j/96365799994?pwd=U0lJTXJxbmtpMjAvQWxDVVM4TnNtdz09).

=== Полезные ссылки ===

[https://www.hse.ru/edu/courses/339563174 Карточка курса и программа]

[https://github.com/esokolov/ml-course-hse Репозиторий с материалами на GitHub]

Почта для сдачи домашних заданий (на самом деле задания сдаются в AnyTask, но если он не работает, то присылайте на почту): hse.cs.ml+<номер группы>@gmail.com (например, hse.cs.ml+161@gmail.com)

Канал в telegram для объявлений: https://t.me/hse_cs_ml_2

Чат в telegram для обсуждений (предназначение чата до конца не ясно, вопросы может быть правильнее задавать в чатах групп): https://t.me/joinchat/E8grJC7Gn4nLuEv2

Ссылка на курс в Anytask: https://anytask.org/course/797

[https://docs.google.com/spreadsheets/d/1vJYgN5-cSNeBtpxXJIT1ZqBJdx3pRTsQGF1NqY0ac5Q/edit?usp=sharing Таблица с оценками]

Плейлист с записями занятий: https://www.youtube.com/playlist?list=PLEwK9wdS5g0p7A6gXsuXnLZpfrMyqrJKP

Оставить отзыв на курс: [https://goo.gl/forms/5CddG0gc75VZvqi52 форма]

'''Вопросы''' по курсу можно задавать на почту курса, а также в телеграм лектору (esokolov@) или семинаристу.
Вопросы по материалам лекций/семинаров и по заданиям лучше всего оформлять в виде [https://github.com/esokolov/ml-course-hse/issues Issue] в [https://github.com/esokolov/ml-course-hse github-репозитории курса].

=== Семинары ===

{| class="wikitable"
|-
! Группа !! Преподаватель !! Учебный ассистент
|-
| 181 (МОП) || [https://www.hse.ru/org/persons/165212870 Зиннурова Эльвира Альбертовна] || [https://t.me/Bitchert Лёша Биршерт], [https://t.me/poly_nomial Илья Анищенко]
|-
| 182 (МОП) || [http://www.hse.ru/staff/esokolov Соколов Евгений Андреевич] || [http://t.me/isadrtdinov Ильдус Садртдинов]
|-
| Курс по выбору для ПМИ || [https://www.hse.ru/org/persons/209813459 Каюмов Эмиль Марселевич] || [http://t.me/bigbluebutterfly Игорь Федоров]
|-
| Межампус || [https://www.hse.ru/org/persons/190919554 Трошин Сергей Дмитриевич] || [http://t.me/treacker Шабалин Евгений]
|-
|}

=== Правила выставления оценок ===

В курсе предусмотрено несколько форм контроля знания:
* Самостоятельные работы на семинарах, проверяющие знание основных фактов с лекций
* Практические домашние работы на Python
* Письменная контрольная работа
* Письменный экзамен

Итоговая оценка вычисляется на основе оценки за работу в семестре и оценки за экзамен:

Итог = Округление(0.4 * ДЗ + 0.2 * К + 0.1 * ПР + 0.3 * Э)

ПР — средняя оценка за самостоятельные работы на семинарах

ДЗ — средняя оценка за практические домашние работы на Python

К — оценка за коллоквиум

Э — оценка за экзамен

Округление арифметическое.

=== Правила сдачи заданий ===

За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются. Даже при опоздании на одну секунду. Сдавайте заранее. Есть исключения, о них написано ниже.

При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.

При наличии уважительной причины пропущенную проверочную можно написать позднее, а дедлайн по домашнему заданию может быть перенесён. Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.

== Лекции ==

Ко всем конспектам на GitHub есть исходники. Исправления и дополнения всячески приветствуются!

'''Лекция 1''' (22 января). Двойственные представления для линейной регрессии и SVM. Ядра. Теорема Мерсера. Способы построения ядер. Полиномиальные и гауссовы ядра. [[https://github.com/esokolov/ml-course-hse/blob/master/2020-spring/lecture-notes/lecture13-kernels.pdf Конспект]] [[https://www.youtube.com/watch?v=nXQY4f4ce0g Запись лекции]]

'''Лекция 2''' (29 января). Двойственная задача SVM. Типы объектов в SVM. Kernel trick. Аппроксимации ядер. Метод случайных признаков Фурье. [[https://github.com/esokolov/ml-course-hse/blob/master/2020-spring/lecture-notes/lecture14-kernels.pdf Конспект]] [[https://www.youtube.com/watch?v=Vo8VFT5aADk Запись лекции]]

'''Лекция 3''' (5 февраля). Смеси распределений. Модели со скрытыми переменными. KL-дивергенция. EM-алгоритм в общем виде, его сходимость. [[https://github.com/esokolov/ml-course-hse/blob/master/2020-spring/lecture-notes/lecture15-em.pdf Конспект]] [[https://www.youtube.com/watch?v=DK5yBB7jXtI Запись лекции]]

'''Лекция 4''' (12 февраля). Поиск аномалий. Методы на основе восстановления плотности. Local Outlier Factor. [[https://github.com/esokolov/ml-course-hse/blob/master/2020-spring/lecture-notes/lecture16-anomaly.pdf Конспект]] [[https://www.youtube.com/watch?v=lPXMRUPIuPw Запись лекции]]

'''Лекция 5''' (19 февраля). Поиск аномалий. Одноклассовый SVM. Isolation Forest. Методы кластеризации. DBSCAN. [[https://github.com/esokolov/ml-course-hse/blob/master/2020-spring/lecture-notes/lecture16-anomaly.pdf Конспект по аномалиям]] [[https://www.youtube.com/watch?v=jI2EecMVeYc Запись лекции]]

'''Лекция 6''' (26 февраля). Методы кластеризации. Иерархическая кластеризация. Графовые методы. Спектральная кластеризация. [[https://github.com/esokolov/ml-course-hse/blob/master/2020-spring/lecture-notes/lecture17-clusterization.pdf Конспект]] [[https://www.youtube.com/watch?v=O2YfZNCDmrc Запись лекции]]

'''Лекция 7''' (5 марта). Внешние метрики качества кластеризации. Тематическое моделирование. [[https://github.com/esokolov/ml-course-hse/blob/master/2020-spring/lecture-notes/lecture18-topicmodels.pdf Конспект по тематическому моделированию]] [[https://www.youtube.com/watch?v=tGMdCfxbRwc Запись лекции]]

'''Лекция 8''' (12 марта). Частичное обучение. Self-training. Вероятностные методы. S3VM. Регуляризация на основе лапласиана графа. [[https://github.com/esokolov/ml-course-hse/blob/master/2020-spring/lecture-notes/lecture19-semisupervised.pdf Конспект]] [[https://www.youtube.com/watch?v=KRQ83hE7dTc Запись лекции]]

'''Лекция 9''' (19 марта). Метод k ближайших соседей. Расстояния на текстах. Быстрый поиск ближайших соседей. Locality-sensitive hashing. [[https://github.com/esokolov/ml-course-hse/blob/master/2020-spring/lecture-notes/lecture20-knn.pdf Конспект]] [[https://www.youtube.com/watch?v=a8lslAYJ6C4 Запись лекции]]

'''Лекция 10''' (26 марта). Быстрый поиск ближайших соседей. Locality-sensitive hashing. NSW и HNSW. [[https://www.youtube.com/watch?v=Kepw20luLmw Запись лекции]]

'''Лекция 11''' (9 апреля). Задача ранжирования. Метрики качества ранжирования. Примеры факторов ранжирования. Поточечный, попарный и списочный подходы. [[https://github.com/esokolov/ml-course-hse/blob/master/2020-spring/lecture-notes/lecture22-ranking.pdf Конспект]] [[https://www.youtube.com/watch?v=cqI3bVrFEOQ Запись лекции]]

'''Лекция 12''' (23 апреля). Рекомендательные системы. Типичная архитектура рекомендательной системы. Memory-based подход. Методы на основе матричных разложений. [[https://github.com/esokolov/ml-course-hse/blob/master/2020-spring/lecture-notes/lecture23-recommender.pdf Конспект]] [[https://www.youtube.com/watch?v=VeTMV4E1KAc Запись лекции]]

== Семинары ==

'''Семинар 1'''. Задачи условной оптимизации и теорема Куна-Таккера. [[https://github.com/esokolov/ml-course-hse/blob/master/2020-spring/seminars/sem13-kkt.pdf Конспект]]

'''Семинар 2'''. Задачи на построение ядер. Задачи на прямую и двойственную формулировки метода опорных векторов. [[https://github.com/esokolov/ml-course-hse/blob/master/2020-spring/seminars/sem14-kernels.pdf Конспект]]

'''Семинар 3'''. Задачи на EM-алгоритм. [[https://github.com/esokolov/ml-course-hse/blob/master/2020-spring/seminars/sem15-em.pdf Конспект]]

'''Семинар 4'''. Основы вероятностного подхода в машинном обучении. [[https://github.com/esokolov/ml-course-hse/blob/master/2020-spring/seminars/sem16-bayes.pdf Конспект]]

'''Семинар 5'''. Спектральная кластеризация. [[https://github.com/esokolov/ml-course-hse/blob/master/2020-spring/seminars/sem17-unsupervised.pdf Конспект]]

'''Семинар 6'''. Отбор признаков. Понижение размерности и PCA. [[https://github.com/esokolov/ml-course-hse/blob/master/2020-spring/seminars/sem18-features.pdf Конспект]] [[https://github.com/esokolov/ml-course-hse/blob/master/2020-fall/lecture-notes/lecture12-factorizations.pdf Конспект по PCA]]

'''Семинар 7'''. Особенности метода k ближайших соседей. Метрики. [[https://github.com/esokolov/ml-course-hse/blob/master/2020-spring/seminars/sem19-knn.pdf Конспект]]

'''Семинар 8'''. Обучение метрик. [[https://github.com/esokolov/ml-course-hse/blob/master/2020-spring/seminars/sem20-knn.pdf Конспект]]

'''Семинар 9'''. Multi-label классификация. [[https://github.com/esokolov/ml-course-hse/blob/master/2020-spring/seminars/sem21-multilabel.pdf Конспект]]

'''Семинар 10'''. Попарные методы ранжирования. [[https://github.com/esokolov/ml-course-hse/blob/master/2020-spring/seminars/sem22-ranking.pdf Конспект]]

'''Семинар 11'''. Uplift-моделирование.

'''Семинар 12'''. Матричные разложения в рекомендательных системах. Factorization machines. [[https://github.com/esokolov/ml-course-hse/blob/master/2020-spring/seminars/sem24-recommendations.pdf Конспект]]

'''Семинар 13'''. Интерпретация моделей. [[https://github.com/esokolov/ml-course-hse/blob/master/2020-spring/seminars/sem25-interpreting.pdf Конспект]]

'''Семинар 14'''. Differential privacy.

== Теоретические задания ==

'''Теоретическое домашнее задание 5''': ядровые методы [[https://github.com/esokolov/ml-course-hse/blob/master/2020-spring/homeworks-theory/homework-theory-05-kernels.pdf ссылка]]

'''Теоретическое домашнее задание 6''': EM-алгоритм [[https://github.com/esokolov/ml-course-hse/blob/master/2020-spring/homeworks-theory/homework-theory-06-em.pdf ссылка]]

== Практические задания ==

За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются, но есть исключение. В течение семестра каждый студент может не более 2 раз сдать задание после жёсткого дедлайна — в этом случае за каждый день просрочки продолжает вычитаться по одному баллу (если не оговорено иное).

'''Задание 8.''' Метод опорных векторов и аппроксимация ядер

Мягкий дедлайн: 21.02.2021 01:59.

Жесткий дедлайн: 24.02.2021 01:59.

[[https://github.com/esokolov/ml-course-hse/blob/master/2020-spring/homeworks-practice/homework-practice-08-random-features.ipynb Ноутбук с заданием]]

'''Задание 9.''' ЕМ-алгоритм

Мягкий дедлайн: 09.03.2021 01:59

Жесткий дедлайн: 13.03.2021 01:59

[[https://github.com/esokolov/ml-course-hse/blob/master/2020-spring/homeworks-practice/homework-practice-09-em/homework-practice-09-em.ipynb Ноутбук с заданием]]

'''Задание 10.''' Обучение без учителя

Мягкий дедлайн: 28.03.2021 01:59

Жёсткий дедлайн: 01.04.2021 01:59

[[https://github.com/esokolov/ml-course-hse/blob/master/2020-spring/homeworks-practice/homework-practice-10-unsupervised.ipynb Ноутбук с заданием]]

'''Задание 11.''' Обучение метрик

Мягкий дедлайн: 14.04.2021 00:59

Жесткий дедлайн: 18.04.2021 00:59

[[https://github.com/esokolov/ml-course-hse/blob/master/2020-spring/homeworks-practice/homework-practice-11-metric-learning/homework-practice-11-metric-learning.ipynb Ноутбук с заданием]]

'''Задание 12.''' Несбалансированные задачи

Мягкий дедлайн: 10.05.2021 00:59

Жесткий дедлайн: 14.05.2021 00:59

[[https://github.com/esokolov/ml-course-hse/blob/master/2020-spring/homeworks-practice/homework-practice-12-imbalanced.ipynb Ноутбук с заданием]]

'''Задание 13.''' Поиск ближайших соседей

Жесткий дедлайн: 19.05.2021 05:59

[[https://github.com/esokolov/ml-course-hse/blob/master/2020-spring/homeworks-practice/homework-practice-13-knn.ipynb Ноутбук с заданием]]

== Соревнования ==

===Правила участия и оценивания===
В соревновании по анализу данных вам предлагается по имеющимся данным решить некоторую задачу, оптимизируя указанную метрику, и отправить ответы для заданного тестового множества. Максимальное количество посылок в сутки ограничено (как правило, разрешается сделать 2 посылки), ближе к концу соревнования вам будем необходимо выбрать 2 посылки, которые вы считаете лучшими. Тестовые данные делятся на публичные и приватные в некотором соотношении, на основе которых строятся публичный и приватный лидерборды соответственно, при этом публичный лидерборд доступен в течение всего соревнования, а приватный строится после его окончания для выбранных вами посылок.

В лидербордах каждого из соревнований присутствуют несколько базовых решений (бейзлайнов), каждое из которых соответствует определённой оценке. Например, для получения оценки не ниже 8 баллов необходимо, чтобы ваше решение на '''приватном''' лидерборде оказалось лучше соответствующего бейзлайна. Далее для студента, преодолевшего бейзлайн на N_1 баллов, но не преодолевшего бейзлайн на N_2 балла, итоговая оценка за соревнование рассчитывается по равномерной сетке среди всех таких студентов в зависимости от места в приватном лидерборде среди них; если быть точными, то по следующей формуле:

N_2 - (N_2 - N_1) * i / M,

где M — количество студентов (из всех студентов, изучающих курс), преодолевших бейзлайн на N_1 баллов, но не преодолевших бейзлайн на N_2 балла;

i — место (начиная с 1) студента в приватном лидерборде среди всех таких студентов.

Единственное исключение из формулы — студенты, преодолевшие самый сильный бейзлайн, получают прибавку 1/M к своей оценке.

Чтобы вас не пропустили при проверке решений соревнования, '''необходимо''' использовать следующий формат для имени команды (вкладка Team):

«Имя Фамилия номер_группы»

В течение 3 суток после окончания соревнования в соответствующее задание на anytask необходимо прислать код, воспроизводящий ответы для посылки, фигурирующей в приватном лидерборде. При оформлении кода предполагайте, что данные лежат рядом с ним в папке data, а в результате выполнения кода ответы должны быть записаны в файл solution-N-Username.csv, где N — номер соревнования, Username — ваша фамилия. У нас должна быть возможность запустить код и получить те же ответы, что и в вашей посылке, — в частности, это означает, что:

1. Если вы отправляете файл *.py, мы будем запускать его при помощи команды python *.py в вышеуказанном предположении о местонахождении данных.

2. Если вы отправляете ноутбук *.ipynb, мы последовательно запустим все ячейки ноутбука и будем ожидать в результате его работы формирование файла с ответами.

3. Если вы отправляете код с использованием другого языка программирования, в том же письме направьте нам инструкцию по его запуску с тем, чтобы получить тот же файл с ответами.

В случае отсутствия кода, воспроизводящего результат, в установленный срок студенту выставляется 0 в качестве оценки за соревнование. Студенты, попавшие в топ-5 согласно приватному лидерборду, смогут получить бонусные баллы, если в течение недели после окончания соревнования пришлют на почту курса отчет о получении решения, фигурирующего в приватном лидерборде. Если не оговорено иное, использовать любые внешние данные в соревнованиях '''запрещено'''. Под внешними данными понимаются размеченные данные, где разметка имеет прямое отношение к решаемой задаче. Грубо говоря, сборник текстов с википедии не считается внешними данными.

== Коллоквиум ==

Коллоквиум состоится 1 июня (10:00 - 12:30) и 5 июня (11:00 - 15:00). Дату можно будет выбрать (в рамках доступных слотов), формат сдачи (онлайн/оффлайн) тоже.

На каждого студента отводится 20 минут. За это время он должен ответить на 3 вопроса из теоретического минимума и решить задачу. Каждый вопрос из теоретического минимума "стоит" 7/3 балла, задача — 3 балла. Время на подготовку не предусмотрено.

[https://docs.google.com/document/d/1P-IwYbO52d719-9-agZErow35WZdmFNwBhHQGH2Vky8/edit?usp=sharing Вопросы для подготовки]

== Экзамен ==

Вопросы для подготовки к экзамену совпадают со списком вопросов к коллоквиуму.

Экзамен пройдёт дистанционно в письменном формате 21 июня. Продолжительность — 120 минут. В экзаменационном варианте будет 4 вопроса, из них два по теории, два в формате задач.

== Полезные материалы ==
===Книги===
* Hastie T., Tibshirani R, Friedman J. The Elements of Statistical Learning (2nd edition). Springer, 2009.
* Bishop C. M. Pattern Recognition and Machine Learning. Springer, 2006.
* Mohri M., Rostamizadeh A., Talwalkar A. Foundations of Machine Learning. MIT Press, 2012.
* Murphy K. Machine Learning: A Probabilistic Perspective. MIT Press, 2012.
* Mohammed J. Zaki, Wagner Meira Jr. Data Mining and Analysis. Fundamental Concepts and Algorithms. Cambridge University Press, 2014.
* Willi Richert, Luis Pedro Coelho. Building Machine Learning Systems with Python. Packt Publishing, 2013.

===Курсы по машинному обучению и анализу данных===
* [http://www.machinelearning.ru/wiki/index.php?title=Машинное_обучение_%28курс_лекций%2C_К.В.Воронцов%29 Курс по машинному обучению К.В. Воронцова]
* [https://yandexdataschool.ru/edu-process/courses/machine-learning Видеозаписи лекций курса Школы Анализа Данных, К.В. Воронцов]
* [https://www.coursera.org/specializations/machine-learning-from-statistics-to-neural-networks Coursera: Машинное обучение от статистики до нейросетей (специализация)]
* [https://www.coursera.org/specializations/machine-learning-data-analysis Coursera: Машинное обучение и анализ данных (специализация)]
* [https://www.coursera.org/learn/introduction-machine-learning Coursera: Введение в машинное обучение, К.В. Воронцов]

== Страницы предыдущих лет ==

[[Машинное_обучение_2/2019_2020 | 2019/2020 учебный год]]

[[Машинное_обучение_2/2018_2019 | 2018/2019 учебный год]]

[[Машинное_обучение_2/2017_2018 | 2017/2018 учебный год]]

[[Машинное_обучение_2/2016_2017 | 2016/2017 учебный год]]

Машинное обучение 2/2023 2024

2021-01-24T18:17:57Z

Birshert1:

Машинное обучение 1/2023 2024

2020-10-05T09:05:46Z

Birshert1: /* Практические задания */

== О курсе ==

[[Файл:ML_surfaces.png|280px|borderless|left]]

Курс читается для студентов 3-го курса [https://cs.hse.ru/ami ПМИ ФКН ВШЭ] в 1-2 модулях.

Проводится с 2016 года.

'''Лектор:''' [http://www.hse.ru/staff/esokolov Соколов Евгений Андреевич]

Лекции проходят по пятницам, 11:10 - 12:30, в zoom (https://zoom.us/j/99855378374).

=== Полезные ссылки ===

[https://www.hse.ru/ba/ami/courses/339555332.html Карточка курса и программа]

[https://github.com/esokolov/ml-course-hse Репозиторий с материалами на GitHub]

[https://www.youtube.com/watch?v=OBG6EUSRC9g&list=PLEqoHzpnmTfDwuwrFHWVHdr1-qJsfqCUX Видеозаписи лекций 18/19 года]

Почта для сдачи домашних заданий (на самом деле задания сдаются в AnyTask, но если он не работает, то присылайте на почту): hse.cs.ml+<номер группы>@gmail.com (например, hse.cs.ml+171@gmail.com)

Канал в telegram для объявлений: https://t.me/joinchat/AAAAAFfULjTHLkANF7_vXQ

Чат в telegram для обсуждений (предназначение чата до конца не ясно, вопросы может быть правильнее задавать в чатах групп): https://t.me/joinchat/A5rlQBPIKyQ__z33y7hL9g

Ссылка на курс в Anytask: https://anytask.org/course/740

[https://docs.google.com/spreadsheets/d/1vJYgN5-cSNeBtpxXJIT1ZqBJdx3pRTsQGF1NqY0ac5Q/edit?usp=sharing Таблица с оценками]

Оставить отзыв на курс: [https://goo.gl/forms/5CddG0gc75VZvqi52 форма]

'''Вопросы''' по курсу можно задавать на почту курса, а также в телеграм лектору (esokolov@) или семинаристу.
Вопросы по материалам лекций/семинаров и по заданиям лучше всего оформлять в виде [https://github.com/esokolov/ml-course-hse/issues Issue] в [https://github.com/esokolov/ml-course-hse github-репозитории курса].

=== Семинары ===

{| class="wikitable"
|-
! Группа !! Преподаватель !! Учебный ассистент
|-
| 181 (МОП) || [https://www.hse.ru/org/persons/165212870 Зиннурова Эльвира Альбертовна] || [https://t.me/Bitchert Биршерт Леша], [https://t.me/ashabalin99 Шабалин Саша]
|-
| 182 (МОП) || [https://www.hse.ru/staff/esokolov Соколов Евгений Андреевич] || [https://t.me/Kirili4ik Гельван Кирилл], [https://t.me/isadrtdinov Ильдус Садртдинов]
|-
| 183 (ТИ) || [https://www.hse.ru/org/persons/190919554 Трошин Сергей Дмитриевич] || [https://t.me/treacker Шабалин Евгений]
|-
| 184 (АДИС) || [https://www.hse.ru/org/persons/? Кохтев Вадим Михайлович] || [https://t.me/sergevkim Ким Сергей], [https://t.me/planum Гусев Андрей]
|-
| 185 (РС) || [https://www.hse.ru/org/persons/209813459 Каюмов Эмиль Марселевич] || [https://t.me/arinaruck Рак Арина]
|-
| 186 (РС) || [https://www.hse.ru/org/persons/? Глазкова Екатерина Васильевна] || [https://t.me/bigbluebutterfly Федоров Игорь]
|-
| 187 (АПР) || [https://www.hse.ru/org/persons/? Цвигун Аким Олегович] ||
|-
| 188 (МИ) || [https://www.hse.ru/org/persons/? Семенкин Антон Александрович] || [https://t.me/poly_nomial Анищенко Илья]
|-
|}

=== Консультации ===

=== Правила выставления оценок ===

В курсе предусмотрено несколько форм контроля знания:
* Самостоятельные работы на семинарах, проверяющие знание основных фактов с лекций и семинаров
* Практические домашние работы на Python
* Письменная контрольная работа
* Письменный экзамен

Итоговая оценка вычисляется на основе оценки за работу в семестре и оценки за экзамен:

Итог = Округление(0.15 * ПР + 0.4 * ДЗ + 0.15 * КР + 0.3 * Э)

ПР — средняя оценка за самостоятельные работы на семинарах

ДЗ — средняя оценка за практические домашние работы на Python

КР — оценка за контрольную работу

Э — оценка за экзамен

Округление арифметическое.

=== Правила сдачи заданий ===

За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются. Даже при опоздании на одну секунду. Сдавайте заранее. Есть исключение: в течение семестра каждый студент может не более 2 раз сдать задание после жёсткого дедлайна — в этом случае за каждый день просрочки продолжает вычитаться по одному баллу (если не оговорено иное).

При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.

При наличии уважительной причины пропущенную проверочную можно написать позднее, а дедлайн по домашнему заданию может быть перенесён. Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.

== Лекции ==

Ко всем конспектам на GitHub есть исходники. Исправления и дополнения всячески приветствуются!

'''Лекция 1''' (4 сентября). Введение в машинное обучение. Основные термины, постановки задач и примеры применения. [[https://github.com/esokolov/ml-course-hse/blob/master/2020-fall/lecture-notes/lecture01-intro.pdf Конспект]] [[https://www.youtube.com/watch?v=HytWgel76rY Запись лекции]]

'''Лекция 2''' (11 сентября). Линейная регрессия. Метрики качества регрессии. Переобучение. [[https://github.com/esokolov/ml-course-hse/blob/master/2020-fall/lecture-notes/lecture02-linregr.pdf Конспект]] [[https://www.youtube.com/watch?v=rNO34vMVS-Q Запись лекции]]

'''Лекция 3''' (18 сентября). Регуляризация. Градиентное обучение. Оценивание градиента. [[https://github.com/esokolov/ml-course-hse/blob/master/2020-fall/lecture-notes/lecture03-linregr.pdf Конспект]] [[https://www.youtube.com/watch?v=CWFWFsie6jg Запись лекции]]

'''Лекция 4''' (25 сентября). Линейная классификация. Отступ и верхние оценки на пороговую функцию потерь. Метрики качества классификации. [[https://github.com/esokolov/ml-course-hse/blob/master/2020-fall/lecture-notes/lecture04-linclass.pdf Конспект]] [[https://www.youtube.com/watch?v=tIymy9jpO9s Запись лекции]]

'''Лекция 5''' (2 октября). Метрики качества классификации. [[https://github.com/esokolov/ml-course-hse/blob/master/2020-fall/lecture-notes/lecture04-linclass.pdf Конспект]] [[https://www.youtube.com/watch?v=3Qj87xe3Djk Запись лекции]]

'''Лекция 6''' (9 октября). Линейная классификация. Логистическая регрессия и оценки вероятности классов. Метод опорных векторов. [[https://github.com/esokolov/ml-course-hse/blob/master/2019-fall/lecture-notes/lecture05-linclass.pdf Конспект]]

'''Лекция 7''' (16 октября). Многоклассовая классификация, сведение к бинарным задачам. Многоклассовая логистическая регрессия. Классификация с пересекающимися классами. Метрики качества многоклассовой классификации. [[https://github.com/esokolov/ml-course-hse/blob/master/2019-fall/lecture-notes/lecture06-linclass.pdf Конспект]]

'''Лекция 8''' (30 октября). Решающие деревья. Жадный алгоритм построения. Выбор лучшего разбиения с помощью критерия информативности. Критерии информативности для регрессии и классификации. Учёт пропусков в деревьях. Решающие деревья и категориальные признаки. [[https://github.com/esokolov/ml-course-hse/blob/master/2019-fall/lecture-notes/lecture07-trees.pdf Конспект]]

'''Лекция 9''' (6 ноября). Бутстрап и бэггинг. Разложение ошибки на смещение и разброс (bias-variance decomposition). Случайный лес. Вычисление расстояний с помощью лесов. [[https://github.com/esokolov/ml-course-hse/blob/master/2019-fall/lecture-notes/lecture08-ensembles.pdf Конспект]]

'''Лекция 10''' (13 ноября). Градиентный бустинг. Регуляризация. Особенности бустинга над деревьями. Взвешивание объектов в градиентном бустинге. [[https://github.com/esokolov/ml-course-hse/blob/master/2019-fall/lecture-notes/lecture09-ensembles.pdf Конспект]]

'''Лекция 11''' (20 ноября). Оптимизация второго порядка в градиентном бустинге. Регуляризация деревьев. XGBoost. Стекинг. [[https://github.com/esokolov/ml-course-hse/blob/master/2019-fall/lecture-notes/lecture10-ensembles.pdf Конспект]]

'''Лекция 12''' (27 ноября). Обучение без учителя. Кластеризация: метрики качества, K-Means, иерархический и графовый подходы. Визуализация, t-SNE. Обучение представлений. word2vec. [[https://github.com/esokolov/ml-course-hse/blob/master/2019-fall/lecture-notes/lecture11-unsupervised.pdf Конспект]]

'''Лекция 13''' (4 декабря). Метод главных компонент, его связь с матричными разложениями. Рекомендательные системы: постановка задачи, коллаборативные методы, матричные разложения, контентные методы. [[https://github.com/esokolov/ml-course-hse/blob/master/2019-fall/lecture-notes/lecture12-factorizations.pdf Конспект]]

== Семинары ==

'''Семинар 1'''. Разведочный анализ данных в Python. [[https://github.com/esokolov/ml-course-hse/blob/master/2020-fall/seminars/sem01-pandas.ipynb Ноутбук]]

'''Семинар 2'''. sklearn и особенности подготовки данных для линейных моделей. [[https://github.com/esokolov/ml-course-hse/blob/master/2020-fall/seminars/sem02-sklearn-linregr.ipynb Ноутбук]]

'''Семинар 3'''. Основы матрично-векторного дифференцирования. Градиентный спуск. [[https://github.com/esokolov/ml-course-hse/blob/master/2020-fall/seminars/sem03-numpy.ipynb Справочная информация по NumPy]] [[https://github.com/esokolov/ml-course-hse/blob/master/2020-fall/seminars/sem03-gd.ipynb Ноутбук по градиентному спуску]] [[https://github.com/esokolov/ml-course-hse/blob/master/2020-fall/seminars/sem03-vector-diff.pdf Задачи на векторное дифференцирование]]

'''Семинар 4'''. Работа с пропусками и выбросами. Методы кодирования категориальных признаков. Основы работы с текстовыми данными. [[https://github.com/esokolov/ml-course-hse/blob/master/2020-fall/seminars/sem04-features.pdf Конспект]] [[https://github.com/esokolov/ml-course-hse/blob/master/2020-fall/seminars/sem04-features.ipynb Ноутбук]]

== Практические задания ==

За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются, но есть исключение. В течение семестра каждый студент может не более 2 раз сдать задание после жёсткого дедлайна — в этом случае за каждый день просрочки продолжает вычитаться по одному баллу (если не оговорено иное).

'''Задание 1.''' Pandas и распределение студентов ПМИ по элективам.

Мягкий дедлайн: 21.09.2020 04:59.

Жесткий дедлайн: 24.09.2020 23:59.

[[https://github.com/esokolov/ml-course-hse/blob/master/2020-fall/homeworks-practice/homework-practice-01-pandas.ipynb Ноутбук с заданием]]

'''Задание 2.''' Разведочный анализ данных, линейная регрессия и разработка признаков.

Мягкий дедлайн: 05.10.2020 02:59.

Жесткий дедлайн: 08.10.2020 23:59.

[[https://github.com/esokolov/ml-course-hse/blob/master/2020-fall/homeworks-practice/homework-practice-02-linregr.ipynb Ноутбук с заданием]]

'''Задание 3.''' Градиентный спуск и линейная регрессия своими руками.

Мягкий дедлайн: 19.10.2020 01:59.

Жесткий дедлайн: 22.10.2020 01:59.

[[https://github.com/esokolov/ml-course-hse/tree/master/2020-fall/homeworks-practice/homework-practice-03-gd Папка задания]]

==Теоретические домашние задания==

Теоретические ДЗ не проверяются, но задачи из них могут войти в проверочные работы на семинарах.

'''Задание 1.''' Матрично-векторное дифференцирование [[https://github.com/esokolov/ml-course-hse/blob/master/2020-fall/homeworks-theory/homework-theory-01-derivatives.pdf Условие]]

'''Задание 2.''' Линейная регрессия [[https://github.com/esokolov/ml-course-hse/blob/master/2020-fall/homeworks-theory/homework-theory-02-linregr.pdf Условие]]

== Соревнования ==

===Правила участия и оценивания===
В соревновании по анализу данных вам предлагается по имеющимся данным решить некоторую задачу, оптимизируя указанную метрику, и отправить ответы для заданного тестового множества. Максимальное количество посылок в сутки ограничено (как правило, разрешается сделать 2 посылки), ближе к концу соревнования вам будем необходимо выбрать 2 посылки, которые вы считаете лучшими. Тестовые данные делятся на публичные и приватные в некотором соотношении, на основе которых строятся публичный и приватный лидерборды соответственно, при этом публичный лидерборд доступен в течение всего соревнования, а приватный строится после его окончания для выбранных вами посылок.

В лидербордах каждого из соревнований присутствуют несколько базовых решений (бейзлайнов), каждое из которых соответствует определённой оценке. Например, для получения оценки не ниже 8 баллов необходимо, чтобы ваше решение на '''приватном''' лидерборде оказалось лучше соответствующего бейзлайна. Далее для студента, преодолевшего бейзлайн на N_1 баллов, но не преодолевшего бейзлайн на N_2 балла, итоговая оценка за соревнование рассчитывается по равномерной сетке среди всех таких студентов в зависимости от места в приватном лидерборде среди них; если быть точными, то по следующей формуле:

N_2 - (N_2 - N_1) * i / M,

где M — количество студентов (из всех студентов, изучающих курс), преодолевших бейзлайн на N_1 баллов, но не преодолевших бейзлайн на N_2 балла;

i — место (начиная с 1) студента в приватном лидерборде среди всех таких студентов.

Единственное исключение из формулы — студенты, преодолевшие самый сильный бейзлайн, получают прибавку 1/M к своей оценке.

Чтобы вас не пропустили при проверке решений соревнования, '''необходимо''' использовать следующий формат для имени команды (вкладка Team):

«Имя Фамилия номер_группы»

В течение 3 суток после окончания соревнования в соответствующее задание на anytask необходимо прислать код, воспроизводящий ответы для посылки, фигурирующей в приватном лидерборде. При оформлении кода предполагайте, что данные лежат рядом с ним в папке data, а в результате выполнения кода ответы должны быть записаны в файл solution-N-Username.csv, где N — номер соревнования, Username — ваша фамилия. У нас должна быть возможность запустить код и получить те же ответы, что и в вашей посылке, — в частности, это означает, что:

1. Если вы отправляете файл *.py, мы будем запускать его при помощи команды python *.py в вышеуказанном предположении о местонахождении данных.

2. Если вы отправляете ноутбук *.ipynb, мы последовательно запустим все ячейки ноутбука и будем ожидать в результате его работы формирование файла с ответами.

3. Если вы отправляете код с использованием другого языка программирования, в том же письме направьте нам инструкцию по его запуску с тем, чтобы получить тот же файл с ответами.

В случае отсутствия кода, воспроизводящего результат, в установленный срок студенту выставляется 0 в качестве оценки за соревнование. Студенты, попавшие в топ-5 согласно приватному лидерборду, смогут получить бонусные баллы, если в течение недели после окончания соревнования пришлют на почту курса отчет о получении решения, фигурирующего в приватном лидерборде. Если не оговорено иное, использовать любые внешние данные в соревнованиях '''запрещено'''. Под внешними данными понимаются размеченные данные, где разметка имеет прямое отношение к решаемой задаче. Грубо говоря, сборник текстов с википедии не считается внешними данными.

== Бонусы за соревнования ==

За успешное участие в соревнованиях по анализу данных могут быть выставлены бонусные баллы, которые можно прибавить к оценке за любое практическое или теоретическое домашнее задание, а также за самостоятельную работу. Под успешным участием понимается попадание в топ-10% мест; если соревнование особо сложное и крупное, может рассматриваться и попадание в топ-20% мест. Конкретное число баллов определяется преподавателями и зависит от сложности соревнования и занятого места. За одно соревнование можно получить не более 5 баллов. Для получения оценки необходимо предоставить краткий отчёт о решении задачи.

== Контрольная работа ==

[https://docs.google.com/document/d/1xSaTtFqXkj1hG0Da7lX8GkGn7kaqAxWGYflLLvKf5z0/edit?usp=sharing Вопросы для подготовки с прошлого года]

== Экзамен ==

[[https://docs.google.com/document/d/1Kyk5YU5gakj_LjSWlHJTwyg7PU3U9PCaaaYliOqKSfI/edit?usp=sharing Вопросы для подготовки с прошлого года]]

== Полезные материалы ==
===Книги===
* Hastie T., Tibshirani R, Friedman J. The Elements of Statistical Learning (2nd edition). Springer, 2009.
* Bishop C. M. Pattern Recognition and Machine Learning. Springer, 2006.
* Mohri M., Rostamizadeh A., Talwalkar A. Foundations of Machine Learning. MIT Press, 2012.
* Murphy K. Machine Learning: A Probabilistic Perspective. MIT Press, 2012.
* Mohammed J. Zaki, Wagner Meira Jr. Data Mining and Analysis. Fundamental Concepts and Algorithms. Cambridge University Press, 2014.
* Willi Richert, Luis Pedro Coelho. Building Machine Learning Systems with Python. Packt Publishing, 2013.

===Курсы по машинному обучению и анализу данных===
* [http://www.machinelearning.ru/wiki/index.php?title=Машинное_обучение_%28курс_лекций%2C_К.В.Воронцов%29 Курс по машинному обучению К.В. Воронцова]
* [https://yandexdataschool.ru/edu-process/courses/machine-learning Видеозаписи лекций курса Школы Анализа Данных, К.В. Воронцов]
* [https://www.coursera.org/specializations/machine-learning-data-analysis Coursera: Машинное обучение и анализ данных (специализация)]
* [https://www.coursera.org/learn/introduction-machine-learning Coursera: Введение в машинное обучение, К.В. Воронцов]

== Страницы предыдущих лет ==

[[Машинное_обучение_1/2019_2020 | 2019/2020 учебный год]]

[[Машинное_обучение_1/2018_2019 | 2018/2019 учебный год]]

[[Машинное_обучение_1/2017_2018 | 2017/2018 учебный год]]

[[Машинное_обучение_1/2016_2017 | 2016/2017 учебный год]]

Машинное обучение 1/2023 2024

2020-10-05T09:05:26Z

Birshert1: /* Практические задания */

== О курсе ==

[[Файл:ML_surfaces.png|280px|borderless|left]]

Курс читается для студентов 3-го курса [https://cs.hse.ru/ami ПМИ ФКН ВШЭ] в 1-2 модулях.

Проводится с 2016 года.

'''Лектор:''' [http://www.hse.ru/staff/esokolov Соколов Евгений Андреевич]

Лекции проходят по пятницам, 11:10 - 12:30, в zoom (https://zoom.us/j/99855378374).

=== Полезные ссылки ===

[https://www.hse.ru/ba/ami/courses/339555332.html Карточка курса и программа]

[https://github.com/esokolov/ml-course-hse Репозиторий с материалами на GitHub]

[https://www.youtube.com/watch?v=OBG6EUSRC9g&list=PLEqoHzpnmTfDwuwrFHWVHdr1-qJsfqCUX Видеозаписи лекций 18/19 года]

Почта для сдачи домашних заданий (на самом деле задания сдаются в AnyTask, но если он не работает, то присылайте на почту): hse.cs.ml+<номер группы>@gmail.com (например, hse.cs.ml+171@gmail.com)

Канал в telegram для объявлений: https://t.me/joinchat/AAAAAFfULjTHLkANF7_vXQ

Чат в telegram для обсуждений (предназначение чата до конца не ясно, вопросы может быть правильнее задавать в чатах групп): https://t.me/joinchat/A5rlQBPIKyQ__z33y7hL9g

Ссылка на курс в Anytask: https://anytask.org/course/740

[https://docs.google.com/spreadsheets/d/1vJYgN5-cSNeBtpxXJIT1ZqBJdx3pRTsQGF1NqY0ac5Q/edit?usp=sharing Таблица с оценками]

Оставить отзыв на курс: [https://goo.gl/forms/5CddG0gc75VZvqi52 форма]

'''Вопросы''' по курсу можно задавать на почту курса, а также в телеграм лектору (esokolov@) или семинаристу.
Вопросы по материалам лекций/семинаров и по заданиям лучше всего оформлять в виде [https://github.com/esokolov/ml-course-hse/issues Issue] в [https://github.com/esokolov/ml-course-hse github-репозитории курса].

=== Семинары ===

{| class="wikitable"
|-
! Группа !! Преподаватель !! Учебный ассистент
|-
| 181 (МОП) || [https://www.hse.ru/org/persons/165212870 Зиннурова Эльвира Альбертовна] || [https://t.me/Bitchert Биршерт Леша], [https://t.me/ashabalin99 Шабалин Саша]
|-
| 182 (МОП) || [https://www.hse.ru/staff/esokolov Соколов Евгений Андреевич] || [https://t.me/Kirili4ik Гельван Кирилл], [https://t.me/isadrtdinov Ильдус Садртдинов]
|-
| 183 (ТИ) || [https://www.hse.ru/org/persons/190919554 Трошин Сергей Дмитриевич] || [https://t.me/treacker Шабалин Евгений]
|-
| 184 (АДИС) || [https://www.hse.ru/org/persons/? Кохтев Вадим Михайлович] || [https://t.me/sergevkim Ким Сергей], [https://t.me/planum Гусев Андрей]
|-
| 185 (РС) || [https://www.hse.ru/org/persons/209813459 Каюмов Эмиль Марселевич] || [https://t.me/arinaruck Рак Арина]
|-
| 186 (РС) || [https://www.hse.ru/org/persons/? Глазкова Екатерина Васильевна] || [https://t.me/bigbluebutterfly Федоров Игорь]
|-
| 187 (АПР) || [https://www.hse.ru/org/persons/? Цвигун Аким Олегович] ||
|-
| 188 (МИ) || [https://www.hse.ru/org/persons/? Семенкин Антон Александрович] || [https://t.me/poly_nomial Анищенко Илья]
|-
|}

=== Консультации ===

=== Правила выставления оценок ===

В курсе предусмотрено несколько форм контроля знания:
* Самостоятельные работы на семинарах, проверяющие знание основных фактов с лекций и семинаров
* Практические домашние работы на Python
* Письменная контрольная работа
* Письменный экзамен

Итоговая оценка вычисляется на основе оценки за работу в семестре и оценки за экзамен:

Итог = Округление(0.15 * ПР + 0.4 * ДЗ + 0.15 * КР + 0.3 * Э)

ПР — средняя оценка за самостоятельные работы на семинарах

ДЗ — средняя оценка за практические домашние работы на Python

КР — оценка за контрольную работу

Э — оценка за экзамен

Округление арифметическое.

=== Правила сдачи заданий ===

За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются. Даже при опоздании на одну секунду. Сдавайте заранее. Есть исключение: в течение семестра каждый студент может не более 2 раз сдать задание после жёсткого дедлайна — в этом случае за каждый день просрочки продолжает вычитаться по одному баллу (если не оговорено иное).

При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.

При наличии уважительной причины пропущенную проверочную можно написать позднее, а дедлайн по домашнему заданию может быть перенесён. Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.

== Лекции ==

Ко всем конспектам на GitHub есть исходники. Исправления и дополнения всячески приветствуются!

'''Лекция 1''' (4 сентября). Введение в машинное обучение. Основные термины, постановки задач и примеры применения. [[https://github.com/esokolov/ml-course-hse/blob/master/2020-fall/lecture-notes/lecture01-intro.pdf Конспект]] [[https://www.youtube.com/watch?v=HytWgel76rY Запись лекции]]

'''Лекция 2''' (11 сентября). Линейная регрессия. Метрики качества регрессии. Переобучение. [[https://github.com/esokolov/ml-course-hse/blob/master/2020-fall/lecture-notes/lecture02-linregr.pdf Конспект]] [[https://www.youtube.com/watch?v=rNO34vMVS-Q Запись лекции]]

'''Лекция 3''' (18 сентября). Регуляризация. Градиентное обучение. Оценивание градиента. [[https://github.com/esokolov/ml-course-hse/blob/master/2020-fall/lecture-notes/lecture03-linregr.pdf Конспект]] [[https://www.youtube.com/watch?v=CWFWFsie6jg Запись лекции]]

'''Лекция 4''' (25 сентября). Линейная классификация. Отступ и верхние оценки на пороговую функцию потерь. Метрики качества классификации. [[https://github.com/esokolov/ml-course-hse/blob/master/2020-fall/lecture-notes/lecture04-linclass.pdf Конспект]] [[https://www.youtube.com/watch?v=tIymy9jpO9s Запись лекции]]

'''Лекция 5''' (2 октября). Метрики качества классификации. [[https://github.com/esokolov/ml-course-hse/blob/master/2020-fall/lecture-notes/lecture04-linclass.pdf Конспект]] [[https://www.youtube.com/watch?v=3Qj87xe3Djk Запись лекции]]

'''Лекция 6''' (9 октября). Линейная классификация. Логистическая регрессия и оценки вероятности классов. Метод опорных векторов. [[https://github.com/esokolov/ml-course-hse/blob/master/2019-fall/lecture-notes/lecture05-linclass.pdf Конспект]]

'''Лекция 7''' (16 октября). Многоклассовая классификация, сведение к бинарным задачам. Многоклассовая логистическая регрессия. Классификация с пересекающимися классами. Метрики качества многоклассовой классификации. [[https://github.com/esokolov/ml-course-hse/blob/master/2019-fall/lecture-notes/lecture06-linclass.pdf Конспект]]

'''Лекция 8''' (30 октября). Решающие деревья. Жадный алгоритм построения. Выбор лучшего разбиения с помощью критерия информативности. Критерии информативности для регрессии и классификации. Учёт пропусков в деревьях. Решающие деревья и категориальные признаки. [[https://github.com/esokolov/ml-course-hse/blob/master/2019-fall/lecture-notes/lecture07-trees.pdf Конспект]]

'''Лекция 9''' (6 ноября). Бутстрап и бэггинг. Разложение ошибки на смещение и разброс (bias-variance decomposition). Случайный лес. Вычисление расстояний с помощью лесов. [[https://github.com/esokolov/ml-course-hse/blob/master/2019-fall/lecture-notes/lecture08-ensembles.pdf Конспект]]

'''Лекция 10''' (13 ноября). Градиентный бустинг. Регуляризация. Особенности бустинга над деревьями. Взвешивание объектов в градиентном бустинге. [[https://github.com/esokolov/ml-course-hse/blob/master/2019-fall/lecture-notes/lecture09-ensembles.pdf Конспект]]

'''Лекция 11''' (20 ноября). Оптимизация второго порядка в градиентном бустинге. Регуляризация деревьев. XGBoost. Стекинг. [[https://github.com/esokolov/ml-course-hse/blob/master/2019-fall/lecture-notes/lecture10-ensembles.pdf Конспект]]

'''Лекция 12''' (27 ноября). Обучение без учителя. Кластеризация: метрики качества, K-Means, иерархический и графовый подходы. Визуализация, t-SNE. Обучение представлений. word2vec. [[https://github.com/esokolov/ml-course-hse/blob/master/2019-fall/lecture-notes/lecture11-unsupervised.pdf Конспект]]

'''Лекция 13''' (4 декабря). Метод главных компонент, его связь с матричными разложениями. Рекомендательные системы: постановка задачи, коллаборативные методы, матричные разложения, контентные методы. [[https://github.com/esokolov/ml-course-hse/blob/master/2019-fall/lecture-notes/lecture12-factorizations.pdf Конспект]]

== Семинары ==

'''Семинар 1'''. Разведочный анализ данных в Python. [[https://github.com/esokolov/ml-course-hse/blob/master/2020-fall/seminars/sem01-pandas.ipynb Ноутбук]]

'''Семинар 2'''. sklearn и особенности подготовки данных для линейных моделей. [[https://github.com/esokolov/ml-course-hse/blob/master/2020-fall/seminars/sem02-sklearn-linregr.ipynb Ноутбук]]

'''Семинар 3'''. Основы матрично-векторного дифференцирования. Градиентный спуск. [[https://github.com/esokolov/ml-course-hse/blob/master/2020-fall/seminars/sem03-numpy.ipynb Справочная информация по NumPy]] [[https://github.com/esokolov/ml-course-hse/blob/master/2020-fall/seminars/sem03-gd.ipynb Ноутбук по градиентному спуску]] [[https://github.com/esokolov/ml-course-hse/blob/master/2020-fall/seminars/sem03-vector-diff.pdf Задачи на векторное дифференцирование]]

'''Семинар 4'''. Работа с пропусками и выбросами. Методы кодирования категориальных признаков. Основы работы с текстовыми данными. [[https://github.com/esokolov/ml-course-hse/blob/master/2020-fall/seminars/sem04-features.pdf Конспект]] [[https://github.com/esokolov/ml-course-hse/blob/master/2020-fall/seminars/sem04-features.ipynb Ноутбук]]

== Практические задания ==

За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются, но есть исключение. В течение семестра каждый студент может не более 2 раз сдать задание после жёсткого дедлайна — в этом случае за каждый день просрочки продолжает вычитаться по одному баллу (если не оговорено иное).

'''Задание 1.''' Pandas и распределение студентов ПМИ по элективам.

Мягкий дедлайн: 21.09.2020 04:59.

Жесткий дедлайн: 24.09.2020 23:59.

[[https://github.com/esokolov/ml-course-hse/blob/master/2020-fall/homeworks-practice/homework-practice-01-pandas.ipynb Ноутбук с заданием]]

'''Задание 2.''' Разведочный анализ данных, линейная регрессия и разработка признаков.

Мягкий дедлайн: 05.10.2020 02:59.

Жесткий дедлайн: 08.10.2020 23:59.

[[https://github.com/esokolov/ml-course-hse/blob/master/2020-fall/homeworks-practice/homework-practice-02-linregr.ipynb Ноутбук с заданием]]

'''Задание 3.''' Градиентный спуск и линейная регрессия своими руками.

Мягкий дедлайн: 19.10.2020 01:59.

Жесткий дедлайн: 22.10.2020 21:59.

[[https://github.com/esokolov/ml-course-hse/tree/master/2020-fall/homeworks-practice/homework-practice-03-gd Папка задания]]

==Теоретические домашние задания==

Теоретические ДЗ не проверяются, но задачи из них могут войти в проверочные работы на семинарах.

'''Задание 1.''' Матрично-векторное дифференцирование [[https://github.com/esokolov/ml-course-hse/blob/master/2020-fall/homeworks-theory/homework-theory-01-derivatives.pdf Условие]]

'''Задание 2.''' Линейная регрессия [[https://github.com/esokolov/ml-course-hse/blob/master/2020-fall/homeworks-theory/homework-theory-02-linregr.pdf Условие]]

== Соревнования ==

===Правила участия и оценивания===
В соревновании по анализу данных вам предлагается по имеющимся данным решить некоторую задачу, оптимизируя указанную метрику, и отправить ответы для заданного тестового множества. Максимальное количество посылок в сутки ограничено (как правило, разрешается сделать 2 посылки), ближе к концу соревнования вам будем необходимо выбрать 2 посылки, которые вы считаете лучшими. Тестовые данные делятся на публичные и приватные в некотором соотношении, на основе которых строятся публичный и приватный лидерборды соответственно, при этом публичный лидерборд доступен в течение всего соревнования, а приватный строится после его окончания для выбранных вами посылок.

В лидербордах каждого из соревнований присутствуют несколько базовых решений (бейзлайнов), каждое из которых соответствует определённой оценке. Например, для получения оценки не ниже 8 баллов необходимо, чтобы ваше решение на '''приватном''' лидерборде оказалось лучше соответствующего бейзлайна. Далее для студента, преодолевшего бейзлайн на N_1 баллов, но не преодолевшего бейзлайн на N_2 балла, итоговая оценка за соревнование рассчитывается по равномерной сетке среди всех таких студентов в зависимости от места в приватном лидерборде среди них; если быть точными, то по следующей формуле:

N_2 - (N_2 - N_1) * i / M,

где M — количество студентов (из всех студентов, изучающих курс), преодолевших бейзлайн на N_1 баллов, но не преодолевших бейзлайн на N_2 балла;

i — место (начиная с 1) студента в приватном лидерборде среди всех таких студентов.

Единственное исключение из формулы — студенты, преодолевшие самый сильный бейзлайн, получают прибавку 1/M к своей оценке.

Чтобы вас не пропустили при проверке решений соревнования, '''необходимо''' использовать следующий формат для имени команды (вкладка Team):

«Имя Фамилия номер_группы»

В течение 3 суток после окончания соревнования в соответствующее задание на anytask необходимо прислать код, воспроизводящий ответы для посылки, фигурирующей в приватном лидерборде. При оформлении кода предполагайте, что данные лежат рядом с ним в папке data, а в результате выполнения кода ответы должны быть записаны в файл solution-N-Username.csv, где N — номер соревнования, Username — ваша фамилия. У нас должна быть возможность запустить код и получить те же ответы, что и в вашей посылке, — в частности, это означает, что:

1. Если вы отправляете файл *.py, мы будем запускать его при помощи команды python *.py в вышеуказанном предположении о местонахождении данных.

2. Если вы отправляете ноутбук *.ipynb, мы последовательно запустим все ячейки ноутбука и будем ожидать в результате его работы формирование файла с ответами.

3. Если вы отправляете код с использованием другого языка программирования, в том же письме направьте нам инструкцию по его запуску с тем, чтобы получить тот же файл с ответами.

В случае отсутствия кода, воспроизводящего результат, в установленный срок студенту выставляется 0 в качестве оценки за соревнование. Студенты, попавшие в топ-5 согласно приватному лидерборду, смогут получить бонусные баллы, если в течение недели после окончания соревнования пришлют на почту курса отчет о получении решения, фигурирующего в приватном лидерборде. Если не оговорено иное, использовать любые внешние данные в соревнованиях '''запрещено'''. Под внешними данными понимаются размеченные данные, где разметка имеет прямое отношение к решаемой задаче. Грубо говоря, сборник текстов с википедии не считается внешними данными.

== Бонусы за соревнования ==

За успешное участие в соревнованиях по анализу данных могут быть выставлены бонусные баллы, которые можно прибавить к оценке за любое практическое или теоретическое домашнее задание, а также за самостоятельную работу. Под успешным участием понимается попадание в топ-10% мест; если соревнование особо сложное и крупное, может рассматриваться и попадание в топ-20% мест. Конкретное число баллов определяется преподавателями и зависит от сложности соревнования и занятого места. За одно соревнование можно получить не более 5 баллов. Для получения оценки необходимо предоставить краткий отчёт о решении задачи.

== Контрольная работа ==

[https://docs.google.com/document/d/1xSaTtFqXkj1hG0Da7lX8GkGn7kaqAxWGYflLLvKf5z0/edit?usp=sharing Вопросы для подготовки с прошлого года]

== Экзамен ==

[[https://docs.google.com/document/d/1Kyk5YU5gakj_LjSWlHJTwyg7PU3U9PCaaaYliOqKSfI/edit?usp=sharing Вопросы для подготовки с прошлого года]]

== Полезные материалы ==
===Книги===
* Hastie T., Tibshirani R, Friedman J. The Elements of Statistical Learning (2nd edition). Springer, 2009.
* Bishop C. M. Pattern Recognition and Machine Learning. Springer, 2006.
* Mohri M., Rostamizadeh A., Talwalkar A. Foundations of Machine Learning. MIT Press, 2012.
* Murphy K. Machine Learning: A Probabilistic Perspective. MIT Press, 2012.
* Mohammed J. Zaki, Wagner Meira Jr. Data Mining and Analysis. Fundamental Concepts and Algorithms. Cambridge University Press, 2014.
* Willi Richert, Luis Pedro Coelho. Building Machine Learning Systems with Python. Packt Publishing, 2013.

===Курсы по машинному обучению и анализу данных===
* [http://www.machinelearning.ru/wiki/index.php?title=Машинное_обучение_%28курс_лекций%2C_К.В.Воронцов%29 Курс по машинному обучению К.В. Воронцова]
* [https://yandexdataschool.ru/edu-process/courses/machine-learning Видеозаписи лекций курса Школы Анализа Данных, К.В. Воронцов]
* [https://www.coursera.org/specializations/machine-learning-data-analysis Coursera: Машинное обучение и анализ данных (специализация)]
* [https://www.coursera.org/learn/introduction-machine-learning Coursera: Введение в машинное обучение, К.В. Воронцов]

== Страницы предыдущих лет ==

[[Машинное_обучение_1/2019_2020 | 2019/2020 учебный год]]

[[Машинное_обучение_1/2018_2019 | 2018/2019 учебный год]]

[[Машинное_обучение_1/2017_2018 | 2017/2018 учебный год]]

[[Машинное_обучение_1/2016_2017 | 2016/2017 учебный год]]

Машинное обучение 1/2023 2024

2020-09-07T13:06:22Z

Birshert1: Ассистенты 181

== О курсе ==

[[Файл:ML_surfaces.png|280px|borderless|left]]

Курс читается для студентов 3-го курса [https://cs.hse.ru/ami ПМИ ФКН ВШЭ] в 1-2 модулях.

Проводится с 2016 года.

'''Лектор:''' [http://www.hse.ru/staff/esokolov Соколов Евгений Андреевич]

Лекции проходят по пятницам, 11:10 - 12:30, в zoom (https://zoom.us/j/99855378374).

=== Полезные ссылки ===

[https://www.hse.ru/ba/ami/courses/339555332.html Карточка курса и программа]

[https://github.com/esokolov/ml-course-hse Репозиторий с материалами на GitHub]

[https://www.youtube.com/watch?v=OBG6EUSRC9g&list=PLEqoHzpnmTfDwuwrFHWVHdr1-qJsfqCUX Видеозаписи лекций 18/19 года]

Почта для сдачи домашних заданий (на самом деле задания сдаются в AnyTask, но если он не работает, то присылайте на почту): hse.cs.ml+<номер группы>@gmail.com (например, hse.cs.ml+171@gmail.com)

Канал в telegram для объявлений: https://t.me/joinchat/AAAAAFfULjTHLkANF7_vXQ

Чат в telegram для обсуждений (предназначение чата до конца не ясно, вопросы может быть правильнее задавать в чатах групп): https://t.me/joinchat/A5rlQBPIKyQ__z33y7hL9g

Ссылка на курс в Anytask: ??

[https://docs.google.com/spreadsheets/d/1vJYgN5-cSNeBtpxXJIT1ZqBJdx3pRTsQGF1NqY0ac5Q/edit?usp=sharing Таблица с оценками]

Оставить отзыв на курс: [https://goo.gl/forms/5CddG0gc75VZvqi52 форма]

'''Вопросы''' по курсу можно задавать на почту курса, а также в телеграм лектору (esokolov@) или семинаристу.
Вопросы по материалам лекций/семинаров и по заданиям лучше всего оформлять в виде [https://github.com/esokolov/ml-course-hse/issues Issue] в [https://github.com/esokolov/ml-course-hse github-репозитории курса].

=== Семинары ===

{| class="wikitable"
|-
! Группа !! Преподаватель !! Учебный ассистент
|-
| 181 (МОП) || [https://www.hse.ru/org/persons/165212870 Зиннурова Эльвира Альбертовна] || [https://t.me/Bitchert Биршерт Леша], [https://t.me/ashabalin99 Шабалин Саша]
|-
| 182 (МОП) || [https://www.hse.ru/staff/esokolov Соколов Евгений Андреевич] ||
|-
| 183 (ТИ) || [https://www.hse.ru/org/persons/? Трошин Сергей Дмитриевич] ||
|-
| 184 (АДИС) || [https://www.hse.ru/org/persons/? Кохтев Вадим Михайлович] ||
|-
| 185 (РС) || [https://www.hse.ru/org/persons/209813459 Каюмов Эмиль Марселевич] ||
|-
| 186 (РС) || [https://www.hse.ru/org/persons/? Глазкова Екатерина Васильевна] ||
|-
| 187 (АПР) || [https://www.hse.ru/org/persons/? Цвигун Аким Олегович] ||
|-
| 188 (МИ) || [https://www.hse.ru/org/persons/? Семенкин Антон Александрович] ||
|-
|}

=== Консультации ===

=== Правила выставления оценок ===

В курсе предусмотрено несколько форм контроля знания:
* Самостоятельные работы на семинарах, проверяющие знание основных фактов с лекций и семинаров
* Практические домашние работы на Python
* Письменная контрольная работа
* Письменный экзамен

Итоговая оценка вычисляется на основе оценки за работу в семестре и оценки за экзамен:

Итог = Округление(0.15 * ПР + 0.4 * ДЗ + 0.15 * КР + 0.3 * Э)

ПР — средняя оценка за самостоятельные работы на семинарах

ДЗ — средняя оценка за практические домашние работы на Python

КР — оценка за контрольную работу

Э — оценка за экзамен

Округление арифметическое.

=== Правила сдачи заданий ===

За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются. Даже при опоздании на одну секунду. Сдавайте заранее. Есть исключение: в течение семестра каждый студент может не более 2 раз сдать задание после жёсткого дедлайна — в этом случае за каждый день просрочки продолжает вычитаться по одному баллу (если не оговорено иное).

При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.

При наличии уважительной причины пропущенную проверочную можно написать позднее, а дедлайн по домашнему заданию может быть перенесён. Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.

== Лекции ==

Ко всем конспектам на GitHub есть исходники. Исправления и дополнения всячески приветствуются!

'''Лекция 1''' (4 сентября). Введение в машинное обучение. Основные термины, постановки задач и примеры применения. [[https://github.com/esokolov/ml-course-hse/blob/master/2020-fall/lecture-notes/lecture01-intro.pdf Конспект]] [[https://www.youtube.com/watch?v=HytWgel76rY Запись лекции]]

'''Лекция 2''' (11 сентября). Линейная регрессия. Метрики качества регрессии. Градиентный спуск и способы оценивания градиента. Продвинутые градиентные методы. [[https://github.com/esokolov/ml-course-hse/blob/master/2019-fall/lecture-notes/lecture02-linregr.pdf Конспект]]

'''Лекция 3''' (18 сентября). Переобучение и регуляризация. Разреженные линейные модели. Квантильная регрессия. Подготовка признаков. [[https://github.com/esokolov/ml-course-hse/blob/master/2019-fall/lecture-notes/lecture03-linregr.pdf Конспект]]

'''Лекция 4''' (25 сентября). Линейная классификация. Отступ и верхние оценки на пороговую функцию потерь. Метрики качества классификации. [[https://github.com/esokolov/ml-course-hse/blob/master/2019-fall/lecture-notes/lecture04-linclass.pdf Конспект]]

'''Лекция 5''' (2 октября). Линейная классификация. Логистическая регрессия и оценки вероятности классов. Метод опорных векторов. [[https://github.com/esokolov/ml-course-hse/blob/master/2019-fall/lecture-notes/lecture05-linclass.pdf Конспект]]

'''Лекция 6''' (9 октября). Многоклассовая классификация, сведение к бинарным задачам. Многоклассовая логистическая регрессия. Классификация с пересекающимися классами. Метрики качества многоклассовой классификации. [[https://github.com/esokolov/ml-course-hse/blob/master/2019-fall/lecture-notes/lecture06-linclass.pdf Конспект]]

'''Лекция 7''' (16 октября). Решающие деревья. Жадный алгоритм построения. Выбор лучшего разбиения с помощью критерия информативности. Критерии информативности для регрессии и классификации. Учёт пропусков в деревьях. Решающие деревья и категориальные признаки. [[https://github.com/esokolov/ml-course-hse/blob/master/2019-fall/lecture-notes/lecture07-trees.pdf Конспект]]

'''Лекция 8''' (30 октября). Бутстрап и бэггинг. Разложение ошибки на смещение и разброс (bias-variance decomposition). Случайный лес. Вычисление расстояний с помощью лесов. [[https://github.com/esokolov/ml-course-hse/blob/master/2019-fall/lecture-notes/lecture08-ensembles.pdf Конспект]]

'''Лекция 9''' (6 ноября). Градиентный бустинг. Регуляризация. Особенности бустинга над деревьями. Взвешивание объектов в градиентном бустинге. [[https://github.com/esokolov/ml-course-hse/blob/master/2019-fall/lecture-notes/lecture09-ensembles.pdf Конспект]]

'''Лекция 10''' (13 ноября). Оптимизация второго порядка в градиентном бустинге. Регуляризация деревьев. XGBoost. Стекинг. [[https://github.com/esokolov/ml-course-hse/blob/master/2019-fall/lecture-notes/lecture10-ensembles.pdf Конспект]]

'''Лекция 11''' (20 ноября). Обучение без учителя. Кластеризация: метрики качества, K-Means, иерархический и графовый подходы. Визуализация, t-SNE. Обучение представлений. word2vec. [[https://github.com/esokolov/ml-course-hse/blob/master/2019-fall/lecture-notes/lecture11-unsupervised.pdf Конспект]]

'''Лекция 12''' (27 ноября). Метод главных компонент, его связь с матричными разложениями. Рекомендательные системы: постановка задачи, коллаборативные методы, матричные разложения, контентные методы. [[https://github.com/esokolov/ml-course-hse/blob/master/2019-fall/lecture-notes/lecture12-factorizations.pdf Конспект]]

== Семинары ==

== Практические задания ==

За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются, но есть исключение. В течение семестра каждый студент может не более 2 раз сдать задание после жёсткого дедлайна — в этом случае за каждый день просрочки продолжает вычитаться по одному баллу (если не оговорено иное).

==Теоретические домашние задания==

Теоретические ДЗ не проверяются, но задачи из них могут войти в проверочные работы на семинарах.

== Соревнования ==

===Правила участия и оценивания===
В соревновании по анализу данных вам предлагается по имеющимся данным решить некоторую задачу, оптимизируя указанную метрику, и отправить ответы для заданного тестового множества. Максимальное количество посылок в сутки ограничено (как правило, разрешается сделать 2 посылки), ближе к концу соревнования вам будем необходимо выбрать 2 посылки, которые вы считаете лучшими. Тестовые данные делятся на публичные и приватные в некотором соотношении, на основе которых строятся публичный и приватный лидерборды соответственно, при этом публичный лидерборд доступен в течение всего соревнования, а приватный строится после его окончания для выбранных вами посылок.

В лидербордах каждого из соревнований присутствуют несколько базовых решений (бейзлайнов), каждое из которых соответствует определённой оценке. Например, для получения оценки не ниже 8 баллов необходимо, чтобы ваше решение на '''приватном''' лидерборде оказалось лучше соответствующего бейзлайна. Далее для студента, преодолевшего бейзлайн на N_1 баллов, но не преодолевшего бейзлайн на N_2 балла, итоговая оценка за соревнование рассчитывается по равномерной сетке среди всех таких студентов в зависимости от места в приватном лидерборде среди них; если быть точными, то по следующей формуле:

N_2 - (N_2 - N_1) * i / M,

где M — количество студентов (из всех студентов, изучающих курс), преодолевших бейзлайн на N_1 баллов, но не преодолевших бейзлайн на N_2 балла;

i — место (начиная с 1) студента в приватном лидерборде среди всех таких студентов.

Единственное исключение из формулы — студенты, преодолевшие самый сильный бейзлайн, получают прибавку 1/M к своей оценке.

Чтобы вас не пропустили при проверке решений соревнования, '''необходимо''' использовать следующий формат для имени команды (вкладка Team):

«Имя Фамилия номер_группы»

В течение 3 суток после окончания соревнования в соответствующее задание на anytask необходимо прислать код, воспроизводящий ответы для посылки, фигурирующей в приватном лидерборде. При оформлении кода предполагайте, что данные лежат рядом с ним в папке data, а в результате выполнения кода ответы должны быть записаны в файл solution-N-Username.csv, где N — номер соревнования, Username — ваша фамилия. У нас должна быть возможность запустить код и получить те же ответы, что и в вашей посылке, — в частности, это означает, что:

1. Если вы отправляете файл *.py, мы будем запускать его при помощи команды python *.py в вышеуказанном предположении о местонахождении данных.

2. Если вы отправляете ноутбук *.ipynb, мы последовательно запустим все ячейки ноутбука и будем ожидать в результате его работы формирование файла с ответами.

3. Если вы отправляете код с использованием другого языка программирования, в том же письме направьте нам инструкцию по его запуску с тем, чтобы получить тот же файл с ответами.

В случае отсутствия кода, воспроизводящего результат, в установленный срок студенту выставляется 0 в качестве оценки за соревнование. Студенты, попавшие в топ-5 согласно приватному лидерборду, смогут получить бонусные баллы, если в течение недели после окончания соревнования пришлют на почту курса отчет о получении решения, фигурирующего в приватном лидерборде. Если не оговорено иное, использовать любые внешние данные в соревнованиях '''запрещено'''. Под внешними данными понимаются размеченные данные, где разметка имеет прямое отношение к решаемой задаче. Грубо говоря, сборник текстов с википедии не считается внешними данными.

== Бонусы за соревнования ==

За успешное участие в соревнованиях по анализу данных могут быть выставлены бонусные баллы, которые можно прибавить к оценке за любое практическое или теоретическое домашнее задание, а также за самостоятельную работу. Под успешным участием понимается попадание в топ-10% мест; если соревнование особо сложное и крупное, может рассматриваться и попадание в топ-20% мест. Конкретное число баллов определяется преподавателями и зависит от сложности соревнования и занятого места. За одно соревнование можно получить не более 5 баллов. Для получения оценки необходимо предоставить краткий отчёт о решении задачи.

== Контрольная работа ==

[https://docs.google.com/document/d/1xSaTtFqXkj1hG0Da7lX8GkGn7kaqAxWGYflLLvKf5z0/edit?usp=sharing Вопросы для подготовки с прошлого года]

== Экзамен ==

[[https://docs.google.com/document/d/1Kyk5YU5gakj_LjSWlHJTwyg7PU3U9PCaaaYliOqKSfI/edit?usp=sharing Вопросы для подготовки с прошлого года]]

== Полезные материалы ==
===Книги===
* Hastie T., Tibshirani R, Friedman J. The Elements of Statistical Learning (2nd edition). Springer, 2009.
* Bishop C. M. Pattern Recognition and Machine Learning. Springer, 2006.
* Mohri M., Rostamizadeh A., Talwalkar A. Foundations of Machine Learning. MIT Press, 2012.
* Murphy K. Machine Learning: A Probabilistic Perspective. MIT Press, 2012.
* Mohammed J. Zaki, Wagner Meira Jr. Data Mining and Analysis. Fundamental Concepts and Algorithms. Cambridge University Press, 2014.
* Willi Richert, Luis Pedro Coelho. Building Machine Learning Systems with Python. Packt Publishing, 2013.

===Курсы по машинному обучению и анализу данных===
* [http://www.machinelearning.ru/wiki/index.php?title=Машинное_обучение_%28курс_лекций%2C_К.В.Воронцов%29 Курс по машинному обучению К.В. Воронцова]
* [https://yandexdataschool.ru/edu-process/courses/machine-learning Видеозаписи лекций курса Школы Анализа Данных, К.В. Воронцов]
* [https://www.coursera.org/specializations/machine-learning-data-analysis Coursera: Машинное обучение и анализ данных (специализация)]
* [https://www.coursera.org/learn/introduction-machine-learning Coursera: Введение в машинное обучение, К.В. Воронцов]

== Страницы предыдущих лет ==

[[Машинное_обучение_1/2019_2020 | 2019/2020 учебный год]]

[[Машинное_обучение_1/2018_2019 | 2018/2019 учебный год]]

[[Машинное_обучение_1/2017_2018 | 2017/2018 учебный год]]

[[Машинное_обучение_1/2016_2017 | 2016/2017 учебный год]]

Дифференциальные уравнения 2020

2020-01-21T20:28:11Z

Birshert1:

== О курсе ==

== Полезные ссылки ==
Почта для сдачи домашних заданий:

Канал в telegram для объявлений:

Чат в telegram для обсуждений:

Ссылка на курс в Anytask:

== Преподаватели и учебные ассистенты ==

{| class="wikitable" style="text-align:center"
|-
! Группа !! БПМИ181 !! БПМИ182 !! БПМИ183 !! БПМИ184 !! БПМИ185 !! БПМИ186 !! БПМИ187 !! БПМИ188
|-
|| Лектор ||colspan="8"| [https://www.hse.ru/org/persons/14276760 Лукьянченко Петр Павлович]
|-
|| Семинарист ||[https://www.hse.ru/org/persons/309076802 Колесниченко Е.Ю.]|| ||[https://www.hse.ru/org/persons/309076802 Колесниченко Е.Ю.]||[https://www.hse.ru/org/persons/309076802 Колесниченко Е.Ю.]|| || |Оноприенко А.А. |||| |Оноприенко А.А.
|-
|| Ассистент || || || || || [https://t.me/dobromayk Наташа Доброхотова] || [https://t.me/Bitchert Алексей Биршерт] || || [https://t.me/Bitchert Алексей Биршерт]
|}

== Порядок формирования итоговой оценки ==

Текущий контроль знаний студентов осуществляется путём проверки письменных домашних работ. В курсе запланировано проведение не менее 2-х домашних работ. В течение курса студенты должны выполнить не менее одного проекта, в котором применены методы анализа дифференциальных уравнений, изученные в курсе. Предварительные темы проекта уточняются лектором в начале курса. Студенты должны согласовать темы проектов с лектором и/или преподавателем практических занятий.

Промежуточный контроль знаний студентов осуществляется путём проведения промежуточной контрольной работы. Проводится в письменной форме в течение от 90 до 180 минут. В ходе выполнения работы допускается использование простых калькуляторов (не позволяющих строить графики функций).
Оценка за мидтерм выставляется по 100-бальной шкале. Переписывание мидтерма не допускается, в случае пропуска по уважительной причине, подтверждённой документально, вес контрольной добавляется к весу экзамена.

Итоговый контроль осуществляется путём проведения письменной экзаменационной работы в течение от 90 до 180 минут. Правила проведения итоговой работы аналогичны правилам проведения мидтерма. Переписывание итоговой работы не допускается.

Формула оценки:

итог = 0,35 × экз + 0,65 × накоп

накоп = 0,5 × ПК + 0,35 × ДЗ + 0,15 × Проект, ПК - промежуточный контроль.

Накопленная и итоговая оценки округляются к ближайшему целому. В случае получения неудовлетворительной итоговой оценки студент пересдаёт итоговую экзаменационную работу в обычном порядке пересдач. Форма проведения пересдачи аналогична форме проведения контрольной работы.

== Ведомости ==

Оценки - [https://docs.google.com/spreadsheets/d/1kh-i7Sqm4MHG958QPehI1Xkkiu9sR8IBlbAWxX2ZpVg/edit?usp=sharing таблица]

== Литература ==

* Филиппов, А. Ф. Сборник задач по дифференциальным уравнениям / А. Ф. Филип- пов. – М.: НИЦ "Регулярная и хаотическая динамика", 2000 (и другие издания)

* Арнольд, В. И. Обыкновенные дифференциальные уравнения / В. И. Арнольд. – 4- е изд. – Ижевск: Ред. журн."Регулярная и хаотическая динамика": Удм. гос. ун-т., 2000. (и другие издания)

* П.Е. Данко, А.Г. Попов, Т.Я. Кожевникова. Высшая математика в упражнениях и задачах, Ч. 2, М.: Высшая школа, 2003.

* Кремер Н.Ш. Высшая математика для экономистов. М.: ЮНИТИ, 2010.

Дифференциальные уравнения 2020

2020-01-18T21:44:44Z

Birshert1:

== О курсе ==

== Полезные ссылки ==
Почта для сдачи домашних заданий:

Канал в telegram для объявлений:

Чат в telegram для обсуждений:

Ссылка на курс в Anytask:

== Преподаватели и учебные ассистенты ==

{| class="wikitable" style="text-align:center"
|-
! Группа !! БПМИ181 !! БПМИ182 !! БПМИ183 !! БПМИ184 !! БПМИ185 !! БПМИ186 !! БПМИ187 !! БПМИ188
|-
|| Лектор ||colspan="8"| [https://www.hse.ru/org/persons/14276760 Лукьянченко Петр Павлович]
|-
|| Семинарист || || || || || || || ||
|-
|| Ассистент || || || || || [https://t.me/Bitchert Алексей Биршерт] || || || [https://t.me/Bitchert Алексей Биршерт]
|}

== Порядок формирования итоговой оценки ==

Текущий контроль знаний студентов осуществляется путём проверки письменных домашних работ. В курсе запланировано проведение не менее 2-х домашних работ. В течение курса студенты должны выполнить не менее одного проекта, в котором применены методы анализа дифференциальных уравнений, изученные в курсе. Предварительные темы проекта уточняются лектором в начале курса. Студенты должны согласовать темы проектов с лектором и/или преподавателем практических занятий.

Промежуточный контроль знаний студентов осуществляется путём проведения промежуточной контрольной работы. Проводится в письменной форме в течение от 90 до 180 минут. В ходе выполнения работы допускается использование простых калькуляторов (не позволяющих строить графики функций).
Оценка за мидтерм выставляется по 100-бальной шкале. Переписывание мидтерма не допускается, в случае пропуска по уважительной причине, подтверждённой документально, вес контрольной добавляется к весу экзамена.

Итоговый контроль осуществляется путём проведения письменной экзаменационной работы в течение от 90 до 180 минут. Правила проведения итоговой работы аналогичны правилам проведения мидтерма. Переписывание итоговой работы не допускается.

Формула оценки:

итог = 0,35 × экз + 0,65 × накоп

накоп = 0,5 × ПК + 0,35 × ДЗ + 0,15 × Проект, ПК - промежуточный контроль.

Накопленная и итоговая оценки округляются к ближайшему целому. В случае получения неудовлетворительной итоговой оценки студент пересдаёт итоговую экзаменационную работу в обычном порядке пересдач. Форма проведения пересдачи аналогична форме проведения контрольной работы.

== Ведомости ==

Оценки - [https://docs.google.com/spreadsheets/d/1kh-i7Sqm4MHG958QPehI1Xkkiu9sR8IBlbAWxX2ZpVg/edit?usp=sharing таблица]

== Литература ==

* Филиппов, А. Ф. Сборник задач по дифференциальным уравнениям / А. Ф. Филип- пов. – М.: НИЦ "Регулярная и хаотическая динамика", 2000 (и другие издания)

* Арнольд, В. И. Обыкновенные дифференциальные уравнения / В. И. Арнольд. – 4- е изд. – Ижевск: Ред. журн."Регулярная и хаотическая динамика": Удм. гос. ун-т., 2000. (и другие издания)

* П.Е. Данко, А.Г. Попов, Т.Я. Кожевникова. Высшая математика в упражнениях и задачах, Ч. 2, М.: Высшая школа, 2003.

* Кремер Н.Ш. Высшая математика для экономистов. М.: ЮНИТИ, 2010.

Дифференциальные уравнения 2020

2020-01-18T21:33:34Z

Birshert1: Подготовка к выпуску в свет

== О курсе ==

== Полезные ссылки ==
Почта для сдачи домашних заданий:

Канал в telegram для объявлений:

Чат в telegram для обсуждений:

Ссылка на курс в Anytask:

== Преподаватели и учебные ассистенты ==

{| class="wikitable" style="text-align:center"
|-
! Группа !! БПМИ181 !! БПМИ182 !! БПМИ183 !! БПМИ184 !! БПМИ185 !! БПМИ186 !! БПМИ187 !! БПМИ188
|-
|| Лектор ||colspan="8"| [https://www.hse.ru/org/persons/14276760 Лукьянченко Петр Павлович]
|-
|| Семинарист || || || || || || || ||
|-
|| Ассистент || || || || || [https://t.me/Bitchert Алексей Биршерт] || || || [https://t.me/Bitchert Алексей Биршерт]
|}

== Порядок формирования итоговой оценки ==

Текущий контроль знаний студентов осуществляется путём проверки письменных домашних работ. В курсе запланировано проведение не менее 2-х домашних работ. В течение курса студенты должны выполнить не менее одного проекта, в котором применены методы анализа дифференциальных уравнений, изученные в курсе. Предварительные темы проекта уточняются лектором в начале курса. Студенты должны согласовать темы проектов с лектором и/или преподавателем практических занятий.

Промежуточный контроль знаний студентов осуществляется путём проведения промежуточной контрольной работы. Проводится в письменной форме в течение от 90 до 180 минут. В ходе выполнения работы допускается использование простых калькуляторов (не позволяющих строить графики функций).
Оценка за мидтерм выставляется по 100-бальной шкале. Переписывание мидтерма не допускается, в случае пропуска по уважительной причине, подтверждённой документально, вес контрольной добавляется к весу экзамена.

Итоговый контроль осуществляется путём проведения письменной экзаменационной работы в течение от 90 до 180 минут. Правила проведения итоговой работы аналогичны правилам проведения мидтерма. Переписывание итоговой работы не допускается.

Формула оценки:

итог = 0,35 × экз + 0,65 × накоп

накоп = 0,5 × ПК + 0,35 × ДЗ + 0,15 × Проект, ПК - промежуточный контроль.

Накопленная и итоговая оценки округляются к ближайшему целому. В случае получения неудовлетворительной итоговой оценки студент пересдаёт итоговую экзаменационную работу в обычном порядке пересдач. Форма проведения пересдачи аналогична форме проведения контрольной работы.

== Ведомости ==

Оценки - [https://docs.google.com/spreadsheets/d/1kh-i7Sqm4MHG958QPehI1Xkkiu9sR8IBlbAWxX2ZpVg/edit?usp=sharing таблица]

Математический анализ на ПМИ 2019/2020 (основной поток)

2019-11-11T19:13:07Z

Birshert1: Ассистент 195

== Преподаватели и учебные ассистенты ==

{| class="wikitable" style="text-align:center"
|-
! Группа !! 193(П+) !! 195(П+) !! 196 !! 197 !! 198 !! 199 !! 1910 !! 1911 !! 1912
|-
|| Лектор ||colspan="9"| [https://www.hse.ru/org/persons/214487921 Делицын А.Л.]
|-
|| Семинарист || [https://www.hse.ru/org/persons/224875083 Мажуга А.М.] || [https://www.hse.ru/org/persons/214487921 Делицын А.Л.] || [https://www.hse.ru/org/persons/191576853 Арутюнян Л.М.] || Черепанов В. || [https://www.hse.ru/org/persons/224875083 Мажуга А.М.] || Колесниченко Е.Ю. || Колесниченко Е.Ю. || Черепанов В. || [https://www.hse.ru/org/persons/161003527 Фоменко М.М.]
|-
|| Приемные часы || Пятница, 15:10 -- 16:30, кабинет S808 нужно предупредить за день || TBD || TBD || TBD || Пятница, 15:10 -- 16:30, кабинет S808 нужно предупредить за день || TBD || TBD || TBD || TBD
|-
|| Ассистент || [https://t.me/TmLev Лев Хорошанский] || [https://t.me/Bitchert Биршерт Алексей] || Елена Семерова || Гершон Шамаилов || [https://t.me/sstrizhenok Сергей Стриженок] || Михаил Кот || Александра Штарева || ? || ?
|}

== О курсе ==
Эта страничка содержит ссылки на материалы по курсу Математического Анализа I в 2019/2020 учебном году на основном потоке образовательной программы "Прикладная Математика и Информатика" Факультета Компьютерных Наук НИУ ВШЭ. Информацию [https://drive.google.com/open?id=1Xq7dp1E09SqqgySwPdeKIVJy8PelKlf- см. по ссылке]

== Лекции ==
Планы (краткое содержание) прочитанных лекций [https://docs.google.com/document/d/1nHg5eX5t4IAzY-QD_ujEpkymcbqeW1MA/edit см. по ссылке]

== Семинары ==
Содержание текущего семинара в гр. 195 [https://docs.google.com/document/d/1RHiAVzSzLgtAi3bkmkDRgwGpYmF_x-6Y/edit см. по ссылке]

== Домашние задания ==

Dropbox с домашними заданиями для 193 и 198 групп (содержимое обновляется, последнее обновление: 26.09.2019):
[https://www.dropbox.com/sh/aczqsguk5t8jccg/AADSDlQTTGxoY8imMeYNVzNAa?dl=0 см. по ссылке]

В ДЗ 3 допущена ошибка: во второй задаче следует дополнительно предположить, что все a_i попарно различны.

БДЗ1: [https://drive.google.com/open?id=1uNWGy_SGEDw3gMotVZxOjoQxU3t26_FK см. по ссылке]

Список вопросов и образцы задач к коллоквиуму [https://drive.google.com/file/d/11tHDf6nSrHgy0VezqShgVBItwHfT8QnM/view?usp=sharing см. по ссылке]

== Ведомости с оценками ==

'''Результаты проверки домашних заданий:'''

{| class="wikitable" style="text-align:center"
|-
! [https://docs.google.com/spreadsheets/d/1murQanP9lO8bCN2BBzNDc72GLjjt4PKXfYYE2_itGqs/edit#gid=0 193] !! [https://docs.google.com/spreadsheets/d/1murQanP9lO8bCN2BBzNDc72GLjjt4PKXfYYE2_itGqs/edit#gid=2133530080 195] !! [https://docs.google.com/spreadsheets/d/1murQanP9lO8bCN2BBzNDc72GLjjt4PKXfYYE2_itGqs/edit#gid=1133388479 196] !! [https://docs.google.com/spreadsheets/d/1murQanP9lO8bCN2BBzNDc72GLjjt4PKXfYYE2_itGqs/edit#gid=1650691004 197] !! [https://docs.google.com/spreadsheets/d/1murQanP9lO8bCN2BBzNDc72GLjjt4PKXfYYE2_itGqs/edit#gid=938582315 198] !! [https://docs.google.com/spreadsheets/d/1murQanP9lO8bCN2BBzNDc72GLjjt4PKXfYYE2_itGqs/edit#gid=1954323266 199] !! [https://docs.google.com/spreadsheets/d/1murQanP9lO8bCN2BBzNDc72GLjjt4PKXfYYE2_itGqs/edit#gid=1210172950 1910] !! [https://docs.google.com/spreadsheets/d/1murQanP9lO8bCN2BBzNDc72GLjjt4PKXfYYE2_itGqs/edit#gid=910837523 1911] !! [https://docs.google.com/spreadsheets/d/1murQanP9lO8bCN2BBzNDc72GLjjt4PKXfYYE2_itGqs/edit#gid=442835399 1912]
|}

'''Итоговые оценки за осенний семестр:'''

{| class="wikitable" style="text-align:center"
|-
! [https://docs.google.com/spreadsheets/d/1XWYTLXdUReWaBqw99QWcludBfXiaOF9qWvY_0xQgyJo/edit#gid=0 193] !! [https://docs.google.com/spreadsheets/d/1XWYTLXdUReWaBqw99QWcludBfXiaOF9qWvY_0xQgyJo/edit#gid=2133530080 195] !! [https://docs.google.com/spreadsheets/d/1XWYTLXdUReWaBqw99QWcludBfXiaOF9qWvY_0xQgyJo/edit#gid=1133388479 196] !! [https://docs.google.com/spreadsheets/d/1XWYTLXdUReWaBqw99QWcludBfXiaOF9qWvY_0xQgyJo/edit#gid=1650691004 197] !! [https://docs.google.com/spreadsheets/d/1XWYTLXdUReWaBqw99QWcludBfXiaOF9qWvY_0xQgyJo/edit#gid=938582315 198] !! [https://docs.google.com/spreadsheets/d/1XWYTLXdUReWaBqw99QWcludBfXiaOF9qWvY_0xQgyJo/edit#gid=1954323266 199] !! [https://docs.google.com/spreadsheets/d/1XWYTLXdUReWaBqw99QWcludBfXiaOF9qWvY_0xQgyJo/edit#gid=1210172950 1910] !! [https://docs.google.com/spreadsheets/d/1XWYTLXdUReWaBqw99QWcludBfXiaOF9qWvY_0xQgyJo/edit#gid=910837523 1911] !! [https://docs.google.com/spreadsheets/d/1XWYTLXdUReWaBqw99QWcludBfXiaOF9qWvY_0xQgyJo/edit#gid=442835399 1912]
|}

== Формы контроля и оценивание ==
Курс Математический Анализ I читается в 1, 2, 3 и 4 модулях.
Формула оценивания и образцы заданий [https://drive.google.com/open?id=1XBJgJx_xxOiz5bg2JFFkf_JobmQJ477S см. по ссылке]

== Список рекомендуемой литературы ==
Рекомендуемая литература [https://drive.google.com/open?id=1yqa_pHP37vmpwqM7SgXGNSrskaUlrJRl см. список]