Просмотр кода страницы Машинное обучение (сов. бак. ВШЭ-РЭШ 2024)

== О курсе ==

Курс читается для студентов 2-4 курсов совместного бакалавриата ВШЭ-РЭШ в 1-2 модулях.

[https://www.hse.ru/edu/courses/900069480 Карточка курса и программа.]

[https://github.com/hse-ds/ml-hse-nes Репозиторий с материалами курса на GitHub.]

[https://t.me/+YV5D12VyN7dmZTcy Чат в телеграме]

[https://forms.gle/Yf3EiF5tw5sCXFnSA Анонимная форма обратной связи]

=== Лекции ===

Лектор: [https://www.hse.ru/org/persons/213369348 Михаил Гущин] (mhushchyn@hse.ru, @mhushchyn)

Лекции проходят по вторникам в 16:20 (R406).

=== Семинары ===

{| class="wikitable"
|-
! Группа !! Преподаватель !! Ссылка на чат !! Аудитория !! Время
|-
| МО-1 || [https://t.me/Vovvy Владимир Бочарников] || [ссылка Чат] || R504 || среда, 11:10
|- 
| МО-2 || [https://t.me/horror_in_black Александра Коган] || [ссылка Чат] || R407 || пятница, 09:30
|-
| МО-3 || Сергей Корпачев || [ссылка Чат] || S224 || суббота, 14:40
|-
|}

=== Учебные ассистенты  ===

{| class="wikitable"
|-
! Учебный ассистент
|-
| [https://t.me/vorrrishka Милана Арсентьева]
|- 
| [https://t.me/astiukhin Антон Стюхин]
|-
|}

=== Правила выставления оценок ===

В курсе предусмотрено несколько форм контроля знаний:
* Практические домашние работы на Python или с теоретическими задачами (всего 6-8 домашних работ)
* Контрольная работа в середине курса
* Письменный экзамен

Итоговая оценка вычисляется на основе оценки за работу в семестре и оценки за экзамен:

O<sub>итоговая</sub> = Округление(0.6 * ДЗ + 0.2 * КР + 0.2 * Э)

ДЗ — средняя оценка за практические домашние задания

КР — оценка за контрольную работу

Э — оценка за экзамен

Округление арифметическое.

=== Правила выставления автомата ===

Условие выставления автомата: (ДЗ >=6 and КР >= 6)

В случае автомата итоговая оценка считается так:

O<sub>итоговая</sub> = Округление((0.6 * ДЗ + 0.2 * КР) / 0.8)

=== Правила сдачи заданий ===

За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются. Даже при опоздании на одну секунду. Сдавайте заранее.

При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.

При наличии уважительной причины пропущенную проверочную можно написать позднее, а дедлайн по домашнему заданию может быть перенесён. Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.

== Лекции ==

'''Лекция 1.''' Введение в машинное обучение. KNN. [[https://github.com/hse-ds/ml-hse-nes/blob/main/2024/lectures/lecture01-intro-knn.pdf Слайды]]

'''Лекция 2.''' Линейная регрессия. [[https://github.com/hse-ds/ml-hse-nes/blob/main/2024/lectures/lecture02-linreg.pdf Слайды]]

'''Лекция 3.''' Линейная регрессия. Градиентный спуск. [[https://github.com/hse-ds/ml-hse-nes/blob/main/2024/lectures/lecture03-grad.pdf Слайды]]

'''Лекция 4.''' Линейная классификация. Логистическая регрессия. [[https://github.com/hse-ds/ml-hse-nes/blob/main/2024/lectures/lecture04-logreg.pdf Слайды]]

'''Лекция 5.''' Метрики качества. [[https://github.com/hse-ds/ml-hse-nes/blob/main/2024/lectures/lecture05-metrics.pdf Слайды]]

'''Лекция 6.''' Решающие деревья. [[https://github.com/hse-ds/ml-hse-nes/blob/main/2024/lectures/lecture06-trees.pdf Слайды]]

'''Лекция 7.''' Композиции алгоритмов. Случайный лес. [[https://github.com/hse-ds/ml-hse-nes/blob/main/2024/lectures/lecture07-bagging.pdf Слайды]]

'''Лекция 8.''' Градиентный бустинг. [[https://github.com/hse-ds/ml-hse-nes/blob/main/2024/lectures/lecture08-boosting.pdf Слайды]]

'''Лекция 9.''' Категориальные признаки. Анализ текстов. [[https://github.com/hse-ds/ml-hse-nes/blob/main/2024/lectures/lecture09-texts.pdf Слайды]]

'''Лекция 10.''' Отбор признаков. Уменьшение размерности. [[https://github.com/hse-ds/ml-hse-nes/blob/main/2024/lectures/lecture10-features.pdf Слайды]]

'''Лекция 11.''' Кластеризация. [[https://github.com/hse-ds/ml-hse-nes/blob/main/2024/lectures/lecture11-clustering.pdf Слайды]]

'''Лекция 12.''' Нейронные сети. [[https://github.com/hse-ds/ml-hse-nes/blob/main/2024/lectures/lecture12-nn.pdf Слайды]]

'''Лекция 13.''' Анализ изображений. [[https://github.com/hse-ds/ml-hse-nes/blob/main/2024/lectures/lecture13-cnn.pdf Слайды]]

== Семинары ==

'''Семинар 1.''' Введение в машинное обучение. [[https://github.com/hse-ds/ml-hse-nes/blob/main/2024/seminars/seminar01/numpy_and_sklearn_basics.ipynb Тетрадка]] [[https://colab.research.google.com/github/hse-ds/ml-hse-nes/blob/main/2024/seminars/seminar01/numpy_and_sklearn_basics.ipynb Colab]]

'''Семинар 2.''' Линейная регрессия. [[https://github.com/hse-ds/ml-hse-nes/blob/main/2024/seminars/seminar02/linear_regression_intro.ipynb Тетрадка]] [[https://colab.research.google.com/github/hse-ds/ml-hse-nes/blob/main/2024/seminars/seminar02/linear_regression_intro.ipynb Colab]]

'''Семинар 3.''' Градиентный спуск. [[https://github.com/hse-ds/ml-hse-nes/blob/main/2024/seminars/seminar03/lin_reg_SGD.ipynb Тетрадка]] [[https://colab.research.google.com/github/hse-ds/ml-hse-nes/blob/main/2024/seminars/seminar03/lin_reg_SGD.ipynb Colab]]

'''Семинар 4.''' Линейная классификация. Логистическая регрессия. [[https://github.com/hse-ds/ml-hse-nes/blob/main/2024/seminars/seminar04/logreg.ipynb Тетрадка]] [[https://colab.research.google.com/github/hse-ds/ml-hse-nes/blob/main/2024/seminars/seminar04/logreg.ipynb Colab]]

'''Семинар 5.''' Метрики качества. [[https://github.com/hse-ds/ml-hse-nes/blob/main/2024/seminars/seminar05/seminar05_quality.ipynb Тетрадка]] [[https://colab.research.google.com/github/hse-ds/ml-hse-nes/blob/main/2024/seminars/seminar05/seminar05_quality.ipynb Colab]]

'''Семинар 6.''' Решающие деревья. [[https://github.com/hse-ds/ml-hse-nes/blob/main/2024/seminars/seminar06/sem06_trees.ipynb Тетрадка]]
[[https://colab.research.google.com/github/hse-ds/ml-hse-nes/blob/main/2024/seminars/seminar06/sem06_trees.ipynb Colab]]

'''Семинар 7.''' Случайный лес. [[https://github.com/hse-ds/ml-hse-nes/blob/main/2024/seminars/seminar07/sem07_rf.ipynb Тетрадка]]
[[https://colab.research.google.com/github/hse-ds/ml-hse-nes/blob/main/2024/seminars/seminar07/sem07_rf.ipynb Colab]]

'''Семинар 8.''' Градиентный бустинг. [[https://github.com/hse-ds/ml-hse-nes/blob/main/2024/seminars/seminar08/sem08_boosting.ipynb Тетрадка]]
[[https://colab.research.google.com/github/hse-ds/ml-hse-nes/blob/main/2024/seminars/seminar08/sem08_boosting.ipynb Colab]]

'''Семинар 9.''' Обработка текстовых данных. [[https://github.com/hse-ds/ml-hse-nes/blob/main/2024/seminars/seminar09/sem09_texts.ipynb Тетрадка]]
[[https://colab.research.google.com/github/hse-ds/ml-hse-nes/blob/main/2024/seminars/seminar09/sem09_texts.ipynb Colab]]

'''Семинар 10.''' Отбор признаков. Уменьшение размерности. [[https://github.com/hse-ds/ml-hse-nes/blob/main/2024/seminars/seminar10/sem10_features_pca.ipynb Тетрадка]]
[[https://colab.research.google.com/github/hse-ds/ml-hse-nes/blob/main/2024/seminars/seminar10/sem10_features_pca.ipynb Colab]]

'''Семинар 11.''' Кластеризация. [[https://github.com/hse-ds/ml-hse-nes/blob/main/2024/seminars/seminar11/sem11_clustering.ipynb Тетрадка]]
[[https://colab.research.google.com/github/hse-ds/ml-hse-nes/blob/main/2024/seminars/seminar11/sem11_clustering.ipynb Colab]]

'''Семинар 12.''' Нейронные сети. [[https://github.com/hse-ds/ml-hse-nes/blob/main/2024/seminars/seminar12/sem12_pytorch.ipynb Тетрадка]]
[[https://colab.research.google.com/github/hse-ds/ml-hse-nes/blob/main/2024/seminars/seminar12/sem12_pytorch.ipynb Colab]]

'''Семинар 13.''' Анализ изображений. [[https://github.com/hse-ds/ml-hse-nes/blob/main/2024/seminars/seminar13/sem13_cnn.ipynb Тетрадка]]
[[https://colab.research.google.com/github/hse-ds/ml-hse-nes/blob/main/2024/seminars/seminar13/sem13_cnn.ipynb Colab]]

== Практические задания ==

За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются, но есть исключение. Студенту разрешается два раза сдать домашнее задание после мягкого дедлайна (но до жёсткого) без штрафов.

===Задание 1. Введение в машинное обучение ===
Вам предстоит решить несколько задач на применение библиотек numpy и matplotlob.

'''Мягкий дедлайн''':  01 октября 2024 года 23:59

'''Дедлайн''':  05 октября 2024 года 23:59

'''Ссылка''': https://github.com/hse-ds/ml-hse-nes/blob/main/2024/homeworks/homework_1.ipynb

===Задание 2. Линейная регрессия. Градиентный спуск. ===
Вам предстоит решить несколько теоретических задач по производным, линейной алгебре, градиентному спуску и линейной регрессии.

'''Мягкий дедлайн''':  12 октября 2024 года 23:59

'''Дедлайн''':  16 октября 2024 года 23:59

'''Ссылка''': https://github.com/hse-ds/ml-hse-nes/blob/main/2024/homeworks/homework_2.ipynb

===Задание 3. Логистическая регрессия. ===
Вам предстоит реализовать логистическую регрессию с оптимизацией параметров методом градиентного спуска и немного поупражняться с подсчетом метрик качества классифифкации на синтетическом наборе данных. 

'''Мягкий дедлайн''': 1 ноября 2024 года 23:59

'''Дедлайн''': 4 ноября 2024 года 23:59

'''Ссылка''': https://github.com/hse-ds/ml-hse-nes/blob/main/2024/homeworks/homework_3.ipynb

===Задание 4. Решающие деревья ===
Вам предстоит освоить работу с решающими деревьями на примере задач классификации.

'''Мягкий дедлайн''':  21 ноября 2024 года 23:59

'''Дедлайн''':  25 ноября 2024 года 23:59

'''Ссылка''': https://github.com/hse-ds/ml-hse-nes/blob/main/2024/homeworks/homework_4

===Задание 5. Композиции алгоритмов ===
В этом задании вам нужно решить несколько задач по ансамблям моделей.

'''Мягкий дедлайн''':  9 декабря 2024 года 23:59

'''Дедлайн''':  12 декабря 2024 года 23:59

'''Ссылка''': https://github.com/hse-ds/ml-hse-nes/blob/main/2024/homeworks/homework_5.ipynb

== Контрольная работа ==

[[https://disk.yandex.ru/i/nupFNBkhOktOpw Вопросы и задачи к контрольной работе (мидтерму) 2024)]]

'''Дата проведения:''' 12 ноября 2024 г. на лекции.

Порядок проведения контрольной работы:

1) При написании работы пользоваться ничем нельзя (closed-book)

2) Каждый студент должен в начале своей работы от руки написать свои ФИО.

Время написания работы: 1 час 20 минут.

Если прокторы во время проведения работы замечают противоправные или странные действия, за работу снимаются баллы. В случае обнаружения любого вида списывания работа сразу оценивается в 0 баллов.

Содержание работы: 8 вопросов и 2 задачи из списка (возможны измененные формулировки). Контрольная работа и экзамен не включают задачи на программирование. Теоретические вопросы подразумевают развернутые ответы с формулами.

Рекомендации по написанию контрольной работы:
Во всех формулах поясните обозначения. На всех графиках подпишите оси. Для всех рисунков поясните, что изображено на них. Во всех задачах оптимизации подпишите, по каким переменным она выполняется. Для всех суммирований подпишите индекс и границы суммирования.


==Экзамен==
[[https://disk.yandex.ru/i/UEuiQ-BWpjSjkg Вопросы к экзамену 2024]]

'''Дата проведения:''' 17 декабря 2024 г. на лекции.

Порядок проведения контрольной работы:

1) При написании работы пользоваться ничем нельзя (closed-book)

2) Каждый студент должен в начале своей работы от руки написать свои ФИО.

Время написания работы: 1 час 20 минут.

Если прокторы во время проведения работы замечают противоправные или странные действия, за работу снимаются баллы. В случае обнаружения любого вида списывания работа сразу оценивается в 0 баллов.

Содержание работы: 10 вопросов из списка (возможны измененные формулировки). Контрольная работа и экзамен не включают задачи на программирование. Теоретические вопросы подразумевают развернутые ответы с формулами.

Рекомендации по написанию контрольной работы:
Во всех формулах поясните обозначения. На всех графиках подпишите оси. Для всех рисунков поясните, что изображено на них. Во всех задачах оптимизации подпишите, по каким переменным она выполняется. Для всех суммирований подпишите индекс и границы суммирования.

== Дополнительные материалы ==

===Курсы по машинному обучению и анализу данных===
* [https://academy.yandex.ru/handbook/ml Онлайн-учебник по машинному обучению от ШАД]
* [http://www.machinelearning.ru/wiki/index.php?title=Машинное_обучение_%28курс_лекций%2C_К.В.Воронцов%29 Курс по машинному обучению К.В. Воронцова]
* [https://openedu.ru/course/hse/INTRML/ Курс на платформе "Открытое образование"]

===Книги===
* [https://link.springer.com/book/10.1007/978-0-387-84858-7 Hastie T., Tibshirani R, Friedman J. The Elements of Statistical Learning (2nd edition). Springer, 2009]
* [http://lcsl.mit.edu/courses/ml/1718/MLNotes.pdf Rosasco L., Introductory Machine Learning Notes, 2017]
* [https://www.microsoft.com/en-us/research/uploads/prod/2006/01/Bishop-Pattern-Recognition-and-Machine-Learning-2006.pdf Bishop C. M. Pattern Recognition and Machine Learning. Springer, 2006]

===Страницы прошлых лет===
[http://wiki.cs.hse.ru/Машинное_обучение_(сов._бак._ВШЭ-РЭШ_2023) Страница курса 2023 года]

[http://wiki.cs.hse.ru/Машинное_обучение_(сов._бак._ВШЭ-РЭШ_2022) Страница курса 2022 года]

[http://wiki.cs.hse.ru/Машинное_обучение_(сов._бак._ВШЭ-РЭШ_2021) Страница курса 2021 года]

[http://wiki.cs.hse.ru/Машинное_обучение_(сов._бак._ВШЭ-РЭШ_2020) Страница курса 2020 года]