Wiki - Факультет компьютерных наук - Вклад [ru]

Методы оптимизации в машинном обучении 2023

2023-07-02T00:45:24Z

Dkropotov:

__NOTOC__

Методы оптимизации лежат в основе решения многих задач компьютерных наук. Например, в машинном обучении задачу оптимизации необходимо решать каждый раз при настройке какой-то модели алгоритмов по данным, причём от эффективности решения соответствующей задачи оптимизации зависит практическая применимость самого метода машинного обучения. Данный курс посвящен изучению классических и современных методов решения задач непрерывной оптимизации (в том числе невыпуклых), а также особенностям применения этих методов в задачах оптимизации, возникающих в машинном обучении. Основной акцент в изложении делается на практические аспекты реализации и использования методов. Целью курса является выработка у слушателей навыков по подбору подходящего метода для своей задачи, наиболее полно учитывающего её особенности.

'''Преподаватели''': Кропотов Дмитрий Александрович, Кодрян Максим, Никоров Кирилл.

{| class="wikitable"
! Группа !! Расписание !! Инвайт для anytask
|-
| align="center"|201 || пятница, лекция в 13:00, семинар в 14:40, ауд. см. в [https://ruz.hse.ru/ РУЗе] || align="center"|nuYXlzP
|-
| align="center"|202 || пятница, лекция в 13:00, семинар в 14:40, ауд. см. в [https://ruz.hse.ru/ РУЗе] || align="center"|Zus8FGK
|-
| align="center"|203 || пятница, лекция в 13:00, семинар в 14:40, ауд. см. в [https://ruz.hse.ru/ РУЗе] || align="center"|H85FCXe
|-
| Другие студенты || пятница, лекция в 13:00, можно выбрать семинар любой из групп 201, 202, 203 || align="center"|ml0iZHo
|}

Telegram для вопросов и объявлений по курсу: [https://t.me/+hFSF73A2XbY1NmUy чат], [https://t.me/+28iTtg-CT0syN2Uy канал]

Видеозаписи занятий: [https://www.youtube.com/playlist?list=PLEwK9wdS5g0o45P37r3hmD5Wbt-O2eWp2 ссылка]

Таблица с оценками: [https://docs.google.com/spreadsheets/d/1zU2LoKFSxAp-roAu7BOn9m5mV286QIk7LWzNU50rUq8/edit?usp=sharing ссылка]

== Экзамен ==
Экзамен по курсу состоится 28 июня, начало в 10-00. Экзамен пройдет в письменном виде в ауд. R404 (фамилии А-И) и R405 (фамилии К-Я). Время написания - 2 часа. Во время экзамена никакими материалами пользоваться нельзя. При себе необходимо иметь бумагу и ручку для написания экзамена.

[https://docs.google.com/spreadsheets/d/1TEUf9mbQXTm7V9fh3-5-pERD0iEiC1MTgMGFf3-bcSA/edit?usp=sharing Студенты], находящиеся на дистанционном обучении, сдают экзамен онлайн. Онлайн-экзамен также состоится 28 июня, начало в 10-00. [https://us02web.zoom.us/j/83656446742?pwd=elcwYVo3bmVRYk44UEhTeHVMYXhOQT09 Зум-ссылка]. При сдаче экзамена онлайн камера и микрофон должны быть включены, в обзор камеры/камер должен попадать студент, письменный стол и клавиатура компьютера.

[https://drive.google.com/file/d/1nOg9LHxZmUi7xj3Y5Uw_6l0G0c19atwI/view?usp=sharing Список тем, выносимых на экзамен]

[https://drive.google.com/file/d/1szKo2ZMRlrfTxksrbGl4XaG6mA4IDY1p/view?usp=sharing Пример варианта экзамена]

[https://drive.google.com/file/d/10oiNLC9nce7TDl0aJhZX9eD6BULS20_F/view?usp=sharing Список задач, рассмотренных на семинарах]

== Система выставления оценок по курсу ==
В рамках курса предполагается четыре теоретических и четыре практических домашних заданий, а также экзамен в конце курса. Каждое задание и экзамен оцениваются исходя из 10-ти баллов. За задания можно получить дополнительные баллы за выполнение бонусных пунктов. Общая оценка за курс вычисляется по правилу Округление_вверх(0.7*<Оценка_за_семестр> + 0.3*<Оценка_за_экзамен>). <Оценка_за_семестр> = min(10, <Суммарная_оценка_за_задания>*10 / <Максимальная_суммарная_оценка_за_задания_без_бонусов>). Итоговая оценка за курс совпадает с общей оценкой при соблюдении следующих дополнительных условий:
{| class="wikitable"
! Итоговая оценка !! Необходимые условия
|-
|align="center"|>=8 || Сданы все задания, кроме одного (на оценку >= 3 без учета опоздания), экзамен сдан на оценку >= 6
|-
|align="center"|>=6 || Сданы все задания, кроме двух (на оценку >= 3 без учета опоздания), экзамен сдан на оценку >= 4
|-
|align="center"|>=4 || Сданы все задания, кроме четырех (на оценку >= 3 без учета опоздания), экзамен сдан на оценку >= 4
|-
|}

== Правила сдачи заданий ==
Теоретические и практические задания сдаются в систему anytask (инвайт см. выше). В случае наличия мягкого дедлайна задания могут быть присланы после срока сдачи, но с задержкой не более одной недели. При этом начисляется штраф из расчёта 0.5 балла в день. Все задания выполняются самостоятельно. Если задание выполнялось сообща или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчёте. В противном случае «похожие» решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.

Теоретические задания сдаются в anytask в виде сканов или набранных в TeX pdf-файлов. '''ВАЖНО!''' Присылаемые сканы должны быть высокого качества, присылаться одним файлом, в котором все листы идут в правильном порядке. В случае плохого качества сканов или же сдачи в формате, отличном от pdf, проверяющий имеет право поставить за работу 0, не проверяя.

В случае возникновения проблем с anytask в процессе сдачи заданий перед дедлайном следует поступать так: прислать выполненное задание в телеграм своему семинаристу, а затем в anytask написать, что задание было прислано в телеграм вместе с указанием ника в телеграме.

== Лекции и семинары ==
{| class = "wikitable"
|+
! № п/п
! Дата
! Занятие
! Материалы
|-
| align="center"|1
| 20 января 2023
| Введение в курс. Скорости сходимости итерационных процессов. Матрично-векторное дифференцирование. || [https://drive.google.com/file/d/1MXENV3Ryy8SgK3_q_lKB5gBG39qcl8_M/view?usp=sharing Конспект]
[https://drive.google.com/file/d/1bNWF262guJHTphptCTYARAsUKRPC9QmS/view?usp=sharing Конспект]
|-
| align="center"|2
| 27 января 2023
| Классы функций для оптимизации. Точная и неточная одномерная оптимизация || [http://www.machinelearning.ru/wiki/images/4/4d/MOMO16_min1d.pdf Конспект]
[https://drive.google.com/file/d/1UUvimdQn2aMG0E0qE1R1OKdXbyYyUSOT/view?usp=sharing Презентация]
|-
| align="center"|3
| 03 февраля 2023
| Метод градиентного спуска. Разностное дифференцирование. ||
|-
| align="center"|4
| 10 февраля 2023
| Стандартные матричные разложения. Метод Ньютона. || [https://drive.google.com/file/d/1K9xt0seQ_Oi0UcyziwHibhnr7PorNfqe/view?usp=sharing Презентация по подготовке отчётов]
|-
| align="center"|5
| 17 февраля 2023
| Метод сопряжённых градиентов. || [https://drive.google.com/file/d/1Ai3ZSuLTb0C6hL5KcAvagzJgKqL1-ySo/view?usp=sharing Презентация]
|-
| align="center"|--
| 24 февраля 2023
| ''Занятия не будет'' ||
|-
| align="center"|6
| 03 марта 2023
| Безгессианный метод Ньютона. Выпуклые множества. || [https://drive.google.com/file/d/1t9_Uvo-xrVd_nIVUk4CGXGfebHcFtTkw/view?usp=sharing Конспект]
|-
| align="center"|7
| 10 марта 2023
| Квазиньютоновские методы оптимизации. Выпуклые функции. || [https://drive.google.com/file/d/1glvkT1g6C405RT773KwUdKYRW_bhOKct/view?usp=sharing Конспект]
[http://www.machinelearning.ru/wiki/images/1/10/MOMO18_Seminar6.pdf Конспект]
|-
| align="center"|8
| 17 марта 2023
| Задачи условной оптимизации. Теорема Каруша-Куна-Таккера. || [http://www.machinelearning.ru/wiki/images/7/7f/MOMO18_Seminar7.pdf Конспект]
|-
| align="center"|9
| 24 марта 2023
| Задача линейного программирования. Симплекс-метод. Двойственные задачи оптимизации. ||
|-
| align="center"|--
| 31 марта 2023
| ''Занятия не будет'' ||
|-
| align="center"|10
| 7 апреля 2023
| Метод Ньютона и метод логарифмических барьеров для решения выпуклых задач условной оптимизации. Эквивалентные преобразования задач оптимизации. Стандартные классы выпуклых условных задач оптимизации. || [http://www.machinelearning.ru/wiki/images/8/81/MOMO12_ipm.pdf Конспект] 
[https://drive.google.com/file/d/1ghnO3gMssx2IS9LaaOgYXbwwq6Pm8ZXY/view?usp=sharing Конспект]
|-
| align="center"|11
| 14 апреля 2023
| Прямо-двойственные методы для решения выпуклых задач условной оптимизации. Применение метода лог. барьеров для двойственной задачи в SVM. ||
|-
| align="center"|12
| 21 апреля 2023
| Негладкая выпуклая оптимизация. Субградиентный метод. Субдифференциальное исчисление. || [http://www.machinelearning.ru/wiki/images/e/e5/MOMO18_Seminar10.pdf Конспект]
|-
| align="center"|13
| 28 апреля 2023
| Проксимальные методы оптимизации. Сопряженные функции и нормы. || [http://www.machinelearning.ru/wiki/images/1/15/MOMO18_Seminar8.pdf Конспект]
|-
| align="center"|--
| 5 мая 2023
| ''Занятия не будет'' ||
|-
| align="center"|--
| 12 мая 2023
| ''Занятия не будет'' ||
|-
| align="center"|14
| 19 мая 2023
| Стохастическая оптимизация: методы SGD, SAG, SVRG. Проекции и проксимальные операторы. ||
|-
| align="center"|15
| 26 мая 2023
| Семинар: автоматическое дифференцирование по графу вычислений. ||
|-
| align="center"|16
| 2 июня 2023
| Лекция: обучение нейронных сетей ||
|-
| align="center"|17
| 9 июня 2023
| Дифференцирование через процесс оптимизации. Дифференцирование по комплексным переменным. || [https://arxiv.org/abs/1703.00443 Статья 1] [https://arxiv.org/abs/1502.03492 Статья 2] [https://www.eurecom.fr/~gesbert/papers/short_matrix_diff.pdf Статья 3]
|-
| align="center"|18
| 16 июня 2023
| Консультация к экзамену ||
|-
|}

== Рекомендуемая литература ==
1. J. Nocedal, S. Wright. [https://www.csie.ntu.edu.tw/~r97002/temp/num_optimization.pdf Numerical optimization]. Springer, 2006.

2. S. Boyd, L. Vandenberghe. [https://web.stanford.edu/~boyd/cvxbook/ Convex optimization]. Cambridge University Press, 2004.

Методы оптимизации в машинном обучении 2023

2023-06-27T15:21:35Z

Dkropotov: /* Экзамен */

__NOTOC__

Методы оптимизации лежат в основе решения многих задач компьютерных наук. Например, в машинном обучении задачу оптимизации необходимо решать каждый раз при настройке какой-то модели алгоритмов по данным, причём от эффективности решения соответствующей задачи оптимизации зависит практическая применимость самого метода машинного обучения. Данный курс посвящен изучению классических и современных методов решения задач непрерывной оптимизации (в том числе невыпуклых), а также особенностям применения этих методов в задачах оптимизации, возникающих в машинном обучении. Основной акцент в изложении делается на практические аспекты реализации и использования методов. Целью курса является выработка у слушателей навыков по подбору подходящего метода для своей задачи, наиболее полно учитывающего её особенности.

'''Преподаватели''': Кропотов Дмитрий Александрович, Кодрян Максим, Никоров Кирилл.

{| class="wikitable"
! Группа !! Расписание !! Инвайт для anytask
|-
| align="center"|201 || пятница, лекция в 13:00, семинар в 14:40, ауд. см. в [https://ruz.hse.ru/ РУЗе] || align="center"|nuYXlzP
|-
| align="center"|202 || пятница, лекция в 13:00, семинар в 14:40, ауд. см. в [https://ruz.hse.ru/ РУЗе] || align="center"|Zus8FGK
|-
| align="center"|203 || пятница, лекция в 13:00, семинар в 14:40, ауд. см. в [https://ruz.hse.ru/ РУЗе] || align="center"|H85FCXe
|-
| Другие студенты || пятница, лекция в 13:00, можно выбрать семинар любой из групп 201, 202, 203 || align="center"|ml0iZHo
|}

Telegram для вопросов и объявлений по курсу: [https://t.me/+hFSF73A2XbY1NmUy чат], [https://t.me/+28iTtg-CT0syN2Uy канал]

Видеозаписи занятий: [https://www.youtube.com/playlist?list=PLEwK9wdS5g0o45P37r3hmD5Wbt-O2eWp2 ссылка]

== Экзамен ==
Экзамен по курсу состоится 28 июня, начало в 10-00. Экзамен пройдет в письменном виде в ауд. R404 (фамилии А-И) и R405 (фамилии К-Я). Время написания - 2 часа. Во время экзамена никакими материалами пользоваться нельзя. При себе необходимо иметь бумагу и ручку для написания экзамена.

[https://docs.google.com/spreadsheets/d/1TEUf9mbQXTm7V9fh3-5-pERD0iEiC1MTgMGFf3-bcSA/edit?usp=sharing Студенты], находящиеся на дистанционном обучении, сдают экзамен онлайн. Онлайн-экзамен также состоится 28 июня, начало в 10-00. [https://us02web.zoom.us/j/83656446742?pwd=elcwYVo3bmVRYk44UEhTeHVMYXhOQT09 Зум-ссылка]. При сдаче экзамена онлайн камера и микрофон должны быть включены, в обзор камеры/камер должен попадать студент, письменный стол и клавиатура компьютера.

[https://drive.google.com/file/d/1nOg9LHxZmUi7xj3Y5Uw_6l0G0c19atwI/view?usp=sharing Список тем, выносимых на экзамен]

[https://drive.google.com/file/d/1szKo2ZMRlrfTxksrbGl4XaG6mA4IDY1p/view?usp=sharing Пример варианта экзамена]

[https://drive.google.com/file/d/10oiNLC9nce7TDl0aJhZX9eD6BULS20_F/view?usp=sharing Список задач, рассмотренных на семинарах]

== Система выставления оценок по курсу ==
В рамках курса предполагается четыре теоретических и четыре практических домашних заданий, а также экзамен в конце курса. Каждое задание и экзамен оцениваются исходя из 10-ти баллов. За задания можно получить дополнительные баллы за выполнение бонусных пунктов. Общая оценка за курс вычисляется по правилу Округление_вверх(0.7*<Оценка_за_семестр> + 0.3*<Оценка_за_экзамен>). <Оценка_за_семестр> = min(10, <Суммарная_оценка_за_задания>*10 / <Максимальная_суммарная_оценка_за_задания_без_бонусов>). Итоговая оценка за курс совпадает с общей оценкой при соблюдении следующих дополнительных условий:
{| class="wikitable"
! Итоговая оценка !! Необходимые условия
|-
|align="center"|>=8 || Сданы все задания, кроме одного (на оценку >= 3 без учета опоздания), экзамен сдан на оценку >= 6
|-
|align="center"|>=6 || Сданы все задания, кроме двух (на оценку >= 3 без учета опоздания), экзамен сдан на оценку >= 4
|-
|align="center"|>=4 || Сданы все задания, кроме четырех (на оценку >= 3 без учета опоздания), экзамен сдан на оценку >= 4
|-
|}

== Правила сдачи заданий ==
Теоретические и практические задания сдаются в систему anytask (инвайт см. выше). В случае наличия мягкого дедлайна задания могут быть присланы после срока сдачи, но с задержкой не более одной недели. При этом начисляется штраф из расчёта 0.5 балла в день. Все задания выполняются самостоятельно. Если задание выполнялось сообща или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчёте. В противном случае «похожие» решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.

Теоретические задания сдаются в anytask в виде сканов или набранных в TeX pdf-файлов. '''ВАЖНО!''' Присылаемые сканы должны быть высокого качества, присылаться одним файлом, в котором все листы идут в правильном порядке. В случае плохого качества сканов или же сдачи в формате, отличном от pdf, проверяющий имеет право поставить за работу 0, не проверяя.

В случае возникновения проблем с anytask в процессе сдачи заданий перед дедлайном следует поступать так: прислать выполненное задание в телеграм своему семинаристу, а затем в anytask написать, что задание было прислано в телеграм вместе с указанием ника в телеграме.

== Лекции и семинары ==
{| class = "wikitable"
|+
! № п/п
! Дата
! Занятие
! Материалы
|-
| align="center"|1
| 20 января 2023
| Введение в курс. Скорости сходимости итерационных процессов. Матрично-векторное дифференцирование. || [https://drive.google.com/file/d/1MXENV3Ryy8SgK3_q_lKB5gBG39qcl8_M/view?usp=sharing Конспект]
[https://drive.google.com/file/d/1bNWF262guJHTphptCTYARAsUKRPC9QmS/view?usp=sharing Конспект]
|-
| align="center"|2
| 27 января 2023
| Классы функций для оптимизации. Точная и неточная одномерная оптимизация || [http://www.machinelearning.ru/wiki/images/4/4d/MOMO16_min1d.pdf Конспект]
[https://drive.google.com/file/d/1UUvimdQn2aMG0E0qE1R1OKdXbyYyUSOT/view?usp=sharing Презентация]
|-
| align="center"|3
| 03 февраля 2023
| Метод градиентного спуска. Разностное дифференцирование. ||
|-
| align="center"|4
| 10 февраля 2023
| Стандартные матричные разложения. Метод Ньютона. || [https://drive.google.com/file/d/1K9xt0seQ_Oi0UcyziwHibhnr7PorNfqe/view?usp=sharing Презентация по подготовке отчётов]
|-
| align="center"|5
| 17 февраля 2023
| Метод сопряжённых градиентов. || [https://drive.google.com/file/d/1Ai3ZSuLTb0C6hL5KcAvagzJgKqL1-ySo/view?usp=sharing Презентация]
|-
| align="center"|--
| 24 февраля 2023
| ''Занятия не будет'' ||
|-
| align="center"|6
| 03 марта 2023
| Безгессианный метод Ньютона. Выпуклые множества. || [https://drive.google.com/file/d/1t9_Uvo-xrVd_nIVUk4CGXGfebHcFtTkw/view?usp=sharing Конспект]
|-
| align="center"|7
| 10 марта 2023
| Квазиньютоновские методы оптимизации. Выпуклые функции. || [https://drive.google.com/file/d/1glvkT1g6C405RT773KwUdKYRW_bhOKct/view?usp=sharing Конспект]
[http://www.machinelearning.ru/wiki/images/1/10/MOMO18_Seminar6.pdf Конспект]
|-
| align="center"|8
| 17 марта 2023
| Задачи условной оптимизации. Теорема Каруша-Куна-Таккера. || [http://www.machinelearning.ru/wiki/images/7/7f/MOMO18_Seminar7.pdf Конспект]
|-
| align="center"|9
| 24 марта 2023
| Задача линейного программирования. Симплекс-метод. Двойственные задачи оптимизации. ||
|-
| align="center"|--
| 31 марта 2023
| ''Занятия не будет'' ||
|-
| align="center"|10
| 7 апреля 2023
| Метод Ньютона и метод логарифмических барьеров для решения выпуклых задач условной оптимизации. Эквивалентные преобразования задач оптимизации. Стандартные классы выпуклых условных задач оптимизации. || [http://www.machinelearning.ru/wiki/images/8/81/MOMO12_ipm.pdf Конспект] 
[https://drive.google.com/file/d/1ghnO3gMssx2IS9LaaOgYXbwwq6Pm8ZXY/view?usp=sharing Конспект]
|-
| align="center"|11
| 14 апреля 2023
| Прямо-двойственные методы для решения выпуклых задач условной оптимизации. Применение метода лог. барьеров для двойственной задачи в SVM. ||
|-
| align="center"|12
| 21 апреля 2023
| Негладкая выпуклая оптимизация. Субградиентный метод. Субдифференциальное исчисление. || [http://www.machinelearning.ru/wiki/images/e/e5/MOMO18_Seminar10.pdf Конспект]
|-
| align="center"|13
| 28 апреля 2023
| Проксимальные методы оптимизации. Сопряженные функции и нормы. || [http://www.machinelearning.ru/wiki/images/1/15/MOMO18_Seminar8.pdf Конспект]
|-
| align="center"|--
| 5 мая 2023
| ''Занятия не будет'' ||
|-
| align="center"|--
| 12 мая 2023
| ''Занятия не будет'' ||
|-
| align="center"|14
| 19 мая 2023
| Стохастическая оптимизация: методы SGD, SAG, SVRG. Проекции и проксимальные операторы. ||
|-
| align="center"|15
| 26 мая 2023
| Семинар: автоматическое дифференцирование по графу вычислений. ||
|-
| align="center"|16
| 2 июня 2023
| Лекция: обучение нейронных сетей ||
|-
| align="center"|17
| 9 июня 2023
| Дифференцирование через процесс оптимизации. Дифференцирование по комплексным переменным. || [https://arxiv.org/abs/1703.00443 Статья 1] [https://arxiv.org/abs/1502.03492 Статья 2] [https://www.eurecom.fr/~gesbert/papers/short_matrix_diff.pdf Статья 3]
|-
| align="center"|18
| 16 июня 2023
| Консультация к экзамену ||
|-
|}

== Рекомендуемая литература ==
1. J. Nocedal, S. Wright. [https://www.csie.ntu.edu.tw/~r97002/temp/num_optimization.pdf Numerical optimization]. Springer, 2006.

2. S. Boyd, L. Vandenberghe. [https://web.stanford.edu/~boyd/cvxbook/ Convex optimization]. Cambridge University Press, 2004.

Методы оптимизации в машинном обучении 2023

2023-06-26T13:51:26Z

Dkropotov:

__NOTOC__

Методы оптимизации лежат в основе решения многих задач компьютерных наук. Например, в машинном обучении задачу оптимизации необходимо решать каждый раз при настройке какой-то модели алгоритмов по данным, причём от эффективности решения соответствующей задачи оптимизации зависит практическая применимость самого метода машинного обучения. Данный курс посвящен изучению классических и современных методов решения задач непрерывной оптимизации (в том числе невыпуклых), а также особенностям применения этих методов в задачах оптимизации, возникающих в машинном обучении. Основной акцент в изложении делается на практические аспекты реализации и использования методов. Целью курса является выработка у слушателей навыков по подбору подходящего метода для своей задачи, наиболее полно учитывающего её особенности.

'''Преподаватели''': Кропотов Дмитрий Александрович, Кодрян Максим, Никоров Кирилл.

{| class="wikitable"
! Группа !! Расписание !! Инвайт для anytask
|-
| align="center"|201 || пятница, лекция в 13:00, семинар в 14:40, ауд. см. в [https://ruz.hse.ru/ РУЗе] || align="center"|nuYXlzP
|-
| align="center"|202 || пятница, лекция в 13:00, семинар в 14:40, ауд. см. в [https://ruz.hse.ru/ РУЗе] || align="center"|Zus8FGK
|-
| align="center"|203 || пятница, лекция в 13:00, семинар в 14:40, ауд. см. в [https://ruz.hse.ru/ РУЗе] || align="center"|H85FCXe
|-
| Другие студенты || пятница, лекция в 13:00, можно выбрать семинар любой из групп 201, 202, 203 || align="center"|ml0iZHo
|}

Telegram для вопросов и объявлений по курсу: [https://t.me/+hFSF73A2XbY1NmUy чат], [https://t.me/+28iTtg-CT0syN2Uy канал]

Видеозаписи занятий: [https://www.youtube.com/playlist?list=PLEwK9wdS5g0o45P37r3hmD5Wbt-O2eWp2 ссылка]

== Экзамен ==
Экзамен по курсу состоится 28 июня, начало в 10-00. Экзамен пройдет в письменном виде в ауд. R404. Время написания - 2 часа. Во время экзамена никакими материалами пользоваться нельзя. При себе необходимо иметь бумагу и ручку для написания экзамена.

[https://docs.google.com/spreadsheets/d/1TEUf9mbQXTm7V9fh3-5-pERD0iEiC1MTgMGFf3-bcSA/edit?usp=sharing Студенты], находящиеся на дистанционном обучении, сдают экзамен онлайн. Онлайн-экзамен также состоится 28 июня, начало в 10-00. [https://us02web.zoom.us/j/83656446742?pwd=elcwYVo3bmVRYk44UEhTeHVMYXhOQT09 Зум-ссылка]. При сдаче экзамена онлайн камера и микрофон должны быть включены, в обзор камеры/камер должен попадать студент, письменный стол и клавиатура компьютера.

[https://drive.google.com/file/d/1nOg9LHxZmUi7xj3Y5Uw_6l0G0c19atwI/view?usp=sharing Список тем, выносимых на экзамен]

[https://drive.google.com/file/d/1szKo2ZMRlrfTxksrbGl4XaG6mA4IDY1p/view?usp=sharing Пример варианта экзамена]

[https://drive.google.com/file/d/10oiNLC9nce7TDl0aJhZX9eD6BULS20_F/view?usp=sharing Список задач, рассмотренных на семинарах]

== Система выставления оценок по курсу ==
В рамках курса предполагается четыре теоретических и четыре практических домашних заданий, а также экзамен в конце курса. Каждое задание и экзамен оцениваются исходя из 10-ти баллов. За задания можно получить дополнительные баллы за выполнение бонусных пунктов. Общая оценка за курс вычисляется по правилу Округление_вверх(0.7*<Оценка_за_семестр> + 0.3*<Оценка_за_экзамен>). <Оценка_за_семестр> = min(10, <Суммарная_оценка_за_задания>*10 / <Максимальная_суммарная_оценка_за_задания_без_бонусов>). Итоговая оценка за курс совпадает с общей оценкой при соблюдении следующих дополнительных условий:
{| class="wikitable"
! Итоговая оценка !! Необходимые условия
|-
|align="center"|>=8 || Сданы все задания, кроме одного (на оценку >= 3 без учета опоздания), экзамен сдан на оценку >= 6
|-
|align="center"|>=6 || Сданы все задания, кроме двух (на оценку >= 3 без учета опоздания), экзамен сдан на оценку >= 4
|-
|align="center"|>=4 || Сданы все задания, кроме четырех (на оценку >= 3 без учета опоздания), экзамен сдан на оценку >= 4
|-
|}

== Правила сдачи заданий ==
Теоретические и практические задания сдаются в систему anytask (инвайт см. выше). В случае наличия мягкого дедлайна задания могут быть присланы после срока сдачи, но с задержкой не более одной недели. При этом начисляется штраф из расчёта 0.5 балла в день. Все задания выполняются самостоятельно. Если задание выполнялось сообща или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчёте. В противном случае «похожие» решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.

Теоретические задания сдаются в anytask в виде сканов или набранных в TeX pdf-файлов. '''ВАЖНО!''' Присылаемые сканы должны быть высокого качества, присылаться одним файлом, в котором все листы идут в правильном порядке. В случае плохого качества сканов или же сдачи в формате, отличном от pdf, проверяющий имеет право поставить за работу 0, не проверяя.

В случае возникновения проблем с anytask в процессе сдачи заданий перед дедлайном следует поступать так: прислать выполненное задание в телеграм своему семинаристу, а затем в anytask написать, что задание было прислано в телеграм вместе с указанием ника в телеграме.

== Лекции и семинары ==
{| class = "wikitable"
|+
! № п/п
! Дата
! Занятие
! Материалы
|-
| align="center"|1
| 20 января 2023
| Введение в курс. Скорости сходимости итерационных процессов. Матрично-векторное дифференцирование. || [https://drive.google.com/file/d/1MXENV3Ryy8SgK3_q_lKB5gBG39qcl8_M/view?usp=sharing Конспект]
[https://drive.google.com/file/d/1bNWF262guJHTphptCTYARAsUKRPC9QmS/view?usp=sharing Конспект]
|-
| align="center"|2
| 27 января 2023
| Классы функций для оптимизации. Точная и неточная одномерная оптимизация || [http://www.machinelearning.ru/wiki/images/4/4d/MOMO16_min1d.pdf Конспект]
[https://drive.google.com/file/d/1UUvimdQn2aMG0E0qE1R1OKdXbyYyUSOT/view?usp=sharing Презентация]
|-
| align="center"|3
| 03 февраля 2023
| Метод градиентного спуска. Разностное дифференцирование. ||
|-
| align="center"|4
| 10 февраля 2023
| Стандартные матричные разложения. Метод Ньютона. || [https://drive.google.com/file/d/1K9xt0seQ_Oi0UcyziwHibhnr7PorNfqe/view?usp=sharing Презентация по подготовке отчётов]
|-
| align="center"|5
| 17 февраля 2023
| Метод сопряжённых градиентов. || [https://drive.google.com/file/d/1Ai3ZSuLTb0C6hL5KcAvagzJgKqL1-ySo/view?usp=sharing Презентация]
|-
| align="center"|--
| 24 февраля 2023
| ''Занятия не будет'' ||
|-
| align="center"|6
| 03 марта 2023
| Безгессианный метод Ньютона. Выпуклые множества. || [https://drive.google.com/file/d/1t9_Uvo-xrVd_nIVUk4CGXGfebHcFtTkw/view?usp=sharing Конспект]
|-
| align="center"|7
| 10 марта 2023
| Квазиньютоновские методы оптимизации. Выпуклые функции. || [https://drive.google.com/file/d/1glvkT1g6C405RT773KwUdKYRW_bhOKct/view?usp=sharing Конспект]
[http://www.machinelearning.ru/wiki/images/1/10/MOMO18_Seminar6.pdf Конспект]
|-
| align="center"|8
| 17 марта 2023
| Задачи условной оптимизации. Теорема Каруша-Куна-Таккера. || [http://www.machinelearning.ru/wiki/images/7/7f/MOMO18_Seminar7.pdf Конспект]
|-
| align="center"|9
| 24 марта 2023
| Задача линейного программирования. Симплекс-метод. Двойственные задачи оптимизации. ||
|-
| align="center"|--
| 31 марта 2023
| ''Занятия не будет'' ||
|-
| align="center"|10
| 7 апреля 2023
| Метод Ньютона и метод логарифмических барьеров для решения выпуклых задач условной оптимизации. Эквивалентные преобразования задач оптимизации. Стандартные классы выпуклых условных задач оптимизации. || [http://www.machinelearning.ru/wiki/images/8/81/MOMO12_ipm.pdf Конспект] 
[https://drive.google.com/file/d/1ghnO3gMssx2IS9LaaOgYXbwwq6Pm8ZXY/view?usp=sharing Конспект]
|-
| align="center"|11
| 14 апреля 2023
| Прямо-двойственные методы для решения выпуклых задач условной оптимизации. Применение метода лог. барьеров для двойственной задачи в SVM. ||
|-
| align="center"|12
| 21 апреля 2023
| Негладкая выпуклая оптимизация. Субградиентный метод. Субдифференциальное исчисление. || [http://www.machinelearning.ru/wiki/images/e/e5/MOMO18_Seminar10.pdf Конспект]
|-
| align="center"|13
| 28 апреля 2023
| Проксимальные методы оптимизации. Сопряженные функции и нормы. || [http://www.machinelearning.ru/wiki/images/1/15/MOMO18_Seminar8.pdf Конспект]
|-
| align="center"|--
| 5 мая 2023
| ''Занятия не будет'' ||
|-
| align="center"|--
| 12 мая 2023
| ''Занятия не будет'' ||
|-
| align="center"|14
| 19 мая 2023
| Стохастическая оптимизация: методы SGD, SAG, SVRG. Проекции и проксимальные операторы. ||
|-
| align="center"|15
| 26 мая 2023
| Семинар: автоматическое дифференцирование по графу вычислений. ||
|-
| align="center"|16
| 2 июня 2023
| Лекция: обучение нейронных сетей ||
|-
| align="center"|17
| 9 июня 2023
| Дифференцирование через процесс оптимизации. Дифференцирование по комплексным переменным. || [https://arxiv.org/abs/1703.00443 Статья 1] [https://arxiv.org/abs/1502.03492 Статья 2] [https://www.eurecom.fr/~gesbert/papers/short_matrix_diff.pdf Статья 3]
|-
| align="center"|18
| 16 июня 2023
| Консультация к экзамену ||
|-
|}

== Рекомендуемая литература ==
1. J. Nocedal, S. Wright. [https://www.csie.ntu.edu.tw/~r97002/temp/num_optimization.pdf Numerical optimization]. Springer, 2006.

2. S. Boyd, L. Vandenberghe. [https://web.stanford.edu/~boyd/cvxbook/ Convex optimization]. Cambridge University Press, 2004.

Методы оптимизации в машинном обучении 2023

2023-06-19T15:56:49Z

Dkropotov: /* Экзамен */

__NOTOC__

Методы оптимизации лежат в основе решения многих задач компьютерных наук. Например, в машинном обучении задачу оптимизации необходимо решать каждый раз при настройке какой-то модели алгоритмов по данным, причём от эффективности решения соответствующей задачи оптимизации зависит практическая применимость самого метода машинного обучения. Данный курс посвящен изучению классических и современных методов решения задач непрерывной оптимизации (в том числе невыпуклых), а также особенностям применения этих методов в задачах оптимизации, возникающих в машинном обучении. Основной акцент в изложении делается на практические аспекты реализации и использования методов. Целью курса является выработка у слушателей навыков по подбору подходящего метода для своей задачи, наиболее полно учитывающего её особенности.

'''Преподаватели''': Кропотов Дмитрий Александрович, Кодрян Максим, Никоров Кирилл.

{| class="wikitable"
! Группа !! Расписание !! Инвайт для anytask
|-
| align="center"|201 || пятница, лекция в 13:00, семинар в 14:40, ауд. см. в [https://ruz.hse.ru/ РУЗе] || align="center"|nuYXlzP
|-
| align="center"|202 || пятница, лекция в 13:00, семинар в 14:40, ауд. см. в [https://ruz.hse.ru/ РУЗе] || align="center"|Zus8FGK
|-
| align="center"|203 || пятница, лекция в 13:00, семинар в 14:40, ауд. см. в [https://ruz.hse.ru/ РУЗе] || align="center"|H85FCXe
|-
| Другие студенты || пятница, лекция в 13:00, можно выбрать семинар любой из групп 201, 202, 203 || align="center"|ml0iZHo
|}

Telegram для вопросов и объявлений по курсу: [https://t.me/+hFSF73A2XbY1NmUy чат], [https://t.me/+28iTtg-CT0syN2Uy канал]

Видеозаписи занятий: [https://www.youtube.com/playlist?list=PLEwK9wdS5g0o45P37r3hmD5Wbt-O2eWp2 ссылка]

== Экзамен ==
Экзамен по курсу состоится 28 июня, начало в 10-00. Экзамен пройдет в письменном виде в ауд. R404. Время написания - 2 часа. Во время экзамена никакими материалами пользоваться нельзя. При себе необходимо иметь бумагу и ручку для написания экзамена.

Студенты, находящиеся на дистанционном обучении, сдают экзамен онлайн. [https://us02web.zoom.us/j/83656446742?pwd=elcwYVo3bmVRYk44UEhTeHVMYXhOQT09 Зум-ссылка]. При сдаче экзамена онлайн камера и микрофон должны быть включены, в обзор камеры/камер должен попадать студент, письменный стол и клавиатура компьютера.

[https://drive.google.com/file/d/1nOg9LHxZmUi7xj3Y5Uw_6l0G0c19atwI/view?usp=sharing Список тем, выносимых на экзамен]

[https://drive.google.com/file/d/1szKo2ZMRlrfTxksrbGl4XaG6mA4IDY1p/view?usp=sharing Пример варианта экзамена]

[https://drive.google.com/file/d/10oiNLC9nce7TDl0aJhZX9eD6BULS20_F/view?usp=sharing Список задач, рассмотренных на семинарах]

== Система выставления оценок по курсу ==
В рамках курса предполагается четыре теоретических и четыре практических домашних заданий, а также экзамен в конце курса. Каждое задание и экзамен оцениваются исходя из 10-ти баллов. За задания можно получить дополнительные баллы за выполнение бонусных пунктов. Общая оценка за курс вычисляется по правилу Округление_вверх(0.7*<Оценка_за_семестр> + 0.3*<Оценка_за_экзамен>). <Оценка_за_семестр> = min(10, <Суммарная_оценка_за_задания>*10 / <Максимальная_суммарная_оценка_за_задания_без_бонусов>). Итоговая оценка за курс совпадает с общей оценкой при соблюдении следующих дополнительных условий:
{| class="wikitable"
! Итоговая оценка !! Необходимые условия
|-
|align="center"|>=8 || Сданы все задания, кроме одного (на оценку >= 3 без учета опоздания), экзамен сдан на оценку >= 6
|-
|align="center"|>=6 || Сданы все задания, кроме двух (на оценку >= 3 без учета опоздания), экзамен сдан на оценку >= 4
|-
|align="center"|>=4 || Сданы все задания, кроме четырех (на оценку >= 3 без учета опоздания), экзамен сдан на оценку >= 4
|-
|}

== Правила сдачи заданий ==
Теоретические и практические задания сдаются в систему anytask (инвайт см. выше). В случае наличия мягкого дедлайна задания могут быть присланы после срока сдачи, но с задержкой не более одной недели. При этом начисляется штраф из расчёта 0.5 балла в день. Все задания выполняются самостоятельно. Если задание выполнялось сообща или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчёте. В противном случае «похожие» решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.

Теоретические задания сдаются в anytask в виде сканов или набранных в TeX pdf-файлов. '''ВАЖНО!''' Присылаемые сканы должны быть высокого качества, присылаться одним файлом, в котором все листы идут в правильном порядке. В случае плохого качества сканов или же сдачи в формате, отличном от pdf, проверяющий имеет право поставить за работу 0, не проверяя.

В случае возникновения проблем с anytask в процессе сдачи заданий перед дедлайном следует поступать так: прислать выполненное задание в телеграм своему семинаристу, а затем в anytask написать, что задание было прислано в телеграм вместе с указанием ника в телеграме.

== Лекции и семинары ==
{| class = "wikitable"
|+
! № п/п
! Дата
! Занятие
! Материалы
|-
| align="center"|1
| 20 января 2023
| Введение в курс. Скорости сходимости итерационных процессов. Матрично-векторное дифференцирование. || [https://drive.google.com/file/d/1MXENV3Ryy8SgK3_q_lKB5gBG39qcl8_M/view?usp=sharing Конспект]
[https://drive.google.com/file/d/1bNWF262guJHTphptCTYARAsUKRPC9QmS/view?usp=sharing Конспект]
|-
| align="center"|2
| 27 января 2023
| Классы функций для оптимизации. Точная и неточная одномерная оптимизация || [http://www.machinelearning.ru/wiki/images/4/4d/MOMO16_min1d.pdf Конспект]
[https://drive.google.com/file/d/1UUvimdQn2aMG0E0qE1R1OKdXbyYyUSOT/view?usp=sharing Презентация]
|-
| align="center"|3
| 03 февраля 2023
| Метод градиентного спуска. Разностное дифференцирование. ||
|-
| align="center"|4
| 10 февраля 2023
| Стандартные матричные разложения. Метод Ньютона. || [https://drive.google.com/file/d/1K9xt0seQ_Oi0UcyziwHibhnr7PorNfqe/view?usp=sharing Презентация по подготовке отчётов]
|-
| align="center"|5
| 17 февраля 2023
| Метод сопряжённых градиентов. || [https://drive.google.com/file/d/1Ai3ZSuLTb0C6hL5KcAvagzJgKqL1-ySo/view?usp=sharing Презентация]
|-
| align="center"|--
| 24 февраля 2023
| ''Занятия не будет'' ||
|-
| align="center"|6
| 03 марта 2023
| Безгессианный метод Ньютона. Выпуклые множества. || [https://drive.google.com/file/d/1t9_Uvo-xrVd_nIVUk4CGXGfebHcFtTkw/view?usp=sharing Конспект]
|-
| align="center"|7
| 10 марта 2023
| Квазиньютоновские методы оптимизации. Выпуклые функции. || [https://drive.google.com/file/d/1glvkT1g6C405RT773KwUdKYRW_bhOKct/view?usp=sharing Конспект]
[http://www.machinelearning.ru/wiki/images/1/10/MOMO18_Seminar6.pdf Конспект]
|-
| align="center"|8
| 17 марта 2023
| Задачи условной оптимизации. Теорема Каруша-Куна-Таккера. || [http://www.machinelearning.ru/wiki/images/7/7f/MOMO18_Seminar7.pdf Конспект]
|-
| align="center"|9
| 24 марта 2023
| Задача линейного программирования. Симплекс-метод. Двойственные задачи оптимизации. ||
|-
| align="center"|--
| 31 марта 2023
| ''Занятия не будет'' ||
|-
| align="center"|10
| 7 апреля 2023
| Метод Ньютона и метод логарифмических барьеров для решения выпуклых задач условной оптимизации. Эквивалентные преобразования задач оптимизации. Стандартные классы выпуклых условных задач оптимизации. || [http://www.machinelearning.ru/wiki/images/8/81/MOMO12_ipm.pdf Конспект] 
[https://drive.google.com/file/d/1ghnO3gMssx2IS9LaaOgYXbwwq6Pm8ZXY/view?usp=sharing Конспект]
|-
| align="center"|11
| 14 апреля 2023
| Прямо-двойственные методы для решения выпуклых задач условной оптимизации. Применение метода лог. барьеров для двойственной задачи в SVM. ||
|-
| align="center"|12
| 21 апреля 2023
| Негладкая выпуклая оптимизация. Субградиентный метод. Субдифференциальное исчисление. || [http://www.machinelearning.ru/wiki/images/e/e5/MOMO18_Seminar10.pdf Конспект]
|-
| align="center"|13
| 28 апреля 2023
| Проксимальные методы оптимизации. Сопряженные функции и нормы. || [http://www.machinelearning.ru/wiki/images/1/15/MOMO18_Seminar8.pdf Конспект]
|-
| align="center"|--
| 5 мая 2023
| ''Занятия не будет'' ||
|-
| align="center"|--
| 12 мая 2023
| ''Занятия не будет'' ||
|-
| align="center"|14
| 19 мая 2023
| Стохастическая оптимизация: методы SGD, SAG, SVRG. Проекции и проксимальные операторы. ||
|-
| align="center"|15
| 26 мая 2023
| Семинар: автоматическое дифференцирование по графу вычислений. ||
|-
| align="center"|16
| 2 июня 2023
| Лекция: обучение нейронных сетей ||
|-
| align="center"|17
| 9 июня 2023
| Дифференцирование через процесс оптимизации. Дифференцирование по комплексным переменным. || [https://arxiv.org/abs/1703.00443 Статья 1] [https://arxiv.org/abs/1502.03492 Статья 2] [https://www.eurecom.fr/~gesbert/papers/short_matrix_diff.pdf Статья 3]
|-
| align="center"|18
| 16 июня 2023
| Консультация к экзамену ||
|-
|}

== Рекомендуемая литература ==
1. J. Nocedal, S. Wright. [https://www.csie.ntu.edu.tw/~r97002/temp/num_optimization.pdf Numerical optimization]. Springer, 2006.

2. S. Boyd, L. Vandenberghe. [https://web.stanford.edu/~boyd/cvxbook/ Convex optimization]. Cambridge University Press, 2004.

Методы оптимизации в машинном обучении 2023

2023-06-19T13:25:06Z

Dkropotov:

__NOTOC__

Методы оптимизации лежат в основе решения многих задач компьютерных наук. Например, в машинном обучении задачу оптимизации необходимо решать каждый раз при настройке какой-то модели алгоритмов по данным, причём от эффективности решения соответствующей задачи оптимизации зависит практическая применимость самого метода машинного обучения. Данный курс посвящен изучению классических и современных методов решения задач непрерывной оптимизации (в том числе невыпуклых), а также особенностям применения этих методов в задачах оптимизации, возникающих в машинном обучении. Основной акцент в изложении делается на практические аспекты реализации и использования методов. Целью курса является выработка у слушателей навыков по подбору подходящего метода для своей задачи, наиболее полно учитывающего её особенности.

'''Преподаватели''': Кропотов Дмитрий Александрович, Кодрян Максим, Никоров Кирилл.

{| class="wikitable"
! Группа !! Расписание !! Инвайт для anytask
|-
| align="center"|201 || пятница, лекция в 13:00, семинар в 14:40, ауд. см. в [https://ruz.hse.ru/ РУЗе] || align="center"|nuYXlzP
|-
| align="center"|202 || пятница, лекция в 13:00, семинар в 14:40, ауд. см. в [https://ruz.hse.ru/ РУЗе] || align="center"|Zus8FGK
|-
| align="center"|203 || пятница, лекция в 13:00, семинар в 14:40, ауд. см. в [https://ruz.hse.ru/ РУЗе] || align="center"|H85FCXe
|-
| Другие студенты || пятница, лекция в 13:00, можно выбрать семинар любой из групп 201, 202, 203 || align="center"|ml0iZHo
|}

Telegram для вопросов и объявлений по курсу: [https://t.me/+hFSF73A2XbY1NmUy чат], [https://t.me/+28iTtg-CT0syN2Uy канал]

Видеозаписи занятий: [https://www.youtube.com/playlist?list=PLEwK9wdS5g0o45P37r3hmD5Wbt-O2eWp2 ссылка]

== Экзамен ==
Экзамен по курсу состоится 28 июня, начало в 10-00. Экзамен пройдет в письменном виде в ауд. R404. Время написания - 2 часа. Во время экзамена никакими материалами пользоваться нельзя. При себе необходимо иметь бумагу и ручку для написания экзамена.

Студенты, находящиеся на дистанционном обучении, сдают экзамен онлайн. [https://us02web.zoom.us/j/83656446742?pwd=elcwYVo3bmVRYk44UEhTeHVMYXhOQT09 Зум-ссылка]. При сдаче экзамена онлайн камера и микрофон должны быть включены, в обзор камеры/камер должен попадать студент, письменный стол и клавиатура компьютера.

[https://drive.google.com/file/d/1nOg9LHxZmUi7xj3Y5Uw_6l0G0c19atwI/view?usp=sharing Список тем, выносимых на экзамен]

[https://drive.google.com/file/d/1szKo2ZMRlrfTxksrbGl4XaG6mA4IDY1p/view?usp=sharing Пример варианта экзамена]

== Система выставления оценок по курсу ==
В рамках курса предполагается четыре теоретических и четыре практических домашних заданий, а также экзамен в конце курса. Каждое задание и экзамен оцениваются исходя из 10-ти баллов. За задания можно получить дополнительные баллы за выполнение бонусных пунктов. Общая оценка за курс вычисляется по правилу Округление_вверх(0.7*<Оценка_за_семестр> + 0.3*<Оценка_за_экзамен>). <Оценка_за_семестр> = min(10, <Суммарная_оценка_за_задания>*10 / <Максимальная_суммарная_оценка_за_задания_без_бонусов>). Итоговая оценка за курс совпадает с общей оценкой при соблюдении следующих дополнительных условий:
{| class="wikitable"
! Итоговая оценка !! Необходимые условия
|-
|align="center"|>=8 || Сданы все задания, кроме одного (на оценку >= 3 без учета опоздания), экзамен сдан на оценку >= 6
|-
|align="center"|>=6 || Сданы все задания, кроме двух (на оценку >= 3 без учета опоздания), экзамен сдан на оценку >= 4
|-
|align="center"|>=4 || Сданы все задания, кроме четырех (на оценку >= 3 без учета опоздания), экзамен сдан на оценку >= 4
|-
|}

== Правила сдачи заданий ==
Теоретические и практические задания сдаются в систему anytask (инвайт см. выше). В случае наличия мягкого дедлайна задания могут быть присланы после срока сдачи, но с задержкой не более одной недели. При этом начисляется штраф из расчёта 0.5 балла в день. Все задания выполняются самостоятельно. Если задание выполнялось сообща или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчёте. В противном случае «похожие» решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.

Теоретические задания сдаются в anytask в виде сканов или набранных в TeX pdf-файлов. '''ВАЖНО!''' Присылаемые сканы должны быть высокого качества, присылаться одним файлом, в котором все листы идут в правильном порядке. В случае плохого качества сканов или же сдачи в формате, отличном от pdf, проверяющий имеет право поставить за работу 0, не проверяя.

В случае возникновения проблем с anytask в процессе сдачи заданий перед дедлайном следует поступать так: прислать выполненное задание в телеграм своему семинаристу, а затем в anytask написать, что задание было прислано в телеграм вместе с указанием ника в телеграме.

== Лекции и семинары ==
{| class = "wikitable"
|+
! № п/п
! Дата
! Занятие
! Материалы
|-
| align="center"|1
| 20 января 2023
| Введение в курс. Скорости сходимости итерационных процессов. Матрично-векторное дифференцирование. || [https://drive.google.com/file/d/1MXENV3Ryy8SgK3_q_lKB5gBG39qcl8_M/view?usp=sharing Конспект]
[https://drive.google.com/file/d/1bNWF262guJHTphptCTYARAsUKRPC9QmS/view?usp=sharing Конспект]
|-
| align="center"|2
| 27 января 2023
| Классы функций для оптимизации. Точная и неточная одномерная оптимизация || [http://www.machinelearning.ru/wiki/images/4/4d/MOMO16_min1d.pdf Конспект]
[https://drive.google.com/file/d/1UUvimdQn2aMG0E0qE1R1OKdXbyYyUSOT/view?usp=sharing Презентация]
|-
| align="center"|3
| 03 февраля 2023
| Метод градиентного спуска. Разностное дифференцирование. ||
|-
| align="center"|4
| 10 февраля 2023
| Стандартные матричные разложения. Метод Ньютона. || [https://drive.google.com/file/d/1K9xt0seQ_Oi0UcyziwHibhnr7PorNfqe/view?usp=sharing Презентация по подготовке отчётов]
|-
| align="center"|5
| 17 февраля 2023
| Метод сопряжённых градиентов. || [https://drive.google.com/file/d/1Ai3ZSuLTb0C6hL5KcAvagzJgKqL1-ySo/view?usp=sharing Презентация]
|-
| align="center"|--
| 24 февраля 2023
| ''Занятия не будет'' ||
|-
| align="center"|6
| 03 марта 2023
| Безгессианный метод Ньютона. Выпуклые множества. || [https://drive.google.com/file/d/1t9_Uvo-xrVd_nIVUk4CGXGfebHcFtTkw/view?usp=sharing Конспект]
|-
| align="center"|7
| 10 марта 2023
| Квазиньютоновские методы оптимизации. Выпуклые функции. || [https://drive.google.com/file/d/1glvkT1g6C405RT773KwUdKYRW_bhOKct/view?usp=sharing Конспект]
[http://www.machinelearning.ru/wiki/images/1/10/MOMO18_Seminar6.pdf Конспект]
|-
| align="center"|8
| 17 марта 2023
| Задачи условной оптимизации. Теорема Каруша-Куна-Таккера. || [http://www.machinelearning.ru/wiki/images/7/7f/MOMO18_Seminar7.pdf Конспект]
|-
| align="center"|9
| 24 марта 2023
| Задача линейного программирования. Симплекс-метод. Двойственные задачи оптимизации. ||
|-
| align="center"|--
| 31 марта 2023
| ''Занятия не будет'' ||
|-
| align="center"|10
| 7 апреля 2023
| Метод Ньютона и метод логарифмических барьеров для решения выпуклых задач условной оптимизации. Эквивалентные преобразования задач оптимизации. Стандартные классы выпуклых условных задач оптимизации. || [http://www.machinelearning.ru/wiki/images/8/81/MOMO12_ipm.pdf Конспект] 
[https://drive.google.com/file/d/1ghnO3gMssx2IS9LaaOgYXbwwq6Pm8ZXY/view?usp=sharing Конспект]
|-
| align="center"|11
| 14 апреля 2023
| Прямо-двойственные методы для решения выпуклых задач условной оптимизации. Применение метода лог. барьеров для двойственной задачи в SVM. ||
|-
| align="center"|12
| 21 апреля 2023
| Негладкая выпуклая оптимизация. Субградиентный метод. Субдифференциальное исчисление. || [http://www.machinelearning.ru/wiki/images/e/e5/MOMO18_Seminar10.pdf Конспект]
|-
| align="center"|13
| 28 апреля 2023
| Проксимальные методы оптимизации. Сопряженные функции и нормы. || [http://www.machinelearning.ru/wiki/images/1/15/MOMO18_Seminar8.pdf Конспект]
|-
| align="center"|--
| 5 мая 2023
| ''Занятия не будет'' ||
|-
| align="center"|--
| 12 мая 2023
| ''Занятия не будет'' ||
|-
| align="center"|14
| 19 мая 2023
| Стохастическая оптимизация: методы SGD, SAG, SVRG. Проекции и проксимальные операторы. ||
|-
| align="center"|15
| 26 мая 2023
| Семинар: автоматическое дифференцирование по графу вычислений. ||
|-
| align="center"|16
| 2 июня 2023
| Лекция: обучение нейронных сетей ||
|-
| align="center"|17
| 9 июня 2023
| Дифференцирование через процесс оптимизации. Дифференцирование по комплексным переменным. || [https://arxiv.org/abs/1703.00443 Статья 1] [https://arxiv.org/abs/1502.03492 Статья 2] [https://www.eurecom.fr/~gesbert/papers/short_matrix_diff.pdf Статья 3]
|-
| align="center"|18
| 16 июня 2023
| Консультация к экзамену ||
|-
|}

== Рекомендуемая литература ==
1. J. Nocedal, S. Wright. [https://www.csie.ntu.edu.tw/~r97002/temp/num_optimization.pdf Numerical optimization]. Springer, 2006.

2. S. Boyd, L. Vandenberghe. [https://web.stanford.edu/~boyd/cvxbook/ Convex optimization]. Cambridge University Press, 2004.

Методы оптимизации в машинном обучении 2023

2023-06-08T13:34:15Z

Dkropotov: /* Лекции и семинары */

__NOTOC__

Методы оптимизации лежат в основе решения многих задач компьютерных наук. Например, в машинном обучении задачу оптимизации необходимо решать каждый раз при настройке какой-то модели алгоритмов по данным, причём от эффективности решения соответствующей задачи оптимизации зависит практическая применимость самого метода машинного обучения. Данный курс посвящен изучению классических и современных методов решения задач непрерывной оптимизации (в том числе невыпуклых), а также особенностям применения этих методов в задачах оптимизации, возникающих в машинном обучении. Основной акцент в изложении делается на практические аспекты реализации и использования методов. Целью курса является выработка у слушателей навыков по подбору подходящего метода для своей задачи, наиболее полно учитывающего её особенности.

'''Преподаватели''': Кропотов Дмитрий Александрович, Кодрян Максим, Никоров Кирилл.

{| class="wikitable"
! Группа !! Расписание !! Инвайт для anytask
|-
| align="center"|201 || пятница, лекция в 13:00, семинар в 14:40, ауд. см. в [https://ruz.hse.ru/ РУЗе] || align="center"|nuYXlzP
|-
| align="center"|202 || пятница, лекция в 13:00, семинар в 14:40, ауд. см. в [https://ruz.hse.ru/ РУЗе] || align="center"|Zus8FGK
|-
| align="center"|203 || пятница, лекция в 13:00, семинар в 14:40, ауд. см. в [https://ruz.hse.ru/ РУЗе] || align="center"|H85FCXe
|-
| Другие студенты || пятница, лекция в 13:00, можно выбрать семинар любой из групп 201, 202, 203 || align="center"|ml0iZHo
|}

Telegram для вопросов и объявлений по курсу: [https://t.me/+hFSF73A2XbY1NmUy чат], [https://t.me/+28iTtg-CT0syN2Uy канал]

Видеозаписи занятий: [https://www.youtube.com/playlist?list=PLEwK9wdS5g0o45P37r3hmD5Wbt-O2eWp2 ссылка]

== Система выставления оценок по курсу ==
В рамках курса предполагается четыре теоретических и четыре практических домашних заданий, а также экзамен в конце курса. Каждое задание и экзамен оцениваются исходя из 10-ти баллов. За задания можно получить дополнительные баллы за выполнение бонусных пунктов. Общая оценка за курс вычисляется по правилу Округление_вверх(0.7*<Оценка_за_семестр> + 0.3*<Оценка_за_экзамен>). <Оценка_за_семестр> = min(10, <Суммарная_оценка_за_задания>*10 / <Максимальная_суммарная_оценка_за_задания_без_бонусов>). Итоговая оценка за курс совпадает с общей оценкой при соблюдении следующих дополнительных условий:
{| class="wikitable"
! Итоговая оценка !! Необходимые условия
|-
|align="center"|>=8 || Сданы все задания, кроме одного (на оценку >= 3 без учета опоздания), экзамен сдан на оценку >= 6
|-
|align="center"|>=6 || Сданы все задания, кроме двух (на оценку >= 3 без учета опоздания), экзамен сдан на оценку >= 4
|-
|align="center"|>=4 || Сданы все задания, кроме четырех (на оценку >= 3 без учета опоздания), экзамен сдан на оценку >= 4
|-
|}

== Правила сдачи заданий ==
Теоретические и практические задания сдаются в систему anytask (инвайт см. выше). В случае наличия мягкого дедлайна задания могут быть присланы после срока сдачи, но с задержкой не более одной недели. При этом начисляется штраф из расчёта 0.5 балла в день. Все задания выполняются самостоятельно. Если задание выполнялось сообща или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчёте. В противном случае «похожие» решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.

Теоретические задания сдаются в anytask в виде сканов или набранных в TeX pdf-файлов. '''ВАЖНО!''' Присылаемые сканы должны быть высокого качества, присылаться одним файлом, в котором все листы идут в правильном порядке. В случае плохого качества сканов или же сдачи в формате, отличном от pdf, проверяющий имеет право поставить за работу 0, не проверяя.

В случае возникновения проблем с anytask в процессе сдачи заданий перед дедлайном следует поступать так: прислать выполненное задание в телеграм своему семинаристу, а затем в anytask написать, что задание было прислано в телеграм вместе с указанием ника в телеграме.

== Лекции и семинары ==
{| class = "wikitable"
|+
! № п/п
! Дата
! Занятие
! Материалы
|-
| align="center"|1
| 20 января 2023
| Введение в курс. Скорости сходимости итерационных процессов. Матрично-векторное дифференцирование. || [https://drive.google.com/file/d/1MXENV3Ryy8SgK3_q_lKB5gBG39qcl8_M/view?usp=sharing Конспект]
[https://drive.google.com/file/d/1bNWF262guJHTphptCTYARAsUKRPC9QmS/view?usp=sharing Конспект]
|-
| align="center"|2
| 27 января 2023
| Классы функций для оптимизации. Точная и неточная одномерная оптимизация || [http://www.machinelearning.ru/wiki/images/4/4d/MOMO16_min1d.pdf Конспект]
[https://drive.google.com/file/d/1UUvimdQn2aMG0E0qE1R1OKdXbyYyUSOT/view?usp=sharing Презентация]
|-
| align="center"|3
| 03 февраля 2023
| Метод градиентного спуска. Разностное дифференцирование. ||
|-
| align="center"|4
| 10 февраля 2023
| Стандартные матричные разложения. Метод Ньютона. || [https://drive.google.com/file/d/1K9xt0seQ_Oi0UcyziwHibhnr7PorNfqe/view?usp=sharing Презентация по подготовке отчётов]
|-
| align="center"|5
| 17 февраля 2023
| Метод сопряжённых градиентов. || [https://drive.google.com/file/d/1Ai3ZSuLTb0C6hL5KcAvagzJgKqL1-ySo/view?usp=sharing Презентация]
|-
| align="center"|--
| 24 февраля 2023
| ''Занятия не будет'' ||
|-
| align="center"|6
| 03 марта 2023
| Безгессианный метод Ньютона. Выпуклые множества. || [https://drive.google.com/file/d/1t9_Uvo-xrVd_nIVUk4CGXGfebHcFtTkw/view?usp=sharing Конспект]
|-
| align="center"|7
| 10 марта 2023
| Квазиньютоновские методы оптимизации. Выпуклые функции. || [https://drive.google.com/file/d/1glvkT1g6C405RT773KwUdKYRW_bhOKct/view?usp=sharing Конспект]
[http://www.machinelearning.ru/wiki/images/1/10/MOMO18_Seminar6.pdf Конспект]
|-
| align="center"|8
| 17 марта 2023
| Задачи условной оптимизации. Теорема Каруша-Куна-Таккера. || [http://www.machinelearning.ru/wiki/images/7/7f/MOMO18_Seminar7.pdf Конспект]
|-
| align="center"|9
| 24 марта 2023
| Задача линейного программирования. Симплекс-метод. Двойственные задачи оптимизации. ||
|-
| align="center"|--
| 31 марта 2023
| ''Занятия не будет'' ||
|-
| align="center"|10
| 7 апреля 2023
| Метод Ньютона и метод логарифмических барьеров для решения выпуклых задач условной оптимизации. Эквивалентные преобразования задач оптимизации. Стандартные классы выпуклых условных задач оптимизации. || [http://www.machinelearning.ru/wiki/images/8/81/MOMO12_ipm.pdf Конспект] 
[https://drive.google.com/file/d/1ghnO3gMssx2IS9LaaOgYXbwwq6Pm8ZXY/view?usp=sharing Конспект]
|-
| align="center"|11
| 14 апреля 2023
| Прямо-двойственные методы для решения выпуклых задач условной оптимизации. Применение метода лог. барьеров для двойственной задачи в SVM. ||
|-
| align="center"|12
| 21 апреля 2023
| Негладкая выпуклая оптимизация. Субградиентный метод. Субдифференциальное исчисление. || [http://www.machinelearning.ru/wiki/images/e/e5/MOMO18_Seminar10.pdf Конспект]
|-
| align="center"|13
| 28 апреля 2023
| Проксимальные методы оптимизации. Сопряженные функции и нормы. || [http://www.machinelearning.ru/wiki/images/1/15/MOMO18_Seminar8.pdf Конспект]
|-
| align="center"|--
| 5 мая 2023
| ''Занятия не будет'' ||
|-
| align="center"|--
| 12 мая 2023
| ''Занятия не будет'' ||
|-
| align="center"|14
| 19 мая 2023
| Стохастическая оптимизация: методы SGD, SAG, SVRG. Проекции и проксимальные операторы. ||
|-
| align="center"|15
| 26 мая 2023
| Семинар: автоматическое дифференцирование по графу вычислений. ||
|-
| align="center"|16
| 2 июня 2023
| Лекция: обучение нейронных сетей ||
|-
| align="center"|17
| 9 июня 2023
| Дифференцирование через процесс оптимизации. Дифференцирование по комплексным переменным. || [https://arxiv.org/abs/1703.00443 Статья 1] [https://arxiv.org/abs/1502.03492 Статья 2] [https://www.eurecom.fr/~gesbert/papers/short_matrix_diff.pdf Статья 3]
|-
| align="center"|18
| 16 июня 2023
| Консультация к экзамену ||
|-
|}

== Рекомендуемая литература ==
1. J. Nocedal, S. Wright. [https://www.csie.ntu.edu.tw/~r97002/temp/num_optimization.pdf Numerical optimization]. Springer, 2006.

2. S. Boyd, L. Vandenberghe. [https://web.stanford.edu/~boyd/cvxbook/ Convex optimization]. Cambridge University Press, 2004.

Методы оптимизации в машинном обучении 2023

2023-05-26T15:55:41Z

Dkropotov:

__NOTOC__

Методы оптимизации лежат в основе решения многих задач компьютерных наук. Например, в машинном обучении задачу оптимизации необходимо решать каждый раз при настройке какой-то модели алгоритмов по данным, причём от эффективности решения соответствующей задачи оптимизации зависит практическая применимость самого метода машинного обучения. Данный курс посвящен изучению классических и современных методов решения задач непрерывной оптимизации (в том числе невыпуклых), а также особенностям применения этих методов в задачах оптимизации, возникающих в машинном обучении. Основной акцент в изложении делается на практические аспекты реализации и использования методов. Целью курса является выработка у слушателей навыков по подбору подходящего метода для своей задачи, наиболее полно учитывающего её особенности.

'''Преподаватели''': Кропотов Дмитрий Александрович, Кодрян Максим, Никоров Кирилл.

{| class="wikitable"
! Группа !! Расписание !! Инвайт для anytask
|-
| align="center"|201 || пятница, лекция в 13:00, семинар в 14:40, ауд. см. в [https://ruz.hse.ru/ РУЗе] || align="center"|nuYXlzP
|-
| align="center"|202 || пятница, лекция в 13:00, семинар в 14:40, ауд. см. в [https://ruz.hse.ru/ РУЗе] || align="center"|Zus8FGK
|-
| align="center"|203 || пятница, лекция в 13:00, семинар в 14:40, ауд. см. в [https://ruz.hse.ru/ РУЗе] || align="center"|H85FCXe
|-
| Другие студенты || пятница, лекция в 13:00, можно выбрать семинар любой из групп 201, 202, 203 || align="center"|ml0iZHo
|}

Telegram для вопросов и объявлений по курсу: [https://t.me/+hFSF73A2XbY1NmUy чат], [https://t.me/+28iTtg-CT0syN2Uy канал]

Видеозаписи занятий: [https://www.youtube.com/playlist?list=PLEwK9wdS5g0o45P37r3hmD5Wbt-O2eWp2 ссылка]

== Система выставления оценок по курсу ==
В рамках курса предполагается четыре теоретических и четыре практических домашних заданий, а также экзамен в конце курса. Каждое задание и экзамен оцениваются исходя из 10-ти баллов. За задания можно получить дополнительные баллы за выполнение бонусных пунктов. Общая оценка за курс вычисляется по правилу Округление_вверх(0.7*<Оценка_за_семестр> + 0.3*<Оценка_за_экзамен>). <Оценка_за_семестр> = min(10, <Суммарная_оценка_за_задания>*10 / <Максимальная_суммарная_оценка_за_задания_без_бонусов>). Итоговая оценка за курс совпадает с общей оценкой при соблюдении следующих дополнительных условий:
{| class="wikitable"
! Итоговая оценка !! Необходимые условия
|-
|align="center"|>=8 || Сданы все задания, кроме одного (на оценку >= 3 без учета опоздания), экзамен сдан на оценку >= 6
|-
|align="center"|>=6 || Сданы все задания, кроме двух (на оценку >= 3 без учета опоздания), экзамен сдан на оценку >= 4
|-
|align="center"|>=4 || Сданы все задания, кроме четырех (на оценку >= 3 без учета опоздания), экзамен сдан на оценку >= 4
|-
|}

== Правила сдачи заданий ==
Теоретические и практические задания сдаются в систему anytask (инвайт см. выше). В случае наличия мягкого дедлайна задания могут быть присланы после срока сдачи, но с задержкой не более одной недели. При этом начисляется штраф из расчёта 0.5 балла в день. Все задания выполняются самостоятельно. Если задание выполнялось сообща или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчёте. В противном случае «похожие» решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.

Теоретические задания сдаются в anytask в виде сканов или набранных в TeX pdf-файлов. '''ВАЖНО!''' Присылаемые сканы должны быть высокого качества, присылаться одним файлом, в котором все листы идут в правильном порядке. В случае плохого качества сканов или же сдачи в формате, отличном от pdf, проверяющий имеет право поставить за работу 0, не проверяя.

В случае возникновения проблем с anytask в процессе сдачи заданий перед дедлайном следует поступать так: прислать выполненное задание в телеграм своему семинаристу, а затем в anytask написать, что задание было прислано в телеграм вместе с указанием ника в телеграме.

== Лекции и семинары ==
{| class = "wikitable"
|+
! № п/п
! Дата
! Занятие
! Материалы
|-
| align="center"|1
| 20 января 2023
| Введение в курс. Скорости сходимости итерационных процессов. Матрично-векторное дифференцирование. || [https://drive.google.com/file/d/1MXENV3Ryy8SgK3_q_lKB5gBG39qcl8_M/view?usp=sharing Конспект]
[https://drive.google.com/file/d/1bNWF262guJHTphptCTYARAsUKRPC9QmS/view?usp=sharing Конспект]
|-
| align="center"|2
| 27 января 2023
| Классы функций для оптимизации. Точная и неточная одномерная оптимизация || [http://www.machinelearning.ru/wiki/images/4/4d/MOMO16_min1d.pdf Конспект]
[https://drive.google.com/file/d/1UUvimdQn2aMG0E0qE1R1OKdXbyYyUSOT/view?usp=sharing Презентация]
|-
| align="center"|3
| 03 февраля 2023
| Метод градиентного спуска. Разностное дифференцирование. ||
|-
| align="center"|4
| 10 февраля 2023
| Стандартные матричные разложения. Метод Ньютона. || [https://drive.google.com/file/d/1K9xt0seQ_Oi0UcyziwHibhnr7PorNfqe/view?usp=sharing Презентация по подготовке отчётов]
|-
| align="center"|5
| 17 февраля 2023
| Метод сопряжённых градиентов. || [https://drive.google.com/file/d/1Ai3ZSuLTb0C6hL5KcAvagzJgKqL1-ySo/view?usp=sharing Презентация]
|-
| align="center"|--
| 24 февраля 2023
| ''Занятия не будет'' ||
|-
| align="center"|6
| 03 марта 2023
| Безгессианный метод Ньютона. Выпуклые множества. || [https://drive.google.com/file/d/1t9_Uvo-xrVd_nIVUk4CGXGfebHcFtTkw/view?usp=sharing Конспект]
|-
| align="center"|7
| 10 марта 2023
| Квазиньютоновские методы оптимизации. Выпуклые функции. || [https://drive.google.com/file/d/1glvkT1g6C405RT773KwUdKYRW_bhOKct/view?usp=sharing Конспект]
[http://www.machinelearning.ru/wiki/images/1/10/MOMO18_Seminar6.pdf Конспект]
|-
| align="center"|8
| 17 марта 2023
| Задачи условной оптимизации. Теорема Каруша-Куна-Таккера. || [http://www.machinelearning.ru/wiki/images/7/7f/MOMO18_Seminar7.pdf Конспект]
|-
| align="center"|9
| 24 марта 2023
| Задача линейного программирования. Симплекс-метод. Двойственные задачи оптимизации. ||
|-
| align="center"|--
| 31 марта 2023
| ''Занятия не будет'' ||
|-
| align="center"|10
| 7 апреля 2023
| Метод Ньютона и метод логарифмических барьеров для решения выпуклых задач условной оптимизации. Эквивалентные преобразования задач оптимизации. Стандартные классы выпуклых условных задач оптимизации. || [http://www.machinelearning.ru/wiki/images/8/81/MOMO12_ipm.pdf Конспект] 
[https://drive.google.com/file/d/1ghnO3gMssx2IS9LaaOgYXbwwq6Pm8ZXY/view?usp=sharing Конспект]
|-
| align="center"|11
| 14 апреля 2023
| Прямо-двойственные методы для решения выпуклых задач условной оптимизации. Применение метода лог. барьеров для двойственной задачи в SVM. ||
|-
| align="center"|12
| 21 апреля 2023
| Негладкая выпуклая оптимизация. Субградиентный метод. Субдифференциальное исчисление. || [http://www.machinelearning.ru/wiki/images/e/e5/MOMO18_Seminar10.pdf Конспект]
|-
| align="center"|13
| 28 апреля 2023
| Проксимальные методы оптимизации. Сопряженные функции и нормы. || [http://www.machinelearning.ru/wiki/images/1/15/MOMO18_Seminar8.pdf Конспект]
|-
| align="center"|--
| 5 мая 2023
| ''Занятия не будет'' ||
|-
| align="center"|--
| 12 мая 2023
| ''Занятия не будет'' ||
|-
| align="center"|14
| 19 мая 2023
| Стохастическая оптимизация: методы SGD, SAG, SVRG. Проекции и проксимальные операторы. ||
|-
| align="center"|15
| 26 мая 2023
| Семинар: автоматическое дифференцирование по графу вычислений. ||
|-
| align="center"|16
| 2 июня 2023
| Лекция: обучение нейронных сетей ||
|-
| align="center"|17
| 9 июня 2023
| Дифференцирование через процесс оптимизации. Дифференцирование по комплексным переменным. || [https://arxiv.org/abs/1703.00443 Статья 1] [https://arxiv.org/abs/1502.03492 Статья 2] [https://www.eurecom.fr/~gesbert/papers/short_matrix_diff.pdf Статья 3]
|-
|}

== Рекомендуемая литература ==
1. J. Nocedal, S. Wright. [https://www.csie.ntu.edu.tw/~r97002/temp/num_optimization.pdf Numerical optimization]. Springer, 2006.

2. S. Boyd, L. Vandenberghe. [https://web.stanford.edu/~boyd/cvxbook/ Convex optimization]. Cambridge University Press, 2004.

Методы оптимизации в машинном обучении 2023

2023-04-04T14:22:06Z

Dkropotov:

__NOTOC__

Методы оптимизации лежат в основе решения многих задач компьютерных наук. Например, в машинном обучении задачу оптимизации необходимо решать каждый раз при настройке какой-то модели алгоритмов по данным, причём от эффективности решения соответствующей задачи оптимизации зависит практическая применимость самого метода машинного обучения. Данный курс посвящен изучению классических и современных методов решения задач непрерывной оптимизации (в том числе невыпуклых), а также особенностям применения этих методов в задачах оптимизации, возникающих в машинном обучении. Основной акцент в изложении делается на практические аспекты реализации и использования методов. Целью курса является выработка у слушателей навыков по подбору подходящего метода для своей задачи, наиболее полно учитывающего её особенности.

'''Преподаватели''': Кропотов Дмитрий Александрович, Кодрян Максим, Никоров Кирилл.

{| class="wikitable"
! Группа !! Расписание !! Инвайт для anytask
|-
| align="center"|201 || пятница, лекция в 13:00, семинар в 14:40, ауд. см. в [https://ruz.hse.ru/ РУЗе] || align="center"|nuYXlzP
|-
| align="center"|202 || пятница, лекция в 13:00, семинар в 14:40, ауд. см. в [https://ruz.hse.ru/ РУЗе] || align="center"|Zus8FGK
|-
| align="center"|203 || пятница, лекция в 13:00, семинар в 14:40, ауд. см. в [https://ruz.hse.ru/ РУЗе] || align="center"|H85FCXe
|-
| Другие студенты || пятница, лекция в 13:00, можно выбрать семинар любой из групп 201, 202, 203 || align="center"|ml0iZHo
|}

Telegram для вопросов и объявлений по курсу: [https://t.me/+hFSF73A2XbY1NmUy чат], [https://t.me/+28iTtg-CT0syN2Uy канал]

Видеозаписи занятий: [https://www.youtube.com/playlist?list=PLEwK9wdS5g0o45P37r3hmD5Wbt-O2eWp2 ссылка]

== Система выставления оценок по курсу ==
В рамках курса предполагается четыре теоретических и четыре практических домашних заданий, а также экзамен в конце курса. Каждое задание и экзамен оцениваются исходя из 10-ти баллов. За задания можно получить дополнительные баллы за выполнение бонусных пунктов. Общая оценка за курс вычисляется по правилу Округление_вверх(0.7*<Оценка_за_семестр> + 0.3*<Оценка_за_экзамен>). <Оценка_за_семестр> = min(10, <Суммарная_оценка_за_задания>*10 / <Максимальная_суммарная_оценка_за_задания_без_бонусов>). Итоговая оценка за курс совпадает с общей оценкой при соблюдении следующих дополнительных условий:
{| class="wikitable"
! Итоговая оценка !! Необходимые условия
|-
|align="center"|>=8 || Сданы все задания, кроме одного (на оценку >= 3 без учета опоздания), экзамен сдан на оценку >= 6
|-
|align="center"|>=6 || Сданы все задания, кроме двух (на оценку >= 3 без учета опоздания), экзамен сдан на оценку >= 4
|-
|align="center"|>=4 || Сданы все задания, кроме четырех (на оценку >= 3 без учета опоздания), экзамен сдан на оценку >= 4
|-
|}

== Правила сдачи заданий ==
Теоретические и практические задания сдаются в систему anytask (инвайт см. выше). В случае наличия мягкого дедлайна задания могут быть присланы после срока сдачи, но с задержкой не более одной недели. При этом начисляется штраф из расчёта 0.5 балла в день. Все задания выполняются самостоятельно. Если задание выполнялось сообща или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчёте. В противном случае «похожие» решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.

Теоретические задания сдаются в anytask в виде сканов или набранных в TeX pdf-файлов. '''ВАЖНО!''' Присылаемые сканы должны быть высокого качества, присылаться одним файлом, в котором все листы идут в правильном порядке. В случае плохого качества сканов или же сдачи в формате, отличном от pdf, проверяющий имеет право поставить за работу 0, не проверяя.

В случае возникновения проблем с anytask в процессе сдачи заданий перед дедлайном следует поступать так: прислать выполненное задание в телеграм своему семинаристу, а затем в anytask написать, что задание было прислано в телеграм вместе с указанием ника в телеграме.

== Лекции и семинары ==
{| class = "wikitable"
|+
! № п/п
! Дата
! Занятие
! Материалы
|-
| align="center"|1
| 20 января 2023
| Введение в курс. Скорости сходимости итерационных процессов. Матрично-векторное дифференцирование. || [https://drive.google.com/file/d/1MXENV3Ryy8SgK3_q_lKB5gBG39qcl8_M/view?usp=sharing Конспект]
[https://drive.google.com/file/d/1bNWF262guJHTphptCTYARAsUKRPC9QmS/view?usp=sharing Конспект]
|-
| align="center"|2
| 27 января 2023
| Классы функций для оптимизации. Точная и неточная одномерная оптимизация || [http://www.machinelearning.ru/wiki/images/4/4d/MOMO16_min1d.pdf Конспект]
[https://drive.google.com/file/d/1UUvimdQn2aMG0E0qE1R1OKdXbyYyUSOT/view?usp=sharing Презентация]
|-
| align="center"|3
| 03 февраля 2023
| Метод градиентного спуска. Разностное дифференцирование. ||
|-
| align="center"|4
| 10 февраля 2023
| Стандартные матричные разложения. Метод Ньютона. || [https://drive.google.com/file/d/1K9xt0seQ_Oi0UcyziwHibhnr7PorNfqe/view?usp=sharing Презентация по подготовке отчётов]
|-
| align="center"|5
| 17 февраля 2023
| Метод сопряжённых градиентов. || [https://drive.google.com/file/d/1Ai3ZSuLTb0C6hL5KcAvagzJgKqL1-ySo/view?usp=sharing Презентация]
|-
| align="center"|--
| 24 февраля 2023
| ''Занятия не будет'' ||
|-
| align="center"|6
| 03 марта 2023
| Безгессианный метод Ньютона. Выпуклые множества. || [https://drive.google.com/file/d/1t9_Uvo-xrVd_nIVUk4CGXGfebHcFtTkw/view?usp=sharing Конспект]
|-
| align="center"|7
| 10 марта 2023
| Квазиньютоновские методы оптимизации. Выпуклые функции. || [https://drive.google.com/file/d/1glvkT1g6C405RT773KwUdKYRW_bhOKct/view?usp=sharing Конспект]
[http://www.machinelearning.ru/wiki/images/1/10/MOMO18_Seminar6.pdf Конспект]
|-
| align="center"|8
| 17 марта 2023
| Задачи условной оптимизации. Теорема Каруша-Куна-Таккера. || [http://www.machinelearning.ru/wiki/images/7/7f/MOMO18_Seminar7.pdf Конспект]
|-
| align="center"|9
| 24 марта 2023
| Задача линейного программирования. Симплекс-метод. Двойственные задачи оптимизации. ||
|-
| align="center"|--
| 31 марта 2023
| ''Занятия не будет'' ||
|-
| align="center"|10
| 7 апреля 2023
| Метод Ньютона и метод логарифмических барьеров для решения выпуклых задач условной оптимизации. Эквивалентные преобразования задач оптимизации. Стандартные классы выпуклых условных задач оптимизации. || [http://www.machinelearning.ru/wiki/images/8/81/MOMO12_ipm.pdf Конспект] 
[https://drive.google.com/file/d/1ghnO3gMssx2IS9LaaOgYXbwwq6Pm8ZXY/view?usp=sharing Конспект]
|-
| align="center"|11
| 14 апреля 2023
| Прямо-двойственные методы для решения выпуклых задач условной оптимизации. Применение метода лог. барьеров для двойственной задачи в SVM. ||
|-
| align="center"|12
| 21 апреля 2023
| Негладкая выпуклая оптимизация. Субградиентный метод. Субдифференциальное исчисление. || [http://www.machinelearning.ru/wiki/images/e/e5/MOMO18_Seminar10.pdf Конспект]
|-
| align="center"|13
| 28 апреля 2023
| Проксимальные методы оптимизации. Сопряженные функции и нормы. || [http://www.machinelearning.ru/wiki/images/1/15/MOMO18_Seminar8.pdf Конспект]
|-
| align="center"|--
| 5 мая 2023
| ''Занятия не будет'' ||
|-
| align="center"|14
| 12 апреля 2023
| Стохастическая оптимизация: методы SGD, SAG, SVRG. Проекции и проксимальные операторы. ||
|-
| align="center"|15
| 19 мая 2023
| Стохастическая оптимизация: методы SQN, NIM, Adagrad, RMSprop, ADAM. Автоматическое дифференцирование по графу вычислений. || [https://arxiv.org/abs/1401.7020 Статья 1] [https://proceedings.mlr.press/v48/rodomanov16.html Статья 2]
|-
| align="center"|16
| 26 мая 2023
| Дифференцирование через процесс оптимизации. || [https://arxiv.org/abs/1703.00443 Статья 1] [https://arxiv.org/abs/1502.03492 Статья 2]
|-
|}

== Рекомендуемая литература ==
1. J. Nocedal, S. Wright. [https://www.csie.ntu.edu.tw/~r97002/temp/num_optimization.pdf Numerical optimization]. Springer, 2006.

2. S. Boyd, L. Vandenberghe. [https://web.stanford.edu/~boyd/cvxbook/ Convex optimization]. Cambridge University Press, 2004.

Методы оптимизации в машинном обучении 2023

2023-03-10T13:30:31Z

Dkropotov: /* Система выставления оценок по курсу */

__NOTOC__

Методы оптимизации лежат в основе решения многих задач компьютерных наук. Например, в машинном обучении задачу оптимизации необходимо решать каждый раз при настройке какой-то модели алгоритмов по данным, причём от эффективности решения соответствующей задачи оптимизации зависит практическая применимость самого метода машинного обучения. Данный курс посвящен изучению классических и современных методов решения задач непрерывной оптимизации (в том числе невыпуклых), а также особенностям применения этих методов в задачах оптимизации, возникающих в машинном обучении. Основной акцент в изложении делается на практические аспекты реализации и использования методов. Целью курса является выработка у слушателей навыков по подбору подходящего метода для своей задачи, наиболее полно учитывающего её особенности.

'''Преподаватели''': Кропотов Дмитрий Александрович, Кодрян Максим, Никоров Кирилл.

{| class="wikitable"
! Группа !! Расписание !! Инвайт для anytask
|-
| align="center"|201 || пятница, лекция в 13:00, семинар в 14:40, ауд. см. в [https://ruz.hse.ru/ РУЗе] || align="center"|nuYXlzP
|-
| align="center"|202 || пятница, лекция в 13:00, семинар в 14:40, ауд. см. в [https://ruz.hse.ru/ РУЗе] || align="center"|Zus8FGK
|-
| align="center"|203 || пятница, лекция в 13:00, семинар в 14:40, ауд. см. в [https://ruz.hse.ru/ РУЗе] || align="center"|H85FCXe
|-
| Другие студенты || пятница, лекция в 13:00, можно выбрать семинар любой из групп 201, 202, 203 || align="center"|ml0iZHo
|}

Telegram для вопросов и объявлений по курсу: [https://t.me/+hFSF73A2XbY1NmUy чат], [https://t.me/+28iTtg-CT0syN2Uy канал]

Видеозаписи занятий: [https://www.youtube.com/playlist?list=PLEwK9wdS5g0o45P37r3hmD5Wbt-O2eWp2 ссылка]

== Система выставления оценок по курсу ==
В рамках курса предполагается четыре теоретических и четыре практических домашних заданий, а также экзамен в конце курса. Каждое задание и экзамен оцениваются исходя из 10-ти баллов. За задания можно получить дополнительные баллы за выполнение бонусных пунктов. Общая оценка за курс вычисляется по правилу Округление_вверх(0.7*<Оценка_за_семестр> + 0.3*<Оценка_за_экзамен>). <Оценка_за_семестр> = min(10, <Суммарная_оценка_за_задания>*10 / <Максимальная_суммарная_оценка_за_задания_без_бонусов>). Итоговая оценка за курс совпадает с общей оценкой при соблюдении следующих дополнительных условий:
{| class="wikitable"
! Итоговая оценка !! Необходимые условия
|-
|align="center"|>=8 || Сданы все задания, кроме одного (на оценку >= 3 без учета опоздания), экзамен сдан на оценку >= 6
|-
|align="center"|>=6 || Сданы все задания, кроме двух (на оценку >= 3 без учета опоздания), экзамен сдан на оценку >= 4
|-
|align="center"|>=4 || Сданы все задания, кроме четырех (на оценку >= 3 без учета опоздания), экзамен сдан на оценку >= 4
|-
|}

== Правила сдачи заданий ==
Теоретические и практические задания сдаются в систему anytask (инвайт см. выше). В случае наличия мягкого дедлайна задания могут быть присланы после срока сдачи, но с задержкой не более одной недели. При этом начисляется штраф из расчёта 0.5 балла в день. Все задания выполняются самостоятельно. Если задание выполнялось сообща или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчёте. В противном случае «похожие» решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.

Теоретические задания сдаются в anytask в виде сканов или набранных в TeX pdf-файлов. '''ВАЖНО!''' Присылаемые сканы должны быть высокого качества, присылаться одним файлом, в котором все листы идут в правильном порядке. В случае плохого качества сканов или же сдачи в формате, отличном от pdf, проверяющий имеет право поставить за работу 0, не проверяя.

В случае возникновения проблем с anytask в процессе сдачи заданий перед дедлайном следует поступать так: прислать выполненное задание в телеграм своему семинаристу, а затем в anytask написать, что задание было прислано в телеграм вместе с указанием ника в телеграме.

== Лекции и семинары ==
{| class = "wikitable"
|+
! № п/п
! Дата
! Занятие
! Материалы
|-
| align="center"|1
| 20 января 2023
| Введение в курс. Скорости сходимости итерационных процессов. Матрично-векторное дифференцирование. || [https://drive.google.com/file/d/1MXENV3Ryy8SgK3_q_lKB5gBG39qcl8_M/view?usp=sharing Конспект]
[https://drive.google.com/file/d/1bNWF262guJHTphptCTYARAsUKRPC9QmS/view?usp=sharing Конспект]
|-
| align="center"|2
| 27 января 2023
| Классы функций для оптимизации. Точная и неточная одномерная оптимизация || [http://www.machinelearning.ru/wiki/images/4/4d/MOMO16_min1d.pdf Конспект]
[https://drive.google.com/file/d/1UUvimdQn2aMG0E0qE1R1OKdXbyYyUSOT/view?usp=sharing Презентация]
|-
| align="center"|3
| 03 февраля 2023
| Метод градиентного спуска. Разностное дифференцирование. ||
|-
| align="center"|4
| 10 февраля 2023
| Стандартные матричные разложения. Метод Ньютона. || [https://drive.google.com/file/d/1K9xt0seQ_Oi0UcyziwHibhnr7PorNfqe/view?usp=sharing Презентация по подготовке отчётов]
|-
| align="center"|5
| 17 февраля 2023
| Метод сопряжённых градиентов. || [https://drive.google.com/file/d/1Ai3ZSuLTb0C6hL5KcAvagzJgKqL1-ySo/view?usp=sharing Презентация]
|-
| align="center"|--
| 24 февраля 2023
| ''Занятия не будет'' ||
|-
| align="center"|6
| 03 марта 2023
| Безгессианный метод Ньютона. Выпуклые множества. || [https://drive.google.com/file/d/1t9_Uvo-xrVd_nIVUk4CGXGfebHcFtTkw/view?usp=sharing Конспект]
|-
| align="center"|7
| 10 марта 2023
| Квазиньютоновские методы оптимизации. Выпуклые функции. || [https://drive.google.com/file/d/1glvkT1g6C405RT773KwUdKYRW_bhOKct/view?usp=sharing Конспект]
[http://www.machinelearning.ru/wiki/images/1/10/MOMO18_Seminar6.pdf Конспект]
|-
| align="center"|8
| 17 марта 2023
| Задачи условной оптимизации. Теорема Каруша-Куна-Таккера. || [http://www.machinelearning.ru/wiki/images/7/7f/MOMO18_Seminar7.pdf Конспект]
|-
| align="center"|9
| 24 марта 2023
| Задача линейного программирования. Симплекс-метод. Эквивалентные преобразования задач оптимизации. Стандартные классы выпуклых условных задач оптимизации. || [https://drive.google.com/file/d/1ghnO3gMssx2IS9LaaOgYXbwwq6Pm8ZXY/view?usp=sharing Конспект]
|-
| align="center"|--
| 31 марта 2023
| ''Занятия не будет'' ||
|-
| align="center"|10
| 7 апреля 2023
| Метод Ньютона и метод логарифмических барьеров для решения выпуклых задач условной оптимизации. Применение метода лог. барьеров для двойственной задачи в SVM. || [http://www.machinelearning.ru/wiki/images/8/81/MOMO12_ipm.pdf Конспект] 
|-
| align="center"|11
| 14 апреля 2023
| Прямо-двойственные методы для решения выпуклых задач условной оптимизации. ||
|-
| align="center"|12
| 21 апреля 2023
| Негладкая выпуклая оптимизация. Субградиентный метод. Субдифференциальное исчисление. || [http://www.machinelearning.ru/wiki/images/e/e5/MOMO18_Seminar10.pdf Конспект]
|-
| align="center"|13
| 28 апреля 2023
| Проксимальные методы оптимизации. Сопряженные функции и нормы. || [http://www.machinelearning.ru/wiki/images/1/15/MOMO18_Seminar8.pdf Конспект]
|-
| align="center"|--
| 5 мая 2023
| ''Занятия не будет'' ||
|-
| align="center"|14
| 12 апреля 2023
| Стохастическая оптимизация: методы SGD, SAG, SVRG. Проекции и проксимальные операторы. ||
|-
| align="center"|15
| 19 мая 2023
| Стохастическая оптимизация: методы SQN, NIM, Adagrad, RMSprop, ADAM. Автоматическое дифференцирование по графу вычислений. || [https://arxiv.org/abs/1401.7020 Статья 1] [https://proceedings.mlr.press/v48/rodomanov16.html Статья 2]
|-
| align="center"|16
| 26 мая 2023
| Дифференцирование через процесс оптимизации. || [https://arxiv.org/abs/1703.00443 Статья 1] [https://arxiv.org/abs/1502.03492 Статья 2]
|-
|}

== Рекомендуемая литература ==
1. J. Nocedal, S. Wright. [https://www.csie.ntu.edu.tw/~r97002/temp/num_optimization.pdf Numerical optimization]. Springer, 2006.

2. S. Boyd, L. Vandenberghe. [https://web.stanford.edu/~boyd/cvxbook/ Convex optimization]. Cambridge University Press, 2004.

Методы оптимизации в машинном обучении 2023

2023-02-17T13:13:46Z

Dkropotov:

__NOTOC__

Методы оптимизации лежат в основе решения многих задач компьютерных наук. Например, в машинном обучении задачу оптимизации необходимо решать каждый раз при настройке какой-то модели алгоритмов по данным, причём от эффективности решения соответствующей задачи оптимизации зависит практическая применимость самого метода машинного обучения. Данный курс посвящен изучению классических и современных методов решения задач непрерывной оптимизации (в том числе невыпуклых), а также особенностям применения этих методов в задачах оптимизации, возникающих в машинном обучении. Основной акцент в изложении делается на практические аспекты реализации и использования методов. Целью курса является выработка у слушателей навыков по подбору подходящего метода для своей задачи, наиболее полно учитывающего её особенности.

'''Преподаватели''': Кропотов Дмитрий Александрович, Кодрян Максим, Никоров Кирилл.

{| class="wikitable"
! Группа !! Расписание !! Инвайт для anytask
|-
| align="center"|201 || пятница, лекция в 13:00, семинар в 14:40, ауд. см. в [https://ruz.hse.ru/ РУЗе] || align="center"|nuYXlzP
|-
| align="center"|202 || пятница, лекция в 13:00, семинар в 14:40, ауд. см. в [https://ruz.hse.ru/ РУЗе] || align="center"|Zus8FGK
|-
| align="center"|203 || пятница, лекция в 13:00, семинар в 14:40, ауд. см. в [https://ruz.hse.ru/ РУЗе] || align="center"|H85FCXe
|-
| Другие студенты || пятница, лекция в 13:00, можно выбрать семинар любой из групп 201, 202, 203 || align="center"|ml0iZHo
|}

Telegram для вопросов и объявлений по курсу: [https://t.me/+hFSF73A2XbY1NmUy чат], [https://t.me/+28iTtg-CT0syN2Uy канал]

Видеозаписи занятий: [https://www.youtube.com/playlist?list=PLEwK9wdS5g0o45P37r3hmD5Wbt-O2eWp2 ссылка]

== Система выставления оценок по курсу ==
В рамках курса предполагается четыре теоретических и четыре практических домашних заданий, а также экзамен в конце курса. Каждое задание и экзамен оцениваются исходя из 10-ти баллов. За задания можно получить дополнительные баллы за выполнение бонусных пунктов. Общая оценка за курс вычисляется по правилу Округление_вверх(0.7*<Оценка_за_семестр> + 0.3*<Оценка_за_экзамен>). <Оценка_за_семестр> = min(10, <Суммарная_оценка_за_задания>*10 / <Максимальная_суммарная_оценка_за_задания_без_бонусов>). Итоговая оценка за курс совпадает с общей оценкой при соблюдении следующих дополнительных условий:
{| class="wikitable"
! Итоговая оценка !! Условия
|-
|align="center"|>=8 || Сданы все задания, кроме одного (на оценку >= 3 без учета опоздания), экзамен сдан на оценку >= 6
|-
|align="center"|>=6 || Сданы все задания, кроме двух (на оценку >= 3 без учета опоздания), экзамен сдан на оценку >= 4
|-
|align="center"|>=4 || Сданы все задания, кроме четырех (на оценку >= 3 без учета опоздания), экзамен сдан на оценку >= 4
|-
|}

== Правила сдачи заданий ==
Теоретические и практические задания сдаются в систему anytask (инвайт см. выше). В случае наличия мягкого дедлайна задания могут быть присланы после срока сдачи, но с задержкой не более одной недели. При этом начисляется штраф из расчёта 0.5 балла в день. Все задания выполняются самостоятельно. Если задание выполнялось сообща или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчёте. В противном случае «похожие» решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.

Теоретические задания сдаются в anytask в виде сканов или набранных в TeX pdf-файлов. '''ВАЖНО!''' Присылаемые сканы должны быть высокого качества, присылаться одним файлом, в котором все листы идут в правильном порядке. В случае плохого качества сканов или же сдачи в формате, отличном от pdf, проверяющий имеет право поставить за работу 0, не проверяя.

В случае возникновения проблем с anytask в процессе сдачи заданий перед дедлайном следует поступать так: прислать выполненное задание в телеграм своему семинаристу, а затем в anytask написать, что задание было прислано в телеграм вместе с указанием ника в телеграме.

== Лекции и семинары ==
{| class = "wikitable"
|+
! № п/п
! Дата
! Занятие
! Материалы
|-
| align="center"|1
| 20 января 2023
| Введение в курс. Скорости сходимости итерационных процессов. Матрично-векторное дифференцирование. || [https://drive.google.com/file/d/1MXENV3Ryy8SgK3_q_lKB5gBG39qcl8_M/view?usp=sharing Конспект]
[https://drive.google.com/file/d/1bNWF262guJHTphptCTYARAsUKRPC9QmS/view?usp=sharing Конспект]
|-
| align="center"|2
| 27 января 2023
| Классы функций для оптимизации. Точная и неточная одномерная оптимизация || [http://www.machinelearning.ru/wiki/images/4/4d/MOMO16_min1d.pdf Конспект]
[https://drive.google.com/file/d/1UUvimdQn2aMG0E0qE1R1OKdXbyYyUSOT/view?usp=sharing Презентация]
|-
| align="center"|3
| 03 февраля 2023
| Метод градиентного спуска. Разностное дифференцирование. ||
|-
| align="center"|4
| 10 февраля 2023
| Стандартные матричные разложения. Метод Ньютона. || [https://drive.google.com/file/d/1K9xt0seQ_Oi0UcyziwHibhnr7PorNfqe/view?usp=sharing Презентация по подготовке отчётов]
|-
| align="center"|5
| 17 февраля 2023
| Метод сопряжённых градиентов. || [https://drive.google.com/file/d/1Ai3ZSuLTb0C6hL5KcAvagzJgKqL1-ySo/view?usp=sharing Презентация]
|-
| align="center"|--
| 24 февраля 2023
| ''Занятия не будет'' ||
|-
| align="center"|6
| 03 марта 2023
| Безгессианный метод Ньютона. Выпуклые множества. || [https://drive.google.com/file/d/1t9_Uvo-xrVd_nIVUk4CGXGfebHcFtTkw/view?usp=sharing Конспект]
|-
| align="center"|7
| 10 марта 2023
| Квазиньютоновские методы оптимизации. Выпуклые функции. || [https://drive.google.com/file/d/1glvkT1g6C405RT773KwUdKYRW_bhOKct/view?usp=sharing Конспект]
[http://www.machinelearning.ru/wiki/images/1/10/MOMO18_Seminar6.pdf Конспект]
|-
| align="center"|8
| 17 марта 2023
| Задачи условной оптимизации. Теорема Каруша-Куна-Таккера. || [http://www.machinelearning.ru/wiki/images/7/7f/MOMO18_Seminar7.pdf Конспект]
|-
| align="center"|9
| 24 марта 2023
| Задача линейного программирования. Симплекс-метод. Эквивалентные преобразования задач оптимизации. Стандартные классы выпуклых условных задач оптимизации. || [https://drive.google.com/file/d/1ghnO3gMssx2IS9LaaOgYXbwwq6Pm8ZXY/view?usp=sharing Конспект]
|-
| align="center"|--
| 31 марта 2023
| ''Занятия не будет'' ||
|-
| align="center"|10
| 7 апреля 2023
| Метод Ньютона и метод логарифмических барьеров для решения выпуклых задач условной оптимизации. Применение метода лог. барьеров для двойственной задачи в SVM. || [http://www.machinelearning.ru/wiki/images/8/81/MOMO12_ipm.pdf Конспект] 
|-
| align="center"|11
| 14 апреля 2023
| Прямо-двойственные методы для решения выпуклых задач условной оптимизации. ||
|-
| align="center"|12
| 21 апреля 2023
| Негладкая выпуклая оптимизация. Субградиентный метод. Субдифференциальное исчисление. || [http://www.machinelearning.ru/wiki/images/e/e5/MOMO18_Seminar10.pdf Конспект]
|-
| align="center"|13
| 28 апреля 2023
| Проксимальные методы оптимизации. Сопряженные функции и нормы. || [http://www.machinelearning.ru/wiki/images/1/15/MOMO18_Seminar8.pdf Конспект]
|-
| align="center"|--
| 5 мая 2023
| ''Занятия не будет'' ||
|-
| align="center"|14
| 12 апреля 2023
| Стохастическая оптимизация: методы SGD, SAG, SVRG. Проекции и проксимальные операторы. ||
|-
| align="center"|15
| 19 мая 2023
| Стохастическая оптимизация: методы SQN, NIM, Adagrad, RMSprop, ADAM. Автоматическое дифференцирование по графу вычислений. || [https://arxiv.org/abs/1401.7020 Статья 1] [https://proceedings.mlr.press/v48/rodomanov16.html Статья 2]
|-
| align="center"|16
| 26 мая 2023
| Дифференцирование через процесс оптимизации. || [https://arxiv.org/abs/1703.00443 Статья 1] [https://arxiv.org/abs/1502.03492 Статья 2]
|-
|}

== Рекомендуемая литература ==
1. J. Nocedal, S. Wright. [https://www.csie.ntu.edu.tw/~r97002/temp/num_optimization.pdf Numerical optimization]. Springer, 2006.

2. S. Boyd, L. Vandenberghe. [https://web.stanford.edu/~boyd/cvxbook/ Convex optimization]. Cambridge University Press, 2004.

Методы оптимизации в машинном обучении 2023

2023-02-05T11:03:53Z

Dkropotov:

__NOTOC__

Методы оптимизации лежат в основе решения многих задач компьютерных наук. Например, в машинном обучении задачу оптимизации необходимо решать каждый раз при настройке какой-то модели алгоритмов по данным, причём от эффективности решения соответствующей задачи оптимизации зависит практическая применимость самого метода машинного обучения. Данный курс посвящен изучению классических и современных методов решения задач непрерывной оптимизации (в том числе невыпуклых), а также особенностям применения этих методов в задачах оптимизации, возникающих в машинном обучении. Основной акцент в изложении делается на практические аспекты реализации и использования методов. Целью курса является выработка у слушателей навыков по подбору подходящего метода для своей задачи, наиболее полно учитывающего её особенности.

'''Преподаватели''': Кропотов Дмитрий Александрович, Кодрян Максим, Никоров Кирилл.

{| class="wikitable"
! Группа !! Расписание !! Инвайт для anytask
|-
| align="center"|201 || пятница, лекция в 13:00 ([https://us02web.zoom.us/j/83656446742?pwd=elcwYVo3bmVRYk44UEhTeHVMYXhOQT09 зум-ссылка] для трансляции), семинар в 14:40 ([https://us02web.zoom.us/j/83656446742?pwd=elcwYVo3bmVRYk44UEhTeHVMYXhOQT09 зум-ссылка] для трансляции), ауд. см. в [https://ruz.hse.ru/ РУЗе] || align="center"|nuYXlzP
|-
| align="center"|202 || пятница, лекция в 13:00 ([https://us02web.zoom.us/j/83656446742?pwd=elcwYVo3bmVRYk44UEhTeHVMYXhOQT09 зум-ссылка] для трансляции), семинар в 14:40, ауд. см. в [https://ruz.hse.ru/ РУЗе] || align="center"|Zus8FGK
|-
| align="center"|203 || пятница, лекция в 13:00 ([https://us02web.zoom.us/j/83656446742?pwd=elcwYVo3bmVRYk44UEhTeHVMYXhOQT09 зум-ссылка] для трансляции), семинар в 14:40, ауд. см. в [https://ruz.hse.ru/ РУЗе] || align="center"|H85FCXe
|-
| Другие студенты || пятница, лекция в 13:00 ([https://us02web.zoom.us/j/83656446742?pwd=elcwYVo3bmVRYk44UEhTeHVMYXhOQT09 зум-ссылка] для трансляции), можно выбрать семинар любой из групп 201, 202, 203 || align="center"|ml0iZHo
|}

Telegram для вопросов и объявлений по курсу: [https://t.me/+hFSF73A2XbY1NmUy чат], [https://t.me/+28iTtg-CT0syN2Uy канал]

Видеозаписи занятий: [https://www.youtube.com/playlist?list=PLEwK9wdS5g0o45P37r3hmD5Wbt-O2eWp2 ссылка]

== Система выставления оценок по курсу ==
В рамках курса предполагается четыре теоретических и четыре практических домашних заданий, а также экзамен в конце курса. Каждое задание и экзамен оцениваются исходя из 10-ти баллов. За задания можно получить дополнительные баллы за выполнение бонусных пунктов. Общая оценка за курс вычисляется по правилу Округление_вверх(0.7*<Оценка_за_семестр> + 0.3*<Оценка_за_экзамен>). <Оценка_за_семестр> = min(10, <Суммарная_оценка_за_задания>*10 / <Максимальная_суммарная_оценка_за_задания_без_бонусов>). Итоговая оценка за курс совпадает с общей оценкой при соблюдении следующих дополнительных условий:
{| class="wikitable"
! Итоговая оценка !! Условия
|-
|align="center"|>=8 || Сданы все задания, кроме одного (на оценку >= 3 без учета опоздания), экзамен сдан на оценку >= 6
|-
|align="center"|>=6 || Сданы все задания, кроме двух (на оценку >= 3 без учета опоздания), экзамен сдан на оценку >= 4
|-
|align="center"|>=4 || Сданы все задания, кроме четырех (на оценку >= 3 без учета опоздания), экзамен сдан на оценку >= 4
|-
|}

== Правила сдачи заданий ==
Теоретические и практические задания сдаются в систему anytask (инвайт см. выше). В случае наличия мягкого дедлайна задания могут быть присланы после срока сдачи, но с задержкой не более одной недели. При этом начисляется штраф из расчёта 0.5 балла в день. Все задания выполняются самостоятельно. Если задание выполнялось сообща или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчёте. В противном случае «похожие» решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.

Теоретические задания сдаются в anytask в виде сканов или набранных в TeX pdf-файлов. '''ВАЖНО!''' Присылаемые сканы должны быть высокого качества, присылаться одним файлом, в котором все листы идут в правильном порядке. В случае плохого качества сканов или же сдачи в формате, отличном от pdf, проверяющий имеет право поставить за работу 0, не проверяя.

В случае возникновения проблем с anytask в процессе сдачи заданий перед дедлайном следует поступать так: прислать выполненное задание в телеграм своему семинаристу, а затем в anytask написать, что задание было прислано в телеграм вместе с указанием ника в телеграме.

== Лекции и семинары ==
{| class = "wikitable"
|+
! № п/п
! Дата
! Занятие
! Материалы
|-
| align="center"|1
| 20 января 2023
| Введение в курс. Скорости сходимости итерационных процессов. Матрично-векторное дифференцирование. || [https://drive.google.com/file/d/1MXENV3Ryy8SgK3_q_lKB5gBG39qcl8_M/view?usp=sharing Конспект]
[https://drive.google.com/file/d/1bNWF262guJHTphptCTYARAsUKRPC9QmS/view?usp=sharing Конспект]
|-
| align="center"|2
| 27 января 2023
| Классы функций для оптимизации. Точная и неточная одномерная оптимизация || [http://www.machinelearning.ru/wiki/images/4/4d/MOMO16_min1d.pdf Конспект]
[https://drive.google.com/file/d/1UUvimdQn2aMG0E0qE1R1OKdXbyYyUSOT/view?usp=sharing Презентация]
|-
| align="center"|3
| 03 февраля 2023
| Метод градиентного спуска. Разностное дифференцирование. ||
|-
| align="center"|4
| 10 февраля 2023
| Стандартные матричные разложения. Метод Ньютона. || [https://drive.google.com/file/d/1K9xt0seQ_Oi0UcyziwHibhnr7PorNfqe/view?usp=sharing Презентация по подготовке отчётов]
|-
| align="center"|5
| 17 февраля 2023
| Метод сопряжённых градиентов. || [https://drive.google.com/file/d/1Ai3ZSuLTb0C6hL5KcAvagzJgKqL1-ySo/view?usp=sharing Презентация]
|-
| align="center"|--
| 24 февраля 2023
| ''Занятия не будет'' ||
|-
| align="center"|6
| 03 марта 2023
| Безгессианный метод Ньютона. Выпуклые множества. || [https://drive.google.com/file/d/1t9_Uvo-xrVd_nIVUk4CGXGfebHcFtTkw/view?usp=sharing Конспект]
|-
| align="center"|7
| 10 марта 2023
| Квазиньютоновские методы оптимизации. Выпуклые функции. || [https://drive.google.com/file/d/1glvkT1g6C405RT773KwUdKYRW_bhOKct/view?usp=sharing Конспект]
[http://www.machinelearning.ru/wiki/images/1/10/MOMO18_Seminar6.pdf Конспект]
|-
| align="center"|8
| 17 марта 2023
| Задачи условной оптимизации. Теорема Каруша-Куна-Таккера. || [http://www.machinelearning.ru/wiki/images/7/7f/MOMO18_Seminar7.pdf Конспект]
|-
| align="center"|9
| 24 марта 2023
| Задача линейного программирования. Симплекс-метод. Эквивалентные преобразования задач оптимизации. Стандартные классы выпуклых условных задач оптимизации. || [https://drive.google.com/file/d/1ghnO3gMssx2IS9LaaOgYXbwwq6Pm8ZXY/view?usp=sharing Конспект]
|-
| align="center"|--
| 31 марта 2023
| ''Занятия не будет'' ||
|-
| align="center"|10
| 7 апреля 2023
| Метод Ньютона и метод логарифмических барьеров для решения выпуклых задач условной оптимизации. Применение метода лог. барьеров для двойственной задачи в SVM. || [http://www.machinelearning.ru/wiki/images/8/81/MOMO12_ipm.pdf Конспект] 
|-
| align="center"|11
| 14 апреля 2023
| Прямо-двойственные методы для решения выпуклых задач условной оптимизации. ||
|-
| align="center"|12
| 21 апреля 2023
| Негладкая выпуклая оптимизация. Субградиентный метод. Субдифференциальное исчисление. || [http://www.machinelearning.ru/wiki/images/e/e5/MOMO18_Seminar10.pdf Конспект]
|-
| align="center"|13
| 28 апреля 2023
| Проксимальные методы оптимизации. Сопряженные функции и нормы. || [http://www.machinelearning.ru/wiki/images/1/15/MOMO18_Seminar8.pdf Конспект]
|-
| align="center"|--
| 5 мая 2023
| ''Занятия не будет'' ||
|-
| align="center"|14
| 12 апреля 2023
| Стохастическая оптимизация: методы SGD, SAG, SVRG. Проекции и проксимальные операторы. ||
|-
| align="center"|15
| 19 мая 2023
| Стохастическая оптимизация: методы SQN, NIM, Adagrad, RMSprop, ADAM. Автоматическое дифференцирование по графу вычислений. || [https://arxiv.org/abs/1401.7020 Статья 1] [https://proceedings.mlr.press/v48/rodomanov16.html Статья 2]
|-
| align="center"|16
| 26 мая 2023
| Дифференцирование через процесс оптимизации. || [https://arxiv.org/abs/1703.00443 Статья 1] [https://arxiv.org/abs/1502.03492 Статья 2]
|-
|}

== Рекомендуемая литература ==
1. J. Nocedal, S. Wright. [https://www.csie.ntu.edu.tw/~r97002/temp/num_optimization.pdf Numerical optimization]. Springer, 2006.

2. S. Boyd, L. Vandenberghe. [https://web.stanford.edu/~boyd/cvxbook/ Convex optimization]. Cambridge University Press, 2004.

Методы оптимизации в машинном обучении 2023

2023-02-03T07:34:49Z

Dkropotov:

__NOTOC__

Методы оптимизации лежат в основе решения многих задач компьютерных наук. Например, в машинном обучении задачу оптимизации необходимо решать каждый раз при настройке какой-то модели алгоритмов по данным, причём от эффективности решения соответствующей задачи оптимизации зависит практическая применимость самого метода машинного обучения. Данный курс посвящен изучению классических и современных методов решения задач непрерывной оптимизации (в том числе невыпуклых), а также особенностям применения этих методов в задачах оптимизации, возникающих в машинном обучении. Основной акцент в изложении делается на практические аспекты реализации и использования методов. Целью курса является выработка у слушателей навыков по подбору подходящего метода для своей задачи, наиболее полно учитывающего её особенности.

'''Преподаватели''': Кропотов Дмитрий Александрович, Кодрян Максим, Никоров Кирилл.

{| class="wikitable"
! Группа !! Расписание !! Инвайт для anytask
|-
| align="center"|201 || пятница, лекция в 13:00 ([https://us02web.zoom.us/j/83656446742?pwd=elcwYVo3bmVRYk44UEhTeHVMYXhOQT09 зум-ссылка] для трансляции), семинар в 14:40 ([https://us02web.zoom.us/j/83656446742?pwd=elcwYVo3bmVRYk44UEhTeHVMYXhOQT09 зум-ссылка] для трансляции), ауд. см. в [https://ruz.hse.ru/ РУЗе] || align="center"|nuYXlzP
|-
| align="center"|202 || пятница, лекция в 13:00 ([https://us02web.zoom.us/j/83656446742?pwd=elcwYVo3bmVRYk44UEhTeHVMYXhOQT09 зум-ссылка] для трансляции), семинар в 14:40, ауд. см. в [https://ruz.hse.ru/ РУЗе] || align="center"|Zus8FGK
|-
| align="center"|203 || пятница, лекция в 13:00 ([https://us02web.zoom.us/j/83656446742?pwd=elcwYVo3bmVRYk44UEhTeHVMYXhOQT09 зум-ссылка] для трансляции), семинар в 14:40, ауд. см. в [https://ruz.hse.ru/ РУЗе] || align="center"|H85FCXe
|-
| Другие студенты || пятница, лекция в 13:00 ([https://us02web.zoom.us/j/83656446742?pwd=elcwYVo3bmVRYk44UEhTeHVMYXhOQT09 зум-ссылка] для трансляции), можно выбрать семинар любой из групп 201, 202, 203 || align="center"|ml0iZHo
|}

Группа в Telegram для вопросов по курсу: [https://t.me/+hFSF73A2XbY1NmUy ссылка]

Видеозаписи занятий: [https://www.youtube.com/playlist?list=PLEwK9wdS5g0o45P37r3hmD5Wbt-O2eWp2 ссылка]

== Система выставления оценок по курсу ==
В рамках курса предполагается четыре теоретических и четыре практических домашних заданий, а также экзамен в конце курса. Каждое задание и экзамен оцениваются исходя из 10-ти баллов. За задания можно получить дополнительные баллы за выполнение бонусных пунктов. Общая оценка за курс вычисляется по правилу Округление_вверх(0.7*<Оценка_за_семестр> + 0.3*<Оценка_за_экзамен>). <Оценка_за_семестр> = min(10, <Суммарная_оценка_за_задания>*10 / <Максимальная_суммарная_оценка_за_задания_без_бонусов>). Итоговая оценка за курс совпадает с общей оценкой при соблюдении следующих дополнительных условий:
{| class="wikitable"
! Итоговая оценка !! Условия
|-
|align="center"|>=8 || Сданы все задания, кроме одного (на оценку >= 3 без учета опоздания), экзамен сдан на оценку >= 6
|-
|align="center"|>=6 || Сданы все задания, кроме двух (на оценку >= 3 без учета опоздания), экзамен сдан на оценку >= 4
|-
|align="center"|>=4 || Сданы все задания, кроме четырех (на оценку >= 3 без учета опоздания), экзамен сдан на оценку >= 4
|-
|}

== Правила сдачи заданий ==
Теоретические и практические задания сдаются в систему anytask (инвайт см. выше). В случае наличия мягкого дедлайна задания могут быть присланы после срока сдачи, но с задержкой не более одной недели. При этом начисляется штраф из расчёта 0.5 балла в день. Все задания выполняются самостоятельно. Если задание выполнялось сообща или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчёте. В противном случае «похожие» решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.

Теоретические задания сдаются в anytask в виде сканов или набранных в TeX pdf-файлов. '''ВАЖНО!''' Присылаемые сканы должны быть высокого качества, присылаться одним файлом, в котором все листы идут в правильном порядке. В случае плохого качества сканов или же сдачи в формате, отличном от pdf, проверяющий имеет право поставить за работу 0, не проверяя.

В случае возникновения проблем с anytask в процессе сдачи заданий перед дедлайном следует поступать так: прислать выполненное задание в телеграм своему семинаристу, а затем в anytask написать, что задание было прислано в телеграм вместе с указанием ника в телеграме.

== Лекции и семинары ==
{| class = "wikitable"
|+
! № п/п
! Дата
! Занятие
! Материалы
|-
| align="center"|1
| 20 января 2023
| Введение в курс. Скорости сходимости итерационных процессов. Матрично-векторное дифференцирование. || [https://drive.google.com/file/d/1MXENV3Ryy8SgK3_q_lKB5gBG39qcl8_M/view?usp=sharing Конспект]
[https://drive.google.com/file/d/1bNWF262guJHTphptCTYARAsUKRPC9QmS/view?usp=sharing Конспект]
|-
| align="center"|2
| 27 января 2023
| Классы функций для оптимизации. Точная и неточная одномерная оптимизация || [http://www.machinelearning.ru/wiki/images/4/4d/MOMO16_min1d.pdf Конспект]
[https://drive.google.com/file/d/1UUvimdQn2aMG0E0qE1R1OKdXbyYyUSOT/view?usp=sharing Презентация]
|-
| align="center"|3
| 03 февраля 2023
| Метод градиентного спуска. Разностное дифференцирование. ||
|-
| align="center"|4
| 10 февраля 2023
| Стандартные матричные разложения. Метод Ньютона. || [https://drive.google.com/file/d/1K9xt0seQ_Oi0UcyziwHibhnr7PorNfqe/view?usp=sharing Презентация по подготовке отчётов]
|-
| align="center"|5
| 17 февраля 2023
| Метод сопряжённых градиентов. || [https://drive.google.com/file/d/1Ai3ZSuLTb0C6hL5KcAvagzJgKqL1-ySo/view?usp=sharing Презентация]
|-
| align="center"|--
| 24 февраля 2023
| ''Занятия не будет'' ||
|-
| align="center"|6
| 03 марта 2023
| Безгессианный метод Ньютона. Выпуклые множества. || [https://drive.google.com/file/d/1t9_Uvo-xrVd_nIVUk4CGXGfebHcFtTkw/view?usp=sharing Конспект]
|-
| align="center"|7
| 10 марта 2023
| Квазиньютоновские методы оптимизации. Выпуклые функции. || [https://drive.google.com/file/d/1glvkT1g6C405RT773KwUdKYRW_bhOKct/view?usp=sharing Конспект]
[http://www.machinelearning.ru/wiki/images/1/10/MOMO18_Seminar6.pdf Конспект]
|-
| align="center"|8
| 17 марта 2023
| Задачи условной оптимизации. Теорема Каруша-Куна-Таккера. || [http://www.machinelearning.ru/wiki/images/7/7f/MOMO18_Seminar7.pdf Конспект]
|-
| align="center"|9
| 24 марта 2023
| Задача линейного программирования. Симплекс-метод. Эквивалентные преобразования задач оптимизации. Стандартные классы выпуклых условных задач оптимизации. || [https://drive.google.com/file/d/1ghnO3gMssx2IS9LaaOgYXbwwq6Pm8ZXY/view?usp=sharing Конспект]
|-
| align="center"|--
| 31 марта 2023
| ''Занятия не будет'' ||
|-
| align="center"|10
| 7 апреля 2023
| Метод Ньютона и метод логарифмических барьеров для решения выпуклых задач условной оптимизации. Применение метода лог. барьеров для двойственной задачи в SVM. || [http://www.machinelearning.ru/wiki/images/8/81/MOMO12_ipm.pdf Конспект] 
|-
| align="center"|11
| 14 апреля 2023
| Прямо-двойственные методы для решения выпуклых задач условной оптимизации. ||
|-
| align="center"|12
| 21 апреля 2023
| Негладкая выпуклая оптимизация. Субградиентный метод. Субдифференциальное исчисление. || [http://www.machinelearning.ru/wiki/images/e/e5/MOMO18_Seminar10.pdf Конспект]
|-
| align="center"|13
| 28 апреля 2023
| Проксимальные методы оптимизации. Сопряженные функции и нормы. || [http://www.machinelearning.ru/wiki/images/1/15/MOMO18_Seminar8.pdf Конспект]
|-
| align="center"|--
| 5 мая 2023
| ''Занятия не будет'' ||
|-
| align="center"|14
| 12 апреля 2023
| Стохастическая оптимизация: методы SGD, SAG, SVRG. Проекции и проксимальные операторы. ||
|-
| align="center"|15
| 19 мая 2023
| Стохастическая оптимизация: методы SQN, NIM, Adagrad, RMSprop, ADAM. Автоматическое дифференцирование по графу вычислений. || [https://arxiv.org/abs/1401.7020 Статья 1] [https://proceedings.mlr.press/v48/rodomanov16.html Статья 2]
|-
| align="center"|16
| 26 мая 2023
| Дифференцирование через процесс оптимизации. || [https://arxiv.org/abs/1703.00443 Статья 1] [https://arxiv.org/abs/1502.03492 Статья 2]
|-
|}

== Рекомендуемая литература ==
1. J. Nocedal, S. Wright. [https://www.csie.ntu.edu.tw/~r97002/temp/num_optimization.pdf Numerical optimization]. Springer, 2006.

2. S. Boyd, L. Vandenberghe. [https://web.stanford.edu/~boyd/cvxbook/ Convex optimization]. Cambridge University Press, 2004.

Методы оптимизации в машинном обучении 2023

2023-01-31T12:38:41Z

Dkropotov: /* Лекции и семинары */

__NOTOC__

Методы оптимизации лежат в основе решения многих задач компьютерных наук. Например, в машинном обучении задачу оптимизации необходимо решать каждый раз при настройке какой-то модели алгоритмов по данным, причём от эффективности решения соответствующей задачи оптимизации зависит практическая применимость самого метода машинного обучения. Данный курс посвящен изучению классических и современных методов решения задач непрерывной оптимизации (в том числе невыпуклых), а также особенностям применения этих методов в задачах оптимизации, возникающих в машинном обучении. Основной акцент в изложении делается на практические аспекты реализации и использования методов. Целью курса является выработка у слушателей навыков по подбору подходящего метода для своей задачи, наиболее полно учитывающего её особенности.

'''Преподаватели''': Кропотов Дмитрий Александрович, Кодрян Максим, Никоров Кирилл.

{| class="wikitable"
! Группа !! Расписание !! Инвайт для anytask
|-
| align="center"|201 || пятница, лекция в 13:00, семинар в 14:40, ауд. см. в [https://ruz.hse.ru/ РУЗе] || align="center"|nuYXlzP
|-
| align="center"|202 || пятница, лекция в 13:00, семинар в 14:40, ауд. см. в [https://ruz.hse.ru/ РУЗе] || align="center"|Zus8FGK
|-
| align="center"|203 || пятница, лекция в 13:00, семинар в 14:40, ауд. см. в [https://ruz.hse.ru/ РУЗе] || align="center"|H85FCXe
|-
| Другие студенты || пятница, лекция в 13:00, можно выбрать семинар любой из групп 201, 202, 203 || align="center"|ml0iZHo
|}

Группа в Telegram для вопросов по курсу: [https://t.me/+hFSF73A2XbY1NmUy ссылка]

Видеозаписи занятий: [https://www.youtube.com/playlist?list=PLEwK9wdS5g0o45P37r3hmD5Wbt-O2eWp2 ссылка]

== Система выставления оценок по курсу ==
В рамках курса предполагается четыре теоретических и четыре практических домашних заданий, а также экзамен в конце курса. Каждое задание и экзамен оцениваются исходя из 10-ти баллов. За задания можно получить дополнительные баллы за выполнение бонусных пунктов. Общая оценка за курс вычисляется по правилу Округление_вверх(0.7*<Оценка_за_семестр> + 0.3*<Оценка_за_экзамен>). <Оценка_за_семестр> = min(10, <Суммарная_оценка_за_задания>*10 / <Максимальная_суммарная_оценка_за_задания_без_бонусов>). Итоговая оценка за курс совпадает с общей оценкой при соблюдении следующих дополнительных условий:
{| class="wikitable"
! Итоговая оценка !! Условия
|-
|align="center"|>=8 || Сданы все задания, кроме одного (на оценку >= 3 без учета опоздания), экзамен сдан на оценку >= 6
|-
|align="center"|>=6 || Сданы все задания, кроме двух (на оценку >= 3 без учета опоздания), экзамен сдан на оценку >= 4
|-
|align="center"|>=4 || Сданы все задания, кроме четырех (на оценку >= 3 без учета опоздания), экзамен сдан на оценку >= 4
|-
|}

== Правила сдачи заданий ==
Теоретические и практические задания сдаются в систему anytask (инвайт см. выше). В случае наличия мягкого дедлайна задания могут быть присланы после срока сдачи, но с задержкой не более одной недели. При этом начисляется штраф из расчёта 0.5 балла в день. Все задания выполняются самостоятельно. Если задание выполнялось сообща или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчёте. В противном случае «похожие» решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.

Теоретические задания сдаются в anytask в виде сканов или набранных в TeX pdf-файлов. '''ВАЖНО!''' Присылаемые сканы должны быть высокого качества, присылаться одним файлом, в котором все листы идут в правильном порядке. В случае плохого качества сканов или же сдачи в формате, отличном от pdf, проверяющий имеет право поставить за работу 0, не проверяя.

В случае возникновения проблем с anytask в процессе сдачи заданий перед дедлайном следует поступать так: прислать выполненное задание в телеграм своему семинаристу, а затем в anytask написать, что задание было прислано в телеграм вместе с указанием ника в телеграме.

== Лекции и семинары ==
{| class = "wikitable"
|+
! № п/п
! Дата
! Занятие
! Материалы
|-
| align="center"|1
| 20 января 2023
| Введение в курс. Скорости сходимости итерационных процессов. Матрично-векторное дифференцирование. || [https://drive.google.com/file/d/1MXENV3Ryy8SgK3_q_lKB5gBG39qcl8_M/view?usp=sharing Конспект]
[https://drive.google.com/file/d/1bNWF262guJHTphptCTYARAsUKRPC9QmS/view?usp=sharing Конспект]
|-
| align="center"|2
| 27 января 2023
| Классы функций для оптимизации. Точная и неточная одномерная оптимизация || [http://www.machinelearning.ru/wiki/images/4/4d/MOMO16_min1d.pdf Конспект]
[https://drive.google.com/file/d/1UUvimdQn2aMG0E0qE1R1OKdXbyYyUSOT/view?usp=sharing Презентация]
|-
| align="center"|3
| 03 февраля 2023
| Метод градиентного спуска. Разностное дифференцирование. ||
|-
| align="center"|4
| 10 февраля 2023
| Стандартные матричные разложения. Метод Ньютона. || [https://drive.google.com/file/d/1K9xt0seQ_Oi0UcyziwHibhnr7PorNfqe/view?usp=sharing Презентация по подготовке отчётов]
|-
| align="center"|5
| 17 февраля 2023
| Метод сопряжённых градиентов. || [https://drive.google.com/file/d/1Ai3ZSuLTb0C6hL5KcAvagzJgKqL1-ySo/view?usp=sharing Презентация]
|-
| align="center"|--
| 24 февраля 2023
| ''Занятия не будет'' ||
|-
| align="center"|6
| 03 марта 2023
| Безгессианный метод Ньютона. Выпуклые множества. || [https://drive.google.com/file/d/1t9_Uvo-xrVd_nIVUk4CGXGfebHcFtTkw/view?usp=sharing Конспект]
|-
| align="center"|7
| 10 марта 2023
| Квазиньютоновские методы оптимизации. Выпуклые функции. || [https://drive.google.com/file/d/1glvkT1g6C405RT773KwUdKYRW_bhOKct/view?usp=sharing Конспект]
[http://www.machinelearning.ru/wiki/images/1/10/MOMO18_Seminar6.pdf Конспект]
|-
| align="center"|8
| 17 марта 2023
| Задачи условной оптимизации. Теорема Каруша-Куна-Таккера. || [http://www.machinelearning.ru/wiki/images/7/7f/MOMO18_Seminar7.pdf Конспект]
|-
| align="center"|9
| 24 марта 2023
| Задача линейного программирования. Симплекс-метод. Эквивалентные преобразования задач оптимизации. Стандартные классы выпуклых условных задач оптимизации. || [https://drive.google.com/file/d/1ghnO3gMssx2IS9LaaOgYXbwwq6Pm8ZXY/view?usp=sharing Конспект]
|-
| align="center"|--
| 31 марта 2023
| ''Занятия не будет'' ||
|-
| align="center"|10
| 7 апреля 2023
| Метод Ньютона и метод логарифмических барьеров для решения выпуклых задач условной оптимизации. Применение метода лог. барьеров для двойственной задачи в SVM. || [http://www.machinelearning.ru/wiki/images/8/81/MOMO12_ipm.pdf Конспект] 
|-
| align="center"|11
| 14 апреля 2023
| Прямо-двойственные методы для решения выпуклых задач условной оптимизации. ||
|-
| align="center"|12
| 21 апреля 2023
| Негладкая выпуклая оптимизация. Субградиентный метод. Субдифференциальное исчисление. || [http://www.machinelearning.ru/wiki/images/e/e5/MOMO18_Seminar10.pdf Конспект]
|-
| align="center"|13
| 28 апреля 2023
| Проксимальные методы оптимизации. Сопряженные функции и нормы. || [http://www.machinelearning.ru/wiki/images/1/15/MOMO18_Seminar8.pdf Конспект]
|-
| align="center"|--
| 5 мая 2023
| ''Занятия не будет'' ||
|-
| align="center"|14
| 12 апреля 2023
| Стохастическая оптимизация: методы SGD, SAG, SVRG. Проекции и проксимальные операторы. ||
|-
| align="center"|15
| 19 мая 2023
| Стохастическая оптимизация: методы SQN, NIM, Adagrad, RMSprop, ADAM. Автоматическое дифференцирование по графу вычислений. || [https://arxiv.org/abs/1401.7020 Статья 1] [https://proceedings.mlr.press/v48/rodomanov16.html Статья 2]
|-
| align="center"|16
| 26 мая 2023
| Дифференцирование через процесс оптимизации. || [https://arxiv.org/abs/1703.00443 Статья 1] [https://arxiv.org/abs/1502.03492 Статья 2]
|-
|}

== Рекомендуемая литература ==
1. J. Nocedal, S. Wright. [https://www.csie.ntu.edu.tw/~r97002/temp/num_optimization.pdf Numerical optimization]. Springer, 2006.

2. S. Boyd, L. Vandenberghe. [https://web.stanford.edu/~boyd/cvxbook/ Convex optimization]. Cambridge University Press, 2004.

Методы оптимизации в машинном обучении 2023

2023-01-27T13:22:17Z

Dkropotov:

__NOTOC__

Методы оптимизации лежат в основе решения многих задач компьютерных наук. Например, в машинном обучении задачу оптимизации необходимо решать каждый раз при настройке какой-то модели алгоритмов по данным, причём от эффективности решения соответствующей задачи оптимизации зависит практическая применимость самого метода машинного обучения. Данный курс посвящен изучению классических и современных методов решения задач непрерывной оптимизации (в том числе невыпуклых), а также особенностям применения этих методов в задачах оптимизации, возникающих в машинном обучении. Основной акцент в изложении делается на практические аспекты реализации и использования методов. Целью курса является выработка у слушателей навыков по подбору подходящего метода для своей задачи, наиболее полно учитывающего её особенности.

'''Преподаватели''': Кропотов Дмитрий Александрович, Кодрян Максим, Никоров Кирилл.

{| class="wikitable"
! Группа !! Расписание !! Инвайт для anytask
|-
| align="center"|201 || пятница, лекция в 13:00, семинар в 14:40, ауд. см. в [https://ruz.hse.ru/ РУЗе] || align="center"|nuYXlzP
|-
| align="center"|202 || пятница, лекция в 13:00, семинар в 14:40, ауд. см. в [https://ruz.hse.ru/ РУЗе] || align="center"|Zus8FGK
|-
| align="center"|203 || пятница, лекция в 13:00, семинар в 14:40, ауд. см. в [https://ruz.hse.ru/ РУЗе] || align="center"|H85FCXe
|-
| Другие студенты || пятница, лекция в 13:00, можно выбрать семинар любой из групп 201, 202, 203 || align="center"|ml0iZHo
|}

Группа в Telegram для вопросов по курсу: [https://t.me/+hFSF73A2XbY1NmUy ссылка]

Видеозаписи занятий: [https://www.youtube.com/playlist?list=PLEwK9wdS5g0o45P37r3hmD5Wbt-O2eWp2 ссылка]

== Система выставления оценок по курсу ==
В рамках курса предполагается четыре теоретических и четыре практических домашних заданий, а также экзамен в конце курса. Каждое задание и экзамен оцениваются исходя из 10-ти баллов. За задания можно получить дополнительные баллы за выполнение бонусных пунктов. Общая оценка за курс вычисляется по правилу Округление_вверх(0.7*<Оценка_за_семестр> + 0.3*<Оценка_за_экзамен>). <Оценка_за_семестр> = min(10, <Суммарная_оценка_за_задания>*10 / <Максимальная_суммарная_оценка_за_задания_без_бонусов>). Итоговая оценка за курс совпадает с общей оценкой при соблюдении следующих дополнительных условий:
{| class="wikitable"
! Итоговая оценка !! Условия
|-
|align="center"|>=8 || Сданы все задания, кроме одного (на оценку >= 3 без учета опоздания), экзамен сдан на оценку >= 6
|-
|align="center"|>=6 || Сданы все задания, кроме двух (на оценку >= 3 без учета опоздания), экзамен сдан на оценку >= 4
|-
|align="center"|>=4 || Сданы все задания, кроме четырех (на оценку >= 3 без учета опоздания), экзамен сдан на оценку >= 4
|-
|}

== Правила сдачи заданий ==
Теоретические и практические задания сдаются в систему anytask (инвайт см. выше). В случае наличия мягкого дедлайна задания могут быть присланы после срока сдачи, но с задержкой не более одной недели. При этом начисляется штраф из расчёта 0.5 балла в день. Все задания выполняются самостоятельно. Если задание выполнялось сообща или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчёте. В противном случае «похожие» решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.

Теоретические задания сдаются в anytask в виде сканов или набранных в TeX pdf-файлов. '''ВАЖНО!''' Присылаемые сканы должны быть высокого качества, присылаться одним файлом, в котором все листы идут в правильном порядке. В случае плохого качества сканов или же сдачи в формате, отличном от pdf, проверяющий имеет право поставить за работу 0, не проверяя.

В случае возникновения проблем с anytask в процессе сдачи заданий перед дедлайном следует поступать так: прислать выполненное задание в телеграм своему семинаристу, а затем в anytask написать, что задание было прислано в телеграм вместе с указанием ника в телеграме.

== Лекции и семинары ==
{| class = "wikitable"
|+
! № п/п
! Дата
! Занятие
! Материалы
|-
| align="center"|1
| 20 января 2023
| Введение в курс. Скорости сходимости итерационных процессов. Матрично-векторное дифференцирование. || [https://drive.google.com/file/d/1MXENV3Ryy8SgK3_q_lKB5gBG39qcl8_M/view?usp=sharing Конспект]
[https://drive.google.com/file/d/1bNWF262guJHTphptCTYARAsUKRPC9QmS/view?usp=sharing Конспект]
|-
| align="center"|2
| 27 января 2023
| Классы функций для оптимизации. Точная и неточная одномерная оптимизация || [http://www.machinelearning.ru/wiki/images/4/4d/MOMO16_min1d.pdf Конспект]
[https://drive.google.com/file/d/1UUvimdQn2aMG0E0qE1R1OKdXbyYyUSOT/view?usp=sharing Презентация]
|-
| align="center"|3
| 03 февраля 2023
| Метод градиентного спуска. Разностное дифференцирование. ||
|-
| align="center"|4
| 10 февраля 2023
| Стандартные матричные разложения. Метод Ньютона. || [https://drive.google.com/file/d/1K9xt0seQ_Oi0UcyziwHibhnr7PorNfqe/view?usp=sharing Презентация по подготовке отчётов]
|-
| align="center"|5
| 17 февраля 2023
| Метод сопряжённых градиентов. || [https://drive.google.com/file/d/1Ai3ZSuLTb0C6hL5KcAvagzJgKqL1-ySo/view?usp=sharing Презентация]
|-
| align="center"|6
| 24 февраля 2023
| Безгессианный метод Ньютона. Выпуклые множества. || [https://drive.google.com/file/d/1t9_Uvo-xrVd_nIVUk4CGXGfebHcFtTkw/view?usp=sharing Конспект]
|-
| align="center"|7
| 03 марта 2023
| Квазиньютоновские методы оптимизации. Выпуклые функции. || [https://drive.google.com/file/d/1glvkT1g6C405RT773KwUdKYRW_bhOKct/view?usp=sharing Конспект]
[http://www.machinelearning.ru/wiki/images/1/10/MOMO18_Seminar6.pdf Конспект]
|-
| align="center"|8
| 10 марта 2023
| Задачи условной оптимизации. Теорема Каруша-Куна-Таккера. || [http://www.machinelearning.ru/wiki/images/7/7f/MOMO18_Seminar7.pdf Конспект]
|-
| align="center"|9
| 17 марта 2023
| Задача линейного программирования. Симплекс-метод. Эквивалентные преобразования задач оптимизации. Стандартные классы выпуклых условных задач оптимизации. || [https://drive.google.com/file/d/1ghnO3gMssx2IS9LaaOgYXbwwq6Pm8ZXY/view?usp=sharing Конспект]
|-
| align="center"|10
| 24 марта 2023
| Метод Ньютона и метод логарифмических барьеров для решения выпуклых задач условной оптимизации. Применение метода лог. барьеров для двойственной задачи в SVM. || [http://www.machinelearning.ru/wiki/images/8/81/MOMO12_ipm.pdf Конспект] 
|-
| align="center"|--
| 31 марта 2023
| ''Занятия не будет'' ||
|-
| align="center"|11
| 7 апреля 2023
| Прямо-двойственные методы для решения выпуклых задач условной оптимизации. ||
|-
| align="center"|12
| 14 апреля 2023
| Негладкая выпуклая оптимизация. Субградиентный метод. Субдифференциальное исчисление. || [http://www.machinelearning.ru/wiki/images/e/e5/MOMO18_Seminar10.pdf Конспект]
|-
| align="center"|13
| 21 апреля 2023
| Проксимальные методы оптимизации. Сопряженные функции и нормы. || [http://www.machinelearning.ru/wiki/images/1/15/MOMO18_Seminar8.pdf Конспект]
|-
| align="center"|14
| 28 апреля 2023
| Стохастическая оптимизация: методы SGD, SAG, SVRG. Проекции и проксимальные операторы. ||
|-
| align="center"|--
| 5 мая 2023
| ''Занятия не будет'' ||
|-
| align="center"|15
| 12 мая 2023
| Стохастическая оптимизация: методы SQN, NIM, Adagrad, RMSprop, ADAM. Автоматическое дифференцирование по графу вычислений. || [https://arxiv.org/abs/1401.7020 Статья 1] [https://proceedings.mlr.press/v48/rodomanov16.html Статья 2]
|-
| align="center"|16
| 19 мая 2023
| Дифференцирование через процесс оптимизации. || [https://arxiv.org/abs/1703.00443 Статья 1] [https://arxiv.org/abs/1502.03492 Статья 2]
|-
|}

== Рекомендуемая литература ==
1. J. Nocedal, S. Wright. [https://www.csie.ntu.edu.tw/~r97002/temp/num_optimization.pdf Numerical optimization]. Springer, 2006.

2. S. Boyd, L. Vandenberghe. [https://web.stanford.edu/~boyd/cvxbook/ Convex optimization]. Cambridge University Press, 2004.

Методы оптимизации в машинном обучении 2023

2023-01-27T07:01:51Z

Dkropotov: /* Лекции и семинары */

__NOTOC__

Методы оптимизации лежат в основе решения многих задач компьютерных наук. Например, в машинном обучении задачу оптимизации необходимо решать каждый раз при настройке какой-то модели алгоритмов по данным, причём от эффективности решения соответствующей задачи оптимизации зависит практическая применимость самого метода машинного обучения. Данный курс посвящен изучению классических и современных методов решения задач непрерывной оптимизации (в том числе невыпуклых), а также особенностям применения этих методов в задачах оптимизации, возникающих в машинном обучении. Основной акцент в изложении делается на практические аспекты реализации и использования методов. Целью курса является выработка у слушателей навыков по подбору подходящего метода для своей задачи, наиболее полно учитывающего её особенности.

'''Преподаватели''': Кропотов Дмитрий Александрович, Кодрян Максим, Никоров Кирилл.

{| class="wikitable"
! Группа !! Расписание !! Инвайт для anytask
|-
| align="center"|201 || пятница, лекция в 13:00 (R405), семинар в 14:40 (R207) || align="center"|nuYXlzP
|-
| align="center"|202 || пятница, лекция в 13:00 (R405), семинар в 14:40 (R301) || align="center"|Zus8FGK
|-
| align="center"|203 || пятница, лекция в 13:00 (R405), семинар в 14:40 (R201) || align="center"|H85FCXe
|-
| Другие студенты || пятница, лекция в 13:00 (R405), можно выбрать семинар любой из групп 201, 202, 203 || align="center"|ml0iZHo
|}

Группа в Telegram для вопросов по курсу: [https://t.me/+hFSF73A2XbY1NmUy ссылка]

Видеозаписи занятий: [https://www.youtube.com/playlist?list=PLEwK9wdS5g0o45P37r3hmD5Wbt-O2eWp2 ссылка]

== Система выставления оценок по курсу ==
В рамках курса предполагается четыре теоретических и четыре практических домашних заданий, а также экзамен в конце курса. Каждое задание и экзамен оцениваются исходя из 10-ти баллов. За задания можно получить дополнительные баллы за выполнение бонусных пунктов. Общая оценка за курс вычисляется по правилу Округление_вверх(0.7*<Оценка_за_семестр> + 0.3*<Оценка_за_экзамен>). <Оценка_за_семестр> = min(10, <Суммарная_оценка_за_задания>*10 / <Максимальная_суммарная_оценка_за_задания_без_бонусов>). Итоговая оценка за курс совпадает с общей оценкой при соблюдении следующих дополнительных условий:
{| class="wikitable"
! Итоговая оценка !! Условия
|-
|align="center"|>=8 || Сданы все задания, кроме одного (на оценку >= 3 без учета опоздания), экзамен сдан на оценку >= 6
|-
|align="center"|>=6 || Сданы все задания, кроме двух (на оценку >= 3 без учета опоздания), экзамен сдан на оценку >= 4
|-
|align="center"|>=4 || Сданы все задания, кроме четырех (на оценку >= 3 без учета опоздания), экзамен сдан на оценку >= 4
|-
|}

== Правила сдачи заданий ==
Теоретические и практические задания сдаются в систему anytask (инвайт см. выше). В случае наличия мягкого дедлайна задания могут быть присланы после срока сдачи, но с задержкой не более одной недели. При этом начисляется штраф из расчёта 0.5 балла в день. Все задания выполняются самостоятельно. Если задание выполнялось сообща или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчёте. В противном случае «похожие» решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.

Теоретические задания сдаются в anytask в виде сканов или набранных в TeX pdf-файлов. '''ВАЖНО!''' Присылаемые сканы должны быть высокого качества, присылаться одним файлом, в котором все листы идут в правильном порядке. В случае плохого качества сканов или же сдачи в формате, отличном от pdf, проверяющий имеет право поставить за работу 0, не проверяя.

В случае возникновения проблем с anytask в процессе сдачи заданий перед дедлайном следует поступать так: прислать выполненное задание в телеграм своему семинаристу, а затем в anytask написать, что задание было прислано в телеграм вместе с указанием ника в телеграме.

== Лекции и семинары ==
{| class = "wikitable"
|+
! № п/п
! Дата
! Занятие
! Материалы
|-
| align="center"|1
| 20 января 2023
| Введение в курс. Скорости сходимости итерационных процессов. Матрично-векторное дифференцирование. || [https://drive.google.com/file/d/1MXENV3Ryy8SgK3_q_lKB5gBG39qcl8_M/view?usp=sharing Конспект]
[https://drive.google.com/file/d/1bNWF262guJHTphptCTYARAsUKRPC9QmS/view?usp=sharing Конспект]
|-
| align="center"|2
| 27 января 2023
| Классы функций для оптимизации. Точная и неточная одномерная оптимизация || [http://www.machinelearning.ru/wiki/images/4/4d/MOMO16_min1d.pdf Конспект]
[https://drive.google.com/file/d/1UUvimdQn2aMG0E0qE1R1OKdXbyYyUSOT/view?usp=sharing Презентация]
|-
| align="center"|3
| 03 февраля 2023
| Метод градиентного спуска. Разностное дифференцирование. ||
|-
| align="center"|4
| 10 февраля 2023
| Стандартные матричные разложения. Метод Ньютона. || [https://drive.google.com/file/d/1K9xt0seQ_Oi0UcyziwHibhnr7PorNfqe/view?usp=sharing Презентация по подготовке отчётов]
|-
| align="center"|5
| 17 февраля 2023
| Метод сопряжённых градиентов. || [https://drive.google.com/file/d/1Ai3ZSuLTb0C6hL5KcAvagzJgKqL1-ySo/view?usp=sharing Презентация]
|-
| align="center"|6
| 24 февраля 2023
| Безгессианный метод Ньютона. Выпуклые множества. || [https://drive.google.com/file/d/1t9_Uvo-xrVd_nIVUk4CGXGfebHcFtTkw/view?usp=sharing Конспект]
|-
| align="center"|7
| 03 марта 2023
| Квазиньютоновские методы оптимизации. Выпуклые функции. || [https://drive.google.com/file/d/1glvkT1g6C405RT773KwUdKYRW_bhOKct/view?usp=sharing Конспект]
[http://www.machinelearning.ru/wiki/images/1/10/MOMO18_Seminar6.pdf Конспект]
|-
| align="center"|8
| 10 марта 2023
| Задачи условной оптимизации. Теорема Каруша-Куна-Таккера. || [http://www.machinelearning.ru/wiki/images/7/7f/MOMO18_Seminar7.pdf Конспект]
|-
| align="center"|9
| 17 марта 2023
| Задача линейного программирования. Симплекс-метод. Эквивалентные преобразования задач оптимизации. Стандартные классы выпуклых условных задач оптимизации. || [https://drive.google.com/file/d/1ghnO3gMssx2IS9LaaOgYXbwwq6Pm8ZXY/view?usp=sharing Конспект]
|-
| align="center"|10
| 24 марта 2023
| Метод Ньютона и метод логарифмических барьеров для решения выпуклых задач условной оптимизации. Применение метода лог. барьеров для двойственной задачи в SVM. || [http://www.machinelearning.ru/wiki/images/8/81/MOMO12_ipm.pdf Конспект] 
|-
| align="center"|--
| 31 марта 2023
| ''Занятия не будет'' ||
|-
| align="center"|11
| 7 апреля 2023
| Прямо-двойственные методы для решения выпуклых задач условной оптимизации. ||
|-
| align="center"|12
| 14 апреля 2023
| Негладкая выпуклая оптимизация. Субградиентный метод. Субдифференциальное исчисление. || [http://www.machinelearning.ru/wiki/images/e/e5/MOMO18_Seminar10.pdf Конспект]
|-
| align="center"|13
| 21 апреля 2023
| Проксимальные методы оптимизации. Сопряженные функции и нормы. || [http://www.machinelearning.ru/wiki/images/1/15/MOMO18_Seminar8.pdf Конспект]
|-
| align="center"|14
| 28 апреля 2023
| Стохастическая оптимизация: методы SGD, SAG, SVRG. Проекции и проксимальные операторы. ||
|-
| align="center"|--
| 5 мая 2023
| ''Занятия не будет'' ||
|-
| align="center"|15
| 12 мая 2023
| Стохастическая оптимизация: методы SQN, NIM, Adagrad, RMSprop, ADAM. Автоматическое дифференцирование по графу вычислений. || [https://arxiv.org/abs/1401.7020 Статья 1] [https://proceedings.mlr.press/v48/rodomanov16.html Статья 2]
|-
| align="center"|16
| 19 мая 2023
| Дифференцирование через процесс оптимизации. || [https://arxiv.org/abs/1703.00443 Статья 1] [https://arxiv.org/abs/1502.03492 Статья 2]
|-
|}

== Рекомендуемая литература ==
1. J. Nocedal, S. Wright. [https://www.csie.ntu.edu.tw/~r97002/temp/num_optimization.pdf Numerical optimization]. Springer, 2006.

2. S. Boyd, L. Vandenberghe. [https://web.stanford.edu/~boyd/cvxbook/ Convex optimization]. Cambridge University Press, 2004.

Методы оптимизации в машинном обучении 2023

2023-01-20T15:03:02Z

Dkropotov:

__NOTOC__

Методы оптимизации лежат в основе решения многих задач компьютерных наук. Например, в машинном обучении задачу оптимизации необходимо решать каждый раз при настройке какой-то модели алгоритмов по данным, причём от эффективности решения соответствующей задачи оптимизации зависит практическая применимость самого метода машинного обучения. Данный курс посвящен изучению классических и современных методов решения задач непрерывной оптимизации (в том числе невыпуклых), а также особенностям применения этих методов в задачах оптимизации, возникающих в машинном обучении. Основной акцент в изложении делается на практические аспекты реализации и использования методов. Целью курса является выработка у слушателей навыков по подбору подходящего метода для своей задачи, наиболее полно учитывающего её особенности.

'''Преподаватели''': Кропотов Дмитрий Александрович, Кодрян Максим, Никоров Кирилл.

{| class="wikitable"
! Группа !! Расписание !! Инвайт для anytask
|-
| align="center"|201 || пятница, лекция в 13:00 (R405), семинар в 14:40 (R207) || align="center"|nuYXlzP
|-
| align="center"|202 || пятница, лекция в 13:00 (R405), семинар в 14:40 (R301) || align="center"|Zus8FGK
|-
| align="center"|203 || пятница, лекция в 13:00 (R405), семинар в 14:40 (R201) || align="center"|H85FCXe
|-
| Другие студенты || пятница, лекция в 13:00 (R405), можно выбрать семинар любой из групп 201, 202, 203 || align="center"|ml0iZHo
|}

Группа в Telegram для вопросов по курсу: [https://t.me/+hFSF73A2XbY1NmUy ссылка]

Видеозаписи занятий: [https://www.youtube.com/playlist?list=PLEwK9wdS5g0o45P37r3hmD5Wbt-O2eWp2 ссылка]

== Система выставления оценок по курсу ==
В рамках курса предполагается четыре теоретических и четыре практических домашних заданий, а также экзамен в конце курса. Каждое задание и экзамен оцениваются исходя из 10-ти баллов. За задания можно получить дополнительные баллы за выполнение бонусных пунктов. Общая оценка за курс вычисляется по правилу Округление_вверх(0.7*<Оценка_за_семестр> + 0.3*<Оценка_за_экзамен>). <Оценка_за_семестр> = min(10, <Суммарная_оценка_за_задания>*10 / <Максимальная_суммарная_оценка_за_задания_без_бонусов>). Итоговая оценка за курс совпадает с общей оценкой при соблюдении следующих дополнительных условий:
{| class="wikitable"
! Итоговая оценка !! Условия
|-
|align="center"|>=8 || Сданы все задания, кроме одного (на оценку >= 3 без учета опоздания), экзамен сдан на оценку >= 6
|-
|align="center"|>=6 || Сданы все задания, кроме двух (на оценку >= 3 без учета опоздания), экзамен сдан на оценку >= 4
|-
|align="center"|>=4 || Сданы все задания, кроме четырех (на оценку >= 3 без учета опоздания), экзамен сдан на оценку >= 4
|-
|}

== Правила сдачи заданий ==
Теоретические и практические задания сдаются в систему anytask (инвайт см. выше). В случае наличия мягкого дедлайна задания могут быть присланы после срока сдачи, но с задержкой не более одной недели. При этом начисляется штраф из расчёта 0.5 балла в день. Все задания выполняются самостоятельно. Если задание выполнялось сообща или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчёте. В противном случае «похожие» решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.

Теоретические задания сдаются в anytask в виде сканов или набранных в TeX pdf-файлов. '''ВАЖНО!''' Присылаемые сканы должны быть высокого качества, присылаться одним файлом, в котором все листы идут в правильном порядке. В случае плохого качества сканов или же сдачи в формате, отличном от pdf, проверяющий имеет право поставить за работу 0, не проверяя.

В случае возникновения проблем с anytask в процессе сдачи заданий перед дедлайном следует поступать так: прислать выполненное задание в телеграм своему семинаристу, а затем в anytask написать, что задание было прислано в телеграм вместе с указанием ника в телеграме.

== Лекции и семинары ==
{| class = "wikitable"
|+
! № п/п
! Дата
! Занятие
! Материалы
|-
| align="center"|1
| 20 января 2023
| Введение в курс. Скорости сходимости итерационных процессов. Матрично-векторное дифференцирование. || [https://drive.google.com/file/d/1MXENV3Ryy8SgK3_q_lKB5gBG39qcl8_M/view?usp=sharing Конспект]
[https://drive.google.com/file/d/1bNWF262guJHTphptCTYARAsUKRPC9QmS/view?usp=sharing Конспект]
|-
| align="center"|2
| 27 января 2023
| Классы функций для оптимизации. Точная и неточная одномерная оптимизация || [http://www.machinelearning.ru/wiki/images/4/4d/MOMO16_min1d.pdf Конспект]
|-
| align="center"|3
| 03 февраля 2023
| Метод градиентного спуска. Разностное дифференцирование. ||
|-
| align="center"|4
| 10 февраля 2023
| Стандартные матричные разложения. Метод Ньютона. || [https://drive.google.com/file/d/1K9xt0seQ_Oi0UcyziwHibhnr7PorNfqe/view?usp=sharing Презентация по подготовке отчётов]
|-
| align="center"|5
| 17 февраля 2023
| Метод сопряжённых градиентов. || [https://drive.google.com/file/d/1Ai3ZSuLTb0C6hL5KcAvagzJgKqL1-ySo/view?usp=sharing Презентация]
|-
| align="center"|6
| 24 февраля 2023
| Безгессианный метод Ньютона. Выпуклые множества. || [https://drive.google.com/file/d/1t9_Uvo-xrVd_nIVUk4CGXGfebHcFtTkw/view?usp=sharing Конспект]
|-
| align="center"|7
| 03 марта 2023
| Квазиньютоновские методы оптимизации. Выпуклые функции. || [https://drive.google.com/file/d/1glvkT1g6C405RT773KwUdKYRW_bhOKct/view?usp=sharing Конспект]
[http://www.machinelearning.ru/wiki/images/1/10/MOMO18_Seminar6.pdf Конспект]
|-
| align="center"|8
| 10 марта 2023
| Задачи условной оптимизации. Теорема Каруша-Куна-Таккера. || [http://www.machinelearning.ru/wiki/images/7/7f/MOMO18_Seminar7.pdf Конспект]
|-
| align="center"|9
| 17 марта 2023
| Задача линейного программирования. Симплекс-метод. Эквивалентные преобразования задач оптимизации. Стандартные классы выпуклых условных задач оптимизации. || [https://drive.google.com/file/d/1ghnO3gMssx2IS9LaaOgYXbwwq6Pm8ZXY/view?usp=sharing Конспект]
|-
| align="center"|10
| 24 марта 2023
| Метод Ньютона и метод логарифмических барьеров для решения выпуклых задач условной оптимизации. Применение метода лог. барьеров для двойственной задачи в SVM. || [http://www.machinelearning.ru/wiki/images/8/81/MOMO12_ipm.pdf Конспект] 
|-
| align="center"|--
| 31 марта 2023
| ''Занятия не будет'' ||
|-
| align="center"|11
| 7 апреля 2023
| Прямо-двойственные методы для решения выпуклых задач условной оптимизации. ||
|-
| align="center"|12
| 14 апреля 2023
| Негладкая выпуклая оптимизация. Субградиентный метод. Субдифференциальное исчисление. || [http://www.machinelearning.ru/wiki/images/e/e5/MOMO18_Seminar10.pdf Конспект]
|-
| align="center"|13
| 21 апреля 2023
| Проксимальные методы оптимизации. Сопряженные функции и нормы. || [http://www.machinelearning.ru/wiki/images/1/15/MOMO18_Seminar8.pdf Конспект]
|-
| align="center"|14
| 28 апреля 2023
| Стохастическая оптимизация: методы SGD, SAG, SVRG. Проекции и проксимальные операторы. ||
|-
| align="center"|--
| 5 мая 2023
| ''Занятия не будет'' ||
|-
| align="center"|15
| 12 мая 2023
| Стохастическая оптимизация: методы SQN, NIM, Adagrad, RMSprop, ADAM. Автоматическое дифференцирование по графу вычислений. || [https://arxiv.org/abs/1401.7020 Статья 1] [https://proceedings.mlr.press/v48/rodomanov16.html Статья 2]
|-
| align="center"|16
| 19 мая 2023
| Дифференцирование через процесс оптимизации. || [https://arxiv.org/abs/1703.00443 Статья 1] [https://arxiv.org/abs/1502.03492 Статья 2]
|-
|}

== Рекомендуемая литература ==
1. J. Nocedal, S. Wright. [https://www.csie.ntu.edu.tw/~r97002/temp/num_optimization.pdf Numerical optimization]. Springer, 2006.

2. S. Boyd, L. Vandenberghe. [https://web.stanford.edu/~boyd/cvxbook/ Convex optimization]. Cambridge University Press, 2004.

Методы оптимизации в машинном обучении 2023

2023-01-19T08:22:25Z

Dkropotov:

__NOTOC__

Методы оптимизации лежат в основе решения многих задач компьютерных наук. Например, в машинном обучении задачу оптимизации необходимо решать каждый раз при настройке какой-то модели алгоритмов по данным, причём от эффективности решения соответствующей задачи оптимизации зависит практическая применимость самого метода машинного обучения. Данный курс посвящен изучению классических и современных методов решения задач непрерывной оптимизации (в том числе невыпуклых), а также особенностям применения этих методов в задачах оптимизации, возникающих в машинном обучении. Основной акцент в изложении делается на практические аспекты реализации и использования методов. Целью курса является выработка у слушателей навыков по подбору подходящего метода для своей задачи, наиболее полно учитывающего её особенности.

'''Преподаватели''': Кропотов Дмитрий Александрович, Кодрян Максим, Никоров Кирилл.

{| class="wikitable"
! Группа !! Расписание !! Инвайт для anytask
|-
| align="center"|201 || пятница, лекция в 13:00 (R405), семинар в 14:40 (R207) || align="center"|nuYXlzP
|-
| align="center"|202 || пятница, лекция в 13:00 (R405), семинар в 14:40 (R301) || align="center"|Zus8FGK
|-
| align="center"|203 || пятница, лекция в 13:00 (R405), семинар в 14:40 (R201) || align="center"|H85FCXe
|-
| Другие студенты || пятница, лекция в 13:00 (R405), можно выбрать семинар любой из групп 201, 202, 203 || align="center"|ml0iZHo
|}

Группа в Telegram для вопросов по курсу: [https://t.me/+hFSF73A2XbY1NmUy ссылка]

== Система выставления оценок по курсу ==
В рамках курса предполагается четыре теоретических и четыре практических домашних заданий, а также экзамен в конце курса. Каждое задание и экзамен оцениваются исходя из 10-ти баллов. За задания можно получить дополнительные баллы за выполнение бонусных пунктов. Общая оценка за курс вычисляется по правилу Округление_вверх(0.7*<Оценка_за_семестр> + 0.3*<Оценка_за_экзамен>). <Оценка_за_семестр> = min(10, <Суммарная_оценка_за_задания>*10 / <Максимальная_суммарная_оценка_за_задания_без_бонусов>). Итоговая оценка за курс совпадает с общей оценкой при соблюдении следующих дополнительных условий:
{| class="wikitable"
! Итоговая оценка !! Условия
|-
|align="center"|>=8 || Сданы все задания, кроме одного (на оценку >= 3 без учета опоздания), экзамен сдан на оценку >= 6
|-
|align="center"|>=6 || Сданы все задания, кроме двух (на оценку >= 3 без учета опоздания), экзамен сдан на оценку >= 4
|-
|align="center"|>=4 || Сданы все задания, кроме четырех (на оценку >= 3 без учета опоздания), экзамен сдан на оценку >= 4
|-
|}

== Правила сдачи заданий ==
Теоретические и практические задания сдаются в систему anytask (инвайт см. выше). В случае наличия мягкого дедлайна задания могут быть присланы после срока сдачи, но с задержкой не более одной недели. При этом начисляется штраф из расчёта 0.5 балла в день. Все задания выполняются самостоятельно. Если задание выполнялось сообща или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчёте. В противном случае «похожие» решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.

Теоретические задания сдаются в anytask в виде сканов или набранных в TeX pdf-файлов. '''ВАЖНО!''' Присылаемые сканы должны быть высокого качества, присылаться одним файлом, в котором все листы идут в правильном порядке. В случае плохого качества сканов или же сдачи в формате, отличном от pdf, проверяющий имеет право поставить за работу 0, не проверяя.

В случае возникновения проблем с anytask в процессе сдачи заданий перед дедлайном следует поступать так: прислать выполненное задание в телеграм своему семинаристу, а затем в anytask написать, что задание было прислано в телеграм вместе с указанием ника в телеграме.

== Лекции и семинары ==
{| class = "wikitable"
|+
! № п/п
! Дата
! Занятие
! Материалы
|-
| align="center"|1
| 20 января 2023
| Введение в курс. Скорости сходимости итерационных процессов. Матрично-векторное дифференцирование. || [https://drive.google.com/file/d/1MXENV3Ryy8SgK3_q_lKB5gBG39qcl8_M/view?usp=sharing Конспект]
[https://drive.google.com/file/d/1bNWF262guJHTphptCTYARAsUKRPC9QmS/view?usp=sharing Конспект]
|-
| align="center"|2
| 27 января 2023
| Классы функций для оптимизации. Точная и неточная одномерная оптимизация || [http://www.machinelearning.ru/wiki/images/4/4d/MOMO16_min1d.pdf Конспект]
|-
| align="center"|3
| 03 февраля 2023
| Метод градиентного спуска. Разностное дифференцирование. ||
|-
| align="center"|4
| 10 февраля 2023
| Стандартные матричные разложения. Метод Ньютона. || [https://drive.google.com/file/d/1K9xt0seQ_Oi0UcyziwHibhnr7PorNfqe/view?usp=sharing Презентация по подготовке отчётов]
|-
| align="center"|5
| 17 февраля 2023
| Метод сопряжённых градиентов. || [https://drive.google.com/file/d/1Ai3ZSuLTb0C6hL5KcAvagzJgKqL1-ySo/view?usp=sharing Презентация]
|-
| align="center"|6
| 24 февраля 2023
| Безгессианный метод Ньютона. Выпуклые множества. || [https://drive.google.com/file/d/1t9_Uvo-xrVd_nIVUk4CGXGfebHcFtTkw/view?usp=sharing Конспект]
|-
| align="center"|7
| 03 марта 2023
| Квазиньютоновские методы оптимизации. Выпуклые функции. || [https://drive.google.com/file/d/1glvkT1g6C405RT773KwUdKYRW_bhOKct/view?usp=sharing Конспект]
[http://www.machinelearning.ru/wiki/images/1/10/MOMO18_Seminar6.pdf Конспект]
|-
| align="center"|8
| 10 марта 2023
| Задачи условной оптимизации. Теорема Каруша-Куна-Таккера. || [http://www.machinelearning.ru/wiki/images/7/7f/MOMO18_Seminar7.pdf Конспект]
|-
| align="center"|9
| 17 марта 2023
| Задача линейного программирования. Симплекс-метод. Эквивалентные преобразования задач оптимизации. Стандартные классы выпуклых условных задач оптимизации. || [https://drive.google.com/file/d/1ghnO3gMssx2IS9LaaOgYXbwwq6Pm8ZXY/view?usp=sharing Конспект]
|-
| align="center"|10
| 24 марта 2023
| Метод Ньютона и метод логарифмических барьеров для решения выпуклых задач условной оптимизации. Применение метода лог. барьеров для двойственной задачи в SVM. || [http://www.machinelearning.ru/wiki/images/8/81/MOMO12_ipm.pdf Конспект] 
|-
| align="center"|--
| 31 марта 2023
| ''Занятия не будет'' ||
|-
| align="center"|11
| 7 апреля 2023
| Прямо-двойственные методы для решения выпуклых задач условной оптимизации. ||
|-
| align="center"|12
| 14 апреля 2023
| Негладкая выпуклая оптимизация. Субградиентный метод. Субдифференциальное исчисление. || [http://www.machinelearning.ru/wiki/images/e/e5/MOMO18_Seminar10.pdf Конспект]
|-
| align="center"|13
| 21 апреля 2023
| Проксимальные методы оптимизации. Сопряженные функции и нормы. || [http://www.machinelearning.ru/wiki/images/1/15/MOMO18_Seminar8.pdf Конспект]
|-
| align="center"|14
| 28 апреля 2023
| Стохастическая оптимизация: методы SGD, SAG, SVRG. Проекции и проксимальные операторы. ||
|-
| align="center"|--
| 5 мая 2023
| ''Занятия не будет'' ||
|-
| align="center"|15
| 12 мая 2023
| Стохастическая оптимизация: методы SQN, NIM, Adagrad, RMSprop, ADAM. Автоматическое дифференцирование по графу вычислений. || [https://arxiv.org/abs/1401.7020 Статья 1] [https://proceedings.mlr.press/v48/rodomanov16.html Статья 2]
|-
| align="center"|16
| 19 мая 2023
| Дифференцирование через процесс оптимизации. || [https://arxiv.org/abs/1703.00443 Статья 1] [https://arxiv.org/abs/1502.03492 Статья 2]
|-
|}

== Рекомендуемая литература ==
1. J. Nocedal, S. Wright. [https://www.csie.ntu.edu.tw/~r97002/temp/num_optimization.pdf Numerical optimization]. Springer, 2006.

2. S. Boyd, L. Vandenberghe. [https://web.stanford.edu/~boyd/cvxbook/ Convex optimization]. Cambridge University Press, 2004.

Методы оптимизации в машинном обучении 2023

2023-01-17T15:43:43Z

Dkropotov: /* Правила сдачи заданий */

__NOTOC__

'''Внимание! Страница курса находится в стадии формирования.'''

Методы оптимизации лежат в основе решения многих задач компьютерных наук. Например, в машинном обучении задачу оптимизации необходимо решать каждый раз при настройке какой-то модели алгоритмов по данным, причём от эффективности решения соответствующей задачи оптимизации зависит практическая применимость самого метода машинного обучения. Данный курс посвящен изучению классических и современных методов решения задач непрерывной оптимизации (в том числе невыпуклых), а также особенностям применения этих методов в задачах оптимизации, возникающих в машинном обучении. Основной акцент в изложении делается на практические аспекты реализации и использования методов. Целью курса является выработка у слушателей навыков по подбору подходящего метода для своей задачи, наиболее полно учитывающего её особенности.

'''Преподаватели''': Кропотов Дмитрий Александрович, Кодрян Максим, Никоров Кирилл.

{| class="wikitable"
! Группа !! Расписание !! Инвайт для anytask
|-
| align="center"|201 || пятница, лекция в 13:00 (R405), семинар в 14:40 (R207) || align="center"|nuYXlzP
|-
| align="center"|202 || пятница, лекция в 13:00 (R405), семинар в 14:40 (R301) || align="center"|Zus8FGK
|-
| align="center"|203 || пятница, лекция в 13:00 (R405), семинар в 14:40 (R201) || align="center"|H85FCXe
|-
| Другие студенты || пятница, лекция в 13:00 (R405), можно выбрать семинар любой из групп 201, 202, 203 || align="center"|ml0iZHo
|}

Группа в Telegram для вопросов по курсу: [https://t.me/+hFSF73A2XbY1NmUy ссылка]

== Система выставления оценок по курсу ==
В рамках курса предполагается четыре теоретических и четыре практических домашних заданий, а также экзамен в конце курса. Каждое задание и экзамен оцениваются исходя из 10-ти баллов. За задания можно получить дополнительные баллы за выполнение бонусных пунктов. Общая оценка за курс вычисляется по правилу Округление_вверх(0.7*<Оценка_за_семестр> + 0.3*<Оценка_за_экзамен>). <Оценка_за_семестр> = min(10, <Суммарная_оценка_за_задания>*10 / <Максимальная_суммарная_оценка_за_задания_без_бонусов>). Итоговая оценка за курс совпадает с общей оценкой при соблюдении следующих дополнительных условий:
{| class="wikitable"
! Итоговая оценка !! Условия
|-
|align="center"|>=8 || Сданы все задания, кроме одного (на оценку >= 3 без учета опоздания), экзамен сдан на оценку >= 6
|-
|align="center"|>=6 || Сданы все задания, кроме двух (на оценку >= 3 без учета опоздания), экзамен сдан на оценку >= 4
|-
|align="center"|>=4 || Сданы все задания, кроме четырех (на оценку >= 3 без учета опоздания), экзамен сдан на оценку >= 4
|-
|}

== Правила сдачи заданий ==
Теоретические и практические задания сдаются в систему anytask (инвайт см. выше). В случае наличия мягкого дедлайна задания могут быть присланы после срока сдачи, но с задержкой не более одной недели. При этом начисляется штраф из расчёта 0.5 балла в день. Все задания выполняются самостоятельно. Если задание выполнялось сообща или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчёте. В противном случае «похожие» решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.

Теоретические задания сдаются в anytask в виде сканов или набранных в TeX pdf-файлов. '''ВАЖНО!''' Присылаемые сканы должны быть высокого качества, присылаться одним файлом, в котором все листы идут в правильном порядке. В случае плохого качества сканов или же сдачи в формате, отличном от pdf, проверяющий имеет право поставить за работу 0, не проверяя.

В случае возникновения проблем с anytask в процессе сдачи заданий перед дедлайном следует поступать так: прислать выполненное задание в телеграм своему семинаристу, а затем в anytask написать, что задание было прислано в телеграм вместе с указанием ника в телеграме.

== Лекции и семинары ==
{| class = "wikitable"
|+
! № п/п
! Дата
! Занятие
! Материалы
|-
| align="center"|1
| 20 января 2023
| Введение в курс. Скорости сходимости итерационных процессов. Матрично-векторное дифференцирование. || [https://drive.google.com/file/d/1MXENV3Ryy8SgK3_q_lKB5gBG39qcl8_M/view?usp=sharing Конспект]
[https://drive.google.com/file/d/1bNWF262guJHTphptCTYARAsUKRPC9QmS/view?usp=sharing Конспект]
|-
| align="center"|2
| 27 января 2023
| Классы функций для оптимизации. Точная и неточная одномерная оптимизация || [http://www.machinelearning.ru/wiki/images/4/4d/MOMO16_min1d.pdf Конспект]
|-
| align="center"|3
| 03 февраля 2023
| Метод градиентного спуска. Разностное дифференцирование. ||
|-
| align="center"|4
| 10 февраля 2023
| Стандартные матричные разложения. Метод Ньютона. || [https://drive.google.com/file/d/1K9xt0seQ_Oi0UcyziwHibhnr7PorNfqe/view?usp=sharing Презентация по подготовке отчётов]
|-
| align="center"|5
| 17 февраля 2023
| Метод сопряжённых градиентов. || [https://drive.google.com/file/d/1Ai3ZSuLTb0C6hL5KcAvagzJgKqL1-ySo/view?usp=sharing Презентация]
|-
| align="center"|6
| 24 февраля 2023
| Безгессианный метод Ньютона. Выпуклые множества. || [https://drive.google.com/file/d/1t9_Uvo-xrVd_nIVUk4CGXGfebHcFtTkw/view?usp=sharing Конспект]
|-
| align="center"|7
| 03 марта 2023
| Квазиньютоновские методы оптимизации. Выпуклые функции. || [https://drive.google.com/file/d/1glvkT1g6C405RT773KwUdKYRW_bhOKct/view?usp=sharing Конспект]
[http://www.machinelearning.ru/wiki/images/1/10/MOMO18_Seminar6.pdf Конспект]
|-
| align="center"|8
| 10 марта 2023
| Задачи условной оптимизации. Теорема Каруша-Куна-Таккера. || [http://www.machinelearning.ru/wiki/images/7/7f/MOMO18_Seminar7.pdf Конспект]
|-
| align="center"|9
| 17 марта 2023
| Задача линейного программирования. Симплекс-метод. Эквивалентные преобразования задач оптимизации. Стандартные классы выпуклых условных задач оптимизации. || [https://drive.google.com/file/d/1ghnO3gMssx2IS9LaaOgYXbwwq6Pm8ZXY/view?usp=sharing Конспект]
|-
| align="center"|10
| 24 марта 2023
| Метод Ньютона и метод логарифмических барьеров для решения выпуклых задач условной оптимизации. Применение метода лог. барьеров для двойственной задачи в SVM. || [http://www.machinelearning.ru/wiki/images/8/81/MOMO12_ipm.pdf Конспект] 
|-
| align="center"|--
| 31 марта 2023
| ''Занятия не будет'' ||
|-
| align="center"|11
| 7 апреля 2023
| Прямо-двойственные методы для решения выпуклых задач условной оптимизации. ||
|-
| align="center"|12
| 14 апреля 2023
| Негладкая выпуклая оптимизация. Субградиентный метод. Субдифференциальное исчисление. || [http://www.machinelearning.ru/wiki/images/e/e5/MOMO18_Seminar10.pdf Конспект]
|-
| align="center"|13
| 21 апреля 2023
| Проксимальные методы оптимизации. Сопряженные функции и нормы. || [http://www.machinelearning.ru/wiki/images/1/15/MOMO18_Seminar8.pdf Конспект]
|-
| align="center"|14
| 28 апреля 2023
| Стохастическая оптимизация: методы SGD, SAG, SVRG. Проекции и проксимальные операторы. ||
|-
| align="center"|--
| 5 мая 2023
| ''Занятия не будет'' ||
|-
| align="center"|15
| 12 мая 2023
| Стохастическая оптимизация: методы SQN, NIM, Adagrad, RMSprop, ADAM. Автоматическое дифференцирование по графу вычислений. || [https://arxiv.org/abs/1401.7020 Статья 1] [https://proceedings.mlr.press/v48/rodomanov16.html Статья 2]
|-
| align="center"|16
| 19 мая 2023
| Дифференцирование через процесс оптимизации. || [https://arxiv.org/abs/1703.00443 Статья 1] [https://arxiv.org/abs/1502.03492 Статья 2]
|-
|}

== Рекомендуемая литература ==
1. J. Nocedal, S. Wright. [https://www.csie.ntu.edu.tw/~r97002/temp/num_optimization.pdf Numerical optimization]. Springer, 2006.

2. S. Boyd, L. Vandenberghe. [https://web.stanford.edu/~boyd/cvxbook/ Convex optimization]. Cambridge University Press, 2004.

Методы оптимизации в машинном обучении 2023

2023-01-17T14:12:01Z

Dkropotov:

__NOTOC__

'''Внимание! Страница курса находится в стадии формирования.'''

Методы оптимизации лежат в основе решения многих задач компьютерных наук. Например, в машинном обучении задачу оптимизации необходимо решать каждый раз при настройке какой-то модели алгоритмов по данным, причём от эффективности решения соответствующей задачи оптимизации зависит практическая применимость самого метода машинного обучения. Данный курс посвящен изучению классических и современных методов решения задач непрерывной оптимизации (в том числе невыпуклых), а также особенностям применения этих методов в задачах оптимизации, возникающих в машинном обучении. Основной акцент в изложении делается на практические аспекты реализации и использования методов. Целью курса является выработка у слушателей навыков по подбору подходящего метода для своей задачи, наиболее полно учитывающего её особенности.

'''Преподаватели''': Кропотов Дмитрий Александрович, Кодрян Максим, Никоров Кирилл.

{| class="wikitable"
! Группа !! Расписание !! Инвайт для anytask
|-
| align="center"|201 || пятница, лекция в 13:00 (R405), семинар в 14:40 (R207) || align="center"|nuYXlzP
|-
| align="center"|202 || пятница, лекция в 13:00 (R405), семинар в 14:40 (R301) || align="center"|Zus8FGK
|-
| align="center"|203 || пятница, лекция в 13:00 (R405), семинар в 14:40 (R201) || align="center"|H85FCXe
|-
| Другие студенты || пятница, лекция в 13:00 (R405), можно выбрать семинар любой из групп 201, 202, 203 || align="center"|ml0iZHo
|}

Группа в Telegram для вопросов по курсу: [https://t.me/+hFSF73A2XbY1NmUy ссылка]

== Система выставления оценок по курсу ==
В рамках курса предполагается четыре теоретических и четыре практических домашних заданий, а также экзамен в конце курса. Каждое задание и экзамен оцениваются исходя из 10-ти баллов. За задания можно получить дополнительные баллы за выполнение бонусных пунктов. Общая оценка за курс вычисляется по правилу Округление_вверх(0.7*<Оценка_за_семестр> + 0.3*<Оценка_за_экзамен>). <Оценка_за_семестр> = min(10, <Суммарная_оценка_за_задания>*10 / <Максимальная_суммарная_оценка_за_задания_без_бонусов>). Итоговая оценка за курс совпадает с общей оценкой при соблюдении следующих дополнительных условий:
{| class="wikitable"
! Итоговая оценка !! Условия
|-
|align="center"|>=8 || Сданы все задания, кроме одного (на оценку >= 3 без учета опоздания), экзамен сдан на оценку >= 6
|-
|align="center"|>=6 || Сданы все задания, кроме двух (на оценку >= 3 без учета опоздания), экзамен сдан на оценку >= 4
|-
|align="center"|>=4 || Сданы все задания, кроме четырех (на оценку >= 3 без учета опоздания), экзамен сдан на оценку >= 4
|-
|}

== Правила сдачи заданий ==
Теоретические и практические задания сдаются в систему anytask (инвайт см. выше). В случае наличия мягкого дедлайна задания могут быть присланы после срока сдачи, но с задержкой не более одной недели. При этом начисляется штраф из расчёта 0.5 балла в день. Все задания выполняются самостоятельно. Если задание выполнялось сообща или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчёте. В противном случае «похожие» решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.

Теоретические задания сдаются в anytask в виде сканов или набранных в TeX pdf-файлов. '''ВАЖНО!''' Присылаемые сканы должны быть высокого качества, присылаться одним файлом, в котором все листы идут в правильном порядке. В случае плохого качества сканов или же сдачи в формате, отличном от pdf, проверяющий имеет право поставить за работу 0, не проверяя.

== Лекции и семинары ==
{| class = "wikitable"
|+
! № п/п
! Дата
! Занятие
! Материалы
|-
| align="center"|1
| 20 января 2023
| Введение в курс. Скорости сходимости итерационных процессов. Матрично-векторное дифференцирование. || [https://drive.google.com/file/d/1MXENV3Ryy8SgK3_q_lKB5gBG39qcl8_M/view?usp=sharing Конспект]
[https://drive.google.com/file/d/1bNWF262guJHTphptCTYARAsUKRPC9QmS/view?usp=sharing Конспект]
|-
| align="center"|2
| 27 января 2023
| Классы функций для оптимизации. Точная и неточная одномерная оптимизация || [http://www.machinelearning.ru/wiki/images/4/4d/MOMO16_min1d.pdf Конспект]
|-
| align="center"|3
| 03 февраля 2023
| Метод градиентного спуска. Разностное дифференцирование. ||
|-
| align="center"|4
| 10 февраля 2023
| Стандартные матричные разложения. Метод Ньютона. || [https://drive.google.com/file/d/1K9xt0seQ_Oi0UcyziwHibhnr7PorNfqe/view?usp=sharing Презентация по подготовке отчётов]
|-
| align="center"|5
| 17 февраля 2023
| Метод сопряжённых градиентов. || [https://drive.google.com/file/d/1Ai3ZSuLTb0C6hL5KcAvagzJgKqL1-ySo/view?usp=sharing Презентация]
|-
| align="center"|6
| 24 февраля 2023
| Безгессианный метод Ньютона. Выпуклые множества. || [https://drive.google.com/file/d/1t9_Uvo-xrVd_nIVUk4CGXGfebHcFtTkw/view?usp=sharing Конспект]
|-
| align="center"|7
| 03 марта 2023
| Квазиньютоновские методы оптимизации. Выпуклые функции. || [https://drive.google.com/file/d/1glvkT1g6C405RT773KwUdKYRW_bhOKct/view?usp=sharing Конспект]
[http://www.machinelearning.ru/wiki/images/1/10/MOMO18_Seminar6.pdf Конспект]
|-
| align="center"|8
| 10 марта 2023
| Задачи условной оптимизации. Теорема Каруша-Куна-Таккера. || [http://www.machinelearning.ru/wiki/images/7/7f/MOMO18_Seminar7.pdf Конспект]
|-
| align="center"|9
| 17 марта 2023
| Задача линейного программирования. Симплекс-метод. Эквивалентные преобразования задач оптимизации. Стандартные классы выпуклых условных задач оптимизации. || [https://drive.google.com/file/d/1ghnO3gMssx2IS9LaaOgYXbwwq6Pm8ZXY/view?usp=sharing Конспект]
|-
| align="center"|10
| 24 марта 2023
| Метод Ньютона и метод логарифмических барьеров для решения выпуклых задач условной оптимизации. Применение метода лог. барьеров для двойственной задачи в SVM. || [http://www.machinelearning.ru/wiki/images/8/81/MOMO12_ipm.pdf Конспект] 
|-
| align="center"|--
| 31 марта 2023
| ''Занятия не будет'' ||
|-
| align="center"|11
| 7 апреля 2023
| Прямо-двойственные методы для решения выпуклых задач условной оптимизации. ||
|-
| align="center"|12
| 14 апреля 2023
| Негладкая выпуклая оптимизация. Субградиентный метод. Субдифференциальное исчисление. || [http://www.machinelearning.ru/wiki/images/e/e5/MOMO18_Seminar10.pdf Конспект]
|-
| align="center"|13
| 21 апреля 2023
| Проксимальные методы оптимизации. Сопряженные функции и нормы. || [http://www.machinelearning.ru/wiki/images/1/15/MOMO18_Seminar8.pdf Конспект]
|-
| align="center"|14
| 28 апреля 2023
| Стохастическая оптимизация: методы SGD, SAG, SVRG. Проекции и проксимальные операторы. ||
|-
| align="center"|--
| 5 мая 2023
| ''Занятия не будет'' ||
|-
| align="center"|15
| 12 мая 2023
| Стохастическая оптимизация: методы SQN, NIM, Adagrad, RMSprop, ADAM. Автоматическое дифференцирование по графу вычислений. || [https://arxiv.org/abs/1401.7020 Статья 1] [https://proceedings.mlr.press/v48/rodomanov16.html Статья 2]
|-
| align="center"|16
| 19 мая 2023
| Дифференцирование через процесс оптимизации. || [https://arxiv.org/abs/1703.00443 Статья 1] [https://arxiv.org/abs/1502.03492 Статья 2]
|-
|}

== Рекомендуемая литература ==
1. J. Nocedal, S. Wright. [https://www.csie.ntu.edu.tw/~r97002/temp/num_optimization.pdf Numerical optimization]. Springer, 2006.

2. S. Boyd, L. Vandenberghe. [https://web.stanford.edu/~boyd/cvxbook/ Convex optimization]. Cambridge University Press, 2004.

Методы оптимизации в машинном обучении 2023

2023-01-17T13:44:34Z

Dkropotov: /* Система выставления оценок по курсу */

__NOTOC__

'''Внимание! Страница курса находится в стадии формирования.'''

Методы оптимизации лежат в основе решения многих задач компьютерных наук. Например, в машинном обучении задачу оптимизации необходимо решать каждый раз при настройке какой-то модели алгоритмов по данным, причём от эффективности решения соответствующей задачи оптимизации зависит практическая применимость самого метода машинного обучения. Данный курс посвящен изучению классических и современных методов решения задач непрерывной оптимизации (в том числе невыпуклых), а также особенностям применения этих методов в задачах оптимизации, возникающих в машинном обучении. Основной акцент в изложении делается на практические аспекты реализации и использования методов. Целью курса является выработка у слушателей навыков по подбору подходящего метода для своей задачи, наиболее полно учитывающего её особенности.

'''Преподаватели''': Кропотов Дмитрий Александрович, Кодрян Максим, Никоров Кирилл.

{| class="wikitable"
! Группа !! Расписание !! Инвайт для anytask
|-
| align="center"|201 || пятница, лекция в 13:00 (R405), семинар в 14:40 (R207) || align="center"|nuYXlzP
|-
| align="center"|202 || пятница, лекция в 13:00 (R405), семинар в 14:40 (R301) || align="center"|Zus8FGK
|-
| align="center"|203 || пятница, лекция в 13:00 (R405), семинар в 14:40 (R201) || align="center"|H85FCXe
|-
| Другие студенты || пятница, лекция в 13:00 (R405), можно выбрать семинар любой из групп 201, 202, 203 || align="center"|ml0iZHo
|}

Группа в Telegram для вопросов по курсу: [https://t.me/+hFSF73A2XbY1NmUy ссылка]

== Система выставления оценок по курсу ==
В рамках курса предполагается четыре теоретических и четыре практических домашних заданий, а также экзамен в конце курса. Каждое задание и экзамен оцениваются исходя из 10-ти баллов. За задания можно получить дополнительные баллы за выполнение бонусных пунктов. Общая оценка за курс вычисляется по правилу Округление_вверх(0.7*<Оценка_за_семестр> + 0.3*<Оценка_за_экзамен>). <Оценка_за_семестр> = min(10, <Суммарная_оценка_за_задания>*10 / <Максимальная_суммарная_оценка_за_задания_без_бонусов>). Итоговая оценка за курс совпадает с общей оценкой при соблюдении следующих дополнительных условий:
{| class="wikitable"
! Итоговая оценка !! Условия
|-
|align="center"|>=8 || Сданы все задания, кроме одного (на оценку >= 3 без учета опоздания), экзамен сдан на оценку >= 6
|-
|align="center"|>=6 || Сданы все задания, кроме двух (на оценку >= 3 без учета опоздания), экзамен сдан на оценку >= 4
|-
|align="center"|>=4 || Сданы все задания, кроме трех (на оценку >= 3 без учета опоздания), экзамен сдан на оценку >= 4
|-
|}

== Правила сдачи заданий ==
Теоретические и практические задания сдаются в систему anytask (инвайт см. выше). В случае наличия мягкого дедлайна задания могут быть присланы после срока сдачи, но с задержкой не более одной недели. При этом начисляется штраф из расчёта 0.5 балла в день. Все задания выполняются самостоятельно. Если задание выполнялось сообща или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчёте. В противном случае «похожие» решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.

Теоретические задания сдаются в anytask в виде сканов или набранных в TeX pdf-файлов. '''ВАЖНО!''' Присылаемые сканы должны быть высокого качества, присылаться одним файлом, в котором все листы идут в правильном порядке. В случае плохого качества сканов или же сдачи в формате, отличном от pdf, проверяющий имеет право поставить за работу 0, не проверяя.

== Лекции и семинары ==
{| class = "wikitable"
|+
! № п/п
! Дата
! Занятие
! Материалы
|-
| align="center"|1
| 20 января 2023
| Введение в курс. Скорости сходимости итерационных процессов. Матрично-векторное дифференцирование. || [https://drive.google.com/file/d/1MXENV3Ryy8SgK3_q_lKB5gBG39qcl8_M/view?usp=sharing Конспект]
[https://drive.google.com/file/d/1bNWF262guJHTphptCTYARAsUKRPC9QmS/view?usp=sharing Конспект]
|-
| align="center"|2
| 27 января 2023
| Классы функций для оптимизации. Точная и неточная одномерная оптимизация || [http://www.machinelearning.ru/wiki/images/4/4d/MOMO16_min1d.pdf Конспект]
|-
| align="center"|3
| 03 февраля 2023
| Метод градиентного спуска. Разностное дифференцирование. ||
|-
| align="center"|4
| 10 февраля 2023
| Стандартные матричные разложения. Метод Ньютона. || [https://drive.google.com/file/d/1K9xt0seQ_Oi0UcyziwHibhnr7PorNfqe/view?usp=sharing Презентация по подготовке отчётов]
|-
| align="center"|5
| 17 февраля 2023
| Метод сопряжённых градиентов. || [https://drive.google.com/file/d/1Ai3ZSuLTb0C6hL5KcAvagzJgKqL1-ySo/view?usp=sharing Презентация]
|-
| align="center"|6
| 24 февраля 2023
| Безгессианный метод Ньютона. Выпуклые множества. || [https://drive.google.com/file/d/1t9_Uvo-xrVd_nIVUk4CGXGfebHcFtTkw/view?usp=sharing Конспект]
|-
| align="center"|7
| 03 марта 2023
| Квазиньютоновские методы оптимизации. Выпуклые функции. || [https://drive.google.com/file/d/1glvkT1g6C405RT773KwUdKYRW_bhOKct/view?usp=sharing Конспект]
[http://www.machinelearning.ru/wiki/images/1/10/MOMO18_Seminar6.pdf Конспект]
|-
| align="center"|8
| 10 марта 2023
| Задачи условной оптимизации. Теорема Каруша-Куна-Таккера. || [http://www.machinelearning.ru/wiki/images/7/7f/MOMO18_Seminar7.pdf Конспект]
|-
| align="center"|9
| 17 марта 2023
| Задача линейного программирования. Симплекс-метод. Эквивалентные преобразования задач оптимизации. Стандартные классы выпуклых условных задач оптимизации. || [https://drive.google.com/file/d/1ghnO3gMssx2IS9LaaOgYXbwwq6Pm8ZXY/view?usp=sharing Конспект]
|-
| align="center"|10
| 24 марта 2023
| Метод Ньютона и метод логарифмических барьеров для решения выпуклых задач условной оптимизации. Применение метода лог. барьеров для двойственной задачи в SVM. || [http://www.machinelearning.ru/wiki/images/8/81/MOMO12_ipm.pdf Конспект] 
|-
| align="center"|--
| 31 марта 2023
| ''Занятия не будет'' ||
|-
| align="center"|11
| 7 апреля 2023
| Прямо-двойственные методы для решения выпуклых задач условной оптимизации. ||
|-
| align="center"|12
| 14 апреля 2023
| Негладкая выпуклая оптимизация. Субградиентный метод. Субдифференциальное исчисление. || [http://www.machinelearning.ru/wiki/images/e/e5/MOMO18_Seminar10.pdf Конспект]
|-
| align="center"|13
| 21 апреля 2023
| Проксимальные методы оптимизации. Сопряженные функции и нормы. || [http://www.machinelearning.ru/wiki/images/1/15/MOMO18_Seminar8.pdf Конспект]
|-
| align="center"|14
| 28 апреля 2023
| Стохастическая оптимизация: методы SGD, SAG, SVRG. Проекции и проксимальные операторы. ||
|-
| align="center"|--
| 5 мая 2023
| ''Занятия не будет'' ||
|-
| align="center"|15
| 12 мая 2023
| Стохастическая оптимизация: методы SQN, NIM, Adagrad, RMSprop, ADAM. Автоматическое дифференцирование по графу вычислений. || [https://arxiv.org/abs/1401.7020 Статья 1] [https://proceedings.mlr.press/v48/rodomanov16.html Статья 2]
|-
| align="center"|16
| 19 мая 2023
| Дифференцирование через процесс оптимизации. || [https://arxiv.org/abs/1703.00443 Статья 1] [https://arxiv.org/abs/1502.03492 Статья 2]
|-
|}

== Рекомендуемая литература ==
1. J. Nocedal, S. Wright. [https://www.csie.ntu.edu.tw/~r97002/temp/num_optimization.pdf Numerical optimization]. Springer, 2006.

2. S. Boyd, L. Vandenberghe. [https://web.stanford.edu/~boyd/cvxbook/ Convex optimization]. Cambridge University Press, 2004.

Wiki ФКН

2023-01-17T13:11:24Z

Dkropotov: /* Курсы за 2022/23 учебный год */

__NOTOC__

= Учебные курсы факультета компьютерных наук =

== Курсы за 2022/23 учебный год ==

{| class="wikitable"
|-

! 1 курс !! 2 курс !! 3 курс !! 4 курс !! майноры и факультативы
|-
|
'''ПМИ'''

[[Линейная_алгебра_и_геометрия_на_ПМИ_2022/2023_(пилотный_поток) | Линейная алгебра и геометрия (пилотный поток)]]

[[Линейная_алгебра_и_геометрия_на_ПМИ_2022/2023_(основной_поток) | Линейная алгебра и геометрия (основной поток)]]

[[Математический_анализ_1_2022/2023_(основной_поток) | Математический анализ-1 (основной поток)]]

[[Математический_анализ_1_2022/2023_(пилотный_поток) | Математический анализ-1 (пилотный поток)]]

[[DM1base-2022-23 | Дискретная математика (ПМИ основной поток + ЭАД)]]

[[Дискретная_математика_(пилотный_поток) | Дискретная математика (пилотный поток)]]

[http://wiki.cs.hse.ru/Язык_программирования_Python_2022/2023_(основной_поток) Язык программирования Python 2022/2023 (основной_поток)]

[[Алгоритмы_и_структуры_данных_1_(основной_поток) | Алгоритмы и структуры данных 1 (основной поток)]]

[[Алгоритмы_и_структуры_данных_пилотный_поток_2022/2023 | Алгоритмы и структуры данных (пилотный поток)]]

[[Теория_чисел | Теория чисел (пилотный поток)]]

[[Теория_чисел_(основной_поток) | Теория чисел (основной поток)]]

'''ПИ'''

[[Дискретная математика 2022-2023 | Дискретная математика ]]

[[Алгебра ПИ 2022-2023 | Алгебра]]

'''ПАД'''

[[Calculus DSBA 2022/2023 | Calculus (DSBA)]]

[[English_DSBA_2022/2023 | English DSBA (DSBA)]]

[[LAaG DSBA 2022/2023 | LAaG (DSBA)]]

[[Discrete Mathematics DSBA 2022/2023 | Discrete Mathematics ]]

[[Introduction to Programming DSBA 2022/2023 | Introduction to Programming on Python (DSBA)]]

[[Introduction to Programming 2 DSBA 2022/2023 | Introduction to Programming on C++ (DSBA)]]

[[Foundations_of_Law_DSBA_2022/2023 | Foundations of Law (DSBA)]]

[[Introduction to Economics DSBA 2022/2023]]

'''КНАД'''

[[Дискретная_математика_КНАД 22/23| Дискретная математика (КНАД) ]]

[[Математический_анализ_КНАД 22/23| Математический анализ (КНАД) ]]

[[Линейная_алгебра_КНАД 22/23| Линейная алгебра (КНАД) ]]

[[Программирование_на_Python_КНАД 22/23| Программирование на Python (КНАД) ]]

[[Алгоритмы и структуры данных - 1 2022/2023 2 модуль (ЭАД КНАД ВСН) | Алгоритмы и структуры данных 2022/2023 2 модуль (ЭАД КНАД ВСН)]]

[[Python_для_сбора_и_анализа_данных_КНАД_22/23 | Python для сбора и анализа данных (КНАД)]]

[[Программирование_на_С++_КНАД_22/23 | Программирование на С++]]

||

'''ПМИ'''

[[Математическая_статистика_2022/2023_(пилотный_поток)| Математическая статистика (пилотный поток)]]

[[Математическая_статистика_2022/2023_(основной_поток)| Математическая статистика (основной поток)]]

[[Теория_вероятностей_2022/2023_(пилотный_поток)| Теория вероятностей (пилотный поток)]]

[[Теория_вероятностей_2022/2023_(основной_поток)| Теория вероятностей (основной поток)]]

[[Математический_Анализ_2_на_ПМИ_2022/2023_(пилотный_поток) | Математический анализ - 2 (пилотный поток)]]

[[Математический_анализ_-_2_(2022/23) | Математический анализ - 2 (основной поток)]]

[[Язык_программирования_C%2B%2B_(углубленный_курс)_2022 | Язык программирования C++ (углубленный курс)]]

[[Математическая_логика_ПМИ_22/23 | Математическая логика ]]

[[Продвинутый_Python_2022/2023 | Продвинутый Python ]]

[[Алгоритмы_и_структуры_данных_2_2022/2023 | Алгоритмы и структуры данных - 2 ]]

[[Язык_программирования_Rust | Язык программирования Rust ]]

[[Инструменты_промышленной_разработки_2022/2023 | Инструменты промышленной разработки 2022/2023 ]]

[[CAOS-2022 | Архитектура компьютеров и операционные системы]]

[[Дифференциальные уравнения (ПМИ)]]

[[Основы_матричных_вычислений_2022/2023 | Основы матричных вычислений ]]

'''ПИ'''

[[Алгоритмы_и_структуры_данных_на_ПИ_2022/2023 | Алгоритмы и структуры данных на ПИ]]

[[Теория вероятностей и математическая статистика 2022-2023 | Теория вероятностей и математическая статистика]]

[[НИС_Методы_и_алгоритмы_защиты_информации_2022/2023 | НИС Методы и алгоритмы защиты информации ]]

'''ПАД'''

[[Discrete Mathematics 2 DSBA 2022/2023 | Discrete Mathematics 2 (DSBA)]]

[[Business_and_Management_in_Global_Context_22/23 | Business and Management in Global Context 22/23]]

[[Calculus-2]]

[[Algorithms and Data Structures DSBA 2022/2023 | Algorithms and Data Structures]]

[[Probability and Statistics (DSBA)]]

[[Introduction to Micro and Macroeconomics DSBA 2022/2023]]

[[Differential_Equations_2021 | Differential Equations ]]

[[ACOS_DSBA_2022/2023 | Computer Architecture and Operating Systems]]

'''КНАД'''

[[Алгебра КНАД 2022/2023 | Алгебра]]

[[Математический_анализ -- 2 (2022/23) | Математический анализ -- 2]]

[[Алгоритмы_и_структуры_данных_2_КНАД 22/23 | Алгоритмы и структуры данных 2]]

[[Теория_вероятностей_КНАД 22/23 | Теория вероятностей ]]

[[ACOS_COMPDS_2022/2023 | Архитектура Компьютера и Операционные Системы]]

[[Математическая_статистика_КНАД_22/23 | Математическая статистика]]

[[Численные_методы_КНАД_22/23 | Численные методы]]

||

'''ПМИ'''

[[Машинное_обучение_1 | Машинное обучение 1]]

[[Компьютерные_сети_2022/2023 | Компьютерные сети 2022/2023]]

[[ Operation Research and Game Theory | Operation Research and Game Theory]]

[[ Statistical learning theory 2022 | Statistical Learning Theory]]

[[ Функциональное_программирование_22-23 | Функциональное программирование ]]

[[ Основы_тензорных_вычислений_(2022/2023) | Основы тензорных вычислений ]]

[[Глубинное обучение 1 22/23 | Введение в глубинное обучение 22/23]]

[[Математическое_моделирование_2022 | Математическое моделирование 2022]]

[[time_series_modelling_22_23 | Моделирование временных рядов 22/23]]

[[Теория_чисел_и_криптография | Теория чисел и криптография]]

'''ПМИ / МОП'''

[[Прикладная_статистика_в_машинном_обучении_22/23 | Прикладная статистика в машинном обучении 22/23]]

[[НИС_Машинное_обучение_и_приложения_3_курс_2022/2023 | НИС Машинное обучение и приложения 3 курс]]

[[Глубинное обучение 1 22/23 | Глубинное обучение 1 22/23]]

[[Методы оптимизации в машинном обучении 2023]]

'''ПМИ / РС'''

[https://osukhoroslov-hse.notion.site/a35a6a40088b44a7a9e374727a0f2548 Распределенные системы]

[https://osukhoroslov-hse.notion.site/dbce4f5101ed47dca0b363122f139aac НИС Распределенные системы]

[http://wiki.cs.hse.ru/Database_Systems_2023 Database Systems 2023]

'''ПМИ / ТИ'''

[[Theory of Computation 2022 | Theory of Computation]]

[[ NIS-TCS-22-23 | НИС Теоретическая информатика ]]

[[KKTI-22-23 | Комбинаторные конструкции в теоретической информатике]]

'''ПИ'''

[[ SPA_2022 |Принципы статического анализа исходного кода ]]

'''ПАД'''

[[tssp-2022-23 | Time series and stochastic processes 2022-23]]

[https://github.com/xenakas/dsba_ecm_2022 Elements of Econometrics]

[[BAFE-2022-23 | Business Analytics and Financial Engineering 2022-2023]]

[[Machine learning 1 DSBA 2022/2023]]

[[Databases]]

[[Optimisation methods]]

[[ MACE1_DSBA_22-23 | Research Seminar "Mathematical and Computational Engineering in Science and Business 1"]]

[[ DAF1_DSBA_22-23 | Research Seminar "Data Analysis in Finance 1"]]

||

'''ПМИ'''

[https://www.notion.so/2022-2023-12475421ada6400c8bd5bf24a2a30c01 ВКР]

[[ Случайные_процессы_(зима_2023) | Случайные процессы (зима 2023)]]

[[ Функциональное_программирование_22-23 | Функциональное программирование ]]

[[ Haskell_23 | Промышленное программирование на Haskell ]]

[[ Основы_тензорных_вычислений_(2022/2023) | Основы тензорных вычислений ]]

[[ Глубинное_обучение_в_обработке_звука_22/23 | Глубинное обучение в обработке звука ]]

[[ Методы_предобучения_без_учителя_22/23 | Методы предобучения без учителя ]]

[[ Символьные_вычисления_22/23 | Символьные вычисления ]]

[[Эффективные системы глубинного обучения 22/23|Эффективные системы глубинного обучения]]

'''ПМИ / МОП'''

[[НИС_Машинное_обучение_и_приложения_4_курс_2022/2023 | НИС Машинное обучение и приложения 4 курс]]

[[Глубинное_обучение_2022 | Глубинное обучение]]

[[Глубинное_обучение_в_анализе_графовых_данных_22/23 | Глубинное обучение в анализе графовых данных]]

[[LSML_2022/2023 | Машинное обучение для больших данных]]

'''ПМИ / РС'''

[https://osukhoroslov-hse.notion.site/2-b1c2d4487ac8478f89cd4fa427da3e27 НИС Распределенные системы]

'''ПМИ / ТИ'''

[[A_Theorist's_Toolkit_2022_2023 | A Theorist's Toolkit, AMI]]

[[OWF2022 | Односторонние функции и их применения]]

[[InfTheory2022 | Теория информации]]

[[ NIS-TCS-22-23 | НИС Теоретическая информатика ]]

'''ПИ'''

'''ПАД'''

[[ Statistics4MR-2022-23 | Statistics for Market Research 2022-23]]

[[ Strategy_22-23_DSBA | Decision Making Strategy 2022-2023]]

[[ APFM_22-23 | Asset Pricing and Financial Markets 2022-2023]]

[[ CMC_DSBA_22-23 | Core management concepts ]]

[[Machine learning 2 DSBA 2022/2023]]

[[ MACE2_DSBA_22-23 | Research Seminar "Mathematical and Computational Engineering in Science and Business 2"]]

[[ DAF2_DSBA_22-23 | Research Seminar "Data Analysis in Finance 2"]]

[[ DANS_DSBA_22-23 | Research Seminar "Data Analysis in the Natural Sciences" ]]

[[Risk-Management_DSBA_22-23 | Research Seminar "Risk-Management" ]]

[[Quantitative finance DSBA]]

||

[[Случайные_графы_2022 | Случайные графы]]

[[Майнор_Биоинформатика_1_год_2022/23 | Биоинформатика 1 год 2022/23]]

[[Майнор Биоинформатика 2 год 2022/23 | Биоинформатика 2 год]]

[[Основы_глубинного_обучения | Основы глубинного обучения (майнор ИАД)]]

[[Введение_в_программирование_22/23_(майнор_ИАД) | Введение в программирование 22/23 (майнор ИАД)]]

[[Базы данных 22/23 (майнор ИАД)| Базы данных 22/23 (майнор ИАД)]]

[[Adaptation course in Discrete Math (факультатив)]]

[[Уравнения с частными производными (2022-2023)|Уравнения с частными производными (2022-2023]]

|}

== Курсы в рамках проекта [https://www.hse.ru/dataculture/ Data Culture]==

=== 1 семестр ===
{| class="wikitable"
|-
! Дисциплина !! Образовательная программа !! Курс !! Модули

|-
| [[Цифровая грамотность для международных отношений 22/23 | Цифровая грамотность для международных отношений 22/23]] || Международных отношения || 1 курс || 1-2 модуль

|-
| [http://wiki.cs.hse.ru/%D0%9E%D1%81%D0%BD%D0%BE%D0%B2%D1%8B_%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7%D0%B0_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_%D0%B2_%D0%BC%D0%B5%D0%B6%D0%B4%D1%83%D0%BD%D0%B0%D1%80%D0%BE%D0%B4%D0%BD%D1%8B%D1%85_%D0%BE%D1%82%D0%BD%D0%BE%D1%88%D0%B5%D0%BD%D0%B8%D1%8F%D1%85_22/23#.D0.9D.D0.B5.D0.BE.D0.B1.D1.85.D0.BE.D0.B4.D0.B8.D0.BC.D1.8B.D0.B5_.D1.81.D1.81.D1.8B.D0.BB.D0.BA.D0.B8 Основы анализа данных для международных отношений 22/23] || Международных отношения || 2 курс || 1-2 модуль

|-
| [http://wiki.cs.hse.ru/%D0%9E%D1%81%D0%BD%D0%BE%D0%B2%D1%8B_%D0%BF%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D1%8F_%D0%BD%D0%B0_Python_%D0%BE%D1%81%D0%B5%D0%BD%D1%8C_2022_%D0%BC%D0%B0%D1%82%D1%84%D0%B0%D0%BA#.D0.9F.D1.80.D0.B0.D0.B2.D0.B8.D0.BB.D0.B0_.D0.B4.D0.B5.D0.B4.D0.BB.D0.B0.D0.B9.D0.BD.D0.BE.D0.B2 Основы программирования на Python осень 2022 матфак] || Математика Совместная бакалавриат НИУ ВШЭ и ЦПМ Совместная магистратура НИУ ВШЭ и ЦПМ Математика и математическая физика|| 2-4 курс бакалавриата 1-2 курс магистратуры || 1-2 модуль

|-
| [[Анализ данных 2022 (ОП "Журналистика" и "Медиакоммуникации") | Анализ данных]] || Журналистика Медиакоммуникации || 2 курс || 1-2 модуль

|-
| [http://wiki.cs.hse.ru/%D0%9C%D0%B0%D1%88%D0%B8%D0%BD%D0%BD%D0%BE%D0%B5_%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B5_(%D0%A4%D0%AD%D0%9D)_-_2022-2023 Машинное обучение] || Экономика || 3,4 курс || 1-2 модули
|}

=== 2 семестр ===

{| class="wikitable"
|-
! Дисциплина !! Образовательная программа !! Курс !! Модули

|-
| [[Прикладное программное обеспечение (основы Python)| Прикладное программное обеспечение (основы Python)]] || Социология || 1 курс || 3 модуль

|-
| [[Основы программирования в Python | Основы программирования в Python]] || Политология || 2 курс || 3-4 модули

|-
| [[Основы программирования в Python для школы дизайна | Основы программирования в Python для школы дизайна]] || Дизайн, Мода, Современное искусство || 2 курс || 3-4 модули

|-
| [[Основы программирования в Python для ВШБ | Основы программирования в Python для ВШБ]] || Управление бизнесом Логистика и управлением цепями поставок Маркетинг и рыночная аналитика || 2 курс || 3 модуль

|-
| [[Программирование на Python для МО 22/23 | Программирование на Python для МО 22/23]] || Международные отношения || 1 курс || 3 модуль
|}

== Курсы магистратуры ФКН ==
{| class="wikitable"
|-
| [[Ликбез_разработчика_(2022) | Ликбез разработчика]] || Машинное обучение и высоконагруженные системы|| 1 year
|-
| [[RecSys_2022_2023 | Рекомендательные системы]] || ФТИАД || 2 year
|-
| [[Linear_Algebra_for_Data_Science_(2022) | Linear Algebra for Data Science]] || Data Science || 1 year
|-
| [[Ordered_Sets_in_Data_Analysis_(2022) | Ordered Sets in Data Analysis]] || Data Science || 1 year
|-
| [[ NIS-TCS-22-23 | НИС Теоретическая информатика ]] || Науки о данных, специализация ТИ ||
|-
| [[Mathematical Foundations of Probability theory | Mathematical foundations of probability theory]] || Math of Machine Learning || 1 year
|-
| [[Markov Chains | Markov Chains]] || Math of Machine Learning || 1 year
|-
| [[Reinforcement_learning_2022_2023 | Математические основы обучения с подкреплением ]] || Math of Machine Learning || 2 year
|}

== Курсы других факультетов ==

{| class="wikitable"
|-
! Дисциплина !! Курс !! Период
|-
| [[econ_probability_2022-23|Теория вероятностей и математическая статистика]] || фэн, 2 курс || 1-4 модуль
|-
| [[econ_metrics_2022-23|Эконометрика ип 2022-23]] || фэн, 3 курс || 1-4 модуль
|-
| [[econ_dynamic_opt_2022-23|Динамическая оптимизация в экономике и финансах]] || фэн, 3-4 курс || 1-2 модуль
|-
| [[icef-dse-2022-23|Data Science for Economics 2022-23]] ||icef, 3-4 year || 1-2 module
|-
| [[Лицей ВШЭ. Практикум по программированию 10 класс 2022-23 | Лицей ВШЭ. Практикум по программированию 10 класс]] || Лицей ВШЭ || 10 класс
|-
| [[icef-scalc-2022-fall|Stochastic Calculus Fall 2022]] ||icef, master 1 year || 2 module
|-
| [[econ_metrics_smfe_2022-23|Эконометрика (продвинутый уровень) 2022-23]] || фэн, магистратура, 1 курс || 3-4 модуль
|}

= Архив =

== Курсы за 2021/22 учебный год ==
{| class="wikitable"
|-

! 1 курс !! 2 курс !! 3 курс !! 4 курс !! майноры и факультативы
|-
|
'''ПМИ'''

[[Линейная_алгебра_и_геометрия_на_ПМИ_2021/2022_(пилотный_поток) | Линейная алгебра и геометрия (пилотный поток)]]

[[Линейная_алгебра_и_геометрия_на_ПМИ_2021/2022_(основной_поток) | Линейная алгебра и геометрия (основной поток)]]

[[Алгебра_на_ПМИ_2021/2022_(пилотный_поток) | Алгебра (пилотный поток)]]

[[Алгебра_на_ПМИ_2021/2022_(основной_поток) | Алгебра (основной поток)]]

[[Математический_Анализ_1_на_ПМИ_2021/2022_(пилотный_поток) | Математический анализ 1 (пилотный поток)]]

[[Математический_анализ_1_2021/2022_(основной_поток) | Математический анализ-1 (основной поток)]]

[[DM1-2021-22 | Дискретная математика]]

[http://wiki.cs.hse.ru/Основы_и_методология_программирования_на_ПМИ_2021/2022_(основной_поток) Основы и методология программирования 2021/2022 (основной поток)]

[[Алгоритмы и структуры данных пилотный поток 2021/2022 | Алгоритмы и структуры данных пилотный поток 2021/2022]]

[[Алгоритмы и структуры данных 1 основной поток 2021/2022 (4 модуль) | Алгоритмы и структуры данных 1 основной поток 2021/2022 (4 модуль)]]

'''ПИ'''

[[DM1-SE-2021-22 | Дискретная математика-1 ПИ]]

[http://hsealgebra22.wikidot.com/ Алгебра 2021/2022 ПИ wikidot]

[[Алгебра 2021/2022 ПИ | Алгебра 2021/2022 ПИ]]

'''ПАД'''

[[Algebra_DSBA_2021/2022 | Algebra DSBA]]

[[Discrete Mathematics DSBA 2021/2022 | Discrete Mathematics (DSBA)]]

[[LAaG DSBA 2021/2022 | LAaG (DSBA)]]

[[Calculus DSBA 2021/2022 | Calculus (DSBA)]]

[[Introduction to Programming DSBA 2021/2022 | Introduction to Programming (DSBA)]]

'''КНАД'''

[[Математический_анализ_(КНАД) | Математический анализ (КНАД)]]

[[Линейная алгебра_(КНАД) | Линейная алгебра (КНАД)]]

[[Программирование_на_Python | Программирование на Python (КНАД)]]

[[Дискретная_математика_КНАД | Дискретная математика (КНАД)]]

[[Алгоритмы и структуры данных-1 2021/2022 4 модуль (КНАД) | Алгоритмы и структуры данных (КНАД)]]

[[Программирование_на_С++_КНАД | Программирование на С++ (КНАД)]]

[[Python_для_сбора_и_анализа_данных_КНАД | Python для сбора и анализа данных (КНАД)]]

[[ИПР_КНАД_22 | Инструменты промышленной разработки (КНАД)]]

||

'''ПМИ'''

[[Теория_вероятностей_и_математическая_статистика_2021/2022_(пилотный_поток)| ТВиМС (пилотный поток)]]

[[Теория_вероятностей_2021/2022_(основной_поток)| ТВиМС (основной поток)]]

[[Математический анализ 2021/2022 (пилотный поток) | Математический анализ - 2 (пилотный поток)]]

[http://wiki.cs.hse.ru/%D0%9C%D0%B0%D1%82%D0%B5%D0%BC%D0%B0%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D0%B9_%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_-_2.1_(2021/22) Математический анализ - 2.1 (основной поток)]

[[Математический_анализ_-_2.2_(2021/22) | Математический анализ - 2.2 (основной поток)]]

[[MissingSemester2021/2022 | Инструменты промышленной разработки (The Missing Semester of your CS education)]]

[[Язык программирования C++ (углубленный курс) | Язык программирования C++ (углубленный курс)]]

[[Математическая логика | Математическая логика]]

[[Дифференциальные уравнения (ПМИ, 2022)]]

[[Алгоритмы и структуры данных 2 2021 | Алгоритмы и структуры данных 2]]

[[Алгоритмы_и_структуры_данных_пилотный_поток_2020/2021 | Алгоритмы и структуры данных – 2 на ПМИ (пилотный поток)]]

[[CAOS-2021 | Архитектура компьютеров и операционные системы]]

[[Основы_матричных_вычислений_2021/2022| Основы матричных вычислений 2021/2022]]

'''ПИ'''

[[Алгоритмы и структуры данных на ПИ 2021/2022 | Алгоритмы и структуры данных на ПИ]]

[[НИС Методы и алгоритмы защиты информации | НИС Методы и алгоритмы защиты информации]]

'''ПАД'''

[[Discrete Mathematics 2 DSBA 2021/2022 | Discrete Mathematics 2 (DSBA)]]

[[Business_and_Management_in_Global_Context_2021/22 | Business and Management in Global Context (DSBA)]]

[[Statistics_DSBA_2021/2022 | Probability and Statistics (DSBA)]]

[[Differential_Equations_2023 | Differential Equations ]]

[[ACOS_DSBA_2021/2022 | Computer Architecture and Operating Systems (DSBA)]]

||

[https://www.notion.so/2021-2022-7374a6eeced2434288226a339bd5037f Курсовая работа]

'''ПМИ'''

[[Intro_to_DL_21/22 | Introduction to Deep Learning 21/22 ]]

[[Безопасность_компьютерных_систем_21/22 | Безопасность компьютерных систем 21/22]]

[http://wiki.cs.hse.ru/%D0%A7%D0%B8%D1%81%D0%BB%D0%B5%D0%BD%D0%BD%D1%8B%D0%B5_%D0%9C%D0%B5%D1%82%D0%BE%D0%B4%D1%8B_2022#.D0.A3.D1.87.D0.B5.D0.B1.D0.BD.D1.8B.D0.B9_.D0.BF.D0.BB.D0.B0.D0.BD Численные методы (2022)]

[[Методы_оптимизации_21/22 | Методы оптимизации 21/22]]

[http://wiki.cs.hse.ru/%D0%9C%D0%B0%D1%82%D0%B5%D0%BC%D0%B0%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%BE%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5_22 Математическое моделирование]

[http://wiki.cs.hse.ru/NIS-TCS-20-21 НИС Теоретическая информатика]

[[time_series_modelling_21_22 | Моделирование временных рядов 21/22]]

[[Анализ данных в бизнесе (Кафедра SAS) 21/22 | Анализ данных в бизнесе (Кафедра SAS) 21/22]]

[[Comb2021_2022 | Комбинаторные конструкции в теоретической информатике]]

[[Машинное_обучение_1/2021_2022 | Машинное обучение 1]]

[[Theory of Computation 2021 | Theory of Computation]]

[http://math-info.hse.ru/s21/8 Прикладные дифференциальные уравнения]

[[Сбор_и_разметка_данных_для_машинного_обучения_21/22 | Сбор и разметка данных для машинного обучения 21/22]]

[[Промышленное_программирование_на_языке_Java/2022 | Промышленное программирование на языке Java]]

'''ПМИ / PC'''

[https://osukhoroslov-hse.notion.site/5ca71a3b2b17452599f169468df43408 НИС Распределенные системы]

[[Database_Systems_2022 | Database Systems 2022]]

[https://osukhoroslov-hse.notion.site/082aef7073a844afa4c1bf718a773d77 Распределенные системы]

[https://naorlov.notion.site/naorlov/Nets-2021-51931594039e40aeb9102b784d7a8e70 Компьютерные сети]

'''ПМИ / МОП'''

[[Машинное_обучение_2 | Машинное обучение 2]]

[[Методы оптимизации в машинном обучении 2022| Методы оптимизации в машинном обучении 2022]]

[[НИС_Машинное_обучение_и_приложения_3_курс_2021/2022 | НИС Машинное обучение и приложения 3 курс]]

[http://wiki.cs.hse.ru/Psmo_21_22 Прикладная статистика в машинном обучении 21/22]

[[Statistical_learning_theory_2021 | Statistical learning theory]]

'''ПИ'''

[[ML4SE_1 | НИС Машинное обучение для программной инженерии]]

[[Технологии прикладного анализа данных SAS | Технологии прикладного анализа данных SAS]]

'''ПАД'''

[http://wiki.cs.hse.ru/Time_Series_and_Stochastic_Processes_ada_21_22 Time series and stochastic processes 2021-22]

[https://github.com/xenakas/dsba_ecm_2021 Elements of Econometrics ]

[[Data Science Case Studies (JD SAS) 21/22 | Data Science Case Studies (JD SAS) 21/22]]

[[SAS Technologies for Data Mining | SAS Technologies for Data Mining]]
[[Optimization_Methods_2022 | Optimization Methods]]

||

[[Введение_в_дифференциальную_геометрию_2022 | Введение в дифференциальную геометрию 2022]]

[[Символьные_вычисления_21/22 | Символьные вычисления 21/22]]

[[Случайные_процессы_(зима_2022) | Случайные процессы (зима 2022) ]]

[[Методы_сжатия_и_передачи_медиаданных_21/22 | Методы сжатия и передачи медиаданных 21/22]]

[[Теория_и_практика_онлайн-экспериментов_21/22 | Теория и практика онлайн-экспериментов 21/22]]

[[Безопасность_компьютерных_систем_21/22 | Безопасность компьютерных систем 21/22]]

[http://wiki.cs.hse.ru/%D0%94%D0%B8%D0%B7%D0%B0%D0%B9%D0%BD_%D1%81%D0%B8%D1%81%D1%82%D0%B5%D0%BC_21/22 Дизайн систем]

[http://wiki.cs.hse.ru/%D0%9E%D1%81%D0%BD%D0%BE%D0%B2%D1%8B_%D1%82%D0%B5%D0%BD%D0%B7%D0%BE%D1%80%D0%BD%D1%8B%D1%85_%D0%B2%D1%8B%D1%87%D0%B8%D1%81%D0%BB%D0%B5%D0%BD%D0%B8%D0%B9 Основы тензорых вычислений]

[[Сбор_и_разметка_данных_для_машинного_обучения_21/22 | Сбор и разметка данных для машинного обучения 21/22]]

[[Байесовские_методы_машинного_обучения_2021 | Байесовские методы машинного обучения]]

[[НИС_Машинное_обучение_и_приложения_4_курс_2021/2022 | НИС Машинное обучение и приложения 4 курс]]

[https://artemova.notion.site/artemova/c88a68750cff4b509699fa127be11801 Глубинное обучение для текстовых данных 2021/2022]

[http://wiki.cs.hse.ru/LSML_2021/2022 Машинное обучение для больших данных 21/22]

[[Эффективные системы глубинного обучения 21/22|Эффективные системы глубинного обучения]]

'''ПМИ / РС'''

[https://osukhoroslov-hse.notion.site/2-0cd36b67b9f64182bfeabcda9ede647a НИС Распределенные системы 2]

[[msbdp_21 | Методы и системы обработки больших данных]]

[https://osukhoroslov-hse.notion.site/cee4a50ac8cf4e328cefbd35cf822fa5 Облачные вычисления]

'''ПМИ / ТИ'''

[[InfTheory2021 | Теория информации]]

[[OWF2021 | Односторонние функции и их применения]]

[[ConvAppr22 | Выпуклое программирование и аппроксимационные алгоритмы ]]

'''ПАД'''

[[Statistics 4mr 2021-22 | Statistical Methods for Market Research (DSBA)]]

[[Decision Making Strategy]]

||

[[Дополнительные_главы_теории_вероятностей_2022|ДГТВ]]

[[Дополнительные_главы_теории_вероятностей-2_2021/2022|ДГТВ-2]]

[[Теория_вычислений_2022|Теория вычислений]]

[[NonClassicalLogics|Факультатив "Неклассические логики" (3 модуль)]]

[[Криптография_на_решётках_21/22| Криптография на решётках]]

[http://wiki.cs.hse.ru/%D0%9C%D0%B0%D0%B9%D0%BD%D0%BE%D1%80_%D0%91%D0%B8%D0%BE%D0%B8%D0%BD%D1%84%D0%BE%D1%80%D0%BC%D0%B0%D1%82%D0%B8%D0%BA%D0%B0_1_%D0%B3%D0%BE%D0%B4_2021/22 Майнор Биоинформатика 1 год 2021/22]

[[Майнор_Биоинформатика_2_год_2021/22|Майнор Биоинформатика 2 год 2021/22]]

[[Введение_в_программирование_21/22_(майнор_ИАД) | Введение в программирование 21/22 (майнор ИАД)]]

[[Основы_машинного_обучения | Основы машинного обучения (майнор ИАД)]]

[[Основы_глубинного_обучения/2021_2022 | Основы глубинного обучения (майнор ИАД)]]

[[Прикладные_задачи_анализа_данных | Прикладные задачи анализа данных (майнор ИАД)]]

[[Функциональное_программирование_2019 | Функциональное программирование 2021]]

[[KotlinElective|Факультатив "Язык Kotlin" (ноя-дек 2021)]]

[[Dopglavy_DM_2022| Дополнительные главы дискретной математики]]

[[Факультатив_Data_Science_в_игровой_индустрии_(SAS) | Факультатив Data Science в игровой индустрии (SAS)]]

[[Факультатив_Анализ_данных_на_платформе_SAS | Факультатив Анализ данных на платформе SAS]]

[https://rroll.to/2D8yXl Основы и методология пикапа на ПМИ 2021/2022]

|}

== Курсы в рамках проекта [https://www.hse.ru/dataculture/ Data Culture]==

=== 2 семестр ===
{| class="wikitable"
|-
! Дисциплина !! Образовательная программа !! Курс !! Модули
|-
| [http://wiki.cs.hse.ru/%D0%9F%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5_%D0%BD%D0%B0_%D1%8F%D0%B7%D1%8B%D0%BA%D0%B5_Python,_%D0%B6%D1%83%D1%80%D0%BD%D0%B0%D0%BB%D0%B8%D1%81%D1%82%D0%B8%D0%BA%D0%B0_2022 Программирование на языке Python] || Журналистика || 2 курс || 4 модуль
|-
| [http://wiki.cs.hse.ru/Программирование_на_Python_деп_медиа_2022 Программирование на языке Python] || Журналистика и Медиакоммуникации || 1 курс || 3 модуль
|-
| [http://wiki.cs.hse.ru/Python_для_ОП_%22Психология%22_2021/2022 Программирование на языке Python] ||Психология || 1 курс || 3-4 модуль
|-
| [http://wiki.cs.hse.ru/Python_для_ОП_%22Экономика_и_статистика%22_и_ОП_%22География_глобальных_изменений%22_2021/2022 Программирование на языке Python] ||Экономика и статистика; География глобальных изменений || 2 курс || 3 модуль
|-
| [[Культура работы с данными]] ||Иностранные языки и межкультурная коммуникация || 1 курс || 3-4 модуль
|-
| [[Машинное обучение на матфаке 2022|Машинное обучение]] || Математика || 3-4 модули || 3-4 модули
|-
| [[Введение_в_МО_БИ_21/22| Введение в машинное обучение]] || Бизнес-информатика || 3 курс || 3-4 модули
|-
| [[Excel для анализа данных 21-22]] || Иностранные языки и межкультурная коммуникация || 4 курс || 3 модуль
|-
| [[Введение в Data Science 21-22]] || УБ и МиРА || 2 курс || 4 модуль
|-
| [[Основы программирования в Python (Мирэк) 2022 | Основы программирования в Python]] || Мировая экономика || 2 курс || 3-4 модуль
|-
|[http://wiki.cs.hse.ru/Python_%D0%B4%D0%BB%D1%8F_%D0%B8%D0%B7%D0%B2%D0%BB%D0%B5%D1%87%D0%B5%D0%BD%D0%B8%D1%8F_%D0%B8_%D0%BE%D0%B1%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%BA%D0%B8_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_%D0%A5%D0%B8%D0%BC%D0%B8%D1%8F Python для извлечения и обработки данных] || Химия || 2 курс || 4 модуль
|-
| [http://wiki.cs.hse.ru/Цифровая_грамотность_Городское_планирование_2021-2022 Цифровая грамотность] || Городское планирование || 1 курс || 4 модуль
|}

=== 1 семестр ===
{| class="wikitable"
|-
! Дисциплина !! Образовательная программа !! Курс !! Модули
|-
| [http://wiki.cs.hse.ru/%D0%A6%D0%B8%D1%84%D1%80%D0%BE%D0%B2%D0%B0%D1%8F_%D0%B3%D1%80%D0%B0%D0%BC%D0%BE%D1%82%D0%BD%D0%BE%D1%81%D1%82%D1%8C_%D0%93%D0%B5%D0%BE%D0%B3%D1%80%D0%B0%D1%84%D0%B8%D1%8F_2020/21 Цифровая грамотность] || География глобальных измерений и геоинформационные технологии || 1 курс || 1-2 модули
|-
| [[Цифровая грамотность, Востоковедение 2021/2022| Цифровая грамотность]] || Востоковедение || 1 курс || 1-2 модули
|-
|[[Цифровая Грамотность ИКВиА 2021/2022 | Цифровая грамотность]] || ИКВиА || 1 курс || 1-2 модули
|-
| [http://wiki.cs.hse.ru/%D0%98%D0%BD%D1%84%D0%BE%D1%80%D0%BC%D0%B0%D1%86%D0%B8%D0%BE%D0%BD%D0%BD%D1%8B%D0%B5_%D1%82%D0%B5%D1%85%D0%BD%D0%BE%D0%BB%D0%BE%D0%B3%D0%B8%D0%B8_%D0%B2_%D0%B4%D0%B5%D1%8F%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D0%BE%D1%81%D1%82%D0%B8_%D1%8E%D1%80%D0%B8%D1%81%D1%82%D0%B0_2018-2019 Цифровая грамотность] || Юриспруденция || 1 курс || 1-2 модули
|-
| [http://wiki.cs.hse.ru/%D0%98%D0%BD%D1%84%D0%BE%D1%80%D0%BC%D0%B0%D1%86%D0%B8%D0%BE%D0%BD%D0%BD%D1%8B%D0%B5_%D1%82%D0%B5%D1%85%D0%BD%D0%BE%D0%BB%D0%BE%D0%B3%D0%B8%D0%B8_%D0%B2_%D0%B4%D0%B5%D1%8F%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D0%BE%D1%81%D1%82%D0%B8_%D1%8E%D1%80%D0%B8%D1%81%D1%82%D0%B0_2018-2019 Цифровая грамотность] || Юриспруденция:частное право || 1 курс || 1-2 модули
|-
| [http://wiki.cs.hse.ru/%D0%A6%D0%B8%D1%84%D1%80%D0%BE%D0%B2%D0%B0%D1%8F_%D0%B3%D1%80%D0%B0%D0%BC%D0%BE%D1%82%D0%BD%D0%BE%D1%81%D1%82%D1%8C_%D0%98%D1%81%D1%82%D0%BE%D1%80%D0%B8%D1%8F_2021/2022 Цифровая грамотность] ||История || 1 курс || 1-2 модули
|-
| [http://wiki.cs.hse.ru/Цифровая_грамотность_Филология_2021/2022 Цифровая грамотность] || Филология || 1 курс || 1-2 модули
|-
| [http://wiki.cs.hse.ru/%D0%A6%D0%B8%D1%84%D1%80%D0%BE%D0%B2%D0%B0%D1%8F_%D0%B3%D1%80%D0%B0%D0%BC%D0%BE%D1%82%D0%BD%D0%BE%D1%81%D1%82%D1%8C_2020-21_(%D0%9A%D1%83%D0%BB%D1%8C%D1%82%D1%83%D1%80%D0%BE%D0%BB%D0%BE%D0%B3%D0%B8%D1%8F) Цифровая грамотность] || Культурология || 1 курс || 1-2 модули
|-
| [http://wiki.cs.hse.ru/%D0%A6%D0%B8%D1%84%D1%80%D0%BE%D0%B2%D0%B0%D1%8F_%D0%B3%D1%80%D0%B0%D0%BC%D0%BE%D1%82%D0%BD%D0%BE%D1%81%D1%82%D1%8C_%D0%94%D0%B5%D0%BF%D0%B0%D1%80%D1%82%D0%B0%D0%BC%D0%B5%D0%BD%D1%82_%D0%9C%D0%B5%D0%B4%D0%B8%D0%B0_2021-2022 Цифровая грамотность] || Медиакоммуникации и Журналистика || 1 курс || 1-2 модули
|-
| [http://wiki.cs.hse.ru/Цифровая_грамотность_Философия_2021/2022 Цифровая грамотность] || Философия || 1 курс || 1-2 модуль
|-
| [http://wiki.cs.hse.ru/Основы_программирования_на_Python_осень_2021_матфак Основы программирования на Python] || Математика || 3 курс || 1-2 модули
|-
| [http://wiki.cs.hse.ru/%D0%90%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_%D0%B2_R,_%D0%A1%D0%BE%D1%86%D0%B8%D0%BE%D0%BB%D0%BE%D0%B3%D0%B8%D1%8F Анализ данных в R] || Социология || 4 курс || 1-2 модули
|-
| [http://wiki.cs.hse.ru/%D0%9F%D0%9C%D0%A1%D0%90%D0%A0-2_2020 Методы анализа больших данных в исследованиях поведения покупателя] || Прикладные методы социального анализа рынков (магистратура) || 2 курс || 1-2 модули
|-
| [http://wiki.cs.hse.ru/%D0%9C%D0%B0%D1%88%D0%B8%D0%BD%D0%BD%D0%BE%D0%B5_%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B5_(%D0%A4%D0%AD%D0%9D)_-_2021-2022 Машинное обучение] || Экономика || 3,4 курс || 1-2 модули
|-
| [[Программирование_ЭкСтат_ГП | Программирование на языке Python ]] || Городское планирование, Экономика и статистика || 3 курс || 1-2 модули
|-
| [[Основы анализа данных в международных отношениях 2021/2022 | Основы анализа данных в международных отношениях]] || Международные отношения || 2 курс || 1-2 модули
|-
| [http://wiki.cs.hse.ru/Python_%D0%B4%D0%BB%D1%8F_%D0%B8%D0%B7%D0%B2%D0%BB%D0%B5%D1%87%D0%B5%D0%BD%D0%B8%D1%8F_%D0%B8_%D0%BE%D0%B1%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%BA%D0%B8_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85 Python извлечение и обработка данных] || Клеточная и молекулярная биотехнология || 1 курс || 1-2 модули
|-
| [http://wiki.cs.hse.ru/%D0%9E%D1%81%D0%BD%D0%BE%D0%B2%D1%8B_%D0%BF%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D1%8F_%D0%B2_Python_(%D0%9F%D0%BE%D0%BB%D0%B8%D1%82%D0%BE%D0%BB%D0%BE%D0%B3%D0%B8%D1%8F_2020) Основы программирования в Python ] || Политология || 3 курс || 1-2 модули
|-
| [http://wiki.cs.hse.ru/Основы_работы_с_данными:_сбор,_анализ,_визуализация_(ОП_%22Журналистика%22) Основы работы с данными: сбор, анализ, визуализация] || Журналистика || 3 курс || 1-2 модули
|-
| [http://wiki.cs.hse.ru/%D0%92%D0%B2%D0%B5%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5_%D0%B2_Data_Science Data Science] || Экономика впечатлений: менеджмент в индустрии гостеприимства и туризме (магистратура) || 1 курс || 2 модуль
|-
| [http://wiki.cs.hse.ru/%D0%9C%D0%B0%D1%88%D0%B8%D0%BD%D0%BD%D0%BE%D0%B5_%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B5_(%D1%81%D0%BE%D0%B2._%D0%B1%D0%B0%D0%BA._%D0%92%D0%A8%D0%AD-%D0%A0%D0%AD%D0%A8_2021) Машинное обучение] || Совместный бакалавриат НИУ ВШЭ и РЭШ || 3 курс || 1-2 модули
|-
|
|| Бакалавриат НИУ ВШЭ и Лондонского университета || 3 курс || 1-2 модули
|-
| [http://wiki.cs.hse.ru/Data_Analysis_in_Economics_and_Finance_2020-2021 Data Analysis in Economics and Finance] || Бакалавриат НИУ ВШЭ и Лондонского университета || 3 курс || 1-2 модули
|-
| [http://wiki.cs.hse.ru/Data_Analysis_in_Journalism_and_Political_Science_2020-2021 Data Analysis in Journalism and Political Science]|| Бакалавриат НИУ ВШЭ и Лондонского университета || 3 курс || 1-2 модули
|-
| [http://wiki.cs.hse.ru/%D0%9F%D1%80%D0%B8%D0%BA%D0%BB%D0%B0%D0%B4%D0%BD%D1%8B%D0%B5_%D0%B8%D1%81%D1%81%D0%BB%D0%B5%D0%B4%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D1%8F_%D0%B2_%D0%BA%D1%83%D0%BB%D1%8C%D1%82%D1%83%D1%80%D0%BE%D0%BB%D0%BE%D0%B3%D0%B8%D0%B8_2020_1%D0%BC%D0%BE%D0%B4%D1%83%D0%BB%D1%8C Прикладные исследования в культурологии] || Прикладная культурология (магистратура) || 1 курс || 1 модуль
|-
| [http://wiki.cs.hse.ru/%D0%9F%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5_%D0%B8_%D0%BA%D0%BE%D0%BC%D0%BF%D1%8C%D1%8E%D1%82%D0%B5%D1%80%D0%BD%D1%8B%D0%B5_%D0%B8%D0%BD%D1%81%D1%82%D1%80%D1%83%D0%BC%D0%B5%D0%BD%D1%82%D1%8B_%D0%BB%D0%B8%D0%BD%D0%B3%D0%B2%D0%B8%D1%81%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%BE%D0%B3%D0%BE_%D0%B8%D1%81%D1%81%D0%BB%D0%B5%D0%B4%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D1%8F Программирование и лингвистические данные] || Фундаментальная и компьютерная лингвистика || 1 курс || 1, 2, 3, 4 модули
|-
| [http://wiki.cs.hse.ru/%D0%9F%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5_%D0%B8_%D0%BA%D0%BE%D0%BC%D0%BF%D1%8C%D1%8E%D1%82%D0%B5%D1%80%D0%BD%D1%8B%D0%B5_%D0%B8%D0%BD%D1%81%D1%82%D1%80%D1%83%D0%BC%D0%B5%D0%BD%D1%82%D1%8B_%D0%BB%D0%B8%D0%BD%D0%B3%D0%B2%D0%B8%D1%81%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%BE%D0%B3%D0%BE_%D0%B8%D1%81%D1%81%D0%BB%D0%B5%D0%B4%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D1%8F Программирование и лингвистические данные] || Фундаментальная и компьютерная лингвистика || 1 курс || 1, 2, 3 модули
|-
| [http://wiki.cs.hse.ru/%D0%9A%D0%BE%D0%BC%D0%BF%D1%8C%D1%8E%D1%82%D0%B5%D1%80%D0%BD%D0%B0%D1%8F_%D0%BB%D0%B8%D0%BD%D0%B3%D0%B2%D0%B8%D1%81%D1%82%D0%B8%D0%BA%D0%B0_%D0%B8_%D0%B8%D0%BD%D1%84%D0%BE%D1%80%D0%BC%D0%B0%D1%86%D0%B8%D0%BE%D0%BD%D0%BD%D1%8B%D0%B5_%D1%82%D0%B5%D1%85%D0%BD%D0%BE%D0%BB%D0%BE%D0%B3%D0%B8%D0%B8 Программирование и теория алгоритмов] || Фундаментальная и компьютерная лингвистика || 3 курс || 2, 3, 4 модули
|-
| [https://github.com/daria-sa/NNmethods_ba_hse21-22/ Нейросетевые методы в обработке текстов] || Фундаментальная и компьютерная лингвистика || 4 курс || 1, 2, 3 модули
|-

|}

== Курсы магистратуры ФКН ==

{| class="wikitable"
|-
| [[Modern_Data_Analysis_2021_2022 | Modern Data Analysis]] || Data Science (Науки о данных) || 2 year
|-
| [[Project_Seminar_2021_2022 | Проектный семинар специализации ТИ]] || Науки о данных, специализация ТИ || 1 year
|-
| [[Theory of Computation 2021 | Theory of Computation]] || Науки о данных, специализация ТИ || 1 year
|-
| [[ConvAppr22 | Выпуклое программирование и аппроксимационные алгоритмы ]] || Науки о данных, специализация ТИ || 1 year
|-
| [[RecSys_2021_2022 | Рекомендательные системы]] || ФТИАД || 2 year
|-
| [[Stochastic_analysis_2021_2022 | Стохастический анализ 2021-2022]] || Math of Machine Learning || 1 year
|-
| [[Reinforcement_learning_2021_2022 | Математические основы обучения с подкреплением 2021-2022]] || Math of Machine Learning || 2 year
|-
| [[Theoretical_Computer_Science_2022 | Theoretical computer science 2021-2022]] || Theoretical computer science || PhD
|-
| [[Машинное_обучение_(современные_методы)-МОиВС-2021-2022 | Машинное обучение (современные методы)]] || Машинное обучение и высоконагруженные системы|| 1 year
|-
| [[Алгоритмы_и_структуры_данных-МОиВС-2021-2022 | Алгоритмы и структуры данных]] || Машинное обучение и высоконагруженные системы|| 1 year
|-
| [[Основы_промышленной_разработки-МОиВС-2021-2022 | Основы промышленной разработки]] || Машинное обучение и высоконагруженные системы|| 1 year
|-
| [[Глубинное обучение-МОиВС-2022-2023 | Глубинное обучение]] || Машинное обучение и высоконагруженные системы|| 1 year
|-
|}

== Курсы других факультетов ==

{| class="wikitable"
|-
! Дисциплина !! Курс !! Период
|-
| [http://wiki.cs.hse.ru/Econ_probability_2021-22 Теория вероятностей и математическая статистика] || фэн, 2 курс || 1-4 модуль
|-
| [[Динамическая оптимизация в экономике и финансах, фэн, 2021/22|Динамическая оптимизация в экономике и финансах]] || фэн, 3-4 курс || 1-2 модуль
|-
|}

= Архив до 2020/21 учебного года включительно =
[[Wiki ФКН/Архив]]

Методы оптимизации в машинном обучении 2023

2023-01-17T13:09:56Z

Dkropotov:

__NOTOC__

'''Внимание! Страница курса находится в стадии формирования.'''

Методы оптимизации лежат в основе решения многих задач компьютерных наук. Например, в машинном обучении задачу оптимизации необходимо решать каждый раз при настройке какой-то модели алгоритмов по данным, причём от эффективности решения соответствующей задачи оптимизации зависит практическая применимость самого метода машинного обучения. Данный курс посвящен изучению классических и современных методов решения задач непрерывной оптимизации (в том числе невыпуклых), а также особенностям применения этих методов в задачах оптимизации, возникающих в машинном обучении. Основной акцент в изложении делается на практические аспекты реализации и использования методов. Целью курса является выработка у слушателей навыков по подбору подходящего метода для своей задачи, наиболее полно учитывающего её особенности.

'''Преподаватели''': Кропотов Дмитрий Александрович, Кодрян Максим, Никоров Кирилл.

{| class="wikitable"
! Группа !! Расписание !! Инвайт для anytask
|-
| align="center"|201 || пятница, лекция в 13:00 (R405), семинар в 14:40 (R207) || align="center"|nuYXlzP
|-
| align="center"|202 || пятница, лекция в 13:00 (R405), семинар в 14:40 (R301) || align="center"|Zus8FGK
|-
| align="center"|203 || пятница, лекция в 13:00 (R405), семинар в 14:40 (R201) || align="center"|H85FCXe
|-
| Другие студенты || пятница, лекция в 13:00 (R405), можно выбрать семинар любой из групп 201, 202, 203 || align="center"|ml0iZHo
|}

Группа в Telegram для вопросов по курсу: [https://t.me/+hFSF73A2XbY1NmUy ссылка]

== Система выставления оценок по курсу ==
В рамках курса предполагается четыре теоретических и четыре практических домашних заданий, а также экзамен в конце курса. Каждое задание и экзамен оцениваются исходя из 10-ти баллов. За задания можно получить дополнительные баллы за выполнение бонусных пунктов. Общая оценка за курс вычисляется по правилу Округление_вверх(0.7*<Оценка_за_семестр> + 0.3*<Оценка_за_экзамен>). <Оценка_за_семестр> = min(10, <Суммарная_оценка_за_задания>*10 / <Максимальная_суммарная_оценка_за_задания_без_бонусов>). Итоговая оценка за курс совпадает с общей оценкой при соблюдении следующих дополнительных условий:
{| class="wikitable"
! Итоговая оценка !! Условия
|-
|align="center"|>=8 || Сданы все задания, кроме одного (на оценку >= 3), экзамен сдан на оценку >= 6
|-
|align="center"|>=6 || Сданы все задания, кроме двух (на оценку >= 3), экзамен сдан на оценку >= 4
|-
|align="center"|>=4 || Сданы все задания, кроме трех (на оценку >= 3), экзамен сдан на оценку >= 4
|-
|}

== Правила сдачи заданий ==
Теоретические и практические задания сдаются в систему anytask (инвайт см. выше). В случае наличия мягкого дедлайна задания могут быть присланы после срока сдачи, но с задержкой не более одной недели. При этом начисляется штраф из расчёта 0.5 балла в день. Все задания выполняются самостоятельно. Если задание выполнялось сообща или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчёте. В противном случае «похожие» решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.

Теоретические задания сдаются в anytask в виде сканов или набранных в TeX pdf-файлов. '''ВАЖНО!''' Присылаемые сканы должны быть высокого качества, присылаться одним файлом, в котором все листы идут в правильном порядке. В случае плохого качества сканов или же сдачи в формате, отличном от pdf, проверяющий имеет право поставить за работу 0, не проверяя.

== Лекции и семинары ==
{| class = "wikitable"
|+
! № п/п
! Дата
! Занятие
! Материалы
|-
| align="center"|1
| 20 января 2023
| Введение в курс. Скорости сходимости итерационных процессов. Матрично-векторное дифференцирование. || [https://drive.google.com/file/d/1MXENV3Ryy8SgK3_q_lKB5gBG39qcl8_M/view?usp=sharing Конспект]
[https://drive.google.com/file/d/1bNWF262guJHTphptCTYARAsUKRPC9QmS/view?usp=sharing Конспект]
|-
| align="center"|2
| 27 января 2023
| Классы функций для оптимизации. Точная и неточная одномерная оптимизация || [http://www.machinelearning.ru/wiki/images/4/4d/MOMO16_min1d.pdf Конспект]
|-
| align="center"|3
| 03 февраля 2023
| Метод градиентного спуска. Разностное дифференцирование. ||
|-
| align="center"|4
| 10 февраля 2023
| Стандартные матричные разложения. Метод Ньютона. || [https://drive.google.com/file/d/1K9xt0seQ_Oi0UcyziwHibhnr7PorNfqe/view?usp=sharing Презентация по подготовке отчётов]
|-
| align="center"|5
| 17 февраля 2023
| Метод сопряжённых градиентов. || [https://drive.google.com/file/d/1Ai3ZSuLTb0C6hL5KcAvagzJgKqL1-ySo/view?usp=sharing Презентация]
|-
| align="center"|6
| 24 февраля 2023
| Безгессианный метод Ньютона. Выпуклые множества. || [https://drive.google.com/file/d/1t9_Uvo-xrVd_nIVUk4CGXGfebHcFtTkw/view?usp=sharing Конспект]
|-
| align="center"|7
| 03 марта 2023
| Квазиньютоновские методы оптимизации. Выпуклые функции. || [https://drive.google.com/file/d/1glvkT1g6C405RT773KwUdKYRW_bhOKct/view?usp=sharing Конспект]
[http://www.machinelearning.ru/wiki/images/1/10/MOMO18_Seminar6.pdf Конспект]
|-
| align="center"|8
| 10 марта 2023
| Задачи условной оптимизации. Теорема Каруша-Куна-Таккера. || [http://www.machinelearning.ru/wiki/images/7/7f/MOMO18_Seminar7.pdf Конспект]
|-
| align="center"|9
| 17 марта 2023
| Задача линейного программирования. Симплекс-метод. Эквивалентные преобразования задач оптимизации. Стандартные классы выпуклых условных задач оптимизации. || [https://drive.google.com/file/d/1ghnO3gMssx2IS9LaaOgYXbwwq6Pm8ZXY/view?usp=sharing Конспект]
|-
| align="center"|10
| 24 марта 2023
| Метод Ньютона и метод логарифмических барьеров для решения выпуклых задач условной оптимизации. Применение метода лог. барьеров для двойственной задачи в SVM. || [http://www.machinelearning.ru/wiki/images/8/81/MOMO12_ipm.pdf Конспект] 
|-
| align="center"|--
| 31 марта 2023
| ''Занятия не будет'' ||
|-
| align="center"|11
| 7 апреля 2023
| Прямо-двойственные методы для решения выпуклых задач условной оптимизации. ||
|-
| align="center"|12
| 14 апреля 2023
| Негладкая выпуклая оптимизация. Субградиентный метод. Субдифференциальное исчисление. || [http://www.machinelearning.ru/wiki/images/e/e5/MOMO18_Seminar10.pdf Конспект]
|-
| align="center"|13
| 21 апреля 2023
| Проксимальные методы оптимизации. Сопряженные функции и нормы. || [http://www.machinelearning.ru/wiki/images/1/15/MOMO18_Seminar8.pdf Конспект]
|-
| align="center"|14
| 28 апреля 2023
| Стохастическая оптимизация: методы SGD, SAG, SVRG. Проекции и проксимальные операторы. ||
|-
| align="center"|--
| 5 мая 2023
| ''Занятия не будет'' ||
|-
| align="center"|15
| 12 мая 2023
| Стохастическая оптимизация: методы SQN, NIM, Adagrad, RMSprop, ADAM. Автоматическое дифференцирование по графу вычислений. || [https://arxiv.org/abs/1401.7020 Статья 1] [https://proceedings.mlr.press/v48/rodomanov16.html Статья 2]
|-
| align="center"|16
| 19 мая 2023
| Дифференцирование через процесс оптимизации. || [https://arxiv.org/abs/1703.00443 Статья 1] [https://arxiv.org/abs/1502.03492 Статья 2]
|-
|}

== Рекомендуемая литература ==
1. J. Nocedal, S. Wright. [https://www.csie.ntu.edu.tw/~r97002/temp/num_optimization.pdf Numerical optimization]. Springer, 2006.

2. S. Boyd, L. Vandenberghe. [https://web.stanford.edu/~boyd/cvxbook/ Convex optimization]. Cambridge University Press, 2004.

Методы оптимизации в машинном обучении 2023

2023-01-17T12:59:16Z

Dkropotov:

__NOTOC__

'''Внимание! Страница курса находится в стадии формирования.'''

Методы оптимизации лежат в основе решения многих задач компьютерных наук. Например, в машинном обучении задачу оптимизации необходимо решать каждый раз при настройке какой-то модели алгоритмов по данным, причём от эффективности решения соответствующей задачи оптимизации зависит практическая применимость самого метода машинного обучения. Данный курс посвящен изучению классических и современных методов решения задач непрерывной оптимизации (в том числе невыпуклых), а также особенностям применения этих методов в задачах оптимизации, возникающих в машинном обучении. Основной акцент в изложении делается на практические аспекты реализации и использования методов. Целью курса является выработка у слушателей навыков по подбору подходящего метода для своей задачи, наиболее полно учитывающего её особенности.

'''Преподаватели''': Кропотов Дмитрий Александрович, Кодрян Максим, Никоров Кирилл.

{| class="wikitable"
! Группа !! Расписание !! Инвайт для anytask
|-
| align="center"|201 || пятница, лекция в 13:00 (R405), семинар в 14:40 (R207) || align="center"|nuYXlzP
|-
| align="center"|202 || пятница, лекция в 13:00 (R405), семинар в 14:40 (R301) || align="center"|Zus8FGK
|-
| align="center"|203 || пятница, лекция в 13:00 (R405), семинар в 14:40 (R201) || align="center"|H85FCXe
|-
| Другие студенты || пятница, лекция в 13:00 (R405), можно выбрать семинар любой из групп 201, 202, 203 || align="center"|ml0iZHo
|}

Группа в Telegram для вопросов по курсу: [https://t.me/+hFSF73A2XbY1NmUy ссылка]

== Система выставления оценок по курсу ==
В рамках курса предполагается четыре теоретических и четыре практических домашних заданий, а также экзамен в конце курса. Каждое задание и экзамен оцениваются исходя из 10-ти баллов. За задания можно получить дополнительные баллы за выполнение бонусных пунктов. Общая оценка за курс вычисляется по правилу Округление_вверх(0.7*<Оценка_за_семестр> + 0.3*<Оценка_за_экзамен>). <Оценка_за_семестр> = min(10, <Суммарная_оценка_за_задания>*10 / <Максимальная_суммарная_оценка_за_задания_без_бонусов>). Итоговая оценка за курс совпадает с общей оценкой при соблюдении следующих дополнительных условий:
{| class="wikitable"
! Итоговая оценка !! Условия
|-
|align="center"|>=8 || Сданы все задания, кроме одного (на оценку >= 3), экзамен сдан на оценку >= 6
|-
|align="center"|>=6 || Сданы все задания, кроме двух (на оценку >= 3), экзамен сдан на оценку >= 4
|-
|align="center"|>=4 || Сданы все задания, кроме трех (на оценку >= 3), экзамен сдан на оценку >= 4
|-
|}

== Правила сдачи заданий ==
Теоретические и практические задания сдаются в систему anytask (инвайт см. выше). В случае наличия мягкого дедлайна задания могут быть присланы после срока сдачи, но с задержкой не более одной недели. При этом начисляется штраф из расчёта 0.5 балла в день. Все задания выполняются самостоятельно. Если задание выполнялось сообща или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчёте. В противном случае «похожие» решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.

Теоретические задания сдаются в anytask в виде сканов или набранных в TeX pdf-файлов. '''ВАЖНО!''' Присылаемые сканы должны быть высокого качества, присылаться одним файлом, в котором все листы идут в правильном порядке. В случае плохого качества сканов или же сдачи в формате, отличном от pdf, проверяющий имеет право поставить за работу 0, не проверяя.

== Лекции и семинары ==
{| class = "wikitable"
|+
! № п/п
! Дата
! Занятие
! Материалы
|-
| align="center"|1
| 18 января 2022
| Введение в курс. Скорости сходимости итерационных процессов. Матрично-векторное дифференцирование. || [https://drive.google.com/file/d/1MXENV3Ryy8SgK3_q_lKB5gBG39qcl8_M/view?usp=sharing Конспект]
[https://drive.google.com/file/d/1bNWF262guJHTphptCTYARAsUKRPC9QmS/view?usp=sharing Конспект]
|-
| align="center"|2
| 25 января 2022
| Классы функций для оптимизации. Точная и неточная одномерная оптимизация || [http://www.machinelearning.ru/wiki/images/4/4d/MOMO16_min1d.pdf Конспект]
|-
| align="center"|3
| 01 февраля 2022
| Метод градиентного спуска. Разностное дифференцирование. ||
|-
| align="center"|4
| 08 февраля 2022
| Стандартные матричные разложения. Метод Ньютона. || [https://drive.google.com/file/d/1K9xt0seQ_Oi0UcyziwHibhnr7PorNfqe/view?usp=sharing Презентация по подготовке отчётов]
|-
| align="center"|5
| 15 февраля 2022
| Метод сопряжённых градиентов. || [https://drive.google.com/file/d/1Ai3ZSuLTb0C6hL5KcAvagzJgKqL1-ySo/view?usp=sharing Презентация]
|-
| align="center"|6
| 22 февраля 2022
| Безгессианный метод Ньютона. Выпуклые множества. || [https://drive.google.com/file/d/1t9_Uvo-xrVd_nIVUk4CGXGfebHcFtTkw/view?usp=sharing Конспект]
|-
| align="center"|7
| 01 марта 2022
| Квазиньютоновские методы оптимизации. Выпуклые функции. || [https://drive.google.com/file/d/1glvkT1g6C405RT773KwUdKYRW_bhOKct/view?usp=sharing Конспект]
[http://www.machinelearning.ru/wiki/images/1/10/MOMO18_Seminar6.pdf Конспект]
|-
| align="center"|--
| 08 марта 2022
| ''Занятия не будет'' ||
|-
| align="center"|8
| 15 марта 2022
| Задачи условной оптимизации. Теорема Каруша-Куна-Таккера. || [http://www.machinelearning.ru/wiki/images/7/7f/MOMO18_Seminar7.pdf Конспект]
|-
| align="center"|9
| 22 марта 2022
| Задача линейного программирования. Симплекс-метод. Эквивалентные преобразования задач оптимизации. Стандартные классы выпуклых условных задач оптимизации. || [https://drive.google.com/file/d/1ghnO3gMssx2IS9LaaOgYXbwwq6Pm8ZXY/view?usp=sharing Конспект]
|-
| align="center"|--
| 29 марта 2022
| ''Занятия не будет'' ||
|-
| align="center"|10
| 05 апреля 2022
| Метод Ньютона и метод логарифмических барьеров для решения выпуклых задач условной оптимизации. Применение метода лог. барьеров для двойственной задачи в SVM. || [http://www.machinelearning.ru/wiki/images/8/81/MOMO12_ipm.pdf Конспект] 
|-
| align="center"|11
| 12 апреля 2022
| Прямо-двойственные методы для решения выпуклых задач условной оптимизации. ||
|-
| align="center"|12
| 19 апреля 2022
| Негладкая выпуклая оптимизация. Субградиентный метод. Субдифференциальное исчисление. || [http://www.machinelearning.ru/wiki/images/e/e5/MOMO18_Seminar10.pdf Конспект]
|-
| align="center"|13
| 26 апреля 2022
| Проксимальные методы оптимизации. Сопряженные функции и нормы. || [http://www.machinelearning.ru/wiki/images/1/15/MOMO18_Seminar8.pdf Конспект]
|-
| align="center"|--
| 3 мая 2022
| ''Занятия не будет'' ||
|-
| align="center"|--
| 10 мая 2022
| ''Занятия не будет'' ||
|-
| align="center"|14
| 17 мая 2022
| Стохастическая оптимизация: методы SGD, SAG, SVRG. Проекции и проксимальные операторы. ||
|-
| align="center"|15
| 24 мая 2022
| Стохастическая оптимизация: методы SQN, NIM, Adagrad, RMSprop, ADAM. Автоматическое дифференцирование по графу вычислений. || [https://arxiv.org/abs/1401.7020 Статья 1] [https://proceedings.mlr.press/v48/rodomanov16.html Статья 2]
|-
| align="center"|16
| 31 мая 2022
| Дифференцирование через процесс оптимизации. || [https://arxiv.org/abs/1703.00443 Статья 1] [https://arxiv.org/abs/1502.03492 Статья 2]
|-
|}

Методы оптимизации в машинном обучении 2023

2023-01-17T12:58:57Z

Dkropotov: Новая страница: «__NOTOC__ Внимание! Страница курса находится в стадии формирования. Методы оптимизации леж…»

__NOTOC__

Внимание! Страница курса находится в стадии формирования.

Методы оптимизации лежат в основе решения многих задач компьютерных наук. Например, в машинном обучении задачу оптимизации необходимо решать каждый раз при настройке какой-то модели алгоритмов по данным, причём от эффективности решения соответствующей задачи оптимизации зависит практическая применимость самого метода машинного обучения. Данный курс посвящен изучению классических и современных методов решения задач непрерывной оптимизации (в том числе невыпуклых), а также особенностям применения этих методов в задачах оптимизации, возникающих в машинном обучении. Основной акцент в изложении делается на практические аспекты реализации и использования методов. Целью курса является выработка у слушателей навыков по подбору подходящего метода для своей задачи, наиболее полно учитывающего её особенности.

'''Преподаватели''': Кропотов Дмитрий Александрович, Кодрян Максим, Никоров Кирилл.

{| class="wikitable"
! Группа !! Расписание !! Инвайт для anytask
|-
| align="center"|201 || пятница, лекция в 13:00 (R405), семинар в 14:40 (R207) || align="center"|nuYXlzP
|-
| align="center"|202 || пятница, лекция в 13:00 (R405), семинар в 14:40 (R301) || align="center"|Zus8FGK
|-
| align="center"|203 || пятница, лекция в 13:00 (R405), семинар в 14:40 (R201) || align="center"|H85FCXe
|-
| Другие студенты || пятница, лекция в 13:00 (R405), можно выбрать семинар любой из групп 201, 202, 203 || align="center"|ml0iZHo
|}

Группа в Telegram для вопросов по курсу: [https://t.me/+hFSF73A2XbY1NmUy ссылка]

== Система выставления оценок по курсу ==
В рамках курса предполагается четыре теоретических и четыре практических домашних заданий, а также экзамен в конце курса. Каждое задание и экзамен оцениваются исходя из 10-ти баллов. За задания можно получить дополнительные баллы за выполнение бонусных пунктов. Общая оценка за курс вычисляется по правилу Округление_вверх(0.7*<Оценка_за_семестр> + 0.3*<Оценка_за_экзамен>). <Оценка_за_семестр> = min(10, <Суммарная_оценка_за_задания>*10 / <Максимальная_суммарная_оценка_за_задания_без_бонусов>). Итоговая оценка за курс совпадает с общей оценкой при соблюдении следующих дополнительных условий:
{| class="wikitable"
! Итоговая оценка !! Условия
|-
|align="center"|>=8 || Сданы все задания, кроме одного (на оценку >= 3), экзамен сдан на оценку >= 6
|-
|align="center"|>=6 || Сданы все задания, кроме двух (на оценку >= 3), экзамен сдан на оценку >= 4
|-
|align="center"|>=4 || Сданы все задания, кроме трех (на оценку >= 3), экзамен сдан на оценку >= 4
|-
|}

== Правила сдачи заданий ==
Теоретические и практические задания сдаются в систему anytask (инвайт см. выше). В случае наличия мягкого дедлайна задания могут быть присланы после срока сдачи, но с задержкой не более одной недели. При этом начисляется штраф из расчёта 0.5 балла в день. Все задания выполняются самостоятельно. Если задание выполнялось сообща или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчёте. В противном случае «похожие» решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.

Теоретические задания сдаются в anytask в виде сканов или набранных в TeX pdf-файлов. '''ВАЖНО!''' Присылаемые сканы должны быть высокого качества, присылаться одним файлом, в котором все листы идут в правильном порядке. В случае плохого качества сканов или же сдачи в формате, отличном от pdf, проверяющий имеет право поставить за работу 0, не проверяя.

== Лекции и семинары ==
{| class = "wikitable"
|+
! № п/п
! Дата
! Занятие
! Материалы
|-
| align="center"|1
| 18 января 2022
| Введение в курс. Скорости сходимости итерационных процессов. Матрично-векторное дифференцирование. || [https://drive.google.com/file/d/1MXENV3Ryy8SgK3_q_lKB5gBG39qcl8_M/view?usp=sharing Конспект]
[https://drive.google.com/file/d/1bNWF262guJHTphptCTYARAsUKRPC9QmS/view?usp=sharing Конспект]
|-
| align="center"|2
| 25 января 2022
| Классы функций для оптимизации. Точная и неточная одномерная оптимизация || [http://www.machinelearning.ru/wiki/images/4/4d/MOMO16_min1d.pdf Конспект]
|-
| align="center"|3
| 01 февраля 2022
| Метод градиентного спуска. Разностное дифференцирование. ||
|-
| align="center"|4
| 08 февраля 2022
| Стандартные матричные разложения. Метод Ньютона. || [https://drive.google.com/file/d/1K9xt0seQ_Oi0UcyziwHibhnr7PorNfqe/view?usp=sharing Презентация по подготовке отчётов]
|-
| align="center"|5
| 15 февраля 2022
| Метод сопряжённых градиентов. || [https://drive.google.com/file/d/1Ai3ZSuLTb0C6hL5KcAvagzJgKqL1-ySo/view?usp=sharing Презентация]
|-
| align="center"|6
| 22 февраля 2022
| Безгессианный метод Ньютона. Выпуклые множества. || [https://drive.google.com/file/d/1t9_Uvo-xrVd_nIVUk4CGXGfebHcFtTkw/view?usp=sharing Конспект]
|-
| align="center"|7
| 01 марта 2022
| Квазиньютоновские методы оптимизации. Выпуклые функции. || [https://drive.google.com/file/d/1glvkT1g6C405RT773KwUdKYRW_bhOKct/view?usp=sharing Конспект]
[http://www.machinelearning.ru/wiki/images/1/10/MOMO18_Seminar6.pdf Конспект]
|-
| align="center"|--
| 08 марта 2022
| ''Занятия не будет'' ||
|-
| align="center"|8
| 15 марта 2022
| Задачи условной оптимизации. Теорема Каруша-Куна-Таккера. || [http://www.machinelearning.ru/wiki/images/7/7f/MOMO18_Seminar7.pdf Конспект]
|-
| align="center"|9
| 22 марта 2022
| Задача линейного программирования. Симплекс-метод. Эквивалентные преобразования задач оптимизации. Стандартные классы выпуклых условных задач оптимизации. || [https://drive.google.com/file/d/1ghnO3gMssx2IS9LaaOgYXbwwq6Pm8ZXY/view?usp=sharing Конспект]
|-
| align="center"|--
| 29 марта 2022
| ''Занятия не будет'' ||
|-
| align="center"|10
| 05 апреля 2022
| Метод Ньютона и метод логарифмических барьеров для решения выпуклых задач условной оптимизации. Применение метода лог. барьеров для двойственной задачи в SVM. || [http://www.machinelearning.ru/wiki/images/8/81/MOMO12_ipm.pdf Конспект] 
|-
| align="center"|11
| 12 апреля 2022
| Прямо-двойственные методы для решения выпуклых задач условной оптимизации. ||
|-
| align="center"|12
| 19 апреля 2022
| Негладкая выпуклая оптимизация. Субградиентный метод. Субдифференциальное исчисление. || [http://www.machinelearning.ru/wiki/images/e/e5/MOMO18_Seminar10.pdf Конспект]
|-
| align="center"|13
| 26 апреля 2022
| Проксимальные методы оптимизации. Сопряженные функции и нормы. || [http://www.machinelearning.ru/wiki/images/1/15/MOMO18_Seminar8.pdf Конспект]
|-
| align="center"|--
| 3 мая 2022
| ''Занятия не будет'' ||
|-
| align="center"|--
| 10 мая 2022
| ''Занятия не будет'' ||
|-
| align="center"|14
| 17 мая 2022
| Стохастическая оптимизация: методы SGD, SAG, SVRG. Проекции и проксимальные операторы. ||
|-
| align="center"|15
| 24 мая 2022
| Стохастическая оптимизация: методы SQN, NIM, Adagrad, RMSprop, ADAM. Автоматическое дифференцирование по графу вычислений. || [https://arxiv.org/abs/1401.7020 Статья 1] [https://proceedings.mlr.press/v48/rodomanov16.html Статья 2]
|-
| align="center"|16
| 31 мая 2022
| Дифференцирование через процесс оптимизации. || [https://arxiv.org/abs/1703.00443 Статья 1] [https://arxiv.org/abs/1502.03492 Статья 2]
|-
|}

Методы оптимизации в машинном обучении 2022

2022-06-10T15:25:26Z

Dkropotov:

__NOTOC__
Методы оптимизации лежат в основе решения многих задач компьютерных наук. Например, в машинном обучении задачу оптимизации необходимо решать каждый раз при настройке какой-то модели алгоритмов по данным, причём от эффективности решения соответствующей задачи оптимизации зависит практическая применимость самого метода машинного обучения. Данный курс посвящен изучению классических и современных методов решения задач непрерывной оптимизации (в том числе невыпуклых), а также особенностям применения этих методов в задачах оптимизации, возникающих в машинном обучении. Основной акцент в изложении делается на практические аспекты реализации и использования методов. Целью курса является выработка у слушателей навыков по подбору подходящего метода для своей задачи, наиболее полно учитывающего её особенности.

'''Преподаватели''': Кропотов Дмитрий Александрович, Гадецкий Артём, Кодрян Максим.

{| class="wikitable"
! Группа !! Расписание !! Инвайт для anytask
|-
| align="center"|191 || вторник, лекция в 16:20 (R306), семинар в 17:50 (R208) || align="center"|ctXiGBZ
|-
| align="center"|192 || вторник, лекция в 16:20 (R306), семинар в 17:50 (R207) || align="center"|SAWVLsf
|-
| align="center"|193 || вторник, лекция в 16:20 (R306), семинар в 18:10 (R307) || align="center"|I2KuKz3
|-
| Остальные студенты || вторник, лекция в 16:20 (R306), можно выбрать семинар любой из групп 191, 192, 193 || align="center"|HQtrYHW
|}

Группа в Telegram для вопросов по курсу: [https://t.me/+n8fxyed6baQ5YWEy ссылка]

Видеозаписи занятий: [https://www.youtube.com/playlist?list=PLEwK9wdS5g0rXdf6CJyPwjoD0HrnzLqLD ссылка]

== Система выставления оценок по курсу ==
В рамках курса предполагается несколько теоретических и практических домашних заданий, а также экзамен в конце курса. Каждое задание и экзамен оцениваются исходя из 10-ти баллов. За задания можно получить дополнительные баллы за выполнение бонусных пунктов. Общая оценка за курс вычисляется по правилу Округление_вверх(0.7*<Оценка_за_семестр> + 0.3*<Оценка_за_экзамен>). <Оценка_за_семестр> = min(10, <Суммарная_оценка_за_задания>*10 / <Максимальная_суммарная_оценка_за_задания_без_бонусов>). Итоговая оценка за курс совпадает с общей оценкой при соблюдении следующих дополнительных условий:
{| class="wikitable"
! Итоговая оценка !! Условия
|-
|align="center"|>=8 || Сданы все задания, кроме одного, экзамен сдан в устном формате на оценку >= 6
|-
|align="center"|>=6 || Сданы все задания, кроме двух, экзамен сдан (устно или письменно) на оценку >= 4
|-
|align="center"|>=4 || Сданы все задания, кроме трех, экзамен сдан (устно или письменно) на оценку >= 4
|-
|}

== Экзамен ==
Экзамен по курсу можно сдавать как в письменном, так и устном формате. В случае сдачи экзамена в письменном формате итоговая оценка по курсу не может быть больше 7. Студенты, находящиеся на дистанционном обучении, сдают экзамен в устном формате в зуме.

[https://docs.google.com/document/d/1W-plJhmcgFiQWTAnaBeh0kLIRd16A75bNyGjYXZjXLQ/edit?usp=sharing Вопросы к устному экзамену + теоретический минимум]

[https://drive.google.com/file/d/1zjeTxRiUAt5bKzajyqzoDEuG6uMAXm97/view?usp=sharing Пример задания на письменном экзамене]

== Правила сдачи заданий ==
Теоретические и практические задания сдаются в систему anytask (инвайт см. выше). В случае наличия мягкого дедлайна задания могут быть присланы после срока сдачи, но с задержкой не более одной недели. При этом начисляется штраф из расчёта 0.5 балла в день. Все задания выполняются самостоятельно. Если задание выполнялось сообща или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчёте. В противном случае «похожие» решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.

Теоретические задания сдаются в anytask в виде сканов или набранных в TeX pdf-файлов. '''ВАЖНО!''' Присылаемые сканы должны быть высокого качества, присылаться одним файлом, в котором все листы идут в правильном порядке. В случае плохого качества сканов или же сдачи в формате, отличном от pdf, проверяющий имеет право поставить за работу 0, не проверяя.

== Лекции и семинары ==
{| class = "wikitable"
|+
! № п/п
! Дата
! Занятие
! Материалы
|-
| align="center"|1
| 18 января 2022
| Введение в курс. Скорости сходимости итерационных процессов. Матрично-векторное дифференцирование. || [https://drive.google.com/file/d/1MXENV3Ryy8SgK3_q_lKB5gBG39qcl8_M/view?usp=sharing Конспект]
[https://drive.google.com/file/d/1bNWF262guJHTphptCTYARAsUKRPC9QmS/view?usp=sharing Конспект]
|-
| align="center"|2
| 25 января 2022
| Классы функций для оптимизации. Точная и неточная одномерная оптимизация || [http://www.machinelearning.ru/wiki/images/4/4d/MOMO16_min1d.pdf Конспект]
|-
| align="center"|3
| 01 февраля 2022
| Метод градиентного спуска. Разностное дифференцирование. ||
|-
| align="center"|4
| 08 февраля 2022
| Стандартные матричные разложения. Метод Ньютона. || [https://drive.google.com/file/d/1K9xt0seQ_Oi0UcyziwHibhnr7PorNfqe/view?usp=sharing Презентация по подготовке отчётов]
|-
| align="center"|5
| 15 февраля 2022
| Метод сопряжённых градиентов. || [https://drive.google.com/file/d/1Ai3ZSuLTb0C6hL5KcAvagzJgKqL1-ySo/view?usp=sharing Презентация]
|-
| align="center"|6
| 22 февраля 2022
| Безгессианный метод Ньютона. Выпуклые множества. || [https://drive.google.com/file/d/1t9_Uvo-xrVd_nIVUk4CGXGfebHcFtTkw/view?usp=sharing Конспект]
|-
| align="center"|7
| 01 марта 2022
| Квазиньютоновские методы оптимизации. Выпуклые функции. || [https://drive.google.com/file/d/1glvkT1g6C405RT773KwUdKYRW_bhOKct/view?usp=sharing Конспект]
[http://www.machinelearning.ru/wiki/images/1/10/MOMO18_Seminar6.pdf Конспект]
|-
| align="center"|--
| 08 марта 2022
| ''Занятия не будет'' ||
|-
| align="center"|8
| 15 марта 2022
| Задачи условной оптимизации. Теорема Каруша-Куна-Таккера. || [http://www.machinelearning.ru/wiki/images/7/7f/MOMO18_Seminar7.pdf Конспект]
|-
| align="center"|9
| 22 марта 2022
| Задача линейного программирования. Симплекс-метод. Эквивалентные преобразования задач оптимизации. Стандартные классы выпуклых условных задач оптимизации. || [https://drive.google.com/file/d/1ghnO3gMssx2IS9LaaOgYXbwwq6Pm8ZXY/view?usp=sharing Конспект]
|-
| align="center"|--
| 29 марта 2022
| ''Занятия не будет'' ||
|-
| align="center"|10
| 05 апреля 2022
| Метод Ньютона и метод логарифмических барьеров для решения выпуклых задач условной оптимизации. Применение метода лог. барьеров для двойственной задачи в SVM. || [http://www.machinelearning.ru/wiki/images/8/81/MOMO12_ipm.pdf Конспект] 
|-
| align="center"|11
| 12 апреля 2022
| Прямо-двойственные методы для решения выпуклых задач условной оптимизации. ||
|-
| align="center"|12
| 19 апреля 2022
| Негладкая выпуклая оптимизация. Субградиентный метод. Субдифференциальное исчисление. || [http://www.machinelearning.ru/wiki/images/e/e5/MOMO18_Seminar10.pdf Конспект]
|-
| align="center"|13
| 26 апреля 2022
| Проксимальные методы оптимизации. Сопряженные функции и нормы. || [http://www.machinelearning.ru/wiki/images/1/15/MOMO18_Seminar8.pdf Конспект]
|-
| align="center"|--
| 3 мая 2022
| ''Занятия не будет'' ||
|-
| align="center"|--
| 10 мая 2022
| ''Занятия не будет'' ||
|-
| align="center"|14
| 17 мая 2022
| Стохастическая оптимизация: методы SGD, SAG, SVRG. Проекции и проксимальные операторы. ||
|-
| align="center"|15
| 24 мая 2022
| Стохастическая оптимизация: методы SQN, NIM, Adagrad, RMSprop, ADAM. Автоматическое дифференцирование по графу вычислений. || [https://arxiv.org/abs/1401.7020 Статья 1] [https://proceedings.mlr.press/v48/rodomanov16.html Статья 2]
|-
| align="center"|16
| 31 мая 2022
| Дифференцирование через процесс оптимизации. || [https://arxiv.org/abs/1703.00443 Статья 1] [https://arxiv.org/abs/1502.03492 Статья 2]
|-
|}

Методы оптимизации в машинном обучении 2022

2022-06-01T15:59:42Z

Dkropotov: /* Лекции и семинары */

__NOTOC__
Методы оптимизации лежат в основе решения многих задач компьютерных наук. Например, в машинном обучении задачу оптимизации необходимо решать каждый раз при настройке какой-то модели алгоритмов по данным, причём от эффективности решения соответствующей задачи оптимизации зависит практическая применимость самого метода машинного обучения. Данный курс посвящен изучению классических и современных методов решения задач непрерывной оптимизации (в том числе невыпуклых), а также особенностям применения этих методов в задачах оптимизации, возникающих в машинном обучении. Основной акцент в изложении делается на практические аспекты реализации и использования методов. Целью курса является выработка у слушателей навыков по подбору подходящего метода для своей задачи, наиболее полно учитывающего её особенности.

'''Преподаватели''': Кропотов Дмитрий Александрович, Гадецкий Артём, Кодрян Максим.

{| class="wikitable"
! Группа !! Расписание !! Инвайт для anytask
|-
| align="center"|191 || вторник, лекция в 16:20 (R306), семинар в 17:50 (R208) || align="center"|ctXiGBZ
|-
| align="center"|192 || вторник, лекция в 16:20 (R306), семинар в 17:50 (R207) || align="center"|SAWVLsf
|-
| align="center"|193 || вторник, лекция в 16:20 (R306), семинар в 18:10 (R307) || align="center"|I2KuKz3
|-
| Остальные студенты || вторник, лекция в 16:20 (R306), можно выбрать семинар любой из групп 191, 192, 193 || align="center"|HQtrYHW
|}

Группа в Telegram для вопросов по курсу: [https://t.me/+n8fxyed6baQ5YWEy ссылка]

Видеозаписи занятий: [https://www.youtube.com/playlist?list=PLEwK9wdS5g0rXdf6CJyPwjoD0HrnzLqLD ссылка]

== Система выставления оценок по курсу ==
В рамках курса предполагается несколько теоретических и практических домашних заданий, а также экзамен в конце курса. Каждое задание и экзамен оцениваются исходя из 10-ти баллов. За задания можно получить дополнительные баллы за выполнение бонусных пунктов. Общая оценка за курс вычисляется по правилу Округление_вверх(0.7*<Оценка_за_семестр> + 0.3*<Оценка_за_экзамен>). <Оценка_за_семестр> = min(10, <Суммарная_оценка_за_задания>*10 / <Максимальная_суммарная_оценка_за_задания_без_бонусов>). Итоговая оценка за курс совпадает с общей оценкой при соблюдении следующих дополнительных условий:
{| class="wikitable"
! Итоговая оценка !! Условия
|-
|align="center"|>=8 || Сданы все задания, кроме одного, экзамен сдан в устном формате на оценку >= 6
|-
|align="center"|>=6 || Сданы все задания, кроме двух, экзамен сдан (устно или письменно) на оценку >= 4
|-
|align="center"|>=4 || Сданы все задания, кроме трех, экзамен сдан (устно или письменно) на оценку >= 4
|-
|}

== Правила сдачи заданий ==
Теоретические и практические задания сдаются в систему anytask (инвайт см. выше). В случае наличия мягкого дедлайна задания могут быть присланы после срока сдачи, но с задержкой не более одной недели. При этом начисляется штраф из расчёта 0.5 балла в день. Все задания выполняются самостоятельно. Если задание выполнялось сообща или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчёте. В противном случае «похожие» решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.

Теоретические задания сдаются в anytask в виде сканов или набранных в TeX pdf-файлов. '''ВАЖНО!''' Присылаемые сканы должны быть высокого качества, присылаться одним файлом, в котором все листы идут в правильном порядке. В случае плохого качества сканов или же сдачи в формате, отличном от pdf, проверяющий имеет право поставить за работу 0, не проверяя.

== Лекции и семинары ==
{| class = "wikitable"
|+
! № п/п
! Дата
! Занятие
! Материалы
|-
| align="center"|1
| 18 января 2022
| Введение в курс. Скорости сходимости итерационных процессов. Матрично-векторное дифференцирование. || [https://drive.google.com/file/d/1MXENV3Ryy8SgK3_q_lKB5gBG39qcl8_M/view?usp=sharing Конспект]
[https://drive.google.com/file/d/1bNWF262guJHTphptCTYARAsUKRPC9QmS/view?usp=sharing Конспект]
|-
| align="center"|2
| 25 января 2022
| Классы функций для оптимизации. Точная и неточная одномерная оптимизация || [http://www.machinelearning.ru/wiki/images/4/4d/MOMO16_min1d.pdf Конспект]
|-
| align="center"|3
| 01 февраля 2022
| Метод градиентного спуска. Разностное дифференцирование. ||
|-
| align="center"|4
| 08 февраля 2022
| Стандартные матричные разложения. Метод Ньютона. || [https://drive.google.com/file/d/1K9xt0seQ_Oi0UcyziwHibhnr7PorNfqe/view?usp=sharing Презентация по подготовке отчётов]
|-
| align="center"|5
| 15 февраля 2022
| Метод сопряжённых градиентов. || [https://drive.google.com/file/d/1Ai3ZSuLTb0C6hL5KcAvagzJgKqL1-ySo/view?usp=sharing Презентация]
|-
| align="center"|6
| 22 февраля 2022
| Безгессианный метод Ньютона. Выпуклые множества. || [https://drive.google.com/file/d/1t9_Uvo-xrVd_nIVUk4CGXGfebHcFtTkw/view?usp=sharing Конспект]
|-
| align="center"|7
| 01 марта 2022
| Квазиньютоновские методы оптимизации. Выпуклые функции. || [https://drive.google.com/file/d/1glvkT1g6C405RT773KwUdKYRW_bhOKct/view?usp=sharing Конспект]
[http://www.machinelearning.ru/wiki/images/1/10/MOMO18_Seminar6.pdf Конспект]
|-
| align="center"|--
| 08 марта 2022
| ''Занятия не будет'' ||
|-
| align="center"|8
| 15 марта 2022
| Задачи условной оптимизации. Теорема Каруша-Куна-Таккера. || [http://www.machinelearning.ru/wiki/images/7/7f/MOMO18_Seminar7.pdf Конспект]
|-
| align="center"|9
| 22 марта 2022
| Задача линейного программирования. Симплекс-метод. Эквивалентные преобразования задач оптимизации. Стандартные классы выпуклых условных задач оптимизации. || [https://drive.google.com/file/d/1ghnO3gMssx2IS9LaaOgYXbwwq6Pm8ZXY/view?usp=sharing Конспект]
|-
| align="center"|--
| 29 марта 2022
| ''Занятия не будет'' ||
|-
| align="center"|10
| 05 апреля 2022
| Метод Ньютона и метод логарифмических барьеров для решения выпуклых задач условной оптимизации. Применение метода лог. барьеров для двойственной задачи в SVM. || [http://www.machinelearning.ru/wiki/images/8/81/MOMO12_ipm.pdf Конспект] 
|-
| align="center"|11
| 12 апреля 2022
| Прямо-двойственные методы для решения выпуклых задач условной оптимизации. ||
|-
| align="center"|12
| 19 апреля 2022
| Негладкая выпуклая оптимизация. Субградиентный метод. Субдифференциальное исчисление. || [http://www.machinelearning.ru/wiki/images/e/e5/MOMO18_Seminar10.pdf Конспект]
|-
| align="center"|13
| 26 апреля 2022
| Проксимальные методы оптимизации. Сопряженные функции и нормы. || [http://www.machinelearning.ru/wiki/images/1/15/MOMO18_Seminar8.pdf Конспект]
|-
| align="center"|--
| 3 мая 2022
| ''Занятия не будет'' ||
|-
| align="center"|--
| 10 мая 2022
| ''Занятия не будет'' ||
|-
| align="center"|14
| 17 мая 2022
| Стохастическая оптимизация: методы SGD, SAG, SVRG. Проекции и проксимальные операторы. ||
|-
| align="center"|15
| 24 мая 2022
| Стохастическая оптимизация: методы SQN, NIM, Adagrad, RMSprop, ADAM. Автоматическое дифференцирование по графу вычислений. || [https://arxiv.org/abs/1401.7020 Статья 1] [https://proceedings.mlr.press/v48/rodomanov16.html Статья 2]
|-
| align="center"|16
| 31 мая 2022
| Дифференцирование через процесс оптимизации. || [https://arxiv.org/abs/1703.00443 Статья 1] [https://arxiv.org/abs/1502.03492 Статья 2]
|-
|}

Методы оптимизации в машинном обучении 2022

2022-05-24T17:08:05Z

Dkropotov: /* Лекции и семинары */

__NOTOC__
Методы оптимизации лежат в основе решения многих задач компьютерных наук. Например, в машинном обучении задачу оптимизации необходимо решать каждый раз при настройке какой-то модели алгоритмов по данным, причём от эффективности решения соответствующей задачи оптимизации зависит практическая применимость самого метода машинного обучения. Данный курс посвящен изучению классических и современных методов решения задач непрерывной оптимизации (в том числе невыпуклых), а также особенностям применения этих методов в задачах оптимизации, возникающих в машинном обучении. Основной акцент в изложении делается на практические аспекты реализации и использования методов. Целью курса является выработка у слушателей навыков по подбору подходящего метода для своей задачи, наиболее полно учитывающего её особенности.

'''Преподаватели''': Кропотов Дмитрий Александрович, Гадецкий Артём, Кодрян Максим.

{| class="wikitable"
! Группа !! Расписание !! Инвайт для anytask
|-
| align="center"|191 || вторник, лекция в 16:20 (R306), семинар в 17:50 (R208) || align="center"|ctXiGBZ
|-
| align="center"|192 || вторник, лекция в 16:20 (R306), семинар в 17:50 (R207) || align="center"|SAWVLsf
|-
| align="center"|193 || вторник, лекция в 16:20 (R306), семинар в 18:10 (R307) || align="center"|I2KuKz3
|-
| Остальные студенты || вторник, лекция в 16:20 (R306), можно выбрать семинар любой из групп 191, 192, 193 || align="center"|HQtrYHW
|}

Группа в Telegram для вопросов по курсу: [https://t.me/+n8fxyed6baQ5YWEy ссылка]

Видеозаписи занятий: [https://www.youtube.com/playlist?list=PLEwK9wdS5g0rXdf6CJyPwjoD0HrnzLqLD ссылка]

== Система выставления оценок по курсу ==
В рамках курса предполагается несколько теоретических и практических домашних заданий, а также экзамен в конце курса. Каждое задание и экзамен оцениваются исходя из 10-ти баллов. За задания можно получить дополнительные баллы за выполнение бонусных пунктов. Общая оценка за курс вычисляется по правилу Округление_вверх(0.7*<Оценка_за_семестр> + 0.3*<Оценка_за_экзамен>). <Оценка_за_семестр> = min(10, <Суммарная_оценка_за_задания>*10 / <Максимальная_суммарная_оценка_за_задания_без_бонусов>). Итоговая оценка за курс совпадает с общей оценкой при соблюдении следующих дополнительных условий:
{| class="wikitable"
! Итоговая оценка !! Условия
|-
|align="center"|>=8 || Сданы все задания, кроме одного, экзамен сдан в устном формате на оценку >= 6
|-
|align="center"|>=6 || Сданы все задания, кроме двух, экзамен сдан (устно или письменно) на оценку >= 4
|-
|align="center"|>=4 || Сданы все задания, кроме трех, экзамен сдан (устно или письменно) на оценку >= 4
|-
|}

== Правила сдачи заданий ==
Теоретические и практические задания сдаются в систему anytask (инвайт см. выше). В случае наличия мягкого дедлайна задания могут быть присланы после срока сдачи, но с задержкой не более одной недели. При этом начисляется штраф из расчёта 0.5 балла в день. Все задания выполняются самостоятельно. Если задание выполнялось сообща или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчёте. В противном случае «похожие» решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.

Теоретические задания сдаются в anytask в виде сканов или набранных в TeX pdf-файлов. '''ВАЖНО!''' Присылаемые сканы должны быть высокого качества, присылаться одним файлом, в котором все листы идут в правильном порядке. В случае плохого качества сканов или же сдачи в формате, отличном от pdf, проверяющий имеет право поставить за работу 0, не проверяя.

== Лекции и семинары ==
{| class = "wikitable"
|+
! № п/п
! Дата
! Занятие
! Материалы
|-
| align="center"|1
| 18 января 2022
| Введение в курс. Скорости сходимости итерационных процессов. Матрично-векторное дифференцирование. || [https://drive.google.com/file/d/1MXENV3Ryy8SgK3_q_lKB5gBG39qcl8_M/view?usp=sharing Конспект]
[https://drive.google.com/file/d/1bNWF262guJHTphptCTYARAsUKRPC9QmS/view?usp=sharing Конспект]
|-
| align="center"|2
| 25 января 2022
| Классы функций для оптимизации. Точная и неточная одномерная оптимизация || [http://www.machinelearning.ru/wiki/images/4/4d/MOMO16_min1d.pdf Конспект]
|-
| align="center"|3
| 01 февраля 2022
| Метод градиентного спуска. Разностное дифференцирование. ||
|-
| align="center"|4
| 08 февраля 2022
| Стандартные матричные разложения. Метод Ньютона. || [https://drive.google.com/file/d/1K9xt0seQ_Oi0UcyziwHibhnr7PorNfqe/view?usp=sharing Презентация по подготовке отчётов]
|-
| align="center"|5
| 15 февраля 2022
| Метод сопряжённых градиентов. || [https://drive.google.com/file/d/1Ai3ZSuLTb0C6hL5KcAvagzJgKqL1-ySo/view?usp=sharing Презентация]
|-
| align="center"|6
| 22 февраля 2022
| Безгессианный метод Ньютона. Выпуклые множества. || [https://drive.google.com/file/d/1t9_Uvo-xrVd_nIVUk4CGXGfebHcFtTkw/view?usp=sharing Конспект]
|-
| align="center"|7
| 01 марта 2022
| Квазиньютоновские методы оптимизации. Выпуклые функции. || [https://drive.google.com/file/d/1glvkT1g6C405RT773KwUdKYRW_bhOKct/view?usp=sharing Конспект]
[http://www.machinelearning.ru/wiki/images/1/10/MOMO18_Seminar6.pdf Конспект]
|-
| align="center"|--
| 08 марта 2022
| ''Занятия не будет'' ||
|-
| align="center"|8
| 15 марта 2022
| Задачи условной оптимизации. Теорема Каруша-Куна-Таккера. || [http://www.machinelearning.ru/wiki/images/7/7f/MOMO18_Seminar7.pdf Конспект]
|-
| align="center"|9
| 22 марта 2022
| Задача линейного программирования. Симплекс-метод. Эквивалентные преобразования задач оптимизации. Стандартные классы выпуклых условных задач оптимизации. || [https://drive.google.com/file/d/1ghnO3gMssx2IS9LaaOgYXbwwq6Pm8ZXY/view?usp=sharing Конспект]
|-
| align="center"|--
| 29 марта 2022
| ''Занятия не будет'' ||
|-
| align="center"|10
| 05 апреля 2022
| Метод Ньютона и метод логарифмических барьеров для решения выпуклых задач условной оптимизации. Применение метода лог. барьеров для двойственной задачи в SVM. || [http://www.machinelearning.ru/wiki/images/8/81/MOMO12_ipm.pdf Конспект] 
|-
| align="center"|11
| 12 апреля 2022
| Прямо-двойственные методы для решения выпуклых задач условной оптимизации. ||
|-
| align="center"|12
| 19 апреля 2022
| Негладкая выпуклая оптимизация. Субградиентный метод. Субдифференциальное исчисление. || [http://www.machinelearning.ru/wiki/images/e/e5/MOMO18_Seminar10.pdf Конспект]
|-
| align="center"|13
| 26 апреля 2022
| Проксимальные методы оптимизации. Сопряженные функции и нормы. || [http://www.machinelearning.ru/wiki/images/1/15/MOMO18_Seminar8.pdf Конспект]
|-
| align="center"|--
| 3 мая 2022
| ''Занятия не будет'' ||
|-
| align="center"|--
| 10 мая 2022
| ''Занятия не будет'' ||
|-
| align="center"|14
| 17 мая 2022
| Стохастическая оптимизация: методы SGD, SAG, SVRG. Проекции и проксимальные операторы. ||
|-
| align="center"|15
| 24 мая 2022
| Стохастическая оптимизация: методы SQN, NIM, Adagrad, RMSprop, ADAM. Автоматическое дифференцирование по графу вычислений. || [https://arxiv.org/abs/1401.7020 Статья 1] [https://proceedings.mlr.press/v48/rodomanov16.html Статья 2]
|-
| align="center"|16
| 31 мая 2022
| Оптимизация по комплексным переменным. Дифференцирование через процесс оптимизации. || [https://www.eurecom.fr/~gesbert/papers/short_matrix_diff.pdf Статья 1] [https://arxiv.org/abs/1703.00443 Статья 2] [https://arxiv.org/abs/1502.03492 Статья 3]
|-
|}

Методы оптимизации в машинном обучении 2022

2022-04-11T11:13:06Z

Dkropotov:

__NOTOC__
Методы оптимизации лежат в основе решения многих задач компьютерных наук. Например, в машинном обучении задачу оптимизации необходимо решать каждый раз при настройке какой-то модели алгоритмов по данным, причём от эффективности решения соответствующей задачи оптимизации зависит практическая применимость самого метода машинного обучения. Данный курс посвящен изучению классических и современных методов решения задач непрерывной оптимизации (в том числе невыпуклых), а также особенностям применения этих методов в задачах оптимизации, возникающих в машинном обучении. Основной акцент в изложении делается на практические аспекты реализации и использования методов. Целью курса является выработка у слушателей навыков по подбору подходящего метода для своей задачи, наиболее полно учитывающего её особенности.

'''Преподаватели''': Кропотов Дмитрий Александрович, Гадецкий Артём, Кодрян Максим.

{| class="wikitable"
! Группа !! Расписание !! Инвайт для anytask
|-
| align="center"|191 || вторник, лекция в 16:20 (R306), семинар в 17:50 (R208) || align="center"|ctXiGBZ
|-
| align="center"|192 || вторник, лекция в 16:20 (R306), семинар в 17:50 (R207) || align="center"|SAWVLsf
|-
| align="center"|193 || вторник, лекция в 16:20 (R306), семинар в 18:10 (R307) || align="center"|I2KuKz3
|-
| Остальные студенты || вторник, лекция в 16:20 (R306), можно выбрать семинар любой из групп 191, 192, 193 || align="center"|HQtrYHW
|}

Группа в Telegram для вопросов по курсу: [https://t.me/+n8fxyed6baQ5YWEy ссылка]

Видеозаписи занятий: [https://www.youtube.com/playlist?list=PLEwK9wdS5g0rXdf6CJyPwjoD0HrnzLqLD ссылка]

== Система выставления оценок по курсу ==
В рамках курса предполагается несколько теоретических и практических домашних заданий, а также экзамен в конце курса. Каждое задание и экзамен оцениваются исходя из 10-ти баллов. За задания можно получить дополнительные баллы за выполнение бонусных пунктов. Общая оценка за курс вычисляется по правилу Округление_вверх(0.7*<Оценка_за_семестр> + 0.3*<Оценка_за_экзамен>). <Оценка_за_семестр> = min(10, <Суммарная_оценка_за_задания>*10 / <Максимальная_суммарная_оценка_за_задания_без_бонусов>). Итоговая оценка за курс совпадает с общей оценкой при соблюдении следующих дополнительных условий:
{| class="wikitable"
! Итоговая оценка !! Условия
|-
|align="center"|>=8 || Сданы все задания, кроме одного, экзамен сдан в устном формате на оценку >= 6
|-
|align="center"|>=6 || Сданы все задания, кроме двух, экзамен сдан (устно или письменно) на оценку >= 4
|-
|align="center"|>=4 || Сданы все задания, кроме трех, экзамен сдан (устно или письменно) на оценку >= 4
|-
|}

== Правила сдачи заданий ==
Теоретические и практические задания сдаются в систему anytask (инвайт см. выше). В случае наличия мягкого дедлайна задания могут быть присланы после срока сдачи, но с задержкой не более одной недели. При этом начисляется штраф из расчёта 0.5 балла в день. Все задания выполняются самостоятельно. Если задание выполнялось сообща или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчёте. В противном случае «похожие» решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.

Теоретические задания сдаются в anytask в виде сканов или набранных в TeX pdf-файлов. '''ВАЖНО!''' Присылаемые сканы должны быть высокого качества, присылаться одним файлом, в котором все листы идут в правильном порядке. В случае плохого качества сканов или же сдачи в формате, отличном от pdf, проверяющий имеет право поставить за работу 0, не проверяя.

== Лекции и семинары ==
{| class = "wikitable"
|+
! № п/п
! Дата
! Занятие
! Материалы
|-
| align="center"|1
| 18 января 2022
| Введение в курс. Скорости сходимости итерационных процессов. Матрично-векторное дифференцирование. || [https://drive.google.com/file/d/1MXENV3Ryy8SgK3_q_lKB5gBG39qcl8_M/view?usp=sharing Конспект]
[https://drive.google.com/file/d/1bNWF262guJHTphptCTYARAsUKRPC9QmS/view?usp=sharing Конспект]
|-
| align="center"|2
| 25 января 2022
| Классы функций для оптимизации. Точная и неточная одномерная оптимизация || [http://www.machinelearning.ru/wiki/images/4/4d/MOMO16_min1d.pdf Конспект]
|-
| align="center"|3
| 01 февраля 2022
| Метод градиентного спуска. Разностное дифференцирование. ||
|-
| align="center"|4
| 08 февраля 2022
| Стандартные матричные разложения. Метод Ньютона. || [https://drive.google.com/file/d/1K9xt0seQ_Oi0UcyziwHibhnr7PorNfqe/view?usp=sharing Презентация по подготовке отчётов]
|-
| align="center"|5
| 15 февраля 2022
| Метод сопряжённых градиентов. || [https://drive.google.com/file/d/1Ai3ZSuLTb0C6hL5KcAvagzJgKqL1-ySo/view?usp=sharing Презентация]
|-
| align="center"|6
| 22 февраля 2022
| Безгессианный метод Ньютона. Выпуклые множества. || [https://drive.google.com/file/d/1t9_Uvo-xrVd_nIVUk4CGXGfebHcFtTkw/view?usp=sharing Конспект]
|-
| align="center"|7
| 01 марта 2022
| Квазиньютоновские методы оптимизации. Выпуклые функции. || [https://drive.google.com/file/d/1glvkT1g6C405RT773KwUdKYRW_bhOKct/view?usp=sharing Конспект]
[http://www.machinelearning.ru/wiki/images/1/10/MOMO18_Seminar6.pdf Конспект]
|-
| align="center"|--
| 08 марта 2022
| ''Занятия не будет'' ||
|-
| align="center"|8
| 15 марта 2022
| Задачи условной оптимизации. Теорема Каруша-Куна-Таккера. || [http://www.machinelearning.ru/wiki/images/7/7f/MOMO18_Seminar7.pdf Конспект]
|-
| align="center"|9
| 22 марта 2022
| Задача линейного программирования. Симплекс-метод. Эквивалентные преобразования задач оптимизации. Стандартные классы выпуклых условных задач оптимизации. || [https://drive.google.com/file/d/1ghnO3gMssx2IS9LaaOgYXbwwq6Pm8ZXY/view?usp=sharing Конспект]
|-
| align="center"|--
| 29 марта 2022
| ''Занятия не будет'' ||
|-
| align="center"|10
| 05 апреля 2022
| Метод Ньютона и метод логарифмических барьеров для решения выпуклых задач условной оптимизации. Применение метода лог. барьеров для двойственной задачи в SVM. || [http://www.machinelearning.ru/wiki/images/8/81/MOMO12_ipm.pdf Конспект] 
|-
| align="center"|11
| 12 апреля 2022
| Прямо-двойственные методы для решения выпуклых задач условной оптимизации. ||
|-
| align="center"|12
| 19 апреля 2022
| Негладкая выпуклая оптимизация. Субградиентный метод. Субдифференциальное исчисление. || [http://www.machinelearning.ru/wiki/images/e/e5/MOMO18_Seminar10.pdf Конспект]
|-
| align="center"|13
| 26 апреля 2022
| Проксимальные методы оптимизации. Сопряженные функции и нормы. || [http://www.machinelearning.ru/wiki/images/1/15/MOMO18_Seminar8.pdf Конспект]
|-
| align="center"|--
| 3 мая 2022
| ''Занятия не будет'' ||
|-
| align="center"|--
| 10 мая 2022
| ''Занятия не будет'' ||
|-
| align="center"|14
| 17 мая 2022
| Ускоренный оптимальный метод Нестерова. Проекции и проксимальные операторы. ||
|-
| align="center"|15
| 24 мая 2022
| Стохастическая оптимизация. Методы Adagrad, RMSprop, ADAM. ||
|-
| align="center"|16
| 31 мая 2022
| Автоматическое дифференцирование по графу вычислений. Дифференцирование через процесс оптимизации. Сведение дискретных задач оптимизации к непрерывным. || [https://arxiv.org/abs/1703.00443 Статья 1] [https://arxiv.org/abs/1502.03492 Статья 2]
|-
|}

Методы оптимизации в машинном обучении 2022

2022-04-05T10:01:11Z

Dkropotov:

__NOTOC__
Методы оптимизации лежат в основе решения многих задач компьютерных наук. Например, в машинном обучении задачу оптимизации необходимо решать каждый раз при настройке какой-то модели алгоритмов по данным, причём от эффективности решения соответствующей задачи оптимизации зависит практическая применимость самого метода машинного обучения. Данный курс посвящен изучению классических и современных методов решения задач непрерывной оптимизации (в том числе невыпуклых), а также особенностям применения этих методов в задачах оптимизации, возникающих в машинном обучении. Основной акцент в изложении делается на практические аспекты реализации и использования методов. Целью курса является выработка у слушателей навыков по подбору подходящего метода для своей задачи, наиболее полно учитывающего её особенности.

'''Преподаватели''': Кропотов Дмитрий Александрович, Гадецкий Артём, Кодрян Максим.

{| class="wikitable"
! Группа !! Расписание !! Инвайт для anytask
|-
| align="center"|191 || вторник, лекция в 16:20 (R306), семинар в 17:50 (R208) || align="center"|ctXiGBZ
|-
| align="center"|192 || вторник, лекция в 16:20 (R306), семинар в 17:50 (R207) || align="center"|SAWVLsf
|-
| align="center"|193 || вторник, лекция в 16:20 (R306), семинар в 18:10 (R307) || align="center"|I2KuKz3
|-
| Остальные студенты || вторник, лекция в 16:20 (R306), можно выбрать семинар любой из групп 191, 192, 193 || align="center"|HQtrYHW
|}

Группа в Telegram для вопросов по курсу: [https://t.me/+n8fxyed6baQ5YWEy ссылка]

Видеозаписи занятий: [https://www.youtube.com/playlist?list=PLEwK9wdS5g0rXdf6CJyPwjoD0HrnzLqLD ссылка]

== Система выставления оценок по курсу ==
В рамках курса предполагается несколько теоретических и практических домашних заданий, а также экзамен в конце курса. Каждое задание и экзамен оцениваются исходя из 10-ти баллов. За задания можно получить дополнительные баллы за выполнение бонусных пунктов. Общая оценка за курс вычисляется по правилу Округление_вверх(0.7*<Оценка_за_семестр> + 0.3*<Оценка_за_экзамен>). <Оценка_за_семестр> = min(10, <Суммарная_оценка_за_задания>*10 / <Максимальная_суммарная_оценка_за_задания_без_бонусов>). Итоговая оценка за курс совпадает с общей оценкой при соблюдении следующих дополнительных условий:
{| class="wikitable"
! Итоговая оценка !! Условия
|-
|align="center"|>=8 || Сданы все задания, кроме одного, экзамен сдан в устном формате на оценку >= 6
|-
|align="center"|>=6 || Сданы все задания, кроме двух, экзамен сдан (устно или письменно) на оценку >= 4
|-
|align="center"|>=4 || Сданы все задания, кроме трех, экзамен сдан (устно или письменно) на оценку >= 4
|-
|}

== Правила сдачи заданий ==
Теоретические и практические задания сдаются в систему anytask (инвайт см. выше). В случае наличия мягкого дедлайна задания могут быть присланы после срока сдачи, но с задержкой не более одной недели. При этом начисляется штраф из расчёта 0.5 балла в день. Все задания выполняются самостоятельно. Если задание выполнялось сообща или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчёте. В противном случае «похожие» решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.

Теоретические задания сдаются в anytask в виде сканов или набранных в TeX pdf-файлов. '''ВАЖНО!''' Присылаемые сканы должны быть высокого качества, присылаться одним файлом, в котором все листы идут в правильном порядке. В случае плохого качества сканов или же сдачи в формате, отличном от pdf, проверяющий имеет право поставить за работу 0, не проверяя.

== Лекции и семинары ==
{| class = "wikitable"
|+
! № п/п
! Дата
! Занятие
! Материалы
|-
| align="center"|1
| 18 января 2022
| Введение в курс. Скорости сходимости итерационных процессов. Матрично-векторное дифференцирование. || [https://drive.google.com/file/d/1MXENV3Ryy8SgK3_q_lKB5gBG39qcl8_M/view?usp=sharing Конспект]
[https://drive.google.com/file/d/1bNWF262guJHTphptCTYARAsUKRPC9QmS/view?usp=sharing Конспект]
|-
| align="center"|2
| 25 января 2022
| Классы функций для оптимизации. Точная и неточная одномерная оптимизация || [http://www.machinelearning.ru/wiki/images/4/4d/MOMO16_min1d.pdf Конспект]
|-
| align="center"|3
| 01 февраля 2022
| Метод градиентного спуска. Разностное дифференцирование. ||
|-
| align="center"|4
| 08 февраля 2022
| Стандартные матричные разложения. Метод Ньютона. || [https://drive.google.com/file/d/1K9xt0seQ_Oi0UcyziwHibhnr7PorNfqe/view?usp=sharing Презентация по подготовке отчётов]
|-
| align="center"|5
| 15 февраля 2022
| Метод сопряжённых градиентов. || [https://drive.google.com/file/d/1Ai3ZSuLTb0C6hL5KcAvagzJgKqL1-ySo/view?usp=sharing Презентация]
|-
| align="center"|6
| 22 февраля 2022
| Безгессианный метод Ньютона. Выпуклые множества. || [https://drive.google.com/file/d/1t9_Uvo-xrVd_nIVUk4CGXGfebHcFtTkw/view?usp=sharing Конспект]
|-
| align="center"|7
| 01 марта 2022
| Квазиньютоновские методы оптимизации. Выпуклые функции. || [https://drive.google.com/file/d/1glvkT1g6C405RT773KwUdKYRW_bhOKct/view?usp=sharing Конспект]
[http://www.machinelearning.ru/wiki/images/1/10/MOMO18_Seminar6.pdf Конспект]
|-
| align="center"|--
| 08 марта 2022
| ''Занятия не будет'' ||
|-
| align="center"|8
| 15 марта 2022
| Задачи условной оптимизации. Теорема Каруша-Куна-Таккера. || [http://www.machinelearning.ru/wiki/images/7/7f/MOMO18_Seminar7.pdf Конспект]
|-
| align="center"|9
| 22 марта 2022
| Задача линейного программирования. Симплекс-метод. Эквивалентные преобразования задач оптимизации. Стандартные классы выпуклых условных задач оптимизации. || [https://drive.google.com/file/d/1ghnO3gMssx2IS9LaaOgYXbwwq6Pm8ZXY/view?usp=sharing Конспект]
|-
| align="center"|--
| 29 марта 2022
| ''Занятия не будет'' ||
|-
| align="center"|10
| 05 апреля 2022
| Метод Ньютона и метод логарифмических барьеров для решения выпуклых задач условной оптимизации. Применение метода лог. барьеров для двойственной задачи в SVM. || [http://www.machinelearning.ru/wiki/images/8/81/MOMO12_ipm.pdf Конспект] 
|-
| align="center"|11
| 12 апреля 2021
| Негладкая выпуклая оптимизация. Субградиентный метод. Субдифференциальное исчисление. || [http://www.machinelearning.ru/wiki/images/e/e5/MOMO18_Seminar10.pdf Конспект]
|-
| align="center"|12
| 19 апреля 2021
| Проксимальные методы оптимизации. Сопряженные функции и нормы. || [http://www.machinelearning.ru/wiki/images/1/15/MOMO18_Seminar8.pdf Конспект]
|-
| align="center"|13
| 26 апреля 2021
| Ускоренный оптимальный метод Нестерова. Проекции и проксимальные операторы. ||
|-
| align="center"|--
| 3 мая 2022
| ''Занятия не будет'' ||
|-
| align="center"|--
| 10 мая 2022
| ''Занятия не будет'' ||
|-
| align="center"|14
| 17 мая 2022
| Стохастическая оптимизация. Автоматическое дифференцирование по графу вычислений. ||
|-
| align="center"|15
| 24 мая 2022
| Дифференцирование через процесс оптимизации. Сведение дискретных задач оптимизации к непрерывным. || [https://arxiv.org/abs/1703.00443 Статья 1] [https://arxiv.org/abs/1502.03492 Статья 2]
|-
| align="center"|16
| 31 мая 2022
| Ускоренный стохастический метод оптимизации SDCA. Методы Adagrad, RMSprop, ADAM. || [https://www.jmlr.org/papers/volume14/shalev-shwartz13a/shalev-shwartz13a.pdf Статья 1] [https://papers.nips.cc/paper/2013/file/077e29b11be80ab57e1a2ecabb7da330-Paper.pdf Статья 2]
|-
|}

Методы оптимизации в машинном обучении 2022

2022-03-23T16:31:36Z

Dkropotov:

__NOTOC__
Методы оптимизации лежат в основе решения многих задач компьютерных наук. Например, в машинном обучении задачу оптимизации необходимо решать каждый раз при настройке какой-то модели алгоритмов по данным, причём от эффективности решения соответствующей задачи оптимизации зависит практическая применимость самого метода машинного обучения. Данный курс посвящен изучению классических и современных методов решения задач непрерывной оптимизации (в том числе невыпуклых), а также особенностям применения этих методов в задачах оптимизации, возникающих в машинном обучении. Основной акцент в изложении делается на практические аспекты реализации и использования методов. Целью курса является выработка у слушателей навыков по подбору подходящего метода для своей задачи, наиболее полно учитывающего её особенности.

'''Преподаватели''': Кропотов Дмитрий Александрович, Гадецкий Артём, Кодрян Максим.

{| class="wikitable"
! Группа !! Расписание !! Инвайт для anytask
|-
| align="center"|191 || вторник, лекция в 16:20 (R306), семинар в 17:50 (R208) || align="center"|ctXiGBZ
|-
| align="center"|192 || вторник, лекция в 16:20 (R306), семинар в 17:50 (R207) || align="center"|SAWVLsf
|-
| align="center"|193 || вторник, лекция в 16:20 (R306), семинар в 18:10 (R307) || align="center"|I2KuKz3
|-
| Остальные студенты || вторник, лекция в 16:20 (R306), можно выбрать семинар любой из групп 191, 192, 193 || align="center"|HQtrYHW
|}

Группа в Telegram для вопросов по курсу: [https://t.me/+n8fxyed6baQ5YWEy ссылка]

Видеозаписи занятий: [https://www.youtube.com/playlist?list=PLEwK9wdS5g0rXdf6CJyPwjoD0HrnzLqLD ссылка]

== Система выставления оценок по курсу ==
В рамках курса предполагается несколько теоретических и практических домашних заданий, а также экзамен в конце курса. Каждое задание и экзамен оцениваются исходя из 10-ти баллов. За задания можно получить дополнительные баллы за выполнение бонусных пунктов. Общая оценка за курс вычисляется по правилу Округление_вверх(0.7*<Оценка_за_семестр> + 0.3*<Оценка_за_экзамен>). <Оценка_за_семестр> = min(10, <Суммарная_оценка_за_задания>*10 / <Максимальная_суммарная_оценка_за_задания_без_бонусов>). Итоговая оценка за курс совпадает с общей оценкой при соблюдении следующих дополнительных условий:
{| class="wikitable"
! Итоговая оценка !! Условия
|-
|align="center"|>=8 || Сданы все задания, кроме одного, экзамен сдан в устном формате на оценку >= 6
|-
|align="center"|>=6 || Сданы все задания, кроме двух, экзамен сдан (устно или письменно) на оценку >= 4
|-
|align="center"|>=4 || Сданы все задания, кроме трех, экзамен сдан (устно или письменно) на оценку >= 4
|-
|}

== Правила сдачи заданий ==
Теоретические и практические задания сдаются в систему anytask (инвайт см. выше). В случае наличия мягкого дедлайна задания могут быть присланы после срока сдачи, но с задержкой не более одной недели. При этом начисляется штраф из расчёта 0.5 балла в день. Все задания выполняются самостоятельно. Если задание выполнялось сообща или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчёте. В противном случае «похожие» решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.

Теоретические задания сдаются в anytask в виде сканов или набранных в TeX pdf-файлов. '''ВАЖНО!''' Присылаемые сканы должны быть высокого качества, присылаться одним файлом, в котором все листы идут в правильном порядке. В случае плохого качества сканов или же сдачи в формате, отличном от pdf, проверяющий имеет право поставить за работу 0, не проверяя.

== Лекции и семинары ==
{| class = "wikitable"
|+
! № п/п
! Дата
! Занятие
! Материалы
|-
| align="center"|1
| 18 января 2022
| Введение в курс. Скорости сходимости итерационных процессов. Матрично-векторное дифференцирование. || [https://drive.google.com/file/d/1MXENV3Ryy8SgK3_q_lKB5gBG39qcl8_M/view?usp=sharing Конспект]
[https://drive.google.com/file/d/1bNWF262guJHTphptCTYARAsUKRPC9QmS/view?usp=sharing Конспект]
|-
| align="center"|2
| 25 января 2022
| Классы функций для оптимизации. Точная и неточная одномерная оптимизация || [http://www.machinelearning.ru/wiki/images/4/4d/MOMO16_min1d.pdf Конспект]
|-
| align="center"|3
| 01 февраля 2022
| Метод градиентного спуска. Разностное дифференцирование. ||
|-
| align="center"|4
| 08 февраля 2022
| Стандартные матричные разложения. Метод Ньютона. || [https://drive.google.com/file/d/1K9xt0seQ_Oi0UcyziwHibhnr7PorNfqe/view?usp=sharing Презентация по подготовке отчётов]
|-
| align="center"|5
| 15 февраля 2022
| Метод сопряжённых градиентов. || [https://drive.google.com/file/d/1Ai3ZSuLTb0C6hL5KcAvagzJgKqL1-ySo/view?usp=sharing Презентация]
|-
| align="center"|6
| 22 февраля 2022
| Безгессианный метод Ньютона. Выпуклые множества. || [https://drive.google.com/file/d/1t9_Uvo-xrVd_nIVUk4CGXGfebHcFtTkw/view?usp=sharing Конспект]
|-
| align="center"|7
| 01 марта 2022
| Квазиньютоновские методы оптимизации. Выпуклые функции. || [https://drive.google.com/file/d/1glvkT1g6C405RT773KwUdKYRW_bhOKct/view?usp=sharing Конспект]
|-
| align="center"|--
| 08 марта 2022
| ''Занятия не будет'' ||
|-
| align="center"|8
| 15 марта 2022
| Задачи условной оптимизации. Теорема Каруша-Куна-Таккера. || [http://www.machinelearning.ru/wiki/images/7/7f/MOMO18_Seminar7.pdf Конспект]
|-
| align="center"|9
| 22 марта 2022
| Задача линейного программирования. Симплекс-метод. Эквивалентные преобразования задач оптимизации. Стандартные классы выпуклых условных задач оптимизации. || [https://drive.google.com/file/d/1ghnO3gMssx2IS9LaaOgYXbwwq6Pm8ZXY/view?usp=sharing Конспект]
|-
| align="center"|--
| 29 марта 2022
| ''Занятия не будет'' ||
|-
| align="center"|10
| 05 апреля 2022
| Метод Ньютона и метод логарифмических барьеров для решения выпуклых задач условной оптимизации. Матричные преобразования в квазиньютоновских методах. || [http://www.machinelearning.ru/wiki/images/8/81/MOMO12_ipm.pdf Конспект] [http://www.machinelearning.ru/wiki/images/1/10/MOMO18_Seminar6.pdf Конспект]
|-
| align="center"|11
| 12 апреля 2021
| Негладкая выпуклая оптимизация. Субградиентный метод. Субдифференциальное исчисление. || [http://www.machinelearning.ru/wiki/images/e/e5/MOMO18_Seminar10.pdf Конспект]
|-
| align="center"|12
| 19 апреля 2021
| Проксимальные методы оптимизации. Сопряженные функции и нормы. || [http://www.machinelearning.ru/wiki/images/1/15/MOMO18_Seminar8.pdf Конспект]
|-
| align="center"|13
| 26 апреля 2021
| Ускоренный оптимальный метод Нестерова. Проекции и проксимальные операторы. ||
|-
| align="center"|--
| 3 мая 2022
| ''Занятия не будет'' ||
|-
| align="center"|--
| 10 мая 2022
| ''Занятия не будет'' ||
|-
| align="center"|14
| 17 мая 2022
| Стохастическая оптимизация. Автоматическое дифференцирование по графу вычислений. ||
|-
| align="center"|15
| 24 мая 2022
| Дифференцирование через процесс оптимизации. Сведение дискретных задач оптимизации к непрерывным. || [https://arxiv.org/abs/1703.00443 Статья 1] [https://arxiv.org/abs/1502.03492 Статья 2]
|-
| align="center"|16
| 31 мая 2022
| Ускоренный стохастический метод оптимизации SDCA. Методы Adagrad, RMSprop, ADAM. || [https://www.jmlr.org/papers/volume14/shalev-shwartz13a/shalev-shwartz13a.pdf Статья 1] [https://papers.nips.cc/paper/2013/file/077e29b11be80ab57e1a2ecabb7da330-Paper.pdf Статья 2]
|-
|}

Методы оптимизации в машинном обучении 2022

2022-03-21T13:43:53Z

Dkropotov:

__NOTOC__
Методы оптимизации лежат в основе решения многих задач компьютерных наук. Например, в машинном обучении задачу оптимизации необходимо решать каждый раз при настройке какой-то модели алгоритмов по данным, причём от эффективности решения соответствующей задачи оптимизации зависит практическая применимость самого метода машинного обучения. Данный курс посвящен изучению классических и современных методов решения задач непрерывной оптимизации (в том числе невыпуклых), а также особенностям применения этих методов в задачах оптимизации, возникающих в машинном обучении. Основной акцент в изложении делается на практические аспекты реализации и использования методов. Целью курса является выработка у слушателей навыков по подбору подходящего метода для своей задачи, наиболее полно учитывающего её особенности.

'''Преподаватели''': Кропотов Дмитрий Александрович, Гадецкий Артём, Кодрян Максим.

{| class="wikitable"
! Группа !! Расписание !! Инвайт для anytask
|-
| align="center"|191 || вторник, лекция в 16:20 (R306), семинар в 17:50 (R207) || align="center"|ctXiGBZ
|-
| align="center"|192 || вторник, лекция в 16:20 (R306), семинар в 17:50 (R408) || align="center"|SAWVLsf
|-
| align="center"|193 || вторник, лекция в 16:20 (R306), семинар в 18:10 (R306) || align="center"|I2KuKz3
|-
| Остальные студенты || вторник, лекция в 16:20 (R306), можно выбрать семинар любой из групп 191, 192, 193 || align="center"|HQtrYHW
|}

Группа в Telegram для вопросов по курсу: [https://t.me/+n8fxyed6baQ5YWEy ссылка]

Видеозаписи занятий: [https://www.youtube.com/playlist?list=PLEwK9wdS5g0rXdf6CJyPwjoD0HrnzLqLD ссылка]

== Система выставления оценок по курсу ==
В рамках курса предполагается несколько теоретических и практических домашних заданий, а также экзамен в конце курса. Каждое задание и экзамен оцениваются исходя из 10-ти баллов. За задания можно получить дополнительные баллы за выполнение бонусных пунктов. Общая оценка за курс вычисляется по правилу Округление_вверх(0.7*<Оценка_за_семестр> + 0.3*<Оценка_за_экзамен>). <Оценка_за_семестр> = min(10, <Суммарная_оценка_за_задания>*10 / <Максимальная_суммарная_оценка_за_задания_без_бонусов>). Итоговая оценка за курс совпадает с общей оценкой при соблюдении следующих дополнительных условий:
{| class="wikitable"
! Итоговая оценка !! Условия
|-
|align="center"|>=8 || Сданы все задания, кроме одного, экзамен сдан в устном формате на оценку >= 6
|-
|align="center"|>=6 || Сданы все задания, кроме двух, экзамен сдан (устно или письменно) на оценку >= 4
|-
|align="center"|>=4 || Сданы все задания, кроме трех, экзамен сдан (устно или письменно) на оценку >= 4
|-
|}

== Правила сдачи заданий ==
Теоретические и практические задания сдаются в систему anytask (инвайт см. выше). В случае наличия мягкого дедлайна задания могут быть присланы после срока сдачи, но с задержкой не более одной недели. При этом начисляется штраф из расчёта 0.5 балла в день. Все задания выполняются самостоятельно. Если задание выполнялось сообща или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчёте. В противном случае «похожие» решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.

Теоретические задания сдаются в anytask в виде сканов или набранных в TeX pdf-файлов. '''ВАЖНО!''' Присылаемые сканы должны быть высокого качества, присылаться одним файлом, в котором все листы идут в правильном порядке. В случае плохого качества сканов или же сдачи в формате, отличном от pdf, проверяющий имеет право поставить за работу 0, не проверяя.

== Лекции и семинары ==
{| class = "wikitable"
|+
! № п/п
! Дата
! Занятие
! Материалы
|-
| align="center"|1
| 18 января 2022
| Введение в курс. Скорости сходимости итерационных процессов. Матрично-векторное дифференцирование. || [https://drive.google.com/file/d/1MXENV3Ryy8SgK3_q_lKB5gBG39qcl8_M/view?usp=sharing Конспект]
[https://drive.google.com/file/d/1bNWF262guJHTphptCTYARAsUKRPC9QmS/view?usp=sharing Конспект]
|-
| align="center"|2
| 25 января 2022
| Классы функций для оптимизации. Точная и неточная одномерная оптимизация || [http://www.machinelearning.ru/wiki/images/4/4d/MOMO16_min1d.pdf Конспект]
|-
| align="center"|3
| 01 февраля 2022
| Метод градиентного спуска. Разностное дифференцирование. ||
|-
| align="center"|4
| 08 февраля 2022
| Стандартные матричные разложения. Метод Ньютона. || [https://drive.google.com/file/d/1K9xt0seQ_Oi0UcyziwHibhnr7PorNfqe/view?usp=sharing Презентация по подготовке отчётов]
|-
| align="center"|5
| 15 февраля 2022
| Метод сопряжённых градиентов. || [https://drive.google.com/file/d/1Ai3ZSuLTb0C6hL5KcAvagzJgKqL1-ySo/view?usp=sharing Презентация]
|-
| align="center"|6
| 22 февраля 2022
| Безгессианный метод Ньютона. Выпуклые множества. || [https://drive.google.com/file/d/1t9_Uvo-xrVd_nIVUk4CGXGfebHcFtTkw/view?usp=sharing Конспект]
|-
| align="center"|7
| 01 марта 2022
| Квазиньютоновские методы оптимизации. Выпуклые функции. || [https://drive.google.com/file/d/1glvkT1g6C405RT773KwUdKYRW_bhOKct/view?usp=sharing Конспект]
|-
| align="center"|--
| 08 марта 2022
| ''Занятия не будет'' ||
|-
| align="center"|8
| 15 марта 2022
| Задачи условной оптимизации. Теорема Каруша-Куна-Таккера. || [http://www.machinelearning.ru/wiki/images/7/7f/MOMO18_Seminar7.pdf Конспект]
|-
| align="center"|9
| 22 марта 2022
| Задача линейного программирования. Симплекс-метод. Эквивалентные преобразования задач оптимизации. Стандартные классы выпуклых условных задач оптимизации. || [https://drive.google.com/file/d/1ghnO3gMssx2IS9LaaOgYXbwwq6Pm8ZXY/view?usp=sharing Конспект]
|-
| align="center"|--
| 29 марта 2022
| ''Занятия не будет'' ||
|-
| align="center"|10
| 05 апреля 2022
| Метод Ньютона и метод логарифмических барьеров для решения выпуклых задач условной оптимизации. Матричные преобразования в квазиньютоновских методах. || [http://www.machinelearning.ru/wiki/images/8/81/MOMO12_ipm.pdf Конспект] [http://www.machinelearning.ru/wiki/images/1/10/MOMO18_Seminar6.pdf Конспект]
|-
| align="center"|11
| 12 апреля 2021
| Негладкая выпуклая оптимизация. Субградиентный метод. Субдифференциальное исчисление. || [http://www.machinelearning.ru/wiki/images/e/e5/MOMO18_Seminar10.pdf Конспект]
|-
| align="center"|12
| 19 апреля 2021
| Проксимальные методы оптимизации. Сопряженные функции и нормы. || [http://www.machinelearning.ru/wiki/images/1/15/MOMO18_Seminar8.pdf Конспект]
|-
| align="center"|13
| 26 апреля 2021
| Ускоренный оптимальный метод Нестерова. Проекции и проксимальные операторы. ||
|-
| align="center"|--
| 3 мая 2022
| ''Занятия не будет'' ||
|-
| align="center"|--
| 10 мая 2022
| ''Занятия не будет'' ||
|-
| align="center"|14
| 17 мая 2022
| Стохастическая оптимизация. Автоматическое дифференцирование по графу вычислений. ||
|-
| align="center"|15
| 24 мая 2022
| Дифференцирование через процесс оптимизации. Сведение дискретных задач оптимизации к непрерывным. || [https://arxiv.org/abs/1703.00443 Статья 1] [https://arxiv.org/abs/1502.03492 Статья 2]
|-
| align="center"|16
| 31 мая 2022
| Ускоренный стохастический метод оптимизации SDCA. Методы Adagrad, RMSprop, ADAM. || [https://www.jmlr.org/papers/volume14/shalev-shwartz13a/shalev-shwartz13a.pdf Статья 1] [https://papers.nips.cc/paper/2013/file/077e29b11be80ab57e1a2ecabb7da330-Paper.pdf Статья 2]
|-
|}

Методы оптимизации в машинном обучении 2022

2022-03-13T15:05:36Z

Dkropotov:

__NOTOC__
Методы оптимизации лежат в основе решения многих задач компьютерных наук. Например, в машинном обучении задачу оптимизации необходимо решать каждый раз при настройке какой-то модели алгоритмов по данным, причём от эффективности решения соответствующей задачи оптимизации зависит практическая применимость самого метода машинного обучения. Данный курс посвящен изучению классических и современных методов решения задач непрерывной оптимизации (в том числе невыпуклых), а также особенностям применения этих методов в задачах оптимизации, возникающих в машинном обучении. Основной акцент в изложении делается на практические аспекты реализации и использования методов. Целью курса является выработка у слушателей навыков по подбору подходящего метода для своей задачи, наиболее полно учитывающего её особенности.

'''Преподаватели''': Кропотов Дмитрий Александрович, Гадецкий Артём, Кодрян Максим.

{| class="wikitable"
! Группа !! Расписание !! Инвайт для anytask
|-
| align="center"|191 || вторник, лекция в 16:20 (R305), семинар в 17:50 (R208) || align="center"|ctXiGBZ
|-
| align="center"|192 || вторник, лекция в 16:20 (R305), семинар в 17:50 (R207) || align="center"|SAWVLsf
|-
| align="center"|193 || вторник, лекция в 16:20 (R305), семинар в 18:10 (R307) || align="center"|I2KuKz3
|-
| Остальные студенты || вторник, лекция в 16:20 (R305), можно выбрать семинар любой из групп 191, 192, 193 || align="center"|HQtrYHW
|}

Группа в Telegram для вопросов по курсу: [https://t.me/+n8fxyed6baQ5YWEy ссылка]

Видеозаписи занятий: [https://www.youtube.com/playlist?list=PLEwK9wdS5g0rXdf6CJyPwjoD0HrnzLqLD ссылка]

== Система выставления оценок по курсу ==
В рамках курса предполагается несколько теоретических и практических домашних заданий, а также экзамен в конце курса. Каждое задание и экзамен оцениваются исходя из 10-ти баллов. За задания можно получить дополнительные баллы за выполнение бонусных пунктов. Общая оценка за курс вычисляется по правилу Округление_вверх(0.7*<Оценка_за_семестр> + 0.3*<Оценка_за_экзамен>). <Оценка_за_семестр> = min(10, <Суммарная_оценка_за_задания>*10 / <Максимальная_суммарная_оценка_за_задания_без_бонусов>). Итоговая оценка за курс совпадает с общей оценкой при соблюдении следующих дополнительных условий:
{| class="wikitable"
! Итоговая оценка !! Условия
|-
|align="center"|>=8 || Сданы все задания, кроме одного, экзамен сдан в устном формате на оценку >= 6
|-
|align="center"|>=6 || Сданы все задания, кроме двух, экзамен сдан (устно или письменно) на оценку >= 4
|-
|align="center"|>=4 || Сданы все задания, кроме трех, экзамен сдан (устно или письменно) на оценку >= 4
|-
|}

== Правила сдачи заданий ==
Теоретические и практические задания сдаются в систему anytask (инвайт см. выше). В случае наличия мягкого дедлайна задания могут быть присланы после срока сдачи, но с задержкой не более одной недели. При этом начисляется штраф из расчёта 0.5 балла в день. Все задания выполняются самостоятельно. Если задание выполнялось сообща или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчёте. В противном случае «похожие» решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.

Теоретические задания сдаются в anytask в виде сканов или набранных в TeX pdf-файлов. '''ВАЖНО!''' Присылаемые сканы должны быть высокого качества, присылаться одним файлом, в котором все листы идут в правильном порядке. В случае плохого качества сканов или же сдачи в формате, отличном от pdf, проверяющий имеет право поставить за работу 0, не проверяя.

== Лекции и семинары ==
{| class = "wikitable"
|+
! № п/п
! Дата
! Занятие
! Материалы
|-
| align="center"|1
| 18 января 2022
| Введение в курс. Скорости сходимости итерационных процессов. Матрично-векторное дифференцирование. || [https://drive.google.com/file/d/1MXENV3Ryy8SgK3_q_lKB5gBG39qcl8_M/view?usp=sharing Конспект]
[https://drive.google.com/file/d/1bNWF262guJHTphptCTYARAsUKRPC9QmS/view?usp=sharing Конспект]
|-
| align="center"|2
| 25 января 2022
| Классы функций для оптимизации. Точная и неточная одномерная оптимизация || [http://www.machinelearning.ru/wiki/images/4/4d/MOMO16_min1d.pdf Конспект]
|-
| align="center"|3
| 01 февраля 2022
| Метод градиентного спуска. Разностное дифференцирование. ||
|-
| align="center"|4
| 08 февраля 2022
| Стандартные матричные разложения. Метод Ньютона. || [https://drive.google.com/file/d/1K9xt0seQ_Oi0UcyziwHibhnr7PorNfqe/view?usp=sharing Презентация по подготовке отчётов]
|-
| align="center"|5
| 15 февраля 2022
| Метод сопряжённых градиентов. || [https://drive.google.com/file/d/1Ai3ZSuLTb0C6hL5KcAvagzJgKqL1-ySo/view?usp=sharing Презентация]
|-
| align="center"|6
| 22 февраля 2022
| Безгессианный метод Ньютона. Выпуклые множества. || [https://drive.google.com/file/d/1t9_Uvo-xrVd_nIVUk4CGXGfebHcFtTkw/view?usp=sharing Конспект]
|-
| align="center"|7
| 01 марта 2022
| Квазиньютоновские методы оптимизации. Выпуклые функции. || [https://drive.google.com/file/d/1glvkT1g6C405RT773KwUdKYRW_bhOKct/view?usp=sharing Конспект]
|-
| align="center"|--
| 08 марта 2022
| ''Занятия не будет'' ||
|-
| align="center"|8
| 15 марта 2022
| Задачи условной оптимизации. Теорема Каруша-Куна-Таккера. || [http://www.machinelearning.ru/wiki/images/7/7f/MOMO18_Seminar7.pdf Конспект]
|-
| align="center"|9
| 22 марта 2022
| Задача линейного программирования. Симплекс-метод. Эквивалентные преобразования задач оптимизации. Стандартные классы выпуклых условных задач оптимизации. || [https://drive.google.com/file/d/1ghnO3gMssx2IS9LaaOgYXbwwq6Pm8ZXY/view?usp=sharing Конспект]
|-
| align="center"|--
| 29 марта 2022
| ''Занятия не будет'' ||
|-
| align="center"|10
| 05 апреля 2022
| Метод Ньютона и метод логарифмических барьеров для решения выпуклых задач условной оптимизации. Матричные преобразования в квазиньютоновских методах. || [http://www.machinelearning.ru/wiki/images/8/81/MOMO12_ipm.pdf Конспект] [http://www.machinelearning.ru/wiki/images/1/10/MOMO18_Seminar6.pdf Конспект]
|-
| align="center"|11
| 12 апреля 2021
| Негладкая выпуклая оптимизация. Субградиентный метод. Субдифференциальное исчисление. || [http://www.machinelearning.ru/wiki/images/e/e5/MOMO18_Seminar10.pdf Конспект]
|-
| align="center"|12
| 19 апреля 2021
| Проксимальные методы оптимизации. Сопряженные функции и нормы. || [http://www.machinelearning.ru/wiki/images/1/15/MOMO18_Seminar8.pdf Конспект]
|-
| align="center"|13
| 26 апреля 2021
| Ускоренный оптимальный метод Нестерова. Проекции и проксимальные операторы. ||
|-
| align="center"|--
| 3 мая 2022
| ''Занятия не будет'' ||
|-
| align="center"|--
| 10 мая 2022
| ''Занятия не будет'' ||
|-
| align="center"|14
| 17 мая 2022
| Стохастическая оптимизация. Автоматическое дифференцирование по графу вычислений. ||
|-
| align="center"|15
| 24 мая 2022
| Дифференцирование через процесс оптимизации. Сведение дискретных задач оптимизации к непрерывным. || [https://arxiv.org/abs/1703.00443 Статья 1] [https://arxiv.org/abs/1502.03492 Статья 2]
|-
| align="center"|16
| 31 мая 2022
| Ускоренный стохастический метод оптимизации SDCA. Методы Adagrad, RMSprop, ADAM. || [https://www.jmlr.org/papers/volume14/shalev-shwartz13a/shalev-shwartz13a.pdf Статья 1] [https://papers.nips.cc/paper/2013/file/077e29b11be80ab57e1a2ecabb7da330-Paper.pdf Статья 2]
|-
|}

Методы оптимизации в машинном обучении 2022

2022-03-13T15:05:24Z

Dkropotov:

__NOTOC__
Методы оптимизации лежат в основе решения многих задач компьютерных наук. Например, в машинном обучении задачу оптимизации необходимо решать каждый раз при настройке какой-то модели алгоритмов по данным, причём от эффективности решения соответствующей задачи оптимизации зависит практическая применимость самого метода машинного обучения. Данный курс посвящен изучению классических и современных методов решения задач непрерывной оптимизации (в том числе невыпуклых), а также особенностям применения этих методов в задачах оптимизации, возникающих в машинном обучении. Основной акцент в изложении делается на практические аспекты реализации и использования методов. Целью курса является выработка у слушателей навыков по подбору подходящего метода для своей задачи, наиболее полно учитывающего её особенности.

'''Преподаватели''': Кропотов Дмитрий Александрович, Гадецкий Артём, Кодрян Максим.

{| class="wikitable"
! Группа !! Расписание !! Инвайт для anytask
|-
| align="center"|191 || вторник, лекция в 16:20 (R305), семинар в 17:50 (R208) || align="center"|ctXiGBZ
|-
| align="center"|192 || вторник, лекция в 16:20 (R305), семинар в 17:50 (R207) || align="center"|SAWVLsf
|-
| align="center"|193 || вторник, лекция в 16:20 (R305), семинар в 18:10 (R307) || align="center"|I2KuKz3
|-
| Остальные студенты || вторник, лекция в 16:20 (R305), можно выбрать семинар любой из групп 191, 192, 193 || align="center"|HQtrYHW
|}

Группа в Telegram для вопросов по курсу: [https://t.me/+n8fxyed6baQ5YWEy ссылка]
Видеозаписи занятий: [https://www.youtube.com/playlist?list=PLEwK9wdS5g0rXdf6CJyPwjoD0HrnzLqLD ссылка]

== Система выставления оценок по курсу ==
В рамках курса предполагается несколько теоретических и практических домашних заданий, а также экзамен в конце курса. Каждое задание и экзамен оцениваются исходя из 10-ти баллов. За задания можно получить дополнительные баллы за выполнение бонусных пунктов. Общая оценка за курс вычисляется по правилу Округление_вверх(0.7*<Оценка_за_семестр> + 0.3*<Оценка_за_экзамен>). <Оценка_за_семестр> = min(10, <Суммарная_оценка_за_задания>*10 / <Максимальная_суммарная_оценка_за_задания_без_бонусов>). Итоговая оценка за курс совпадает с общей оценкой при соблюдении следующих дополнительных условий:
{| class="wikitable"
! Итоговая оценка !! Условия
|-
|align="center"|>=8 || Сданы все задания, кроме одного, экзамен сдан в устном формате на оценку >= 6
|-
|align="center"|>=6 || Сданы все задания, кроме двух, экзамен сдан (устно или письменно) на оценку >= 4
|-
|align="center"|>=4 || Сданы все задания, кроме трех, экзамен сдан (устно или письменно) на оценку >= 4
|-
|}

== Правила сдачи заданий ==
Теоретические и практические задания сдаются в систему anytask (инвайт см. выше). В случае наличия мягкого дедлайна задания могут быть присланы после срока сдачи, но с задержкой не более одной недели. При этом начисляется штраф из расчёта 0.5 балла в день. Все задания выполняются самостоятельно. Если задание выполнялось сообща или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчёте. В противном случае «похожие» решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.

Теоретические задания сдаются в anytask в виде сканов или набранных в TeX pdf-файлов. '''ВАЖНО!''' Присылаемые сканы должны быть высокого качества, присылаться одним файлом, в котором все листы идут в правильном порядке. В случае плохого качества сканов или же сдачи в формате, отличном от pdf, проверяющий имеет право поставить за работу 0, не проверяя.

== Лекции и семинары ==
{| class = "wikitable"
|+
! № п/п
! Дата
! Занятие
! Материалы
|-
| align="center"|1
| 18 января 2022
| Введение в курс. Скорости сходимости итерационных процессов. Матрично-векторное дифференцирование. || [https://drive.google.com/file/d/1MXENV3Ryy8SgK3_q_lKB5gBG39qcl8_M/view?usp=sharing Конспект]
[https://drive.google.com/file/d/1bNWF262guJHTphptCTYARAsUKRPC9QmS/view?usp=sharing Конспект]
|-
| align="center"|2
| 25 января 2022
| Классы функций для оптимизации. Точная и неточная одномерная оптимизация || [http://www.machinelearning.ru/wiki/images/4/4d/MOMO16_min1d.pdf Конспект]
|-
| align="center"|3
| 01 февраля 2022
| Метод градиентного спуска. Разностное дифференцирование. ||
|-
| align="center"|4
| 08 февраля 2022
| Стандартные матричные разложения. Метод Ньютона. || [https://drive.google.com/file/d/1K9xt0seQ_Oi0UcyziwHibhnr7PorNfqe/view?usp=sharing Презентация по подготовке отчётов]
|-
| align="center"|5
| 15 февраля 2022
| Метод сопряжённых градиентов. || [https://drive.google.com/file/d/1Ai3ZSuLTb0C6hL5KcAvagzJgKqL1-ySo/view?usp=sharing Презентация]
|-
| align="center"|6
| 22 февраля 2022
| Безгессианный метод Ньютона. Выпуклые множества. || [https://drive.google.com/file/d/1t9_Uvo-xrVd_nIVUk4CGXGfebHcFtTkw/view?usp=sharing Конспект]
|-
| align="center"|7
| 01 марта 2022
| Квазиньютоновские методы оптимизации. Выпуклые функции. || [https://drive.google.com/file/d/1glvkT1g6C405RT773KwUdKYRW_bhOKct/view?usp=sharing Конспект]
|-
| align="center"|--
| 08 марта 2022
| ''Занятия не будет'' ||
|-
| align="center"|8
| 15 марта 2022
| Задачи условной оптимизации. Теорема Каруша-Куна-Таккера. || [http://www.machinelearning.ru/wiki/images/7/7f/MOMO18_Seminar7.pdf Конспект]
|-
| align="center"|9
| 22 марта 2022
| Задача линейного программирования. Симплекс-метод. Эквивалентные преобразования задач оптимизации. Стандартные классы выпуклых условных задач оптимизации. || [https://drive.google.com/file/d/1ghnO3gMssx2IS9LaaOgYXbwwq6Pm8ZXY/view?usp=sharing Конспект]
|-
| align="center"|--
| 29 марта 2022
| ''Занятия не будет'' ||
|-
| align="center"|10
| 05 апреля 2022
| Метод Ньютона и метод логарифмических барьеров для решения выпуклых задач условной оптимизации. Матричные преобразования в квазиньютоновских методах. || [http://www.machinelearning.ru/wiki/images/8/81/MOMO12_ipm.pdf Конспект] [http://www.machinelearning.ru/wiki/images/1/10/MOMO18_Seminar6.pdf Конспект]
|-
| align="center"|11
| 12 апреля 2021
| Негладкая выпуклая оптимизация. Субградиентный метод. Субдифференциальное исчисление. || [http://www.machinelearning.ru/wiki/images/e/e5/MOMO18_Seminar10.pdf Конспект]
|-
| align="center"|12
| 19 апреля 2021
| Проксимальные методы оптимизации. Сопряженные функции и нормы. || [http://www.machinelearning.ru/wiki/images/1/15/MOMO18_Seminar8.pdf Конспект]
|-
| align="center"|13
| 26 апреля 2021
| Ускоренный оптимальный метод Нестерова. Проекции и проксимальные операторы. ||
|-
| align="center"|--
| 3 мая 2022
| ''Занятия не будет'' ||
|-
| align="center"|--
| 10 мая 2022
| ''Занятия не будет'' ||
|-
| align="center"|14
| 17 мая 2022
| Стохастическая оптимизация. Автоматическое дифференцирование по графу вычислений. ||
|-
| align="center"|15
| 24 мая 2022
| Дифференцирование через процесс оптимизации. Сведение дискретных задач оптимизации к непрерывным. || [https://arxiv.org/abs/1703.00443 Статья 1] [https://arxiv.org/abs/1502.03492 Статья 2]
|-
| align="center"|16
| 31 мая 2022
| Ускоренный стохастический метод оптимизации SDCA. Методы Adagrad, RMSprop, ADAM. || [https://www.jmlr.org/papers/volume14/shalev-shwartz13a/shalev-shwartz13a.pdf Статья 1] [https://papers.nips.cc/paper/2013/file/077e29b11be80ab57e1a2ecabb7da330-Paper.pdf Статья 2]
|-
|}

Методы оптимизации в машинном обучении 2022

2022-02-03T12:18:57Z

Dkropotov: /* Лекции и семинары */

__NOTOC__
Методы оптимизации лежат в основе решения многих задач компьютерных наук. Например, в машинном обучении задачу оптимизации необходимо решать каждый раз при настройке какой-то модели алгоритмов по данным, причём от эффективности решения соответствующей задачи оптимизации зависит практическая применимость самого метода машинного обучения. Данный курс посвящен изучению классических и современных методов решения задач непрерывной оптимизации (в том числе невыпуклых), а также особенностям применения этих методов в задачах оптимизации, возникающих в машинном обучении. Основной акцент в изложении делается на практические аспекты реализации и использования методов. Целью курса является выработка у слушателей навыков по подбору подходящего метода для своей задачи, наиболее полно учитывающего её особенности.

'''Преподаватели''': Кропотов Дмитрий Александрович, Гадецкий Артём, Кодрян Максим.

{| class="wikitable"
! Группа !! Расписание !! Инвайт для anytask
|-
| align="center"|191 || вторник, лекция в 16:20 (R305), семинар в 17:50 (R208) || align="center"|ctXiGBZ
|-
| align="center"|192 || вторник, лекция в 16:20 (R305), семинар в 17:50 (R207) || align="center"|SAWVLsf
|-
| align="center"|193 || вторник, лекция в 16:20 (R305), семинар в 18:10 (R307) || align="center"|I2KuKz3
|-
| Остальные студенты || вторник, лекция в 16:20 (R305), можно выбрать семинар любой из групп 191, 192, 193 || align="center"|HQtrYHW
|}

Группа в Telegram для вопросов по курсу: [https://t.me/+n8fxyed6baQ5YWEy ссылка]

== Система выставления оценок по курсу ==
В рамках курса предполагается несколько теоретических и практических домашних заданий, а также экзамен в конце курса. Каждое задание и экзамен оцениваются исходя из 10-ти баллов. За задания можно получить дополнительные баллы за выполнение бонусных пунктов. Общая оценка за курс вычисляется по правилу Округление_вверх(0.7*<Оценка_за_семестр> + 0.3*<Оценка_за_экзамен>). <Оценка_за_семестр> = min(10, <Суммарная_оценка_за_задания>*10 / <Максимальная_суммарная_оценка_за_задания_без_бонусов>). Итоговая оценка за курс совпадает с общей оценкой при соблюдении следующих дополнительных условий:
{| class="wikitable"
! Итоговая оценка !! Условия
|-
|align="center"|>=8 || Сданы все задания, кроме одного, экзамен сдан в устном формате на оценку >= 6
|-
|align="center"|>=6 || Сданы все задания, кроме двух, экзамен сдан (устно или письменно) на оценку >= 4
|-
|align="center"|>=4 || Сданы все задания, кроме трех, экзамен сдан (устно или письменно) на оценку >= 4
|-
|}

== Правила сдачи заданий ==
Теоретические и практические задания сдаются в систему anytask (инвайт см. выше). В случае наличия мягкого дедлайна задания могут быть присланы после срока сдачи, но с задержкой не более одной недели. При этом начисляется штраф из расчёта 0.5 балла в день. Все задания выполняются самостоятельно. Если задание выполнялось сообща или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчёте. В противном случае «похожие» решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.

Теоретические задания сдаются в anytask в виде сканов или набранных в TeX pdf-файлов. '''ВАЖНО!''' Присылаемые сканы должны быть высокого качества, присылаться одним файлом, в котором все листы идут в правильном порядке. В случае плохого качества сканов или же сдачи в формате, отличном от pdf, проверяющий имеет право поставить за работу 0, не проверяя.

== Лекции и семинары ==
{| class = "wikitable"
|+
! № п/п
! Дата
! Занятие
! Материалы
|-
| align="center"|1
| 18 января 2022
| Введение в курс. Скорости сходимости итерационных процессов. Матрично-векторное дифференцирование. || [https://drive.google.com/file/d/1MXENV3Ryy8SgK3_q_lKB5gBG39qcl8_M/view?usp=sharing Конспект]
[https://drive.google.com/file/d/1bNWF262guJHTphptCTYARAsUKRPC9QmS/view?usp=sharing Конспект]
|-
| align="center"|2
| 25 января 2022
| Классы функций для оптимизации. Точная и неточная одномерная оптимизация || [http://www.machinelearning.ru/wiki/images/4/4d/MOMO16_min1d.pdf Конспект]
|-
| align="center"|3
| 01 февраля 2022
| Метод градиентного спуска. Разностное дифференцирование. ||
|-
| align="center"|4
| 08 февраля 2022
| Стандартные матричные разложения. Метод Ньютона. || [https://drive.google.com/file/d/1K9xt0seQ_Oi0UcyziwHibhnr7PorNfqe/view?usp=sharing Презентация по подготовке отчётов]
|-
| align="center"|5
| 15 февраля 2022
| Метод сопряжённых градиентов. || [https://drive.google.com/file/d/1Ai3ZSuLTb0C6hL5KcAvagzJgKqL1-ySo/view?usp=sharing Презентация]
|-
| align="center"|6
| 22 февраля 2022
| Безгессианный метод Ньютона. Выпуклые множества. || [https://drive.google.com/file/d/1t9_Uvo-xrVd_nIVUk4CGXGfebHcFtTkw/view?usp=sharing Конспект]
|-
| align="center"|7
| 01 марта 2022
| Квазиньютоновские методы оптимизации. Выпуклые функции. || [https://drive.google.com/file/d/1glvkT1g6C405RT773KwUdKYRW_bhOKct/view?usp=sharing Конспект]
|-
| align="center"|--
| 08 марта 2022
| ''Занятия не будет'' ||
|-
| align="center"|8
| 15 марта 2022
| Задачи условной оптимизации. Теорема Каруша-Куна-Таккера. || [http://www.machinelearning.ru/wiki/images/7/7f/MOMO18_Seminar7.pdf Конспект]
|-
| align="center"|9
| 22 марта 2022
| Задача линейного программирования. Симплекс-метод. Эквивалентные преобразования задач оптимизации. Стандартные классы выпуклых условных задач оптимизации. || [https://drive.google.com/file/d/1ghnO3gMssx2IS9LaaOgYXbwwq6Pm8ZXY/view?usp=sharing Конспект]
|-
| align="center"|--
| 29 марта 2022
| ''Занятия не будет'' ||
|-
| align="center"|10
| 05 апреля 2022
| Метод Ньютона и метод логарифмических барьеров для решения выпуклых задач условной оптимизации. Матричные преобразования в квазиньютоновских методах. || [http://www.machinelearning.ru/wiki/images/8/81/MOMO12_ipm.pdf Конспект] [http://www.machinelearning.ru/wiki/images/1/10/MOMO18_Seminar6.pdf Конспект]
|-
| align="center"|11
| 12 апреля 2021
| Негладкая выпуклая оптимизация. Субградиентный метод. Субдифференциальное исчисление. || [http://www.machinelearning.ru/wiki/images/e/e5/MOMO18_Seminar10.pdf Конспект]
|-
| align="center"|12
| 19 апреля 2021
| Проксимальные методы оптимизации. Сопряженные функции и нормы. || [http://www.machinelearning.ru/wiki/images/1/15/MOMO18_Seminar8.pdf Конспект]
|-
| align="center"|13
| 26 апреля 2021
| Ускоренный оптимальный метод Нестерова. Проекции и проксимальные операторы. ||
|-
| align="center"|--
| 3 мая 2022
| ''Занятия не будет'' ||
|-
| align="center"|--
| 10 мая 2022
| ''Занятия не будет'' ||
|-
| align="center"|14
| 17 мая 2022
| Стохастическая оптимизация. Автоматическое дифференцирование по графу вычислений. ||
|-
| align="center"|15
| 24 мая 2022
| Дифференцирование через процесс оптимизации. Сведение дискретных задач оптимизации к непрерывным. || [https://arxiv.org/abs/1703.00443 Статья 1] [https://arxiv.org/abs/1502.03492 Статья 2]
|-
| align="center"|16
| 31 мая 2022
| Ускоренный стохастический метод оптимизации SDCA. Методы Adagrad, RMSprop, ADAM. || [https://www.jmlr.org/papers/volume14/shalev-shwartz13a/shalev-shwartz13a.pdf Статья 1] [https://papers.nips.cc/paper/2013/file/077e29b11be80ab57e1a2ecabb7da330-Paper.pdf Статья 2]
|-
|}

Методы оптимизации в машинном обучении 2022

2022-01-25T09:51:03Z

Dkropotov: /* Лекции и семинары */

__NOTOC__
Методы оптимизации лежат в основе решения многих задач компьютерных наук. Например, в машинном обучении задачу оптимизации необходимо решать каждый раз при настройке какой-то модели алгоритмов по данным, причём от эффективности решения соответствующей задачи оптимизации зависит практическая применимость самого метода машинного обучения. Данный курс посвящен изучению классических и современных методов решения задач непрерывной оптимизации (в том числе невыпуклых), а также особенностям применения этих методов в задачах оптимизации, возникающих в машинном обучении. Основной акцент в изложении делается на практические аспекты реализации и использования методов. Целью курса является выработка у слушателей навыков по подбору подходящего метода для своей задачи, наиболее полно учитывающего её особенности.

'''Преподаватели''': Кропотов Дмитрий Александрович, Гадецкий Артём, Кодрян Максим.

{| class="wikitable"
! Группа !! Расписание !! Инвайт для anytask
|-
| align="center"|191 || вторник, лекция в 16:20 (R305), семинар в 17:50 (R208) || align="center"|ctXiGBZ
|-
| align="center"|192 || вторник, лекция в 16:20 (R305), семинар в 17:50 (R207) || align="center"|SAWVLsf
|-
| align="center"|193 || вторник, лекция в 16:20 (R305), семинар в 18:10 (R307) || align="center"|I2KuKz3
|-
| Остальные студенты || вторник, лекция в 16:20 (R305), можно выбрать семинар любой из групп 191, 192, 193 || align="center"|HQtrYHW
|}

Группа в Telegram для вопросов по курсу: [https://t.me/+n8fxyed6baQ5YWEy ссылка]

== Система выставления оценок по курсу ==
В рамках курса предполагается несколько теоретических и практических домашних заданий, а также экзамен в конце курса. Каждое задание и экзамен оцениваются исходя из 10-ти баллов. За задания можно получить дополнительные баллы за выполнение бонусных пунктов. Общая оценка за курс вычисляется по правилу Округление_вверх(0.7*<Оценка_за_семестр> + 0.3*<Оценка_за_экзамен>). <Оценка_за_семестр> = min(10, <Суммарная_оценка_за_задания>*10 / <Максимальная_суммарная_оценка_за_задания_без_бонусов>). Итоговая оценка за курс совпадает с общей оценкой при соблюдении следующих дополнительных условий:
{| class="wikitable"
! Итоговая оценка !! Условия
|-
|align="center"|>=8 || Сданы все задания, кроме одного, экзамен сдан в устном формате на оценку >= 6
|-
|align="center"|>=6 || Сданы все задания, кроме двух, экзамен сдан (устно или письменно) на оценку >= 4
|-
|align="center"|>=4 || Сданы все задания, кроме трех, экзамен сдан (устно или письменно) на оценку >= 4
|-
|}

== Правила сдачи заданий ==
Теоретические и практические задания сдаются в систему anytask (инвайт см. выше). В случае наличия мягкого дедлайна задания могут быть присланы после срока сдачи, но с задержкой не более одной недели. При этом начисляется штраф из расчёта 0.5 балла в день. Все задания выполняются самостоятельно. Если задание выполнялось сообща или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчёте. В противном случае «похожие» решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.

Теоретические задания сдаются в anytask в виде сканов или набранных в TeX pdf-файлов. '''ВАЖНО!''' Присылаемые сканы должны быть высокого качества, присылаться одним файлом, в котором все листы идут в правильном порядке. В случае плохого качества сканов или же сдачи в формате, отличном от pdf, проверяющий имеет право поставить за работу 0, не проверяя.

== Лекции и семинары ==
{| class = "wikitable"
|+
! № п/п
! Дата
! Занятие
! Материалы
|-
| align="center"|1
| 18 января 2022
| Введение в курс. Скорости сходимости итерационных процессов. Матрично-векторное дифференцирование. || [https://drive.google.com/file/d/1MXENV3Ryy8SgK3_q_lKB5gBG39qcl8_M/view?usp=sharing Конспект]
[https://drive.google.com/file/d/1bNWF262guJHTphptCTYARAsUKRPC9QmS/view?usp=sharing Конспект]
|-
| align="center"|2
| 25 января 2022
| Классы функций для оптимизации. Точная и неточная одномерная оптимизация || [http://www.machinelearning.ru/wiki/images/4/4d/MOMO16_min1d.pdf Конспект]
|-
| align="center"|3
| 01 февраля 2022
| Метод градиентного спуска ||
|-
| align="center"|4
| 08 февраля 2022
| Стандартные матричные разложения. Метод Ньютона. || [https://drive.google.com/file/d/1K9xt0seQ_Oi0UcyziwHibhnr7PorNfqe/view?usp=sharing Презентация по подготовке отчётов]
|-
| align="center"|5
| 15 февраля 2022
| Метод сопряжённых градиентов. || [https://drive.google.com/file/d/1Ai3ZSuLTb0C6hL5KcAvagzJgKqL1-ySo/view?usp=sharing Презентация]
|-
| align="center"|6
| 22 февраля 2022
| Безгессианный метод Ньютона. Выпуклые множества. || [https://drive.google.com/file/d/1t9_Uvo-xrVd_nIVUk4CGXGfebHcFtTkw/view?usp=sharing Конспект]
|-
| align="center"|7
| 01 марта 2022
| Квазиньютоновские методы оптимизации. Выпуклые функции. || [https://drive.google.com/file/d/1glvkT1g6C405RT773KwUdKYRW_bhOKct/view?usp=sharing Конспект]
|-
| align="center"|--
| 08 марта 2022
| ''Занятия не будет'' ||
|-
| align="center"|8
| 15 марта 2022
| Задачи условной оптимизации. Теорема Каруша-Куна-Таккера. || [http://www.machinelearning.ru/wiki/images/7/7f/MOMO18_Seminar7.pdf Конспект]
|-
| align="center"|9
| 22 марта 2022
| Задача линейного программирования. Симплекс-метод. Эквивалентные преобразования задач оптимизации. Стандартные классы выпуклых условных задач оптимизации. || [https://drive.google.com/file/d/1ghnO3gMssx2IS9LaaOgYXbwwq6Pm8ZXY/view?usp=sharing Конспект]
|-
| align="center"|--
| 29 марта 2022
| ''Занятия не будет'' ||
|-
| align="center"|10
| 05 апреля 2022
| Метод Ньютона и метод логарифмических барьеров для решения выпуклых задач условной оптимизации. Матричные преобразования в квазиньютоновских методах. || [http://www.machinelearning.ru/wiki/images/8/81/MOMO12_ipm.pdf Конспект] [http://www.machinelearning.ru/wiki/images/1/10/MOMO18_Seminar6.pdf Конспект]
|-
| align="center"|11
| 12 апреля 2021
| Негладкая выпуклая оптимизация. Субградиентный метод. Субдифференциальное исчисление. || [http://www.machinelearning.ru/wiki/images/e/e5/MOMO18_Seminar10.pdf Конспект]
|-
| align="center"|12
| 19 апреля 2021
| Проксимальные методы оптимизации. Сопряженные функции и нормы. || [http://www.machinelearning.ru/wiki/images/1/15/MOMO18_Seminar8.pdf Конспект]
|-
| align="center"|13
| 26 апреля 2021
| Ускоренный оптимальный метод Нестерова. Проекции и проксимальные операторы. ||
|-
| align="center"|--
| 3 мая 2022
| ''Занятия не будет'' ||
|-
| align="center"|--
| 10 мая 2022
| ''Занятия не будет'' ||
|-
| align="center"|14
| 17 мая 2022
| Стохастическая оптимизация. Автоматическое дифференцирование по графу вычислений. ||
|-
| align="center"|15
| 24 мая 2022
| Дифференцирование через процесс оптимизации. Сведение дискретных задач оптимизации к непрерывным. || [https://arxiv.org/abs/1703.00443 Статья 1] [https://arxiv.org/abs/1502.03492 Статья 2]
|-
| align="center"|16
| 31 мая 2022
| Ускоренный стохастический метод оптимизации SDCA. Методы Adagrad, RMSprop, ADAM. || [https://www.jmlr.org/papers/volume14/shalev-shwartz13a/shalev-shwartz13a.pdf Статья 1] [https://papers.nips.cc/paper/2013/file/077e29b11be80ab57e1a2ecabb7da330-Paper.pdf Статья 2]
|-
|}

Методы оптимизации в машинном обучении 2022

2022-01-18T07:24:38Z

Dkropotov:

__NOTOC__
Методы оптимизации лежат в основе решения многих задач компьютерных наук. Например, в машинном обучении задачу оптимизации необходимо решать каждый раз при настройке какой-то модели алгоритмов по данным, причём от эффективности решения соответствующей задачи оптимизации зависит практическая применимость самого метода машинного обучения. Данный курс посвящен изучению классических и современных методов решения задач непрерывной оптимизации (в том числе невыпуклых), а также особенностям применения этих методов в задачах оптимизации, возникающих в машинном обучении. Основной акцент в изложении делается на практические аспекты реализации и использования методов. Целью курса является выработка у слушателей навыков по подбору подходящего метода для своей задачи, наиболее полно учитывающего её особенности.

'''Преподаватели''': Кропотов Дмитрий Александрович, Гадецкий Артём, Кодрян Максим.

{| class="wikitable"
! Группа !! Расписание !! Инвайт для anytask
|-
| align="center"|191 || вторник, лекция в 16:20 (R305), семинар в 17:50 (R208) || align="center"|ctXiGBZ
|-
| align="center"|192 || вторник, лекция в 16:20 (R305), семинар в 17:50 (R207) || align="center"|SAWVLsf
|-
| align="center"|193 || вторник, лекция в 16:20 (R305), семинар в 18:10 (R307) || align="center"|I2KuKz3
|-
| Остальные студенты || вторник, лекция в 16:20 (R305), можно выбрать семинар любой из групп 191, 192, 193 || align="center"|HQtrYHW
|}

Группа в Telegram для вопросов по курсу: [https://t.me/+n8fxyed6baQ5YWEy ссылка]

== Система выставления оценок по курсу ==
В рамках курса предполагается несколько теоретических и практических домашних заданий, а также экзамен в конце курса. Каждое задание и экзамен оцениваются исходя из 10-ти баллов. За задания можно получить дополнительные баллы за выполнение бонусных пунктов. Общая оценка за курс вычисляется по правилу Округление_вверх(0.7*<Оценка_за_семестр> + 0.3*<Оценка_за_экзамен>). <Оценка_за_семестр> = min(10, <Суммарная_оценка_за_задания>*10 / <Максимальная_суммарная_оценка_за_задания_без_бонусов>). Итоговая оценка за курс совпадает с общей оценкой при соблюдении следующих дополнительных условий:
{| class="wikitable"
! Итоговая оценка !! Условия
|-
|align="center"|>=8 || Сданы все задания, кроме одного, экзамен сдан в устном формате на оценку >= 6
|-
|align="center"|>=6 || Сданы все задания, кроме двух, экзамен сдан (устно или письменно) на оценку >= 4
|-
|align="center"|>=4 || Сданы все задания, кроме трех, экзамен сдан (устно или письменно) на оценку >= 4
|-
|}

== Правила сдачи заданий ==
Теоретические и практические задания сдаются в систему anytask (инвайт см. выше). В случае наличия мягкого дедлайна задания могут быть присланы после срока сдачи, но с задержкой не более одной недели. При этом начисляется штраф из расчёта 0.5 балла в день. Все задания выполняются самостоятельно. Если задание выполнялось сообща или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчёте. В противном случае «похожие» решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.

Теоретические задания сдаются в anytask в виде сканов или набранных в TeX pdf-файлов. '''ВАЖНО!''' Присылаемые сканы должны быть высокого качества, присылаться одним файлом, в котором все листы идут в правильном порядке. В случае плохого качества сканов или же сдачи в формате, отличном от pdf, проверяющий имеет право поставить за работу 0, не проверяя.

== Лекции и семинары ==
{| class = "wikitable"
|+
! № п/п
! Дата
! Занятие
! Материалы
|-
| align="center"|1
| 18 января 2022
| Введение в курс. Скорости сходимости итерационных процессов. Матрично-векторное дифференцирование. || [https://drive.google.com/file/d/1MXENV3Ryy8SgK3_q_lKB5gBG39qcl8_M/view?usp=sharing Конспект]
[https://drive.google.com/file/d/1bNWF262guJHTphptCTYARAsUKRPC9QmS/view?usp=sharing Конспект]
|-
| align="center"|2
| 25 января 2022
| Одномерная оптимизация || [http://www.machinelearning.ru/wiki/images/4/4d/MOMO16_min1d.pdf Конспект]
|-
| align="center"|3
| 01 февраля 2022
| Метод градиентного спуска ||
|-
| align="center"|4
| 08 февраля 2022
| Стандартные матричные разложения. Метод Ньютона. || [https://drive.google.com/file/d/1K9xt0seQ_Oi0UcyziwHibhnr7PorNfqe/view?usp=sharing Презентация по подготовке отчётов]
|-
| align="center"|5
| 15 февраля 2022
| Метод сопряжённых градиентов. || [https://drive.google.com/file/d/1Ai3ZSuLTb0C6hL5KcAvagzJgKqL1-ySo/view?usp=sharing Презентация]
|-
| align="center"|6
| 22 февраля 2022
| Безгессианный метод Ньютона. Выпуклые множества. || [https://drive.google.com/file/d/1t9_Uvo-xrVd_nIVUk4CGXGfebHcFtTkw/view?usp=sharing Конспект]
|-
| align="center"|7
| 01 марта 2022
| Квазиньютоновские методы оптимизации. Выпуклые функции. || [https://drive.google.com/file/d/1glvkT1g6C405RT773KwUdKYRW_bhOKct/view?usp=sharing Конспект]
|-
| align="center"|--
| 08 марта 2022
| ''Занятия не будет'' ||
|-
| align="center"|8
| 15 марта 2022
| Задачи условной оптимизации. Теорема Каруша-Куна-Таккера. || [http://www.machinelearning.ru/wiki/images/7/7f/MOMO18_Seminar7.pdf Конспект]
|-
| align="center"|9
| 22 марта 2022
| Задача линейного программирования. Симплекс-метод. Эквивалентные преобразования задач оптимизации. Стандартные классы выпуклых условных задач оптимизации. || [https://drive.google.com/file/d/1ghnO3gMssx2IS9LaaOgYXbwwq6Pm8ZXY/view?usp=sharing Конспект]
|-
| align="center"|--
| 29 марта 2022
| ''Занятия не будет'' ||
|-
| align="center"|10
| 05 апреля 2022
| Метод Ньютона и метод логарифмических барьеров для решения выпуклых задач условной оптимизации. Матричные преобразования в квазиньютоновских методах. || [http://www.machinelearning.ru/wiki/images/8/81/MOMO12_ipm.pdf Конспект] [http://www.machinelearning.ru/wiki/images/1/10/MOMO18_Seminar6.pdf Конспект]
|-
| align="center"|11
| 12 апреля 2021
| Негладкая выпуклая оптимизация. Субградиентный метод. Субдифференциальное исчисление. || [http://www.machinelearning.ru/wiki/images/e/e5/MOMO18_Seminar10.pdf Конспект]
|-
| align="center"|12
| 19 апреля 2021
| Проксимальные методы оптимизации. Сопряженные функции и нормы. || [http://www.machinelearning.ru/wiki/images/1/15/MOMO18_Seminar8.pdf Конспект]
|-
| align="center"|13
| 26 апреля 2021
| Ускоренный оптимальный метод Нестерова. Проекции и проксимальные операторы. ||
|-
| align="center"|--
| 3 мая 2022
| ''Занятия не будет'' ||
|-
| align="center"|--
| 10 мая 2022
| ''Занятия не будет'' ||
|-
| align="center"|14
| 17 мая 2022
| Стохастическая оптимизация. Автоматическое дифференцирование по графу вычислений. ||
|-
| align="center"|15
| 24 мая 2022
| Дифференцирование через процесс оптимизации. Сведение дискретных задач оптимизации к непрерывным. || [https://arxiv.org/abs/1703.00443 Статья 1] [https://arxiv.org/abs/1502.03492 Статья 2]
|-
| align="center"|16
| 31 мая 2022
| Ускоренный стохастический метод оптимизации SDCA. Методы Adagrad, RMSprop, ADAM. || [https://www.jmlr.org/papers/volume14/shalev-shwartz13a/shalev-shwartz13a.pdf Статья 1] [https://papers.nips.cc/paper/2013/file/077e29b11be80ab57e1a2ecabb7da330-Paper.pdf Статья 2]
|-
|}

Методы оптимизации в машинном обучении 2022

2022-01-10T17:18:41Z

Dkropotov:

__NOTOC__
Методы оптимизации лежат в основе решения многих задач компьютерных наук. Например, в машинном обучении задачу оптимизации необходимо решать каждый раз при настройке какой-то модели алгоритмов по данным, причём от эффективности решения соответствующей задачи оптимизации зависит практическая применимость самого метода машинного обучения. Данный курс посвящен изучению классических и современных методов решения задач непрерывной оптимизации (в том числе невыпуклых), а также особенностям применения этих методов в задачах оптимизации, возникающих в машинном обучении. Основной акцент в изложении делается на практические аспекты реализации и использования методов. Целью курса является выработка у слушателей навыков по подбору подходящего метода для своей задачи, наиболее полно учитывающего её особенности.

'''Преподаватели''': Кропотов Дмитрий Александрович, Гадецкий Артём, Кодрян Максим.

{| class="wikitable"
! Группа !! Расписание !! Инвайт для anytask
|-
| align="center"|191 || вторник, лекция в 16:20 (R305), семинар в 18:10 (R208) || align="center"|ctXiGBZ
|-
| align="center"|192 || вторник, лекция в 16:20 (R305), семинар в 18:10 (R207) || align="center"|SAWVLsf
|-
| align="center"|193 || вторник, лекция в 16:20 (R305), семинар в 18:10 (R307) || align="center"|I2KuKz3
|-
| Остальные студенты || вторник, лекция в 16:20 (R305), семинар в 18:10 (можно выбрать семинар любой из групп 191, 192, 193) || align="center"|HQtrYHW
|}

Группа в Telegram для вопросов по курсу: [https://t.me/+n8fxyed6baQ5YWEy ссылка]

== Система выставления оценок по курсу ==
В рамках курса предполагается несколько теоретических и практических домашних заданий, а также экзамен в конце курса. Каждое задание и экзамен оцениваются исходя из 10-ти баллов. За задания можно получить дополнительные баллы за выполнение бонусных пунктов. Общая оценка за курс вычисляется по правилу Округление_вверх(0.7*<Оценка_за_семестр> + 0.3*<Оценка_за_экзамен>). <Оценка_за_семестр> = min(10, <Суммарная_оценка_за_задания>*10 / <Максимальная_суммарная_оценка_за_задания_без_бонусов>). Итоговая оценка за курс совпадает с общей оценкой при соблюдении следующих дополнительных условий:
{| class="wikitable"
! Итоговая оценка !! Условия
|-
|align="center"|>=8 || Сданы все задания, кроме одного, экзамен сдан в устном формате на оценку >= 6
|-
|align="center"|>=6 || Сданы все задания, кроме двух, экзамен сдан (устно или письменно) на оценку >= 4
|-
|align="center"|>=4 || Сданы все задания, кроме трех, экзамен сдан (устно или письменно) на оценку >= 4
|-
|}

== Правила сдачи заданий ==
Теоретические и практические задания сдаются в систему anytask (инвайт см. выше). В случае наличия мягкого дедлайна задания могут быть присланы после срока сдачи, но с задержкой не более одной недели. При этом начисляется штраф из расчёта 0.5 балла в день. Все задания выполняются самостоятельно. Если задание выполнялось сообща или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчёте. В противном случае «похожие» решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.

Теоретические задания сдаются в anytask в виде сканов или набранных в TeX pdf-файлов. '''ВАЖНО!''' Присылаемые сканы должны быть высокого качества, присылаться одним файлом, в котором все листы идут в правильном порядке. В случае плохого качества сканов или же сдачи в формате, отличном от pdf, проверяющий имеет право поставить за работу 0, не проверяя.

== Лекции и семинары ==
{| class = "wikitable"
|+
! № п/п
! Дата
! Занятие
! Материалы
|-
| align="center"|1
| 18 января 2022
| Введение в курс. Скорости сходимости итерационных процессов. Матрично-векторное дифференцирование. || [https://drive.google.com/file/d/1MXENV3Ryy8SgK3_q_lKB5gBG39qcl8_M/view?usp=sharing Конспект]
[https://drive.google.com/file/d/1bNWF262guJHTphptCTYARAsUKRPC9QmS/view?usp=sharing Конспект]
|-
| align="center"|2
| 25 января 2022
| Одномерная оптимизация || [http://www.machinelearning.ru/wiki/images/4/4d/MOMO16_min1d.pdf Конспект]
|-
| align="center"|3
| 01 февраля 2022
| Метод градиентного спуска ||
|-
| align="center"|4
| 08 февраля 2022
| Стандартные матричные разложения. Метод Ньютона. || [https://drive.google.com/file/d/1K9xt0seQ_Oi0UcyziwHibhnr7PorNfqe/view?usp=sharing Презентация по подготовке отчётов]
|-
| align="center"|5
| 15 февраля 2022
| Метод сопряжённых градиентов. || [https://drive.google.com/file/d/1Ai3ZSuLTb0C6hL5KcAvagzJgKqL1-ySo/view?usp=sharing Презентация]
|-
| align="center"|6
| 22 февраля 2022
| Безгессианный метод Ньютона. Выпуклые множества. || [https://drive.google.com/file/d/1t9_Uvo-xrVd_nIVUk4CGXGfebHcFtTkw/view?usp=sharing Конспект]
|-
| align="center"|7
| 01 марта 2022
| Квазиньютоновские методы оптимизации. Выпуклые функции. || [https://drive.google.com/file/d/1glvkT1g6C405RT773KwUdKYRW_bhOKct/view?usp=sharing Конспект]
|-
| align="center"|--
| 08 марта 2022
| ''Занятия не будет'' ||
|-
| align="center"|8
| 15 марта 2022
| Задачи условной оптимизации. Теорема Каруша-Куна-Таккера. || [http://www.machinelearning.ru/wiki/images/7/7f/MOMO18_Seminar7.pdf Конспект]
|-
| align="center"|9
| 22 марта 2022
| Задача линейного программирования. Симплекс-метод. Эквивалентные преобразования задач оптимизации. Стандартные классы выпуклых условных задач оптимизации. || [https://drive.google.com/file/d/1ghnO3gMssx2IS9LaaOgYXbwwq6Pm8ZXY/view?usp=sharing Конспект]
|-
| align="center"|--
| 29 марта 2022
| ''Занятия не будет'' ||
|-
| align="center"|10
| 05 апреля 2022
| Метод Ньютона и метод логарифмических барьеров для решения выпуклых задач условной оптимизации. Матричные преобразования в квазиньютоновских методах. || [http://www.machinelearning.ru/wiki/images/8/81/MOMO12_ipm.pdf Конспект] [http://www.machinelearning.ru/wiki/images/1/10/MOMO18_Seminar6.pdf Конспект]
|-
| align="center"|11
| 12 апреля 2021
| Негладкая выпуклая оптимизация. Субградиентный метод. Субдифференциальное исчисление. || [http://www.machinelearning.ru/wiki/images/e/e5/MOMO18_Seminar10.pdf Конспект]
|-
| align="center"|12
| 19 апреля 2021
| Проксимальные методы оптимизации. Сопряженные функции и нормы. || [http://www.machinelearning.ru/wiki/images/1/15/MOMO18_Seminar8.pdf Конспект]
|-
| align="center"|13
| 26 апреля 2021
| Ускоренный оптимальный метод Нестерова. Проекции и проксимальные операторы. ||
|-
| align="center"|--
| 3 мая 2022
| ''Занятия не будет'' ||
|-
| align="center"|--
| 10 мая 2022
| ''Занятия не будет'' ||
|-
| align="center"|14
| 17 мая 2022
| Стохастическая оптимизация. Автоматическое дифференцирование по графу вычислений. ||
|-
| align="center"|15
| 24 мая 2022
| Дифференцирование через процесс оптимизации. Сведение дискретных задач оптимизации к непрерывным. || [https://arxiv.org/abs/1703.00443 Статья 1] [https://arxiv.org/abs/1502.03492 Статья 2]
|-
| align="center"|16
| 31 мая 2022
| Ускоренный стохастический метод оптимизации SDCA. Методы Adagrad, RMSprop, ADAM. || [https://www.jmlr.org/papers/volume14/shalev-shwartz13a/shalev-shwartz13a.pdf Статья 1] [https://papers.nips.cc/paper/2013/file/077e29b11be80ab57e1a2ecabb7da330-Paper.pdf Статья 2]
|-
|}

Методы оптимизации в машинном обучении 2022

2022-01-10T17:15:37Z

Dkropotov: /* Лекции и семинары */

__NOTOC__
Методы оптимизации лежат в основе решения многих задач компьютерных наук. Например, в машинном обучении задачу оптимизации необходимо решать каждый раз при настройке какой-то модели алгоритмов по данным, причём от эффективности решения соответствующей задачи оптимизации зависит практическая применимость самого метода машинного обучения. Данный курс посвящен изучению классических и современных методов решения задач непрерывной оптимизации (в том числе невыпуклых), а также особенностям применения этих методов в задачах оптимизации, возникающих в машинном обучении. Основной акцент в изложении делается на практические аспекты реализации и использования методов. Целью курса является выработка у слушателей навыков по подбору подходящего метода для своей задачи, наиболее полно учитывающего её особенности.

'''Преподаватели''': Кропотов Дмитрий Александрович, Гадецкий Артём, Кодрян Максим.

{| class="wikitable"
! Группа !! Расписание !! Инвайт для anytask
|-
| align="center"|191 || вторник, лекция в 14:40, семинар в 16:20 || align="center"|ctXiGBZ
|-
| align="center"|192 || вторник, лекция в 14:40, семинар в 16:20 || align="center"|SAWVLsf
|-
| align="center"|193 || вторник, лекция в 14:40, семинар в 16:20 || align="center"|I2KuKz3
|-
| Остальные студенты || вторник, лекция в 14:40, семинар в 16:20 || align="center"|HQtrYHW
|}

Группа в Telegram для вопросов по курсу: [https://t.me/+n8fxyed6baQ5YWEy ссылка]

== Система выставления оценок по курсу ==
В рамках курса предполагается несколько теоретических и практических домашних заданий, а также экзамен в конце курса. Каждое задание и экзамен оцениваются исходя из 10-ти баллов. За задания можно получить дополнительные баллы за выполнение бонусных пунктов. Общая оценка за курс вычисляется по правилу Округление_вверх(0.7*<Оценка_за_семестр> + 0.3*<Оценка_за_экзамен>). <Оценка_за_семестр> = min(10, <Суммарная_оценка_за_задания>*10 / <Максимальная_суммарная_оценка_за_задания_без_бонусов>). Итоговая оценка за курс совпадает с общей оценкой при соблюдении следующих дополнительных условий:
{| class="wikitable"
! Итоговая оценка !! Условия
|-
|align="center"|>=8 || Сданы все задания, кроме одного, экзамен сдан в устном формате на оценку >= 6
|-
|align="center"|>=6 || Сданы все задания, кроме двух, экзамен сдан (устно или письменно) на оценку >= 4
|-
|align="center"|>=4 || Сданы все задания, кроме трех, экзамен сдан (устно или письменно) на оценку >= 4
|-
|}

== Правила сдачи заданий ==
Теоретические и практические задания сдаются в систему anytask (инвайт см. выше). В случае наличия мягкого дедлайна задания могут быть присланы после срока сдачи, но с задержкой не более одной недели. При этом начисляется штраф из расчёта 0.5 балла в день. Все задания выполняются самостоятельно. Если задание выполнялось сообща или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчёте. В противном случае «похожие» решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.

Теоретические задания сдаются в anytask в виде сканов или набранных в TeX pdf-файлов. '''ВАЖНО!''' Присылаемые сканы должны быть высокого качества, присылаться одним файлом, в котором все листы идут в правильном порядке. В случае плохого качества сканов или же сдачи в формате, отличном от pdf, проверяющий имеет право поставить за работу 0, не проверяя.

== Лекции и семинары ==
{| class = "wikitable"
|+
! № п/п
! Дата
! Занятие
! Материалы
|-
| align="center"|1
| 18 января 2022
| Введение в курс. Скорости сходимости итерационных процессов. Матрично-векторное дифференцирование. || [https://drive.google.com/file/d/1MXENV3Ryy8SgK3_q_lKB5gBG39qcl8_M/view?usp=sharing Конспект]
[https://drive.google.com/file/d/1bNWF262guJHTphptCTYARAsUKRPC9QmS/view?usp=sharing Конспект]
|-
| align="center"|2
| 25 января 2022
| Одномерная оптимизация || [http://www.machinelearning.ru/wiki/images/4/4d/MOMO16_min1d.pdf Конспект]
|-
| align="center"|3
| 01 февраля 2022
| Метод градиентного спуска ||
|-
| align="center"|4
| 08 февраля 2022
| Стандартные матричные разложения. Метод Ньютона. || [https://drive.google.com/file/d/1K9xt0seQ_Oi0UcyziwHibhnr7PorNfqe/view?usp=sharing Презентация по подготовке отчётов]
|-
| align="center"|5
| 15 февраля 2022
| Метод сопряжённых градиентов. || [https://drive.google.com/file/d/1Ai3ZSuLTb0C6hL5KcAvagzJgKqL1-ySo/view?usp=sharing Презентация]
|-
| align="center"|6
| 22 февраля 2022
| Безгессианный метод Ньютона. Выпуклые множества. || [https://drive.google.com/file/d/1t9_Uvo-xrVd_nIVUk4CGXGfebHcFtTkw/view?usp=sharing Конспект]
|-
| align="center"|7
| 01 марта 2022
| Квазиньютоновские методы оптимизации. Выпуклые функции. || [https://drive.google.com/file/d/1glvkT1g6C405RT773KwUdKYRW_bhOKct/view?usp=sharing Конспект]
|-
| align="center"|--
| 08 марта 2022
| ''Занятия не будет'' ||
|-
| align="center"|8
| 15 марта 2022
| Задачи условной оптимизации. Теорема Каруша-Куна-Таккера. || [http://www.machinelearning.ru/wiki/images/7/7f/MOMO18_Seminar7.pdf Конспект]
|-
| align="center"|9
| 22 марта 2022
| Задача линейного программирования. Симплекс-метод. Эквивалентные преобразования задач оптимизации. Стандартные классы выпуклых условных задач оптимизации. || [https://drive.google.com/file/d/1ghnO3gMssx2IS9LaaOgYXbwwq6Pm8ZXY/view?usp=sharing Конспект]
|-
| align="center"|--
| 29 марта 2022
| ''Занятия не будет'' ||
|-
| align="center"|10
| 05 апреля 2022
| Метод Ньютона и метод логарифмических барьеров для решения выпуклых задач условной оптимизации. Матричные преобразования в квазиньютоновских методах. || [http://www.machinelearning.ru/wiki/images/8/81/MOMO12_ipm.pdf Конспект] [http://www.machinelearning.ru/wiki/images/1/10/MOMO18_Seminar6.pdf Конспект]
|-
| align="center"|11
| 12 апреля 2021
| Негладкая выпуклая оптимизация. Субградиентный метод. Субдифференциальное исчисление. || [http://www.machinelearning.ru/wiki/images/e/e5/MOMO18_Seminar10.pdf Конспект]
|-
| align="center"|12
| 19 апреля 2021
| Проксимальные методы оптимизации. Сопряженные функции и нормы. || [http://www.machinelearning.ru/wiki/images/1/15/MOMO18_Seminar8.pdf Конспект]
|-
| align="center"|13
| 26 апреля 2021
| Ускоренный оптимальный метод Нестерова. Проекции и проксимальные операторы. ||
|-
| align="center"|--
| 3 мая 2022
| ''Занятия не будет'' ||
|-
| align="center"|--
| 10 мая 2022
| ''Занятия не будет'' ||
|-
| align="center"|14
| 17 мая 2022
| Стохастическая оптимизация. Автоматическое дифференцирование по графу вычислений. ||
|-
| align="center"|15
| 24 мая 2022
| Дифференцирование через процесс оптимизации. Сведение дискретных задач оптимизации к непрерывным. || [https://arxiv.org/abs/1703.00443 Статья 1] [https://arxiv.org/abs/1502.03492 Статья 2]
|-
| align="center"|16
| 31 мая 2022
| Ускоренный стохастический метод оптимизации SDCA. Методы Adagrad, RMSprop, ADAM. || [https://www.jmlr.org/papers/volume14/shalev-shwartz13a/shalev-shwartz13a.pdf Статья 1] [https://papers.nips.cc/paper/2013/file/077e29b11be80ab57e1a2ecabb7da330-Paper.pdf Статья 2]
|-
|}

Методы оптимизации в машинном обучении 2022

2022-01-10T15:26:42Z

Dkropotov:

__NOTOC__
Методы оптимизации лежат в основе решения многих задач компьютерных наук. Например, в машинном обучении задачу оптимизации необходимо решать каждый раз при настройке какой-то модели алгоритмов по данным, причём от эффективности решения соответствующей задачи оптимизации зависит практическая применимость самого метода машинного обучения. Данный курс посвящен изучению классических и современных методов решения задач непрерывной оптимизации (в том числе невыпуклых), а также особенностям применения этих методов в задачах оптимизации, возникающих в машинном обучении. Основной акцент в изложении делается на практические аспекты реализации и использования методов. Целью курса является выработка у слушателей навыков по подбору подходящего метода для своей задачи, наиболее полно учитывающего её особенности.

'''Преподаватели''': Кропотов Дмитрий Александрович, Гадецкий Артём, Кодрян Максим.

{| class="wikitable"
! Группа !! Расписание !! Инвайт для anytask
|-
| align="center"|191 || вторник, лекция в 14:40, семинар в 16:20 || align="center"|ctXiGBZ
|-
| align="center"|192 || вторник, лекция в 14:40, семинар в 16:20 || align="center"|SAWVLsf
|-
| align="center"|193 || вторник, лекция в 14:40, семинар в 16:20 || align="center"|I2KuKz3
|-
| Остальные студенты || вторник, лекция в 14:40, семинар в 16:20 || align="center"|HQtrYHW
|}

Группа в Telegram для вопросов по курсу: [https://t.me/+n8fxyed6baQ5YWEy ссылка]

== Система выставления оценок по курсу ==
В рамках курса предполагается несколько теоретических и практических домашних заданий, а также экзамен в конце курса. Каждое задание и экзамен оцениваются исходя из 10-ти баллов. За задания можно получить дополнительные баллы за выполнение бонусных пунктов. Общая оценка за курс вычисляется по правилу Округление_вверх(0.7*<Оценка_за_семестр> + 0.3*<Оценка_за_экзамен>). <Оценка_за_семестр> = min(10, <Суммарная_оценка_за_задания>*10 / <Максимальная_суммарная_оценка_за_задания_без_бонусов>). Итоговая оценка за курс совпадает с общей оценкой при соблюдении следующих дополнительных условий:
{| class="wikitable"
! Итоговая оценка !! Условия
|-
|align="center"|>=8 || Сданы все задания, кроме одного, экзамен сдан в устном формате на оценку >= 6
|-
|align="center"|>=6 || Сданы все задания, кроме двух, экзамен сдан (устно или письменно) на оценку >= 4
|-
|align="center"|>=4 || Сданы все задания, кроме трех, экзамен сдан (устно или письменно) на оценку >= 4
|-
|}

== Правила сдачи заданий ==
Теоретические и практические задания сдаются в систему anytask (инвайт см. выше). В случае наличия мягкого дедлайна задания могут быть присланы после срока сдачи, но с задержкой не более одной недели. При этом начисляется штраф из расчёта 0.5 балла в день. Все задания выполняются самостоятельно. Если задание выполнялось сообща или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчёте. В противном случае «похожие» решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.

Теоретические задания сдаются в anytask в виде сканов или набранных в TeX pdf-файлов. '''ВАЖНО!''' Присылаемые сканы должны быть высокого качества, присылаться одним файлом, в котором все листы идут в правильном порядке. В случае плохого качества сканов или же сдачи в формате, отличном от pdf, проверяющий имеет право поставить за работу 0, не проверяя.

== Лекции и семинары ==
{| class = "wikitable"
|+
! № п/п
! Дата
! Занятие
! Материалы
|-
| align="center"|1
| 12 января 2021
| Введение в курс. Скорости сходимости итерационных процессов. Матрично-векторное дифференцирование. || [https://drive.google.com/file/d/1MXENV3Ryy8SgK3_q_lKB5gBG39qcl8_M/view?usp=sharing Конспект]
[https://drive.google.com/file/d/1bNWF262guJHTphptCTYARAsUKRPC9QmS/view?usp=sharing Конспект]
|-
| align="center"|2
| 19 января 2021
| ''Занятия не будет'' ||
|-
| align="center"|3
| 26 января 2021
| Одномерная оптимизация || [http://www.machinelearning.ru/wiki/images/4/4d/MOMO16_min1d.pdf Конспект]
|-
| align="center"|4
| 02 февраля 2021
| Метод градиентного спуска ||
|-
| align="center"|5
| 09 февраля 2021
| Стандартные матричные разложения. Метод Ньютона. || [https://drive.google.com/file/d/1K9xt0seQ_Oi0UcyziwHibhnr7PorNfqe/view?usp=sharing Презентация по подготовке отчётов]
|-
| align="center"|6
| 16 февраля 2021
| Метод сопряжённых градиентов. || [https://drive.google.com/file/d/1Ai3ZSuLTb0C6hL5KcAvagzJgKqL1-ySo/view?usp=sharing Презентация]
|-
| align="center"|7
| 02 марта 2021
| Безгессианный метод Ньютона. Выпуклые множества. || [https://drive.google.com/file/d/1t9_Uvo-xrVd_nIVUk4CGXGfebHcFtTkw/view?usp=sharing Конспект]
|-
| align="center"|8
| 09 марта 2021
| Квазиньютоновские методы оптимизации. Выпуклые функции. || [https://drive.google.com/file/d/1glvkT1g6C405RT773KwUdKYRW_bhOKct/view?usp=sharing Конспект]
|-
| align="center"|9
| 16 марта 2021
| Задачи условной оптимизации. Теорема Каруша-Куна-Таккера. || [http://www.machinelearning.ru/wiki/images/7/7f/MOMO18_Seminar7.pdf Конспект]
|-
| align="center"|10
| 23 марта 2021
| Задача линейного программирования. Симплекс-метод. Эквивалентные преобразования задач оптимизации. Стандартные классы выпуклых условных задач оптимизации. || [https://drive.google.com/file/d/1ghnO3gMssx2IS9LaaOgYXbwwq6Pm8ZXY/view?usp=sharing Конспект]
|-
| align="center"|11
| 30 марта 2021
| ''Занятия не будет'' ||
|-
| align="center"|12
| 06 апреля 2021
| Метод Ньютона и метод логарифмических барьеров для решения выпуклых задач условной оптимизации. Матричные преобразования в квазиньютоновских методах. || [http://www.machinelearning.ru/wiki/images/8/81/MOMO12_ipm.pdf Конспект] [http://www.machinelearning.ru/wiki/images/1/10/MOMO18_Seminar6.pdf Конспект]
|-
| align="center"|13
| 13 апреля 2021
| Негладкая выпуклая оптимизация. Субградиентный метод. Субдифференциальное исчисление. || [http://www.machinelearning.ru/wiki/images/e/e5/MOMO18_Seminar10.pdf Конспект]
|-
| align="center"|14
| 20 апреля 2021
| Проксимальные методы оптимизации. Сопряженные функции и нормы. || [http://www.machinelearning.ru/wiki/images/1/15/MOMO18_Seminar8.pdf Конспект]
|-
| align="center"|15
| 27 апреля 2021
| Ускоренный оптимальный метод Нестерова. Проекции и проксимальные операторы. ||
|-
| align="center"|16
| 4 мая 2021
| ''Занятия не будет'' ||
|-
| align="center"|17
| 11 мая 2021
| Стохастическая оптимизация. Автоматическое дифференцирование по графу вычислений. ||
|-
| align="center"|18
| 18 мая 2021
| Дифференцирование через процесс оптимизации. Сведение дискретных задач оптимизации к непрерывным. || [https://arxiv.org/abs/1703.00443 Статья 1] [https://arxiv.org/abs/1502.03492 Статья 2]
|-
| align="center"|19
| 25 мая 2021
| Ускоренный стохастический метод оптимизации SDCA. Методы Adagrad, RMSprop, ADAM. || [https://www.jmlr.org/papers/volume14/shalev-shwartz13a/shalev-shwartz13a.pdf Статья 1] [https://papers.nips.cc/paper/2013/file/077e29b11be80ab57e1a2ecabb7da330-Paper.pdf Статья 2]
|-
|}

Методы оптимизации в машинном обучении 2022

2022-01-10T15:25:52Z

Dkropotov:

__NOTOC__
Методы оптимизации лежат в основе решения многих задач компьютерных наук. Например, в машинном обучении задачу оптимизации необходимо решать каждый раз при настройке какой-то модели алгоритмов по данным, причём от эффективности решения соответствующей задачи оптимизации зависит практическая применимость самого метода машинного обучения. Данный курс посвящен изучению классических и современных методов решения задач непрерывной оптимизации (в том числе невыпуклых), а также особенностям применения этих методов в задачах оптимизации, возникающих в машинном обучении. Основной акцент в изложении делается на практические аспекты реализации и использования методов. Целью курса является выработка у слушателей навыков по подбору подходящего метода для своей задачи, наиболее полно учитывающего её особенности.

'''Преподаватели''': Кропотов Дмитрий Александрович, Гадецкий Артём, Кодрян Максим.

{| class="wikitable"
! Группа !! Расписание !! Инвайт для anytask
|-
| align="center"|191 || вторник, лекция в 14:40, семинар в 16:20 || align="center"|ctXiGBZ
|-
| align="center"|192 || вторник, лекция в 14:40, семинар в 16:20 || align="center"|SAWVLsf
|-
| align="center"|193 || вторник, лекция в 14:40, семинар в 16:20 || align="center"|I2KuKz3
|-
| Остальные студенты || вторник, лекция в 14:40, семинар в 16:20 || align="center"|HQtrYHW
|}

Группа в Telegram для вопросов по курсу: [https://t.me/+n8fxyed6baQ5YWEy ссылка]

Видеозаписи занятий:

== Система выставления оценок по курсу ==
В рамках курса предполагается несколько теоретических и практических домашних заданий, а также экзамен в конце курса. Каждое задание и экзамен оцениваются исходя из 10-ти баллов. За задания можно получить дополнительные баллы за выполнение бонусных пунктов. Общая оценка за курс вычисляется по правилу Округление_вверх(0.7*<Оценка_за_семестр> + 0.3*<Оценка_за_экзамен>). <Оценка_за_семестр> = min(10, <Суммарная_оценка_за_задания>*10 / <Максимальная_суммарная_оценка_за_задания_без_бонусов>). Итоговая оценка за курс совпадает с общей оценкой при соблюдении следующих дополнительных условий:
{| class="wikitable"
! Итоговая оценка !! Условия
|-
|align="center"|>=8 || Сданы все задания, кроме одного, экзамен сдан в устном формате на оценку >= 6
|-
|align="center"|>=6 || Сданы все задания, кроме двух, экзамен сдан (устно или письменно) на оценку >= 4
|-
|align="center"|>=4 || Сданы все задания, кроме трех, экзамен сдан (устно или письменно) на оценку >= 4
|-
|}

== Правила сдачи заданий ==
Теоретические и практические задания сдаются в систему anytask (инвайт см. выше). В случае наличия мягкого дедлайна задания могут быть присланы после срока сдачи, но с задержкой не более одной недели. При этом начисляется штраф из расчёта 0.5 балла в день. Все задания выполняются самостоятельно. Если задание выполнялось сообща или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчёте. В противном случае «похожие» решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.

Теоретические задания сдаются в anytask в виде сканов или набранных в TeX pdf-файлов. '''ВАЖНО!''' Присылаемые сканы должны быть высокого качества, присылаться одним файлом, в котором все листы идут в правильном порядке. В случае плохого качества сканов или же сдачи в формате, отличном от pdf, проверяющий имеет право поставить за работу 0, не проверяя.

== Лекции и семинары ==
{| class = "wikitable"
|+
! № п/п
! Дата
! Занятие
! Материалы
|-
| align="center"|1
| 12 января 2021
| Введение в курс. Скорости сходимости итерационных процессов. Матрично-векторное дифференцирование. || [https://drive.google.com/file/d/1MXENV3Ryy8SgK3_q_lKB5gBG39qcl8_M/view?usp=sharing Конспект]
[https://drive.google.com/file/d/1bNWF262guJHTphptCTYARAsUKRPC9QmS/view?usp=sharing Конспект]
|-
| align="center"|2
| 19 января 2021
| ''Занятия не будет'' ||
|-
| align="center"|3
| 26 января 2021
| Одномерная оптимизация || [http://www.machinelearning.ru/wiki/images/4/4d/MOMO16_min1d.pdf Конспект]
|-
| align="center"|4
| 02 февраля 2021
| Метод градиентного спуска ||
|-
| align="center"|5
| 09 февраля 2021
| Стандартные матричные разложения. Метод Ньютона. || [https://drive.google.com/file/d/1K9xt0seQ_Oi0UcyziwHibhnr7PorNfqe/view?usp=sharing Презентация по подготовке отчётов]
|-
| align="center"|6
| 16 февраля 2021
| Метод сопряжённых градиентов. || [https://drive.google.com/file/d/1Ai3ZSuLTb0C6hL5KcAvagzJgKqL1-ySo/view?usp=sharing Презентация]
|-
| align="center"|7
| 02 марта 2021
| Безгессианный метод Ньютона. Выпуклые множества. || [https://drive.google.com/file/d/1t9_Uvo-xrVd_nIVUk4CGXGfebHcFtTkw/view?usp=sharing Конспект]
|-
| align="center"|8
| 09 марта 2021
| Квазиньютоновские методы оптимизации. Выпуклые функции. || [https://drive.google.com/file/d/1glvkT1g6C405RT773KwUdKYRW_bhOKct/view?usp=sharing Конспект]
|-
| align="center"|9
| 16 марта 2021
| Задачи условной оптимизации. Теорема Каруша-Куна-Таккера. || [http://www.machinelearning.ru/wiki/images/7/7f/MOMO18_Seminar7.pdf Конспект]
|-
| align="center"|10
| 23 марта 2021
| Задача линейного программирования. Симплекс-метод. Эквивалентные преобразования задач оптимизации. Стандартные классы выпуклых условных задач оптимизации. || [https://drive.google.com/file/d/1ghnO3gMssx2IS9LaaOgYXbwwq6Pm8ZXY/view?usp=sharing Конспект]
|-
| align="center"|11
| 30 марта 2021
| ''Занятия не будет'' ||
|-
| align="center"|12
| 06 апреля 2021
| Метод Ньютона и метод логарифмических барьеров для решения выпуклых задач условной оптимизации. Матричные преобразования в квазиньютоновских методах. || [http://www.machinelearning.ru/wiki/images/8/81/MOMO12_ipm.pdf Конспект] [http://www.machinelearning.ru/wiki/images/1/10/MOMO18_Seminar6.pdf Конспект]
|-
| align="center"|13
| 13 апреля 2021
| Негладкая выпуклая оптимизация. Субградиентный метод. Субдифференциальное исчисление. || [http://www.machinelearning.ru/wiki/images/e/e5/MOMO18_Seminar10.pdf Конспект]
|-
| align="center"|14
| 20 апреля 2021
| Проксимальные методы оптимизации. Сопряженные функции и нормы. || [http://www.machinelearning.ru/wiki/images/1/15/MOMO18_Seminar8.pdf Конспект]
|-
| align="center"|15
| 27 апреля 2021
| Ускоренный оптимальный метод Нестерова. Проекции и проксимальные операторы. ||
|-
| align="center"|16
| 4 мая 2021
| ''Занятия не будет'' ||
|-
| align="center"|17
| 11 мая 2021
| Стохастическая оптимизация. Автоматическое дифференцирование по графу вычислений. ||
|-
| align="center"|18
| 18 мая 2021
| Дифференцирование через процесс оптимизации. Сведение дискретных задач оптимизации к непрерывным. || [https://arxiv.org/abs/1703.00443 Статья 1] [https://arxiv.org/abs/1502.03492 Статья 2]
|-
| align="center"|19
| 25 мая 2021
| Ускоренный стохастический метод оптимизации SDCA. Методы Adagrad, RMSprop, ADAM. || [https://www.jmlr.org/papers/volume14/shalev-shwartz13a/shalev-shwartz13a.pdf Статья 1] [https://papers.nips.cc/paper/2013/file/077e29b11be80ab57e1a2ecabb7da330-Paper.pdf Статья 2]
|-
|}

Методы оптимизации в машинном обучении 2022

2022-01-10T15:21:39Z

Dkropotov: Новая страница: «__NOTOC__ Методы оптимизации лежат в основе решения многих задач компьютерных наук. Наприме…»

__NOTOC__
Методы оптимизации лежат в основе решения многих задач компьютерных наук. Например, в машинном обучении задачу оптимизации необходимо решать каждый раз при настройке какой-то модели алгоритмов по данным, причём от эффективности решения соответствующей задачи оптимизации зависит практическая применимость самого метода машинного обучения. Данный курс посвящен изучению классических и современных методов решения задач непрерывной оптимизации (в том числе невыпуклых), а также особенностям применения этих методов в задачах оптимизации, возникающих в машинном обучении. Основной акцент в изложении делается на практические аспекты реализации и использования методов. Целью курса является выработка у слушателей навыков по подбору подходящего метода для своей задачи, наиболее полно учитывающего её особенности.

'''Преподаватели''': Кропотов Дмитрий Александрович, Гадецкий Артём, Кодрян Максим.

{| class="wikitable"
! Группа !! Расписание !! Инвайт для anytask
|-
| 191 || вторник, лекция в 14:40, семинар в 16:20 || align="center"|ctXiGBZ
|-
| 192 || вторник, лекция в 14:40, семинар в 16:20 || align="center"|SAWVLsf
|-
| 193 || вторник, лекция в 14:40, семинар в 16:20 || align="center"|I2KuKz3
|-
| Остальные студенты || вторник, лекция в 14:40, семинар в 16:20 || align="center"|HQtrYHW
|}

Группа в Telegram для вопросов по курсу: [https://t.me/+n8fxyed6baQ5YWEy ссылка]

Видеозаписи занятий:

== Система выставления оценок по курсу ==
В рамках курса предполагается два теоретических и одно практическое домашнее задание, а также устный экзамен в конце курса. Каждое задание и экзамен оцениваются исходя из 10-ти баллов. За задания можно получить дополнительные баллы за выполнение бонусных пунктов. Общая оценка за курс вычисляется по правилу Округление_вверх(0.6*<Оценка_за_семестр> + 0.4*<Оценка_за_экзамен>). <Оценка_за_семестр> = min(10, <Суммарная_оценка_за_задания>*10 / <Максимальная_суммарная_оценка_за_задания_без_бонусов>). Итоговая оценка за курс совпадает с общей оценкой при соблюдении следующих дополнительных условий:
{| class="wikitable"
! Итоговая оценка !! Условия
|-
|align="center"|>=8 || Сданы все задания, кроме одного, экзамен сдан на оценку >= 6
|-
|align="center"|>=6 || Сданы все задания, кроме одного, экзамен сдан на оценку >= 4
|-
|align="center"|>=4 || Сданы все задания, кроме двух, экзамен сдан на оценку >= 4
|-
|}

== Правила сдачи заданий ==
Теоретические и практические задания сдаются в систему anytask (инвайт см. выше). Эти задания могут быть присланы после срока сдачи, но с задержкой не более одной недели. При этом начисляется штраф из расчёта 0.5 балла в день. Все задания выполняются самостоятельно. Если задание выполнялось сообща или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчёте. В противном случае «похожие» решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.

Теоретические задания сдаются в anytask в виде сканов или набранных в TeX pdf-файлов. '''ВАЖНО!''' Присылаемые сканы должны быть высокого качества, присылаться одним файлом, в котором все листы идут в правильном порядке. В случае плохого качества сканов или же сдачи в формате, отличном от pdf, проверяющий имеет право поставить за работу 0, не проверяя.

== Лекции и семинары ==
{| class = "wikitable"
|+
! № п/п
! Дата
! Занятие
! Материалы
|-
| align="center"|1
| 12 января 2021
| Введение в курс. Скорости сходимости итерационных процессов. Матрично-векторное дифференцирование. || [https://drive.google.com/file/d/1MXENV3Ryy8SgK3_q_lKB5gBG39qcl8_M/view?usp=sharing Конспект]
[https://drive.google.com/file/d/1bNWF262guJHTphptCTYARAsUKRPC9QmS/view?usp=sharing Конспект]
|-
| align="center"|2
| 19 января 2021
| ''Занятия не будет'' ||
|-
| align="center"|3
| 26 января 2021
| Одномерная оптимизация || [http://www.machinelearning.ru/wiki/images/4/4d/MOMO16_min1d.pdf Конспект]
|-
| align="center"|4
| 02 февраля 2021
| Метод градиентного спуска ||
|-
| align="center"|5
| 09 февраля 2021
| Стандартные матричные разложения. Метод Ньютона. || [https://drive.google.com/file/d/1K9xt0seQ_Oi0UcyziwHibhnr7PorNfqe/view?usp=sharing Презентация по подготовке отчётов]
|-
| align="center"|6
| 16 февраля 2021
| Метод сопряжённых градиентов. || [https://drive.google.com/file/d/1Ai3ZSuLTb0C6hL5KcAvagzJgKqL1-ySo/view?usp=sharing Презентация]
|-
| align="center"|7
| 02 марта 2021
| Безгессианный метод Ньютона. Выпуклые множества. || [https://drive.google.com/file/d/1t9_Uvo-xrVd_nIVUk4CGXGfebHcFtTkw/view?usp=sharing Конспект]
|-
| align="center"|8
| 09 марта 2021
| Квазиньютоновские методы оптимизации. Выпуклые функции. || [https://drive.google.com/file/d/1glvkT1g6C405RT773KwUdKYRW_bhOKct/view?usp=sharing Конспект]
|-
| align="center"|9
| 16 марта 2021
| Задачи условной оптимизации. Теорема Каруша-Куна-Таккера. || [http://www.machinelearning.ru/wiki/images/7/7f/MOMO18_Seminar7.pdf Конспект]
|-
| align="center"|10
| 23 марта 2021
| Задача линейного программирования. Симплекс-метод. Эквивалентные преобразования задач оптимизации. Стандартные классы выпуклых условных задач оптимизации. || [https://drive.google.com/file/d/1ghnO3gMssx2IS9LaaOgYXbwwq6Pm8ZXY/view?usp=sharing Конспект]
|-
| align="center"|11
| 30 марта 2021
| ''Занятия не будет'' ||
|-
| align="center"|12
| 06 апреля 2021
| Метод Ньютона и метод логарифмических барьеров для решения выпуклых задач условной оптимизации. Матричные преобразования в квазиньютоновских методах. || [http://www.machinelearning.ru/wiki/images/8/81/MOMO12_ipm.pdf Конспект] [http://www.machinelearning.ru/wiki/images/1/10/MOMO18_Seminar6.pdf Конспект]
|-
| align="center"|13
| 13 апреля 2021
| Негладкая выпуклая оптимизация. Субградиентный метод. Субдифференциальное исчисление. || [http://www.machinelearning.ru/wiki/images/e/e5/MOMO18_Seminar10.pdf Конспект]
|-
| align="center"|14
| 20 апреля 2021
| Проксимальные методы оптимизации. Сопряженные функции и нормы. || [http://www.machinelearning.ru/wiki/images/1/15/MOMO18_Seminar8.pdf Конспект]
|-
| align="center"|15
| 27 апреля 2021
| Ускоренный оптимальный метод Нестерова. Проекции и проксимальные операторы. ||
|-
| align="center"|16
| 4 мая 2021
| ''Занятия не будет'' ||
|-
| align="center"|17
| 11 мая 2021
| Стохастическая оптимизация. Автоматическое дифференцирование по графу вычислений. ||
|-
| align="center"|18
| 18 мая 2021
| Дифференцирование через процесс оптимизации. Сведение дискретных задач оптимизации к непрерывным. || [https://arxiv.org/abs/1703.00443 Статья 1] [https://arxiv.org/abs/1502.03492 Статья 2]
|-
| align="center"|19
| 25 мая 2021
| Ускоренный стохастический метод оптимизации SDCA. Методы Adagrad, RMSprop, ADAM. || [https://www.jmlr.org/papers/volume14/shalev-shwartz13a/shalev-shwartz13a.pdf Статья 1] [https://papers.nips.cc/paper/2013/file/077e29b11be80ab57e1a2ecabb7da330-Paper.pdf Статья 2]
|-
|}

Wiki ФКН

2022-01-10T15:17:08Z

Dkropotov: /* Курсы за 2021/22 учебный год */

__NOTOC__

= Учебные курсы факультета компьютерных наук =

== Курсы за 2021/22 учебный год ==
{| class="wikitable"
|-
! 1 курс !! 2 курс !! 3 курс !! 4 курс !! майноры и факультативы
|-
|
'''ПМИ'''

[[Линейная_алгебра_и_геометрия_на_ПМИ_2021/2022_(пилотный_поток) | Линейная алгебра и геометрия на ПМИ (пилотный_поток)]]

[[Линейная_алгебра_и_геометрия_на_ПМИ_2021/2022_(основной_поток) | Линейная алгебра и геометрия на ПМИ (основной поток)]]

[[Математический_Анализ_1_на_ПМИ_2021/2022_(пилотный_поток) | Математический анализ 1 на ПМИ (пилотный поток)]]

[[Математический_анализ_1_2021/2022_(основной_поток) | Математический анализ-1 на ПМИ (основной поток)]]

[[DM1-2021-22 | Дискретная математика на ПМИ]]

[http://wiki.cs.hse.ru/Основы_и_методология_программирования_на_ПМИ_2021/2022_(основной_поток) Основы и методология программирования на ПМИ 2021/2022 (основной поток)]

[[Алгоритмы и структуры данных пилотный поток 2021/2022 | Алгоритмы и структуры данных пилотный поток 2021/2022]]

[[Алгоритмы и структуры данных 1 основной поток 2021/2022 | Алгоритмы и структуры данных 1 основной поток 2021/2022]]

'''ПИ'''

[[DM1-SE-2021-22 | Дискретная математика-1 ПИ]]

[http://hsealgebra22.wikidot.com/ Алгебра 2021/2022 ПИ]

'''ПАД'''

[[Discrete Mathematics DSBA 2021/2022 | Discrete Mathematics (DSBA)]]

[[LAaG DSBA 2021/2022 | LAaG (DSBA)]]

[[Calculus DSBA 2021/2022 | Calculus (DSBA)]]

[[Introduction to Programming DSBA 2021/2022 | Introduction to Programming (DSBA)]]

'''КНАД'''

[[Математический_анализ_(КНАД) | Математический анализ (КНАД)]]

[[Линейная алгебра_(КНАД) | Линейная алгебра (КНАД)]]

[[Программирование_на_Python | Программирование на Python (КНАД)]]

[[Дискретная_математика_КНАД | Дискретная математика (КНАД)]]

[[Алгоритмы и структуры данных 1 основной поток 2021/2022 | Алгоритмы и структуры данных (КНАД)]]

||

'''ПМИ'''

[[Теория_вероятностей_и_математическая_статистика_2021/2022_(пилотный_поток)| ТВиМС (пилотный поток)]]

[[Теория_вероятностей_2021/2022_(основной_поток)| ТВиМС (основной поток)]]

[[Математический анализ 2021/2022 (пилотный поток) | Математический анализ - 2 (пилотный поток)]]

[http://wiki.cs.hse.ru/%D0%9C%D0%B0%D1%82%D0%B5%D0%BC%D0%B0%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D0%B9_%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_-_2.1_(2021/22) Математический анализ - 2 (основной поток)]

[[MissingSemester2021/2022 | Инструменты промышленной разработки (The Missing Semester of your CS education)]]

[[Язык программирования C++ (углубленный курс) | Язык программирования C++ (углубленный курс)]]

[[Математическая логика | Математическая логика]]

[[Дифференциальные уравнения (ПМИ)]]

[[Алгоритмы и структуры данных 2 2021 | Алгоритмы и структуры данных 2]]

[[Алгоритмы_и_структуры_данных_пилотный_поток_2020/2021 | Алгоритмы и структуры данных – 2 на ПМИ (пилотный поток)]]

[[CAOS-2021 | Архитектура компьютеров и операционные системы]]

'''ПИ'''

[[Алгоритмы и структуры данных на ПИ 2021/2022 | Алгоритмы и структуры данных на ПИ]]

[[Теория вероятностей и математическая статистика 2021-2022 | Теория вероятностей и математическая статистика]]

[[НИС Методы и алгоритмы защиты информации | НИС Методы и алгоритмы защиты информации]]

'''ПАД'''

[[Discrete Mathematics 2 DSBA 2021/2022 | Discrete Mathematics 2 (DSBA)]]

[[Business_and_Management_in_Global_Context_2021/22 | Business and Management in Global Context (DSBA)]]

[[Statistics_DSBA_2021/2022 | Probability and Statistics (DSBA)]]

[[Differential_Equations_2021 | Differential Equations ]]

[[ACOS_DSBA_2021/2022 | Computer Architecture and Operating Systems (DSBA)]]

||

[[Безопасность_компьютерных_систем_21/22 | Безопасность компьютерных систем 21/22]]

[https://www.notion.so/2021-2022-7374a6eeced2434288226a339bd5037f Курсовая работа]

'''ПМИ'''

[[Машинное_обучение_1 | Машинное обучение 1]]

[[Intro_to_DL_21/22 | Introduction to Deep Learning 21/22 ]]

[[Theory of Computation 2021 | Theory of Computation]]

[https://osukhoroslov-hse.notion.site/082aef7073a844afa4c1bf718a773d77 Распределенные системы]

[https://naorlov.notion.site/naorlov/Nets-2021-51931594039e40aeb9102b784d7a8e70 Компьютерные сети]

[http://wiki.cs.hse.ru/%D0%A7%D0%B8%D1%81%D0%BB%D0%B5%D0%BD%D0%BD%D1%8B%D0%B5_%D0%9C%D0%B5%D1%82%D0%BE%D0%B4%D1%8B_2022#.D0.A3.D1.87.D0.B5.D0.B1.D0.BD.D1.8B.D0.B9_.D0.BF.D0.BB.D0.B0.D0.BD Численные методы(2022)]

[http://math-info.hse.ru/s21/8 Прикладные дифференциальные уравнения]

[http://wiki.cs.hse.ru/%D0%9C%D0%B0%D1%82%D0%B5%D0%BC%D0%B0%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%BE%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5_22 Математическое моделирование]

[https://osukhoroslov-hse.notion.site/5ca71a3b2b17452599f169468df43408 НИС Распределенные системы]

[http://wiki.cs.hse.ru/NIS-TCS-20-21 НИС Теоретическая информатика]

[[Сбор_и_разметка_данных_для_машинного_обучения_21/22 | Сбор и разметка данных для машинного обучения 21/22]]

[[time_series_modelling_21_22 | Моделирование временных рядов 21/22]]

[[Анализ данных в бизнесе (Кафедра SAS) 21/22 | Анализ данных в бизнесе (Кафедра SAS) 21/22]]

[[Comb2021_2022 | Комбинаторные конструкции в теоретической информатике]]

'''ПМИ / МОП'''

[http://wiki.cs.hse.ru/Psmo_21_22 Прикладная статистика в машинном обучении 21/22]

[[НИС_Машинное_обучение_и_приложения_3_курс_2021/2022 | НИС Машинное обучение и приложения 3 курс]]

[[Statistical_learning_theory_2021 | Statistical learning theory]]

[[Методы оптимизации в машинном обучении 2022| Методы оптимизации в машинном обучении 2022]]

'''ПИ'''

[[ML4SE_1 | НИС Машинное обучение для программной инженерии]]

'''ПАД'''

[http://wiki.cs.hse.ru/Time_Series_and_Stochastic_Processes_ada_21_22 Time series and stochastic processes 2021-22]

[[Data Science Case Studies (JD SAS) 21/22 | Data Science Case Studies (JD SAS) 21/22]]

||

[[Безопасность_компьютерных_систем_21/22 | Безопасность компьютерных систем 21/22]]

[http://wiki.cs.hse.ru/%D0%94%D0%B8%D0%B7%D0%B0%D0%B9%D0%BD_%D1%81%D0%B8%D1%81%D1%82%D0%B5%D0%BC_21/22 Дизайн систем]

[http://wiki.cs.hse.ru/%D0%9E%D1%81%D0%BD%D0%BE%D0%B2%D1%8B_%D1%82%D0%B5%D0%BD%D0%B7%D0%BE%D1%80%D0%BD%D1%8B%D1%85_%D0%B2%D1%8B%D1%87%D0%B8%D1%81%D0%BB%D0%B5%D0%BD%D0%B8%D0%B9 Основы тензорых вычислений]

[[Сбор_и_разметка_данных_для_машинного_обучения_21/22 | Сбор и разметка данных для машинного обучения 21/22]]

[[Байесовские_методы_машинного_обучения_2021 | Байесовские методы машинного обучения]]

[[НИС_Машинное_обучение_и_приложения_4_курс_2021/2022 | НИС Машинное обучение и приложения 4 курс]]

[https://artemova.notion.site/artemova/c88a68750cff4b509699fa127be11801 Глубинное обучение для текстовых данных 2021/2022]

[http://wiki.cs.hse.ru/LSML_2021/2022 Машинное обучение для больших данных 21/22]

'''ПМИ / РС'''

[https://osukhoroslov-hse.notion.site/2-0cd36b67b9f64182bfeabcda9ede647a НИС Распределенные системы 2]

[[msbdp_21 | Методы и системы обработки больших данных]]

[https://osukhoroslov-hse.notion.site/cee4a50ac8cf4e328cefbd35cf822fa5 Облачные вычисления]

'''ПМИ / ТИ'''

[[InfTheory2021 | Теория информации]]

[[OWF2021 | Односторонние функции и их применения]]

[[ConvAppr22 | Выпуклое программирование и аппроксимационные алгоритмы ]]

'''ПАД'''

[[Statistics 4mr 2021-22 | Statistical Methods for Market Research (DSBA)]]

[[Decision Making Strategy]]

||
[[Дополнительные_главы_теории_вероятностей-2_2021/2022|ДГТВ-2]]

[http://wiki.cs.hse.ru/%D0%9C%D0%B0%D0%B9%D0%BD%D0%BE%D1%80_%D0%91%D0%B8%D0%BE%D0%B8%D0%BD%D1%84%D0%BE%D1%80%D0%BC%D0%B0%D1%82%D0%B8%D0%BA%D0%B0_1_%D0%B3%D0%BE%D0%B4_2021/22 Майнор Биоинформатика 1 год 2021/22]

[[Майнор_Биоинформатика_2_год_2021/22|Майнор Биоинформатика 2 год 2021/22]]

[[Введение_в_программирование_21/22_(майнор_ИАД) | Введение в программирование 21/22 (майнор ИАД)]]

[[Основы_глубинного_обучения | Основы глубинного обучения (майнор ИАД)]]

[[Функциональное_программирование_2019 | Функциональное программирование 2021]]

[[KotlinElective|Факультатив "Язык Kotlin" (ноя-дек 2021)]]

[[Dopglavy_DM_2022| Дополнительные главы дискретной математики]]

[[Факультатив_Data_Science_в_игровой_индустрии_(SAS) | Факультатив Data Science в игровой индустрии (SAS)]]

[[Факультатив_Анализ_данных_на_платформе_SAS | Факультатив Анализ данных на платформе SAS]]

[https://rroll.to/2D8yXl Основы и методология пикапа на ПМИ 2021/2022]

|}

== Курсы в рамках проекта [https://www.hse.ru/dataculture/ Data Culture]==

=== 2 семестр ===
{| class="wikitable"
|-
! Дисциплина !! Образовательная программа !! Курс !! Модули
|-
| [http://wiki.cs.hse.ru/Программирование_на_Python_деп_медиа_2022 Программирование на языке Python] || Журналистика и Медиакоммуникации || 1 курс || 3 модуль
|-
|}

=== 1 семестр ===
{| class="wikitable"
|-
! Дисциплина !! Образовательная программа !! Курс !! Модули
|-
| [http://wiki.cs.hse.ru/%D0%A6%D0%B8%D1%84%D1%80%D0%BE%D0%B2%D0%B0%D1%8F_%D0%B3%D1%80%D0%B0%D0%BC%D0%BE%D1%82%D0%BD%D0%BE%D1%81%D1%82%D1%8C_%D0%93%D0%B5%D0%BE%D0%B3%D1%80%D0%B0%D1%84%D0%B8%D1%8F_2020/21 Цифровая грамотность] || География глобальных измерений и геоинформационные технологии || 1 курс || 1-2 модули
|-
| [[Цифровая грамотность, Востоковедение 2021/2022| Цифровая грамотность]] || Востоковедение || 1 курс || 1-2 модули
|-
|[[Цифровая Грамотность ИКВиА 2021/2022 | Цифровая грамотность]] || ИКВиА || 1 курс || 1-2 модули
|-
| [http://wiki.cs.hse.ru/%D0%98%D0%BD%D1%84%D0%BE%D1%80%D0%BC%D0%B0%D1%86%D0%B8%D0%BE%D0%BD%D0%BD%D1%8B%D0%B5_%D1%82%D0%B5%D1%85%D0%BD%D0%BE%D0%BB%D0%BE%D0%B3%D0%B8%D0%B8_%D0%B2_%D0%B4%D0%B5%D1%8F%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D0%BE%D1%81%D1%82%D0%B8_%D1%8E%D1%80%D0%B8%D1%81%D1%82%D0%B0_2018-2019 Цифровая грамотность] || Юриспруденция || 1 курс || 1-2 модули
|-
| [http://wiki.cs.hse.ru/%D0%98%D0%BD%D1%84%D0%BE%D1%80%D0%BC%D0%B0%D1%86%D0%B8%D0%BE%D0%BD%D0%BD%D1%8B%D0%B5_%D1%82%D0%B5%D1%85%D0%BD%D0%BE%D0%BB%D0%BE%D0%B3%D0%B8%D0%B8_%D0%B2_%D0%B4%D0%B5%D1%8F%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D0%BE%D1%81%D1%82%D0%B8_%D1%8E%D1%80%D0%B8%D1%81%D1%82%D0%B0_2018-2019 Цифровая грамотность] || Юриспруденция:частное право || 1 курс || 1-2 модули
|-
| [http://wiki.cs.hse.ru/%D0%A6%D0%B8%D1%84%D1%80%D0%BE%D0%B2%D0%B0%D1%8F_%D0%B3%D1%80%D0%B0%D0%BC%D0%BE%D1%82%D0%BD%D0%BE%D1%81%D1%82%D1%8C_%D0%98%D1%81%D1%82%D0%BE%D1%80%D0%B8%D1%8F_2021/2022 Цифровая грамотность] ||История || 1 курс || 1-2 модули
|-
| [http://wiki.cs.hse.ru/Цифровая_грамотность_Филология_2021/2022 Цифровая грамотность] || Филология || 1 курс || 1-2 модули
|-
| [http://wiki.cs.hse.ru/%D0%A6%D0%B8%D1%84%D1%80%D0%BE%D0%B2%D0%B0%D1%8F_%D0%B3%D1%80%D0%B0%D0%BC%D0%BE%D1%82%D0%BD%D0%BE%D1%81%D1%82%D1%8C_2020-21_(%D0%9A%D1%83%D0%BB%D1%8C%D1%82%D1%83%D1%80%D0%BE%D0%BB%D0%BE%D0%B3%D0%B8%D1%8F) Цифровая грамотность] || Культурология || 1 курс || 1-2 модули
|-
| [http://wiki.cs.hse.ru/%D0%A6%D0%B8%D1%84%D1%80%D0%BE%D0%B2%D0%B0%D1%8F_%D0%B3%D1%80%D0%B0%D0%BC%D0%BE%D1%82%D0%BD%D0%BE%D1%81%D1%82%D1%8C_%D0%94%D0%B5%D0%BF%D0%B0%D1%80%D1%82%D0%B0%D0%BC%D0%B5%D0%BD%D1%82_%D0%9C%D0%B5%D0%B4%D0%B8%D0%B0_2021-2022 Цифровая грамотность] || Медиакоммуникации и Журналистика || 1 курс || 1-2 модули
|-
| [http://wiki.cs.hse.ru/Цифровая_грамотность_Философия_2021/2022 Цифровая грамотность] || Философия || 1 курс || 1-2 модуль
|-
| [http://wiki.cs.hse.ru/Основы_программирования_на_Python_осень_2021_матфак Основы программирования на Python] || Математика || 3 курс || 1-2 модули
|-
| [http://wiki.cs.hse.ru/%D0%90%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_%D0%B2_R,_%D0%A1%D0%BE%D1%86%D0%B8%D0%BE%D0%BB%D0%BE%D0%B3%D0%B8%D1%8F Анализ данных в R] || Социология || 4 курс || 1-2 модули
|-
| [http://wiki.cs.hse.ru/%D0%9F%D0%9C%D0%A1%D0%90%D0%A0-2_2020 Методы анализа больших данных в исследованиях поведения покупателя] || Прикладные методы социального анализа рынков (магистратура) || 2 курс || 1-2 модули
|-
| [http://wiki.cs.hse.ru/%D0%9C%D0%B0%D1%88%D0%B8%D0%BD%D0%BD%D0%BE%D0%B5_%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B5_(%D0%A4%D0%AD%D0%9D)_-_2021-2022 Машинное обучение] || Экономика || 3,4 курс || 1-2 модули
|-
| [[Программирование_ЭкСтат_ГП | Программирование на языке Python ]] || Городское планирование, Экономика и статистика || 3 курс || 1-2 модули
|-
| [[Основы анализа данных в международных отношениях 2021/2022 | Основы анализа данных в международных отношениях]] || Международные отношения || 2 курс || 1-2 модули
|-
| [http://wiki.cs.hse.ru/Python_%D0%B4%D0%BB%D1%8F_%D0%B8%D0%B7%D0%B2%D0%BB%D0%B5%D1%87%D0%B5%D0%BD%D0%B8%D1%8F_%D0%B8_%D0%BE%D0%B1%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%BA%D0%B8_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85 Python извлечение и обработка данных] || Клеточная и молекулярная биотехнология || 1 курс || 1-2 модули
|-
| [http://wiki.cs.hse.ru/%D0%9E%D1%81%D0%BD%D0%BE%D0%B2%D1%8B_%D0%BF%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D1%8F_%D0%B2_Python_(%D0%9F%D0%BE%D0%BB%D0%B8%D1%82%D0%BE%D0%BB%D0%BE%D0%B3%D0%B8%D1%8F_2020) Основы программирования в Python ] || Политология || 3 курс || 1-2 модули
|-
| [http://wiki.cs.hse.ru/Основы_работы_с_данными:_сбор,_анализ,_визуализация_(ОП_%22Журналистика%22) Основы работы с данными: сбор, анализ, визуализация] || Журналистика || 3 курс || 1-2 модули
|-
| [http://wiki.cs.hse.ru/%D0%92%D0%B2%D0%B5%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5_%D0%B2_Data_Science Data Science] || Экономика впечатлений: менеджмент в индустрии гостеприимства и туризме (магистратура) || 1 курс || 2 модуль
|-
| [http://wiki.cs.hse.ru/%D0%9C%D0%B0%D1%88%D0%B8%D0%BD%D0%BD%D0%BE%D0%B5_%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B5_(%D1%81%D0%BE%D0%B2._%D0%B1%D0%B0%D0%BA._%D0%92%D0%A8%D0%AD-%D0%A0%D0%AD%D0%A8_2021) Машинное обучение] || Совместный бакалавриат НИУ ВШЭ и РЭШ || 3 курс || 1-2 модули
|-
|
|| Бакалавриат НИУ ВШЭ и Лондонского университета || 3 курс || 1-2 модули
|-
| [http://wiki.cs.hse.ru/Data_Analysis_in_Economics_and_Finance_2020-2021 Data Analysis in Economics and Finance] || Бакалавриат НИУ ВШЭ и Лондонского университета || 3 курс || 1-2 модули
|-
| [http://wiki.cs.hse.ru/Data_Analysis_in_Journalism_and_Political_Science_2020-2021 Data Analysis in Journalism and Political Science]|| Бакалавриат НИУ ВШЭ и Лондонского университета || 3 курс || 1-2 модули
|-
| [http://wiki.cs.hse.ru/%D0%9F%D1%80%D0%B8%D0%BA%D0%BB%D0%B0%D0%B4%D0%BD%D1%8B%D0%B5_%D0%B8%D1%81%D1%81%D0%BB%D0%B5%D0%B4%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D1%8F_%D0%B2_%D0%BA%D1%83%D0%BB%D1%8C%D1%82%D1%83%D1%80%D0%BE%D0%BB%D0%BE%D0%B3%D0%B8%D0%B8_2020_1%D0%BC%D0%BE%D0%B4%D1%83%D0%BB%D1%8C Прикладные исследования в культурологии] || Прикладная культурология (магистратура) || 1 курс || 1 модуль
|-
| [http://wiki.cs.hse.ru/%D0%9F%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5_%D0%B8_%D0%BA%D0%BE%D0%BC%D0%BF%D1%8C%D1%8E%D1%82%D0%B5%D1%80%D0%BD%D1%8B%D0%B5_%D0%B8%D0%BD%D1%81%D1%82%D1%80%D1%83%D0%BC%D0%B5%D0%BD%D1%82%D1%8B_%D0%BB%D0%B8%D0%BD%D0%B3%D0%B2%D0%B8%D1%81%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%BE%D0%B3%D0%BE_%D0%B8%D1%81%D1%81%D0%BB%D0%B5%D0%B4%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D1%8F Программирование и лингвистические данные] || Фундаментальная и компьютерная лингвистика || 1 курс || 1, 2, 3, 4 модули
|-
| [http://wiki.cs.hse.ru/%D0%9F%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5_%D0%B8_%D0%BA%D0%BE%D0%BC%D0%BF%D1%8C%D1%8E%D1%82%D0%B5%D1%80%D0%BD%D1%8B%D0%B5_%D0%B8%D0%BD%D1%81%D1%82%D1%80%D1%83%D0%BC%D0%B5%D0%BD%D1%82%D1%8B_%D0%BB%D0%B8%D0%BD%D0%B3%D0%B2%D0%B8%D1%81%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%BE%D0%B3%D0%BE_%D0%B8%D1%81%D1%81%D0%BB%D0%B5%D0%B4%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D1%8F Программирование и лингвистические данные] || Фундаментальная и компьютерная лингвистика || 1 курс || 1, 2, 3 модули
|-
| [http://wiki.cs.hse.ru/%D0%9A%D0%BE%D0%BC%D0%BF%D1%8C%D1%8E%D1%82%D0%B5%D1%80%D0%BD%D0%B0%D1%8F_%D0%BB%D0%B8%D0%BD%D0%B3%D0%B2%D0%B8%D1%81%D1%82%D0%B8%D0%BA%D0%B0_%D0%B8_%D0%B8%D0%BD%D1%84%D0%BE%D1%80%D0%BC%D0%B0%D1%86%D0%B8%D0%BE%D0%BD%D0%BD%D1%8B%D0%B5_%D1%82%D0%B5%D1%85%D0%BD%D0%BE%D0%BB%D0%BE%D0%B3%D0%B8%D0%B8 Программирование и теория алгоритмов] || Фундаментальная и компьютерная лингвистика || 3 курс || 2, 3, 4 модули
|-
| [http://wiki.cs.hse.ru/%D0%9A%D0%BE%D0%BC%D0%BF%D1%8C%D1%8E%D1%82%D0%B5%D1%80%D0%BD%D0%B0%D1%8F_%D0%BB%D0%B8%D0%BD%D0%B3%D0%B2%D0%B8%D1%81%D1%82%D0%B8%D0%BA%D0%B0_%D0%B8_%D0%B8%D0%BD%D1%84%D0%BE%D1%80%D0%BC%D0%B0%D1%86%D0%B8%D0%BE%D0%BD%D0%BD%D1%8B%D0%B5_%D1%82%D0%B5%D1%85%D0%BD%D0%BE%D0%BB%D0%BE%D0%B3%D0%B8%D0%B8_2020 Нейросетевые методы в обработке текстов] || Фундаментальная и компьютерная лингвистика || 4 курс || 1, 2, 3 модули
|-

|}

== Курсы магистратуры ФКН ==

{| class="wikitable"
|-
| [[Modern_Data_Analysis_2021_2022 | Modern Data Analysis]] || Data Science (Науки о данных) || 2 year
|-
| [[Project_Seminar_2021_2022 | Проектный семинар специализации ТИ]] || Науки о данных, специализация ТИ || 1 year
|-
| [[Theory of Computation 2021 | Theory of Computation]] || Науки о данных, специализация ТИ || 1 year
|-
| [[ConvAppr22 | Выпуклое программирование и аппроксимационные алгоритмы ]] || Науки о данных, специализация ТИ || 1 year
|-
| [[RecSys_2021_2022 | Рекомендательные системы]] || ФТИАД || 2 year
|-
| [[Stochastic_analysis_2021_2022 | Стохастический анализ 2021-2022]] || Math of Machine Learning || 1 year
|-
| [[Reinforcement_learning_2021_2022 | Математические основы обучения с подкреплением 2021-2022]] || Math of Machine Learning || 2 year
|-
|}

== Курсы других факультетов ==

{| class="wikitable"
|-
! Дисциплина !! Курс !! Период
|-
| [http://wiki.cs.hse.ru/Econ_probability_2021-22 Теория вероятностей и математическая статистика] || фэн, 2 курс || 1-4 модуль
|-
| [[Динамическая оптимизация в экономике и финансах, фэн, 2021/22|Динамическая оптимизация в экономике и финансах]] || фэн, 3-4 курс || 1-2 модуль
|-
|}

= Архив =

== Курсы за 2020/21 учебный год ==
{| class="wikitable"
|-
! 1 курс !! 2 курс !! 3 курс !! 4 курс !! майноры и факультативы
|-
|
'''ПМИ'''

[[Математический_анализ_1_2020/2021_(пилотный_поток) | Математический анализ-1 на ПМИ (пилотный поток)]]

[[Математический_анализ_1_2020/2021_(основной_поток) | Математический анализ-1 на ПМИ (основной поток)]]

[[Линейная_алгебра_и_геометрия_на_ПМИ_2020/2021_(пилотный_поток) | Линейная алгебра и геометрия на ПМИ (пилотный поток)]]

[[Линейная_алгебра_и_геометрия_на_ПМИ_2020/2021_(основной_поток) | Линейная алгебра и геометрия на ПМИ (основной поток)]]

[[Алгебра_на_ПМИ_2020/2021_(пилотный_поток) | Алгебра (пилотный поток)]]

[[Алгебра_на_ПМИ_2020/2021_(основной_поток) | Алгебра (основной поток)]]

[[Основы_и_методология_программирования_на_ПМИ_2020/2021_(пилотный_поток) | Основы и методология программирования на ПМИ 2020/2021 (пилотный поток)]]

[[Основы_и_методология_программирования_на_ПМИ_2020/2021_(основной_поток)_3_модуль | Основы и методология программирования на ПМИ 2020/2021 (основной поток, III модуль)]]

[[DM1-2020-21 | Дискретная математика-1 ПМИ]]

[[Алгоритмы_и_структуры_данных_1_2020/2021_(4_модуль) | Алгоритмы и структуры данных – 1 (4 модуль) на ПМИ (основной поток)]]

[[Алгоритмы_и_структуры_данных_пилотный_поток_2020/2021 | Алгоритмы и структуры данных – 1 на ПМИ (пилотный поток)]]

'''ПИ'''

[[DM1-SE-2020-21 | Дискретная математика-1 ПИ]]

[http://hsealgebra21.wikidot.com/ Алгебра ПИ]

'''ПАД'''

[[Discrete_Mathematics_DSBA2020/2021 | Discrete Mathematics (DSBA) ]]

[[LAaG_DSBA_2020/2021 | Linear Algebra and Geometry (DSBA)]]

[[English_DSBA_2020/2021 | English DSBA (DSBA)]]

[[Introduction_to_programming_DSBA_2020/2021 | Introduction to Programming (DSBA)]]

[[ Calculus_2020/21 | Calculus (DSBA) ]]

[[Algebra_DSBA_2020/2021 | Algebra DSBA]]

[[Introduction_to_Economics_2020/21 | Introduction to Economics ]]

||
'''ПМИ'''

[[Теория_вероятностей_и_математическая_статистика_2020/2021_(пилотный_поток)| ТВиМС (пилотный поток)]]

[[Теория_вероятностей_2020/2021_(основной_поток)| Теория вероятностей (основной поток)]]

[[Математический_анализ_2020/2021_(пилотный_поток) | Математический анализ 2 на ПМИ (пилотный поток)]]

[[Математический_анализ_-_2_(основной_поток) | Математический анализ - 2 на ПМИ (основной поток)]]

[[MissingSemester2020/2021 | Инструменты промышленной разработки (The Missing Semester of your CS education)]]

[[АКОС ПМИ 2020/2021 | Архитектура компьютеров и операционные системы]]

[[Основы матричных вычислений 2020/2021]]

[[Дифференциальные уравнения (ПМИ)]]

[[DM2-pilot2020/2021 | Дискретная математика-2 на ПМИ (пилотный поток)]]

[[DM2-base2020/2021 | Дискретная математика-2 на ПМИ (основной поток)]]

[[Алгоритмы_и_структуры_данных_пилотный_поток_2019/2020 | Алгоритмы и структуры данных - 2 на ПМИ (пилотный поток)]]

[[Алгоритмы_и_структуры_данных_2_2020/2021 | Алгоритмы и структуры данных – 2 на ПМИ (основной поток)]]

'''ПАД'''

[[Calculus-2_DSBA_2020_(ПАД) | Calculus-2 (DSBA) ]]

[[Discrete_Mathematics_-_2_DSBA2020/2021 | Discrete Mathematics - 2 (DSBA)]]

[[Business_and_Management_in_Global_Context_2020/21 | Business and Management in Global Context (DSBA)]]

[[Principles_of_micro_and_macro-economics_2020/21 | Principles of micro and macro-economics (DSBA)]]

[[Algorithms_and_data_structures_2_2020/21 | Algorithms and data structures 2 (DSBA)]]

[[Statistics_DSBA_2020/2021 | Probability and Statistics (DSBA)]]

[[ACOS_DSBA_2020/2021 | Computer Architecture and Operating Systems (DSBA)]]

[[Differential_Equations_2021 | Differential Equations ]]

||

'''ПМИ'''

[[Машинное_обучение_1/2020_2021 | Машинное обучение 1 на ПМИ]]

[[Машинное_обучение_2 | Машинное обучение 2 на ПМИ]]

[[Прикладная статистика в машинном обучении 20/21]]

[[Безопасность компьютерных систем 20/21]]

[[Theory of computing, AMI]]

[[Матричные вычисления 20/21]]

[[НИС_Машинное_обучение_и_приложения_2020/2021|НИС Машинное обучение и приложения]]

[[Методы оптимизации в машинном обучении|Методы оптимизации в машинном обучении]]

[[Моделирование временных рядов 20/21]]

[[Высокопроизводительные вычисления 20/21]]

[[ Сбор и обработка данных с помощью краудсорсинга 20/21 ]]

[[ Распределённые системы ]]

[[ Компьютерные сети 2021 ]]

[[НИС_РС|НИС Распределенные системы]]

[[Анализ данных в бизнесе (Кафедра SAS)]]

[[Дополнительные главы прикладной статистики (2020/21)]]

[[Comb2020_2021 | Комбинаторные конструкции в теоретической информатике]]

[[Численные Методы 2021]]

[[Методы оптимизации 20/21]]

[[Математическое моделирование]]

'''ПАД'''

[[ MachineLearning1_DSBA2020 | Machine Learning 1 (DSBA)]]

[[ Time_Series_and_Stochastic_Processes_ada_20_21 | Time Series and Stochastic Processes (DSBA) ]]

[[ST2187 Business analytics, applied modelling and prediction | Business analytics, applied modelling and prediction (DSBA)]]

[[Data_Base_2020/2021_DSBA | Data Base (DSBA)]]

[[Social_History_of_Science_2020/21 | Social History of Science (DSBA)]]

[[Elements_of_Econometrics_2020/21 | Elements of Econometrics (DSBA)]]

[[Data Science Case Studies / Анализ данных в бизнесе (Кафедра SAS)]]

[[ Optimization_methods | Optimizaton Methods (DSBA) ]]

||

[[Философия_науки_2020 | Философия науки]]

[[Символьные вычисления]]

'''ПМИ / МОП'''

[[НИС_Машинное_обучение_и_приложения_2020/2021 | НИС Машинное обучение и приложения]]

[[Глубинное обучение в обработке звука 20/21]]

[[Байесовские методы машинного обучения 2020 | Байесовские методы машинного обучения]]

[[Машинное обучение на больших данных 2021]]

[[Генеративные модели в машинном обучении 2021 | Генеративные модели в машинном обучении 2021]]

'''ПМИ / РС'''

[[НИС_РС_2 | НИС Распределенные системы]]

[[msbdp_20 | Методы и системы обработки больших данных]]

[[ Облачные вычисления]]

'''ПМИ / ТИ'''

[[Statistical_learning_theory_2020 | Statistical learning theory]]

[[InfTheo2020-2021|Теория информации]]

[[A_Theorist's_Toolkit_2020_2021 | A Theorist's Toolkit, AMI]]

||

[[ Майнор Биоинформатика 1 год ]]

[[ Майнор Биоинформатика 2 год ]]

[[ Введение в программирование (майнор ИАД) ]]

[[Введение в анализ данных (майнор ИАД)]]

[[Современные_методы_машинного_обучения|Современные методы машинного обучения (майнор ИАД)]]

[[Прикладные_задачи_анализа_данных|Прикладные задачи анализа данных (майнор ИАД)]]

[[ ОУФ Машинное Обучение в Питоне ]]

[[ Факультатив "Теория вычислений и логика" (Осень 2020)]]

[[dopglavy_DM_2021|Допглавы дискретной математики]]

[[Adaptation_DM_20-21 |Adaptation course in DM]]

[[Функциональный анализ (осень 2020)]]

[[KotlinElective|Факультатив "Язык Kotlin" (2-3 модули)]]

[[ Факультатив "Теория вычислений и логика" | Факультатив "Теория вычислений" (Весна 2021)]]

[[Дополнительные_главы_теории_вероятностей_2021 | ДГТВ]]

[[Дополнительные_главы_теории_вероятностей-3_2019/2020 | ДГТВ-3]]

|}

== Курсы магистратуры ФКН ==

{| class="wikitable"
|-
! Дисциплина !! Образовательная программа !! Курс
|-
| [[Stochastic_analysis_2020_2021 | Stochastic Analysis ]] || Statistical Learning Theory || 1 year
|-
| [[Econometrics_fall_2020 | Эконометрика ]] || ФТИАД || 1 year
|-
| [[Recsys_2020_2021 | Рекомендательные системы]] || ФТИАД|| 2 year
|-
| [[Into_to_DataMining_and_Machine_Learning_2020_2021 | Introduction to Data Mining and Machine Learning]] || Data Science (Науки о данных) || 2 year
|-
| [[Project_Seminar_2020_2021 | Проектный семинар специализации ТИ]] || Науки о данных, специализация ТИ || 1 year
|-
|}

== Курсы в рамках проекта [https://www.hse.ru/dataculture/ Data Culture]==
=== 2 семестр ===
{| class="wikitable"
|-
! Дисциплина !! Образовательная программа !! Курс !! Модули
|-
| [[Цифровая грамотность ИЯиМК 2020-2021|Цифровая грамотность ИЯиМК 2020-2021]] || ИЯиМК || 1 курс || 3-4 модули
|-
| [[Data Analysis in Python 2020-2021|Data Analysis in Python]] || Программа двух дипломов НИУ ВШЭ и Лондонского университета "Международные отношения" || 2 курс || 3-4 модули
|-
| [[Машинное обучение на матфаке 2021 |Машинное обучение]] || Математика || 1-4 курс || 3-4 модули
|-
| [http://wiki.cs.hse.ru/Анализ_данных_на_python,_фэн,_2020_spring Анализ данных на python] || Факультет экономических наук || 1 курс || 3-4 модули
|-
| [[Обработка и анализ данных физического эксперимента|Обработка и анализ данных физического эксперимента]] || Физика || 2 курс || 3-4 модули
|-
| [[Python для ОП "Психология" |Python для ОП "Психология" ]] ||Психология || 1 курс || 3-4 модули
|-
| [http://wiki.cs.hse.ru/%D0%90%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_%D0%B2_Python_2020-2021_%D0%9F%D0%BE%D0%BB%D0%B8%D1%82%D0%BE%D0%BB%D0%BE%D0%B3%D0%B8%D1%8F Анализ данных в Python] || Политолгия || 3 курс || 3-4 модули
|-
| [[Цифровая грамотность История искусств 2020-2021]] || История искусств || 1 курс || 3-4 модули
|-
| [[Excel для анализа данных , 20-21|Excel для анализа данных , 20-21]] || ИЯиМК || 4 курс || 3 модуль
|-
| [[ СДиА_Матфак_1_курс_2020/2021 | Структуры данных и алгоритмы ]] || Математика || 3-4 курс || 3-4 модуль
|-
| [[ Python для ГМУ, 20-21 | Python для ГМУ, 2020-2021 ]] || Государственное и муниципальное управление || 1 курс || 4 модуль
|-
| [[ Python для ИЯиМК, 2020-2021 | Python для ИЯиМК, 2020-2021 ]] || ИЯиМК || 2 курс || 4 модуль
|-
| [[ Информационные технологии (факультет химии) | Информационные технологии. Data Culture ]] || Химия || 2 курс || 4 модуль
|-
| [[ Введение_в_анализ_данных_2021_МирЭк | Введение в анализ данных ]] || МирЭк || 1 курс || 4 модуль
|-
| [[ Python для анализа данных (МирЭк) 2020-2021 | Python для анализа данных ]] || МирЭк || 2 курс || 3-4 модуль
|-

|}

=== 1 семестр ===
{| class="wikitable"
|-
! Дисциплина !! Образовательная программа !! Курс !! Модули
|-
| [[Основы программирования на Python осень 2020 матфак|Основы программирования на Python-1]] || Математика || 3 курс || 1-2 модули
|-
| [[Анализ_данных_в_Python_2020-2021|Анализ данных в Python]] || Политология || 4 курс || 1-2 модули
|-
| [[Основы_анализа_и_визуализация_данных_для_медиа_2020/2021|Основы анализа и визуализации данных для медиа]] || Журналистика || 4 курс || 1 модуль
|-
| [[Компьютерная лингвистика и информационные технологии 2020|Компьютерная лингвистика и информационные технологии]] || Фундаментальная и компьютерная лингвистика || 4 курс || 1-3 модули
|-
| [[Проектный семинар медиаком 2020|Проектный семинар]] || Медиакоммуникации || 3 курс || 1 модуль
|-
| [[Основы анализа и визуализации данных ДИЯ 2020-2021|Основы анализа и визуализации данных]] || Иностранные языки и межкультурная коммуникация (ДИЯ) || 2 курс || 1-2 модули
|-
| [[Основы программирования в Python (Политология 2020)|Основы программирования в Python]] || Политология || 3 курс || 1-2 модули
|-
| [[Data Analysis in Journalism and Political Science 2020-2021|Data Analysis in Journalism & Political Science]] || Программа двух дипломов НИУ ВШЭ и Лондонского университета "Международные отношения" || 3 курс || 1 модуль
|-
| [[Data Analysis in Economics and Finance 2020-2021|Data Analysis in Economics & Finance]] || Программа двух дипломов НИУ ВШЭ и Лондонского университета "Международные отношения" || 3 курс || 1 модуль
|-
| [[Прикладные исследования в культурологии 2020 1модуль|Прикладные исследования в культурологии]] || Прикладная культурология || 1 курс || 1 модуль
|-
| [[Основы анализа данных в международных отношениях 20/21|Основы анализа данных в международных отношениях 20/21]] || Международные отношения || 2 курс || 1-2 модуль
|-
| [[Анализ данных в R, Социология|Анализ данных в R]] || Социология || 4 курс || 1-2 модуль
|-
| [[Анализ данных на python, фэн, 2020 fall|Анализ данных на Python]] || Факультет экономических наук || 2 курс || 1-2 модуль
|-
| [[Цифровая грамотность, ЭиАМ|Цифровая грамотность, ЭиАМ]] || Эфиопия и арабский мир || 1 курс || 1-2 модуль
|-
| [[Цифровая грамотность, Античность|Цифровая грамотность, Античность]] || Античность || 1 курс || 1-2 модуль
|-
| [[Цифровая грамотность, ТиТМ|Цифровая грамотность, ТиТМ]] || Турция и Тюркский мир || 1 курс || 1-2 модуль
|-
| [[Цифровая грамотность История 2020/2021|Цифровая грамотность, История]] || История || 1 курс || 1-2 модуль
|-
| [[Цифровая_грамотность_2020_(Востоковедение)|Цифровая грамотность, Востоковедение]] || Востоковедение || 1 курс || 1-2 модуль
|-
| [[Цифровая_грамотность_География_2020/21|Цифровая грамотность, География]] || География || 1 курс || 1-2 модуль
|-
| [[Цифровая_грамотность_(филология)_2020|Цифровая грамотность, Филология]] || Филология|| 1 курс || 1-2 модуль
|-
| [[Машинное_обучение_(сов._бак._ВШЭ-РЭШ_2020)|Машинное обучение]] || Совместная программа по экономике НИУ ВШЭ и РЭШ || 3 курс || 1-2 модуль
|-
| [[Машинное_обучение_(ФЭН)_-_2020|Машинное обучение]] || Экономика || 3-4 курс || 1-2 модуль
|-
| [[Python: работа с данными и текстом|Python: работа с данными и текстом]] || Медиакоммуникации || 2-3 курс || 1-2 модуль
|-
| [[Phyton_для_извлечения_и_обработки_данных|Phyton для извлечения и обработки данных]] || Молекулярная и клеточная биотехнология || 1 курс || 1-2 модуль
|-
| [[ПМСАР-2_2020| Методы анализа больших данных в исследованиях поведения покупателей]] || Прикладные методы социального анализа рынков || 2 г.о. || 1-2 модули
|-
| [[Основы_программирования_на_Python2020/2021|Основы программирования на Python]] || Экономика и статистика || 2-3 курс || 1-2 модули
|-
| [[Извлечение и анализ интернет-данных (2020)|Извлечение и анализ интернет-данных]] || Экономика и статистика || 2-4 курс || 2 модуль

|}

== Курсы других факультетов ==

{| class="wikitable"
|-
! Дисциплина !! Курс !! Период
|-
| [[Теория вероятностей и математическая статистика, фэн, 2020-2021|Теория вероятностей и математическая статистика]] || фэн, 2 курс || 1-4 модуль
|-
| [[Эконометрика, фэн, 2020-2021|Эконометрика]] || фэн, 3 курс || 1-4 модуль
|-
| [[Динамическая оптимизация в экономике и финансах, фэн, 2020-2021|Динамическая оптимизация в экономике и финансах]] || фэн, 3-4 курс || 1-2 модуль
|-
|}

=Архив=

== Курсы за 2019/20 учебный год ==
{| class="wikitable"
|-
! 1 курс !! 2 курс !! 3 курс !! 4 курс !! майноры и факультативы
|-
|

[[Математический_анализ_1_2019/2020 | Математический анализ-1 на ПМИ (пилотный поток)]]

[[Математический_анализ_на_ПМИ_2019/2020_(основной_поток,_2_семестр) | Математический анализ на ПМИ (основной поток, 2 семестр)]]

[[Математический_анализ_на_ПМИ_2019/2020_(основной_поток) | Математический анализ на ПМИ (основной поток)]]

[[Дискретная_математика_1_2019/2020 | Дискретная математика-1 на ПМИ]]

[[Линейная_алгебра_и_геометрия_на_ПМИ_2019/2020_(пилотный_поток) | Линейная алгебра и геометрия на ПМИ (пилотный поток)]]

[[Линейная_алгебра_и_геометрия_на_ПМИ_2019/2020_(основной_поток) | Линейная алгебра и геометрия на ПМИ (основной поток)]]

[[Алгебра_на_ПМИ_2019/2020_(пилотный_поток) | Алгебра на ПМИ (пилотный поток)]]

[[Алгебра_на_ПМИ_2019/2020_(основной_поток) | Алгебра на ПМИ (основной поток)]]

[[Основы_и_методология_программирования_2019/2020 | Основы и методология программирования на ПМИ (основной поток)]]

[[Основы_и_методология_программирования_1_2019/2020_(пилотный_поток) | Основы и методология программирования-1 на ПМИ (пилотный поток)]]

[[Discrete_Mathematics_DSBA2019/2020 | Discrete Mathematics DSBA (ПАД)]]

[[Calculus_DSBA2019/2020 | Calculus DSBA (ПАД) 1st module]]

[[Calculus_DSBA2020 | Calculus DSBA (ПАД) 2nd module]]

[[LAaG_DSBA_2019/2020 | Linear Algebra and Geometry (ПАД)]]

[[Introduction_to_programming_DSBA_2019/2020 | Introduction to Programming (ПАД)]]

[[English_DSBA_2019/2020 | English DSBA (ПАД)]]

[[Algorithms_and_Data_Structures_DSBA_2020 | Algorithms and Data Structures DSBA ]]

[[Algebra_DSBA_2019/2020 | Algebra DSBA]]

[[Алгоритмы_и_структуры_данных_1_основной_поток_2019/202 | Алгоритмы и структуры данных-1 на ПМИ (основной поток)]]

[[Алгоритмы_и_структуры_данных_пилотный_поток_2019/2020 | Алгоритмы и структуры данных на ПМИ (пилотный поток)]]

||

[[DM2-basic2019/2020 | Дискретная математика-2 на ПМИ (основной поток)]]

[[DM2-pilot2019/2020 | Дискретная математика-2 на ПМИ (пилотный поток)]]

[[Теория_вероятностей_2019/2020_(основной_поток)| Теория_вероятностей_2019/2020 на ПМИ (основной поток)]]

[[Теория_вероятностей_и_математическая_статистика_2019/2020_(пилотный_поток)| ТВиМС (пилотный поток)]]

[[Математический_анализ_2019/2020_(пилотный_поток) | Математический анализ 2 на ПМИ (пилотный поток)]]

[[Математический_анализ_2_2019/2020_(основной_поток) | Математический анализ 2 на ПМИ (основной поток)]]

[[Алгоритмы_и_структуры_данных_2_2019/2020 | Алгоритмы и структуры данных – 2 на ПМИ (основной поток)]]

[[Алгоритмы_и_структуры_данных_2018/2019 (пилотный поток) | Алгоритмы и структуры данных на ПМИ (пилотный поток)]]

[[Calculus_2_2019 | Calculus-2 DBSA (ПАД)]]

[[Statistics_DSBA_2019/2020 | Statistics DSBA (ПАД)]]

[[DM2 | Дискретная Математика-2 (ПАД)]]

[[ADS2 | Алгоритмы и Структуры Данных-2 (ПАД)]]

[[Introduction_to_Economics | Introduction to Economics DSBA ]]

[[Business_and_Management_in_Global_Context_2019-2020| Business and Management in Global Context DSBA ]]

[[ACOS_DSBA_2019/2020 | Computer Architecture and Operating Systems (ПАД)]]

[[Differential_Equations_2020 | Differential Equations DSBA ]]

[[Факультатив Теория вычислений_2020 | Факультатив Теория вычислений]]

[[Дифференциальные_уравнения_2020 | Дифференциальные уравнения 2020 ]]

||

[[Машинное_обучение_1/2019_2020 | Машинное обучение 1 на ПМИ]]

[[Машинное_обучение_2/2019_2020 | Машинное обучение 2 на ПМИ]]

[[Численные_Методы_2020 | Численные методы]]

[[Прикладная_статистика_в_машинном_обучении(2019)|Прикладная статистика в машинном обучении]]

[[Theory_of_Computing_2019_2020 | Theory of Computing, AMI]]

[[Компьютерные_Сети | Компьютерные сети]]

[[НИС_Машинное_обучение_и_приложения_2019/2020|НИС Машинное обучение и приложения]]

[[Безопасность_компьютерных_систем_2019|Безопасность компьютерных систем]]

[[Непрерывная_оптимизация_(МОП)/2020| Непрерывная оптимизация (МОП)]]

[[%D0%9D%D0%B5%D0%BF%D1%80%D0%B5%D1%80%D1%8B%D0%B2%D0%BD%D0%B0%D1%8F_%D0%BE%D0%BF%D1%82%D0%B8%D0%BC%D0%B8%D0%B7%D0%B0%D1%86%D0%B8%D1%8F_(%D0%A2%D0%98,_%D0%90%D0%94%D0%98%D0%A1,_%D0%90%D0%9F%D0%A0,_%D0%A0%D0%A1)| Непрерывная оптимизация (ТИ, АДИС, АПР, РС) ]]

[[Data_analysis_(Software_Engineering)_2020|Data Analysis]]

[[Промышленное_программирование_на_языке_Java| Промышленное программирование на языке Java]]

[[CCTI_2020|Сложность вычислений и логика в теоретической информатике]]

||

[[InfTheo2019-2020|Теория информации]]

[[Байесовские_методы_машинного_обучения_2019|Байесовские методы машинного обучения]]

[[НИС Науки о данных]]

[[НИС_Машинное_обучение_и_приложения_2019/2020|НИС Машинное обучение и приложения]]

[[Философия_науки_2019|Философия науки]]

[[Глубинное обучение|Глубинное обучение]]

[[NLP 2019|NLP Анализ данных]]

[[Безопасность_компьютерных_систем_2019|Безопасность компьютерных систем]]

[[Генеративные_модели_в_машинном_обучении_2020|Генеративные модели в машинном обучении]]

[[Компьютерные Сети 4 курс| Компьютерные сети]]

[[Промышленное_программирование_на_языке_Java| Промышленное программирование на языке Java]]

[[Машинное_обучение_на_больших_данных_2020|Машинное обучение на больших данных]]

[[Основы_обработки_больших_данных_2020|Основы обработки больших данных]]

||
[[MinorBioinformatics|Биоинформатика]]

[[Майнор Интеллектуальный анализ данных/Современные_методы_машинного_обучения | Современные методы машинного обучения (ИАД)]]

[[KotlinElective|Факультатив "Язык Kotlin" (2-3 модули)]]

[[ISDElective|Факультатив "Методы разработки программного обеспечения" (1-2 модули)]]

[[Введение в программирование (курс майнора)]]

[[dopglavy_DM_1920|Допглавы дискретной математики]]

[[Дополнительные_главы_теории_вероятностей-2_2019/2020|ДГТВ-2]]

[[Дополнительные_главы_теории_вероятностей_2020|ДГТВ]]

[[Введение_в_анализ_данных_(майнор_ИАД)_2019/2020|Введение в анализ данных (майнор ИАД)]]

[[Прикладные_задачи_анализа_данных_(майнор_ИАД)|Прикладные задачи анализа данных (майнор ИАД)]]

[[NonClassicalLogics|Факультатив "Неклассические логики" (3 модуль)]]

|}

== Курсы магистратуры ФКН ==

{| class="wikitable"
|-
! Дисциплина !! Образовательная программа !! Курс

|-
| [[Theory_of_Computing_2019_2020 | Theory of Computing]] || Науки о данных, специализация ТИ || 1 курс
|-
| [[Project_Seminar_2019_2020 | Проектный семинар специализации ТИ]] || Науки о данных, специализация ТИ || 1 курс
|-
| [[Stochastic_analysis_2019_2020 | Stochastic Calculus ]] || Statistical Learning Theory || 1 year
|-
| [[A_Theorist's_Toolkit_2019_2020 | A Theorist's Toolkit, AMI]] || Науки о данных, специализация ТИ || 1 курс
|-
| [[Neurobayesian_models_2020 | Neurobayesian models ]] || Statistical Learning Theory || 2 year
|}

== Курсы в рамках проекта [https://www.hse.ru/dataculture/ Data Culture]==
=== 2 семестр ===

{| class="wikitable"
|- http://wiki.cs.hse.ru/Цифровая_грамотность_(филология)_2020#.F0.9F.93.AC_.D0.A7.D0.B0.D1.82.D1.8B_.D0.B3.D1.80.D1.83.D0.BF.D0.BF
! Дисциплина !! Образовательная программа !! Курс !! Модули
|-
| [[Введение в анализ данных 2020 МирЭк| Введение в анализ данных]] || Мировая экономика || 1 курс || 3-4 модуль
|-
|[[ Основы программирования в Python (Мирэк) | Основы программирования в Python]] || Мировая экономика || 2 курс || 3-4 модуль
|-
| [[ Цифровая грамотность, ИЯиМК| Цифровая грамотность ]] || Иностранные языки и межкультурная коммуникация || 1 курс || 3-4 модуль
|-
| [[ Цифровая_грамотность_(филология)_2020| Цифровая грамотность ]] || Филология || 1 курс || 3-4 модуль
|-
| [[Цифровая_грамотность_(ФиКЛ)_2020| Цифровая грамотность ]] || Фундаментальная и компьютерная лингвистика || 1 курс || 4 модуль
|-
| [[ Цифровая грамотность 2019-2020 (История искусств)| Цифровая грамотность ]] || История искусств || 1 курс || 3-4 модуль
|-
| [[ Цифровая грамотность 2019-2020 (Культурология)| Цифровая грамотность ]] || Культурология || 1 курс || 3-4 модуль
|-
| [[ Цифровая грамотность, ЯиЛ_ЮВА| Цифровая грамотность ]] || Языки и литература Юго-Восточной Азии || 1 курс || 3-4 модуль
|-
| [[ Цифровая грамотность, ЯиЛЯ| Цифровая грамотность ]] || Языки и литература Японии || 1 курс || 3-4 модуль
|-
| [[ ППО Социология 1 курс 2019/2020| ППО (Python для извлечения и обработки данных) ]] || Социология || 1 курс || 3 модуль
|-
|[[ Машинное обучение на матфаке 2020 | Машинное обучение]] || Математика || 2-4 курс || 3-4 модуль
|-
|[[ Excel для анализа данных | Excel для анализа данных]] || ИЯиМК || 4 курс || 3 модуль
|-
| [[ Python для извлечения и обработки данных Медиаком 2 курс 2019/2020| Python для извлечения и обработки данных ]] || Медиакоммуникации || 2 курс || 3 модуль
|-
| [[ Python для извлечения и обработки данных Медиаком 1 курс 2019/2020| Python для извлечения и обработки данных ]] || Медиакоммуникации || 1 курс || 4 модуль
|-
| [[ СДиА Матфак 1 курс 2019/2020| Структуры данных и алгоритмы ]] || Математика || 3-4 курс || 3-4 модуль
|-
| [[Методы_машинного_обучения_(Прикладная_политология)|Методы машинного обучения]] || Прикладная политология || 1 г.о. || 2-3 модули
|-
| [[Наука о данных (Экономика)|Наука о данных]] || Экономика || 2 курс || 3-4 модули
|-
| [[Основы программирования на Python весна 2021 матфак|Основы программирования на Python, 2 часть]] || Математика || 2-4 курс || 3-4 модули
|-
| [[Культура работы с данными, КМБТ|Культура работы с данными, КМБТ]] || Клеточная и молекулярная биотехнология || 1 курс || 3-4 модули
|-
| [[Natural_Language_Processing_Blended_2020_module4 | Natural Language Processing (blended)]] || Прикладная политология || 1 г.о. || 4 модуль
|-
| [[ПМСАР-1 2019/2020|Автоматизированный сбор больших данных в экономико-социологических исследованиях]] || Прикладные методы социального анализа рынков || 1 г.о. || 3-4 модули
|-
| [[Введение в Data Science]] || Экономика впечатлений: менеджмент в индустрии гостеприимства и туризме || 1 г.о. || 3 модуль
|-
| [[Принципы построения математических моделей]] || МИЭМ || 1 г.о. || 4 модуль
|-
| [[Python для извлечения и обработки данных Психология 1 курс 2019/2020]] || Психология || 1 г.о. || 4 модуль
|-
| [[Технологии анализа больших данных ГМУ 1 курс 2019/2020]] || ГМУ || 1 г.о. || 4 модуль
|-
| [[Городское планирование | Цифровая грамотность]] || Городское планирование || 1 г.о. || 4 модуль
|}

=== 1 семестр ===
{| class="wikitable"
|-
! Дисциплина !! Образовательная программа !! Курс !! Модули

|-
| [[ Основы анализа и визуализация данных для медиа 2019/2020 | Основы анализа и визуализации данных для медиа ]] || Журналистика || 4 курс || 1 модуль
|-
| [[ Анализ данных в Python 2019-2020 | Анализ данных в Python ]] || Политология || 4 курс || 1-2 модули
|-
| [[Introduction to Data Culture 2019-2020 | Introduction to Data Culture ]] || Программа двух дипломов НИУ ВШЭ и Лондонского университета "Международные отношения" || 1 курс || 2 модуль
|-
| [[ Основы анализа данных в международных отношениях | Основы анализа данных в международных отношениях ]] || Международные отношения || 2 курс || 1-2 модуль
|-
| [[Основы программирования в Python (Политология)|Основы программирования в Python]] || Политология || 3 курс || 1-2 модули
|-
| [[Основы программирования на Python осень 2019 матфак|Основы программирования на Python-1]] || Математика || 1-4 курс || 1-2 модули
|-
| [[ Цифровая грамотность (История 2019) | Цифровая грамотность ]] || История || 1 курс || 1-2 модули
|-
| [[ Цифровая грамотность (Востоковедение 2019) | Цифровая грамотность ]] || Востоковедение|| 1 курс || 1-2 модули
|-
| [[ Цифровая_грамотность_2019-2020(философия) | Цифровая грамотность ]] || Философия || 1 курс || 1-2 модули
|-
| [[ Цифровая грамотность (ассириология и античность 2019) | Цифровая грамотность ]] || Ассириология и античность|| 1 курс || 1-2 модули
|-
| [[ПМСАР-2_2019| Методы анализа больших данных в исследованиях поведения покупателей]] || Прикладные методы социального анализа рынков || 2 г.о. || 1-2 модули
|-
| [[Работа с данными]] || Медиакоммуникации || 4 курс || 1 модуль
|-
| [[Машинное обучение (фэн 2019)]] || ФЭН || 3 курс || 1-2 модули
|-
| [[Natural_Language_Processing_Blended_2019_module1 | Natural Language Processing (blended)]] || Прикладная политология || 2 г.о. || 1 модуль
|-
| [[ ML_HSE_NES_2019 | Машинное обучение (ВШЭ-РЭШ)]] || Совместный бакалавриат ВШЭ-РЭШ || 3-4 курс || 1-2 модули
|-
| [[ Основы_анализа_и_визуализации_данных_ДИЯ_2019/2020 | Основы анализа и визуализации данных ]] || ДИЯ || 2 курс || 1,2 модуль
|-
| [[Методы_машинного_обучения_(Прикладная_политология)|Методы машинного обучения]] || Прикладная политология || 1 г.о. || 2-3 модули
|-
| [[Основы_программирования_на_Python2019/2020|Основы программирования на Python]] || Экономика и статистика || 2-4 курс || 2 модуль
|}

== Курсы других факультетов ==

{| class="wikitable"
|-
! Дисциплина !! Курс !! Период
|-
| [[Теория вероятностей и математическая статистика, фэн, 2019-2020|Теория вероятностей и математическая статистика]] || фэн, 2 курс || 3-4 модуль
|-
| [[Микроэконометрика качественных данных, фэн, 2020|Микроэконометрика качественных данных 2020]] || фэн, 4 курс || 1-2 модуль
|}

== Курсы за 2018/19 учебный год ==
{| class="wikitable"
|-
! 1 курс !! 2 курс !! 3 курс !! 4 курс !! майноры и факультативы
|-
|

[[Математический_анализ_на_ПМИ_2018/2019_(пилотный_поток) | Математический анализ на ПМИ (пилотный поток)]]

[[Математический_анализ_на_ПМИ_2018/2019_(основной_поток) | Математический анализ на ПМИ (основной поток)]]

[[Calculus_DSBA_2018/2019 | Calculus I DSBA (ПАД)]]

[[Основы_и_методология_программирования_на_ПМИ_2018/2019_(пилотный_поток) | Основы и методология программирования на ПМИ (пилотный поток)]]

[[Основы_и_методология_программирования_на_ПМИ_2019_(С%2B%2B,_основной_поток) | Основы и методология программирования на ПМИ (С++, основной поток)]]

[[Линейная_алгебра_и_геометрия_на_ПМИ_2018/2019_(пилотный_поток) | Линейная алгебра и геометрия на ПМИ (пилотный поток)]]

[[Линейная_алгебра_и_геометрия_на_ПМИ_2018/2019_(основной_поток) | Линейная алгебра и геометрия на ПМИ (основной поток)]]

[[LAaG_DSBA_2018/2019 | LAaG DSBA]]

[[Дискретная_математика_1_2018/2019 | Дискретная математика-1 на ПМИ]]

[[Discrete_Mathematics_DSBA2018/2019 |Discrete Mathematics DSBA (ПАД)]]

[[Introduction_to_programming | Introduction to programming DSBA (ПАД)]]

[[Introduction_to_programming_2 | Introduction to programming 2 DSBA (ПАД)]]

[[Алгебра_на_ПМИ_2018/2019_(пилотный_поток) | Алгебра на ПМИ (пилотный поток)]]

[[Алгебра_на_ПМИ_2018/2019_(основной_поток) | Алгебра на ПМИ (основной поток)]]

[[Algebra_DSBA_2018/2019 | Algebra DSBA]]

[http://hsealgebra19.wikidot.com Алгебра на ПИ]

[[Алгоритмы_и_структуры_данных_2018/2019 | Алгоритмы и структуры данных на ПМИ (основной поток)]]

[[Алгоритмы_и_структуры_данных_2018/2019 (пилотный поток) | Алгоритмы и структуры данных на ПМИ (пилотный поток)]]

||

[http://math-info.hse.ru/2018-19/Дифференциальные_уравнения_(ФКН) Дифференциальные уравнения]

[[Теория_вероятностей_2018/2019_(основной_поток) | Теория вероятностей на ПМИ (основной поток)]]

[[Теория_вероятностей_2018/2019_(пилотный_поток) | Теория вероятностей на ПМИ (пилотный поток)]]

[[Математический_анализ_2018/2019_(пилотный_поток) | Математический анализ 2 на ПМИ (пилотный поток)]]

[[Математический_анализ_2018/2019_(основной_поток) | Математический анализ 2 на ПМИ (основной поток)]]

[[DM2-pilot2018/2019 | Дискретная математика-2 на ПМИ (пилотный поток)]]

[[DM2-basic2018/2019 | Дискретная математика-2 на ПМИ (основной поток)]]

[[Алгоритмы_и_структуры_данных_2_2018/2019 | Алгоритмы и структуры данных – 2 на ПМИ (основной поток)]]

[[Факультатив Теория вычислений]]

||

[[Машинное_обучение_1/2018_2019 | Машинное обучение 1 на ПМИ]]

[[Машинное_обучение_2 | Машинное обучение 2 на ПМИ]]

[[Численные_Методы_2018 | Численные методы ]]

[[PDC | Параллельные и распределенные вычисления]]

[[Theory_of_Computing_2018_2019 | Theory of Computing, AMI]]

[[НИС_Машинное_обучение_и_приложения_2018/2019|НИС Машинное обучение и приложения]]

[[Прикладная_статистика_в_машинном_обучении(2018)|Прикладная статистика в машинном обучении]]

[[Безопасность_компьютерных_систем_2018|Безопасность компьютерных систем]]

[[Основные методы анализа данных]]

[[Теория баз данных]]

[[Непрерывная оптимизация/2019|Непрерывная оптимизация (161-162)]]

[[Непрерывная оптимизация (163-167)]]

[[Сложность вычислений и логика в теоретической информатике]]

[[Data analysis (Software Engineering) 2019|Data analysis]]

[[Анализ данных в бизнесе 2019|Анализ данных в бизнесе на ПМИ ]]

[[Intro to DL Blended | Intro to DL Blended]]

[[Дискретная оптимизация 2019 | Дискретная оптимизация 2019]]

||

[[Statistical_learning_theory_2018_2019 | Introduction to statistical learning theory]]

[[Анализ_неструктурированных_данных-2018 |Анализ неструктурированных данных ]]

[[Байесовские_методы_машинного_обучения_2018|Байесовские методы машинного обучения]]

[[НИС_Машинное_обучение_и_приложения_2018/2019|НИС Машинное обучение и приложения]]

[[НИС_Науки_о_данных_2018/2019|НИС Науки о данных]]

[[НИС_Распределенные_системы_(4_курс,_2018)|НИС Распределенные системы]]

[[Теория_Информации_2018/2019|Теория информации]]

[[Безопасность_компьютерных_систем_2018|Безопасность компьютерных систем]]

[[Методы_и_системы_обработки_больших_данных_(осень_2018)|Методы и системы обработки больших данных]]

[[Философия_науки_2018|Философия науки]]

[[Теория баз данных]]

[[ConvAppr19 | Выпуклое программирование и аппроксимационные алгоритмы (ТИ)]]

[[Функциональное программирование 2019 | Функциональное программирование]]

[[A_Theorist's_Toolkit_2018_2019 | A Theorist's Toolkit, AMI]]

[[Анализ данных в бизнесе 2019|Анализ данных в бизнесе на ПМИ ]]

||
[[Дополнительные главы теории вероятностей 2019 | Дополнительные главы теории вероятностей 2019]]

[[Дополнительные главы математической статистики 2019 | Дополнительные главы математической статистики 2019]]

[[Введение в программирование (курс майнора) 2018/2019]]

[[dopglavy_DM_1819|Допглавы дискретной математики]]

[[Современные_методы_машинного_обучения_(курс_майнора)_2018/2019 | Современные методы машинного обучения (курс майнора) 2018/2019]]

[[Прикладные_задачи_анализа_данных_(майнор_-_весна_2019) | Прикладные задачи анализа данных (майнор - весна 2019)]]

[[Майнор Интеллектуальный анализ данных/Введение в анализ данных | Введение в анализ данных (курс майнора)]]

[[Функциональный анализ (весна_2019) | Функциональный анализ (весна_2019)]]

[[KotlinElective| Язык Kotlin (3 и 4 модули 2018-2019)]]

|}

== Курсы в рамках проекта [https://www.hse.ru/dataculture/ Data Culture]==
=== 2 семестр ===

{| class="wikitable"
|-
! Дисциплина !! Образовательная программа !! Курс !! Модули

|-
| [[Основы программирования на Python весна 2020 матфак|Основы программирования на Python-2]] || Математика || 2-4 курс || 3-4 модули
|-
| [[Цифровая_грамотность_(филология)|Цифровая грамотность]] || Филология || 1 курс || 3-4 модули
|-
| [[Цифровая_грамотность_(ИИ_и_культурология)|Цифровая грамотность]] || История искусств и Культурология || 1 курс || 3-4 модули
|-
| [[Цифровая_грамотность_(ИЯМК_2019)|Цифровая грамотность]] || Иностранные языки и межкультурная коммуникация (ДИЯ) || 1 курс || 3-4 модули
|-
| [[Основы_анализа_и_визуализации_данных_ДИЯ_2019|Анализ и визуализации данных]] || Иностранные языки и межкультурная коммуникация (ДИЯ) || 2 курс || 3-4 модули
|-
| [[Научно-исследовательский_семинар_2019| Научно-исследовательский семинар]] || Политология || 1 курс || 3 модуль
|-
| [[ММО_Политология_201810|Методы машинного обучения]] || Прикладная политология || 1 г.о. || 2-3 модули
|-
| [[Основы_программирования_в_Python_2019|Основы программирования в Python]] || Мировая экономика || 2 курс || 3-4 модули
|-
| [[Программирование_и_компьютерные_инструменты_лингвистического_исследования|Программирование и компьютерные инструменты лингвистического исследования]] || Фундаментальная и компьютерная лингвистика || 1 курс || 1-4 модули
|-
| [[Компьютерная лингвистика и информационные технологии|Компьютерная лингвистика и информационные технологии]] || Фундаментальная и компьютерная лингвистика || 4 курс || 1-3 модули
|-
| [[ПМСАР-1|Автоматизированный сбор больших данных в экономико-социологических исследованиях]] || Прикладные методы социального анализа рынков || 1 г.о. || 3-4 модули
|-
| [[Искусственный интеллект и большие данные_(2019)|Искусственный интеллект и большие данные]] || Дизайн, Мода, Современное искусство || 1 курс || 3-4 модули
|-
| [[Информационный менеджмент: Введение в Data Science|Информационный менеджмент: Введение в Data Science]] || Управление бизнесом Маркетинг и рыночная аналитика || 1 курс || 4 модуль
|-
| [[Технологии анализа больших данных|Технологии анализа больших данных]] || ГМУ || 1 курс || 4 модуль
|-
| [[Основы программирования на Python (Прикладное программное обеспечение)|Основы программирования на Python (Прикладное программное обеспечение)]] || Социология || 1 курс || 4 модуль
|-
| [[Основы работы с данными|Основы работы с данными]] || Медиакоммуникации || 2 курс || 4 модуль
|-
| [[Введение_в_data_science_Социология_1_курс|Профориентационный семинар (Data Culture)]] || Социология || 1 курс || 4 модуль
|-
| [[Введение_в_анализ_данных_МирЭк_2019|Введение в анализ данных]] || Мировая экономика || 1 курс || 4 модуль

|}

=== 1 семестр ===

{| class="wikitable"
|-
! Дисциплина !! Образовательная программа !! Курс !! Модули

|-
| [[Основы анализа данных в международных отношениях 2018/2019|Основы анализа данных в международных отношениях]] || Международные отношения || 2 курс || 1-2 модули
|-
| [[Introduction_to_Data_Culture_2018-2019|Introduction to Data Culture]] || Программа двух дипломов НИУ ВШЭ и Лондонского университета "Международные отношения" || 1 курс || 2 модуль
|-
| [[Программирование_и_компьютерные_инструменты_лингвистического_исследования|Программирование и компьютерные инструменты лингвистического исследования]] || Фундаментальная и компьютерная лингвистика || 1 курс || 1-4 модули
|-
| [[Цифровая грамотность(востоковедение)|Цифровая грамотность]] || Востоковедение || 1 курс || 1 модуль
|-
| [[Разработка управленческих решений в маркетинге | Разработка управленческих решений в маркетинге]] || Маркетинг и рыночная аналитика || 2 курс || 1-2 модули
|-
| [[Информационные технологии в деятельности юриста_2018-2019| Информационные технологии в деятельности юриста]] || Юриспруденция || 1 курс || 2 модуль
|-
| [[Машинное обучение на матфаке 2018/2019| Машинное обучение]] || Факультет математики || 2-4 курсы || 1-2 модули
|-
| [[ПМСАР-2| Методы анализа больших данных в исследованиях поведения покупателей]] || Прикладные методы социального анализа рынков || 2 г.о. || 1-2 модули
|-
| [[Анализ данных в Python (Политологи 1 семестр 1-2 модули)|Анализ данных в Python]] || Политология || 4 курс || 1-2 модули
|-
| [[Основы анализа и визуализации данных для медиа (Журналисты 1 семестр 1 модуль)|Основы анализа и визуализации данных для медиа]] || Журналистика || 4 курс || 1 модуль
|-
| [[Компьютерная лингвистика и информационные технологии|Компьютерная лингвистика и информационные технологии]] || Фундаментальная и компьютерная лингвистика || 4 курс || 1-3 модули
|-
| [[Введение в анализ текстов на Python для ФГН 2018|Введение в анализ текстов на Python для ФГН 2018]] || Фундаментальная и компьютерная лингвистика || 3 курс || 1, 2, 4 модули
|-
| [[Машинное обучение (ФЭН)]] || Факультет экономических наук || 3-4 курсы || 1-2 модули
|-
| [[Программирование_(python)_для_экономистов|Программирование (Python) для экономистов]] || Факультет экономических наук || 2 курс || 1-2 модули
|-
| [[Цифровая грамотность(философия)|Цифровая грамотность]] || Философия || 1 курс || 1-2 модули
|-
| [[Цифровая_грамотность_(историки)|Цифровая грамотность]] || История || 1 курс || 1-2 модули
|-
| [[Обработка и анализ данных физического эксперимента|Обработка и анализ данных физического эксперимента]] || Физика || 2 курс || 1-2 модули
|-
| [[Статистический анализ в среде R (Социологи 1 семестр 2 модуль)|Статистический анализ в среде R ]] || Социология || 4 курс || 2 модуль
|-
| [[ММО_Политология_201810|Методы машинного обучения]] || Прикладная политология || 1 г.о. || 2-3 модули
|}

==Courses of the Statistical Learning Theory program==
[[Neurobayesian_models_2019|Neurobayesian models]]

== Курсы за 2017/18 учебный год ==
{| class="wikitable"
|-
! 1 курс !! 2 курс !! 3 курс !! 4 курс !! майноры и факультативы
|-
|

[[Математический_анализ_на_ПМИ_2017/2018_(пилотный_поток) | Математический анализ на ПМИ 2017/2018 (пилотный поток)]]

[[Математический_анализ_на_ПМИ_2017/2018_(основной_поток) | Математический анализ на ПМИ 2017/2018 (основной поток)]]

[[Основы_и_методология_программирования_на_ПМИ_2017/2018_(пилотный_поток,_1_модуль) | Основы и методология программирования на ПМИ 2017/2018 (пилотный поток, 1 модуль)]]

[[Основы_и_методология_программирования_на_ПМИ_2017/2018_(основной_поток,_2_модуль) | Основы и методология программирования на ПМИ 2017/2018 (основной поток, 2 модуль)]]

[[Основы_и_методология_программирования_на_ПМИ_2017/2018_(основной_поток,_3_модуль) | Основы и методология программирования на ПМИ 2017/2018 (основной поток, 3 модуль)]]

[[Алгоритмы_и_структуры_данных_на_ПМИ_2017/2018_(основной_поток) | Алгоритмы и структуры данных на ПМИ 2017/2018 (основной поток)]]

[[Линейная_алгебра_и_геометрия_на_ПМИ_2017/2018_(пилотный_поток) | Линейная алгебра и геометрия на ПМИ (пилотный поток)]]

[[Линейная_алгебра_и_геометрия_на_ПМИ_2017/2018_(основной_поток) | Линейная алгебра и геометрия на ПМИ (основной поток)]]

[[Дискретная_математика_1_2017/2018 | Дискретная математика-1 на ПМИ]]

[[Алгоритмы и структуры данных 1 | Алгоритмы и структуры данных – 1 (пилотный поток)]]

[[Алгебра_на_ПМИ_2017/2018 | Алгебра на ПМИ]]

[http://hsealgebra18.wikidot.com Алгебра на ПИ]

||
[[Теория_вероятностей_2017/2018_(основной_поток) | Теория вероятностей на ПМИ (основной поток)]]

[[Теория_вероятностей_2017/2018_(пилотный_поток) | Теория вероятностей на ПМИ (пилотный поток)]]

[[Математический анализ-3 на ПМИ_2017/2018_(основной_поток) | Математический анализ-2 на ПМИ (основной поток)]]

[[Математический анализ на ПМИ_2017/2018 | Математический анализ-3 на ПМИ (пилотный поток)]]

[[DM2-pilot2017/2018 | Дискретная математика-2 на ПМИ (пилотный поток)]]

[[DM_2_2017_2018 | Дискретная математика-2 на ПМИ (основной поток)]]

[[Алгоритмы и структуры данных_2_2017/2018 | Алгоритмы и структуры данных – 2 на ПМИ (основной поток)]]

[[Дифференциальные уравнения (2 курс, 2017/2018)| Дифференциальные уравнения]]

||
[[Машинное_обучение_1/2017_2018 | Машинное обучение 1 на ПМИ]]

[[Машинное_обучение_2/2017_2018 | Машинное обучение 2 на ПМИ]]

[[Численные_методы_2017 | Численные методы]]

[[Statistics of Stochastic Processes|Статистика случайных процессов 2018]]

[[Прикладная_статистика_в_машинном_обучении | Прикладная статистика в машинном обучении]]

[[Theory_of_Computing | Theory of Computing, AMI]]

[[Statistical_learning_theory | Introduction to statistical learning theory]]

[[Основные_методы_анализа_данных_(специализация_АДИС) | Основные методы анализа данных на ПМИ]]

[[Анализ неструктурированных данных]]

[[Безопасность компьютерных систем 2017 | Безопасность компьютерных систем]]

[[НИС_Распределенные_системы_(3_курс,_2017) | НИС Распределенные системы]]

[[НИС_Машинное_обучение_и_приложения_2017/2018 | НИС Машинное обучение и приложения]]

[[Непрерывная_оптимизация | Непрерывная оптимизация]]

[[ Сложность_и_логика| Сложность вычислений и логика в теоретической информатике]]

[[Data_analysis_(Software_Engineering)_2018 | Data Analysis на ПИ]]

[http://telegra.ph/Kurs-Vvedenie-v-OOP-VSHEH-2018-Modul-3-01-30 Введение в ООП]

[http://wiki.cs.hse.ru/Машинное_обучение_на_больших_данных Машинное обучение на больших данных]

[[Дискретная_оптимизация | Дискретная оптимизация]]

||

[[Безопасность компьютерных систем 2017 | Безопасность компьютерных систем]]

[[Философия_науки_2017 | Философия науки]]

[[НИС_Распределенные_системы_(4_курс,_2017) | НИС Распределенные системы]]

[[НИС_Машинное_обучение_и_приложения_2017/2018 | НИС Машинное обучение и приложения]]

[[Анализ неструктурированных данных]]

[[Байесовские методы машинного обучения 2017 | Байесовские методы машинного обучения]]

[[Функциональное программирование 2018 | Функциональное программирование]]

[http://telegra.ph/Kurs-Vvedenie-v-OOP-VSHEH-2018-Modul-3-01-30 Введение в ООП]

||

[[Современные методы машинного обучения (курс майнора) 2017/2018]]

[[Введение в программирование (курс майнора) 2017/2018]]

[[Майнор Интеллектуальный анализ данных/Введение в анализ данных/2017-2018 | Введение в анализ данных (курс майнора)]]

[[Прикладные задачи анализа данных (майнор - весна 2018)]]

[[Маго-лего "Линейная алгебра в приложениях" весна 2018 | Линейная алгебра в приложениях (маго-лего)]]

[[Функциональный анализ 2017/18 | Функциональный анализ на ПМИ (факультатив)]]

[[Дополнительные главы теории вероятностей и математической статистики (факультативы) | Дополнительные главы теории вероятностей и математической статистики (факультативы)]]

[[Дополнительные главы дискретной математики 2017/18 | Дополнительные главы дискретной математики (факультатив)]]

[[Цифровые технологии в гуманитарных науках]]

|}

== Курсы в рамках проекта [https://www.hse.ru/dataculture/ Data Culture]==

=== 2 семестр ===

[[Цифровая_грамотность_2018_(2_семестр)|Цифровая грамотность (факультет гуманитарных наук — 2 семестр: ИЯМК, Филология, История искусств, Культурология, 1 курс)]] 
[[Научно-исследовательский семинар (ФСН) |Научно-исследовательский семинар (ОП "Политология", 1 курс)]] 
[[Introduction_to_Data_Culture|Introduction to Data Culture (HSE and University of London Parallel Degree Programme in International Relations, 1 year)]] 
[[ИИ_и_БД|Искусственный интеллект и большие данные (ОП "Дизайн", "Мода", 1 курс)]] 
[[Компьютерная лингвистика и информационные технологии |Компьютерная лингвистика и информационные технологии (ОП "Фундаментальная и компьютерная лингвистика", 4 курс, 2 семестр)]] 
[[Основы анализа данных в международных отношениях|Основы анализа данных в международных отношениях (ОП "Международные отношения", 2 курс, 4 модуль)]] 
[[Введение в data science (2_семестр)|Профориентационный семинар (блок по введению в data scicence) (Факультет социальных наук — 2 семестр: Социология, 1 курс)]] 
[[Введение в Data Science| Введение в Data Science (ФБиМ, 4 модуль)]] 

=== 1 семестр ===

[[Цифровая_грамотность|Цифровая грамотность (факультет гуманитарных наук — 1 семестр: История, Философия, 1 курс)]] 
[[Машинное обучение (факультет экономических наук)|Машинное обучение (факультет экономических наук)]] 
[[Компьютерная лингвистика и информационные технологии |Компьютерная лингвистика и информационные технологии (ОП "Фундаментальная и компьютерная лингвистика", 4 курс, 1 семестр)]] 
[[Извлечение и анализ интернет-данных | Извлечение и анализ интернет-данных (факультет экономических наук)]] 
[[Анализ больших данных в социальных науках (ФСН, 2017) | Анализ больших данных в социальных науках (ФСН, 2017)]] 
[[Информационные_технологии_в_деятельности_юриста|Информационные технологии в деятельности юриста (Факультет права)]] 
[[Машинное_обучение_для_лингвистов|Машинное обучение (магистратура Школы лингвистики)]] 

== Курсы магистратуры Финансовые технологии и анализ данных ==

[[Вероятностные_модели_и_прикладная_статистика_в_финансовой_математике|Вероятностные модели и прикладная статистика в финансовой математике]]

[[Рекомендательные системы и поиск закономерностей в данных|Рекомендательные системы и поиск закономерностей в данных]]

== Courses of Data Science master program/Курсы магистерской программы "Науки о данных" ==

[[Introduction to Machine Learning and Data Mining |Introduction to Machine Learning and Data Mining 2019]]

[[Introduction to Machine Learning and Data Mining 2020 |Introduction to Machine Learning and Data Mining 2020]]

== Курсы за 2016/17 учебный год ==
{| class="wikitable"
|-
! 1 курс !! 2 курс !! 3-4 курс !! майноры
|-
|

[[Математический анализ на ПМИ_2016/2017 | Математический анализ на ПМИ (пилотный поток)]]

[[Линейная алгебра и геометрия_2016/2017 | Линейная алгебра и геометрия на ПМИ]]

[[Дискретная_математика_1_2016/2017 | Дискретная математика-1 на ПМИ]]

[[Основы и методология программирования_2016/2017_пилотный_поток | Основы и методология программирования на ПМИ (пилотный поток)]]

[[Основы и методология программирования_2016/2017 | Основы и методология программирования на ПМИ (основной поток)]]

[[Алгоритмы_и_структуры_данных_на_ПМИ_(пилотный_поток) | Алгоритмы и структуры данных на ПМИ (пилотный поток)]]

[[Алгоритмы_и_структуры_данных_на_ПМИ_(основной_поток) | Алгоритмы и структуры данных на ПМИ (основной поток)]]

[[Алгебра_на_ПМИ_2016/2017 | Алгебра на ПМИ]]

[http://hsealgebra17.wikidot.com/ Алгебра на ПИ]

||

[[Математический анализ_2016/2017 | Математический анализ-3 на ПМИ (основной поток)]]

[[Математически_анализ_3_на_ПМИ_(пилотный_поток) | Математический анализ-3 на ПМИ (пилотный поток)]]

[[DM_2_2016_2017 | Дискретная математика-2 на ПМИ (основной поток)]]

[[Дискретная математика_2_2016/2017 | Дискретная математика-2 на ПМИ (пилотный поток)]]

[[Алгоритмы и структуры данных_2_2016/2017 | Алгоритмы и структуры данных – 2 на ПМИ (основной поток)]]

[[Теория вероятностей_2016/2017 | Теория вероятностей на ПМИ (основной поток)]]

[[Теория_вероятностей_2016/2017_(пилотный_поток) | Теория вероятностей на ПМИ (пилотный поток)]]

[[Архитектура_компьютеров_и_операционные_системы_2016/2017 | Архитектура компьютеров и операционные системы]]

[[Факультатив_теория_вычислений_2016/2017 | Факультатив теория вычислений на ПМИ]]

[[Дополнительные_главы_теории_вероятностей_(факультатив,_2017) | Дополнительные главы теории вероятностей (факультатив)]]

[[Дифференциальные_уравнения_(2_курс,_2016/2017) | Дифференциальные уравнения]]

[[Математическая_статистика_2016/2017_(пилотный_поток) | Математическая статистика на ПМИ (пилотный поток)]]

[[Архитектура_компьютеров_и_операционные_системы_2016/2017 | Архитектура компьютеров и операционные системы ]]

||

[[НИС_Машинное_обучение_и_приложения_2016/2017 | НИС Машинное обучение и приложения на ПМИ]]

[[Машинное_обучение_1/2016_2017 | Машинное обучение 1 на ПМИ]]

[[Машинное_обучение_2/2016_2017 | Машинное обучение 2 на ПМИ]]

[[Прикладной_статистический_анализ_данных | Прикладной статистический анализ данных на ПМИ]]

[[Численные_методы_в_анализе_данных | Численные методы в анализе данных на ПМИ]]

[http://www.machinelearning.ru/wiki/index.php?title=Статистика_случайных_процессов_(курс_лекций,_ФКН_ВШЭ) Вероятностные модели и статистика случайных процессов на ПМИ]

[http://www.machinelearning.ru/wiki/index.php?title=Opt Методы оптимизации на ПМИ (специализации МОП и РС)]

[[Методы_оптимизации_(весна_2017)|Методы оптимизации 2 (дискретная оптимизация)]]

[[НИС_Распределенные_системы_(осень_2016) | НИС Распределенные системы]]

[[Анализ и верификация алгоритмов биржевой торговли | Анализ и верификация алгоритмов для систем биржевой торговли ]]

[[Программирование_на_графических_процессорах | Программирование на графических процессорах]]

[[ЯРПО | Языки разработки ПО (курс по выбору) на ПМИ]]

[[Data analysis (Software Engineering) 2017 | Data analysis на ПИ]]

[[Базы данных 2 | Базы данных 2 ]]

[[Компьютерные сети 2 | Компьютерные сети 2]]

[[Машинное_обучение_на_больших_данных | Машинное обучение на больших данных на ПМИ]]

||

[[Современные_методы_машинного_обучения_(курс_майнора) | Современные методы машинного обучения (курс майнора)]]

[[Майнор_Интеллектуальный_анализ_данных/Введение_в_программирование_2016/2017 | Введение в программирование (курс майнора)]]

[[Майнор Интеллектуальный анализ данных/Введение в анализ данных/2016-2017 | Введение в анализ данных (курс майнора)]]

[[Майнор Интеллектуальный анализ данных/Прикладные задачи анализа данных| Прикладные задачи анализа данных (курс майнора)]]

|}

{|width=100%
|style="vertical-align:top;"|



=== Курсы за 2015/16 учебный год ===
{|
|-
| [[Технологии программирования|Технологии программирования на ПМИ]]
|-
|[[ОиМП-2015|Основы и методология программирования на ПМИ]]
|-
|[[Алгоритмы и структуры данных 2016]]
|-
|[[Линейная алгебра и геометрия_2015/2016 | Линейная алгебра и геометрия на ПМИ]]
|-
|[[Алгебра_2015/2016 | Алгебра на ПМИ]]
|-
|[http://hsealgebra.wikidot.com/ Алгебра на ПИ]
|-
|[[Компьютерные системы]]
|-
|[[Математический анализ на ПМИ_2015/2016 | Математический анализ на ПМИ]]
|-
|[[Факультатив_Матпрактикум | Матпрактикум (факультатив) на ПМИ]]
|-
|[[Data analysis (Software Engineering)]] 
|-
|[[Майнор Интеллектуальный анализ данных/Введение в программирование|Введение в программирование (курс майнора) на ПМИ]]
|-
|[[Майнор Интеллектуальный анализ данных/Введение в анализ данных/2015-2016|Введение в анализ данных (курс майнора) на ПМИ]]
|-
|[[НИС Машинное обучение и приложения|НИС Машинное обучение и приложения на ПМИ]]
|-
|[[Архитектура компьютеров и системное программирование (ПМИ_4, 2015/2016)|Архитектура компьютеров и системное программирование (4 курс)]]
|-
|[[Дифференциальные уравнения (2 курс, 2015/2016)| Дифференциальные уравнения]]
|-
|[[Введение в VBA|Введение в VBA]]
|}

|style="vertical-align:top;"|



=== Курсы за 2014/15 учебный год ===
{|
|-
|[[Основы и методологии программирования]] 
|-
|[[Алгоритмы и структуры данных 2015 | Алгоритмы и структуры данных]] 
|-
|[[Анализ данных (Программная инженерия)]] 
|-
|[[Алгебра_2014/2015 | Алгебра]] 
|-
|[[Magolego_sna_2015| MAGoLEGO Social Network Analysis]]
|}

==== Проектная работа ====
{|
|-
|[[Проектная работа]] 
|-
|[[Учебная практика 1 курс (2016)]]
|-
|[[Проектная работа 2 курс (2016)]]
|}


|}

== Мероприятия факультета компьютерных наук ==
=== Summer School 2015 ===
[[Introduction to Natural Language Processing|Introduction to Natural Language Processing]]
#[[Lecture 1. Introduction|Introduction]]
#[[Lecture 2. Tokenization and word counts|Tokenization and word counts]]
#[[Lecture 3. POS tagging. Key word and phrase extraction|POS tagging. Key word and phrase extraction]]
#[[Lecture 4. Parsing|Parsing]]
#[[Lecture 5. Language sources|Language sources]]
#[[Lecture 6. Synonyms and near-synonyms detection|Synonyms and near-synonyms detection]]
#[[Lecture 8. Suffix trees for NLP|Suffix trees for NLP]]
#[[NLP References|References]]

== Архив ==
* [[Учебная практика 1 курс (2015)]]

Wiki ФКН

2022-01-10T15:16:49Z

Dkropotov: /* Курсы за 2021/22 учебный год */

__NOTOC__

= Учебные курсы факультета компьютерных наук =

== Курсы за 2021/22 учебный год ==
{| class="wikitable"
|-
! 1 курс !! 2 курс !! 3 курс !! 4 курс !! майноры и факультативы
|-
|
'''ПМИ'''

[[Линейная_алгебра_и_геометрия_на_ПМИ_2021/2022_(пилотный_поток) | Линейная алгебра и геометрия на ПМИ (пилотный_поток)]]

[[Линейная_алгебра_и_геометрия_на_ПМИ_2021/2022_(основной_поток) | Линейная алгебра и геометрия на ПМИ (основной поток)]]

[[Математический_Анализ_1_на_ПМИ_2021/2022_(пилотный_поток) | Математический анализ 1 на ПМИ (пилотный поток)]]

[[Математический_анализ_1_2021/2022_(основной_поток) | Математический анализ-1 на ПМИ (основной поток)]]

[[DM1-2021-22 | Дискретная математика на ПМИ]]

[http://wiki.cs.hse.ru/Основы_и_методология_программирования_на_ПМИ_2021/2022_(основной_поток) Основы и методология программирования на ПМИ 2021/2022 (основной поток)]

[[Алгоритмы и структуры данных пилотный поток 2021/2022 | Алгоритмы и структуры данных пилотный поток 2021/2022]]

[[Алгоритмы и структуры данных 1 основной поток 2021/2022 | Алгоритмы и структуры данных 1 основной поток 2021/2022]]

'''ПИ'''

[[DM1-SE-2021-22 | Дискретная математика-1 ПИ]]

[http://hsealgebra22.wikidot.com/ Алгебра 2021/2022 ПИ]

'''ПАД'''

[[Discrete Mathematics DSBA 2021/2022 | Discrete Mathematics (DSBA)]]

[[LAaG DSBA 2021/2022 | LAaG (DSBA)]]

[[Calculus DSBA 2021/2022 | Calculus (DSBA)]]

[[Introduction to Programming DSBA 2021/2022 | Introduction to Programming (DSBA)]]

'''КНАД'''

[[Математический_анализ_(КНАД) | Математический анализ (КНАД)]]

[[Линейная алгебра_(КНАД) | Линейная алгебра (КНАД)]]

[[Программирование_на_Python | Программирование на Python (КНАД)]]

[[Дискретная_математика_КНАД | Дискретная математика (КНАД)]]

[[Алгоритмы и структуры данных 1 основной поток 2021/2022 | Алгоритмы и структуры данных (КНАД)]]

||

'''ПМИ'''

[[Теория_вероятностей_и_математическая_статистика_2021/2022_(пилотный_поток)| ТВиМС (пилотный поток)]]

[[Теория_вероятностей_2021/2022_(основной_поток)| ТВиМС (основной поток)]]

[[Математический анализ 2021/2022 (пилотный поток) | Математический анализ - 2 (пилотный поток)]]

[http://wiki.cs.hse.ru/%D0%9C%D0%B0%D1%82%D0%B5%D0%BC%D0%B0%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D0%B9_%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_-_2.1_(2021/22) Математический анализ - 2 (основной поток)]

[[MissingSemester2021/2022 | Инструменты промышленной разработки (The Missing Semester of your CS education)]]

[[Язык программирования C++ (углубленный курс) | Язык программирования C++ (углубленный курс)]]

[[Математическая логика | Математическая логика]]

[[Дифференциальные уравнения (ПМИ)]]

[[Алгоритмы и структуры данных 2 2021 | Алгоритмы и структуры данных 2]]

[[Алгоритмы_и_структуры_данных_пилотный_поток_2020/2021 | Алгоритмы и структуры данных – 2 на ПМИ (пилотный поток)]]

[[CAOS-2021 | Архитектура компьютеров и операционные системы]]

'''ПИ'''

[[Алгоритмы и структуры данных на ПИ 2021/2022 | Алгоритмы и структуры данных на ПИ]]

[[Теория вероятностей и математическая статистика 2021-2022 | Теория вероятностей и математическая статистика]]

[[НИС Методы и алгоритмы защиты информации | НИС Методы и алгоритмы защиты информации]]

'''ПАД'''

[[Discrete Mathematics 2 DSBA 2021/2022 | Discrete Mathematics 2 (DSBA)]]

[[Business_and_Management_in_Global_Context_2021/22 | Business and Management in Global Context (DSBA)]]

[[Statistics_DSBA_2021/2022 | Probability and Statistics (DSBA)]]

[[Differential_Equations_2021 | Differential Equations ]]

[[ACOS_DSBA_2021/2022 | Computer Architecture and Operating Systems (DSBA)]]

||

[[Безопасность_компьютерных_систем_21/22 | Безопасность компьютерных систем 21/22]]

[https://www.notion.so/2021-2022-7374a6eeced2434288226a339bd5037f Курсовая работа]

'''ПМИ'''

[[Машинное_обучение_1 | Машинное обучение 1]]

[[Intro_to_DL_21/22 | Introduction to Deep Learning 21/22 ]]

[[Theory of Computation 2021 | Theory of Computation]]

[https://osukhoroslov-hse.notion.site/082aef7073a844afa4c1bf718a773d77 Распределенные системы]

[https://naorlov.notion.site/naorlov/Nets-2021-51931594039e40aeb9102b784d7a8e70 Компьютерные сети]

[http://wiki.cs.hse.ru/%D0%A7%D0%B8%D1%81%D0%BB%D0%B5%D0%BD%D0%BD%D1%8B%D0%B5_%D0%9C%D0%B5%D1%82%D0%BE%D0%B4%D1%8B_2022#.D0.A3.D1.87.D0.B5.D0.B1.D0.BD.D1.8B.D0.B9_.D0.BF.D0.BB.D0.B0.D0.BD Численные методы(2022)]

[http://math-info.hse.ru/s21/8 Прикладные дифференциальные уравнения]

[http://wiki.cs.hse.ru/%D0%9C%D0%B0%D1%82%D0%B5%D0%BC%D0%B0%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%BE%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5_22 Математическое моделирование]

[https://osukhoroslov-hse.notion.site/5ca71a3b2b17452599f169468df43408 НИС Распределенные системы]

[http://wiki.cs.hse.ru/NIS-TCS-20-21 НИС Теоретическая информатика]

[[Сбор_и_разметка_данных_для_машинного_обучения_21/22 | Сбор и разметка данных для машинного обучения 21/22]]

[[time_series_modelling_21_22 | Моделирование временных рядов 21/22]]

[[Анализ данных в бизнесе (Кафедра SAS) 21/22 | Анализ данных в бизнесе (Кафедра SAS) 21/22]]

[[Comb2021_2022 | Комбинаторные конструкции в теоретической информатике]]

'''ПМИ / МОП'''

[http://wiki.cs.hse.ru/Psmo_21_22 Прикладная статистика в машинном обучении 21/22]

[[НИС_Машинное_обучение_и_приложения_3_курс_2021/2022 | НИС Машинное обучение и приложения 3 курс]]

[[Statistical_learning_theory_2021 | Statistical learning theory]]

[[Методы оптимизации в машинном обучении 2022| Методы оптимизации в машинном обучении 2022]

'''ПИ'''

[[ML4SE_1 | НИС Машинное обучение для программной инженерии]]

'''ПАД'''

[http://wiki.cs.hse.ru/Time_Series_and_Stochastic_Processes_ada_21_22 Time series and stochastic processes 2021-22]

[[Data Science Case Studies (JD SAS) 21/22 | Data Science Case Studies (JD SAS) 21/22]]

||

[[Безопасность_компьютерных_систем_21/22 | Безопасность компьютерных систем 21/22]]

[http://wiki.cs.hse.ru/%D0%94%D0%B8%D0%B7%D0%B0%D0%B9%D0%BD_%D1%81%D0%B8%D1%81%D1%82%D0%B5%D0%BC_21/22 Дизайн систем]

[http://wiki.cs.hse.ru/%D0%9E%D1%81%D0%BD%D0%BE%D0%B2%D1%8B_%D1%82%D0%B5%D0%BD%D0%B7%D0%BE%D1%80%D0%BD%D1%8B%D1%85_%D0%B2%D1%8B%D1%87%D0%B8%D1%81%D0%BB%D0%B5%D0%BD%D0%B8%D0%B9 Основы тензорых вычислений]

[[Сбор_и_разметка_данных_для_машинного_обучения_21/22 | Сбор и разметка данных для машинного обучения 21/22]]

[[Байесовские_методы_машинного_обучения_2021 | Байесовские методы машинного обучения]]

[[НИС_Машинное_обучение_и_приложения_4_курс_2021/2022 | НИС Машинное обучение и приложения 4 курс]]

[https://artemova.notion.site/artemova/c88a68750cff4b509699fa127be11801 Глубинное обучение для текстовых данных 2021/2022]

[http://wiki.cs.hse.ru/LSML_2021/2022 Машинное обучение для больших данных 21/22]

'''ПМИ / РС'''

[https://osukhoroslov-hse.notion.site/2-0cd36b67b9f64182bfeabcda9ede647a НИС Распределенные системы 2]

[[msbdp_21 | Методы и системы обработки больших данных]]

[https://osukhoroslov-hse.notion.site/cee4a50ac8cf4e328cefbd35cf822fa5 Облачные вычисления]

'''ПМИ / ТИ'''

[[InfTheory2021 | Теория информации]]

[[OWF2021 | Односторонние функции и их применения]]

[[ConvAppr22 | Выпуклое программирование и аппроксимационные алгоритмы ]]

'''ПАД'''

[[Statistics 4mr 2021-22 | Statistical Methods for Market Research (DSBA)]]

[[Decision Making Strategy]]

||
[[Дополнительные_главы_теории_вероятностей-2_2021/2022|ДГТВ-2]]

[http://wiki.cs.hse.ru/%D0%9C%D0%B0%D0%B9%D0%BD%D0%BE%D1%80_%D0%91%D0%B8%D0%BE%D0%B8%D0%BD%D1%84%D0%BE%D1%80%D0%BC%D0%B0%D1%82%D0%B8%D0%BA%D0%B0_1_%D0%B3%D0%BE%D0%B4_2021/22 Майнор Биоинформатика 1 год 2021/22]

[[Майнор_Биоинформатика_2_год_2021/22|Майнор Биоинформатика 2 год 2021/22]]

[[Введение_в_программирование_21/22_(майнор_ИАД) | Введение в программирование 21/22 (майнор ИАД)]]

[[Основы_глубинного_обучения | Основы глубинного обучения (майнор ИАД)]]

[[Функциональное_программирование_2019 | Функциональное программирование 2021]]

[[KotlinElective|Факультатив "Язык Kotlin" (ноя-дек 2021)]]

[[Dopglavy_DM_2022| Дополнительные главы дискретной математики]]

[[Факультатив_Data_Science_в_игровой_индустрии_(SAS) | Факультатив Data Science в игровой индустрии (SAS)]]

[[Факультатив_Анализ_данных_на_платформе_SAS | Факультатив Анализ данных на платформе SAS]]

[https://rroll.to/2D8yXl Основы и методология пикапа на ПМИ 2021/2022]

|}

== Курсы в рамках проекта [https://www.hse.ru/dataculture/ Data Culture]==

=== 2 семестр ===
{| class="wikitable"
|-
! Дисциплина !! Образовательная программа !! Курс !! Модули
|-
| [http://wiki.cs.hse.ru/Программирование_на_Python_деп_медиа_2022 Программирование на языке Python] || Журналистика и Медиакоммуникации || 1 курс || 3 модуль
|-
|}

=== 1 семестр ===
{| class="wikitable"
|-
! Дисциплина !! Образовательная программа !! Курс !! Модули
|-
| [http://wiki.cs.hse.ru/%D0%A6%D0%B8%D1%84%D1%80%D0%BE%D0%B2%D0%B0%D1%8F_%D0%B3%D1%80%D0%B0%D0%BC%D0%BE%D1%82%D0%BD%D0%BE%D1%81%D1%82%D1%8C_%D0%93%D0%B5%D0%BE%D0%B3%D1%80%D0%B0%D1%84%D0%B8%D1%8F_2020/21 Цифровая грамотность] || География глобальных измерений и геоинформационные технологии || 1 курс || 1-2 модули
|-
| [[Цифровая грамотность, Востоковедение 2021/2022| Цифровая грамотность]] || Востоковедение || 1 курс || 1-2 модули
|-
|[[Цифровая Грамотность ИКВиА 2021/2022 | Цифровая грамотность]] || ИКВиА || 1 курс || 1-2 модули
|-
| [http://wiki.cs.hse.ru/%D0%98%D0%BD%D1%84%D0%BE%D1%80%D0%BC%D0%B0%D1%86%D0%B8%D0%BE%D0%BD%D0%BD%D1%8B%D0%B5_%D1%82%D0%B5%D1%85%D0%BD%D0%BE%D0%BB%D0%BE%D0%B3%D0%B8%D0%B8_%D0%B2_%D0%B4%D0%B5%D1%8F%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D0%BE%D1%81%D1%82%D0%B8_%D1%8E%D1%80%D0%B8%D1%81%D1%82%D0%B0_2018-2019 Цифровая грамотность] || Юриспруденция || 1 курс || 1-2 модули
|-
| [http://wiki.cs.hse.ru/%D0%98%D0%BD%D1%84%D0%BE%D1%80%D0%BC%D0%B0%D1%86%D0%B8%D0%BE%D0%BD%D0%BD%D1%8B%D0%B5_%D1%82%D0%B5%D1%85%D0%BD%D0%BE%D0%BB%D0%BE%D0%B3%D0%B8%D0%B8_%D0%B2_%D0%B4%D0%B5%D1%8F%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D0%BE%D1%81%D1%82%D0%B8_%D1%8E%D1%80%D0%B8%D1%81%D1%82%D0%B0_2018-2019 Цифровая грамотность] || Юриспруденция:частное право || 1 курс || 1-2 модули
|-
| [http://wiki.cs.hse.ru/%D0%A6%D0%B8%D1%84%D1%80%D0%BE%D0%B2%D0%B0%D1%8F_%D0%B3%D1%80%D0%B0%D0%BC%D0%BE%D1%82%D0%BD%D0%BE%D1%81%D1%82%D1%8C_%D0%98%D1%81%D1%82%D0%BE%D1%80%D0%B8%D1%8F_2021/2022 Цифровая грамотность] ||История || 1 курс || 1-2 модули
|-
| [http://wiki.cs.hse.ru/Цифровая_грамотность_Филология_2021/2022 Цифровая грамотность] || Филология || 1 курс || 1-2 модули
|-
| [http://wiki.cs.hse.ru/%D0%A6%D0%B8%D1%84%D1%80%D0%BE%D0%B2%D0%B0%D1%8F_%D0%B3%D1%80%D0%B0%D0%BC%D0%BE%D1%82%D0%BD%D0%BE%D1%81%D1%82%D1%8C_2020-21_(%D0%9A%D1%83%D0%BB%D1%8C%D1%82%D1%83%D1%80%D0%BE%D0%BB%D0%BE%D0%B3%D0%B8%D1%8F) Цифровая грамотность] || Культурология || 1 курс || 1-2 модули
|-
| [http://wiki.cs.hse.ru/%D0%A6%D0%B8%D1%84%D1%80%D0%BE%D0%B2%D0%B0%D1%8F_%D0%B3%D1%80%D0%B0%D0%BC%D0%BE%D1%82%D0%BD%D0%BE%D1%81%D1%82%D1%8C_%D0%94%D0%B5%D0%BF%D0%B0%D1%80%D1%82%D0%B0%D0%BC%D0%B5%D0%BD%D1%82_%D0%9C%D0%B5%D0%B4%D0%B8%D0%B0_2021-2022 Цифровая грамотность] || Медиакоммуникации и Журналистика || 1 курс || 1-2 модули
|-
| [http://wiki.cs.hse.ru/Цифровая_грамотность_Философия_2021/2022 Цифровая грамотность] || Философия || 1 курс || 1-2 модуль
|-
| [http://wiki.cs.hse.ru/Основы_программирования_на_Python_осень_2021_матфак Основы программирования на Python] || Математика || 3 курс || 1-2 модули
|-
| [http://wiki.cs.hse.ru/%D0%90%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_%D0%B2_R,_%D0%A1%D0%BE%D1%86%D0%B8%D0%BE%D0%BB%D0%BE%D0%B3%D0%B8%D1%8F Анализ данных в R] || Социология || 4 курс || 1-2 модули
|-
| [http://wiki.cs.hse.ru/%D0%9F%D0%9C%D0%A1%D0%90%D0%A0-2_2020 Методы анализа больших данных в исследованиях поведения покупателя] || Прикладные методы социального анализа рынков (магистратура) || 2 курс || 1-2 модули
|-
| [http://wiki.cs.hse.ru/%D0%9C%D0%B0%D1%88%D0%B8%D0%BD%D0%BD%D0%BE%D0%B5_%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B5_(%D0%A4%D0%AD%D0%9D)_-_2021-2022 Машинное обучение] || Экономика || 3,4 курс || 1-2 модули
|-
| [[Программирование_ЭкСтат_ГП | Программирование на языке Python ]] || Городское планирование, Экономика и статистика || 3 курс || 1-2 модули
|-
| [[Основы анализа данных в международных отношениях 2021/2022 | Основы анализа данных в международных отношениях]] || Международные отношения || 2 курс || 1-2 модули
|-
| [http://wiki.cs.hse.ru/Python_%D0%B4%D0%BB%D1%8F_%D0%B8%D0%B7%D0%B2%D0%BB%D0%B5%D1%87%D0%B5%D0%BD%D0%B8%D1%8F_%D0%B8_%D0%BE%D0%B1%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%BA%D0%B8_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85 Python извлечение и обработка данных] || Клеточная и молекулярная биотехнология || 1 курс || 1-2 модули
|-
| [http://wiki.cs.hse.ru/%D0%9E%D1%81%D0%BD%D0%BE%D0%B2%D1%8B_%D0%BF%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D1%8F_%D0%B2_Python_(%D0%9F%D0%BE%D0%BB%D0%B8%D1%82%D0%BE%D0%BB%D0%BE%D0%B3%D0%B8%D1%8F_2020) Основы программирования в Python ] || Политология || 3 курс || 1-2 модули
|-
| [http://wiki.cs.hse.ru/Основы_работы_с_данными:_сбор,_анализ,_визуализация_(ОП_%22Журналистика%22) Основы работы с данными: сбор, анализ, визуализация] || Журналистика || 3 курс || 1-2 модули
|-
| [http://wiki.cs.hse.ru/%D0%92%D0%B2%D0%B5%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5_%D0%B2_Data_Science Data Science] || Экономика впечатлений: менеджмент в индустрии гостеприимства и туризме (магистратура) || 1 курс || 2 модуль
|-
| [http://wiki.cs.hse.ru/%D0%9C%D0%B0%D1%88%D0%B8%D0%BD%D0%BD%D0%BE%D0%B5_%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B5_(%D1%81%D0%BE%D0%B2._%D0%B1%D0%B0%D0%BA._%D0%92%D0%A8%D0%AD-%D0%A0%D0%AD%D0%A8_2021) Машинное обучение] || Совместный бакалавриат НИУ ВШЭ и РЭШ || 3 курс || 1-2 модули
|-
|
|| Бакалавриат НИУ ВШЭ и Лондонского университета || 3 курс || 1-2 модули
|-
| [http://wiki.cs.hse.ru/Data_Analysis_in_Economics_and_Finance_2020-2021 Data Analysis in Economics and Finance] || Бакалавриат НИУ ВШЭ и Лондонского университета || 3 курс || 1-2 модули
|-
| [http://wiki.cs.hse.ru/Data_Analysis_in_Journalism_and_Political_Science_2020-2021 Data Analysis in Journalism and Political Science]|| Бакалавриат НИУ ВШЭ и Лондонского университета || 3 курс || 1-2 модули
|-
| [http://wiki.cs.hse.ru/%D0%9F%D1%80%D0%B8%D0%BA%D0%BB%D0%B0%D0%B4%D0%BD%D1%8B%D0%B5_%D0%B8%D1%81%D1%81%D0%BB%D0%B5%D0%B4%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D1%8F_%D0%B2_%D0%BA%D1%83%D0%BB%D1%8C%D1%82%D1%83%D1%80%D0%BE%D0%BB%D0%BE%D0%B3%D0%B8%D0%B8_2020_1%D0%BC%D0%BE%D0%B4%D1%83%D0%BB%D1%8C Прикладные исследования в культурологии] || Прикладная культурология (магистратура) || 1 курс || 1 модуль
|-
| [http://wiki.cs.hse.ru/%D0%9F%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5_%D0%B8_%D0%BA%D0%BE%D0%BC%D0%BF%D1%8C%D1%8E%D1%82%D0%B5%D1%80%D0%BD%D1%8B%D0%B5_%D0%B8%D0%BD%D1%81%D1%82%D1%80%D1%83%D0%BC%D0%B5%D0%BD%D1%82%D1%8B_%D0%BB%D0%B8%D0%BD%D0%B3%D0%B2%D0%B8%D1%81%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%BE%D0%B3%D0%BE_%D0%B8%D1%81%D1%81%D0%BB%D0%B5%D0%B4%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D1%8F Программирование и лингвистические данные] || Фундаментальная и компьютерная лингвистика || 1 курс || 1, 2, 3, 4 модули
|-
| [http://wiki.cs.hse.ru/%D0%9F%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5_%D0%B8_%D0%BA%D0%BE%D0%BC%D0%BF%D1%8C%D1%8E%D1%82%D0%B5%D1%80%D0%BD%D1%8B%D0%B5_%D0%B8%D0%BD%D1%81%D1%82%D1%80%D1%83%D0%BC%D0%B5%D0%BD%D1%82%D1%8B_%D0%BB%D0%B8%D0%BD%D0%B3%D0%B2%D0%B8%D1%81%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%BE%D0%B3%D0%BE_%D0%B8%D1%81%D1%81%D0%BB%D0%B5%D0%B4%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D1%8F Программирование и лингвистические данные] || Фундаментальная и компьютерная лингвистика || 1 курс || 1, 2, 3 модули
|-
| [http://wiki.cs.hse.ru/%D0%9A%D0%BE%D0%BC%D0%BF%D1%8C%D1%8E%D1%82%D0%B5%D1%80%D0%BD%D0%B0%D1%8F_%D0%BB%D0%B8%D0%BD%D0%B3%D0%B2%D0%B8%D1%81%D1%82%D0%B8%D0%BA%D0%B0_%D0%B8_%D0%B8%D0%BD%D1%84%D0%BE%D1%80%D0%BC%D0%B0%D1%86%D0%B8%D0%BE%D0%BD%D0%BD%D1%8B%D0%B5_%D1%82%D0%B5%D1%85%D0%BD%D0%BE%D0%BB%D0%BE%D0%B3%D0%B8%D0%B8 Программирование и теория алгоритмов] || Фундаментальная и компьютерная лингвистика || 3 курс || 2, 3, 4 модули
|-
| [http://wiki.cs.hse.ru/%D0%9A%D0%BE%D0%BC%D0%BF%D1%8C%D1%8E%D1%82%D0%B5%D1%80%D0%BD%D0%B0%D1%8F_%D0%BB%D0%B8%D0%BD%D0%B3%D0%B2%D0%B8%D1%81%D1%82%D0%B8%D0%BA%D0%B0_%D0%B8_%D0%B8%D0%BD%D1%84%D0%BE%D1%80%D0%BC%D0%B0%D1%86%D0%B8%D0%BE%D0%BD%D0%BD%D1%8B%D0%B5_%D1%82%D0%B5%D1%85%D0%BD%D0%BE%D0%BB%D0%BE%D0%B3%D0%B8%D0%B8_2020 Нейросетевые методы в обработке текстов] || Фундаментальная и компьютерная лингвистика || 4 курс || 1, 2, 3 модули
|-

|}

== Курсы магистратуры ФКН ==

{| class="wikitable"
|-
| [[Modern_Data_Analysis_2021_2022 | Modern Data Analysis]] || Data Science (Науки о данных) || 2 year
|-
| [[Project_Seminar_2021_2022 | Проектный семинар специализации ТИ]] || Науки о данных, специализация ТИ || 1 year
|-
| [[Theory of Computation 2021 | Theory of Computation]] || Науки о данных, специализация ТИ || 1 year
|-
| [[ConvAppr22 | Выпуклое программирование и аппроксимационные алгоритмы ]] || Науки о данных, специализация ТИ || 1 year
|-
| [[RecSys_2021_2022 | Рекомендательные системы]] || ФТИАД || 2 year
|-
| [[Stochastic_analysis_2021_2022 | Стохастический анализ 2021-2022]] || Math of Machine Learning || 1 year
|-
| [[Reinforcement_learning_2021_2022 | Математические основы обучения с подкреплением 2021-2022]] || Math of Machine Learning || 2 year
|-
|}

== Курсы других факультетов ==

{| class="wikitable"
|-
! Дисциплина !! Курс !! Период
|-
| [http://wiki.cs.hse.ru/Econ_probability_2021-22 Теория вероятностей и математическая статистика] || фэн, 2 курс || 1-4 модуль
|-
| [[Динамическая оптимизация в экономике и финансах, фэн, 2021/22|Динамическая оптимизация в экономике и финансах]] || фэн, 3-4 курс || 1-2 модуль
|-
|}

= Архив =

== Курсы за 2020/21 учебный год ==
{| class="wikitable"
|-
! 1 курс !! 2 курс !! 3 курс !! 4 курс !! майноры и факультативы
|-
|
'''ПМИ'''

[[Математический_анализ_1_2020/2021_(пилотный_поток) | Математический анализ-1 на ПМИ (пилотный поток)]]

[[Математический_анализ_1_2020/2021_(основной_поток) | Математический анализ-1 на ПМИ (основной поток)]]

[[Линейная_алгебра_и_геометрия_на_ПМИ_2020/2021_(пилотный_поток) | Линейная алгебра и геометрия на ПМИ (пилотный поток)]]

[[Линейная_алгебра_и_геометрия_на_ПМИ_2020/2021_(основной_поток) | Линейная алгебра и геометрия на ПМИ (основной поток)]]

[[Алгебра_на_ПМИ_2020/2021_(пилотный_поток) | Алгебра (пилотный поток)]]

[[Алгебра_на_ПМИ_2020/2021_(основной_поток) | Алгебра (основной поток)]]

[[Основы_и_методология_программирования_на_ПМИ_2020/2021_(пилотный_поток) | Основы и методология программирования на ПМИ 2020/2021 (пилотный поток)]]

[[Основы_и_методология_программирования_на_ПМИ_2020/2021_(основной_поток)_3_модуль | Основы и методология программирования на ПМИ 2020/2021 (основной поток, III модуль)]]

[[DM1-2020-21 | Дискретная математика-1 ПМИ]]

[[Алгоритмы_и_структуры_данных_1_2020/2021_(4_модуль) | Алгоритмы и структуры данных – 1 (4 модуль) на ПМИ (основной поток)]]

[[Алгоритмы_и_структуры_данных_пилотный_поток_2020/2021 | Алгоритмы и структуры данных – 1 на ПМИ (пилотный поток)]]

'''ПИ'''

[[DM1-SE-2020-21 | Дискретная математика-1 ПИ]]

[http://hsealgebra21.wikidot.com/ Алгебра ПИ]

'''ПАД'''

[[Discrete_Mathematics_DSBA2020/2021 | Discrete Mathematics (DSBA) ]]

[[LAaG_DSBA_2020/2021 | Linear Algebra and Geometry (DSBA)]]

[[English_DSBA_2020/2021 | English DSBA (DSBA)]]

[[Introduction_to_programming_DSBA_2020/2021 | Introduction to Programming (DSBA)]]

[[ Calculus_2020/21 | Calculus (DSBA) ]]

[[Algebra_DSBA_2020/2021 | Algebra DSBA]]

[[Introduction_to_Economics_2020/21 | Introduction to Economics ]]

||
'''ПМИ'''

[[Теория_вероятностей_и_математическая_статистика_2020/2021_(пилотный_поток)| ТВиМС (пилотный поток)]]

[[Теория_вероятностей_2020/2021_(основной_поток)| Теория вероятностей (основной поток)]]

[[Математический_анализ_2020/2021_(пилотный_поток) | Математический анализ 2 на ПМИ (пилотный поток)]]

[[Математический_анализ_-_2_(основной_поток) | Математический анализ - 2 на ПМИ (основной поток)]]

[[MissingSemester2020/2021 | Инструменты промышленной разработки (The Missing Semester of your CS education)]]

[[АКОС ПМИ 2020/2021 | Архитектура компьютеров и операционные системы]]

[[Основы матричных вычислений 2020/2021]]

[[Дифференциальные уравнения (ПМИ)]]

[[DM2-pilot2020/2021 | Дискретная математика-2 на ПМИ (пилотный поток)]]

[[DM2-base2020/2021 | Дискретная математика-2 на ПМИ (основной поток)]]

[[Алгоритмы_и_структуры_данных_пилотный_поток_2019/2020 | Алгоритмы и структуры данных - 2 на ПМИ (пилотный поток)]]

[[Алгоритмы_и_структуры_данных_2_2020/2021 | Алгоритмы и структуры данных – 2 на ПМИ (основной поток)]]

'''ПАД'''

[[Calculus-2_DSBA_2020_(ПАД) | Calculus-2 (DSBA) ]]

[[Discrete_Mathematics_-_2_DSBA2020/2021 | Discrete Mathematics - 2 (DSBA)]]

[[Business_and_Management_in_Global_Context_2020/21 | Business and Management in Global Context (DSBA)]]

[[Principles_of_micro_and_macro-economics_2020/21 | Principles of micro and macro-economics (DSBA)]]

[[Algorithms_and_data_structures_2_2020/21 | Algorithms and data structures 2 (DSBA)]]

[[Statistics_DSBA_2020/2021 | Probability and Statistics (DSBA)]]

[[ACOS_DSBA_2020/2021 | Computer Architecture and Operating Systems (DSBA)]]

[[Differential_Equations_2021 | Differential Equations ]]

||

'''ПМИ'''

[[Машинное_обучение_1/2020_2021 | Машинное обучение 1 на ПМИ]]

[[Машинное_обучение_2 | Машинное обучение 2 на ПМИ]]

[[Прикладная статистика в машинном обучении 20/21]]

[[Безопасность компьютерных систем 20/21]]

[[Theory of computing, AMI]]

[[Матричные вычисления 20/21]]

[[НИС_Машинное_обучение_и_приложения_2020/2021|НИС Машинное обучение и приложения]]

[[Методы оптимизации в машинном обучении|Методы оптимизации в машинном обучении]]

[[Моделирование временных рядов 20/21]]

[[Высокопроизводительные вычисления 20/21]]

[[ Сбор и обработка данных с помощью краудсорсинга 20/21 ]]

[[ Распределённые системы ]]

[[ Компьютерные сети 2021 ]]

[[НИС_РС|НИС Распределенные системы]]

[[Анализ данных в бизнесе (Кафедра SAS)]]

[[Дополнительные главы прикладной статистики (2020/21)]]

[[Comb2020_2021 | Комбинаторные конструкции в теоретической информатике]]

[[Численные Методы 2021]]

[[Методы оптимизации 20/21]]

[[Математическое моделирование]]

'''ПАД'''

[[ MachineLearning1_DSBA2020 | Machine Learning 1 (DSBA)]]

[[ Time_Series_and_Stochastic_Processes_ada_20_21 | Time Series and Stochastic Processes (DSBA) ]]

[[ST2187 Business analytics, applied modelling and prediction | Business analytics, applied modelling and prediction (DSBA)]]

[[Data_Base_2020/2021_DSBA | Data Base (DSBA)]]

[[Social_History_of_Science_2020/21 | Social History of Science (DSBA)]]

[[Elements_of_Econometrics_2020/21 | Elements of Econometrics (DSBA)]]

[[Data Science Case Studies / Анализ данных в бизнесе (Кафедра SAS)]]

[[ Optimization_methods | Optimizaton Methods (DSBA) ]]

||

[[Философия_науки_2020 | Философия науки]]

[[Символьные вычисления]]

'''ПМИ / МОП'''

[[НИС_Машинное_обучение_и_приложения_2020/2021 | НИС Машинное обучение и приложения]]

[[Глубинное обучение в обработке звука 20/21]]

[[Байесовские методы машинного обучения 2020 | Байесовские методы машинного обучения]]

[[Машинное обучение на больших данных 2021]]

[[Генеративные модели в машинном обучении 2021 | Генеративные модели в машинном обучении 2021]]

'''ПМИ / РС'''

[[НИС_РС_2 | НИС Распределенные системы]]

[[msbdp_20 | Методы и системы обработки больших данных]]

[[ Облачные вычисления]]

'''ПМИ / ТИ'''

[[Statistical_learning_theory_2020 | Statistical learning theory]]

[[InfTheo2020-2021|Теория информации]]

[[A_Theorist's_Toolkit_2020_2021 | A Theorist's Toolkit, AMI]]

||

[[ Майнор Биоинформатика 1 год ]]

[[ Майнор Биоинформатика 2 год ]]

[[ Введение в программирование (майнор ИАД) ]]

[[Введение в анализ данных (майнор ИАД)]]

[[Современные_методы_машинного_обучения|Современные методы машинного обучения (майнор ИАД)]]

[[Прикладные_задачи_анализа_данных|Прикладные задачи анализа данных (майнор ИАД)]]

[[ ОУФ Машинное Обучение в Питоне ]]

[[ Факультатив "Теория вычислений и логика" (Осень 2020)]]

[[dopglavy_DM_2021|Допглавы дискретной математики]]

[[Adaptation_DM_20-21 |Adaptation course in DM]]

[[Функциональный анализ (осень 2020)]]

[[KotlinElective|Факультатив "Язык Kotlin" (2-3 модули)]]

[[ Факультатив "Теория вычислений и логика" | Факультатив "Теория вычислений" (Весна 2021)]]

[[Дополнительные_главы_теории_вероятностей_2021 | ДГТВ]]

[[Дополнительные_главы_теории_вероятностей-3_2019/2020 | ДГТВ-3]]

|}

== Курсы магистратуры ФКН ==

{| class="wikitable"
|-
! Дисциплина !! Образовательная программа !! Курс
|-
| [[Stochastic_analysis_2020_2021 | Stochastic Analysis ]] || Statistical Learning Theory || 1 year
|-
| [[Econometrics_fall_2020 | Эконометрика ]] || ФТИАД || 1 year
|-
| [[Recsys_2020_2021 | Рекомендательные системы]] || ФТИАД|| 2 year
|-
| [[Into_to_DataMining_and_Machine_Learning_2020_2021 | Introduction to Data Mining and Machine Learning]] || Data Science (Науки о данных) || 2 year
|-
| [[Project_Seminar_2020_2021 | Проектный семинар специализации ТИ]] || Науки о данных, специализация ТИ || 1 year
|-
|}

== Курсы в рамках проекта [https://www.hse.ru/dataculture/ Data Culture]==
=== 2 семестр ===
{| class="wikitable"
|-
! Дисциплина !! Образовательная программа !! Курс !! Модули
|-
| [[Цифровая грамотность ИЯиМК 2020-2021|Цифровая грамотность ИЯиМК 2020-2021]] || ИЯиМК || 1 курс || 3-4 модули
|-
| [[Data Analysis in Python 2020-2021|Data Analysis in Python]] || Программа двух дипломов НИУ ВШЭ и Лондонского университета "Международные отношения" || 2 курс || 3-4 модули
|-
| [[Машинное обучение на матфаке 2021 |Машинное обучение]] || Математика || 1-4 курс || 3-4 модули
|-
| [http://wiki.cs.hse.ru/Анализ_данных_на_python,_фэн,_2020_spring Анализ данных на python] || Факультет экономических наук || 1 курс || 3-4 модули
|-
| [[Обработка и анализ данных физического эксперимента|Обработка и анализ данных физического эксперимента]] || Физика || 2 курс || 3-4 модули
|-
| [[Python для ОП "Психология" |Python для ОП "Психология" ]] ||Психология || 1 курс || 3-4 модули
|-
| [http://wiki.cs.hse.ru/%D0%90%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_%D0%B2_Python_2020-2021_%D0%9F%D0%BE%D0%BB%D0%B8%D1%82%D0%BE%D0%BB%D0%BE%D0%B3%D0%B8%D1%8F Анализ данных в Python] || Политолгия || 3 курс || 3-4 модули
|-
| [[Цифровая грамотность История искусств 2020-2021]] || История искусств || 1 курс || 3-4 модули
|-
| [[Excel для анализа данных , 20-21|Excel для анализа данных , 20-21]] || ИЯиМК || 4 курс || 3 модуль
|-
| [[ СДиА_Матфак_1_курс_2020/2021 | Структуры данных и алгоритмы ]] || Математика || 3-4 курс || 3-4 модуль
|-
| [[ Python для ГМУ, 20-21 | Python для ГМУ, 2020-2021 ]] || Государственное и муниципальное управление || 1 курс || 4 модуль
|-
| [[ Python для ИЯиМК, 2020-2021 | Python для ИЯиМК, 2020-2021 ]] || ИЯиМК || 2 курс || 4 модуль
|-
| [[ Информационные технологии (факультет химии) | Информационные технологии. Data Culture ]] || Химия || 2 курс || 4 модуль
|-
| [[ Введение_в_анализ_данных_2021_МирЭк | Введение в анализ данных ]] || МирЭк || 1 курс || 4 модуль
|-
| [[ Python для анализа данных (МирЭк) 2020-2021 | Python для анализа данных ]] || МирЭк || 2 курс || 3-4 модуль
|-

|}

=== 1 семестр ===
{| class="wikitable"
|-
! Дисциплина !! Образовательная программа !! Курс !! Модули
|-
| [[Основы программирования на Python осень 2020 матфак|Основы программирования на Python-1]] || Математика || 3 курс || 1-2 модули
|-
| [[Анализ_данных_в_Python_2020-2021|Анализ данных в Python]] || Политология || 4 курс || 1-2 модули
|-
| [[Основы_анализа_и_визуализация_данных_для_медиа_2020/2021|Основы анализа и визуализации данных для медиа]] || Журналистика || 4 курс || 1 модуль
|-
| [[Компьютерная лингвистика и информационные технологии 2020|Компьютерная лингвистика и информационные технологии]] || Фундаментальная и компьютерная лингвистика || 4 курс || 1-3 модули
|-
| [[Проектный семинар медиаком 2020|Проектный семинар]] || Медиакоммуникации || 3 курс || 1 модуль
|-
| [[Основы анализа и визуализации данных ДИЯ 2020-2021|Основы анализа и визуализации данных]] || Иностранные языки и межкультурная коммуникация (ДИЯ) || 2 курс || 1-2 модули
|-
| [[Основы программирования в Python (Политология 2020)|Основы программирования в Python]] || Политология || 3 курс || 1-2 модули
|-
| [[Data Analysis in Journalism and Political Science 2020-2021|Data Analysis in Journalism & Political Science]] || Программа двух дипломов НИУ ВШЭ и Лондонского университета "Международные отношения" || 3 курс || 1 модуль
|-
| [[Data Analysis in Economics and Finance 2020-2021|Data Analysis in Economics & Finance]] || Программа двух дипломов НИУ ВШЭ и Лондонского университета "Международные отношения" || 3 курс || 1 модуль
|-
| [[Прикладные исследования в культурологии 2020 1модуль|Прикладные исследования в культурологии]] || Прикладная культурология || 1 курс || 1 модуль
|-
| [[Основы анализа данных в международных отношениях 20/21|Основы анализа данных в международных отношениях 20/21]] || Международные отношения || 2 курс || 1-2 модуль
|-
| [[Анализ данных в R, Социология|Анализ данных в R]] || Социология || 4 курс || 1-2 модуль
|-
| [[Анализ данных на python, фэн, 2020 fall|Анализ данных на Python]] || Факультет экономических наук || 2 курс || 1-2 модуль
|-
| [[Цифровая грамотность, ЭиАМ|Цифровая грамотность, ЭиАМ]] || Эфиопия и арабский мир || 1 курс || 1-2 модуль
|-
| [[Цифровая грамотность, Античность|Цифровая грамотность, Античность]] || Античность || 1 курс || 1-2 модуль
|-
| [[Цифровая грамотность, ТиТМ|Цифровая грамотность, ТиТМ]] || Турция и Тюркский мир || 1 курс || 1-2 модуль
|-
| [[Цифровая грамотность История 2020/2021|Цифровая грамотность, История]] || История || 1 курс || 1-2 модуль
|-
| [[Цифровая_грамотность_2020_(Востоковедение)|Цифровая грамотность, Востоковедение]] || Востоковедение || 1 курс || 1-2 модуль
|-
| [[Цифровая_грамотность_География_2020/21|Цифровая грамотность, География]] || География || 1 курс || 1-2 модуль
|-
| [[Цифровая_грамотность_(филология)_2020|Цифровая грамотность, Филология]] || Филология|| 1 курс || 1-2 модуль
|-
| [[Машинное_обучение_(сов._бак._ВШЭ-РЭШ_2020)|Машинное обучение]] || Совместная программа по экономике НИУ ВШЭ и РЭШ || 3 курс || 1-2 модуль
|-
| [[Машинное_обучение_(ФЭН)_-_2020|Машинное обучение]] || Экономика || 3-4 курс || 1-2 модуль
|-
| [[Python: работа с данными и текстом|Python: работа с данными и текстом]] || Медиакоммуникации || 2-3 курс || 1-2 модуль
|-
| [[Phyton_для_извлечения_и_обработки_данных|Phyton для извлечения и обработки данных]] || Молекулярная и клеточная биотехнология || 1 курс || 1-2 модуль
|-
| [[ПМСАР-2_2020| Методы анализа больших данных в исследованиях поведения покупателей]] || Прикладные методы социального анализа рынков || 2 г.о. || 1-2 модули
|-
| [[Основы_программирования_на_Python2020/2021|Основы программирования на Python]] || Экономика и статистика || 2-3 курс || 1-2 модули
|-
| [[Извлечение и анализ интернет-данных (2020)|Извлечение и анализ интернет-данных]] || Экономика и статистика || 2-4 курс || 2 модуль

|}

== Курсы других факультетов ==

{| class="wikitable"
|-
! Дисциплина !! Курс !! Период
|-
| [[Теория вероятностей и математическая статистика, фэн, 2020-2021|Теория вероятностей и математическая статистика]] || фэн, 2 курс || 1-4 модуль
|-
| [[Эконометрика, фэн, 2020-2021|Эконометрика]] || фэн, 3 курс || 1-4 модуль
|-
| [[Динамическая оптимизация в экономике и финансах, фэн, 2020-2021|Динамическая оптимизация в экономике и финансах]] || фэн, 3-4 курс || 1-2 модуль
|-
|}

=Архив=

== Курсы за 2019/20 учебный год ==
{| class="wikitable"
|-
! 1 курс !! 2 курс !! 3 курс !! 4 курс !! майноры и факультативы
|-
|

[[Математический_анализ_1_2019/2020 | Математический анализ-1 на ПМИ (пилотный поток)]]

[[Математический_анализ_на_ПМИ_2019/2020_(основной_поток,_2_семестр) | Математический анализ на ПМИ (основной поток, 2 семестр)]]

[[Математический_анализ_на_ПМИ_2019/2020_(основной_поток) | Математический анализ на ПМИ (основной поток)]]

[[Дискретная_математика_1_2019/2020 | Дискретная математика-1 на ПМИ]]

[[Линейная_алгебра_и_геометрия_на_ПМИ_2019/2020_(пилотный_поток) | Линейная алгебра и геометрия на ПМИ (пилотный поток)]]

[[Линейная_алгебра_и_геометрия_на_ПМИ_2019/2020_(основной_поток) | Линейная алгебра и геометрия на ПМИ (основной поток)]]

[[Алгебра_на_ПМИ_2019/2020_(пилотный_поток) | Алгебра на ПМИ (пилотный поток)]]

[[Алгебра_на_ПМИ_2019/2020_(основной_поток) | Алгебра на ПМИ (основной поток)]]

[[Основы_и_методология_программирования_2019/2020 | Основы и методология программирования на ПМИ (основной поток)]]

[[Основы_и_методология_программирования_1_2019/2020_(пилотный_поток) | Основы и методология программирования-1 на ПМИ (пилотный поток)]]

[[Discrete_Mathematics_DSBA2019/2020 | Discrete Mathematics DSBA (ПАД)]]

[[Calculus_DSBA2019/2020 | Calculus DSBA (ПАД) 1st module]]

[[Calculus_DSBA2020 | Calculus DSBA (ПАД) 2nd module]]

[[LAaG_DSBA_2019/2020 | Linear Algebra and Geometry (ПАД)]]

[[Introduction_to_programming_DSBA_2019/2020 | Introduction to Programming (ПАД)]]

[[English_DSBA_2019/2020 | English DSBA (ПАД)]]

[[Algorithms_and_Data_Structures_DSBA_2020 | Algorithms and Data Structures DSBA ]]

[[Algebra_DSBA_2019/2020 | Algebra DSBA]]

[[Алгоритмы_и_структуры_данных_1_основной_поток_2019/202 | Алгоритмы и структуры данных-1 на ПМИ (основной поток)]]

[[Алгоритмы_и_структуры_данных_пилотный_поток_2019/2020 | Алгоритмы и структуры данных на ПМИ (пилотный поток)]]

||

[[DM2-basic2019/2020 | Дискретная математика-2 на ПМИ (основной поток)]]

[[DM2-pilot2019/2020 | Дискретная математика-2 на ПМИ (пилотный поток)]]

[[Теория_вероятностей_2019/2020_(основной_поток)| Теория_вероятностей_2019/2020 на ПМИ (основной поток)]]

[[Теория_вероятностей_и_математическая_статистика_2019/2020_(пилотный_поток)| ТВиМС (пилотный поток)]]

[[Математический_анализ_2019/2020_(пилотный_поток) | Математический анализ 2 на ПМИ (пилотный поток)]]

[[Математический_анализ_2_2019/2020_(основной_поток) | Математический анализ 2 на ПМИ (основной поток)]]

[[Алгоритмы_и_структуры_данных_2_2019/2020 | Алгоритмы и структуры данных – 2 на ПМИ (основной поток)]]

[[Алгоритмы_и_структуры_данных_2018/2019 (пилотный поток) | Алгоритмы и структуры данных на ПМИ (пилотный поток)]]

[[Calculus_2_2019 | Calculus-2 DBSA (ПАД)]]

[[Statistics_DSBA_2019/2020 | Statistics DSBA (ПАД)]]

[[DM2 | Дискретная Математика-2 (ПАД)]]

[[ADS2 | Алгоритмы и Структуры Данных-2 (ПАД)]]

[[Introduction_to_Economics | Introduction to Economics DSBA ]]

[[Business_and_Management_in_Global_Context_2019-2020| Business and Management in Global Context DSBA ]]

[[ACOS_DSBA_2019/2020 | Computer Architecture and Operating Systems (ПАД)]]

[[Differential_Equations_2020 | Differential Equations DSBA ]]

[[Факультатив Теория вычислений_2020 | Факультатив Теория вычислений]]

[[Дифференциальные_уравнения_2020 | Дифференциальные уравнения 2020 ]]

||

[[Машинное_обучение_1/2019_2020 | Машинное обучение 1 на ПМИ]]

[[Машинное_обучение_2/2019_2020 | Машинное обучение 2 на ПМИ]]

[[Численные_Методы_2020 | Численные методы]]

[[Прикладная_статистика_в_машинном_обучении(2019)|Прикладная статистика в машинном обучении]]

[[Theory_of_Computing_2019_2020 | Theory of Computing, AMI]]

[[Компьютерные_Сети | Компьютерные сети]]

[[НИС_Машинное_обучение_и_приложения_2019/2020|НИС Машинное обучение и приложения]]

[[Безопасность_компьютерных_систем_2019|Безопасность компьютерных систем]]

[[Непрерывная_оптимизация_(МОП)/2020| Непрерывная оптимизация (МОП)]]

[[%D0%9D%D0%B5%D0%BF%D1%80%D0%B5%D1%80%D1%8B%D0%B2%D0%BD%D0%B0%D1%8F_%D0%BE%D0%BF%D1%82%D0%B8%D0%BC%D0%B8%D0%B7%D0%B0%D1%86%D0%B8%D1%8F_(%D0%A2%D0%98,_%D0%90%D0%94%D0%98%D0%A1,_%D0%90%D0%9F%D0%A0,_%D0%A0%D0%A1)| Непрерывная оптимизация (ТИ, АДИС, АПР, РС) ]]

[[Data_analysis_(Software_Engineering)_2020|Data Analysis]]

[[Промышленное_программирование_на_языке_Java| Промышленное программирование на языке Java]]

[[CCTI_2020|Сложность вычислений и логика в теоретической информатике]]

||

[[InfTheo2019-2020|Теория информации]]

[[Байесовские_методы_машинного_обучения_2019|Байесовские методы машинного обучения]]

[[НИС Науки о данных]]

[[НИС_Машинное_обучение_и_приложения_2019/2020|НИС Машинное обучение и приложения]]

[[Философия_науки_2019|Философия науки]]

[[Глубинное обучение|Глубинное обучение]]

[[NLP 2019|NLP Анализ данных]]

[[Безопасность_компьютерных_систем_2019|Безопасность компьютерных систем]]

[[Генеративные_модели_в_машинном_обучении_2020|Генеративные модели в машинном обучении]]

[[Компьютерные Сети 4 курс| Компьютерные сети]]

[[Промышленное_программирование_на_языке_Java| Промышленное программирование на языке Java]]

[[Машинное_обучение_на_больших_данных_2020|Машинное обучение на больших данных]]

[[Основы_обработки_больших_данных_2020|Основы обработки больших данных]]

||
[[MinorBioinformatics|Биоинформатика]]

[[Майнор Интеллектуальный анализ данных/Современные_методы_машинного_обучения | Современные методы машинного обучения (ИАД)]]

[[KotlinElective|Факультатив "Язык Kotlin" (2-3 модули)]]

[[ISDElective|Факультатив "Методы разработки программного обеспечения" (1-2 модули)]]

[[Введение в программирование (курс майнора)]]

[[dopglavy_DM_1920|Допглавы дискретной математики]]

[[Дополнительные_главы_теории_вероятностей-2_2019/2020|ДГТВ-2]]

[[Дополнительные_главы_теории_вероятностей_2020|ДГТВ]]

[[Введение_в_анализ_данных_(майнор_ИАД)_2019/2020|Введение в анализ данных (майнор ИАД)]]

[[Прикладные_задачи_анализа_данных_(майнор_ИАД)|Прикладные задачи анализа данных (майнор ИАД)]]

[[NonClassicalLogics|Факультатив "Неклассические логики" (3 модуль)]]

|}

== Курсы магистратуры ФКН ==

{| class="wikitable"
|-
! Дисциплина !! Образовательная программа !! Курс

|-
| [[Theory_of_Computing_2019_2020 | Theory of Computing]] || Науки о данных, специализация ТИ || 1 курс
|-
| [[Project_Seminar_2019_2020 | Проектный семинар специализации ТИ]] || Науки о данных, специализация ТИ || 1 курс
|-
| [[Stochastic_analysis_2019_2020 | Stochastic Calculus ]] || Statistical Learning Theory || 1 year
|-
| [[A_Theorist's_Toolkit_2019_2020 | A Theorist's Toolkit, AMI]] || Науки о данных, специализация ТИ || 1 курс
|-
| [[Neurobayesian_models_2020 | Neurobayesian models ]] || Statistical Learning Theory || 2 year
|}

== Курсы в рамках проекта [https://www.hse.ru/dataculture/ Data Culture]==
=== 2 семестр ===

{| class="wikitable"
|- http://wiki.cs.hse.ru/Цифровая_грамотность_(филология)_2020#.F0.9F.93.AC_.D0.A7.D0.B0.D1.82.D1.8B_.D0.B3.D1.80.D1.83.D0.BF.D0.BF
! Дисциплина !! Образовательная программа !! Курс !! Модули
|-
| [[Введение в анализ данных 2020 МирЭк| Введение в анализ данных]] || Мировая экономика || 1 курс || 3-4 модуль
|-
|[[ Основы программирования в Python (Мирэк) | Основы программирования в Python]] || Мировая экономика || 2 курс || 3-4 модуль
|-
| [[ Цифровая грамотность, ИЯиМК| Цифровая грамотность ]] || Иностранные языки и межкультурная коммуникация || 1 курс || 3-4 модуль
|-
| [[ Цифровая_грамотность_(филология)_2020| Цифровая грамотность ]] || Филология || 1 курс || 3-4 модуль
|-
| [[Цифровая_грамотность_(ФиКЛ)_2020| Цифровая грамотность ]] || Фундаментальная и компьютерная лингвистика || 1 курс || 4 модуль
|-
| [[ Цифровая грамотность 2019-2020 (История искусств)| Цифровая грамотность ]] || История искусств || 1 курс || 3-4 модуль
|-
| [[ Цифровая грамотность 2019-2020 (Культурология)| Цифровая грамотность ]] || Культурология || 1 курс || 3-4 модуль
|-
| [[ Цифровая грамотность, ЯиЛ_ЮВА| Цифровая грамотность ]] || Языки и литература Юго-Восточной Азии || 1 курс || 3-4 модуль
|-
| [[ Цифровая грамотность, ЯиЛЯ| Цифровая грамотность ]] || Языки и литература Японии || 1 курс || 3-4 модуль
|-
| [[ ППО Социология 1 курс 2019/2020| ППО (Python для извлечения и обработки данных) ]] || Социология || 1 курс || 3 модуль
|-
|[[ Машинное обучение на матфаке 2020 | Машинное обучение]] || Математика || 2-4 курс || 3-4 модуль
|-
|[[ Excel для анализа данных | Excel для анализа данных]] || ИЯиМК || 4 курс || 3 модуль
|-
| [[ Python для извлечения и обработки данных Медиаком 2 курс 2019/2020| Python для извлечения и обработки данных ]] || Медиакоммуникации || 2 курс || 3 модуль
|-
| [[ Python для извлечения и обработки данных Медиаком 1 курс 2019/2020| Python для извлечения и обработки данных ]] || Медиакоммуникации || 1 курс || 4 модуль
|-
| [[ СДиА Матфак 1 курс 2019/2020| Структуры данных и алгоритмы ]] || Математика || 3-4 курс || 3-4 модуль
|-
| [[Методы_машинного_обучения_(Прикладная_политология)|Методы машинного обучения]] || Прикладная политология || 1 г.о. || 2-3 модули
|-
| [[Наука о данных (Экономика)|Наука о данных]] || Экономика || 2 курс || 3-4 модули
|-
| [[Основы программирования на Python весна 2021 матфак|Основы программирования на Python, 2 часть]] || Математика || 2-4 курс || 3-4 модули
|-
| [[Культура работы с данными, КМБТ|Культура работы с данными, КМБТ]] || Клеточная и молекулярная биотехнология || 1 курс || 3-4 модули
|-
| [[Natural_Language_Processing_Blended_2020_module4 | Natural Language Processing (blended)]] || Прикладная политология || 1 г.о. || 4 модуль
|-
| [[ПМСАР-1 2019/2020|Автоматизированный сбор больших данных в экономико-социологических исследованиях]] || Прикладные методы социального анализа рынков || 1 г.о. || 3-4 модули
|-
| [[Введение в Data Science]] || Экономика впечатлений: менеджмент в индустрии гостеприимства и туризме || 1 г.о. || 3 модуль
|-
| [[Принципы построения математических моделей]] || МИЭМ || 1 г.о. || 4 модуль
|-
| [[Python для извлечения и обработки данных Психология 1 курс 2019/2020]] || Психология || 1 г.о. || 4 модуль
|-
| [[Технологии анализа больших данных ГМУ 1 курс 2019/2020]] || ГМУ || 1 г.о. || 4 модуль
|-
| [[Городское планирование | Цифровая грамотность]] || Городское планирование || 1 г.о. || 4 модуль
|}

=== 1 семестр ===
{| class="wikitable"
|-
! Дисциплина !! Образовательная программа !! Курс !! Модули

|-
| [[ Основы анализа и визуализация данных для медиа 2019/2020 | Основы анализа и визуализации данных для медиа ]] || Журналистика || 4 курс || 1 модуль
|-
| [[ Анализ данных в Python 2019-2020 | Анализ данных в Python ]] || Политология || 4 курс || 1-2 модули
|-
| [[Introduction to Data Culture 2019-2020 | Introduction to Data Culture ]] || Программа двух дипломов НИУ ВШЭ и Лондонского университета "Международные отношения" || 1 курс || 2 модуль
|-
| [[ Основы анализа данных в международных отношениях | Основы анализа данных в международных отношениях ]] || Международные отношения || 2 курс || 1-2 модуль
|-
| [[Основы программирования в Python (Политология)|Основы программирования в Python]] || Политология || 3 курс || 1-2 модули
|-
| [[Основы программирования на Python осень 2019 матфак|Основы программирования на Python-1]] || Математика || 1-4 курс || 1-2 модули
|-
| [[ Цифровая грамотность (История 2019) | Цифровая грамотность ]] || История || 1 курс || 1-2 модули
|-
| [[ Цифровая грамотность (Востоковедение 2019) | Цифровая грамотность ]] || Востоковедение|| 1 курс || 1-2 модули
|-
| [[ Цифровая_грамотность_2019-2020(философия) | Цифровая грамотность ]] || Философия || 1 курс || 1-2 модули
|-
| [[ Цифровая грамотность (ассириология и античность 2019) | Цифровая грамотность ]] || Ассириология и античность|| 1 курс || 1-2 модули
|-
| [[ПМСАР-2_2019| Методы анализа больших данных в исследованиях поведения покупателей]] || Прикладные методы социального анализа рынков || 2 г.о. || 1-2 модули
|-
| [[Работа с данными]] || Медиакоммуникации || 4 курс || 1 модуль
|-
| [[Машинное обучение (фэн 2019)]] || ФЭН || 3 курс || 1-2 модули
|-
| [[Natural_Language_Processing_Blended_2019_module1 | Natural Language Processing (blended)]] || Прикладная политология || 2 г.о. || 1 модуль
|-
| [[ ML_HSE_NES_2019 | Машинное обучение (ВШЭ-РЭШ)]] || Совместный бакалавриат ВШЭ-РЭШ || 3-4 курс || 1-2 модули
|-
| [[ Основы_анализа_и_визуализации_данных_ДИЯ_2019/2020 | Основы анализа и визуализации данных ]] || ДИЯ || 2 курс || 1,2 модуль
|-
| [[Методы_машинного_обучения_(Прикладная_политология)|Методы машинного обучения]] || Прикладная политология || 1 г.о. || 2-3 модули
|-
| [[Основы_программирования_на_Python2019/2020|Основы программирования на Python]] || Экономика и статистика || 2-4 курс || 2 модуль
|}

== Курсы других факультетов ==

{| class="wikitable"
|-
! Дисциплина !! Курс !! Период
|-
| [[Теория вероятностей и математическая статистика, фэн, 2019-2020|Теория вероятностей и математическая статистика]] || фэн, 2 курс || 3-4 модуль
|-
| [[Микроэконометрика качественных данных, фэн, 2020|Микроэконометрика качественных данных 2020]] || фэн, 4 курс || 1-2 модуль
|}

== Курсы за 2018/19 учебный год ==
{| class="wikitable"
|-
! 1 курс !! 2 курс !! 3 курс !! 4 курс !! майноры и факультативы
|-
|

[[Математический_анализ_на_ПМИ_2018/2019_(пилотный_поток) | Математический анализ на ПМИ (пилотный поток)]]

[[Математический_анализ_на_ПМИ_2018/2019_(основной_поток) | Математический анализ на ПМИ (основной поток)]]

[[Calculus_DSBA_2018/2019 | Calculus I DSBA (ПАД)]]

[[Основы_и_методология_программирования_на_ПМИ_2018/2019_(пилотный_поток) | Основы и методология программирования на ПМИ (пилотный поток)]]

[[Основы_и_методология_программирования_на_ПМИ_2019_(С%2B%2B,_основной_поток) | Основы и методология программирования на ПМИ (С++, основной поток)]]

[[Линейная_алгебра_и_геометрия_на_ПМИ_2018/2019_(пилотный_поток) | Линейная алгебра и геометрия на ПМИ (пилотный поток)]]

[[Линейная_алгебра_и_геометрия_на_ПМИ_2018/2019_(основной_поток) | Линейная алгебра и геометрия на ПМИ (основной поток)]]

[[LAaG_DSBA_2018/2019 | LAaG DSBA]]

[[Дискретная_математика_1_2018/2019 | Дискретная математика-1 на ПМИ]]

[[Discrete_Mathematics_DSBA2018/2019 |Discrete Mathematics DSBA (ПАД)]]

[[Introduction_to_programming | Introduction to programming DSBA (ПАД)]]

[[Introduction_to_programming_2 | Introduction to programming 2 DSBA (ПАД)]]

[[Алгебра_на_ПМИ_2018/2019_(пилотный_поток) | Алгебра на ПМИ (пилотный поток)]]

[[Алгебра_на_ПМИ_2018/2019_(основной_поток) | Алгебра на ПМИ (основной поток)]]

[[Algebra_DSBA_2018/2019 | Algebra DSBA]]

[http://hsealgebra19.wikidot.com Алгебра на ПИ]

[[Алгоритмы_и_структуры_данных_2018/2019 | Алгоритмы и структуры данных на ПМИ (основной поток)]]

[[Алгоритмы_и_структуры_данных_2018/2019 (пилотный поток) | Алгоритмы и структуры данных на ПМИ (пилотный поток)]]

||

[http://math-info.hse.ru/2018-19/Дифференциальные_уравнения_(ФКН) Дифференциальные уравнения]

[[Теория_вероятностей_2018/2019_(основной_поток) | Теория вероятностей на ПМИ (основной поток)]]

[[Теория_вероятностей_2018/2019_(пилотный_поток) | Теория вероятностей на ПМИ (пилотный поток)]]

[[Математический_анализ_2018/2019_(пилотный_поток) | Математический анализ 2 на ПМИ (пилотный поток)]]

[[Математический_анализ_2018/2019_(основной_поток) | Математический анализ 2 на ПМИ (основной поток)]]

[[DM2-pilot2018/2019 | Дискретная математика-2 на ПМИ (пилотный поток)]]

[[DM2-basic2018/2019 | Дискретная математика-2 на ПМИ (основной поток)]]

[[Алгоритмы_и_структуры_данных_2_2018/2019 | Алгоритмы и структуры данных – 2 на ПМИ (основной поток)]]

[[Факультатив Теория вычислений]]

||

[[Машинное_обучение_1/2018_2019 | Машинное обучение 1 на ПМИ]]

[[Машинное_обучение_2 | Машинное обучение 2 на ПМИ]]

[[Численные_Методы_2018 | Численные методы ]]

[[PDC | Параллельные и распределенные вычисления]]

[[Theory_of_Computing_2018_2019 | Theory of Computing, AMI]]

[[НИС_Машинное_обучение_и_приложения_2018/2019|НИС Машинное обучение и приложения]]

[[Прикладная_статистика_в_машинном_обучении(2018)|Прикладная статистика в машинном обучении]]

[[Безопасность_компьютерных_систем_2018|Безопасность компьютерных систем]]

[[Основные методы анализа данных]]

[[Теория баз данных]]

[[Непрерывная оптимизация/2019|Непрерывная оптимизация (161-162)]]

[[Непрерывная оптимизация (163-167)]]

[[Сложность вычислений и логика в теоретической информатике]]

[[Data analysis (Software Engineering) 2019|Data analysis]]

[[Анализ данных в бизнесе 2019|Анализ данных в бизнесе на ПМИ ]]

[[Intro to DL Blended | Intro to DL Blended]]

[[Дискретная оптимизация 2019 | Дискретная оптимизация 2019]]

||

[[Statistical_learning_theory_2018_2019 | Introduction to statistical learning theory]]

[[Анализ_неструктурированных_данных-2018 |Анализ неструктурированных данных ]]

[[Байесовские_методы_машинного_обучения_2018|Байесовские методы машинного обучения]]

[[НИС_Машинное_обучение_и_приложения_2018/2019|НИС Машинное обучение и приложения]]

[[НИС_Науки_о_данных_2018/2019|НИС Науки о данных]]

[[НИС_Распределенные_системы_(4_курс,_2018)|НИС Распределенные системы]]

[[Теория_Информации_2018/2019|Теория информации]]

[[Безопасность_компьютерных_систем_2018|Безопасность компьютерных систем]]

[[Методы_и_системы_обработки_больших_данных_(осень_2018)|Методы и системы обработки больших данных]]

[[Философия_науки_2018|Философия науки]]

[[Теория баз данных]]

[[ConvAppr19 | Выпуклое программирование и аппроксимационные алгоритмы (ТИ)]]

[[Функциональное программирование 2019 | Функциональное программирование]]

[[A_Theorist's_Toolkit_2018_2019 | A Theorist's Toolkit, AMI]]

[[Анализ данных в бизнесе 2019|Анализ данных в бизнесе на ПМИ ]]

||
[[Дополнительные главы теории вероятностей 2019 | Дополнительные главы теории вероятностей 2019]]

[[Дополнительные главы математической статистики 2019 | Дополнительные главы математической статистики 2019]]

[[Введение в программирование (курс майнора) 2018/2019]]

[[dopglavy_DM_1819|Допглавы дискретной математики]]

[[Современные_методы_машинного_обучения_(курс_майнора)_2018/2019 | Современные методы машинного обучения (курс майнора) 2018/2019]]

[[Прикладные_задачи_анализа_данных_(майнор_-_весна_2019) | Прикладные задачи анализа данных (майнор - весна 2019)]]

[[Майнор Интеллектуальный анализ данных/Введение в анализ данных | Введение в анализ данных (курс майнора)]]

[[Функциональный анализ (весна_2019) | Функциональный анализ (весна_2019)]]

[[KotlinElective| Язык Kotlin (3 и 4 модули 2018-2019)]]

|}

== Курсы в рамках проекта [https://www.hse.ru/dataculture/ Data Culture]==
=== 2 семестр ===

{| class="wikitable"
|-
! Дисциплина !! Образовательная программа !! Курс !! Модули

|-
| [[Основы программирования на Python весна 2020 матфак|Основы программирования на Python-2]] || Математика || 2-4 курс || 3-4 модули
|-
| [[Цифровая_грамотность_(филология)|Цифровая грамотность]] || Филология || 1 курс || 3-4 модули
|-
| [[Цифровая_грамотность_(ИИ_и_культурология)|Цифровая грамотность]] || История искусств и Культурология || 1 курс || 3-4 модули
|-
| [[Цифровая_грамотность_(ИЯМК_2019)|Цифровая грамотность]] || Иностранные языки и межкультурная коммуникация (ДИЯ) || 1 курс || 3-4 модули
|-
| [[Основы_анализа_и_визуализации_данных_ДИЯ_2019|Анализ и визуализации данных]] || Иностранные языки и межкультурная коммуникация (ДИЯ) || 2 курс || 3-4 модули
|-
| [[Научно-исследовательский_семинар_2019| Научно-исследовательский семинар]] || Политология || 1 курс || 3 модуль
|-
| [[ММО_Политология_201810|Методы машинного обучения]] || Прикладная политология || 1 г.о. || 2-3 модули
|-
| [[Основы_программирования_в_Python_2019|Основы программирования в Python]] || Мировая экономика || 2 курс || 3-4 модули
|-
| [[Программирование_и_компьютерные_инструменты_лингвистического_исследования|Программирование и компьютерные инструменты лингвистического исследования]] || Фундаментальная и компьютерная лингвистика || 1 курс || 1-4 модули
|-
| [[Компьютерная лингвистика и информационные технологии|Компьютерная лингвистика и информационные технологии]] || Фундаментальная и компьютерная лингвистика || 4 курс || 1-3 модули
|-
| [[ПМСАР-1|Автоматизированный сбор больших данных в экономико-социологических исследованиях]] || Прикладные методы социального анализа рынков || 1 г.о. || 3-4 модули
|-
| [[Искусственный интеллект и большие данные_(2019)|Искусственный интеллект и большие данные]] || Дизайн, Мода, Современное искусство || 1 курс || 3-4 модули
|-
| [[Информационный менеджмент: Введение в Data Science|Информационный менеджмент: Введение в Data Science]] || Управление бизнесом Маркетинг и рыночная аналитика || 1 курс || 4 модуль
|-
| [[Технологии анализа больших данных|Технологии анализа больших данных]] || ГМУ || 1 курс || 4 модуль
|-
| [[Основы программирования на Python (Прикладное программное обеспечение)|Основы программирования на Python (Прикладное программное обеспечение)]] || Социология || 1 курс || 4 модуль
|-
| [[Основы работы с данными|Основы работы с данными]] || Медиакоммуникации || 2 курс || 4 модуль
|-
| [[Введение_в_data_science_Социология_1_курс|Профориентационный семинар (Data Culture)]] || Социология || 1 курс || 4 модуль
|-
| [[Введение_в_анализ_данных_МирЭк_2019|Введение в анализ данных]] || Мировая экономика || 1 курс || 4 модуль

|}

=== 1 семестр ===

{| class="wikitable"
|-
! Дисциплина !! Образовательная программа !! Курс !! Модули

|-
| [[Основы анализа данных в международных отношениях 2018/2019|Основы анализа данных в международных отношениях]] || Международные отношения || 2 курс || 1-2 модули
|-
| [[Introduction_to_Data_Culture_2018-2019|Introduction to Data Culture]] || Программа двух дипломов НИУ ВШЭ и Лондонского университета "Международные отношения" || 1 курс || 2 модуль
|-
| [[Программирование_и_компьютерные_инструменты_лингвистического_исследования|Программирование и компьютерные инструменты лингвистического исследования]] || Фундаментальная и компьютерная лингвистика || 1 курс || 1-4 модули
|-
| [[Цифровая грамотность(востоковедение)|Цифровая грамотность]] || Востоковедение || 1 курс || 1 модуль
|-
| [[Разработка управленческих решений в маркетинге | Разработка управленческих решений в маркетинге]] || Маркетинг и рыночная аналитика || 2 курс || 1-2 модули
|-
| [[Информационные технологии в деятельности юриста_2018-2019| Информационные технологии в деятельности юриста]] || Юриспруденция || 1 курс || 2 модуль
|-
| [[Машинное обучение на матфаке 2018/2019| Машинное обучение]] || Факультет математики || 2-4 курсы || 1-2 модули
|-
| [[ПМСАР-2| Методы анализа больших данных в исследованиях поведения покупателей]] || Прикладные методы социального анализа рынков || 2 г.о. || 1-2 модули
|-
| [[Анализ данных в Python (Политологи 1 семестр 1-2 модули)|Анализ данных в Python]] || Политология || 4 курс || 1-2 модули
|-
| [[Основы анализа и визуализации данных для медиа (Журналисты 1 семестр 1 модуль)|Основы анализа и визуализации данных для медиа]] || Журналистика || 4 курс || 1 модуль
|-
| [[Компьютерная лингвистика и информационные технологии|Компьютерная лингвистика и информационные технологии]] || Фундаментальная и компьютерная лингвистика || 4 курс || 1-3 модули
|-
| [[Введение в анализ текстов на Python для ФГН 2018|Введение в анализ текстов на Python для ФГН 2018]] || Фундаментальная и компьютерная лингвистика || 3 курс || 1, 2, 4 модули
|-
| [[Машинное обучение (ФЭН)]] || Факультет экономических наук || 3-4 курсы || 1-2 модули
|-
| [[Программирование_(python)_для_экономистов|Программирование (Python) для экономистов]] || Факультет экономических наук || 2 курс || 1-2 модули
|-
| [[Цифровая грамотность(философия)|Цифровая грамотность]] || Философия || 1 курс || 1-2 модули
|-
| [[Цифровая_грамотность_(историки)|Цифровая грамотность]] || История || 1 курс || 1-2 модули
|-
| [[Обработка и анализ данных физического эксперимента|Обработка и анализ данных физического эксперимента]] || Физика || 2 курс || 1-2 модули
|-
| [[Статистический анализ в среде R (Социологи 1 семестр 2 модуль)|Статистический анализ в среде R ]] || Социология || 4 курс || 2 модуль
|-
| [[ММО_Политология_201810|Методы машинного обучения]] || Прикладная политология || 1 г.о. || 2-3 модули
|}

==Courses of the Statistical Learning Theory program==
[[Neurobayesian_models_2019|Neurobayesian models]]

== Курсы за 2017/18 учебный год ==
{| class="wikitable"
|-
! 1 курс !! 2 курс !! 3 курс !! 4 курс !! майноры и факультативы
|-
|

[[Математический_анализ_на_ПМИ_2017/2018_(пилотный_поток) | Математический анализ на ПМИ 2017/2018 (пилотный поток)]]

[[Математический_анализ_на_ПМИ_2017/2018_(основной_поток) | Математический анализ на ПМИ 2017/2018 (основной поток)]]

[[Основы_и_методология_программирования_на_ПМИ_2017/2018_(пилотный_поток,_1_модуль) | Основы и методология программирования на ПМИ 2017/2018 (пилотный поток, 1 модуль)]]

[[Основы_и_методология_программирования_на_ПМИ_2017/2018_(основной_поток,_2_модуль) | Основы и методология программирования на ПМИ 2017/2018 (основной поток, 2 модуль)]]

[[Основы_и_методология_программирования_на_ПМИ_2017/2018_(основной_поток,_3_модуль) | Основы и методология программирования на ПМИ 2017/2018 (основной поток, 3 модуль)]]

[[Алгоритмы_и_структуры_данных_на_ПМИ_2017/2018_(основной_поток) | Алгоритмы и структуры данных на ПМИ 2017/2018 (основной поток)]]

[[Линейная_алгебра_и_геометрия_на_ПМИ_2017/2018_(пилотный_поток) | Линейная алгебра и геометрия на ПМИ (пилотный поток)]]

[[Линейная_алгебра_и_геометрия_на_ПМИ_2017/2018_(основной_поток) | Линейная алгебра и геометрия на ПМИ (основной поток)]]

[[Дискретная_математика_1_2017/2018 | Дискретная математика-1 на ПМИ]]

[[Алгоритмы и структуры данных 1 | Алгоритмы и структуры данных – 1 (пилотный поток)]]

[[Алгебра_на_ПМИ_2017/2018 | Алгебра на ПМИ]]

[http://hsealgebra18.wikidot.com Алгебра на ПИ]

||
[[Теория_вероятностей_2017/2018_(основной_поток) | Теория вероятностей на ПМИ (основной поток)]]

[[Теория_вероятностей_2017/2018_(пилотный_поток) | Теория вероятностей на ПМИ (пилотный поток)]]

[[Математический анализ-3 на ПМИ_2017/2018_(основной_поток) | Математический анализ-2 на ПМИ (основной поток)]]

[[Математический анализ на ПМИ_2017/2018 | Математический анализ-3 на ПМИ (пилотный поток)]]

[[DM2-pilot2017/2018 | Дискретная математика-2 на ПМИ (пилотный поток)]]

[[DM_2_2017_2018 | Дискретная математика-2 на ПМИ (основной поток)]]

[[Алгоритмы и структуры данных_2_2017/2018 | Алгоритмы и структуры данных – 2 на ПМИ (основной поток)]]

[[Дифференциальные уравнения (2 курс, 2017/2018)| Дифференциальные уравнения]]

||
[[Машинное_обучение_1/2017_2018 | Машинное обучение 1 на ПМИ]]

[[Машинное_обучение_2/2017_2018 | Машинное обучение 2 на ПМИ]]

[[Численные_методы_2017 | Численные методы]]

[[Statistics of Stochastic Processes|Статистика случайных процессов 2018]]

[[Прикладная_статистика_в_машинном_обучении | Прикладная статистика в машинном обучении]]

[[Theory_of_Computing | Theory of Computing, AMI]]

[[Statistical_learning_theory | Introduction to statistical learning theory]]

[[Основные_методы_анализа_данных_(специализация_АДИС) | Основные методы анализа данных на ПМИ]]

[[Анализ неструктурированных данных]]

[[Безопасность компьютерных систем 2017 | Безопасность компьютерных систем]]

[[НИС_Распределенные_системы_(3_курс,_2017) | НИС Распределенные системы]]

[[НИС_Машинное_обучение_и_приложения_2017/2018 | НИС Машинное обучение и приложения]]

[[Непрерывная_оптимизация | Непрерывная оптимизация]]

[[ Сложность_и_логика| Сложность вычислений и логика в теоретической информатике]]

[[Data_analysis_(Software_Engineering)_2018 | Data Analysis на ПИ]]

[http://telegra.ph/Kurs-Vvedenie-v-OOP-VSHEH-2018-Modul-3-01-30 Введение в ООП]

[http://wiki.cs.hse.ru/Машинное_обучение_на_больших_данных Машинное обучение на больших данных]

[[Дискретная_оптимизация | Дискретная оптимизация]]

||

[[Безопасность компьютерных систем 2017 | Безопасность компьютерных систем]]

[[Философия_науки_2017 | Философия науки]]

[[НИС_Распределенные_системы_(4_курс,_2017) | НИС Распределенные системы]]

[[НИС_Машинное_обучение_и_приложения_2017/2018 | НИС Машинное обучение и приложения]]

[[Анализ неструктурированных данных]]

[[Байесовские методы машинного обучения 2017 | Байесовские методы машинного обучения]]

[[Функциональное программирование 2018 | Функциональное программирование]]

[http://telegra.ph/Kurs-Vvedenie-v-OOP-VSHEH-2018-Modul-3-01-30 Введение в ООП]

||

[[Современные методы машинного обучения (курс майнора) 2017/2018]]

[[Введение в программирование (курс майнора) 2017/2018]]

[[Майнор Интеллектуальный анализ данных/Введение в анализ данных/2017-2018 | Введение в анализ данных (курс майнора)]]

[[Прикладные задачи анализа данных (майнор - весна 2018)]]

[[Маго-лего "Линейная алгебра в приложениях" весна 2018 | Линейная алгебра в приложениях (маго-лего)]]

[[Функциональный анализ 2017/18 | Функциональный анализ на ПМИ (факультатив)]]

[[Дополнительные главы теории вероятностей и математической статистики (факультативы) | Дополнительные главы теории вероятностей и математической статистики (факультативы)]]

[[Дополнительные главы дискретной математики 2017/18 | Дополнительные главы дискретной математики (факультатив)]]

[[Цифровые технологии в гуманитарных науках]]

|}

== Курсы в рамках проекта [https://www.hse.ru/dataculture/ Data Culture]==

=== 2 семестр ===

[[Цифровая_грамотность_2018_(2_семестр)|Цифровая грамотность (факультет гуманитарных наук — 2 семестр: ИЯМК, Филология, История искусств, Культурология, 1 курс)]] 
[[Научно-исследовательский семинар (ФСН) |Научно-исследовательский семинар (ОП "Политология", 1 курс)]] 
[[Introduction_to_Data_Culture|Introduction to Data Culture (HSE and University of London Parallel Degree Programme in International Relations, 1 year)]] 
[[ИИ_и_БД|Искусственный интеллект и большие данные (ОП "Дизайн", "Мода", 1 курс)]] 
[[Компьютерная лингвистика и информационные технологии |Компьютерная лингвистика и информационные технологии (ОП "Фундаментальная и компьютерная лингвистика", 4 курс, 2 семестр)]] 
[[Основы анализа данных в международных отношениях|Основы анализа данных в международных отношениях (ОП "Международные отношения", 2 курс, 4 модуль)]] 
[[Введение в data science (2_семестр)|Профориентационный семинар (блок по введению в data scicence) (Факультет социальных наук — 2 семестр: Социология, 1 курс)]] 
[[Введение в Data Science| Введение в Data Science (ФБиМ, 4 модуль)]] 

=== 1 семестр ===

[[Цифровая_грамотность|Цифровая грамотность (факультет гуманитарных наук — 1 семестр: История, Философия, 1 курс)]] 
[[Машинное обучение (факультет экономических наук)|Машинное обучение (факультет экономических наук)]] 
[[Компьютерная лингвистика и информационные технологии |Компьютерная лингвистика и информационные технологии (ОП "Фундаментальная и компьютерная лингвистика", 4 курс, 1 семестр)]] 
[[Извлечение и анализ интернет-данных | Извлечение и анализ интернет-данных (факультет экономических наук)]] 
[[Анализ больших данных в социальных науках (ФСН, 2017) | Анализ больших данных в социальных науках (ФСН, 2017)]] 
[[Информационные_технологии_в_деятельности_юриста|Информационные технологии в деятельности юриста (Факультет права)]] 
[[Машинное_обучение_для_лингвистов|Машинное обучение (магистратура Школы лингвистики)]] 

== Курсы магистратуры Финансовые технологии и анализ данных ==

[[Вероятностные_модели_и_прикладная_статистика_в_финансовой_математике|Вероятностные модели и прикладная статистика в финансовой математике]]

[[Рекомендательные системы и поиск закономерностей в данных|Рекомендательные системы и поиск закономерностей в данных]]

== Courses of Data Science master program/Курсы магистерской программы "Науки о данных" ==

[[Introduction to Machine Learning and Data Mining |Introduction to Machine Learning and Data Mining 2019]]

[[Introduction to Machine Learning and Data Mining 2020 |Introduction to Machine Learning and Data Mining 2020]]

== Курсы за 2016/17 учебный год ==
{| class="wikitable"
|-
! 1 курс !! 2 курс !! 3-4 курс !! майноры
|-
|

[[Математический анализ на ПМИ_2016/2017 | Математический анализ на ПМИ (пилотный поток)]]

[[Линейная алгебра и геометрия_2016/2017 | Линейная алгебра и геометрия на ПМИ]]

[[Дискретная_математика_1_2016/2017 | Дискретная математика-1 на ПМИ]]

[[Основы и методология программирования_2016/2017_пилотный_поток | Основы и методология программирования на ПМИ (пилотный поток)]]

[[Основы и методология программирования_2016/2017 | Основы и методология программирования на ПМИ (основной поток)]]

[[Алгоритмы_и_структуры_данных_на_ПМИ_(пилотный_поток) | Алгоритмы и структуры данных на ПМИ (пилотный поток)]]

[[Алгоритмы_и_структуры_данных_на_ПМИ_(основной_поток) | Алгоритмы и структуры данных на ПМИ (основной поток)]]

[[Алгебра_на_ПМИ_2016/2017 | Алгебра на ПМИ]]

[http://hsealgebra17.wikidot.com/ Алгебра на ПИ]

||

[[Математический анализ_2016/2017 | Математический анализ-3 на ПМИ (основной поток)]]

[[Математически_анализ_3_на_ПМИ_(пилотный_поток) | Математический анализ-3 на ПМИ (пилотный поток)]]

[[DM_2_2016_2017 | Дискретная математика-2 на ПМИ (основной поток)]]

[[Дискретная математика_2_2016/2017 | Дискретная математика-2 на ПМИ (пилотный поток)]]

[[Алгоритмы и структуры данных_2_2016/2017 | Алгоритмы и структуры данных – 2 на ПМИ (основной поток)]]

[[Теория вероятностей_2016/2017 | Теория вероятностей на ПМИ (основной поток)]]

[[Теория_вероятностей_2016/2017_(пилотный_поток) | Теория вероятностей на ПМИ (пилотный поток)]]

[[Архитектура_компьютеров_и_операционные_системы_2016/2017 | Архитектура компьютеров и операционные системы]]

[[Факультатив_теория_вычислений_2016/2017 | Факультатив теория вычислений на ПМИ]]

[[Дополнительные_главы_теории_вероятностей_(факультатив,_2017) | Дополнительные главы теории вероятностей (факультатив)]]

[[Дифференциальные_уравнения_(2_курс,_2016/2017) | Дифференциальные уравнения]]

[[Математическая_статистика_2016/2017_(пилотный_поток) | Математическая статистика на ПМИ (пилотный поток)]]

[[Архитектура_компьютеров_и_операционные_системы_2016/2017 | Архитектура компьютеров и операционные системы ]]

||

[[НИС_Машинное_обучение_и_приложения_2016/2017 | НИС Машинное обучение и приложения на ПМИ]]

[[Машинное_обучение_1/2016_2017 | Машинное обучение 1 на ПМИ]]

[[Машинное_обучение_2/2016_2017 | Машинное обучение 2 на ПМИ]]

[[Прикладной_статистический_анализ_данных | Прикладной статистический анализ данных на ПМИ]]

[[Численные_методы_в_анализе_данных | Численные методы в анализе данных на ПМИ]]

[http://www.machinelearning.ru/wiki/index.php?title=Статистика_случайных_процессов_(курс_лекций,_ФКН_ВШЭ) Вероятностные модели и статистика случайных процессов на ПМИ]

[http://www.machinelearning.ru/wiki/index.php?title=Opt Методы оптимизации на ПМИ (специализации МОП и РС)]

[[Методы_оптимизации_(весна_2017)|Методы оптимизации 2 (дискретная оптимизация)]]

[[НИС_Распределенные_системы_(осень_2016) | НИС Распределенные системы]]

[[Анализ и верификация алгоритмов биржевой торговли | Анализ и верификация алгоритмов для систем биржевой торговли ]]

[[Программирование_на_графических_процессорах | Программирование на графических процессорах]]

[[ЯРПО | Языки разработки ПО (курс по выбору) на ПМИ]]

[[Data analysis (Software Engineering) 2017 | Data analysis на ПИ]]

[[Базы данных 2 | Базы данных 2 ]]

[[Компьютерные сети 2 | Компьютерные сети 2]]

[[Машинное_обучение_на_больших_данных | Машинное обучение на больших данных на ПМИ]]

||

[[Современные_методы_машинного_обучения_(курс_майнора) | Современные методы машинного обучения (курс майнора)]]

[[Майнор_Интеллектуальный_анализ_данных/Введение_в_программирование_2016/2017 | Введение в программирование (курс майнора)]]

[[Майнор Интеллектуальный анализ данных/Введение в анализ данных/2016-2017 | Введение в анализ данных (курс майнора)]]

[[Майнор Интеллектуальный анализ данных/Прикладные задачи анализа данных| Прикладные задачи анализа данных (курс майнора)]]

|}

{|width=100%
|style="vertical-align:top;"|



=== Курсы за 2015/16 учебный год ===
{|
|-
| [[Технологии программирования|Технологии программирования на ПМИ]]
|-
|[[ОиМП-2015|Основы и методология программирования на ПМИ]]
|-
|[[Алгоритмы и структуры данных 2016]]
|-
|[[Линейная алгебра и геометрия_2015/2016 | Линейная алгебра и геометрия на ПМИ]]
|-
|[[Алгебра_2015/2016 | Алгебра на ПМИ]]
|-
|[http://hsealgebra.wikidot.com/ Алгебра на ПИ]
|-
|[[Компьютерные системы]]
|-
|[[Математический анализ на ПМИ_2015/2016 | Математический анализ на ПМИ]]
|-
|[[Факультатив_Матпрактикум | Матпрактикум (факультатив) на ПМИ]]
|-
|[[Data analysis (Software Engineering)]] 
|-
|[[Майнор Интеллектуальный анализ данных/Введение в программирование|Введение в программирование (курс майнора) на ПМИ]]
|-
|[[Майнор Интеллектуальный анализ данных/Введение в анализ данных/2015-2016|Введение в анализ данных (курс майнора) на ПМИ]]
|-
|[[НИС Машинное обучение и приложения|НИС Машинное обучение и приложения на ПМИ]]
|-
|[[Архитектура компьютеров и системное программирование (ПМИ_4, 2015/2016)|Архитектура компьютеров и системное программирование (4 курс)]]
|-
|[[Дифференциальные уравнения (2 курс, 2015/2016)| Дифференциальные уравнения]]
|-
|[[Введение в VBA|Введение в VBA]]
|}

|style="vertical-align:top;"|



=== Курсы за 2014/15 учебный год ===
{|
|-
|[[Основы и методологии программирования]] 
|-
|[[Алгоритмы и структуры данных 2015 | Алгоритмы и структуры данных]] 
|-
|[[Анализ данных (Программная инженерия)]] 
|-
|[[Алгебра_2014/2015 | Алгебра]] 
|-
|[[Magolego_sna_2015| MAGoLEGO Social Network Analysis]]
|}

==== Проектная работа ====
{|
|-
|[[Проектная работа]] 
|-
|[[Учебная практика 1 курс (2016)]]
|-
|[[Проектная работа 2 курс (2016)]]
|}


|}

== Мероприятия факультета компьютерных наук ==
=== Summer School 2015 ===
[[Introduction to Natural Language Processing|Introduction to Natural Language Processing]]
#[[Lecture 1. Introduction|Introduction]]
#[[Lecture 2. Tokenization and word counts|Tokenization and word counts]]
#[[Lecture 3. POS tagging. Key word and phrase extraction|POS tagging. Key word and phrase extraction]]
#[[Lecture 4. Parsing|Parsing]]
#[[Lecture 5. Language sources|Language sources]]
#[[Lecture 6. Synonyms and near-synonyms detection|Synonyms and near-synonyms detection]]
#[[Lecture 8. Suffix trees for NLP|Suffix trees for NLP]]
#[[NLP References|References]]

== Архив ==
* [[Учебная практика 1 курс (2015)]]

Методы оптимизации в машинном обучении

2021-06-19T07:56:34Z

Dkropotov:

__NOTOC__
Методы оптимизации лежат в основе решения многих задач компьютерных наук. Например, в машинном обучении задачу оптимизации необходимо решать каждый раз при настройке какой-то модели алгоритмов по данным, причём от эффективности решения соответствующей задачи оптимизации зависит практическая применимость самого метода машинного обучения. Данный курс посвящен изучению классических и современных методов решения задач непрерывной оптимизации (в том числе невыпуклых), а также особенностям применения этих методов в задачах оптимизации, возникающих в машинном обучении. Основной акцент в изложении делается на практические аспекты реализации и использования методов. Целью курса является выработка у слушателей навыков по подбору подходящего метода для своей задачи, наиболее полно учитывающего её особенности.

'''Преподаватели''': Кропотов Дмитрий Александрович, Гадецкий Артём, Кодрян Максим, Шаповалов Никита, Бобров Евгений.

{| class="wikitable"
! Группа !! Расписание !! Инвайт для anytask
|-
| 181 || вторник, лекция в 13:00, семинар в 16:20, ауд. R406 || align="center"|QdSHCUV
|-
| 182 || вторник, лекция в 13:00, семинар в 14:40, ауд. R406 || align="center"|qgj0NZ4
|}

Группа в Telegram для вопросов по курсу: [https://t.me/joinchat/GvxpZR02zbp7fk-G ссылка]

Видеозаписи занятий: [https://www.youtube.com/playlist?list=PLEwK9wdS5g0r4mynGsdH8QDme1VNMXwzz ссылка]

== Экзамен ==
[https://drive.google.com/file/d/1FZPTSNvlVH8rsuA1s58eWoL5gKXPnbzq/view?usp=sharing Список вопросов к экзамену + теоретический минимум]

Онлайн-консультация к экзамену запланирована на 22 июня, начало в 13-00.

== Система выставления оценок по курсу ==
В рамках курса предполагается два теоретических и одно практическое домашнее задание, а также устный экзамен в конце курса. Каждое задание и экзамен оцениваются исходя из 10-ти баллов. За задания можно получить дополнительные баллы за выполнение бонусных пунктов. Общая оценка за курс вычисляется по правилу Округление_вверх(0.6*<Оценка_за_семестр> + 0.4*<Оценка_за_экзамен>). <Оценка_за_семестр> = min(10, <Суммарная_оценка_за_задания>*10 / <Максимальная_суммарная_оценка_за_задания_без_бонусов>). Итоговая оценка за курс совпадает с общей оценкой при соблюдении следующих дополнительных условий:
{| class="wikitable"
! Итоговая оценка !! Условия
|-
|align="center"|>=8 || Сданы все задания, кроме одного, экзамен сдан на оценку >= 6
|-
|align="center"|>=6 || Сданы все задания, кроме одного, экзамен сдан на оценку >= 4
|-
|align="center"|>=4 || Сданы все задания, кроме двух, экзамен сдан на оценку >= 4
|-
|}

== Правила сдачи заданий ==
Теоретические и практические задания сдаются в систему anytask (инвайт см. выше). Эти задания могут быть присланы после срока сдачи, но с задержкой не более одной недели. При этом начисляется штраф из расчёта 0.5 балла в день. Все задания выполняются самостоятельно. Если задание выполнялось сообща или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчёте. В противном случае «похожие» решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.

Теоретические задания сдаются в anytask в виде сканов или набранных в TeX pdf-файлов. '''ВАЖНО!''' Присылаемые сканы должны быть высокого качества, присылаться одним файлом, в котором все листы идут в правильном порядке. В случае плохого качества сканов или же сдачи в формате, отличном от pdf, проверяющий имеет право поставить за работу 0, не проверяя.

== Лекции и семинары ==
{| class = "wikitable"
|+
! № п/п
! Дата
! Занятие
! Материалы
|-
| align="center"|1
| 12 января 2021
| Введение в курс. Скорости сходимости итерационных процессов. Матрично-векторное дифференцирование. || [https://drive.google.com/file/d/1MXENV3Ryy8SgK3_q_lKB5gBG39qcl8_M/view?usp=sharing Конспект]
[https://drive.google.com/file/d/1bNWF262guJHTphptCTYARAsUKRPC9QmS/view?usp=sharing Конспект]
|-
| align="center"|2
| 19 января 2021
| ''Занятия не будет'' ||
|-
| align="center"|3
| 26 января 2021
| Одномерная оптимизация || [http://www.machinelearning.ru/wiki/images/4/4d/MOMO16_min1d.pdf Конспект]
|-
| align="center"|4
| 02 февраля 2021
| Метод градиентного спуска ||
|-
| align="center"|5
| 09 февраля 2021
| Стандартные матричные разложения. Метод Ньютона. || [https://drive.google.com/file/d/1K9xt0seQ_Oi0UcyziwHibhnr7PorNfqe/view?usp=sharing Презентация по подготовке отчётов]
|-
| align="center"|6
| 16 февраля 2021
| Метод сопряжённых градиентов. || [https://drive.google.com/file/d/1Ai3ZSuLTb0C6hL5KcAvagzJgKqL1-ySo/view?usp=sharing Презентация]
|-
| align="center"|7
| 02 марта 2021
| Безгессианный метод Ньютона. Выпуклые множества. || [https://drive.google.com/file/d/1t9_Uvo-xrVd_nIVUk4CGXGfebHcFtTkw/view?usp=sharing Конспект]
|-
| align="center"|8
| 09 марта 2021
| Квазиньютоновские методы оптимизации. Выпуклые функции. || [https://drive.google.com/file/d/1glvkT1g6C405RT773KwUdKYRW_bhOKct/view?usp=sharing Конспект]
|-
| align="center"|9
| 16 марта 2021
| Задачи условной оптимизации. Теорема Каруша-Куна-Таккера. || [http://www.machinelearning.ru/wiki/images/7/7f/MOMO18_Seminar7.pdf Конспект]
|-
| align="center"|10
| 23 марта 2021
| Задача линейного программирования. Симплекс-метод. Эквивалентные преобразования задач оптимизации. Стандартные классы выпуклых условных задач оптимизации. || [https://drive.google.com/file/d/1ghnO3gMssx2IS9LaaOgYXbwwq6Pm8ZXY/view?usp=sharing Конспект]
|-
| align="center"|11
| 30 марта 2021
| ''Занятия не будет'' ||
|-
| align="center"|12
| 06 апреля 2021
| Метод Ньютона и метод логарифмических барьеров для решения выпуклых задач условной оптимизации. Матричные преобразования в квазиньютоновских методах. || [http://www.machinelearning.ru/wiki/images/8/81/MOMO12_ipm.pdf Конспект] [http://www.machinelearning.ru/wiki/images/1/10/MOMO18_Seminar6.pdf Конспект]
|-
| align="center"|13
| 13 апреля 2021
| Негладкая выпуклая оптимизация. Субградиентный метод. Субдифференциальное исчисление. || [http://www.machinelearning.ru/wiki/images/e/e5/MOMO18_Seminar10.pdf Конспект]
|-
| align="center"|14
| 20 апреля 2021
| Проксимальные методы оптимизации. Сопряженные функции и нормы. || [http://www.machinelearning.ru/wiki/images/1/15/MOMO18_Seminar8.pdf Конспект]
|-
| align="center"|15
| 27 апреля 2021
| Ускоренный оптимальный метод Нестерова. Проекции и проксимальные операторы. ||
|-
| align="center"|16
| 4 мая 2021
| ''Занятия не будет'' ||
|-
| align="center"|17
| 11 мая 2021
| Стохастическая оптимизация. Автоматическое дифференцирование по графу вычислений. ||
|-
| align="center"|18
| 18 мая 2021
| Дифференцирование через процесс оптимизации. Сведение дискретных задач оптимизации к непрерывным. || [https://arxiv.org/abs/1703.00443 Статья 1] [https://arxiv.org/abs/1502.03492 Статья 2]
|-
| align="center"|19
| 25 мая 2021
| Ускоренный стохастический метод оптимизации SDCA. Методы Adagrad, RMSprop, ADAM. || [https://www.jmlr.org/papers/volume14/shalev-shwartz13a/shalev-shwartz13a.pdf Статья 1] [https://papers.nips.cc/paper/2013/file/077e29b11be80ab57e1a2ecabb7da330-Paper.pdf Статья 2]
|-
|}

Методы оптимизации в машинном обучении

2021-06-17T18:44:09Z

Dkropotov: /* Экзамен */

__NOTOC__
Методы оптимизации лежат в основе решения многих задач компьютерных наук. Например, в машинном обучении задачу оптимизации необходимо решать каждый раз при настройке какой-то модели алгоритмов по данным, причём от эффективности решения соответствующей задачи оптимизации зависит практическая применимость самого метода машинного обучения. Данный курс посвящен изучению классических и современных методов решения задач непрерывной оптимизации (в том числе невыпуклых), а также особенностям применения этих методов в задачах оптимизации, возникающих в машинном обучении. Основной акцент в изложении делается на практические аспекты реализации и использования методов. Целью курса является выработка у слушателей навыков по подбору подходящего метода для своей задачи, наиболее полно учитывающего её особенности.

'''Преподаватели''': Кропотов Дмитрий Александрович, Гадецкий Артём, Кодрян Максим, Шаповалов Никита, Бобров Евгений.

{| class="wikitable"
! Группа !! Расписание !! Инвайт для anytask
|-
| 181 || вторник, лекция в 13:00, семинар в 16:20, ауд. R406 || align="center"|QdSHCUV
|-
| 182 || вторник, лекция в 13:00, семинар в 14:40, ауд. R406 || align="center"|qgj0NZ4
|}

Группа в Telegram для вопросов по курсу: [https://t.me/joinchat/GvxpZR02zbp7fk-G ссылка]

Видеозаписи занятий: [https://www.youtube.com/playlist?list=PLEwK9wdS5g0r4mynGsdH8QDme1VNMXwzz ссылка]

== Экзамен ==
[https://drive.google.com/file/d/1FZPTSNvlVH8rsuA1s58eWoL5gKXPnbzq/view?usp=sharing Список вопросов к экзамену + теоретический минимум]

Онлайн-консультация к экзамену запланирована на 22 июля, начало в 13-00.

== Система выставления оценок по курсу ==
В рамках курса предполагается два теоретических и одно практическое домашнее задание, а также устный экзамен в конце курса. Каждое задание и экзамен оцениваются исходя из 10-ти баллов. За задания можно получить дополнительные баллы за выполнение бонусных пунктов. Общая оценка за курс вычисляется по правилу Округление_вверх(0.6*<Оценка_за_семестр> + 0.4*<Оценка_за_экзамен>). <Оценка_за_семестр> = min(10, <Суммарная_оценка_за_задания>*10 / <Максимальная_суммарная_оценка_за_задания_без_бонусов>). Итоговая оценка за курс совпадает с общей оценкой при соблюдении следующих дополнительных условий:
{| class="wikitable"
! Итоговая оценка !! Условия
|-
|align="center"|>=8 || Сданы все задания, кроме одного, экзамен сдан на оценку >= 6
|-
|align="center"|>=6 || Сданы все задания, кроме одного, экзамен сдан на оценку >= 4
|-
|align="center"|>=4 || Сданы все задания, кроме двух, экзамен сдан на оценку >= 4
|-
|}

== Правила сдачи заданий ==
Теоретические и практические задания сдаются в систему anytask (инвайт см. выше). Эти задания могут быть присланы после срока сдачи, но с задержкой не более одной недели. При этом начисляется штраф из расчёта 0.5 балла в день. Все задания выполняются самостоятельно. Если задание выполнялось сообща или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчёте. В противном случае «похожие» решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.

Теоретические задания сдаются в anytask в виде сканов или набранных в TeX pdf-файлов. '''ВАЖНО!''' Присылаемые сканы должны быть высокого качества, присылаться одним файлом, в котором все листы идут в правильном порядке. В случае плохого качества сканов или же сдачи в формате, отличном от pdf, проверяющий имеет право поставить за работу 0, не проверяя.

== Лекции и семинары ==
{| class = "wikitable"
|+
! № п/п
! Дата
! Занятие
! Материалы
|-
| align="center"|1
| 12 января 2021
| Введение в курс. Скорости сходимости итерационных процессов. Матрично-векторное дифференцирование. || [https://drive.google.com/file/d/1MXENV3Ryy8SgK3_q_lKB5gBG39qcl8_M/view?usp=sharing Конспект]
[https://drive.google.com/file/d/1bNWF262guJHTphptCTYARAsUKRPC9QmS/view?usp=sharing Конспект]
|-
| align="center"|2
| 19 января 2021
| ''Занятия не будет'' ||
|-
| align="center"|3
| 26 января 2021
| Одномерная оптимизация || [http://www.machinelearning.ru/wiki/images/4/4d/MOMO16_min1d.pdf Конспект]
|-
| align="center"|4
| 02 февраля 2021
| Метод градиентного спуска ||
|-
| align="center"|5
| 09 февраля 2021
| Стандартные матричные разложения. Метод Ньютона. || [https://drive.google.com/file/d/1K9xt0seQ_Oi0UcyziwHibhnr7PorNfqe/view?usp=sharing Презентация по подготовке отчётов]
|-
| align="center"|6
| 16 февраля 2021
| Метод сопряжённых градиентов. || [https://drive.google.com/file/d/1Ai3ZSuLTb0C6hL5KcAvagzJgKqL1-ySo/view?usp=sharing Презентация]
|-
| align="center"|7
| 02 марта 2021
| Безгессианный метод Ньютона. Выпуклые множества. || [https://drive.google.com/file/d/1t9_Uvo-xrVd_nIVUk4CGXGfebHcFtTkw/view?usp=sharing Конспект]
|-
| align="center"|8
| 09 марта 2021
| Квазиньютоновские методы оптимизации. Выпуклые функции. || [https://drive.google.com/file/d/1glvkT1g6C405RT773KwUdKYRW_bhOKct/view?usp=sharing Конспект]
|-
| align="center"|9
| 16 марта 2021
| Задачи условной оптимизации. Теорема Каруша-Куна-Таккера. || [http://www.machinelearning.ru/wiki/images/7/7f/MOMO18_Seminar7.pdf Конспект]
|-
| align="center"|10
| 23 марта 2021
| Задача линейного программирования. Симплекс-метод. Эквивалентные преобразования задач оптимизации. Стандартные классы выпуклых условных задач оптимизации. || [https://drive.google.com/file/d/1ghnO3gMssx2IS9LaaOgYXbwwq6Pm8ZXY/view?usp=sharing Конспект]
|-
| align="center"|11
| 30 марта 2021
| ''Занятия не будет'' ||
|-
| align="center"|12
| 06 апреля 2021
| Метод Ньютона и метод логарифмических барьеров для решения выпуклых задач условной оптимизации. Матричные преобразования в квазиньютоновских методах. || [http://www.machinelearning.ru/wiki/images/8/81/MOMO12_ipm.pdf Конспект] [http://www.machinelearning.ru/wiki/images/1/10/MOMO18_Seminar6.pdf Конспект]
|-
| align="center"|13
| 13 апреля 2021
| Негладкая выпуклая оптимизация. Субградиентный метод. Субдифференциальное исчисление. || [http://www.machinelearning.ru/wiki/images/e/e5/MOMO18_Seminar10.pdf Конспект]
|-
| align="center"|14
| 20 апреля 2021
| Проксимальные методы оптимизации. Сопряженные функции и нормы. || [http://www.machinelearning.ru/wiki/images/1/15/MOMO18_Seminar8.pdf Конспект]
|-
| align="center"|15
| 27 апреля 2021
| Ускоренный оптимальный метод Нестерова. Проекции и проксимальные операторы. ||
|-
| align="center"|16
| 4 мая 2021
| ''Занятия не будет'' ||
|-
| align="center"|17
| 11 мая 2021
| Стохастическая оптимизация. Автоматическое дифференцирование по графу вычислений. ||
|-
| align="center"|18
| 18 мая 2021
| Дифференцирование через процесс оптимизации. Сведение дискретных задач оптимизации к непрерывным. || [https://arxiv.org/abs/1703.00443 Статья 1] [https://arxiv.org/abs/1502.03492 Статья 2]
|-
| align="center"|19
| 25 мая 2021
| Ускоренный стохастический метод оптимизации SDCA. Методы Adagrad, RMSprop, ADAM. || [https://www.jmlr.org/papers/volume14/shalev-shwartz13a/shalev-shwartz13a.pdf Статья 1] [https://papers.nips.cc/paper/2013/file/077e29b11be80ab57e1a2ecabb7da330-Paper.pdf Статья 2]
|-
|}

Методы оптимизации в машинном обучении

2021-06-17T18:27:42Z

Dkropotov:

__NOTOC__
Методы оптимизации лежат в основе решения многих задач компьютерных наук. Например, в машинном обучении задачу оптимизации необходимо решать каждый раз при настройке какой-то модели алгоритмов по данным, причём от эффективности решения соответствующей задачи оптимизации зависит практическая применимость самого метода машинного обучения. Данный курс посвящен изучению классических и современных методов решения задач непрерывной оптимизации (в том числе невыпуклых), а также особенностям применения этих методов в задачах оптимизации, возникающих в машинном обучении. Основной акцент в изложении делается на практические аспекты реализации и использования методов. Целью курса является выработка у слушателей навыков по подбору подходящего метода для своей задачи, наиболее полно учитывающего её особенности.

'''Преподаватели''': Кропотов Дмитрий Александрович, Гадецкий Артём, Кодрян Максим, Шаповалов Никита, Бобров Евгений.

{| class="wikitable"
! Группа !! Расписание !! Инвайт для anytask
|-
| 181 || вторник, лекция в 13:00, семинар в 16:20, ауд. R406 || align="center"|QdSHCUV
|-
| 182 || вторник, лекция в 13:00, семинар в 14:40, ауд. R406 || align="center"|qgj0NZ4
|}

Группа в Telegram для вопросов по курсу: [https://t.me/joinchat/GvxpZR02zbp7fk-G ссылка]

Видеозаписи занятий: [https://www.youtube.com/playlist?list=PLEwK9wdS5g0r4mynGsdH8QDme1VNMXwzz ссылка]

== Экзамен ==
[https://drive.google.com/file/d/1FZPTSNvlVH8rsuA1s58eWoL5gKXPnbzq/view?usp=sharing Список вопросов к экзамену + теоретический минимум]

== Система выставления оценок по курсу ==
В рамках курса предполагается два теоретических и одно практическое домашнее задание, а также устный экзамен в конце курса. Каждое задание и экзамен оцениваются исходя из 10-ти баллов. За задания можно получить дополнительные баллы за выполнение бонусных пунктов. Общая оценка за курс вычисляется по правилу Округление_вверх(0.6*<Оценка_за_семестр> + 0.4*<Оценка_за_экзамен>). <Оценка_за_семестр> = min(10, <Суммарная_оценка_за_задания>*10 / <Максимальная_суммарная_оценка_за_задания_без_бонусов>). Итоговая оценка за курс совпадает с общей оценкой при соблюдении следующих дополнительных условий:
{| class="wikitable"
! Итоговая оценка !! Условия
|-
|align="center"|>=8 || Сданы все задания, кроме одного, экзамен сдан на оценку >= 6
|-
|align="center"|>=6 || Сданы все задания, кроме одного, экзамен сдан на оценку >= 4
|-
|align="center"|>=4 || Сданы все задания, кроме двух, экзамен сдан на оценку >= 4
|-
|}

== Правила сдачи заданий ==
Теоретические и практические задания сдаются в систему anytask (инвайт см. выше). Эти задания могут быть присланы после срока сдачи, но с задержкой не более одной недели. При этом начисляется штраф из расчёта 0.5 балла в день. Все задания выполняются самостоятельно. Если задание выполнялось сообща или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчёте. В противном случае «похожие» решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.

Теоретические задания сдаются в anytask в виде сканов или набранных в TeX pdf-файлов. '''ВАЖНО!''' Присылаемые сканы должны быть высокого качества, присылаться одним файлом, в котором все листы идут в правильном порядке. В случае плохого качества сканов или же сдачи в формате, отличном от pdf, проверяющий имеет право поставить за работу 0, не проверяя.

== Лекции и семинары ==
{| class = "wikitable"
|+
! № п/п
! Дата
! Занятие
! Материалы
|-
| align="center"|1
| 12 января 2021
| Введение в курс. Скорости сходимости итерационных процессов. Матрично-векторное дифференцирование. || [https://drive.google.com/file/d/1MXENV3Ryy8SgK3_q_lKB5gBG39qcl8_M/view?usp=sharing Конспект]
[https://drive.google.com/file/d/1bNWF262guJHTphptCTYARAsUKRPC9QmS/view?usp=sharing Конспект]
|-
| align="center"|2
| 19 января 2021
| ''Занятия не будет'' ||
|-
| align="center"|3
| 26 января 2021
| Одномерная оптимизация || [http://www.machinelearning.ru/wiki/images/4/4d/MOMO16_min1d.pdf Конспект]
|-
| align="center"|4
| 02 февраля 2021
| Метод градиентного спуска ||
|-
| align="center"|5
| 09 февраля 2021
| Стандартные матричные разложения. Метод Ньютона. || [https://drive.google.com/file/d/1K9xt0seQ_Oi0UcyziwHibhnr7PorNfqe/view?usp=sharing Презентация по подготовке отчётов]
|-
| align="center"|6
| 16 февраля 2021
| Метод сопряжённых градиентов. || [https://drive.google.com/file/d/1Ai3ZSuLTb0C6hL5KcAvagzJgKqL1-ySo/view?usp=sharing Презентация]
|-
| align="center"|7
| 02 марта 2021
| Безгессианный метод Ньютона. Выпуклые множества. || [https://drive.google.com/file/d/1t9_Uvo-xrVd_nIVUk4CGXGfebHcFtTkw/view?usp=sharing Конспект]
|-
| align="center"|8
| 09 марта 2021
| Квазиньютоновские методы оптимизации. Выпуклые функции. || [https://drive.google.com/file/d/1glvkT1g6C405RT773KwUdKYRW_bhOKct/view?usp=sharing Конспект]
|-
| align="center"|9
| 16 марта 2021
| Задачи условной оптимизации. Теорема Каруша-Куна-Таккера. || [http://www.machinelearning.ru/wiki/images/7/7f/MOMO18_Seminar7.pdf Конспект]
|-
| align="center"|10
| 23 марта 2021
| Задача линейного программирования. Симплекс-метод. Эквивалентные преобразования задач оптимизации. Стандартные классы выпуклых условных задач оптимизации. || [https://drive.google.com/file/d/1ghnO3gMssx2IS9LaaOgYXbwwq6Pm8ZXY/view?usp=sharing Конспект]
|-
| align="center"|11
| 30 марта 2021
| ''Занятия не будет'' ||
|-
| align="center"|12
| 06 апреля 2021
| Метод Ньютона и метод логарифмических барьеров для решения выпуклых задач условной оптимизации. Матричные преобразования в квазиньютоновских методах. || [http://www.machinelearning.ru/wiki/images/8/81/MOMO12_ipm.pdf Конспект] [http://www.machinelearning.ru/wiki/images/1/10/MOMO18_Seminar6.pdf Конспект]
|-
| align="center"|13
| 13 апреля 2021
| Негладкая выпуклая оптимизация. Субградиентный метод. Субдифференциальное исчисление. || [http://www.machinelearning.ru/wiki/images/e/e5/MOMO18_Seminar10.pdf Конспект]
|-
| align="center"|14
| 20 апреля 2021
| Проксимальные методы оптимизации. Сопряженные функции и нормы. || [http://www.machinelearning.ru/wiki/images/1/15/MOMO18_Seminar8.pdf Конспект]
|-
| align="center"|15
| 27 апреля 2021
| Ускоренный оптимальный метод Нестерова. Проекции и проксимальные операторы. ||
|-
| align="center"|16
| 4 мая 2021
| ''Занятия не будет'' ||
|-
| align="center"|17
| 11 мая 2021
| Стохастическая оптимизация. Автоматическое дифференцирование по графу вычислений. ||
|-
| align="center"|18
| 18 мая 2021
| Дифференцирование через процесс оптимизации. Сведение дискретных задач оптимизации к непрерывным. || [https://arxiv.org/abs/1703.00443 Статья 1] [https://arxiv.org/abs/1502.03492 Статья 2]
|-
| align="center"|19
| 25 мая 2021
| Ускоренный стохастический метод оптимизации SDCA. Методы Adagrad, RMSprop, ADAM. || [https://www.jmlr.org/papers/volume14/shalev-shwartz13a/shalev-shwartz13a.pdf Статья 1] [https://papers.nips.cc/paper/2013/file/077e29b11be80ab57e1a2ecabb7da330-Paper.pdf Статья 2]
|-
|}

Методы оптимизации в машинном обучении

2021-06-02T15:00:59Z

Dkropotov: /* Система выставления оценок по курсу */

__NOTOC__
Методы оптимизации лежат в основе решения многих задач компьютерных наук. Например, в машинном обучении задачу оптимизации необходимо решать каждый раз при настройке какой-то модели алгоритмов по данным, причём от эффективности решения соответствующей задачи оптимизации зависит практическая применимость самого метода машинного обучения. Данный курс посвящен изучению классических и современных методов решения задач непрерывной оптимизации (в том числе невыпуклых), а также особенностям применения этих методов в задачах оптимизации, возникающих в машинном обучении. Основной акцент в изложении делается на практические аспекты реализации и использования методов. Целью курса является выработка у слушателей навыков по подбору подходящего метода для своей задачи, наиболее полно учитывающего её особенности.

'''Преподаватели''': Кропотов Дмитрий Александрович, Гадецкий Артём, Кодрян Максим, Шаповалов Никита, Таскынов Ануар, Бобров Евгений.

'''Внимание! Начиная с 6 апреля занятия проводятся очно в ауд. R406.'''

{| class="wikitable"
! Группа !! Расписание !! Инвайт для anytask
|-
| 181 || вторник, лекция в 13:00, семинар в 16:20, ауд. R406 || align="center"|QdSHCUV
|-
| 182 || вторник, лекция в 13:00, семинар в 14:40, ауд. R406 || align="center"|qgj0NZ4
|}

Группа в Telegram для вопросов по курсу: [https://t.me/joinchat/GvxpZR02zbp7fk-G ссылка]

Видеозаписи занятий: [https://www.youtube.com/playlist?list=PLEwK9wdS5g0r4mynGsdH8QDme1VNMXwzz ссылка]

== Система выставления оценок по курсу ==
В рамках курса предполагается два теоретических и одно практическое домашнее задание, а также устный экзамен в конце курса. Каждое задание и экзамен оцениваются исходя из 10-ти баллов. За задания можно получить дополнительные баллы за выполнение бонусных пунктов. Общая оценка за курс вычисляется по правилу Округление_вверх(0.6*<Оценка_за_семестр> + 0.4*<Оценка_за_экзамен>). <Оценка_за_семестр> = min(10, <Суммарная_оценка_за_задания>*10 / <Максимальная_суммарная_оценка_за_задания_без_бонусов>). Итоговая оценка за курс совпадает с общей оценкой при соблюдении следующих дополнительных условий:
{| class="wikitable"
! Итоговая оценка !! Условия
|-
|align="center"|>=8 || Сданы все задания, кроме одного, экзамен сдан на оценку >= 6
|-
|align="center"|>=6 || Сданы все задания, кроме одного, экзамен сдан на оценку >= 4
|-
|align="center"|>=4 || Сданы все задания, кроме двух, экзамен сдан на оценку >= 4
|-
|}

== Правила сдачи заданий ==
Теоретические и практические задания сдаются в систему anytask (инвайт см. выше). Эти задания могут быть присланы после срока сдачи, но с задержкой не более одной недели. При этом начисляется штраф из расчёта 0.5 балла в день. Все задания выполняются самостоятельно. Если задание выполнялось сообща или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчёте. В противном случае «похожие» решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.

Теоретические задания сдаются в anytask в виде сканов или набранных в TeX pdf-файлов. '''ВАЖНО!''' Присылаемые сканы должны быть высокого качества, присылаться одним файлом, в котором все листы идут в правильном порядке. В случае плохого качества сканов или же сдачи в формате, отличном от pdf, проверяющий имеет право поставить за работу 0, не проверяя.

== Лекции и семинары ==
{| class = "wikitable"
|+
! № п/п
! Дата
! Занятие
! Материалы
|-
| align="center"|1
| 12 января 2021
| Введение в курс. Скорости сходимости итерационных процессов. Матрично-векторное дифференцирование. || [https://drive.google.com/file/d/1MXENV3Ryy8SgK3_q_lKB5gBG39qcl8_M/view?usp=sharing Конспект]
[https://drive.google.com/file/d/1bNWF262guJHTphptCTYARAsUKRPC9QmS/view?usp=sharing Конспект]
|-
| align="center"|2
| 19 января 2021
| ''Занятия не будет'' ||
|-
| align="center"|3
| 26 января 2021
| Одномерная оптимизация || [http://www.machinelearning.ru/wiki/images/4/4d/MOMO16_min1d.pdf Конспект]
|-
| align="center"|4
| 02 февраля 2021
| Метод градиентного спуска ||
|-
| align="center"|5
| 09 февраля 2021
| Стандартные матричные разложения. Метод Ньютона. || [https://drive.google.com/file/d/1K9xt0seQ_Oi0UcyziwHibhnr7PorNfqe/view?usp=sharing Презентация по подготовке отчётов]
|-
| align="center"|6
| 16 февраля 2021
| Метод сопряжённых градиентов. || [https://drive.google.com/file/d/1Ai3ZSuLTb0C6hL5KcAvagzJgKqL1-ySo/view?usp=sharing Презентация]
|-
| align="center"|7
| 02 марта 2021
| Безгессианный метод Ньютона. Выпуклые множества. || [https://drive.google.com/file/d/1t9_Uvo-xrVd_nIVUk4CGXGfebHcFtTkw/view?usp=sharing Конспект]
|-
| align="center"|8
| 09 марта 2021
| Квазиньютоновские методы оптимизации. Выпуклые функции. || [https://drive.google.com/file/d/1glvkT1g6C405RT773KwUdKYRW_bhOKct/view?usp=sharing Конспект]
|-
| align="center"|9
| 16 марта 2021
| Задачи условной оптимизации. Теорема Каруша-Куна-Таккера. || [http://www.machinelearning.ru/wiki/images/7/7f/MOMO18_Seminar7.pdf Конспект]
|-
| align="center"|10
| 23 марта 2021
| Задача линейного программирования. Симплекс-метод. Эквивалентные преобразования задач оптимизации. Стандартные классы выпуклых условных задач оптимизации. || [https://drive.google.com/file/d/1ghnO3gMssx2IS9LaaOgYXbwwq6Pm8ZXY/view?usp=sharing Конспект]
|-
| align="center"|11
| 30 марта 2021
| ''Занятия не будет'' ||
|-
| align="center"|12
| 06 апреля 2021
| Метод Ньютона и метод логарифмических барьеров для решения выпуклых задач условной оптимизации. Матричные преобразования в квазиньютоновских методах. || [http://www.machinelearning.ru/wiki/images/8/81/MOMO12_ipm.pdf Конспект] [http://www.machinelearning.ru/wiki/images/1/10/MOMO18_Seminar6.pdf Конспект]
|-
| align="center"|13
| 13 апреля 2021
| Негладкая выпуклая оптимизация. Субградиентный метод. Субдифференциальное исчисление. || [http://www.machinelearning.ru/wiki/images/e/e5/MOMO18_Seminar10.pdf Конспект]
|-
| align="center"|14
| 20 апреля 2021
| Проксимальные методы оптимизации. Сопряженные функции и нормы. || [http://www.machinelearning.ru/wiki/images/1/15/MOMO18_Seminar8.pdf Конспект]
|-
| align="center"|15
| 27 апреля 2021
| Ускоренный оптимальный метод Нестерова. Проекции и проксимальные операторы. ||
|-
| align="center"|16
| 4 мая 2021
| ''Занятия не будет'' ||
|-
| align="center"|17
| 11 мая 2021
| Стохастическая оптимизация. Автоматическое дифференцирование по графу вычислений. ||
|-
| align="center"|18
| 18 мая 2021
| Дифференцирование через процесс оптимизации. Сведение дискретных задач оптимизации к непрерывным. || [https://arxiv.org/abs/1703.00443 Статья 1] [https://arxiv.org/abs/1502.03492 Статья 2]
|-
| align="center"|19
| 25 мая 2021
| Ускоренный стохастический метод оптимизации SDCA. Методы Adagrad, RMSprop, ADAM. || [https://www.jmlr.org/papers/volume14/shalev-shwartz13a/shalev-shwartz13a.pdf Статья 1] [https://papers.nips.cc/paper/2013/file/077e29b11be80ab57e1a2ecabb7da330-Paper.pdf Статья 2]
|-
|}

Методы оптимизации в машинном обучении

2021-06-02T14:58:34Z

Dkropotov: /* Лекции и семинары */

__NOTOC__
Методы оптимизации лежат в основе решения многих задач компьютерных наук. Например, в машинном обучении задачу оптимизации необходимо решать каждый раз при настройке какой-то модели алгоритмов по данным, причём от эффективности решения соответствующей задачи оптимизации зависит практическая применимость самого метода машинного обучения. Данный курс посвящен изучению классических и современных методов решения задач непрерывной оптимизации (в том числе невыпуклых), а также особенностям применения этих методов в задачах оптимизации, возникающих в машинном обучении. Основной акцент в изложении делается на практические аспекты реализации и использования методов. Целью курса является выработка у слушателей навыков по подбору подходящего метода для своей задачи, наиболее полно учитывающего её особенности.

'''Преподаватели''': Кропотов Дмитрий Александрович, Гадецкий Артём, Кодрян Максим, Шаповалов Никита, Таскынов Ануар, Бобров Евгений.

'''Внимание! Начиная с 6 апреля занятия проводятся очно в ауд. R406.'''

{| class="wikitable"
! Группа !! Расписание !! Инвайт для anytask
|-
| 181 || вторник, лекция в 13:00, семинар в 16:20, ауд. R406 || align="center"|QdSHCUV
|-
| 182 || вторник, лекция в 13:00, семинар в 14:40, ауд. R406 || align="center"|qgj0NZ4
|}

Группа в Telegram для вопросов по курсу: [https://t.me/joinchat/GvxpZR02zbp7fk-G ссылка]

Видеозаписи занятий: [https://www.youtube.com/playlist?list=PLEwK9wdS5g0r4mynGsdH8QDme1VNMXwzz ссылка]

== Система выставления оценок по курсу ==
В рамках курса предполагается четыре теоретических и четыре практических домашних заданий, а также устный экзамен в конце курса. Каждое задание и экзамен оцениваются исходя из 10-ти баллов. За задания можно получить дополнительные баллы за выполнение бонусных пунктов. Общая оценка за курс вычисляется по правилу Округление_вверх(0.7*<Оценка_за_семестр> + 0.3*<Оценка_за_экзамен>). <Оценка_за_семестр> = min(10, <Суммарная_оценка_за_задания>*10 / <Максимальная_суммарная_оценка_за_задания_без_бонусов>). Итоговая оценка за курс совпадает с общей оценкой при соблюдении следующих дополнительных условий:
{| class="wikitable"
! Итоговая оценка !! Условия
|-
|align="center"|>=8 || Сданы все задания, кроме одного (на оценку >=4), экзамен сдан на оценку >= 6
|-
|align="center"|>=6 || Сданы все задания, кроме двух (на оценку >=4), экзамен сдан на оценку >= 4
|-
|align="center"|>=4 || Сданы все задания, кроме трех (на оценку >=4), экзамен сдан на оценку >= 4
|-
|}

== Правила сдачи заданий ==
Теоретические и практические задания сдаются в систему anytask (инвайт см. выше). Эти задания могут быть присланы после срока сдачи, но с задержкой не более одной недели. При этом начисляется штраф из расчёта 0.5 балла в день. Все задания выполняются самостоятельно. Если задание выполнялось сообща или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчёте. В противном случае «похожие» решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.

Теоретические задания сдаются в anytask в виде сканов или набранных в TeX pdf-файлов. '''ВАЖНО!''' Присылаемые сканы должны быть высокого качества, присылаться одним файлом, в котором все листы идут в правильном порядке. В случае плохого качества сканов или же сдачи в формате, отличном от pdf, проверяющий имеет право поставить за работу 0, не проверяя.

== Лекции и семинары ==
{| class = "wikitable"
|+
! № п/п
! Дата
! Занятие
! Материалы
|-
| align="center"|1
| 12 января 2021
| Введение в курс. Скорости сходимости итерационных процессов. Матрично-векторное дифференцирование. || [https://drive.google.com/file/d/1MXENV3Ryy8SgK3_q_lKB5gBG39qcl8_M/view?usp=sharing Конспект]
[https://drive.google.com/file/d/1bNWF262guJHTphptCTYARAsUKRPC9QmS/view?usp=sharing Конспект]
|-
| align="center"|2
| 19 января 2021
| ''Занятия не будет'' ||
|-
| align="center"|3
| 26 января 2021
| Одномерная оптимизация || [http://www.machinelearning.ru/wiki/images/4/4d/MOMO16_min1d.pdf Конспект]
|-
| align="center"|4
| 02 февраля 2021
| Метод градиентного спуска ||
|-
| align="center"|5
| 09 февраля 2021
| Стандартные матричные разложения. Метод Ньютона. || [https://drive.google.com/file/d/1K9xt0seQ_Oi0UcyziwHibhnr7PorNfqe/view?usp=sharing Презентация по подготовке отчётов]
|-
| align="center"|6
| 16 февраля 2021
| Метод сопряжённых градиентов. || [https://drive.google.com/file/d/1Ai3ZSuLTb0C6hL5KcAvagzJgKqL1-ySo/view?usp=sharing Презентация]
|-
| align="center"|7
| 02 марта 2021
| Безгессианный метод Ньютона. Выпуклые множества. || [https://drive.google.com/file/d/1t9_Uvo-xrVd_nIVUk4CGXGfebHcFtTkw/view?usp=sharing Конспект]
|-
| align="center"|8
| 09 марта 2021
| Квазиньютоновские методы оптимизации. Выпуклые функции. || [https://drive.google.com/file/d/1glvkT1g6C405RT773KwUdKYRW_bhOKct/view?usp=sharing Конспект]
|-
| align="center"|9
| 16 марта 2021
| Задачи условной оптимизации. Теорема Каруша-Куна-Таккера. || [http://www.machinelearning.ru/wiki/images/7/7f/MOMO18_Seminar7.pdf Конспект]
|-
| align="center"|10
| 23 марта 2021
| Задача линейного программирования. Симплекс-метод. Эквивалентные преобразования задач оптимизации. Стандартные классы выпуклых условных задач оптимизации. || [https://drive.google.com/file/d/1ghnO3gMssx2IS9LaaOgYXbwwq6Pm8ZXY/view?usp=sharing Конспект]
|-
| align="center"|11
| 30 марта 2021
| ''Занятия не будет'' ||
|-
| align="center"|12
| 06 апреля 2021
| Метод Ньютона и метод логарифмических барьеров для решения выпуклых задач условной оптимизации. Матричные преобразования в квазиньютоновских методах. || [http://www.machinelearning.ru/wiki/images/8/81/MOMO12_ipm.pdf Конспект] [http://www.machinelearning.ru/wiki/images/1/10/MOMO18_Seminar6.pdf Конспект]
|-
| align="center"|13
| 13 апреля 2021
| Негладкая выпуклая оптимизация. Субградиентный метод. Субдифференциальное исчисление. || [http://www.machinelearning.ru/wiki/images/e/e5/MOMO18_Seminar10.pdf Конспект]
|-
| align="center"|14
| 20 апреля 2021
| Проксимальные методы оптимизации. Сопряженные функции и нормы. || [http://www.machinelearning.ru/wiki/images/1/15/MOMO18_Seminar8.pdf Конспект]
|-
| align="center"|15
| 27 апреля 2021
| Ускоренный оптимальный метод Нестерова. Проекции и проксимальные операторы. ||
|-
| align="center"|16
| 4 мая 2021
| ''Занятия не будет'' ||
|-
| align="center"|17
| 11 мая 2021
| Стохастическая оптимизация. Автоматическое дифференцирование по графу вычислений. ||
|-
| align="center"|18
| 18 мая 2021
| Дифференцирование через процесс оптимизации. Сведение дискретных задач оптимизации к непрерывным. || [https://arxiv.org/abs/1703.00443 Статья 1] [https://arxiv.org/abs/1502.03492 Статья 2]
|-
| align="center"|19
| 25 мая 2021
| Ускоренный стохастический метод оптимизации SDCA. Методы Adagrad, RMSprop, ADAM. || [https://www.jmlr.org/papers/volume14/shalev-shwartz13a/shalev-shwartz13a.pdf Статья 1] [https://papers.nips.cc/paper/2013/file/077e29b11be80ab57e1a2ecabb7da330-Paper.pdf Статья 2]
|-
|}

Методы оптимизации в машинном обучении

2021-05-18T11:35:18Z

Dkropotov: /* Лекции и семинары */

__NOTOC__
Методы оптимизации лежат в основе решения многих задач компьютерных наук. Например, в машинном обучении задачу оптимизации необходимо решать каждый раз при настройке какой-то модели алгоритмов по данным, причём от эффективности решения соответствующей задачи оптимизации зависит практическая применимость самого метода машинного обучения. Данный курс посвящен изучению классических и современных методов решения задач непрерывной оптимизации (в том числе невыпуклых), а также особенностям применения этих методов в задачах оптимизации, возникающих в машинном обучении. Основной акцент в изложении делается на практические аспекты реализации и использования методов. Целью курса является выработка у слушателей навыков по подбору подходящего метода для своей задачи, наиболее полно учитывающего её особенности.

'''Преподаватели''': Кропотов Дмитрий Александрович, Гадецкий Артём, Кодрян Максим, Шаповалов Никита, Таскынов Ануар, Бобров Евгений.

'''Внимание! Начиная с 6 апреля занятия проводятся очно в ауд. R406.'''

{| class="wikitable"
! Группа !! Расписание !! Инвайт для anytask
|-
| 181 || вторник, лекция в 13:00, семинар в 16:20, ауд. R406 || align="center"|QdSHCUV
|-
| 182 || вторник, лекция в 13:00, семинар в 14:40, ауд. R406 || align="center"|qgj0NZ4
|}

Группа в Telegram для вопросов по курсу: [https://t.me/joinchat/GvxpZR02zbp7fk-G ссылка]

Видеозаписи занятий: [https://www.youtube.com/playlist?list=PLEwK9wdS5g0r4mynGsdH8QDme1VNMXwzz ссылка]

== Система выставления оценок по курсу ==
В рамках курса предполагается четыре теоретических и четыре практических домашних заданий, а также устный экзамен в конце курса. Каждое задание и экзамен оцениваются исходя из 10-ти баллов. За задания можно получить дополнительные баллы за выполнение бонусных пунктов. Общая оценка за курс вычисляется по правилу Округление_вверх(0.7*<Оценка_за_семестр> + 0.3*<Оценка_за_экзамен>). <Оценка_за_семестр> = min(10, <Суммарная_оценка_за_задания>*10 / <Максимальная_суммарная_оценка_за_задания_без_бонусов>). Итоговая оценка за курс совпадает с общей оценкой при соблюдении следующих дополнительных условий:
{| class="wikitable"
! Итоговая оценка !! Условия
|-
|align="center"|>=8 || Сданы все задания, кроме одного (на оценку >=4), экзамен сдан на оценку >= 6
|-
|align="center"|>=6 || Сданы все задания, кроме двух (на оценку >=4), экзамен сдан на оценку >= 4
|-
|align="center"|>=4 || Сданы все задания, кроме трех (на оценку >=4), экзамен сдан на оценку >= 4
|-
|}

== Правила сдачи заданий ==
Теоретические и практические задания сдаются в систему anytask (инвайт см. выше). Эти задания могут быть присланы после срока сдачи, но с задержкой не более одной недели. При этом начисляется штраф из расчёта 0.5 балла в день. Все задания выполняются самостоятельно. Если задание выполнялось сообща или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчёте. В противном случае «похожие» решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.

Теоретические задания сдаются в anytask в виде сканов или набранных в TeX pdf-файлов. '''ВАЖНО!''' Присылаемые сканы должны быть высокого качества, присылаться одним файлом, в котором все листы идут в правильном порядке. В случае плохого качества сканов или же сдачи в формате, отличном от pdf, проверяющий имеет право поставить за работу 0, не проверяя.

== Лекции и семинары ==
{| class = "wikitable"
|+
! № п/п
! Дата
! Занятие
! Материалы
|-
| align="center"|1
| 12 января 2021
| Введение в курс. Скорости сходимости итерационных процессов. Матрично-векторное дифференцирование. || [https://drive.google.com/file/d/1MXENV3Ryy8SgK3_q_lKB5gBG39qcl8_M/view?usp=sharing Конспект]
[https://drive.google.com/file/d/1bNWF262guJHTphptCTYARAsUKRPC9QmS/view?usp=sharing Конспект]
|-
| align="center"|2
| 19 января 2021
| ''Занятия не будет'' ||
|-
| align="center"|3
| 26 января 2021
| Одномерная оптимизация || [http://www.machinelearning.ru/wiki/images/4/4d/MOMO16_min1d.pdf Конспект]
|-
| align="center"|4
| 02 февраля 2021
| Метод градиентного спуска ||
|-
| align="center"|5
| 09 февраля 2021
| Стандартные матричные разложения. Метод Ньютона. || [https://drive.google.com/file/d/1K9xt0seQ_Oi0UcyziwHibhnr7PorNfqe/view?usp=sharing Презентация по подготовке отчётов]
|-
| align="center"|6
| 16 февраля 2021
| Метод сопряжённых градиентов. || [https://drive.google.com/file/d/1Ai3ZSuLTb0C6hL5KcAvagzJgKqL1-ySo/view?usp=sharing Презентация]
|-
| align="center"|7
| 02 марта 2021
| Безгессианный метод Ньютона. Выпуклые множества. || [https://drive.google.com/file/d/1t9_Uvo-xrVd_nIVUk4CGXGfebHcFtTkw/view?usp=sharing Конспект]
|-
| align="center"|8
| 09 марта 2021
| Квазиньютоновские методы оптимизации. Выпуклые функции. || [https://drive.google.com/file/d/1glvkT1g6C405RT773KwUdKYRW_bhOKct/view?usp=sharing Конспект]
|-
| align="center"|9
| 16 марта 2021
| Задачи условной оптимизации. Теорема Каруша-Куна-Таккера. || [http://www.machinelearning.ru/wiki/images/7/7f/MOMO18_Seminar7.pdf Конспект]
|-
| align="center"|10
| 23 марта 2021
| Задача линейного программирования. Симплекс-метод. Эквивалентные преобразования задач оптимизации. Стандартные классы выпуклых условных задач оптимизации. || [https://drive.google.com/file/d/1ghnO3gMssx2IS9LaaOgYXbwwq6Pm8ZXY/view?usp=sharing Конспект]
|-
| align="center"|11
| 30 марта 2021
| ''Занятия не будет'' ||
|-
| align="center"|12
| 06 апреля 2021
| Метод Ньютона и метод логарифмических барьеров для решения выпуклых задач условной оптимизации. Матричные преобразования в квазиньютоновских методах. || [http://www.machinelearning.ru/wiki/images/8/81/MOMO12_ipm.pdf Конспект] [http://www.machinelearning.ru/wiki/images/1/10/MOMO18_Seminar6.pdf Конспект]
|-
| align="center"|13
| 13 апреля 2021
| Негладкая выпуклая оптимизация. Субградиентный метод. Субдифференциальное исчисление. || [http://www.machinelearning.ru/wiki/images/e/e5/MOMO18_Seminar10.pdf Конспект]
|-
| align="center"|14
| 20 апреля 2021
| Проксимальные методы оптимизации. Сопряженные функции и нормы. || [http://www.machinelearning.ru/wiki/images/1/15/MOMO18_Seminar8.pdf Конспект]
|-
| align="center"|15
| 27 апреля 2021
| Ускоренный оптимальный метод Нестерова. Проекции и проксимальные операторы. ||
|-
| align="center"|16
| 4 мая 2021
| ''Занятия не будет'' ||
|-
| align="center"|17
| 11 мая 2021
| Стохастическая оптимизация. Автоматическое дифференцирование по графу вычислений. ||
|-
| align="center"|18
| 18 мая 2021
| Дифференцирование через процесс оптимизации. Сведение дискретных задач оптимизации к непрерывным. || [https://arxiv.org/abs/1703.00443 Статья 1] [https://arxiv.org/abs/1502.03492 Статья 2]
|-
|}

Методы оптимизации в машинном обучении

2021-05-17T12:51:15Z

Dkropotov: /* Лекции и семинары */

__NOTOC__
Методы оптимизации лежат в основе решения многих задач компьютерных наук. Например, в машинном обучении задачу оптимизации необходимо решать каждый раз при настройке какой-то модели алгоритмов по данным, причём от эффективности решения соответствующей задачи оптимизации зависит практическая применимость самого метода машинного обучения. Данный курс посвящен изучению классических и современных методов решения задач непрерывной оптимизации (в том числе невыпуклых), а также особенностям применения этих методов в задачах оптимизации, возникающих в машинном обучении. Основной акцент в изложении делается на практические аспекты реализации и использования методов. Целью курса является выработка у слушателей навыков по подбору подходящего метода для своей задачи, наиболее полно учитывающего её особенности.

'''Преподаватели''': Кропотов Дмитрий Александрович, Гадецкий Артём, Кодрян Максим, Шаповалов Никита, Таскынов Ануар, Бобров Евгений.

'''Внимание! Начиная с 6 апреля занятия проводятся очно в ауд. R406.'''

{| class="wikitable"
! Группа !! Расписание !! Инвайт для anytask
|-
| 181 || вторник, лекция в 13:00, семинар в 16:20, ауд. R406 || align="center"|QdSHCUV
|-
| 182 || вторник, лекция в 13:00, семинар в 14:40, ауд. R406 || align="center"|qgj0NZ4
|}

Группа в Telegram для вопросов по курсу: [https://t.me/joinchat/GvxpZR02zbp7fk-G ссылка]

Видеозаписи занятий: [https://www.youtube.com/playlist?list=PLEwK9wdS5g0r4mynGsdH8QDme1VNMXwzz ссылка]

== Система выставления оценок по курсу ==
В рамках курса предполагается четыре теоретических и четыре практических домашних заданий, а также устный экзамен в конце курса. Каждое задание и экзамен оцениваются исходя из 10-ти баллов. За задания можно получить дополнительные баллы за выполнение бонусных пунктов. Общая оценка за курс вычисляется по правилу Округление_вверх(0.7*<Оценка_за_семестр> + 0.3*<Оценка_за_экзамен>). <Оценка_за_семестр> = min(10, <Суммарная_оценка_за_задания>*10 / <Максимальная_суммарная_оценка_за_задания_без_бонусов>). Итоговая оценка за курс совпадает с общей оценкой при соблюдении следующих дополнительных условий:
{| class="wikitable"
! Итоговая оценка !! Условия
|-
|align="center"|>=8 || Сданы все задания, кроме одного (на оценку >=4), экзамен сдан на оценку >= 6
|-
|align="center"|>=6 || Сданы все задания, кроме двух (на оценку >=4), экзамен сдан на оценку >= 4
|-
|align="center"|>=4 || Сданы все задания, кроме трех (на оценку >=4), экзамен сдан на оценку >= 4
|-
|}

== Правила сдачи заданий ==
Теоретические и практические задания сдаются в систему anytask (инвайт см. выше). Эти задания могут быть присланы после срока сдачи, но с задержкой не более одной недели. При этом начисляется штраф из расчёта 0.5 балла в день. Все задания выполняются самостоятельно. Если задание выполнялось сообща или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчёте. В противном случае «похожие» решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.

Теоретические задания сдаются в anytask в виде сканов или набранных в TeX pdf-файлов. '''ВАЖНО!''' Присылаемые сканы должны быть высокого качества, присылаться одним файлом, в котором все листы идут в правильном порядке. В случае плохого качества сканов или же сдачи в формате, отличном от pdf, проверяющий имеет право поставить за работу 0, не проверяя.

== Лекции и семинары ==
{| class = "wikitable"
|+
! № п/п
! Дата
! Занятие
! Материалы
|-
| align="center"|1
| 12 января 2021
| Введение в курс. Скорости сходимости итерационных процессов. Матрично-векторное дифференцирование. || [https://drive.google.com/file/d/1MXENV3Ryy8SgK3_q_lKB5gBG39qcl8_M/view?usp=sharing Конспект]
[https://drive.google.com/file/d/1bNWF262guJHTphptCTYARAsUKRPC9QmS/view?usp=sharing Конспект]
|-
| align="center"|2
| 19 января 2021
| ''Занятия не будет'' ||
|-
| align="center"|3
| 26 января 2021
| Одномерная оптимизация || [http://www.machinelearning.ru/wiki/images/4/4d/MOMO16_min1d.pdf Конспект]
|-
| align="center"|4
| 02 февраля 2021
| Метод градиентного спуска ||
|-
| align="center"|5
| 09 февраля 2021
| Стандартные матричные разложения. Метод Ньютона. || [https://drive.google.com/file/d/1K9xt0seQ_Oi0UcyziwHibhnr7PorNfqe/view?usp=sharing Презентация по подготовке отчётов]
|-
| align="center"|6
| 16 февраля 2021
| Метод сопряжённых градиентов. || [https://drive.google.com/file/d/1Ai3ZSuLTb0C6hL5KcAvagzJgKqL1-ySo/view?usp=sharing Презентация]
|-
| align="center"|7
| 02 марта 2021
| Безгессианный метод Ньютона. Выпуклые множества. || [https://drive.google.com/file/d/1t9_Uvo-xrVd_nIVUk4CGXGfebHcFtTkw/view?usp=sharing Конспект]
|-
| align="center"|8
| 09 марта 2021
| Квазиньютоновские методы оптимизации. Выпуклые функции. || [https://drive.google.com/file/d/1glvkT1g6C405RT773KwUdKYRW_bhOKct/view?usp=sharing Конспект]
|-
| align="center"|9
| 16 марта 2021
| Задачи условной оптимизации. Теорема Каруша-Куна-Таккера. || [http://www.machinelearning.ru/wiki/images/7/7f/MOMO18_Seminar7.pdf Конспект]
|-
| align="center"|10
| 23 марта 2021
| Задача линейного программирования. Симплекс-метод. Эквивалентные преобразования задач оптимизации. Стандартные классы выпуклых условных задач оптимизации. || [https://drive.google.com/file/d/1ghnO3gMssx2IS9LaaOgYXbwwq6Pm8ZXY/view?usp=sharing Конспект]
|-
| align="center"|11
| 30 марта 2021
| ''Занятия не будет'' ||
|-
| align="center"|12
| 06 апреля 2021
| Метод Ньютона и метод логарифмических барьеров для решения выпуклых задач условной оптимизации. Матричные преобразования в квазиньютоновских методах. || [http://www.machinelearning.ru/wiki/images/8/81/MOMO12_ipm.pdf Конспект] [http://www.machinelearning.ru/wiki/images/1/10/MOMO18_Seminar6.pdf Конспект]
|-
| align="center"|13
| 13 апреля 2021
| Негладкая выпуклая оптимизация. Субградиентный метод. Субдифференциальное исчисление. || [http://www.machinelearning.ru/wiki/images/e/e5/MOMO18_Seminar10.pdf Конспект]
|-
| align="center"|14
| 20 апреля 2021
| Проксимальные методы оптимизации. Сопряженные функции и нормы. || [http://www.machinelearning.ru/wiki/images/1/15/MOMO18_Seminar8.pdf Конспект]
|-
| align="center"|15
| 27 апреля 2021
| Ускоренный оптимальный метод Нестерова. Проекции и проксимальные операторы. ||
|-
| align="center"|16
| 4 мая 2021
| ''Занятия не будет'' ||
|-
| align="center"|17
| 11 мая 2021
| Стохастическая оптимизация. Автоматическое дифференцирование по графу вычислений. ||
|-
|}