__NOTOC__
Методы оптимизации лежат в основе решения многих задач компьютерных наук. Например, в машинном обучении задачу оптимизации необходимо решать каждый раз при настройке какой-то модели алгоритмов по данным, причём от эффективности решения соответствующей задачи оптимизации зависит практическая применимость самого метода машинного обучения. Данный курс посвящен изучению классических и современных методов решения задач непрерывной оптимизации (в том числе невыпуклой), а также особенностям применения этих методов в задачах оптимизации, возникающих в машинном обучении. Основной акцент в изложении делается на практические аспекты реализации и использования методов. Целью курса является выработка у слушателей навыков по подбору подходящего метода для своей задачи, наиболее полно учитывающего её особенности.

'''Лектор''': Кропотов Дмитрий Александрович. Лекции проходят по вторникам в ауд. 622 с 13:40 до 15:00.

'''Семинаристы''':
{| class="wikitable"
! Группа !! Семинарист !! Расписание !! Инвайт для anytask
|-
| 151 (МОП) || Родоманов Антон Олегович || вторник, 15:10 – 16:30, ауд. 219 || align="center"|91aHb6E
|-
| 152 (МОП) || Дойков Никита Владимирович || вторник, 15:10 – 16:30, ауд. 618 || align="center"|tHxrPO6
|-
| 155 (РС) || Шаповалов Никита Анатольевич || вторник, 15:10 – 16:30, ауд. 503 || align="center"|xtdRi1f
|-
| 156 (ТИ) || Тюрин Александр Игоревич || вторник, 18:10 – 19:30, ауд. 306 || align="center"|j2OlXCE
|}

== Система выставления оценок по курсу ==
# В рамках курса предполагается три практических задания, некоторое количество проверочных работ на семинарах и экзамен. Каждое задание и экзамен оцениваются по десятибалльной шкале.
# В оценке за курс 60% составляет накопленная оценка за модуль и 40% - оценка за экзамен. Для получения финального результата (0–10) оценка округляется в большую сторону.
# В накопленной оценке 50% составляют баллы за практические задания и 50% - баллы за проверочные работы на семинарах.

== Правила сдачи заданий ==
В рамках курса предполагается сдача нескольких практических заданий. Практические задания сдаются в систему anytask. Эти задания могут быть присланы после срока сдачи, но с задержкой не более одной недели. При этом начисляется штраф из расчёта 0.2 балла в день.

Все задания выполняются самостоятельно. Если задание выполнялось сообща или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчёте. В противном случае «похожие» решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.

== Лекции ==
{| class = "wikitable"
|+
! № п/п
! Дата
! Занятие
! Материалы
|-
| align="center"|1
| 9 января 2018
| Введение в курс. Классы функций для оптимизации. Скорости сходимости итерационных процессов. ||
|-
| align="center"|2
| 16 января 2018
| Точная одномерная оптимизация. ||
|-
| align="center"|3
| 23 января 2018
| Неточная одномерная оптимизация. Метод градиентного спуска. ||
|-
| align="center"|4
| 30 января 2018
| Матричные разложения и их использование для решения СЛАУ. Метод Ньютона для выпуклых и невыпуклых задач. ||
|-
| align="center"|5
| 6 февраля 2018
| Метод сопряжённых градиентов для решения СЛАУ. ||
|-
| align="center"|6
| 13 февраля 2018
| Неточный метод Ньютона. Разностные производные. ||
|-
| align="center"|7
| 20 февраля 2018
| Квазиньютоновские методы. Метод L-BFGS. ||
|-
| align="center"|8
| 27 февраля 2018
| Задачи условной оптимизации: условия ККТ. ||
|-
| align="center"|9
| 6 марта 2018
| Выпуклые задачи оптимизации. Двойственность. Метод барьеров. ||
|-
| align="center"|10
| 13 марта 2018
| Негладкая безусловная оптимизация. Субградиентный метод. Проксимальные методы. ||
|-
| align="center"|11
| 20 марта 2018
| Стохастическая оптимизация. ||
|-
|}

== Семинары ==
{| class = "wikitable"
|+
! № п/п
! Дата
! Занятие
! Материалы
|-
| align="center"|1
| 9 января 2018
| Скорости сходимости. Матричные вычисления. ||
|-
| align="center"|2
| 16 января 2018
| Матрично-векторное дифференцирование (часть 1) ||
|-
| align="center"|3
| 23 января 2018
| Матрично-векторное дифференцирование (часть 2). Градиентный спуск. ||
|-
| align="center"|4
| 30 января 2018
| Выпуклые множества ||
|-
| align="center"|5
| 6 февраля 2018
| Выпуклые функции ||
|-
| align="center"|6
| 13 февраля 2018
| Стандартные классы выпуклых задач. Эквивалентные преобразования. ||
|-
| align="center"|7
| 20 февраля 2018
| Квазиньютоновские методы ||
|-
| align="center"|8
| 27 февраля 2018
| Условия Каруша--Куна--Таккера. ||
|-
| align="center"|9
| 6 марта 2018
| Двойственность. Сопряженные функции. ||
|-
| align="center"|10
| 13 марта 2018
| Субдифференциалы ||
|-
| align="center"|11
| 20 марта 2018
| Вычисление проекций и проксимальных отображений ||
|-
|}

== Литература ==
# J. Nocedal, S. Wright. [http://libgen.io/book/index.php?md5=7016B74CFE6DC64C75864322EE4AA081 Numerical Optimization], Springer, 2006.
# S. Boyd, L. Vandenberghe. [http://www.stanford.edu/~boyd/cvxbook/ Convex Optimization], Cambridge University Press, 2004.
# S. Sra et al.. [http://libgen.io/book/index.php?md5=9799B67D2A9C45DCAC9D323252054DAF Optimization for Machine Learning], MIT Press, 2011.
# A. Ben-Tal, A. Nemirovski. [http://www2.isye.gatech.edu/~nemirovs/OPTIII_LectureNotes2015.pdf Optimization III. Lecture Notes], 2013.
# Б. Поляк. [http://premolab.ru/sites/default/files/polyak-optimizationintro.djvu Введение в оптимизацию], Наука, 1983.
# Y. Nesterov. [http://libgen.io/book/index.php?md5=049F85DF4693D7C3DC27DDDD0720A096 Introductory Lectures on Convex Optimization: A Basic Course], Springer, 2003.
# R. Fletcher. [http://libgen.io/book/index.php?md5=CAFE400511F96424029AB1DCDB1E39F7 Practical Methods of Optimization], Wiley, 2000.
# A. Antoniou, W.-S. Lu. [http://libgen.io/book/index.php?md5=5F2D534ED4F5F26608F21866E9A3ABD5 Practical Optimization: Algorithms and Engineering Applications], Springer, 2007.
# W. Press et al.. [http://libgen.io/book/index.php?md5=0EDC79280D53EF968FFA05D63DFD5E55 Numerical Recipes. The Art of Scientific Computing], Cambridge University Press, 2007.