Wiki - Факультет компьютерных наук - Вклад [ru]

Байесовские методы машинного обучения 2017

2017-11-13T15:28:52Z

Necludov: /* Новости */

'''Лектор:''' Дмитрий Петрович Ветров

'''Семинаристы:''' [https://www.hse.ru/org/persons/131072080 Екатерина Лобачева], Кирилл Неклюдов

'''Контакты:''' по всем вопросам, связанным с курсом, просьба писать на '''bayesml@gmail.com'''. В название письма обязательно добавлять '''[ФКН БММО17]'''. 
'''Чат в телеграме:''' https://t.me/joinchat/CBXLmw3cg1NxHNCiwIlsvA

Преподаватели в чате бывают, но не всегда. По всем важным вопросам стоит писать на почту.

===Краткое описание===

[[Файл:Bayes.jpeg|400px|безрамки|слева]]
Курс посвящен т.н. байесовским методам решения различных задач машинного обучения (классификации, восстановления регрессии, уменьшения размерности, разделения смесей, тематического моделирования и др.), которые в настоящее время активно развиваются в мире. Большинство современных научных публикаций по машинному обучению используют вероятностное моделирование, опирающееся на байесовский подход к теории вероятностей. Последний позволяет эффективно учитывать различные предпочтения пользователя при построении решающих правил прогноза. Кроме того, он позволяет решать задачи выбора структурных параметров модели. В частности, здесь удается решать без комбинаторного перебора задачи селекции признаков, выбора числа кластеров в данных, размерности редуцированного пространства при уменьшении размерности, значений коэффициентов регуляризации и пр. В байесовском подходе вероятность интерпретируется как мера незнания, а не как объективная случайность. Простые правила оперирования с вероятностью, такие как формула полной вероятности и формула Байеса, позволяют проводить рассуждения в условиях неопределенности. В этом смысле байесовский подход к теории вероятностей можно рассматривать как обобщение классической булевой логики.

Основной задачей курса является привитие студентам навыков самостоятельного построения сложных вероятностных моделей обработки данных, используя стандартные модели в качестве своеобразных "кирпичиков". Особое внимание уделяется приближенным байесовским методам, позволяющим обсчитывать сложные вероятностные модели.

=== Новости ===
# На странице курса в anytask (http://anytask.org/course/221) появилось первое практическое задание. Дедлайн по заданию 23:59 25-09-2017.
# На странице курса в anytask появилось первое теоретическое задание. Дедлайн по заданию 23:59 30-09-2017.
# На странице курса в anytask появилось второе теоретическое задание. Дедлайн по заданию 23:59 09-10-2017.
# На странице курса в anytask появилась первая лабораторная работа. Дедлайн по заданию 23:59 17-10-2017.
# На странице курса в anytask появилось второе практическое задание. Дедлайн по заданию 23:59 30-10-2017.
# На странице курса в anytask появилось третье теоретическое задание. Дедлайн по заданию 23:59 06-11-2017.
# На странице курса в anytask появилась вторая лабораторная работа. Дедлайн по заданию 23:59 20-10-2017.

===Отчётность по курсу и критерии оценки===

В курсе предусмотрено несколько форм контроля знания:
* 2 практических домашних задания
* 3 теоретических домашних задания
* 4 домашних лабораторных работы
* устный экзамен

Результирующая оценка по дисциплине рассчитывается по формуле

'''O_итог = 0.7 * O_накопл + 0.3 * O_экз'''

Накопленная и итоговая оценки округляются арифметически. Накопленная оценка рассчитывается по формуле

'''O_накопл = 3/7 * O_практ + 4/49 * (3 * O_теор + 4 * О_лаб)'''

Эта формула выглядит страшно, но на деле она просто означает, что за практические работы можно заработать 3 балла в итоговую оценку, а за теоретические и лабораторные вместе - 4 балла. Оценка за каждый тип заданий рассчитывается как среднее по всем заданиям данного типа. Каждое задание и экзамен оцениваются по 10-балльной шкале (по заданиям допускается дробная оценка).

=== Экзамен ===

При подготовке ответа на экзамене разрешается пользоваться любыми материалами. При непосредственном ответе ничем пользоваться нельзя.

===Домашние задания ===
# В рамках курса предполагается выполнение двух практических заданий, трёх теоретических домашних заданий и четырёх лабораторных работ. Задания сдаются в системе anytask. Ссылка на курс http://anytask.org/course/221
# Пароль для курса был выслан всем на почту. Если вы по какой-то причине не получили пароль, напишите об этом на почту курса.
# Все практические задания и лабораторные сдаются на Python 3.
# Задания выполняются самостоятельно. Если задание выполнялось сообща, или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчете. В противном случае „похожие“ решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.
# Практические задания оцениваются из 10 баллов. За сдачу заданий позже срока начисляется штраф в размере 0.3 балла за каждый день просрочки, но суммарно не более 6 баллов.
# Теоретические задания и лабораторные работы также оцениваются из 10 баллов. За сдачу заданий позже срока начисляется штраф в размере 0.3 балла за каждый день просрочки. Решения не принимаются к проверке спустя неделю после срока.
# Первая проверка работ будет осуществляться через неделю после срока сдачи заданий. Присланные позже практические работы будут проверены в конце семестра.

=== Расписание занятий ===

{| class="wikitable"
|-
! '''Занятие''' !! '''Дата''' !! '''Название''' !! '''Материалы'''
|-
| 1 || 7, 11 сентября || Лекция и семинар: Байесовский подход к теории вероятностей, примеры байесовских рассуждений. || [https://bayesgroup.github.io/bmml/2016/Lectures/lecture01_presentation.pdf лекция (презентация)], [https://bayesgroup.github.io/bmml/2016/Lectures/lecture01_summary.pdf лекция (саммари)], [https://bayesgroup.github.io/bmml/2016/Seminars/BMML_sem1_2016.pdf семинар]
|-
| 2 || 18 сентября || Лекция и семинар: Аналитический байесовский вывод, сопряжённые распределения, экспоненциальный класс распределений, примеры. || [http://bayesgroup.github.io/bmml/2016/Seminars/BMML_sem2_2016.pdf семинар]
|-
| 3 || 21, 25 сентября || Лекция и семинар: Задача выбора модели по Байесу, принцип наибольшей обоснованности, примеры выбора вероятностной модели. || [http://www.machinelearning.ru/wiki/images/b/bd/BMMO11_5.pdf лекция], [https://drive.google.com/open?id=0B7TWwiIrcJstZExmM2ZtTFhPMFk семинар]
|-
| 4 || 28 сентября, 2 октября|| Лекция и семинар: Метод релевантных векторов для задачи регрессии, автоматическое определение значимости. Матричные вычисления. ||
[https://bayesgroup.github.io/bmml/2016/Lectures/lecture04_presentation.pdf лекция], [http://www.machinelearning.ru/wiki/images/2/2a/Matrix-Gauss.pdf семинар]
|-
| 5 || 5, 9 октября || Лекция и семинар: Метод релевантных векторов для задачи классификации, приближение Лапласа. || [http://www.machinelearning.ru/wiki/images/6/6c/BMMO11_8.pdf лекция], [https://github.com/bayesgroup/bayesgroup.github.io/blob/master/bmml/2016/Seminars/BMML_sem5_2016.pdf семинар]
|-
| 6 || 12, 16 октября || Лекция и семинар: Обучение при скрытых переменных, ЕМ-алгоритм в общем виде, байесовская модель метода главных компонент. || [http://www.machinelearning.ru/wiki/images/7/73/BMMO11_11.pdf лекция], [https://github.com/bayesgroup/bayesgroup.github.io/blob/master/bmml/2016/Seminars/BMML_sem6_2016.pdf семинар]
|-
| 7 || 19, 30 октября || Лекция и семинар: Вариационный подход для приближённого байесовского вывода. || [http://www.machinelearning.ru/wiki/images/5/57/BMMO11_9.pdf лекция], [http://www.machinelearning.ru/wiki/images/6/60/BMMO14_variational_lecture.pdf лекция (саммари)], [http://www.machinelearning.ru/wiki/images/8/80/BMML15_S08_variational_inference.pdf семинар]
|-
| 8 || 2, 6 ноября || Лекция и семинар: Методы Монте-Карло с марковскими цепями (MCMC). || -
|-
| 9 || 9, 13 ноября || Лекция и семинар: Гибридный метод Монте-Карло с марковскими цепями и его масштабируемые обобщения. || -
|-
| 10 || 16, 20 ноября || Лекция и семинар: Гауссовские процессы для регрессии и классификации. || -
|-
| 11 || 23, 27 ноября || Лекция и семинар: Процессы Дирихле и непараметрические байесовские модели. || -
|-
| 12 || 30 ноября, 4 декабря || Лекция и семинар: Модель LDA для тематического моделирования. || -
|-
| 13 || 7, 11 декабря || Лекция и семинар: Стохастический вариационный вывод. Вариационный автокодировщик. || -
|}

====Рекомендуемая литература ====
* Barber D. [http://www0.cs.ucl.ac.uk/staff/d.barber/brml/ Bayesian Reasoning and Machine Learning.] Cambridge University Press, 2012.
* Murphy K.P. Machine Learning: A Probabilistic Perspective. The MIT Press, 2012.
* Bishop C.M. [http://research.microsoft.com/en-us/um/people/cmbishop/prml/ Pattern Recognition and Machine Learning.] Springer, 2006.
* Mackay D.J.C. [http://www.inference.phy.cam.ac.uk/mackay/itila/book.html Information Theory, Inference, and Learning Algorithms.] Cambridge University Press, 2003.
* Tipping M. [http://www.jmlr.org/papers/volume1/tipping01a/tipping01a.pdf Sparse Bayesian Learning.] Journal of Machine Learning Research, 1, 2001, pp. 211-244.
* Шумский С.А. [http://www.niisi.ru/iont/ni/Library/School-2002/Shumsky-2002.pdf Байесова регуляризация обучения.] В сб. Лекции по нейроинформатике, часть 2, 2002.

====Полезные ссылки ====
[http://www.machinelearning.ru/wiki/index.php?title=Bmmo Сайт] одноименного курса, читаемого на ВМК МГУ. 
[http://bayesgroup.ru Сайт] группы Байесовских методов. 
Простые и удобные [http://cs.nyu.edu/~roweis/notes.html заметки] по матричным вычислениям и свойствам гауссовских распределений. 
[http://statistics.zone/ Памятка] по теории вероятностей.

Байесовские методы машинного обучения 2017

2017-10-09T16:35:03Z

Necludov: /* Расписание занятий */

'''Лектор:''' Дмитрий Петрович Ветров

'''Семинаристы:''' [https://www.hse.ru/org/persons/131072080 Екатерина Лобачева], Кирилл Неклюдов

'''Контакты:''' по всем вопросам, связанным с курсом, просьба писать на '''bayesml@gmail.com'''. В название письма обязательно добавлять '''[ФКН БММО17]'''. 
'''Чат в телеграме:''' https://t.me/joinchat/CBXLmw3cg1NxHNCiwIlsvA

Преподаватели в чате бывают, но не всегда. По всем важным вопросам стоит писать на почту.

===Краткое описание===

[[Файл:Bayes.jpeg|400px|безрамки|слева]]
Курс посвящен т.н. байесовским методам решения различных задач машинного обучения (классификации, восстановления регрессии, уменьшения размерности, разделения смесей, тематического моделирования и др.), которые в настоящее время активно развиваются в мире. Большинство современных научных публикаций по машинному обучению используют вероятностное моделирование, опирающееся на байесовский подход к теории вероятностей. Последний позволяет эффективно учитывать различные предпочтения пользователя при построении решающих правил прогноза. Кроме того, он позволяет решать задачи выбора структурных параметров модели. В частности, здесь удается решать без комбинаторного перебора задачи селекции признаков, выбора числа кластеров в данных, размерности редуцированного пространства при уменьшении размерности, значений коэффициентов регуляризации и пр. В байесовском подходе вероятность интерпретируется как мера незнания, а не как объективная случайность. Простые правила оперирования с вероятностью, такие как формула полной вероятности и формула Байеса, позволяют проводить рассуждения в условиях неопределенности. В этом смысле байесовский подход к теории вероятностей можно рассматривать как обобщение классической булевой логики.

Основной задачей курса является привитие студентам навыков самостоятельного построения сложных вероятностных моделей обработки данных, используя стандартные модели в качестве своеобразных "кирпичиков". Особое внимание уделяется приближенным байесовским методам, позволяющим обсчитывать сложные вероятностные модели.

=== Новости ===
# На странице курса в anytask (http://anytask.org/course/221) появилось первое практическое задание. Дедлайн по заданию 23:59 25-09-2017.
# На странице курса в anytask появилось первое теоретическое задание. Дедлайн по заданию 23:59 30-09-2017.
# На странице курса в anytask появилось второе теоретическое задание. Дедлайн по заданию 23:59 09-10-2017.
# На странице курса в anytask появилась первая лабораторная работа. Дедлайн по заданию 23:59 16-10-2017.

===Отчётность по курсу и критерии оценки===

В курсе предусмотрено несколько форм контроля знания:
* 2 практических домашних задания
* 3 теоретических домашних задания
* 4 домашних лабораторных работы
* устный экзамен

Результирующая оценка по дисциплине рассчитывается по формуле

'''O_итог = 0.7 * O_накопл + 0.3 * O_экз'''

Накопленная и итоговая оценки округляются арифметически. Накопленная оценка рассчитывается по формуле

'''O_накопл = 3/7 * O_практ + 4/49 * (3 * O_теор + 4 * О_лаб)'''

Эта формула выглядит страшно, но на деле она просто означает, что за практические работы можно заработать 3 балла в итоговую оценку, а за теоретические и лабораторные вместе - 4 балла. Оценка за каждый тип заданий рассчитывается как среднее по всем заданиям данного типа. Каждое задание и экзамен оцениваются по 10-балльной шкале (по заданиям допускается дробная оценка).

=== Экзамен ===

При подготовке ответа на экзамене разрешается пользоваться любыми материалами. При непосредственном ответе ничем пользоваться нельзя.

===Домашние задания ===
# В рамках курса предполагается выполнение двух практических заданий, трёх теоретических домашних заданий и четырёх лабораторных работ. Задания сдаются в системе anytask. Ссылка на курс http://anytask.org/course/221
# Пароль для курса был выслан всем на почту. Если вы по какой-то причине не получили пароль, напишите об этом на почту курса.
# Все практические задания и лабораторные сдаются на Python 3.
# Задания выполняются самостоятельно. Если задание выполнялось сообща, или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчете. В противном случае „похожие“ решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.
# Практические задания оцениваются из 10 баллов. За сдачу заданий позже срока начисляется штраф в размере 0.3 балла за каждый день просрочки, но суммарно не более 6 баллов.
# Теоретические задания и лабораторные работы также оцениваются из 10 баллов. За сдачу заданий позже срока начисляется штраф в размере 0.3 балла за каждый день просрочки. Решения не принимаются к проверке спустя неделю после срока.
# Первая проверка работ будет осуществляться через неделю после срока сдачи заданий. Присланные позже практические работы будут проверены в конце семестра.

=== Расписание занятий ===

{| class="wikitable"
|-
! '''Занятие''' !! '''Дата''' !! '''Название''' !! '''Материалы'''
|-
| 1 || 7, 11 сентября || Лекция и семинар: Байесовский подход к теории вероятностей, примеры байесовских рассуждений. || [https://bayesgroup.github.io/bmml/2016/Lectures/lecture01_presentation.pdf лекция (презентация)], [https://bayesgroup.github.io/bmml/2016/Lectures/lecture01_summary.pdf лекция (саммари)], [https://bayesgroup.github.io/bmml/2016/Seminars/BMML_sem1_2016.pdf семинар]
|-
| 2 || 18 сентября || Лекция и семинар: Аналитический байесовский вывод, сопряжённые распределения, экспоненциальный класс распределений, примеры. || [http://bayesgroup.github.io/bmml/2016/Seminars/BMML_sem2_2016.pdf семинар]
|-
| 3 || 21, 25 сентября || Лекция и семинар: Задача выбора модели по Байесу, принцип наибольшей обоснованности, примеры выбора вероятностной модели. || [http://www.machinelearning.ru/wiki/images/b/bd/BMMO11_5.pdf лекция], [https://drive.google.com/open?id=0B7TWwiIrcJstZExmM2ZtTFhPMFk семинар]
|-
| 4 || 28 сентября, 2 октября|| Лекция и семинар: Метод релевантных векторов для задачи регрессии, автоматическое определение значимости. Матричные вычисления. ||
[https://bayesgroup.github.io/bmml/2016/Lectures/lecture04_presentation.pdf лекция], [http://www.machinelearning.ru/wiki/images/2/2a/Matrix-Gauss.pdf семинар]
|-
| 5 || 5, 9 октября || Лекция и семинар: Метод релевантных векторов для задачи классификации, приближение Лапласа. || -
|-
| 6 || 12, 16 октября || Лекция и семинар: Обучение при скрытых переменных, ЕМ-алгоритм в общем виде, байесовская модель метода главных компонент. || -
|-
| 7 || 2, 6 ноября || Лекция и семинар: Вариационный подход для приближённого байесовского вывода. || -
|-
| 8 || 9, 13 ноября || Лекция и семинар: Методы Монте-Карло с марковскими цепями (MCMC). || -
|-
| 9 || 16, 20 ноября || Лекция и семинар: Гибридный метод Монте-Карло с марковскими цепями и его масштабируемые обобщения. || -
|-
| 10 || 23, 27 ноября || Лекция и семинар: Гауссовские процессы для регрессии и классификации. || -
|-
| 11 || 30 ноября, 4 декабря || Лекция и семинар: Процессы Дирихле и непараметрические байесовские модели. || -
|-
| 12 || 7, 11 декабря || Лекция и семинар: Модель LDA для тематического моделирования. || -
|-
| 13 || 14, 18 декабря || Лекция и семинар: Стохастический вариационный вывод. Вариационный автокодировщик. || -
|}

====Рекомендуемая литература ====
* Barber D. [http://www0.cs.ucl.ac.uk/staff/d.barber/brml/ Bayesian Reasoning and Machine Learning.] Cambridge University Press, 2012.
* Murphy K.P. Machine Learning: A Probabilistic Perspective. The MIT Press, 2012.
* Bishop C.M. [http://research.microsoft.com/en-us/um/people/cmbishop/prml/ Pattern Recognition and Machine Learning.] Springer, 2006.
* Mackay D.J.C. [http://www.inference.phy.cam.ac.uk/mackay/itila/book.html Information Theory, Inference, and Learning Algorithms.] Cambridge University Press, 2003.
* Tipping M. [http://www.jmlr.org/papers/volume1/tipping01a/tipping01a.pdf Sparse Bayesian Learning.] Journal of Machine Learning Research, 1, 2001, pp. 211-244.
* Шумский С.А. [http://www.niisi.ru/iont/ni/Library/School-2002/Shumsky-2002.pdf Байесова регуляризация обучения.] В сб. Лекции по нейроинформатике, часть 2, 2002.

====Полезные ссылки ====
[http://www.machinelearning.ru/wiki/index.php?title=Bmmo Сайт] одноименного курса, читаемого на ВМК МГУ. 
[http://bayesgroup.ru Сайт] группы Байесовских методов. 
Простые и удобные [http://cs.nyu.edu/~roweis/notes.html заметки] по матричным вычислениям и свойствам гауссовских распределений. 
[http://statistics.zone/ Памятка] по теории вероятностей.

Байесовские методы машинного обучения 2017

2017-09-24T18:07:43Z

Necludov: материалы по второму семинару

'''Лектор:''' Дмитрий Петрович Ветров

'''Семинаристы:''' [https://www.hse.ru/org/persons/131072080 Екатерина Лобачева], Кирилл Неклюдов

'''Контакты:''' по всем вопросам, связанным с курсом, просьба писать на '''bayesml@gmail.com'''. В название письма обязательно добавлять '''[ФКН БММО17]'''. 
'''Чат в телеграме:''' https://t.me/joinchat/CBXLmw3cg1NxHNCiwIlsvA

Преподаватели в чате бывают, но не всегда. По всем важным вопросам стоит писать на почту.

===Краткое описание===

[[Файл:Bayes.jpeg|400px|безрамки|слева]]
Курс посвящен т.н. байесовским методам решения различных задач машинного обучения (классификации, восстановления регрессии, уменьшения размерности, разделения смесей, тематического моделирования и др.), которые в настоящее время активно развиваются в мире. Большинство современных научных публикаций по машинному обучению используют вероятностное моделирование, опирающееся на байесовский подход к теории вероятностей. Последний позволяет эффективно учитывать различные предпочтения пользователя при построении решающих правил прогноза. Кроме того, он позволяет решать задачи выбора структурных параметров модели. В частности, здесь удается решать без комбинаторного перебора задачи селекции признаков, выбора числа кластеров в данных, размерности редуцированного пространства при уменьшении размерности, значений коэффициентов регуляризации и пр. В байесовском подходе вероятность интерпретируется как мера незнания, а не как объективная случайность. Простые правила оперирования с вероятностью, такие как формула полной вероятности и формула Байеса, позволяют проводить рассуждения в условиях неопределенности. В этом смысле байесовский подход к теории вероятностей можно рассматривать как обобщение классической булевой логики.

Основной задачей курса является привитие студентам навыков самостоятельного построения сложных вероятностных моделей обработки данных, используя стандартные модели в качестве своеобразных "кирпичиков". Особое внимание уделяется приближенным байесовским методам, позволяющим обсчитывать сложные вероятностные модели.

=== Новости ===
# На странице курса в anytask (http://anytask.org/course/221) появилось первое практическое задание. Дедлайн по заданию 23:59 25-09-2017.
# На странице курса в anytask появилось первое теоретическое задание. Дедлайн по заданию 23:59 30-09-2017.

===Отчётность по курсу и критерии оценки===

В курсе предусмотрено несколько форм контроля знания:
* 2 практических домашних задания
* 3 теоретических домашних задания
* 4 домашних лабораторных работы
* устный экзамен

Результирующая оценка по дисциплине рассчитывается по формуле

'''O_итог = 0.7 * O_накопл + 0.3 * O_экз'''

Накопленная и итоговая оценки округляются арифметически. Накопленная оценка рассчитывается по формуле

'''O_накопл = 3/7 * O_практ + 4/49 * (3 * O_теор + 4 * О_лаб)'''

Эта формула выглядит страшно, но на деле она просто означает, что за практические работы можно заработать 3 балла в итоговую оценку, а за теоретические и лабораторные вместе - 4 балла. Оценка за каждый тип заданий рассчитывается как среднее по всем заданиям данного типа. Каждое задание и экзамен оцениваются по 10-балльной шкале (по заданиям допускается дробная оценка).

=== Экзамен ===

При подготовке ответа на экзамене разрешается пользоваться любыми материалами. При непосредственном ответе ничем пользоваться нельзя.

===Домашние задания ===
# В рамках курса предполагается выполнение двух практических заданий, трёх теоретических домашних заданий и четырёх лабораторных работ. Задания сдаются в системе anytask. Ссылка на курс http://anytask.org/course/221
# Пароль для курса был выслан всем на почту. Если вы по какой-то причине не получили пароль, напишите об этом на почту курса.
# Все практические задания и лабораторные сдаются на Python 3.
# Задания выполняются самостоятельно. Если задание выполнялось сообща, или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчете. В противном случае „похожие“ решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.
# Практические задания оцениваются из 10 баллов. За сдачу заданий позже срока начисляется штраф в размере 0.3 балла за каждый день просрочки, но суммарно не более 6 баллов.
# Теоретические задания и лабораторные работы также оцениваются из 10 баллов. За сдачу заданий позже срока начисляется штраф в размере 0.3 балла за каждый день просрочки. Решения не принимаются к проверке спустя неделю после срока.
# Первая проверка работ будет осуществляться через неделю после срока сдачи заданий. Присланные позже практические работы будут проверены в конце семестра.

=== Расписание занятий ===

{| class="wikitable"
|-
! '''Занятие''' !! '''Дата''' !! '''Название''' !! '''Материалы'''
|-
| 1 || 7, 11 сентября || Лекция и семинар: Байесовский подход к теории вероятностей, примеры байесовских рассуждений. || [https://bayesgroup.github.io/bmml/2016/Lectures/lecture01_presentation.pdf лекция (презентация)], [https://bayesgroup.github.io/bmml/2016/Lectures/lecture01_summary.pdf лекция (саммари)], [https://bayesgroup.github.io/bmml/2016/Seminars/BMML_sem1_2016.pdf семинар]
|-
| 2 || 18 сентября || Лекция и семинар: Аналитический байесовский вывод, сопряжённые распределения, экспоненциальный класс распределений, примеры. || [http://bayesgroup.github.io/bmml/2016/Seminars/BMML_sem2_2016.pdf семинар]
|-
| 3 || 21, 25 сентября || Лекция и семинар: Задача выбора модели по Байесу, принцип наибольшей обоснованности, примеры выбора вероятностной модели. || -
|-
| 4 || 28 сентября, 2 октября|| Лекция и семинар: Метод релевантных векторов для задачи регрессии, автоматическое определение значимости. Матричные вычисления. || -
|-
| 5 || 5, 9 октября || Лекция и семинар: Метод релевантных векторов для задачи классификации, приближение Лапласа. || -
|-
| 6 || 12, 16 октября || Лекция и семинар: Обучение при скрытых переменных, ЕМ-алгоритм в общем виде, байесовская модель метода главных компонент. || -
|-
| 7 || 2, 6 ноября || Лекция и семинар: Вариационный подход для приближённого байесовского вывода. || -
|-
| 8 || 9, 13 ноября || Лекция и семинар: Методы Монте-Карло с марковскими цепями (MCMC). || -
|-
| 9 || 16, 20 ноября || Лекция и семинар: Гибридный метод Монте-Карло с марковскими цепями и его масштабируемые обобщения. || -
|-
| 10 || 23, 27 ноября || Лекция и семинар: Гауссовские процессы для регрессии и классификации. || -
|-
| 11 || 30 ноября, 4 декабря || Лекция и семинар: Процессы Дирихле и непараметрические байесовские модели. || -
|-
| 12 || 7, 11 декабря || Лекция и семинар: Модель LDA для тематического моделирования. || -
|-
| 13 || 14, 18 декабря || Лекция и семинар: Стохастический вариационный вывод. Вариационный автокодировщик. || -
|}

====Рекомендуемая литература ====
* Barber D. [http://www0.cs.ucl.ac.uk/staff/d.barber/brml/ Bayesian Reasoning and Machine Learning.] Cambridge University Press, 2012.
* Murphy K.P. Machine Learning: A Probabilistic Perspective. The MIT Press, 2012.
* Bishop C.M. [http://research.microsoft.com/en-us/um/people/cmbishop/prml/ Pattern Recognition and Machine Learning.] Springer, 2006.
* Mackay D.J.C. [http://www.inference.phy.cam.ac.uk/mackay/itila/book.html Information Theory, Inference, and Learning Algorithms.] Cambridge University Press, 2003.
* Tipping M. [http://www.jmlr.org/papers/volume1/tipping01a/tipping01a.pdf Sparse Bayesian Learning.] Journal of Machine Learning Research, 1, 2001, pp. 211-244.
* Шумский С.А. [http://www.niisi.ru/iont/ni/Library/School-2002/Shumsky-2002.pdf Байесова регуляризация обучения.] В сб. Лекции по нейроинформатике, часть 2, 2002.

====Полезные ссылки ====
[http://www.machinelearning.ru/wiki/index.php?title=Bmmo Сайт] одноименного курса, читаемого на ВМК МГУ. 
[http://bayesgroup.ru Сайт] группы Байесовских методов. 
Простые и удобные [http://cs.nyu.edu/~roweis/notes.html заметки] по матричным вычислениям и свойствам гауссовских распределений. 
[http://matthias.vallentin.net/probability-and-statistics-cookbook/ Памятка] по теории вероятностей.

Байесовские методы машинного обучения 2017

2017-09-24T18:05:59Z

Necludov: материалы по первой лекции и семинару

'''Лектор:''' Дмитрий Петрович Ветров

'''Семинаристы:''' [https://www.hse.ru/org/persons/131072080 Екатерина Лобачева], Кирилл Неклюдов

'''Контакты:''' по всем вопросам, связанным с курсом, просьба писать на '''bayesml@gmail.com'''. В название письма обязательно добавлять '''[ФКН БММО17]'''. 
'''Чат в телеграме:''' https://t.me/joinchat/CBXLmw3cg1NxHNCiwIlsvA

Преподаватели в чате бывают, но не всегда. По всем важным вопросам стоит писать на почту.

===Краткое описание===

[[Файл:Bayes.jpeg|400px|безрамки|слева]]
Курс посвящен т.н. байесовским методам решения различных задач машинного обучения (классификации, восстановления регрессии, уменьшения размерности, разделения смесей, тематического моделирования и др.), которые в настоящее время активно развиваются в мире. Большинство современных научных публикаций по машинному обучению используют вероятностное моделирование, опирающееся на байесовский подход к теории вероятностей. Последний позволяет эффективно учитывать различные предпочтения пользователя при построении решающих правил прогноза. Кроме того, он позволяет решать задачи выбора структурных параметров модели. В частности, здесь удается решать без комбинаторного перебора задачи селекции признаков, выбора числа кластеров в данных, размерности редуцированного пространства при уменьшении размерности, значений коэффициентов регуляризации и пр. В байесовском подходе вероятность интерпретируется как мера незнания, а не как объективная случайность. Простые правила оперирования с вероятностью, такие как формула полной вероятности и формула Байеса, позволяют проводить рассуждения в условиях неопределенности. В этом смысле байесовский подход к теории вероятностей можно рассматривать как обобщение классической булевой логики.

Основной задачей курса является привитие студентам навыков самостоятельного построения сложных вероятностных моделей обработки данных, используя стандартные модели в качестве своеобразных "кирпичиков". Особое внимание уделяется приближенным байесовским методам, позволяющим обсчитывать сложные вероятностные модели.

=== Новости ===
# На странице курса в anytask (http://anytask.org/course/221) появилось первое практическое задание. Дедлайн по заданию 23:59 25-09-2017.
# На странице курса в anytask появилось первое теоретическое задание. Дедлайн по заданию 23:59 30-09-2017.

===Отчётность по курсу и критерии оценки===

В курсе предусмотрено несколько форм контроля знания:
* 2 практических домашних задания
* 3 теоретических домашних задания
* 4 домашних лабораторных работы
* устный экзамен

Результирующая оценка по дисциплине рассчитывается по формуле

'''O_итог = 0.7 * O_накопл + 0.3 * O_экз'''

Накопленная и итоговая оценки округляются арифметически. Накопленная оценка рассчитывается по формуле

'''O_накопл = 3/7 * O_практ + 4/49 * (3 * O_теор + 4 * О_лаб)'''

Эта формула выглядит страшно, но на деле она просто означает, что за практические работы можно заработать 3 балла в итоговую оценку, а за теоретические и лабораторные вместе - 4 балла. Оценка за каждый тип заданий рассчитывается как среднее по всем заданиям данного типа. Каждое задание и экзамен оцениваются по 10-балльной шкале (по заданиям допускается дробная оценка).

=== Экзамен ===

При подготовке ответа на экзамене разрешается пользоваться любыми материалами. При непосредственном ответе ничем пользоваться нельзя.

===Домашние задания ===
# В рамках курса предполагается выполнение двух практических заданий, трёх теоретических домашних заданий и четырёх лабораторных работ. Задания сдаются в системе anytask. Ссылка на курс http://anytask.org/course/221
# Пароль для курса был выслан всем на почту. Если вы по какой-то причине не получили пароль, напишите об этом на почту курса.
# Все практические задания и лабораторные сдаются на Python 3.
# Задания выполняются самостоятельно. Если задание выполнялось сообща, или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчете. В противном случае „похожие“ решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.
# Практические задания оцениваются из 10 баллов. За сдачу заданий позже срока начисляется штраф в размере 0.3 балла за каждый день просрочки, но суммарно не более 6 баллов.
# Теоретические задания и лабораторные работы также оцениваются из 10 баллов. За сдачу заданий позже срока начисляется штраф в размере 0.3 балла за каждый день просрочки. Решения не принимаются к проверке спустя неделю после срока.
# Первая проверка работ будет осуществляться через неделю после срока сдачи заданий. Присланные позже практические работы будут проверены в конце семестра.

=== Расписание занятий ===

{| class="wikitable"
|-
! '''Занятие''' !! '''Дата''' !! '''Название''' !! '''Материалы'''
|-
| 1 || 7, 11 сентября || Лекция и семинар: Байесовский подход к теории вероятностей, примеры байесовских рассуждений. || [https://bayesgroup.github.io/bmml/2016/Lectures/lecture01_presentation.pdf лекция (презентация)], [https://bayesgroup.github.io/bmml/2016/Lectures/lecture01_summary.pdf лекция (саммари)], [https://bayesgroup.github.io/bmml/2016/Seminars/BMML_sem1_2016.pdf семинар]
|-
| 2 || 18 сентября || Лекция и семинар: Аналитический байесовский вывод, сопряжённые распределения, экспоненциальный класс распределений, примеры. || -
|-
| 3 || 21, 25 сентября || Лекция и семинар: Задача выбора модели по Байесу, принцип наибольшей обоснованности, примеры выбора вероятностной модели. || -
|-
| 4 || 28 сентября, 2 октября|| Лекция и семинар: Метод релевантных векторов для задачи регрессии, автоматическое определение значимости. Матричные вычисления. || -
|-
| 5 || 5, 9 октября || Лекция и семинар: Метод релевантных векторов для задачи классификации, приближение Лапласа. || -
|-
| 6 || 12, 16 октября || Лекция и семинар: Обучение при скрытых переменных, ЕМ-алгоритм в общем виде, байесовская модель метода главных компонент. || -
|-
| 7 || 2, 6 ноября || Лекция и семинар: Вариационный подход для приближённого байесовского вывода. || -
|-
| 8 || 9, 13 ноября || Лекция и семинар: Методы Монте-Карло с марковскими цепями (MCMC). || -
|-
| 9 || 16, 20 ноября || Лекция и семинар: Гибридный метод Монте-Карло с марковскими цепями и его масштабируемые обобщения. || -
|-
| 10 || 23, 27 ноября || Лекция и семинар: Гауссовские процессы для регрессии и классификации. || -
|-
| 11 || 30 ноября, 4 декабря || Лекция и семинар: Процессы Дирихле и непараметрические байесовские модели. || -
|-
| 12 || 7, 11 декабря || Лекция и семинар: Модель LDA для тематического моделирования. || -
|-
| 13 || 14, 18 декабря || Лекция и семинар: Стохастический вариационный вывод. Вариационный автокодировщик. || -
|}

====Рекомендуемая литература ====
* Barber D. [http://www0.cs.ucl.ac.uk/staff/d.barber/brml/ Bayesian Reasoning and Machine Learning.] Cambridge University Press, 2012.
* Murphy K.P. Machine Learning: A Probabilistic Perspective. The MIT Press, 2012.
* Bishop C.M. [http://research.microsoft.com/en-us/um/people/cmbishop/prml/ Pattern Recognition and Machine Learning.] Springer, 2006.
* Mackay D.J.C. [http://www.inference.phy.cam.ac.uk/mackay/itila/book.html Information Theory, Inference, and Learning Algorithms.] Cambridge University Press, 2003.
* Tipping M. [http://www.jmlr.org/papers/volume1/tipping01a/tipping01a.pdf Sparse Bayesian Learning.] Journal of Machine Learning Research, 1, 2001, pp. 211-244.
* Шумский С.А. [http://www.niisi.ru/iont/ni/Library/School-2002/Shumsky-2002.pdf Байесова регуляризация обучения.] В сб. Лекции по нейроинформатике, часть 2, 2002.

====Полезные ссылки ====
[http://www.machinelearning.ru/wiki/index.php?title=Bmmo Сайт] одноименного курса, читаемого на ВМК МГУ. 
[http://bayesgroup.ru Сайт] группы Байесовских методов. 
Простые и удобные [http://cs.nyu.edu/~roweis/notes.html заметки] по матричным вычислениям и свойствам гауссовских распределений. 
[http://matthias.vallentin.net/probability-and-statistics-cookbook/ Памятка] по теории вероятностей.

Байесовские методы машинного обучения 2017

2017-09-24T16:59:34Z

Necludov: /* Новости */

'''Лектор:''' Дмитрий Петрович Ветров

'''Семинаристы:''' [https://www.hse.ru/org/persons/131072080 Екатерина Лобачева], Кирилл Неклюдов

'''Контакты:''' по всем вопросам, связанным с курсом, просьба писать на '''bayesml@gmail.com'''. В название письма обязательно добавлять '''[ФКН БММО17]'''. 
'''Чат в телеграме:''' https://t.me/joinchat/CBXLmw3cg1NxHNCiwIlsvA

Преподаватели в чате бывают, но не всегда. По всем важным вопросам стоит писать на почту.

===Краткое описание===

[[Файл:Bayes.jpeg|400px|безрамки|слева]]
Курс посвящен т.н. байесовским методам решения различных задач машинного обучения (классификации, восстановления регрессии, уменьшения размерности, разделения смесей, тематического моделирования и др.), которые в настоящее время активно развиваются в мире. Большинство современных научных публикаций по машинному обучению используют вероятностное моделирование, опирающееся на байесовский подход к теории вероятностей. Последний позволяет эффективно учитывать различные предпочтения пользователя при построении решающих правил прогноза. Кроме того, он позволяет решать задачи выбора структурных параметров модели. В частности, здесь удается решать без комбинаторного перебора задачи селекции признаков, выбора числа кластеров в данных, размерности редуцированного пространства при уменьшении размерности, значений коэффициентов регуляризации и пр. В байесовском подходе вероятность интерпретируется как мера незнания, а не как объективная случайность. Простые правила оперирования с вероятностью, такие как формула полной вероятности и формула Байеса, позволяют проводить рассуждения в условиях неопределенности. В этом смысле байесовский подход к теории вероятностей можно рассматривать как обобщение классической булевой логики.

Основной задачей курса является привитие студентам навыков самостоятельного построения сложных вероятностных моделей обработки данных, используя стандартные модели в качестве своеобразных "кирпичиков". Особое внимание уделяется приближенным байесовским методам, позволяющим обсчитывать сложные вероятностные модели.

=== Новости ===
# На странице курса в anytask (http://anytask.org/course/221) появилось первое практическое задание. Дедлайн по заданию 23:59 25-09-2017.
# На странице курса в anytask появилось первое теоретическое задание. Дедлайн по заданию 23:59 30-09-2017.

===Отчётность по курсу и критерии оценки===

В курсе предусмотрено несколько форм контроля знания:
* 2 практических домашних задания
* 3 теоретических домашних задания
* 4 домашних лабораторных работы
* устный экзамен

Результирующая оценка по дисциплине рассчитывается по формуле

'''O_итог = 0.7 * O_накопл + 0.3 * O_экз'''

Накопленная и итоговая оценки округляются арифметически. Накопленная оценка рассчитывается по формуле

'''O_накопл = 3/7 * O_практ + 4/49 * (3 * O_теор + 4 * О_лаб)'''

Эта формула выглядит страшно, но на деле она просто означает, что за практические работы можно заработать 3 балла в итоговую оценку, а за теоретические и лабораторные вместе - 4 балла. Оценка за каждый тип заданий рассчитывается как среднее по всем заданиям данного типа. Каждое задание и экзамен оцениваются по 10-балльной шкале (по заданиям допускается дробная оценка).

=== Экзамен ===

При подготовке ответа на экзамене разрешается пользоваться любыми материалами. При непосредственном ответе ничем пользоваться нельзя.

===Домашние задания ===
# В рамках курса предполагается выполнение двух практических заданий, трёх теоретических домашних заданий и четырёх лабораторных работ. Задания сдаются в системе anytask. Ссылка на курс http://anytask.org/course/221
# Пароль для курса был выслан всем на почту. Если вы по какой-то причине не получили пароль, напишите об этом на почту курса.
# Все практические задания и лабораторные сдаются на Python 3.
# Задания выполняются самостоятельно. Если задание выполнялось сообща, или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчете. В противном случае „похожие“ решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.
# Практические задания оцениваются из 10 баллов. За сдачу заданий позже срока начисляется штраф в размере 0.3 балла за каждый день просрочки, но суммарно не более 6 баллов.
# Теоретические задания и лабораторные работы также оцениваются из 10 баллов. За сдачу заданий позже срока начисляется штраф в размере 0.3 балла за каждый день просрочки. Решения не принимаются к проверке спустя неделю после срока.
# Первая проверка работ будет осуществляться через неделю после срока сдачи заданий. Присланные позже практические работы будут проверены в конце семестра.

=== Расписание занятий ===

{| class="wikitable"
|-
! '''Занятие''' !! '''Дата''' !! '''Название''' !! '''Материалы'''
|-
| 1 || 7, 11 сентября || Лекция и семинар: Байесовский подход к теории вероятностей, примеры байесовских рассуждений. || -
|-
| 2 || 18 сентября || Лекция и семинар: Аналитический байесовский вывод, сопряжённые распределения, экспоненциальный класс распределений, примеры. || -
|-
| 3 || 21, 25 сентября || Лекция и семинар: Задача выбора модели по Байесу, принцип наибольшей обоснованности, примеры выбора вероятностной модели. || -
|-
| 4 || 28 сентября, 2 октября|| Лекция и семинар: Метод релевантных векторов для задачи регрессии, автоматическое определение значимости. Матричные вычисления. || -
|-
| 5 || 5, 9 октября || Лекция и семинар: Метод релевантных векторов для задачи классификации, приближение Лапласа. || -
|-
| 6 || 12, 16 октября || Лекция и семинар: Обучение при скрытых переменных, ЕМ-алгоритм в общем виде, байесовская модель метода главных компонент. || -
|-
| 7 || 2, 6 ноября || Лекция и семинар: Вариационный подход для приближённого байесовского вывода. || -
|-
| 8 || 9, 13 ноября || Лекция и семинар: Методы Монте-Карло с марковскими цепями (MCMC). || -
|-
| 9 || 16, 20 ноября || Лекция и семинар: Гибридный метод Монте-Карло с марковскими цепями и его масштабируемые обобщения. || -
|-
| 10 || 23, 27 ноября || Лекция и семинар: Гауссовские процессы для регрессии и классификации. || -
|-
| 11 || 30 ноября, 4 декабря || Лекция и семинар: Процессы Дирихле и непараметрические байесовские модели. || -
|-
| 12 || 7, 11 декабря || Лекция и семинар: Модель LDA для тематического моделирования. || -
|-
| 13 || 14, 18 декабря || Лекция и семинар: Стохастический вариационный вывод. Вариационный автокодировщик. || -
|}

====Рекомендуемая литература ====
* Barber D. [http://www0.cs.ucl.ac.uk/staff/d.barber/brml/ Bayesian Reasoning and Machine Learning.] Cambridge University Press, 2012.
* Murphy K.P. Machine Learning: A Probabilistic Perspective. The MIT Press, 2012.
* Bishop C.M. [http://research.microsoft.com/en-us/um/people/cmbishop/prml/ Pattern Recognition and Machine Learning.] Springer, 2006.
* Mackay D.J.C. [http://www.inference.phy.cam.ac.uk/mackay/itila/book.html Information Theory, Inference, and Learning Algorithms.] Cambridge University Press, 2003.
* Tipping M. [http://www.jmlr.org/papers/volume1/tipping01a/tipping01a.pdf Sparse Bayesian Learning.] Journal of Machine Learning Research, 1, 2001, pp. 211-244.
* Шумский С.А. [http://www.niisi.ru/iont/ni/Library/School-2002/Shumsky-2002.pdf Байесова регуляризация обучения.] В сб. Лекции по нейроинформатике, часть 2, 2002.

====Полезные ссылки ====
[http://www.machinelearning.ru/wiki/index.php?title=Bmmo Сайт] одноименного курса, читаемого на ВМК МГУ. 
[http://bayesgroup.ru Сайт] группы Байесовских методов. 
Простые и удобные [http://cs.nyu.edu/~roweis/notes.html заметки] по матричным вычислениям и свойствам гауссовских распределений. 
[http://matthias.vallentin.net/probability-and-statistics-cookbook/ Памятка] по теории вероятностей.

Байесовские методы машинного обучения 2017

2017-09-13T12:07:42Z

Necludov: /* Домашние задания */

'''Лектор:''' Дмитрий Петрович Ветров

'''Семинаристы:''' [https://www.hse.ru/org/persons/131072080 Екатерина Лобачева], Кирилл Неклюдов

'''Контакты:''' по всем вопросам, связанным с курсом, просьба писать на '''bayesml@gmail.com'''. В название письма обязательно добавлять '''[ФКН БММО17]'''.

===Краткое описание===

[[Файл:Bayes.jpeg|400px|безрамки|слева]]
Курс посвящен т.н. байесовским методам решения различных задач машинного обучения (классификации, восстановления регрессии, уменьшения размерности, разделения смесей, тематического моделирования и др.), которые в настоящее время активно развиваются в мире. Большинство современных научных публикаций по машинному обучению используют вероятностное моделирование, опирающееся на байесовский подход к теории вероятностей. Последний позволяет эффективно учитывать различные предпочтения пользователя при построении решающих правил прогноза. Кроме того, он позволяет решать задачи выбора структурных параметров модели. В частности, здесь удается решать без комбинаторного перебора задачи селекции признаков, выбора числа кластеров в данных, размерности редуцированного пространства при уменьшении размерности, значений коэффициентов регуляризации и пр. В байесовском подходе вероятность интерпретируется как мера незнания, а не как объективная случайность. Простые правила оперирования с вероятностью, такие как формула полной вероятности и формула Байеса, позволяют проводить рассуждения в условиях неопределенности. В этом смысле байесовский подход к теории вероятностей можно рассматривать как обобщение классической булевой логики.

Основной задачей курса является привитие студентам навыков самостоятельного построения сложных вероятностных моделей обработки данных, используя стандартные модели в качестве своеобразных "кирпичиков". Особое внимание уделяется приближенным байесовским методам, позволяющим обсчитывать сложные вероятностные модели.

=== Новости ===
# На странице курса в anytask (http://anytask.org/course/221) появилось первое практическое задание. Дедлайн по заданию 23:59 25-09-2017.

===Отчётность по курсу и критерии оценки===

В курсе предусмотрено несколько форм контроля знания:
* 2 практических домашних задания
* 3 теоретических домашних задания
* 4 домашних лабораторных работы
* устный экзамен

Результирующая оценка по дисциплине рассчитывается по формуле

'''O_итог = 0.7 * O_накопл + 0.3 * O_экз'''

Накопленная и итоговая оценки округляются арифметически. Накопленная оценка рассчитывается по формуле

'''O_накопл = 3/7 * O_практ + 4/49 * (3 * O_теор + 4 * О_лаб)'''

Эта формула выглядит страшно, но на деле она просто означает, что за практические работы можно заработать 3 балла в итоговую оценку, а за теоретические и лабораторные вместе - 4 балла. Оценка за каждый тип заданий рассчитывается как среднее по всем заданиям данного типа. Каждое задание и экзамен оцениваются по 10-балльной шкале (по заданиям допускается дробная оценка).

=== Экзамен ===

При подготовке ответа на экзамене разрешается пользоваться любыми материалами. При непосредственном ответе ничем пользоваться нельзя.

===Домашние задания ===
# В рамках курса предполагается выполнение двух практических заданий, трёх теоретических домашних заданий и четырёх лабораторных работ. Задания сдаются в системе anytask. Ссылка на курс http://anytask.org/course/221
# Пароль для курса был выслан всем на почту. Если вы по какой-то причине не получили пароль, напишите об этом на почту курса.
# Задания выполняются самостоятельно. Если задание выполнялось сообща, или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчете. В противном случае „похожие“ решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.
# Практические задания оцениваются из 10 баллов. За сдачу заданий позже срока начисляется штраф в размере 0.3 балла за каждый день просрочки, но суммарно не более 6 баллов.
# Теоретические задания и лабораторные работы также оцениваются из 10 баллов. За сдачу заданий позже срока начисляется штраф в размере 0.3 балла за каждый день просрочки. Решения не принимаются к проверке спустя неделю после срока.
# Первая проверка работ будет осуществляться через неделю после срока сдачи заданий. Присланные позже практические работы будут проверены в конце семестра.

=== Расписание занятий ===

{| class="wikitable"
|-
! '''Занятие''' !! '''Дата''' !! '''Название''' !! '''Материалы'''
|-
| 1 || 7, 11 сентября || Лекция и семинар: Байесовский подход к теории вероятностей, примеры байесовских рассуждений. || -
|-
| 2 || 18 сентября || Лекция и семинар: Аналитический байесовский вывод, сопряжённые распределения, экспоненциальный класс распределений, примеры. || -
|-
| 3 || 21, 25 сентября || Лекция и семинар: Задача выбора модели по Байесу, принцип наибольшей обоснованности, примеры выбора вероятностной модели. || -
|-
| 4 || 28 сентября, 2 октября|| Лекция и семинар: Метод релевантных векторов для задачи регрессии, автоматическое определение значимости. Матричные вычисления. || -
|-
| 5 || 5, 9 октября || Лекция и семинар: Метод релевантных векторов для задачи классификации, приближение Лапласа. || -
|-
| 6 || 12, 16 октября || Лекция и семинар: Обучение при скрытых переменных, ЕМ-алгоритм в общем виде, байесовская модель метода главных компонент. || -
|-
| 7 || 2, 6 ноября || Лекция и семинар: Вариационный подход для приближённого байесовского вывода. || -
|-
| 8 || 9, 13 ноября || Лекция и семинар: Методы Монте-Карло с марковскими цепями (MCMC). || -
|-
| 9 || 16, 20 ноября || Лекция и семинар: Гибридный метод Монте-Карло с марковскими цепями и его масштабируемые обобщения. || -
|-
| 10 || 23, 27 ноября || Лекция и семинар: Гауссовские процессы для регрессии и классификации. || -
|-
| 11 || 30 ноября, 4 декабря || Лекция и семинар: Процессы Дирихле и непараметрические байесовские модели. || -
|-
| 12 || 7, 11 декабря || Лекция и семинар: Модель LDA для тематического моделирования. || -
|-
| 13 || 14, 18 декабря || Лекция и семинар: Стохастический вариационный вывод. Вариационный автокодировщик. || -
|}

====Рекомендуемая литература ====
* Barber D. [http://www0.cs.ucl.ac.uk/staff/d.barber/brml/ Bayesian Reasoning and Machine Learning.] Cambridge University Press, 2012.
* Murphy K.P. Machine Learning: A Probabilistic Perspective. The MIT Press, 2012.
* Bishop C.M. [http://research.microsoft.com/en-us/um/people/cmbishop/prml/ Pattern Recognition and Machine Learning.] Springer, 2006.
* Mackay D.J.C. [http://www.inference.phy.cam.ac.uk/mackay/itila/book.html Information Theory, Inference, and Learning Algorithms.] Cambridge University Press, 2003.
* Tipping M. [http://www.jmlr.org/papers/volume1/tipping01a/tipping01a.pdf Sparse Bayesian Learning.] Journal of Machine Learning Research, 1, 2001, pp. 211-244.
* Шумский С.А. [http://www.niisi.ru/iont/ni/Library/School-2002/Shumsky-2002.pdf Байесова регуляризация обучения.] В сб. Лекции по нейроинформатике, часть 2, 2002.

====Полезные ссылки ====
[http://www.machinelearning.ru/wiki/index.php?title=Bmmo Сайт] одноименного курса, читаемого на ВМК МГУ. 
[http://bayesgroup.ru Сайт] группы Байесовских методов. 
Простые и удобные [http://cs.nyu.edu/~roweis/notes.html заметки] по матричным вычислениям и свойствам гауссовских распределений. 
[http://matthias.vallentin.net/probability-and-statistics-cookbook/ Памятка] по теории вероятностей.

Байесовские методы машинного обучения 2017

2017-09-12T19:51:59Z

Necludov: /* Домашние задания */

'''Лектор:''' Дмитрий Петрович Ветров

'''Семинаристы:''' [https://www.hse.ru/org/persons/131072080 Екатерина Лобачева], Кирилл Неклюдов

'''Контакты:''' по всем вопросам, связанным с курсом, просьба писать на '''bayesml@gmail.com'''. В название письма обязательно добавлять '''[ФКН БММО17]'''.

===Краткое описание===

[[Файл:Bayes.jpeg|400px|безрамки|слева]]
Курс посвящен т.н. байесовским методам решения различных задач машинного обучения (классификации, восстановления регрессии, уменьшения размерности, разделения смесей, тематического моделирования и др.), которые в настоящее время активно развиваются в мире. Большинство современных научных публикаций по машинному обучению используют вероятностное моделирование, опирающееся на байесовский подход к теории вероятностей. Последний позволяет эффективно учитывать различные предпочтения пользователя при построении решающих правил прогноза. Кроме того, он позволяет решать задачи выбора структурных параметров модели. В частности, здесь удается решать без комбинаторного перебора задачи селекции признаков, выбора числа кластеров в данных, размерности редуцированного пространства при уменьшении размерности, значений коэффициентов регуляризации и пр. В байесовском подходе вероятность интерпретируется как мера незнания, а не как объективная случайность. Простые правила оперирования с вероятностью, такие как формула полной вероятности и формула Байеса, позволяют проводить рассуждения в условиях неопределенности. В этом смысле байесовский подход к теории вероятностей можно рассматривать как обобщение классической булевой логики.

Основной задачей курса является привитие студентам навыков самостоятельного построения сложных вероятностных моделей обработки данных, используя стандартные модели в качестве своеобразных "кирпичиков". Особое внимание уделяется приближенным байесовским методам, позволяющим обсчитывать сложные вероятностные модели.

=== Новости ===
# На странице курса в anytask (http://anytask.org/course/221) появилось первое практическое задание. Дедлайн по заданию 23:59 25-09-2017.

===Отчётность по курсу и критерии оценки===

В курсе предусмотрено несколько форм контроля знания:
* 2 практических домашних задания
* 3 теоретических домашних задания
* 4 домашних лабораторных работы
* устный экзамен

Результирующая оценка по дисциплине рассчитывается по формуле

'''O_итог = 0.7 * O_накопл + 0.3 * O_экз'''

Накопленная и итоговая оценки округляются арифметически. Накопленная оценка рассчитывается по формуле

'''O_накопл = 3/7 * O_практ + 4/49 * (3 * O_теор + 4 * О_лаб)'''

Эта формула выглядит страшно, но на деле она просто означает, что за практические работы можно заработать 3 балла в итоговую оценку, а за теоретические и лабораторные вместе - 4 балла. Оценка за каждый тип заданий рассчитывается как среднее по всем заданиям данного типа. Каждое задание и экзамен оцениваются по 10-балльной шкале (по заданиям допускается дробная оценка). Для каждого задания устанавливается срок сдачи. За каждый день просрочки сдачи практического задания устанавливается штраф 0.3 балла, но суммарно не более 6 баллов (чтобы студенты имели возможность выполнить задание на положительную оценку даже при максимально поздней сдаче). Лабораторные работы и теоретические задания после срока не принимаются.

=== Экзамен ===

При подготовке ответа на экзамене разрешается пользоваться любыми материалами. При непосредственном ответе ничем пользоваться нельзя.

===Домашние задания ===
# В рамках курса предполагается выполнение двух практических заданий, трёх теоретических домашних заданий и четырёх лабораторных работ. Задания сдаются в системе anytask. Ссылка на курс http://anytask.org/course/221
# Приглашение для студентов: BRPtEbI
# Задания выполняются самостоятельно. Если задание выполнялось сообща, или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчете. В противном случае „похожие“ решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.
# Практические задания оцениваются из 10 баллов. За сдачу заданий позже срока начисляется штраф в размере 0.3 балла за каждый день просрочки, но суммарно не более 6 баллов. Для студентов филиалов первая неделя после срока идёт без штрафа.
# Теоретические задания и лабораторные работы также оцениваются из 10 баллов. За сдачу заданий позже срока начисляется штраф в размере 0.3 балла за каждый день просрочки. Решения не принимаются к проверке спустя неделю после срока.
# Первая проверка работ будет осуществляться через неделю после срока сдачи заданий. Присланные позже практические работы будут проверены в конце семестра.

=== Расписание занятий ===

{| class="wikitable"
|-
! '''Занятие''' !! '''Дата''' !! '''Название''' !! '''Материалы'''
|-
| 1 || 7, 11 сентября || Лекция и семинар: Байесовский подход к теории вероятностей, примеры байесовских рассуждений. || -
|-
| 2 || 18 сентября || Лекция и семинар: Аналитический байесовский вывод, сопряжённые распределения, экспоненциальный класс распределений, примеры. || -
|-
| 3 || 21, 25 сентября || Лекция и семинар: Задача выбора модели по Байесу, принцип наибольшей обоснованности, примеры выбора вероятностной модели. || -
|-
| 4 || 28 сентября, 2 октября|| Лекция и семинар: Метод релевантных векторов для задачи регрессии, автоматическое определение значимости. Матричные вычисления. || -
|-
| 5 || 5, 9 октября || Лекция и семинар: Метод релевантных векторов для задачи классификации, приближение Лапласа. || -
|-
| 6 || 12, 16 октября || Лекция и семинар: Обучение при скрытых переменных, ЕМ-алгоритм в общем виде, байесовская модель метода главных компонент. || -
|-
| 7 || 2, 6 ноября || Лекция и семинар: Вариационный подход для приближённого байесовского вывода. || -
|-
| 8 || 9, 13 ноября || Лекция и семинар: Методы Монте-Карло с марковскими цепями (MCMC). || -
|-
| 9 || 16, 20 ноября || Лекция и семинар: Гибридный метод Монте-Карло с марковскими цепями и его масштабируемые обобщения. || -
|-
| 10 || 23, 27 ноября || Лекция и семинар: Гауссовские процессы для регрессии и классификации. || -
|-
| 11 || 30 ноября, 4 декабря || Лекция и семинар: Процессы Дирихле и непараметрические байесовские модели. || -
|-
| 12 || 7, 11 декабря || Лекция и семинар: Модель LDA для тематического моделирования. || -
|-
| 13 || 14, 18 декабря || Лекция и семинар: Стохастический вариационный вывод. Вариационный автокодировщик. || -
|}

====Рекомендуемая литература ====
* Barber D. [http://www0.cs.ucl.ac.uk/staff/d.barber/brml/ Bayesian Reasoning and Machine Learning.] Cambridge University Press, 2012.
* Murphy K.P. Machine Learning: A Probabilistic Perspective. The MIT Press, 2012.
* Bishop C.M. [http://research.microsoft.com/en-us/um/people/cmbishop/prml/ Pattern Recognition and Machine Learning.] Springer, 2006.
* Mackay D.J.C. [http://www.inference.phy.cam.ac.uk/mackay/itila/book.html Information Theory, Inference, and Learning Algorithms.] Cambridge University Press, 2003.
* Tipping M. [http://www.jmlr.org/papers/volume1/tipping01a/tipping01a.pdf Sparse Bayesian Learning.] Journal of Machine Learning Research, 1, 2001, pp. 211-244.
* Шумский С.А. [http://www.niisi.ru/iont/ni/Library/School-2002/Shumsky-2002.pdf Байесова регуляризация обучения.] В сб. Лекции по нейроинформатике, часть 2, 2002.

====Полезные ссылки ====
[http://www.machinelearning.ru/wiki/index.php?title=Bmmo Сайт] одноименного курса, читаемого на ВМК МГУ. 
[http://bayesgroup.ru Сайт] группы Байесовских методов. 
Простые и удобные [http://cs.nyu.edu/~roweis/notes.html заметки] по матричным вычислениям и свойствам гауссовских распределений. 
[http://matthias.vallentin.net/probability-and-statistics-cookbook/ Памятка] по теории вероятностей.

Байесовские методы машинного обучения 2017

2017-09-12T19:47:50Z

Necludov: /* Новости */

'''Лектор:''' Дмитрий Петрович Ветров

'''Семинаристы:''' [https://www.hse.ru/org/persons/131072080 Екатерина Лобачева], Кирилл Неклюдов

'''Контакты:''' по всем вопросам, связанным с курсом, просьба писать на '''bayesml@gmail.com'''. В название письма обязательно добавлять '''[ФКН БММО17]'''.

===Краткое описание===

[[Файл:Bayes.jpeg|400px|безрамки|слева]]
Курс посвящен т.н. байесовским методам решения различных задач машинного обучения (классификации, восстановления регрессии, уменьшения размерности, разделения смесей, тематического моделирования и др.), которые в настоящее время активно развиваются в мире. Большинство современных научных публикаций по машинному обучению используют вероятностное моделирование, опирающееся на байесовский подход к теории вероятностей. Последний позволяет эффективно учитывать различные предпочтения пользователя при построении решающих правил прогноза. Кроме того, он позволяет решать задачи выбора структурных параметров модели. В частности, здесь удается решать без комбинаторного перебора задачи селекции признаков, выбора числа кластеров в данных, размерности редуцированного пространства при уменьшении размерности, значений коэффициентов регуляризации и пр. В байесовском подходе вероятность интерпретируется как мера незнания, а не как объективная случайность. Простые правила оперирования с вероятностью, такие как формула полной вероятности и формула Байеса, позволяют проводить рассуждения в условиях неопределенности. В этом смысле байесовский подход к теории вероятностей можно рассматривать как обобщение классической булевой логики.

Основной задачей курса является привитие студентам навыков самостоятельного построения сложных вероятностных моделей обработки данных, используя стандартные модели в качестве своеобразных "кирпичиков". Особое внимание уделяется приближенным байесовским методам, позволяющим обсчитывать сложные вероятностные модели.

=== Новости ===
# На странице курса в anytask (http://anytask.org/course/221) появилось первое практическое задание. Дедлайн по заданию 23:59 25-09-2017.

===Отчётность по курсу и критерии оценки===

В курсе предусмотрено несколько форм контроля знания:
* 2 практических домашних задания
* 3 теоретических домашних задания
* 4 домашних лабораторных работы
* устный экзамен

Результирующая оценка по дисциплине рассчитывается по формуле

'''O_итог = 0.7 * O_накопл + 0.3 * O_экз'''

Накопленная и итоговая оценки округляются арифметически. Накопленная оценка рассчитывается по формуле

'''O_накопл = 3/7 * O_практ + 4/49 * (3 * O_теор + 4 * О_лаб)'''

Эта формула выглядит страшно, но на деле она просто означает, что за практические работы можно заработать 3 балла в итоговую оценку, а за теоретические и лабораторные вместе - 4 балла. Оценка за каждый тип заданий рассчитывается как среднее по всем заданиям данного типа. Каждое задание и экзамен оцениваются по 10-балльной шкале (по заданиям допускается дробная оценка). Для каждого задания устанавливается срок сдачи. За каждый день просрочки сдачи практического задания устанавливается штраф 0.3 балла, но суммарно не более 6 баллов (чтобы студенты имели возможность выполнить задание на положительную оценку даже при максимально поздней сдаче). Лабораторные работы и теоретические задания после срока не принимаются.

=== Экзамен ===

При подготовке ответа на экзамене разрешается пользоваться любыми материалами. При непосредственном ответе ничем пользоваться нельзя.

===Домашние задания ===
# В рамках курса предполагается выполнение двух практических заданий, трёх теоретических домашних заданий и четырёх лабораторных работ. Задания сдаются в системе anytask. Ссылка на курс http://anytask.org/course/221
# Приглашение для студентов очного отделения: BRPtEbI
# Задания выполняются самостоятельно. Если задание выполнялось сообща, или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчете. В противном случае „похожие“ решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.
# Практические задания оцениваются из 10 баллов. За сдачу заданий позже срока начисляется штраф в размере 0.3 балла за каждый день просрочки, но суммарно не более 6 баллов. Для студентов филиалов первая неделя после срока идёт без штрафа.
# Теоретические задания и лабораторные работы также оцениваются из 10 баллов. За сдачу заданий позже срока начисляется штраф в размере 0.3 балла за каждый день просрочки. Решения не принимаются к проверке спустя неделю после срока.
# Первая проверка работ будет осуществляться через неделю после срока сдачи заданий. Присланные позже практические работы будут проверены в конце семестра.

=== Расписание занятий ===

{| class="wikitable"
|-
! '''Занятие''' !! '''Дата''' !! '''Название''' !! '''Материалы'''
|-
| 1 || 7, 11 сентября || Лекция и семинар: Байесовский подход к теории вероятностей, примеры байесовских рассуждений. || -
|-
| 2 || 18 сентября || Лекция и семинар: Аналитический байесовский вывод, сопряжённые распределения, экспоненциальный класс распределений, примеры. || -
|-
| 3 || 21, 25 сентября || Лекция и семинар: Задача выбора модели по Байесу, принцип наибольшей обоснованности, примеры выбора вероятностной модели. || -
|-
| 4 || 28 сентября, 2 октября|| Лекция и семинар: Метод релевантных векторов для задачи регрессии, автоматическое определение значимости. Матричные вычисления. || -
|-
| 5 || 5, 9 октября || Лекция и семинар: Метод релевантных векторов для задачи классификации, приближение Лапласа. || -
|-
| 6 || 12, 16 октября || Лекция и семинар: Обучение при скрытых переменных, ЕМ-алгоритм в общем виде, байесовская модель метода главных компонент. || -
|-
| 7 || 2, 6 ноября || Лекция и семинар: Вариационный подход для приближённого байесовского вывода. || -
|-
| 8 || 9, 13 ноября || Лекция и семинар: Методы Монте-Карло с марковскими цепями (MCMC). || -
|-
| 9 || 16, 20 ноября || Лекция и семинар: Гибридный метод Монте-Карло с марковскими цепями и его масштабируемые обобщения. || -
|-
| 10 || 23, 27 ноября || Лекция и семинар: Гауссовские процессы для регрессии и классификации. || -
|-
| 11 || 30 ноября, 4 декабря || Лекция и семинар: Процессы Дирихле и непараметрические байесовские модели. || -
|-
| 12 || 7, 11 декабря || Лекция и семинар: Модель LDA для тематического моделирования. || -
|-
| 13 || 14, 18 декабря || Лекция и семинар: Стохастический вариационный вывод. Вариационный автокодировщик. || -
|}

====Рекомендуемая литература ====
* Barber D. [http://www0.cs.ucl.ac.uk/staff/d.barber/brml/ Bayesian Reasoning and Machine Learning.] Cambridge University Press, 2012.
* Murphy K.P. Machine Learning: A Probabilistic Perspective. The MIT Press, 2012.
* Bishop C.M. [http://research.microsoft.com/en-us/um/people/cmbishop/prml/ Pattern Recognition and Machine Learning.] Springer, 2006.
* Mackay D.J.C. [http://www.inference.phy.cam.ac.uk/mackay/itila/book.html Information Theory, Inference, and Learning Algorithms.] Cambridge University Press, 2003.
* Tipping M. [http://www.jmlr.org/papers/volume1/tipping01a/tipping01a.pdf Sparse Bayesian Learning.] Journal of Machine Learning Research, 1, 2001, pp. 211-244.
* Шумский С.А. [http://www.niisi.ru/iont/ni/Library/School-2002/Shumsky-2002.pdf Байесова регуляризация обучения.] В сб. Лекции по нейроинформатике, часть 2, 2002.

====Полезные ссылки ====
[http://www.machinelearning.ru/wiki/index.php?title=Bmmo Сайт] одноименного курса, читаемого на ВМК МГУ. 
[http://bayesgroup.ru Сайт] группы Байесовских методов. 
Простые и удобные [http://cs.nyu.edu/~roweis/notes.html заметки] по матричным вычислениям и свойствам гауссовских распределений. 
[http://matthias.vallentin.net/probability-and-statistics-cookbook/ Памятка] по теории вероятностей.

Байесовские методы машинного обучения 2017

2017-09-12T19:47:26Z

Necludov: /* Новости */

'''Лектор:''' Дмитрий Петрович Ветров

'''Семинаристы:''' [https://www.hse.ru/org/persons/131072080 Екатерина Лобачева], Кирилл Неклюдов

'''Контакты:''' по всем вопросам, связанным с курсом, просьба писать на '''bayesml@gmail.com'''. В название письма обязательно добавлять '''[ФКН БММО17]'''.

===Краткое описание===

[[Файл:Bayes.jpeg|400px|безрамки|слева]]
Курс посвящен т.н. байесовским методам решения различных задач машинного обучения (классификации, восстановления регрессии, уменьшения размерности, разделения смесей, тематического моделирования и др.), которые в настоящее время активно развиваются в мире. Большинство современных научных публикаций по машинному обучению используют вероятностное моделирование, опирающееся на байесовский подход к теории вероятностей. Последний позволяет эффективно учитывать различные предпочтения пользователя при построении решающих правил прогноза. Кроме того, он позволяет решать задачи выбора структурных параметров модели. В частности, здесь удается решать без комбинаторного перебора задачи селекции признаков, выбора числа кластеров в данных, размерности редуцированного пространства при уменьшении размерности, значений коэффициентов регуляризации и пр. В байесовском подходе вероятность интерпретируется как мера незнания, а не как объективная случайность. Простые правила оперирования с вероятностью, такие как формула полной вероятности и формула Байеса, позволяют проводить рассуждения в условиях неопределенности. В этом смысле байесовский подход к теории вероятностей можно рассматривать как обобщение классической булевой логики.

Основной задачей курса является привитие студентам навыков самостоятельного построения сложных вероятностных моделей обработки данных, используя стандартные модели в качестве своеобразных "кирпичиков". Особое внимание уделяется приближенным байесовским методам, позволяющим обсчитывать сложные вероятностные модели.

=== Новости ===
На странице курса в anytask (http://anytask.org/course/221) появилось первое практическое задание. Дедлайн по заданию 23:59 25-09-2017.

===Отчётность по курсу и критерии оценки===

В курсе предусмотрено несколько форм контроля знания:
* 2 практических домашних задания
* 3 теоретических домашних задания
* 4 домашних лабораторных работы
* устный экзамен

Результирующая оценка по дисциплине рассчитывается по формуле

'''O_итог = 0.7 * O_накопл + 0.3 * O_экз'''

Накопленная и итоговая оценки округляются арифметически. Накопленная оценка рассчитывается по формуле

'''O_накопл = 3/7 * O_практ + 4/49 * (3 * O_теор + 4 * О_лаб)'''

Эта формула выглядит страшно, но на деле она просто означает, что за практические работы можно заработать 3 балла в итоговую оценку, а за теоретические и лабораторные вместе - 4 балла. Оценка за каждый тип заданий рассчитывается как среднее по всем заданиям данного типа. Каждое задание и экзамен оцениваются по 10-балльной шкале (по заданиям допускается дробная оценка). Для каждого задания устанавливается срок сдачи. За каждый день просрочки сдачи практического задания устанавливается штраф 0.3 балла, но суммарно не более 6 баллов (чтобы студенты имели возможность выполнить задание на положительную оценку даже при максимально поздней сдаче). Лабораторные работы и теоретические задания после срока не принимаются.

=== Экзамен ===

При подготовке ответа на экзамене разрешается пользоваться любыми материалами. При непосредственном ответе ничем пользоваться нельзя.

===Домашние задания ===
# В рамках курса предполагается выполнение двух практических заданий, трёх теоретических домашних заданий и четырёх лабораторных работ. Задания сдаются в системе anytask. Ссылка на курс http://anytask.org/course/221
# Приглашение для студентов очного отделения: BRPtEbI
# Задания выполняются самостоятельно. Если задание выполнялось сообща, или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчете. В противном случае „похожие“ решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.
# Практические задания оцениваются из 10 баллов. За сдачу заданий позже срока начисляется штраф в размере 0.3 балла за каждый день просрочки, но суммарно не более 6 баллов. Для студентов филиалов первая неделя после срока идёт без штрафа.
# Теоретические задания и лабораторные работы также оцениваются из 10 баллов. За сдачу заданий позже срока начисляется штраф в размере 0.3 балла за каждый день просрочки. Решения не принимаются к проверке спустя неделю после срока.
# Первая проверка работ будет осуществляться через неделю после срока сдачи заданий. Присланные позже практические работы будут проверены в конце семестра.

=== Расписание занятий ===

{| class="wikitable"
|-
! '''Занятие''' !! '''Дата''' !! '''Название''' !! '''Материалы'''
|-
| 1 || 7, 11 сентября || Лекция и семинар: Байесовский подход к теории вероятностей, примеры байесовских рассуждений. || -
|-
| 2 || 18 сентября || Лекция и семинар: Аналитический байесовский вывод, сопряжённые распределения, экспоненциальный класс распределений, примеры. || -
|-
| 3 || 21, 25 сентября || Лекция и семинар: Задача выбора модели по Байесу, принцип наибольшей обоснованности, примеры выбора вероятностной модели. || -
|-
| 4 || 28 сентября, 2 октября|| Лекция и семинар: Метод релевантных векторов для задачи регрессии, автоматическое определение значимости. Матричные вычисления. || -
|-
| 5 || 5, 9 октября || Лекция и семинар: Метод релевантных векторов для задачи классификации, приближение Лапласа. || -
|-
| 6 || 12, 16 октября || Лекция и семинар: Обучение при скрытых переменных, ЕМ-алгоритм в общем виде, байесовская модель метода главных компонент. || -
|-
| 7 || 2, 6 ноября || Лекция и семинар: Вариационный подход для приближённого байесовского вывода. || -
|-
| 8 || 9, 13 ноября || Лекция и семинар: Методы Монте-Карло с марковскими цепями (MCMC). || -
|-
| 9 || 16, 20 ноября || Лекция и семинар: Гибридный метод Монте-Карло с марковскими цепями и его масштабируемые обобщения. || -
|-
| 10 || 23, 27 ноября || Лекция и семинар: Гауссовские процессы для регрессии и классификации. || -
|-
| 11 || 30 ноября, 4 декабря || Лекция и семинар: Процессы Дирихле и непараметрические байесовские модели. || -
|-
| 12 || 7, 11 декабря || Лекция и семинар: Модель LDA для тематического моделирования. || -
|-
| 13 || 14, 18 декабря || Лекция и семинар: Стохастический вариационный вывод. Вариационный автокодировщик. || -
|}

====Рекомендуемая литература ====
* Barber D. [http://www0.cs.ucl.ac.uk/staff/d.barber/brml/ Bayesian Reasoning and Machine Learning.] Cambridge University Press, 2012.
* Murphy K.P. Machine Learning: A Probabilistic Perspective. The MIT Press, 2012.
* Bishop C.M. [http://research.microsoft.com/en-us/um/people/cmbishop/prml/ Pattern Recognition and Machine Learning.] Springer, 2006.
* Mackay D.J.C. [http://www.inference.phy.cam.ac.uk/mackay/itila/book.html Information Theory, Inference, and Learning Algorithms.] Cambridge University Press, 2003.
* Tipping M. [http://www.jmlr.org/papers/volume1/tipping01a/tipping01a.pdf Sparse Bayesian Learning.] Journal of Machine Learning Research, 1, 2001, pp. 211-244.
* Шумский С.А. [http://www.niisi.ru/iont/ni/Library/School-2002/Shumsky-2002.pdf Байесова регуляризация обучения.] В сб. Лекции по нейроинформатике, часть 2, 2002.

====Полезные ссылки ====
[http://www.machinelearning.ru/wiki/index.php?title=Bmmo Сайт] одноименного курса, читаемого на ВМК МГУ. 
[http://bayesgroup.ru Сайт] группы Байесовских методов. 
Простые и удобные [http://cs.nyu.edu/~roweis/notes.html заметки] по матричным вычислениям и свойствам гауссовских распределений. 
[http://matthias.vallentin.net/probability-and-statistics-cookbook/ Памятка] по теории вероятностей.

Байесовские методы машинного обучения 2017

2017-09-12T19:43:25Z

Necludov:

'''Лектор:''' Дмитрий Петрович Ветров

'''Семинаристы:''' [https://www.hse.ru/org/persons/131072080 Екатерина Лобачева], Кирилл Неклюдов

'''Контакты:''' по всем вопросам, связанным с курсом, просьба писать на '''bayesml@gmail.com'''. В название письма обязательно добавлять '''[ФКН БММО17]'''.

===Краткое описание===

[[Файл:Bayes.jpeg|400px|безрамки|слева]]
Курс посвящен т.н. байесовским методам решения различных задач машинного обучения (классификации, восстановления регрессии, уменьшения размерности, разделения смесей, тематического моделирования и др.), которые в настоящее время активно развиваются в мире. Большинство современных научных публикаций по машинному обучению используют вероятностное моделирование, опирающееся на байесовский подход к теории вероятностей. Последний позволяет эффективно учитывать различные предпочтения пользователя при построении решающих правил прогноза. Кроме того, он позволяет решать задачи выбора структурных параметров модели. В частности, здесь удается решать без комбинаторного перебора задачи селекции признаков, выбора числа кластеров в данных, размерности редуцированного пространства при уменьшении размерности, значений коэффициентов регуляризации и пр. В байесовском подходе вероятность интерпретируется как мера незнания, а не как объективная случайность. Простые правила оперирования с вероятностью, такие как формула полной вероятности и формула Байеса, позволяют проводить рассуждения в условиях неопределенности. В этом смысле байесовский подход к теории вероятностей можно рассматривать как обобщение классической булевой логики.

Основной задачей курса является привитие студентам навыков самостоятельного построения сложных вероятностных моделей обработки данных, используя стандартные модели в качестве своеобразных "кирпичиков". Особое внимание уделяется приближенным байесовским методам, позволяющим обсчитывать сложные вероятностные модели.

=== Новости ===

===Отчётность по курсу и критерии оценки===

В курсе предусмотрено несколько форм контроля знания:
* 2 практических домашних задания
* 3 теоретических домашних задания
* 4 домашних лабораторных работы
* устный экзамен

Результирующая оценка по дисциплине рассчитывается по формуле

'''O_итог = 0.7 * O_накопл + 0.3 * O_экз'''

Накопленная и итоговая оценки округляются арифметически. Накопленная оценка рассчитывается по формуле

'''O_накопл = 3/7 * O_практ + 4/49 * (3 * O_теор + 4 * О_лаб)'''

Эта формула выглядит страшно, но на деле она просто означает, что за практические работы можно заработать 3 балла в итоговую оценку, а за теоретические и лабораторные вместе - 4 балла. Оценка за каждый тип заданий рассчитывается как среднее по всем заданиям данного типа. Каждое задание и экзамен оцениваются по 10-балльной шкале (по заданиям допускается дробная оценка). Для каждого задания устанавливается срок сдачи. За каждый день просрочки сдачи практического задания устанавливается штраф 0.3 балла, но суммарно не более 6 баллов (чтобы студенты имели возможность выполнить задание на положительную оценку даже при максимально поздней сдаче). Лабораторные работы и теоретические задания после срока не принимаются.

=== Экзамен ===

При подготовке ответа на экзамене разрешается пользоваться любыми материалами. При непосредственном ответе ничем пользоваться нельзя.

===Домашние задания ===
# В рамках курса предполагается выполнение двух практических заданий, трёх теоретических домашних заданий и четырёх лабораторных работ. Задания сдаются в системе anytask. Ссылка на курс http://anytask.org/course/221
# Приглашение для студентов очного отделения: BRPtEbI
# Задания выполняются самостоятельно. Если задание выполнялось сообща, или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчете. В противном случае „похожие“ решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.
# Практические задания оцениваются из 10 баллов. За сдачу заданий позже срока начисляется штраф в размере 0.3 балла за каждый день просрочки, но суммарно не более 6 баллов. Для студентов филиалов первая неделя после срока идёт без штрафа.
# Теоретические задания и лабораторные работы также оцениваются из 10 баллов. За сдачу заданий позже срока начисляется штраф в размере 0.3 балла за каждый день просрочки. Решения не принимаются к проверке спустя неделю после срока.
# Первая проверка работ будет осуществляться через неделю после срока сдачи заданий. Присланные позже практические работы будут проверены в конце семестра.

=== Расписание занятий ===

{| class="wikitable"
|-
! '''Занятие''' !! '''Дата''' !! '''Название''' !! '''Материалы'''
|-
| 1 || 7, 11 сентября || Лекция и семинар: Байесовский подход к теории вероятностей, примеры байесовских рассуждений. || -
|-
| 2 || 18 сентября || Лекция и семинар: Аналитический байесовский вывод, сопряжённые распределения, экспоненциальный класс распределений, примеры. || -
|-
| 3 || 21, 25 сентября || Лекция и семинар: Задача выбора модели по Байесу, принцип наибольшей обоснованности, примеры выбора вероятностной модели. || -
|-
| 4 || 28 сентября, 2 октября|| Лекция и семинар: Метод релевантных векторов для задачи регрессии, автоматическое определение значимости. Матричные вычисления. || -
|-
| 5 || 5, 9 октября || Лекция и семинар: Метод релевантных векторов для задачи классификации, приближение Лапласа. || -
|-
| 6 || 12, 16 октября || Лекция и семинар: Обучение при скрытых переменных, ЕМ-алгоритм в общем виде, байесовская модель метода главных компонент. || -
|-
| 7 || 2, 6 ноября || Лекция и семинар: Вариационный подход для приближённого байесовского вывода. || -
|-
| 8 || 9, 13 ноября || Лекция и семинар: Методы Монте-Карло с марковскими цепями (MCMC). || -
|-
| 9 || 16, 20 ноября || Лекция и семинар: Гибридный метод Монте-Карло с марковскими цепями и его масштабируемые обобщения. || -
|-
| 10 || 23, 27 ноября || Лекция и семинар: Гауссовские процессы для регрессии и классификации. || -
|-
| 11 || 30 ноября, 4 декабря || Лекция и семинар: Процессы Дирихле и непараметрические байесовские модели. || -
|-
| 12 || 7, 11 декабря || Лекция и семинар: Модель LDA для тематического моделирования. || -
|-
| 13 || 14, 18 декабря || Лекция и семинар: Стохастический вариационный вывод. Вариационный автокодировщик. || -
|}

====Рекомендуемая литература ====
* Barber D. [http://www0.cs.ucl.ac.uk/staff/d.barber/brml/ Bayesian Reasoning and Machine Learning.] Cambridge University Press, 2012.
* Murphy K.P. Machine Learning: A Probabilistic Perspective. The MIT Press, 2012.
* Bishop C.M. [http://research.microsoft.com/en-us/um/people/cmbishop/prml/ Pattern Recognition and Machine Learning.] Springer, 2006.
* Mackay D.J.C. [http://www.inference.phy.cam.ac.uk/mackay/itila/book.html Information Theory, Inference, and Learning Algorithms.] Cambridge University Press, 2003.
* Tipping M. [http://www.jmlr.org/papers/volume1/tipping01a/tipping01a.pdf Sparse Bayesian Learning.] Journal of Machine Learning Research, 1, 2001, pp. 211-244.
* Шумский С.А. [http://www.niisi.ru/iont/ni/Library/School-2002/Shumsky-2002.pdf Байесова регуляризация обучения.] В сб. Лекции по нейроинформатике, часть 2, 2002.

====Полезные ссылки ====
[http://www.machinelearning.ru/wiki/index.php?title=Bmmo Сайт] одноименного курса, читаемого на ВМК МГУ. 
[http://bayesgroup.ru Сайт] группы Байесовских методов. 
Простые и удобные [http://cs.nyu.edu/~roweis/notes.html заметки] по матричным вычислениям и свойствам гауссовских распределений. 
[http://matthias.vallentin.net/probability-and-statistics-cookbook/ Памятка] по теории вероятностей.