Wiki - Факультет компьютерных наук - Вклад [ru]

Statistical learning theory

2017-12-23T09:52:10Z

Abson: Link to the site was broken

== Information ==

- [https://www.dropbox.com/s/pxxw5l8n07la2u3/marksAfterFirstModule.pdf?dl=0 Marks] for the first module.

- [https://www.dropbox.com/s/de3v89z4rtg0jvk/qparisSeminar.pdf?dl=0 Solutions] of the seminar of 12 December.

- The teacher for the second module is Quentin Paris. You can find all materials [https://www.qparis-math.com/test here].

== Mistakes and Russian texts ==

Some number of students have trouble with math and English. Email questions! '''Mistakes''', questions and answers are [https://www.dropbox.com/s/wh6hsecvoi11099/QA.pdf?dl=0 '''here'''].

'''Russian texts:''' Tatiana has send me the following links that might help those who have trouble with English. A [http://www.machinelearning.ru/wiki/images/d/d9/Voron-2011-tnop.pdf lecture] on VC-dimensions was given by K. Vorontsov.
A [http://machinelearning.ru/wiki/index.php?title=%D0%A2%D0%B5%D0%BE%D1%80%D0%B8%D1%8F_%D1%81%D1%82%D0%B0%D1%82%D0%B8%D1%81%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%BE%D0%B3%D0%BE_%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D1%8F_(%D0%BA%D1%83%D1%80%D1%81_%D0%BB%D0%B5%D0%BA%D1%86%D0%B8%D0%B9%2C_%D0%9D._%D0%9A._%D0%96%D0%B8%D0%B2%D0%BE%D1%82%D0%BE%D0%B2%D1%81%D0%BA%D0%B8%D0%B9) course] on Statistical Learning Theory by Nikita Zhivotovsky is given at MIPT. Some short description about PAC learning on p136 in the [http://gen.lib.rus.ec/search.php?req=%D0%9D%D0%B0%D1%83%D0%BA%D0%B0+%D0%B8+%D0%B8%D1%81%D0%BA%D1%83%D1%81%D1%81%D1%82%D0%B2%D0%BE+%D0%BF%D0%BE%D1%81%D1%82%D1%80%D0%BE%D0%B5%D0%BD%D0%B8%D1%8F+%D0%B0%D0%BB%D0%B3%D0%BE%D1%80%D0%B8%D1%82%D0%BC%D0%BE%D0%B2%2C+%D0%BA%D0%BE%D1%82%D0%BE%D1%80%D1%8B%D0%B5+%D0%B8%D0%B7%D0%B2%D0%BB%D0%B5%D0%BA%D0%B0%D1%8E%D1%82+%D0%B7%D0%BD%D0%B0%D0%BD%D0%B8%D1%8F+%D0%B8%D0%B7+%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85&lg_topic=libgen&open=0&view=simple&res=25&phrase=0&column=def book]
``Наука и искусство построения алгоритмов, которые извлекают знания из данных'', Петер Флах. On [http://www.machinelearning.ru machinelearning.ru]
you can find brief and clear definitions.

== Exams module 1 ==

'''Consultation: Monday 30th of Oktober, 9h30-11h50''' classroom 435: I will be answering questions to all interested students.

There are two exams.

'''Problems exam: Tuesday 31 Okt. 12h10-15h00''': The score of this exam has weight 0.2 in your final grade. You solve exercises similar to the ones in the seminars. You can bring lecture notes, solutions of the problem lists, handwritten notes, and pages from Chapt 3, Sect. 4.4 and Chapt 6 from the book "Foundations of Machine Learning Mehryar Mohri, Afshin Rostamizadeh, and Ameet Talwalkar".

'''Colloquium exam''': This exam counts for 0.2 of your final grade. You will receive a lemma, proposition or theorem from the lecture notes (and a few topics from the seminars). You need to write the proof and the teacher will ask questions to check your understanding. You can bring '''a single A4 sheet with things that you find hard to remember'''. You can write on both sides of this sheet. You can know your subgroup from [https://www.dropbox.com/s/x6j4mmx5vwh8pdn/groupsStudents.pdf?dl=0 this list].

'''[https://www.dropbox.com/s/opcny1k5yujv1kj/questionListColloquium.pdf?dl=0 List] of questions for the colloquium.'''

{| class="wikitable"
|-
! Group !! Date !! Time !! Room
|-
|БПМИ 141-1 || Wednesday 1st of November || 12h10-15h40 || 219
|-
|БПМИ 141-2 || Wednesday 1st of November || 13h40-16h10 || 219
|-
|БПМИ 142-1 || Wednesday 1st of November || 16h40-18h40 || 219
|-
|БПМИ 142-2 || Wednesday 1st of November || 17h40-19h40 || 219
|-
|БПМИ 143+145 || Thursday 2th of November || 15h10-17h10 || 219
|-
|БПМИ 144 || Thursday 2th of November || 16h40-18h40 || 219
|-
|3th year || Friday 3th of November || 15h10-17h40 || 219
|-
|}

Your score of the homework has weight 0.1 in your final grade. Activities in the second module count for 0.5 of weight to the final grade.

== Homework ==

[https://www.dropbox.com/s/1np7hoiwv2ga4yy/homework.pdf?dl=0 Homework module 1]

== General Information ==

[https://www.dropbox.com/s/r5u7gl33berpokv/syllabusStatisticalLearning.pdf?dl=0 Syllabus for the 1st module]

== Course materials ==

{| class="wikitable"
|-
! Date !! Summary !! Lecture notes !! Problem list !! Solutions
|-
| 5 sept || PAC-learning and VC-dimension: definitions || [https://www.dropbox.com/s/xm4ijvc447htosw/1lect.pdf?dl=0 1st and 2nd lecture] Updated on 13th of Sept.
|| [https://www.dropbox.com/s/in3bdva76mni16m/1seminar.pdf?dl=0 Problem list 1] || [https://www.dropbox.com/s/g581yc18t2i0fhc/1solutions.pdf?dl=0 Solutions list 1]
|-
| 12 sept || PAC-learning and VC-dimension: proof of fundamental theorem || || [https://www.dropbox.com/s/wczt02f8linttzu/2seminar.pdf?dl=0 Problem list 2] || [https://www.dropbox.com/s/y08853bb38o6w7s/2solutions.pdf?dl=0 Solutions list 2]
|-
| 19 sept || Sauer's lemma, neural networks and agnostic PAC-learning || [https://www.dropbox.com/s/xf0xz1dlnps90ii/3lect.pdf?dl=0 3th lecture] Updated on the 23th of Sept. || [https://www.dropbox.com/s/x6r2rwbh5qkxat6/3seminar.pdf?dl=0 Problem list 3] || [https://www.dropbox.com/s/4djiotso1p1kchl/3solutions.pdf?dl=0 Solutions list 3]
|-
| 26 sept || Measure concentration, agnostic PAC-learning and Computational learning theory || [https://www.dropbox.com/s/sn4icg6ppuwx9mo/4lect.pdf?dl=0 4th lecture] || [https://www.dropbox.com/s/s2jj7r18bfdo4kz/4seminar.pdf?dl=0 Problem list 4] || [https://www.dropbox.com/s/4qzpofvelklmsw0/4solutions.pdf?dl=0 Solutions list 4]
|-
| 3 okt || Agnostic learning and the adaBoost algorithm || [https://www.dropbox.com/s/7ya6pk9wfo8fbk9/5lect.pdf?dl=0 5th lecture] (21st of Okt. added part about comp. learning and Boosting) || [https://www.dropbox.com/s/p1774864pxyvqwm/5seminar.pdf?dl=0 Problem list 5] ||
|-
| 10 okt || Boosting: risk bounds using Rademacher complexities || [https://www.dropbox.com/s/knhzehn2ggrhize/6lect.pdf?dl=0 6th lecture] (Update 27th of Okt.) Mohri's book: p33-40 || [https://www.dropbox.com/s/hmt1fm58cy8mwua/6seminar.pdf?dl=0 Problem list 6] || See lecture notes.
|-
| 17 okt || Margin theory and a deep boosting algorithm || Mohri's book: p75-83, p131-136 || [https://www.dropbox.com/s/wihspbstez2x0e9/7seminar.pdf?dl=0 Problem list 7] || [https://www.dropbox.com/s/32jp8alarkqy6gn/7solution.pdf?dl=0 Solutions list 7]
|-
|}
For the last lecture: on the exams there will only be questions about the seminar. The materials of the theory lectures will be covered again in more detail in the 2nd module.

A gentle introduction to the materials of the first 3 lectures and an overview of probability theory, can be found in chapters 1-6 and 11-12 of the following book:
Sanjeev Kulkarni and Gilbert Harman: An Elementary Introduction to Statistical Learning Theory, 2012.

Foundations of machine learning, Mehryar Mohri, Afshin Rostamizadeh, and Ameet Talwalker, 2012. These books can downloaded from http://gen.lib.rus.ec/ .

(We will study a new boosting algorithm, based on the paper: [http://www.cs.nyu.edu/~mohri/pub/mboost.pdf Multi-class deep boosting], V. Kuznetsov, M Mohri, and U. Syed, Advances in Neural Information Processing Systems, p2501--2509, 2014. Notes will be provided.)

== Office hours ==

{| class="wikitable"
|-
! !! Person !! Monday !! Tuesday !! Wednesday !! Thursday !! Friday !!
|-
| <center>1</center> || Bruno Bauwens || || 15:05–18:00 || || || 15:05–18:00 || Room 620
|-
| <center>2</center> || Quentin Paris || || || || || ||
|-
|}

Байесовские методы машинного обучения 2017

2017-09-30T01:04:03Z

Abson: Валидная ссылка на PT sheet

'''Лектор:''' Дмитрий Петрович Ветров

'''Семинаристы:''' [https://www.hse.ru/org/persons/131072080 Екатерина Лобачева], Кирилл Неклюдов

'''Контакты:''' по всем вопросам, связанным с курсом, просьба писать на '''bayesml@gmail.com'''. В название письма обязательно добавлять '''[ФКН БММО17]'''.<br />
'''Чат в телеграме:''' https://t.me/joinchat/CBXLmw3cg1NxHNCiwIlsvA

Преподаватели в чате бывают, но не всегда. По всем важным вопросам стоит писать на почту.

===Краткое описание===

[[Файл:Bayes.jpeg|400px|безрамки|слева]]
Курс посвящен т.н. байесовским методам решения различных задач машинного обучения (классификации, восстановления регрессии, уменьшения размерности, разделения смесей, тематического моделирования и др.), которые в настоящее время активно развиваются в мире. Большинство современных научных публикаций по машинному обучению используют вероятностное моделирование, опирающееся на байесовский подход к теории вероятностей. Последний позволяет эффективно учитывать различные предпочтения пользователя при построении решающих правил прогноза. Кроме того, он позволяет решать задачи выбора структурных параметров модели. В частности, здесь удается решать без комбинаторного перебора задачи селекции признаков, выбора числа кластеров в данных, размерности редуцированного пространства при уменьшении размерности, значений коэффициентов регуляризации и пр. В байесовском подходе вероятность интерпретируется как мера незнания, а не как объективная случайность. Простые правила оперирования с вероятностью, такие как формула полной вероятности и формула Байеса, позволяют проводить рассуждения в условиях неопределенности. В этом смысле байесовский подход к теории вероятностей можно рассматривать как обобщение классической булевой логики.

Основной задачей курса является привитие студентам навыков самостоятельного построения сложных вероятностных моделей обработки данных, используя стандартные модели в качестве своеобразных "кирпичиков". Особое внимание уделяется приближенным байесовским методам, позволяющим обсчитывать сложные вероятностные модели.

=== Новости ===
# На странице курса в anytask (http://anytask.org/course/221) появилось первое практическое задание. Дедлайн по заданию 23:59 25-09-2017.
# На странице курса в anytask появилось первое теоретическое задание. Дедлайн по заданию 23:59 30-09-2017.

===Отчётность по курсу и критерии оценки===

В курсе предусмотрено несколько форм контроля знания:
* 2 практических домашних задания
* 3 теоретических домашних задания
* 4 домашних лабораторных работы
* устный экзамен

Результирующая оценка по дисциплине рассчитывается по формуле

'''O_итог = 0.7 * O_накопл + 0.3 * O_экз'''

Накопленная и итоговая оценки округляются арифметически. Накопленная оценка рассчитывается по формуле

'''O_накопл = 3/7 * O_практ + 4/49 * (3 * O_теор + 4 * О_лаб)'''

Эта формула выглядит страшно, но на деле она просто означает, что за практические работы можно заработать 3 балла в итоговую оценку, а за теоретические и лабораторные вместе - 4 балла. Оценка за каждый тип заданий рассчитывается как среднее по всем заданиям данного типа. Каждое задание и экзамен оцениваются по 10-балльной шкале (по заданиям допускается дробная оценка).

=== Экзамен ===

При подготовке ответа на экзамене разрешается пользоваться любыми материалами. При непосредственном ответе ничем пользоваться нельзя.

===Домашние задания ===
# В рамках курса предполагается выполнение двух практических заданий, трёх теоретических домашних заданий и четырёх лабораторных работ. Задания сдаются в системе anytask. Ссылка на курс http://anytask.org/course/221
# Пароль для курса был выслан всем на почту. Если вы по какой-то причине не получили пароль, напишите об этом на почту курса.
# Все практические задания и лабораторные сдаются на Python 3.
# Задания выполняются самостоятельно. Если задание выполнялось сообща, или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчете. В противном случае „похожие“ решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.
# Практические задания оцениваются из 10 баллов. За сдачу заданий позже срока начисляется штраф в размере 0.3 балла за каждый день просрочки, но суммарно не более 6 баллов.
# Теоретические задания и лабораторные работы также оцениваются из 10 баллов. За сдачу заданий позже срока начисляется штраф в размере 0.3 балла за каждый день просрочки. Решения не принимаются к проверке спустя неделю после срока.
# Первая проверка работ будет осуществляться через неделю после срока сдачи заданий. Присланные позже практические работы будут проверены в конце семестра.

=== Расписание занятий ===

{| class="wikitable"
|-
! '''Занятие''' !! '''Дата''' !! '''Название''' !! '''Материалы'''
|-
| 1 || 7, 11 сентября || Лекция и семинар: Байесовский подход к теории вероятностей, примеры байесовских рассуждений. || [https://bayesgroup.github.io/bmml/2016/Lectures/lecture01_presentation.pdf лекция (презентация)], [https://bayesgroup.github.io/bmml/2016/Lectures/lecture01_summary.pdf лекция (саммари)], [https://bayesgroup.github.io/bmml/2016/Seminars/BMML_sem1_2016.pdf семинар]
|-
| 2 || 18 сентября || Лекция и семинар: Аналитический байесовский вывод, сопряжённые распределения, экспоненциальный класс распределений, примеры. || [http://bayesgroup.github.io/bmml/2016/Seminars/BMML_sem2_2016.pdf семинар]
|-
| 3 || 21, 25 сентября || Лекция и семинар: Задача выбора модели по Байесу, принцип наибольшей обоснованности, примеры выбора вероятностной модели. || [http://www.machinelearning.ru/wiki/images/b/bd/BMMO11_5.pdf лекция], [https://drive.google.com/open?id=0B7TWwiIrcJstZExmM2ZtTFhPMFk семинар]
|-
| 4 || 28 сентября, 2 октября|| Лекция и семинар: Метод релевантных векторов для задачи регрессии, автоматическое определение значимости. Матричные вычисления. || -
|-
| 5 || 5, 9 октября || Лекция и семинар: Метод релевантных векторов для задачи классификации, приближение Лапласа. || -
|-
| 6 || 12, 16 октября || Лекция и семинар: Обучение при скрытых переменных, ЕМ-алгоритм в общем виде, байесовская модель метода главных компонент. || -
|-
| 7 || 2, 6 ноября || Лекция и семинар: Вариационный подход для приближённого байесовского вывода. || -
|-
| 8 || 9, 13 ноября || Лекция и семинар: Методы Монте-Карло с марковскими цепями (MCMC). || -
|-
| 9 || 16, 20 ноября || Лекция и семинар: Гибридный метод Монте-Карло с марковскими цепями и его масштабируемые обобщения. || -
|-
| 10 || 23, 27 ноября || Лекция и семинар: Гауссовские процессы для регрессии и классификации. || -
|-
| 11 || 30 ноября, 4 декабря || Лекция и семинар: Процессы Дирихле и непараметрические байесовские модели. || -
|-
| 12 || 7, 11 декабря || Лекция и семинар: Модель LDA для тематического моделирования. || -
|-
| 13 || 14, 18 декабря || Лекция и семинар: Стохастический вариационный вывод. Вариационный автокодировщик. || -
|}

====Рекомендуемая литература ====
* Barber D. [http://www0.cs.ucl.ac.uk/staff/d.barber/brml/ Bayesian Reasoning and Machine Learning.] Cambridge University Press, 2012.
* Murphy K.P. Machine Learning: A Probabilistic Perspective. The MIT Press, 2012.
* Bishop C.M. [http://research.microsoft.com/en-us/um/people/cmbishop/prml/ Pattern Recognition and Machine Learning.] Springer, 2006.
* Mackay D.J.C. [http://www.inference.phy.cam.ac.uk/mackay/itila/book.html Information Theory, Inference, and Learning Algorithms.] Cambridge University Press, 2003.
* Tipping M. [http://www.jmlr.org/papers/volume1/tipping01a/tipping01a.pdf Sparse Bayesian Learning.] Journal of Machine Learning Research, 1, 2001, pp. 211-244.
* Шумский С.А. [http://www.niisi.ru/iont/ni/Library/School-2002/Shumsky-2002.pdf Байесова регуляризация обучения.] В сб. Лекции по нейроинформатике, часть 2, 2002.

====Полезные ссылки ====
[http://www.machinelearning.ru/wiki/index.php?title=Bmmo Сайт] одноименного курса, читаемого на ВМК МГУ. <br />
[http://bayesgroup.ru Сайт] группы Байесовских методов.<br />
Простые и удобные [http://cs.nyu.edu/~roweis/notes.html заметки] по матричным вычислениям и свойствам гауссовских распределений. <br />
[http://statistics.zone/ Памятка] по теории вероятностей.