== Общая информация ==

Семинарист — Козлова Анна.

[https://docs.google.com/spreadsheets/d/1jZL_-ELf0Ogj2XHa6VVbkg8vrInycv2-Z9UR5keLDfM/edit#gid=1422269525 Таблица с оценками]

[https://docs.google.com/forms/d/1dovyomMoKPGWEAmWB8CNuACNXfEfEkk8H4gVR9u591E/viewform?c=0&w=1 Здесь можно оставить анонимный отзыв по курсу]

Почта курса: hse.minor.dm@gmail.com (обратите внимание на оформление темы письма)

Для быстрой связи с семинаристом и ассистентом: слак (чтобы добавиться, пришлите свою почту и мы вышлем приглашения. Большая просьба регистрироваться на канале с понятными никами (должен содержать фамилию).

== Домашние задания ==
{| class="wikitable"
|-
! !! Дата выдачи !! Дата сдачи !! Задание
|-
| Лабораторная работа 1 || 26.01.2016 || 09.02.2016 09:00MSK || [http://nbviewer.jupyter.org/urls/dl.dropbox.com/s/gkstluiv9zghmub/lab.01.ipynb Условие]
|-
| Лабораторная работа 2 || 09.02.2016 || 01.03.2016 09:00MSK || [http://nbviewer.jupyter.org/urls/dl.dropbox.com/s/i5lbnqoaxls4h7h/lab.02.ipynb Условие]
[https://www.dropbox.com/s/mimfav9l1prumtr/wines_quality.csv?dl=0 wines_quality.csv]
|-
| Лабораторная работа 3 || 08.03.2016 || 22.03.2016 09:00MSK || [http://nbviewer.jupyter.org/urls/dl.dropbox.com/s/7rfcnz86dfm5dzq/lab.03.ipynb Условие]
[https://www.dropbox.com/s/r4jy3mm0whp89zi/data.train.csv?dl=0 data.train.csv]

[https://www.dropbox.com/s/ded86bzwip09b0y/data.test.csv?dl=0 data.test.csv]
|-
| Проект || 08.03.2016 || 27.03.2016 09:00MSK || [http://nbviewer.jupyter.org/urls/dl.dropbox.com/s/movmlwtbqi691u2/project.ipynb Условие]
[https://www.dropbox.com/s/uyd8f9dpmffrcvx/student-mat.csv?dl=0 student-mat.csv]

[https://www.dropbox.com/s/xqo7hkef3hdagm0/student-por.csv?dl=0 student-por.csv]

|}

== Семинары ==
{| class="wikitable"
|-
! Дата !! Тема !! Материалы семинара
|-
| 12.01.2016 || Вводный семинар ||
|-
| 19.01.2016 || Библиотеки для анализа данных || [http://nbviewer.jupyter.org/urls/dl.dropbox.com/s/vqavusi6a00frae/sem.02.ipynb IPython-notebook с семинара]
[https://www.dropbox.com/s/vqavusi6a00frae/sem.02.ipynb?dl=0 Данные]
|-
| 26.01.2016 || Продолжение библиотек для анализа данных. Немного о визуализации || [http://nbviewer.jupyter.org/urls/dl.dropbox.com/s/4m0kpron4ggkocl/sem.03.ipynb IPython-notebook с семинара]
[https://www.dropbox.com/s/t3ailhestd237wl/titanic.csv?dl=0 Данные]
|-
| 02.02.2016 || Линейная алгебра || [http://nbviewer.jupyter.org/urls/dl.dropbox.com/s/sqmuo4v1fflpd7w/sem.04.ipynb IPython-notebook с семинара]
[https://www.dropbox.com/s/yaejuczaxwgg1yh/german.data.txt?dl=0 Данные]
|-
| 09.02.2016 || Градиентный спуск || [http://nbviewer.jupyter.org/urls/dl.dropbox.com/s/h7n1ikgy43yc1nv/sem.05.ipynb IPython-notebook с семинара]
|-
| 24.02.2016 || Консультация || [http://nbviewer.jupyter.org/urls/dl.dropbox.com/s/ddb9jj94xo8nzzz/Tutorial_grad_desc.ipynb IPython-notebook]
|-
| 01.03.2016 || Теория вероятности. Наивный байесовский классификатор || [http://nbviewer.jupyter.org/urls/dl.dropbox.com/s/mjwi0zh5oer01qd/sem.06.ipynb IPython-notebook с семинара]
[https://www.dropbox.com/s/2y3ai06fbd26huc/sms_data.txt?dl=0 Данные]
|}

== Правила игры ==
Информация о домашних заданиях появится позже.

Иногда на семинарах будут проводиться проверочные работы. Об этом будет объявляться заранее. Также каждый студент делает проект в течение двух модулей (решение какой-то задачи анализа данных, информация будет объявлена позже).

===Про домашние задания===

Каждое ДЗ выдается на две (полных) недели. Дедлайн строгий, после него задание сдать нельзя.

Плагиат будет строго наказываться: вся компонента — и те, кто списал, и те, у кого списали — получает не более 0 баллов за задание. Цените свое время.

== Оформление темы письма ==
При написании письма необходимо указывать тему, как описано ниже (почта, на которую вы отправляете вопросы и работы, является почтой ''всего'' майнора, поэтому указывая тему письма правильно вы повышаете шансы дождаться ответа). Далее NN - номер вашей группы. X - номер лабораторной работы.
* Для вопросов: [ИАД-NN] - Вопрос - Фамилия Имя Отчество
* Для домашних лабораторных работ: [ИАД-NN] - Лабораторная работа X - Фамилия Имя Отчество

== Установка python и необходимых библиотек ==

=== Виртуальная машина ===
Для работы на семинарах а также для небольших лабораторных работ можно воспользоваться онлайн-сервисом, на котором установлены уже все необходимые библиотеки. Для получения адреса и пароля необходимо написать на почту курса (тема письма: [ИАД-NN] - Виртуальная машина - Фамилия Имя Отчество). Обратите внимание, что этот сервис поднят только для нужд семинаров и заданий, поэтому запрещается использовать его для личного пользования.

=== Установка на домашнем компьютере ===
1. Самый простой способ — установить дистрибутив [https://www.continuum.io/downloads Anaconda], который содержит все необходимые библиотеки и доступен для всех платформ.
2. Откройте командную строку:
* комбинация клавиш Win+R в операционной системе Windows, в открывшемся окне набрать "cmd" (без кавычек) и нажать Enter)
* Ctrl+Space в MacOs, набрать "terminal" и нажать Enter
3. В окне командной строки наберите "conda install jupyter" (без кавычек)

Для запуска ipython notebook повторите шаг 2 инструкции выше, а затем в окне командной строки наберите "ipython notebook" (без кавычек)

Откройте браузер (если он у вас не открылся в течении пары секунд сам) и в адресную строку введите localhost:8888
Вы увидите папки директории, из которой был запущен ipython. Чтобы создать ноутбук или открыть существующий перейдите в директорию где будете работать (просто нажимая на папки). Далее либо вам нужно открыть файл с расширением ipynb, либо создать новый: справа нажать на New и выбрать вариант Python (2 или 3 в зависимости от версии).

Чтобы исполнить ячейку необходимо выделить ее мышью и либо сверху нажать на стрелочку (Run), либо Ctrl+Enter.

Чтобы выключить питон, откройте консоль в которой запущен ipython notebook и нажмите Ctrl+C пару раз.

Если у вас что-то не получилось установить — пишите на почту курса (с правильной темой письма и подробным описанием ошибки и на какой платформе все происходит). Тем временем можно воспользоваться виртуальной машиной.

== Дополнительные материалы ==
* [https://yandexdataschool.ru/edu-process/courses/machine-learning Видеозаписи] курса лекций К. В. Воронцова в ШАДе
* [https://class.coursera.org/ml-005/lecture/preview Лекции Andrew Ng] на coursera.org: начинается 25 января, но практические задания на языке MATLAB/Octave
* [https://www.coursera.org/learn/introduction-machine-learning Вводный курс К. В. Воронцова] на coursera.org: на русском языке, начинается 26 января, практические задания на языке Python
* [https://www.dataquest.io dataquest.io]: сайт с интерактивными заданиями по Python для анализа данных

Майнор Интеллектуальный анализ данных/Введение в анализ данных/ИАД-11,12

Майнор Интеллектуальный анализ данных/Введение в анализ данных/ИАД-11,12

2016-01-26T08:27:37Z

Voron13e02:

Майнор Интеллектуальный анализ данных/Введение в анализ данных

2016-01-26T08:12:35Z

Voron13e02:

== О курсе ==
В рамках курса «Введение в анализ данных» студенты овладевают базовыми понятиями и методами машинного обучения, учатся применять их в задачах анализа данных, а также приобретают практические навыки специалиста по анализу данных (data scientist). Практические задания и итоговый проект выполняются с использованием языка Python и инструментов PyData (iPython Notebook, NumPy, Pandas, scikit-learn и др.). 

'''Читается:''' 3-4 модуль 2 курса, 2015/2016 учебный год. 
'''Пререквизиты:''' Введение в программирование 
'''Трудоемкость:''' 5 кредитов 

=== Продолжительность ===
'''Всего:''' 72 аудиторных часа: 
'''Из них:'''
* 36 часов лекций
* 36 часов практических занятий

=== Формы контроля ===
* проверочные работы на семинарах
* домашние задания
* проект по анализу данных
* экзамен

==Учебный процесс==

===Полезные ссылки===
Написать отзыв (анонимно): http://goo.gl/forms/RwdMxnChST 

'''Второй поток'''

Почта потока (для домашних заданий и вопросов): [mailto:hse.minor.dm@gmail.com hse.minor.dm@gmail.com]

Почта лектора: [mailto:sokolov.evg@gmail.com sokolov.evg@gmail.com]

[https://docs.google.com/spreadsheets/d/1jZL_-ELf0Ogj2XHa6VVbkg8vrInycv2-Z9UR5keLDfM/edit?usp=sharing Таблица с оценками]

Подписаться на рассылку (информация об отменах и переносах занятий): напишите пустое письмо на [mailto:hse-minor-datamining-2+subscribe@googlegroups.com hse-minor-datamining-2+subscribe@googlegroups.com]

===Расписание лекций===

Все занятия проходят по вторникам на ул. Шаболовка, 26.

{| class="wikitable"
|-
! Пара !! Группы !! Преподаватель
|-
| 2, 10.30-11.50 || Второй поток, ИАД-11 – ИАД-20 (К-9) || Соколов Евгений Андреевич
|-
| 3, 12.10-13.30 || Первый поток, ИАД-1 – ИАД-10 (К-9) || Игнатов Дмитрий Игоревич
|}

===Расписание семинаров===

Все занятия проходят по вторникам на ул. Шаболовка, 26.

{| class="wikitable"
|-
! Пара !! Группа !! Преподаватель !! Группа !! Преподаватель !! Группа !! Преподаватель !! Группа !! Преподаватель !! Группа !! Преподаватель
|-
| 1, 09.00-10.20 || ИАД-8 (ауд.4335) || Панов || ИАД-11 (ауд.3214) || Козлова || ИАД-13 (ауд.4336) || Ромов || ИАД-18 (ауд.4427) || Гитман, Рысьмятова || ИАД-19 (ауд.4428) || Квасов, Полякова
|-
| 1, 09.00-10.20 || ИАД-20 (ауд.3203) || Струминский || || || || || || || ||
|-
| 2, 10.30-11.50 || ИАД-4 (ауд.4336) || Умнов || ИАД-8 (ауд.4335) || Панов || ИАД-9 (ауд.4427) || Папулин || ИАД-10 (ауд.4428) || Зиннурова || ||
|-
| 3, 12.10-13.30 || ИАД-12 (ауд.3214) || Козлова || ИАД-14 (ауд.4427) || Папулин || ИАД-15 (ауд.4428) || Зиннурова || ИАД-16 (ауд.3203) || Даулбаев, Чиркова || ИАД-17 (ауд.4335) || Гитман, Захаров
|-
| 4, 13.40-15.00 || ИАД-2 (ауд.4427) || Папулин || ИАД-3 (ауд.4428) || Шестаков || ИАД-5 (ауд.3203) || Паринов || ИАД-6 (ауд.3214) || Кашницкий || ИАД-7 (ауд.4336) || Умнов
|-
| 5, 15.10-16.30 || ИАД-1 (ауд.4427) || Папулин || ИАД-6 (ауд.3214) || Кашницкий || || || || || ||
|}

===Программа лекций===

Лекция 1 (12.01.2016). Введение в машинное обучение и анализ данных. [[https://db.tt/c9XsAVym Слайды, 1 поток]] [[https://github.com/esokolov/ml-minor-hse/blob/master/lectures/lecture01-intro.pdf Слайды, 2 поток]]

Лекция 2 (19.01.2016). Постановки задач в машинном обучении. Примеры прикладных задач. [Слайды, 1 поток] [[https://github.com/esokolov/ml-minor-hse/blob/master/lectures/lecture02-intro.pdf Слайды, 2 поток]]

Лекция 3. Линейная алгебра и анализ данных.

Лекция 4. Математический анализ и анализ данных.

Лекция 5. Теория вероятностей и анализ данных.

Лекция 6. Математическая статистика и анализ данных.

Лекция 7. Линейная регрессия.

Лекция 8. Линейная классификация.

Лекция 9. Метрики качества алгоритмов.

Лекция 10. Оценивание качества алгоритмов.

Лекция 11. Логические методы и их интерпретируемость.

Лекция 12. Построение деревьев решений.

Лекция 13. Введение в композиции алгоритмов. Случайные леса.

Лекция 14. Особенности реальных данных.

Лекция 15. Анализ частых множеств признаков и ассоциативных правил.

Лекция 16. Задача кластеризации.

Лекция 17. Заключительная лекция.

===Страницы семинаров===
* ИАД-1, Папулин С.Ю.
* ИАД-2, Папулин С.Ю.
* [[Minor_da2016_gr3|ИАД-3, Шестаков А.]]
* [[Майнор_Анализ_Данных_ИАД-4_ИАД-7|ИАД-4, Умнов А.В.]]
* ИАД-5, Паринов А.С.
* [[Майнор Интеллектуальный анализ данных/Введение в анализ данных/ИАД-6|ИАД-6, Кашницкий Ю.С.]]
* [[Майнор_Анализ_Данных_ИАД-4_ИАД-7|ИАД-7, Умнов А.В.]]
* ИАД-8, Панов А.И.
* ИАД-9, Папулин С.Ю.
* [[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/ИАД-10|ИАД-10, Зиннурова Э.А.]]
* [[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/ИАД-11,12|ИАД-11, Козлова А.]]
* [[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/ИАД-11,12|ИАД-12, Козлова А.]]
* [[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/ИАД-13|ИАД-13, Ромов П.А.]]
* ИАД-14, Папулин С.Ю.
* [[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/ИАД-15|ИАД-15, Зиннурова Э.А.]]
* [[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/ИАД-16|ИАД-16, Даулбаев Т., Чиркова Н.]]
* [[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/ИАД-17|ИАД-17, Гитман И., Захаров Е.]]
* [[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/ИАД-18|ИАД-18, Гитман И., Рысьмятова А.]]
* [[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/ИАД-19|ИАД-19, Квасов А., Полякова Н.]]
* [[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/ИАД-20|ИАД-20, Струминский К.]]

==Полезные материалы==
===Курсы по машинному обучению и анализу данных===
* [http://www.machinelearning.ru/wiki/index.php?title=Машинное_обучение_%28курс_лекций%2C_К.В.Воронцов%29 Курс по машинному обучению К.В. Воронцова]
* [https://yandexdataschool.ru/edu-process/courses/machine-learning Видеозаписи лекций курса Школы Анализа Данных, К.В. Воронцов]
* [https://www.coursera.org/specializations/machine-learning-data-analysis Coursera: Машинное обучение и анализ данных (специализация)]
* [https://www.coursera.org/learn/introduction-machine-learning Coursera: Введение в машинное обучение, К.В. Воронцов]
* [https://www.coursera.org/learn/machine-learning Coursera: Machine Learning, Andrew Ng]

===Статьи===
* [http://www.toptal.com/machine-learning/machine-learning-theory-an-introductory-primer An Introduction to Machine Learning Theory and Its Applications: A Visual Tutorial with Examples]
* [http://www.r2d3.us/visual-intro-to-machine-learning-part-1/ A Visual Introduction to Machine Learning]

===Книги===
* Mohammed J. Zaki, Wagner Meira Jr. Data Mining and Analysis. Fundamental Concepts and Algorithms. Cambridge University Press, 2014.
* Boris Mirkin. Core Concepts in Data Analysis: Summarization, Correlation, Visualization. 2010.
* James, Witten, Hastie, Tibshirani. An Introduction to Statistical Learning. 2013.

[[Category:Майнор "Интеллектуальный анализ данных"]]

Майнор Интеллектуальный анализ данных/Введение в анализ данных/ИАД-11,12

2016-01-24T16:06:59Z

Voron13e02: /* Установка на домашнем компьютере */

Майнор Интеллектуальный анализ данных/Введение в анализ данных

2016-01-24T10:36:15Z

Voron13e02: /* Страницы семинаров */

== О курсе ==
В рамках курса «Введение в анализ данных» студенты овладевают базовыми понятиями и методами машинного обучения, учатся применять их в задачах анализа данных, а также приобретают практические навыки специалиста по анализу данных (data scientist). Практические задания и итоговый проект выполняются с использованием языка Python и инструментов PyData (iPython Notebook, NumPy, Pandas, scikit-learn и др.). 

'''Читается:''' 3-4 модуль 2 курса, 2015/2016 учебный год. 
'''Пререквизиты:''' Введение в программирование 
'''Трудоемкость:''' 5 кредитов 

=== Продолжительность ===
'''Всего:''' 72 аудиторных часа: 
'''Из них:'''
* 36 часов лекций
* 36 часов практических занятий

=== Формы контроля ===
* проверочные работы на семинарах
* домашние задания
* проект по анализу данных
* экзамен

==Учебный процесс==

===Полезные ссылки===
Написать отзыв (анонимно): http://goo.gl/forms/RwdMxnChST 

'''Второй поток'''

Почта потока (для домашних заданий и вопросов): [mailto:hse.minor.dm@gmail.com hse.minor.dm@gmail.com]

Почта лектора: [mailto:sokolov.evg@gmail.com sokolov.evg@gmail.com]

[https://docs.google.com/spreadsheets/d/1jZL_-ELf0Ogj2XHa6VVbkg8vrInycv2-Z9UR5keLDfM/edit?usp=sharing Таблица с оценками]

Подписаться на рассылку (информация об отменах и переносах занятий): напишите пустое письмо на [mailto:hse-minor-datamining-2+subscribe@googlegroups.com hse-minor-datamining-2+subscribe@googlegroups.com]

===Расписание лекций===

Все занятия проходят по вторникам на ул. Шаболовка, 26.

{| class="wikitable"
|-
! Пара !! Группы !! Преподаватель
|-
| 2, 10.30-11.50 || Второй поток, ИАД-11 – ИАД-20 (К-9) || Соколов Евгений Андреевич
|-
| 3, 12.10-13.30 || Первый поток, ИАД-1 – ИАД-10 (К-9) || Игнатов Дмитрий Игоревич
|}

===Расписание семинаров===

Все занятия проходят по вторникам на ул. Шаболовка, 26.

{| class="wikitable"
|-
! Пара !! Группа !! Преподаватель !! Группа !! Преподаватель !! Группа !! Преподаватель !! Группа !! Преподаватель !! Группа !! Преподаватель
|-
| 1, 09.00-10.20 || ИАД-8 (ауд.4335) || Панов || ИАД-11 (ауд.3214) || Козлова || ИАД-13 (ауд.4336) || Ромов || ИАД-18 (ауд.4427) || Гитман, Рысьмятова || ИАД-19 (ауд.4428) || Квасов, Полякова
|-
| 1, 09.00-10.20 || ИАД-20 (ауд.3203) || Струминский || || || || || || || ||
|-
| 2, 10.30-10.50 || ИАД-4 (ауд.4336) || Умнов || ИАД-8 (ауд.4335) || Панов || ИАД-9 (ауд.4427) || Папулин || ИАД-10 (ауд.4428) || Зиннурова || ||
|-
| 3, 12.10-13.30 || ИАД-12 (ауд.3214) || Козлова || ИАД-14 (ауд.4427) || Папулин || ИАД-15 (ауд.4428) || Зиннурова || ИАД-16 (ауд.3203) || Даулбаев, Чиркова || ИАД-17 (ауд.4335) || Гитман, Захаров
|-
| 4, 13.40-15.00 || ИАД-2 (ауд.4427) || Папулин || ИАД-3 (ауд.4428) || Шестаков || ИАД-5 (ауд.3203) || Паринов || ИАД-6 (ауд.3214) || Кашницкий || ИАД-7 (ауд.4336) || Умнов
|-
| 5, 15.10-16.30 || ИАД-1 (ауд.4427) || Папулин || ИАД-6 (ауд.3214) || Кашницкий || || || || || ||
|}

===Программа лекций===

Лекция 1 (12.01.2016). Введение в машинное обучение и анализ данных. [[https://db.tt/c9XsAVym Слайды, 1 поток]] [[https://github.com/esokolov/ml-minor-hse/blob/master/lectures/lecture01-intro.pdf Слайды, 2 поток]]

Лекция 2 (19.01.2016). Постановки задач в машинном обучении. Примеры прикладных задач. [Слайды, 1 поток] [[https://github.com/esokolov/ml-minor-hse/blob/master/lectures/lecture02-intro.pdf Слайды, 2 поток]]

Лекция 3. Линейная алгебра и анализ данных.

Лекция 4. Математический анализ и анализ данных.

Лекция 5. Теория вероятностей и анализ данных.

Лекция 6. Математическая статистика и анализ данных.

Лекция 7. Линейная регрессия.

Лекция 8. Линейная классификация.

Лекция 9. Метрики качества алгоритмов.

Лекция 10. Оценивание качества алгоритмов.

Лекция 11. Логические методы и их интерпретируемость.

Лекция 12. Построение деревьев решений.

Лекция 13. Введение в композиции алгоритмов. Случайные леса.

Лекция 14. Особенности реальных данных.

Лекция 15. Анализ частых множеств признаков и ассоциативных правил.

Лекция 16. Задача кластеризации.

Лекция 17. Заключительная лекция.

===Страницы семинаров===
* ИАД-1, Папулин С.Ю.
* ИАД-2, Папулин С.Ю.
* [[Minor_da2016_gr3|ИАД-3, Шестаков А.]]
* [[Майнор_Анализ_Данных_ИАД-4_ИАД-7|ИАД-4, Умнов А.В.]]
* ИАД-5, Паринов А.С.
* ИАД-6, Кашницкий Ю.С.
* [[Майнор_Анализ_Данных_ИАД-4_ИАД-7|ИАД-7, Умнов А.В.]]
* ИАД-8, Панов А.И.
* ИАД-9, Папулин С.Ю.
* [[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/ИАД-10|ИАД-10, Зиннурова Э.А.]]
* [[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/ИАД-11,12|ИАД-11, Козлова А.]]
* [[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/ИАД-11,12|ИАД-12, Козлова А.]]
* ИАД-13, Ромов П.А.
* ИАД-14, Папулин С.Ю.
* [[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/ИАД-15|ИАД-15, Зиннурова Э.А.]]
* [[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/ИАД-16|ИАД-16, Даулбаев Т., Чиркова Н.]]
* ИАД-17, Гитман И., Захаров Е.
* [[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/ИАД-18|ИАД-18, Гитман И., Рысьмятова А.]]
* [[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/ИАД-19|ИАД-19, Квасов А., Полякова Н.]]
* [[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/ИАД-20|ИАД-20, Струминский К.]]

==Полезные материалы==
===Курсы по машинному обучению и анализу данных===
* [http://www.machinelearning.ru/wiki/index.php?title=Машинное_обучение_%28курс_лекций%2C_К.В.Воронцов%29 Курс по машинному обучению К.В. Воронцова]
* [https://yandexdataschool.ru/edu-process/courses/machine-learning Видеозаписи лекций курса Школы Анализа Данных, К.В. Воронцов]
* [https://www.coursera.org/specializations/machine-learning-data-analysis Coursera: Машинное обучение и анализ данных (специализация)]
* [https://www.coursera.org/learn/introduction-machine-learning Coursera: Введение в машинное обучение, К.В. Воронцов]
* [https://www.coursera.org/learn/machine-learning Coursera: Machine Learning, Andrew Ng]

===Статьи===
* [http://www.toptal.com/machine-learning/machine-learning-theory-an-introductory-primer An Introduction to Machine Learning Theory and Its Applications: A Visual Tutorial with Examples]
* [http://www.r2d3.us/visual-intro-to-machine-learning-part-1/ A Visual Introduction to Machine Learning]

===Книги===
* Mohammed J. Zaki, Wagner Meira Jr. Data Mining and Analysis. Fundamental Concepts and Algorithms. Cambridge University Press, 2014.
* Boris Mirkin. Core Concepts in Data Analysis: Summarization, Correlation, Visualization. 2010.
* James, Witten, Hastie, Tibshirani. An Introduction to Statistical Learning. 2013.

[[Category:Майнор "Интеллектуальный анализ данных"]]

Майнор Интеллектуальный анализ данных/Введение в анализ данных/ИАД-11

2016-01-24T10:35:25Z

Voron13e02: Voron13e02 переименовал страницу Майнор Интеллектуальный анализ данных/Введение в анализ данных/ИАД-11 в [[Майнор Интеллектуальный анализ д…

#перенаправление [[Майнор Интеллектуальный анализ данных/Введение в анализ данных/ИАД-11,12]]

2015-05-16T07:51:24Z

Voron13e02: /* Темы лекций */

'''Таблица результатов [https://docs.google.com/spreadsheets/d/1m6xUNu7Hq7-wi_G2527d4HAE_N03F74ryNKIs3zgEbQ/edit#gid=0 здесь]'''

'''Контакты: ''' cshse.ml@gmail.com
 
 
== Краткое описание ==
В курсе рассматриваются основные задачи анализа данных и обучения по прецедентам: классификация, кластеризация, регрессия, понижение размерности. Изучаются методы их решения, как классические, так и новые, созданные за последние 10–15 лет. Упор делается на практические аспекты применения изучаемых алгоритмов. Большое внимание уделяется практическим лабораторным работам на языке Python.

== Отчётность по курсу и критерии оценки ==
'''Оценка за курс.''' После каждой лекции студентам предлагается выполнить практическое задание на Python. В конце модуля пройдет устный экзамен по теории. Также в середине семестра будет проведен устный коллоквиум по теории. Итоговая оценка за курс складывается из оценок за практические задания, оценки за коллоквиум и оценки за экзамен.

'''Формальные критерии:'''

Оценки за различные активности:
* Otheory - суммарная оценка за теоретические части лабораторных работ (max = 3 за одну лабораторную)
* Opractice - суммарная оценка за практические части лабораторных работ (max = 5 за одну лабораторную)
* Ocolloquium - оценка за устный коллоквиум (max = 5)
* Oexam - оценка за устный экзамен (max = 50)

Общее число баллов:

Oall = 0.2 * Otheory + 0.4 * Opractice + 0.2 * Oexam + Ocolloquium

Критерии оценки:

Omax = max_possible_value_of(Oall)

При подсчете Omax не учитываются дополнительные баллы за задания со звездочкой.

'''Оценка 5''': Oall >= 0.8 * Omax

'''Оценка 4''': Oall >= 0.6 * Omax

'''Оценка 3''': Oall >= 0.45 * Omax

''Критерии в 10-бальной шкале будут вывешены позднее. ''

За курс можно получить автомат без сдачи итогового экзамена. Для этого нужно получить максимальный балл за коллоквиум, а также суммарная оценка за лабораторные должна быть хорошей:

(0.2 * Otheory + 0.4 * Opractice) >= 0.9 * max_possible_value_of(0.2 * Otheory + 0.4 * Opractice)

Здесь при подсчете максимального значения опять же не учитываются баллы за задания со звездочкой.

'''Меры при обнаружении плагиата'''

''Для лабораторных 1-7:''

* По умолчанию всем, у кого обнаружен плагиат ставится 0 баллов и отметка о плагиате. И тем, кто списал, и тем, у кого списали.
* Из каждого онаруженного нами кластера людей, сдавших одинаковую работу, первый сдавший предполагается первоисточником работы и может получить за нее положительную оценку. Для этого он должен устно зачесть работу у преподавателя. Желательно обращаться именно к тому преподавателю, который проверял работу. При успешной защите своей работы со студента снимается отметка о плагиате.

''Для всех последующих лабораторных:''

* Всем, у кого обнаружен плагиат ставится 0 баллов и отметка о плагиате. И тем, кто списал, и тем, у кого списали. Мы не будем искать первоисточник работы.
Также Вы должны понимать, что плагиат будет иметь и другие последствия. При обнаружении плагиата у одного и того же человека более одного раза на него будет оформляться докладная на имя декана.

Если у человека есть хоть одна отметка о плагиате, он не может получить автомат.

'''Дедлайны.''' Решения присланные после дедлайнов не принимаются, кроме случаев наличия уважительных причин у студента (завалы на учебе или работе уважительными причинами не считаются).

== Коллоквиум ==

На семинарах 7 и 12 марта пройдет коллоквиум. Каждый студент должен будет лично ответить преподавателю на несколько вопросов из списка ниже.
[https://www.dropbox.com/s/r4d2o4wtjydwo5e/questions.pdf?dl=0 Список вопросов]

== Темы лекций ==

'''Лекция 1. Основные понятия и примеры прикладных задач. Существующие инструменты анализа данных.'''

Постановка задач обучения по прецедентам. Объекты и признаки. Типы шкал: бинарные, номинальные, порядковые, количественные. Типы задач: классификация, регрессия, прогнозирование, кластеризация.
Основные понятия: модель алгоритмов, метод обучения, функция потерь и функционал качества, принцип минимизации эмпирического риска, обобщающая способность, скользящий контроль.
Примеры прикладных задач. Популярные библиотеки и фреймворки для анализа данных на различных языках программирования.

[https://www.dropbox.com/s/p7kfijkrhq0kdwv/intro.pdf?dl=0 Слайды, часть 1]
[https://www.dropbox.com/s/me0q1njwonyrt06/instruments.pdf?dl=0 Слайды, часть 2]

'''Лекция 2. Метрическая классификация.'''
Метрические алгоритмы классификации. Метод ближайших соседей (kNN) и его обобщения. Подбор числа k по критерию скользящего контроля. Обобщённый метрический классификатор, понятие отступа. Проклятие размерности. Методы быстрого поиска ближайших соседей.

[https://www.dropbox.com/s/vlmifieu79liq1p/metric.pdf?dl=0 Слайды, часть 1]
[https://www.dropbox.com/s/g9g6ib8icygik2j/metric2.pdf?dl=0 Слайды, часть 2]

'''Лекция 3. Логическая классификация.'''
Логические закономерности и решающие деревья. Понятие логической закономерности. Определение информативности. Разновидности закономерностей: шары, гиперплоскости, гиперпараллелепипеды (конъюнкции). Бинаризация признаков, алгоритм выделения информативных зон. «Градиентный» алгоритм синтеза конъюнкций, частные случаи: жадный алгоритм, стохастический локальный поиск, стабилизация, редукция. Решающее дерево. Псевдокод: жадный алгоритм ID3. Недостатки алгоритма и способы их устранения. Проблема переобучения. Редукция решающих деревьев: предредукция и постредукция.

[https://www.dropbox.com/s/9qfmw95wlw26jvb/slides-Logic1_ml_hse.pdf?dl=0 Слайды]

'''Лекция 4. Линейные методы классификации.'''
Линейные алгоритмы классификации. Квадратичная функция потерь, метод наименьших квадратов. Метод стохастического градиента и частные случаи: перcептрон Розенблатта, правило Хэбба. Недостатки метода стохастического градиента и способы их устранения. Ускорение сходимости, «выбивание» из локальных минимумов. Проблема переобучения, редукция весов (weight decay).

[https://www.dropbox.com/s/hj0ao16hh7n2bso/lec4.pdf?dl=0 Слайды]

'''Лекция 5. Линейный SVM.'''

[https://www.dropbox.com/s/xvdaoilxu71bz65/lec5.pdf?dl=0 Слайды]

'''Лекция 6. Ядерный SVM.'''

'''Лекция 7. Линейная регрессия и PCA.'''
Методы восстановления регрессии. Задача восстановления регрессии, метод наименьших квадратов. Многомерная линейная регрессия. Сингулярное разложение. Регуляризация: гребневая регрессия и лассо Тибширани. Метод главных компонент и декоррелирующее преобразование.

[https://www.dropbox.com/s/dsgfrs0jo3grbci/slides-Regression.pdf?dl=0 Слайды]

'''Лекции 8-9. Байесовская классификация.'''

[https://www.dropbox.com/s/rc5d97y7wttx7a0/slides-Bayes.pdf?dl=0 Слайды]

'''Лекции 12. Выбор моделей и отбор признаков.'''

[https://www.dropbox.com/s/7qchphf7ka7va2u/lec12.pdf?dl=0 Слайды]

'''Лекции 13. Кластеризация.'''
[https://www.dropbox.com/s/3t3vvyvlk0eihoo/slides-Clustering.pdf?dl=0, Слайды]

'''Лекции 14. Композиции алгоритмов.'''
[https://www.dropbox.com/s/8cy5pfgz1gg1na6/lec14.pdf?dl=0, Слайды]

'''Лекции 15. Нейронные сети.'''
[https://www.dropbox.com/s/nejb1q5yg64t14h/slides-NeuralNets.pdf?dl=0, Слайды]

== Семинары ==
=== Правила сдачи заданий cеминаров ===
* На семинарах выдаются практические лабораторные работы, которые можно сдавать на семинаре, либо по почте до дедлайна.
* Для групп, у который семинары проходят по субботам, дедлайн 9:00 следующей субботы. У групп с семинарами по четвергам дедлайн 9:00 следующего четверга.
* Решения следует отправлять на почту курса с соответствующей темой письма (см. раздел Оформление писем).
* Решения принимаются в виде одного аккуратно оформленного ipython-notebook'а (.ipynb-файл), либо в виде аккуратного pdf-файла + скриптов.
* Для теоретических заданий предполагается развернутый ответ (с доказательством при необходимости).
* По каждому практическому заданию помимо формального ответа на вопрос и соответствующего кода необходимо так же дать комментарии/построить графики при необходимости и сделать выводы.
=== Семинар 1. Инструментарий ===
Знакомство с языком Python.
[https://www.dropbox.com/s/bx6hrz7pb61l9ab/ML_HSE_Lab1.pdf?dl=0 Лабораторная 1], [https://www.dropbox.com/s/y1kfgpiwbgjeisl/train.csv?dl=0 данные].

[http://nbviewer.ipython.org/gist/anonymous/fba8bf7f1ad379df9d63 Материал] в помощь.
=== Семинар 2. Проклятие размерности. Метод ближайшего соседа ===
[https://www.dropbox.com/s/fc2kd7pp3no0s0t/practice.pdf?dl=0 Задание], [https://www.dropbox.com/s/xuse7r13f5cls6a/new_york.txt?dl=0 данные о ресторанах] ([https://www.dropbox.com/s/yejtu3y4ixt3tzl/features.txt?dl=0 название признаков]).

=== Семинар 3. Решающие деревья ===
[https://www.dropbox.com/s/4qxzfmzko3k01fq/lab3.pdf?dl=0 Задание], [https://www.dropbox.com/s/8ronkxqj087mxbe/adult.data?dl=0 данные], [https://www.dropbox.com/s/42a5gb3tw4dc3mi/adult.names?dl=0 названия признаков].

[http://ogrisel.github.io/scikit-learn.org/sklearn-tutorial/auto_examples/tutorial/plot_knn_iris.html Туториал по визуализации]

=== Семинар 4. Линейные методы классификации ===
[https://www.dropbox.com/s/8aopczz722klmya/lab4.pdf?dl=0 Задание], [https://www.dropbox.com/s/vn6g2dceepropd5/train.csv?dl=0 train.csv] и [https://www.dropbox.com/s/qtiu368pq2c33ea/test.csv?dl=0 test.csv].

=== Семинар 5. Линейный SVM ===
[https://www.dropbox.com/s/kbkhk4z5pagsrne/lab5.pdf?dl=0 Задание], [https://www.dropbox.com/s/5ro58pbpdf2iwoq/data.zip?dl=0 Данные]

=== Семинар 6. Ядерный SVM ===
[https://www.dropbox.com/s/bspfulrpj180da8/lab6.pdf?dl=0 Задание]

=== Семинар 7. PCA + регрессия ===
[https://www.dropbox.com/s/d63lww92hdtf35z/lab7.pdf?dl=0 Задание], [https://www.dropbox.com/s/ngxt79hdgqtqet8/data.zip?dl=0 Данные]

=== Семинар 9. Параметрическая Байесовская классификация ===
[https://www.dropbox.com/s/8u1cyn0fdbdrtdp/lab9.pdf?dl=0 Задание], [https://www.dropbox.com/s/r13rvv047j6lthl/2d.zip?dl=0 Данные1], [https://www.dropbox.com/s/9sh0rn0v74jep0m/200d.zip?dl=0 Данные2]

=== Семинар 10. Разделение смеси распределений ===
[https://www.dropbox.com/s/fcelgz2vicnddsf/lab10.pdf?dl=0, Задание], [https://www.dropbox.com/s/c6z8xexubmbixi8/mnist.zip?dl=0, Данные]

=== Семинар 12. Оценивание моделей ===
[https://www.dropbox.com/s/oy8c32jnv8oo3si/sem12.pdf?dl=0, Задачи с семинара]

=== Семинар 13. Кластеризация ===
Дедлайны:

Группы Артема и Ани: теория 25.04 09:00, практика 2.05 09:00.

Группы Сергея: теория 30.04 09:00, практика 7.05 09:00.

[https://www.dropbox.com/s/zgq88loq09bzbbm/lab13.pdf?dl=0 Задание], [https://www.dropbox.com/s/4snv7gpc1l5je9q/parrots.jpg?dl=0 parrots.jpg], [https://www.dropbox.com/s/9ilrbbdz74pvne0/grass.jpg?dl=0 grass.jpg].
[https://www.dropbox.com/s/fiy2u04o3g0eea2/problems_hse.pdf?dl=0, Теоретические задачи]

=== Семинар 14. Композиции классификаторов ===
[https://www.dropbox.com/s/y0von4yb7iamxuf/sem14.pdf?dl=0, Задачи с семинара]

=== Семинар 15. Нейронные сети ===

[https://www.dropbox.com/s/fh2frujzaz0gz9w/lab15.pdf?dl=0, Лабораторная]
[https://www.dropbox.com/s/bcfthzhghnnglvy/mnist.zip?dl=0, Данные]

== Оформление писем ==
Вопросы и домашние задания присылайте на почтовый адрес '''cshse.ml@gmail.com'''.
На почту присылайте письма со следующими темами:
* Для ''вопросов'' (общих, по лабораторным, по теории и т. д.): "Вопрос - Фамилия Имя Отчество - Группа"
* Для ''лабораторных'': "Лабораторная {Номер лабораторной работы} - Фамилия Имя Отчество - Группа (Семинарист)"
Когда отвечаете на наши письма или досылаете какие-то решения, пишите письма в '''тот же''' тред.

Большая просьба ко всем сдавать свои работы в ipython notebook, это очень упростит нам проверку. В качестве названия для файла с работой используйте свою фамилию на английском языке. Не нужно архивировать файлы перед отправкой.
== Полезные ссылки ==
=== Машинное обучение ===
* [http://www.machinelearning.ru/wiki/index.php?title=Заглавная_страница machinelearning.ru]
* Одна из классических и наиболее полных книг по машинному обучению. [http://web.stanford.edu/~hastie/local.ftp/Springer/ESLII_print10.pdf Elements of Statistical Learning (Trevor Hastie, Robert Tibshirani, Jerome Friedman)]
=== Python ===
* [http://python.org Официальный сайт]
* Библиотеки: [http://www.numpy.org/ NumPy], [http://pandas.pydata.org/ Pandas], [http://scikit-learn.org/stable/ SciKit-Learn], [http://matplotlib.org/ Matplotlib].
* Небольшой пример для начинающих: [http://nbviewer.ipython.org/gist/voron13e02/83a86f2e0fc5e7f8424d краткое руководство с примерами по Python 2]
* Питон с нуля: [http://nbviewer.ipython.org/gist/rpmuller/5920182 A Crash Course in Python for Scientists]
* Лекции [https://github.com/jrjohansson/scientific-python-lectures#online-read-only-versions Scientific Python]
* Книга: [http://www.cin.ufpe.br/~embat/Python%20for%20Data%20Analysis.pdf Wes McKinney «Python for Data Analysis»]
* [https://github.com/ipython/ipython/wiki/A-gallery-of-interesting-IPython-Notebooks Коллекция интересных IPython ноутбуков]

=== Установка и настройка Python ===
* [[Анализ данных (Программная инженерия)/Установка и настройка Python#Windows|Windows]]
* [[Анализ данных (Программная инженерия)/Установка и настройка Python#Mac_OS|Mac OS]]
* [[Анализ данных (Программная инженерия)/Установка и настройка Python#Linux | Linux]]

Анализ данных (Программная инженерия)

2015-05-16T07:30:42Z

Voron13e02: /* Семинар 15. Нейронные сети */

'''Таблица результатов [https://docs.google.com/spreadsheets/d/1m6xUNu7Hq7-wi_G2527d4HAE_N03F74ryNKIs3zgEbQ/edit#gid=0 здесь]'''

'''Контакты: ''' cshse.ml@gmail.com
 
 
== Краткое описание ==
В курсе рассматриваются основные задачи анализа данных и обучения по прецедентам: классификация, кластеризация, регрессия, понижение размерности. Изучаются методы их решения, как классические, так и новые, созданные за последние 10–15 лет. Упор делается на практические аспекты применения изучаемых алгоритмов. Большое внимание уделяется практическим лабораторным работам на языке Python.

== Отчётность по курсу и критерии оценки ==
'''Оценка за курс.''' После каждой лекции студентам предлагается выполнить практическое задание на Python. В конце модуля пройдет устный экзамен по теории. Также в середине семестра будет проведен устный коллоквиум по теории. Итоговая оценка за курс складывается из оценок за практические задания, оценки за коллоквиум и оценки за экзамен.

'''Формальные критерии:'''

Оценки за различные активности:
* Otheory - суммарная оценка за теоретические части лабораторных работ (max = 3 за одну лабораторную)
* Opractice - суммарная оценка за практические части лабораторных работ (max = 5 за одну лабораторную)
* Ocolloquium - оценка за устный коллоквиум (max = 5)
* Oexam - оценка за устный экзамен (max = 50)

Общее число баллов:

Oall = 0.2 * Otheory + 0.4 * Opractice + 0.2 * Oexam + Ocolloquium

Критерии оценки:

Omax = max_possible_value_of(Oall)

При подсчете Omax не учитываются дополнительные баллы за задания со звездочкой.

'''Оценка 5''': Oall >= 0.8 * Omax

'''Оценка 4''': Oall >= 0.6 * Omax

'''Оценка 3''': Oall >= 0.45 * Omax

''Критерии в 10-бальной шкале будут вывешены позднее. ''

За курс можно получить автомат без сдачи итогового экзамена. Для этого нужно получить максимальный балл за коллоквиум, а также суммарная оценка за лабораторные должна быть хорошей:

(0.2 * Otheory + 0.4 * Opractice) >= 0.9 * max_possible_value_of(0.2 * Otheory + 0.4 * Opractice)

Здесь при подсчете максимального значения опять же не учитываются баллы за задания со звездочкой.

'''Меры при обнаружении плагиата'''

''Для лабораторных 1-7:''

* По умолчанию всем, у кого обнаружен плагиат ставится 0 баллов и отметка о плагиате. И тем, кто списал, и тем, у кого списали.
* Из каждого онаруженного нами кластера людей, сдавших одинаковую работу, первый сдавший предполагается первоисточником работы и может получить за нее положительную оценку. Для этого он должен устно зачесть работу у преподавателя. Желательно обращаться именно к тому преподавателю, который проверял работу. При успешной защите своей работы со студента снимается отметка о плагиате.

''Для всех последующих лабораторных:''

* Всем, у кого обнаружен плагиат ставится 0 баллов и отметка о плагиате. И тем, кто списал, и тем, у кого списали. Мы не будем искать первоисточник работы.
Также Вы должны понимать, что плагиат будет иметь и другие последствия. При обнаружении плагиата у одного и того же человека более одного раза на него будет оформляться докладная на имя декана.

Если у человека есть хоть одна отметка о плагиате, он не может получить автомат.

'''Дедлайны.''' Решения присланные после дедлайнов не принимаются, кроме случаев наличия уважительных причин у студента (завалы на учебе или работе уважительными причинами не считаются).

== Коллоквиум ==

На семинарах 7 и 12 марта пройдет коллоквиум. Каждый студент должен будет лично ответить преподавателю на несколько вопросов из списка ниже.
[https://www.dropbox.com/s/r4d2o4wtjydwo5e/questions.pdf?dl=0 Список вопросов]

== Темы лекций ==

'''Лекция 1. Основные понятия и примеры прикладных задач. Существующие инструменты анализа данных.'''

Постановка задач обучения по прецедентам. Объекты и признаки. Типы шкал: бинарные, номинальные, порядковые, количественные. Типы задач: классификация, регрессия, прогнозирование, кластеризация.
Основные понятия: модель алгоритмов, метод обучения, функция потерь и функционал качества, принцип минимизации эмпирического риска, обобщающая способность, скользящий контроль.
Примеры прикладных задач. Популярные библиотеки и фреймворки для анализа данных на различных языках программирования.

[https://www.dropbox.com/s/p7kfijkrhq0kdwv/intro.pdf?dl=0 Слайды, часть 1]
[https://www.dropbox.com/s/me0q1njwonyrt06/instruments.pdf?dl=0 Слайды, часть 2]

'''Лекция 2. Метрическая классификация.'''
Метрические алгоритмы классификации. Метод ближайших соседей (kNN) и его обобщения. Подбор числа k по критерию скользящего контроля. Обобщённый метрический классификатор, понятие отступа. Проклятие размерности. Методы быстрого поиска ближайших соседей.

[https://www.dropbox.com/s/vlmifieu79liq1p/metric.pdf?dl=0 Слайды, часть 1]
[https://www.dropbox.com/s/g9g6ib8icygik2j/metric2.pdf?dl=0 Слайды, часть 2]

'''Лекция 3. Логическая классификация.'''
Логические закономерности и решающие деревья. Понятие логической закономерности. Определение информативности. Разновидности закономерностей: шары, гиперплоскости, гиперпараллелепипеды (конъюнкции). Бинаризация признаков, алгоритм выделения информативных зон. «Градиентный» алгоритм синтеза конъюнкций, частные случаи: жадный алгоритм, стохастический локальный поиск, стабилизация, редукция. Решающее дерево. Псевдокод: жадный алгоритм ID3. Недостатки алгоритма и способы их устранения. Проблема переобучения. Редукция решающих деревьев: предредукция и постредукция.

[https://www.dropbox.com/s/9qfmw95wlw26jvb/slides-Logic1_ml_hse.pdf?dl=0 Слайды]

'''Лекция 4. Линейные методы классификации.'''
Линейные алгоритмы классификации. Квадратичная функция потерь, метод наименьших квадратов. Метод стохастического градиента и частные случаи: перcептрон Розенблатта, правило Хэбба. Недостатки метода стохастического градиента и способы их устранения. Ускорение сходимости, «выбивание» из локальных минимумов. Проблема переобучения, редукция весов (weight decay).

[https://www.dropbox.com/s/hj0ao16hh7n2bso/lec4.pdf?dl=0 Слайды]

'''Лекция 5. Линейный SVM.'''

[https://www.dropbox.com/s/xvdaoilxu71bz65/lec5.pdf?dl=0 Слайды]

'''Лекция 6. Ядерный SVM.'''

'''Лекция 7. Линейная регрессия и PCA.'''
Методы восстановления регрессии. Задача восстановления регрессии, метод наименьших квадратов. Многомерная линейная регрессия. Сингулярное разложение. Регуляризация: гребневая регрессия и лассо Тибширани. Метод главных компонент и декоррелирующее преобразование.

[https://www.dropbox.com/s/dsgfrs0jo3grbci/slides-Regression.pdf?dl=0 Слайды]

'''Лекции 8-9. Байесовская классификация.'''

[https://www.dropbox.com/s/rc5d97y7wttx7a0/slides-Bayes.pdf?dl=0 Слайды]

'''Лекции 12. Выбор моделей и отбор признаков.'''

[https://www.dropbox.com/s/7qchphf7ka7va2u/lec12.pdf?dl=0 Слайды]

'''Лекции 13. Кластеризация.'''
[https://www.dropbox.com/s/3t3vvyvlk0eihoo/slides-Clustering.pdf?dl=0, Слайды]

'''Лекции 14. Композиции алгоритмов.'''
[https://www.dropbox.com/s/8cy5pfgz1gg1na6/lec14.pdf?dl=0, Слайды]

== Семинары ==
=== Правила сдачи заданий cеминаров ===
* На семинарах выдаются практические лабораторные работы, которые можно сдавать на семинаре, либо по почте до дедлайна.
* Для групп, у который семинары проходят по субботам, дедлайн 9:00 следующей субботы. У групп с семинарами по четвергам дедлайн 9:00 следующего четверга.
* Решения следует отправлять на почту курса с соответствующей темой письма (см. раздел Оформление писем).
* Решения принимаются в виде одного аккуратно оформленного ipython-notebook'а (.ipynb-файл), либо в виде аккуратного pdf-файла + скриптов.
* Для теоретических заданий предполагается развернутый ответ (с доказательством при необходимости).
* По каждому практическому заданию помимо формального ответа на вопрос и соответствующего кода необходимо так же дать комментарии/построить графики при необходимости и сделать выводы.
=== Семинар 1. Инструментарий ===
Знакомство с языком Python.
[https://www.dropbox.com/s/bx6hrz7pb61l9ab/ML_HSE_Lab1.pdf?dl=0 Лабораторная 1], [https://www.dropbox.com/s/y1kfgpiwbgjeisl/train.csv?dl=0 данные].

[http://nbviewer.ipython.org/gist/anonymous/fba8bf7f1ad379df9d63 Материал] в помощь.
=== Семинар 2. Проклятие размерности. Метод ближайшего соседа ===
[https://www.dropbox.com/s/fc2kd7pp3no0s0t/practice.pdf?dl=0 Задание], [https://www.dropbox.com/s/xuse7r13f5cls6a/new_york.txt?dl=0 данные о ресторанах] ([https://www.dropbox.com/s/yejtu3y4ixt3tzl/features.txt?dl=0 название признаков]).

=== Семинар 3. Решающие деревья ===
[https://www.dropbox.com/s/4qxzfmzko3k01fq/lab3.pdf?dl=0 Задание], [https://www.dropbox.com/s/8ronkxqj087mxbe/adult.data?dl=0 данные], [https://www.dropbox.com/s/42a5gb3tw4dc3mi/adult.names?dl=0 названия признаков].

[http://ogrisel.github.io/scikit-learn.org/sklearn-tutorial/auto_examples/tutorial/plot_knn_iris.html Туториал по визуализации]

=== Семинар 4. Линейные методы классификации ===
[https://www.dropbox.com/s/8aopczz722klmya/lab4.pdf?dl=0 Задание], [https://www.dropbox.com/s/vn6g2dceepropd5/train.csv?dl=0 train.csv] и [https://www.dropbox.com/s/qtiu368pq2c33ea/test.csv?dl=0 test.csv].

=== Семинар 5. Линейный SVM ===
[https://www.dropbox.com/s/kbkhk4z5pagsrne/lab5.pdf?dl=0 Задание], [https://www.dropbox.com/s/5ro58pbpdf2iwoq/data.zip?dl=0 Данные]

=== Семинар 6. Ядерный SVM ===
[https://www.dropbox.com/s/bspfulrpj180da8/lab6.pdf?dl=0 Задание]

=== Семинар 7. PCA + регрессия ===
[https://www.dropbox.com/s/d63lww92hdtf35z/lab7.pdf?dl=0 Задание], [https://www.dropbox.com/s/ngxt79hdgqtqet8/data.zip?dl=0 Данные]

=== Семинар 9. Параметрическая Байесовская классификация ===
[https://www.dropbox.com/s/8u1cyn0fdbdrtdp/lab9.pdf?dl=0 Задание], [https://www.dropbox.com/s/r13rvv047j6lthl/2d.zip?dl=0 Данные1], [https://www.dropbox.com/s/9sh0rn0v74jep0m/200d.zip?dl=0 Данные2]

=== Семинар 10. Разделение смеси распределений ===
[https://www.dropbox.com/s/fcelgz2vicnddsf/lab10.pdf?dl=0, Задание], [https://www.dropbox.com/s/c6z8xexubmbixi8/mnist.zip?dl=0, Данные]

=== Семинар 12. Оценивание моделей ===
[https://www.dropbox.com/s/oy8c32jnv8oo3si/sem12.pdf?dl=0, Задачи с семинара]

=== Семинар 13. Кластеризация ===
Дедлайны:

Группы Артема и Ани: теория 25.04 09:00, практика 2.05 09:00.

Группы Сергея: теория 30.04 09:00, практика 7.05 09:00.

[https://www.dropbox.com/s/zgq88loq09bzbbm/lab13.pdf?dl=0 Задание], [https://www.dropbox.com/s/4snv7gpc1l5je9q/parrots.jpg?dl=0 parrots.jpg], [https://www.dropbox.com/s/9ilrbbdz74pvne0/grass.jpg?dl=0 grass.jpg].
[https://www.dropbox.com/s/fiy2u04o3g0eea2/problems_hse.pdf?dl=0, Теоретические задачи]

=== Семинар 14. Композиции классификаторов ===
[https://www.dropbox.com/s/y0von4yb7iamxuf/sem14.pdf?dl=0, Задачи с семинара]

=== Семинар 15. Нейронные сети ===

== Оформление писем ==
Вопросы и домашние задания присылайте на почтовый адрес '''cshse.ml@gmail.com'''.
На почту присылайте письма со следующими темами:
* Для ''вопросов'' (общих, по лабораторным, по теории и т. д.): "Вопрос - Фамилия Имя Отчество - Группа"
* Для ''лабораторных'': "Лабораторная {Номер лабораторной работы} - Фамилия Имя Отчество - Группа (Семинарист)"
Когда отвечаете на наши письма или досылаете какие-то решения, пишите письма в '''тот же''' тред.

Большая просьба ко всем сдавать свои работы в ipython notebook, это очень упростит нам проверку. В качестве названия для файла с работой используйте свою фамилию на английском языке. Не нужно архивировать файлы перед отправкой.
== Полезные ссылки ==
=== Машинное обучение ===
* [http://www.machinelearning.ru/wiki/index.php?title=Заглавная_страница machinelearning.ru]
* Одна из классических и наиболее полных книг по машинному обучению. [http://web.stanford.edu/~hastie/local.ftp/Springer/ESLII_print10.pdf Elements of Statistical Learning (Trevor Hastie, Robert Tibshirani, Jerome Friedman)]
=== Python ===
* [http://python.org Официальный сайт]
* Библиотеки: [http://www.numpy.org/ NumPy], [http://pandas.pydata.org/ Pandas], [http://scikit-learn.org/stable/ SciKit-Learn], [http://matplotlib.org/ Matplotlib].
* Небольшой пример для начинающих: [http://nbviewer.ipython.org/gist/voron13e02/83a86f2e0fc5e7f8424d краткое руководство с примерами по Python 2]
* Питон с нуля: [http://nbviewer.ipython.org/gist/rpmuller/5920182 A Crash Course in Python for Scientists]
* Лекции [https://github.com/jrjohansson/scientific-python-lectures#online-read-only-versions Scientific Python]
* Книга: [http://www.cin.ufpe.br/~embat/Python%20for%20Data%20Analysis.pdf Wes McKinney «Python for Data Analysis»]
* [https://github.com/ipython/ipython/wiki/A-gallery-of-interesting-IPython-Notebooks Коллекция интересных IPython ноутбуков]

=== Установка и настройка Python ===
* [[Анализ данных (Программная инженерия)/Установка и настройка Python#Windows|Windows]]
* [[Анализ данных (Программная инженерия)/Установка и настройка Python#Mac_OS|Mac OS]]
* [[Анализ данных (Программная инженерия)/Установка и настройка Python#Linux | Linux]]

Анализ данных (Программная инженерия)

2015-05-16T07:30:27Z

Voron13e02: /* Семинар 15. Нейронные сети */

'''Таблица результатов [https://docs.google.com/spreadsheets/d/1m6xUNu7Hq7-wi_G2527d4HAE_N03F74ryNKIs3zgEbQ/edit#gid=0 здесь]'''

'''Контакты: ''' cshse.ml@gmail.com
 
 
== Краткое описание ==
В курсе рассматриваются основные задачи анализа данных и обучения по прецедентам: классификация, кластеризация, регрессия, понижение размерности. Изучаются методы их решения, как классические, так и новые, созданные за последние 10–15 лет. Упор делается на практические аспекты применения изучаемых алгоритмов. Большое внимание уделяется практическим лабораторным работам на языке Python.

== Отчётность по курсу и критерии оценки ==
'''Оценка за курс.''' После каждой лекции студентам предлагается выполнить практическое задание на Python. В конце модуля пройдет устный экзамен по теории. Также в середине семестра будет проведен устный коллоквиум по теории. Итоговая оценка за курс складывается из оценок за практические задания, оценки за коллоквиум и оценки за экзамен.

'''Формальные критерии:'''

Оценки за различные активности:
* Otheory - суммарная оценка за теоретические части лабораторных работ (max = 3 за одну лабораторную)
* Opractice - суммарная оценка за практические части лабораторных работ (max = 5 за одну лабораторную)
* Ocolloquium - оценка за устный коллоквиум (max = 5)
* Oexam - оценка за устный экзамен (max = 50)

Общее число баллов:

Oall = 0.2 * Otheory + 0.4 * Opractice + 0.2 * Oexam + Ocolloquium

Критерии оценки:

Omax = max_possible_value_of(Oall)

При подсчете Omax не учитываются дополнительные баллы за задания со звездочкой.

'''Оценка 5''': Oall >= 0.8 * Omax

'''Оценка 4''': Oall >= 0.6 * Omax

'''Оценка 3''': Oall >= 0.45 * Omax

''Критерии в 10-бальной шкале будут вывешены позднее. ''

За курс можно получить автомат без сдачи итогового экзамена. Для этого нужно получить максимальный балл за коллоквиум, а также суммарная оценка за лабораторные должна быть хорошей:

(0.2 * Otheory + 0.4 * Opractice) >= 0.9 * max_possible_value_of(0.2 * Otheory + 0.4 * Opractice)

Здесь при подсчете максимального значения опять же не учитываются баллы за задания со звездочкой.

'''Меры при обнаружении плагиата'''

''Для лабораторных 1-7:''

* По умолчанию всем, у кого обнаружен плагиат ставится 0 баллов и отметка о плагиате. И тем, кто списал, и тем, у кого списали.
* Из каждого онаруженного нами кластера людей, сдавших одинаковую работу, первый сдавший предполагается первоисточником работы и может получить за нее положительную оценку. Для этого он должен устно зачесть работу у преподавателя. Желательно обращаться именно к тому преподавателю, который проверял работу. При успешной защите своей работы со студента снимается отметка о плагиате.

''Для всех последующих лабораторных:''

* Всем, у кого обнаружен плагиат ставится 0 баллов и отметка о плагиате. И тем, кто списал, и тем, у кого списали. Мы не будем искать первоисточник работы.
Также Вы должны понимать, что плагиат будет иметь и другие последствия. При обнаружении плагиата у одного и того же человека более одного раза на него будет оформляться докладная на имя декана.

Если у человека есть хоть одна отметка о плагиате, он не может получить автомат.

'''Дедлайны.''' Решения присланные после дедлайнов не принимаются, кроме случаев наличия уважительных причин у студента (завалы на учебе или работе уважительными причинами не считаются).

== Коллоквиум ==

На семинарах 7 и 12 марта пройдет коллоквиум. Каждый студент должен будет лично ответить преподавателю на несколько вопросов из списка ниже.
[https://www.dropbox.com/s/r4d2o4wtjydwo5e/questions.pdf?dl=0 Список вопросов]

== Темы лекций ==

'''Лекция 1. Основные понятия и примеры прикладных задач. Существующие инструменты анализа данных.'''

Постановка задач обучения по прецедентам. Объекты и признаки. Типы шкал: бинарные, номинальные, порядковые, количественные. Типы задач: классификация, регрессия, прогнозирование, кластеризация.
Основные понятия: модель алгоритмов, метод обучения, функция потерь и функционал качества, принцип минимизации эмпирического риска, обобщающая способность, скользящий контроль.
Примеры прикладных задач. Популярные библиотеки и фреймворки для анализа данных на различных языках программирования.

[https://www.dropbox.com/s/p7kfijkrhq0kdwv/intro.pdf?dl=0 Слайды, часть 1]
[https://www.dropbox.com/s/me0q1njwonyrt06/instruments.pdf?dl=0 Слайды, часть 2]

'''Лекция 2. Метрическая классификация.'''
Метрические алгоритмы классификации. Метод ближайших соседей (kNN) и его обобщения. Подбор числа k по критерию скользящего контроля. Обобщённый метрический классификатор, понятие отступа. Проклятие размерности. Методы быстрого поиска ближайших соседей.

[https://www.dropbox.com/s/vlmifieu79liq1p/metric.pdf?dl=0 Слайды, часть 1]
[https://www.dropbox.com/s/g9g6ib8icygik2j/metric2.pdf?dl=0 Слайды, часть 2]

'''Лекция 3. Логическая классификация.'''
Логические закономерности и решающие деревья. Понятие логической закономерности. Определение информативности. Разновидности закономерностей: шары, гиперплоскости, гиперпараллелепипеды (конъюнкции). Бинаризация признаков, алгоритм выделения информативных зон. «Градиентный» алгоритм синтеза конъюнкций, частные случаи: жадный алгоритм, стохастический локальный поиск, стабилизация, редукция. Решающее дерево. Псевдокод: жадный алгоритм ID3. Недостатки алгоритма и способы их устранения. Проблема переобучения. Редукция решающих деревьев: предредукция и постредукция.

[https://www.dropbox.com/s/9qfmw95wlw26jvb/slides-Logic1_ml_hse.pdf?dl=0 Слайды]

'''Лекция 4. Линейные методы классификации.'''
Линейные алгоритмы классификации. Квадратичная функция потерь, метод наименьших квадратов. Метод стохастического градиента и частные случаи: перcептрон Розенблатта, правило Хэбба. Недостатки метода стохастического градиента и способы их устранения. Ускорение сходимости, «выбивание» из локальных минимумов. Проблема переобучения, редукция весов (weight decay).

[https://www.dropbox.com/s/hj0ao16hh7n2bso/lec4.pdf?dl=0 Слайды]

'''Лекция 5. Линейный SVM.'''

[https://www.dropbox.com/s/xvdaoilxu71bz65/lec5.pdf?dl=0 Слайды]

'''Лекция 6. Ядерный SVM.'''

'''Лекция 7. Линейная регрессия и PCA.'''
Методы восстановления регрессии. Задача восстановления регрессии, метод наименьших квадратов. Многомерная линейная регрессия. Сингулярное разложение. Регуляризация: гребневая регрессия и лассо Тибширани. Метод главных компонент и декоррелирующее преобразование.

[https://www.dropbox.com/s/dsgfrs0jo3grbci/slides-Regression.pdf?dl=0 Слайды]

'''Лекции 8-9. Байесовская классификация.'''

[https://www.dropbox.com/s/rc5d97y7wttx7a0/slides-Bayes.pdf?dl=0 Слайды]

'''Лекции 12. Выбор моделей и отбор признаков.'''

[https://www.dropbox.com/s/7qchphf7ka7va2u/lec12.pdf?dl=0 Слайды]

'''Лекции 13. Кластеризация.'''
[https://www.dropbox.com/s/3t3vvyvlk0eihoo/slides-Clustering.pdf?dl=0, Слайды]

'''Лекции 14. Композиции алгоритмов.'''
[https://www.dropbox.com/s/8cy5pfgz1gg1na6/lec14.pdf?dl=0, Слайды]

== Семинары ==
=== Правила сдачи заданий cеминаров ===
* На семинарах выдаются практические лабораторные работы, которые можно сдавать на семинаре, либо по почте до дедлайна.
* Для групп, у который семинары проходят по субботам, дедлайн 9:00 следующей субботы. У групп с семинарами по четвергам дедлайн 9:00 следующего четверга.
* Решения следует отправлять на почту курса с соответствующей темой письма (см. раздел Оформление писем).
* Решения принимаются в виде одного аккуратно оформленного ipython-notebook'а (.ipynb-файл), либо в виде аккуратного pdf-файла + скриптов.
* Для теоретических заданий предполагается развернутый ответ (с доказательством при необходимости).
* По каждому практическому заданию помимо формального ответа на вопрос и соответствующего кода необходимо так же дать комментарии/построить графики при необходимости и сделать выводы.
=== Семинар 1. Инструментарий ===
Знакомство с языком Python.
[https://www.dropbox.com/s/bx6hrz7pb61l9ab/ML_HSE_Lab1.pdf?dl=0 Лабораторная 1], [https://www.dropbox.com/s/y1kfgpiwbgjeisl/train.csv?dl=0 данные].

[http://nbviewer.ipython.org/gist/anonymous/fba8bf7f1ad379df9d63 Материал] в помощь.
=== Семинар 2. Проклятие размерности. Метод ближайшего соседа ===
[https://www.dropbox.com/s/fc2kd7pp3no0s0t/practice.pdf?dl=0 Задание], [https://www.dropbox.com/s/xuse7r13f5cls6a/new_york.txt?dl=0 данные о ресторанах] ([https://www.dropbox.com/s/yejtu3y4ixt3tzl/features.txt?dl=0 название признаков]).

=== Семинар 3. Решающие деревья ===
[https://www.dropbox.com/s/4qxzfmzko3k01fq/lab3.pdf?dl=0 Задание], [https://www.dropbox.com/s/8ronkxqj087mxbe/adult.data?dl=0 данные], [https://www.dropbox.com/s/42a5gb3tw4dc3mi/adult.names?dl=0 названия признаков].

[http://ogrisel.github.io/scikit-learn.org/sklearn-tutorial/auto_examples/tutorial/plot_knn_iris.html Туториал по визуализации]

=== Семинар 4. Линейные методы классификации ===
[https://www.dropbox.com/s/8aopczz722klmya/lab4.pdf?dl=0 Задание], [https://www.dropbox.com/s/vn6g2dceepropd5/train.csv?dl=0 train.csv] и [https://www.dropbox.com/s/qtiu368pq2c33ea/test.csv?dl=0 test.csv].

=== Семинар 5. Линейный SVM ===
[https://www.dropbox.com/s/kbkhk4z5pagsrne/lab5.pdf?dl=0 Задание], [https://www.dropbox.com/s/5ro58pbpdf2iwoq/data.zip?dl=0 Данные]

=== Семинар 6. Ядерный SVM ===
[https://www.dropbox.com/s/bspfulrpj180da8/lab6.pdf?dl=0 Задание]

=== Семинар 7. PCA + регрессия ===
[https://www.dropbox.com/s/d63lww92hdtf35z/lab7.pdf?dl=0 Задание], [https://www.dropbox.com/s/ngxt79hdgqtqet8/data.zip?dl=0 Данные]

=== Семинар 9. Параметрическая Байесовская классификация ===
[https://www.dropbox.com/s/8u1cyn0fdbdrtdp/lab9.pdf?dl=0 Задание], [https://www.dropbox.com/s/r13rvv047j6lthl/2d.zip?dl=0 Данные1], [https://www.dropbox.com/s/9sh0rn0v74jep0m/200d.zip?dl=0 Данные2]

=== Семинар 10. Разделение смеси распределений ===
[https://www.dropbox.com/s/fcelgz2vicnddsf/lab10.pdf?dl=0, Задание], [https://www.dropbox.com/s/c6z8xexubmbixi8/mnist.zip?dl=0, Данные]

=== Семинар 12. Оценивание моделей ===
[https://www.dropbox.com/s/oy8c32jnv8oo3si/sem12.pdf?dl=0, Задачи с семинара]

=== Семинар 13. Кластеризация ===
Дедлайны:

Группы Артема и Ани: теория 25.04 09:00, практика 2.05 09:00.

Группы Сергея: теория 30.04 09:00, практика 7.05 09:00.

[https://www.dropbox.com/s/zgq88loq09bzbbm/lab13.pdf?dl=0 Задание], [https://www.dropbox.com/s/4snv7gpc1l5je9q/parrots.jpg?dl=0 parrots.jpg], [https://www.dropbox.com/s/9ilrbbdz74pvne0/grass.jpg?dl=0 grass.jpg].
[https://www.dropbox.com/s/fiy2u04o3g0eea2/problems_hse.pdf?dl=0, Теоретические задачи]

=== Семинар 14. Композиции классификаторов ===
[https://www.dropbox.com/s/y0von4yb7iamxuf/sem14.pdf?dl=0, Задачи с семинара]

=== Семинар 15. Нейронные сети ===
[https://www.dropbox.com/s/ilgyq10pkmbuiuy/lab15.pdf?dl=0, Задание], [https://www.dropbox.com/s/emrtxd6uw4jjz2w/mnist.zip?dl=0, данные].

== Оформление писем ==
Вопросы и домашние задания присылайте на почтовый адрес '''cshse.ml@gmail.com'''.
На почту присылайте письма со следующими темами:
* Для ''вопросов'' (общих, по лабораторным, по теории и т. д.): "Вопрос - Фамилия Имя Отчество - Группа"
* Для ''лабораторных'': "Лабораторная {Номер лабораторной работы} - Фамилия Имя Отчество - Группа (Семинарист)"
Когда отвечаете на наши письма или досылаете какие-то решения, пишите письма в '''тот же''' тред.

Большая просьба ко всем сдавать свои работы в ipython notebook, это очень упростит нам проверку. В качестве названия для файла с работой используйте свою фамилию на английском языке. Не нужно архивировать файлы перед отправкой.
== Полезные ссылки ==
=== Машинное обучение ===
* [http://www.machinelearning.ru/wiki/index.php?title=Заглавная_страница machinelearning.ru]
* Одна из классических и наиболее полных книг по машинному обучению. [http://web.stanford.edu/~hastie/local.ftp/Springer/ESLII_print10.pdf Elements of Statistical Learning (Trevor Hastie, Robert Tibshirani, Jerome Friedman)]
=== Python ===
* [http://python.org Официальный сайт]
* Библиотеки: [http://www.numpy.org/ NumPy], [http://pandas.pydata.org/ Pandas], [http://scikit-learn.org/stable/ SciKit-Learn], [http://matplotlib.org/ Matplotlib].
* Небольшой пример для начинающих: [http://nbviewer.ipython.org/gist/voron13e02/83a86f2e0fc5e7f8424d краткое руководство с примерами по Python 2]
* Питон с нуля: [http://nbviewer.ipython.org/gist/rpmuller/5920182 A Crash Course in Python for Scientists]
* Лекции [https://github.com/jrjohansson/scientific-python-lectures#online-read-only-versions Scientific Python]
* Книга: [http://www.cin.ufpe.br/~embat/Python%20for%20Data%20Analysis.pdf Wes McKinney «Python for Data Analysis»]
* [https://github.com/ipython/ipython/wiki/A-gallery-of-interesting-IPython-Notebooks Коллекция интересных IPython ноутбуков]

=== Установка и настройка Python ===
* [[Анализ данных (Программная инженерия)/Установка и настройка Python#Windows|Windows]]
* [[Анализ данных (Программная инженерия)/Установка и настройка Python#Mac_OS|Mac OS]]
* [[Анализ данных (Программная инженерия)/Установка и настройка Python#Linux | Linux]]

Анализ данных (Программная инженерия)

2015-05-16T07:30:11Z

Voron13e02: /* Семинар 14. Композиции классификаторов */

'''Таблица результатов [https://docs.google.com/spreadsheets/d/1m6xUNu7Hq7-wi_G2527d4HAE_N03F74ryNKIs3zgEbQ/edit#gid=0 здесь]'''

'''Контакты: ''' cshse.ml@gmail.com
 
 
== Краткое описание ==
В курсе рассматриваются основные задачи анализа данных и обучения по прецедентам: классификация, кластеризация, регрессия, понижение размерности. Изучаются методы их решения, как классические, так и новые, созданные за последние 10–15 лет. Упор делается на практические аспекты применения изучаемых алгоритмов. Большое внимание уделяется практическим лабораторным работам на языке Python.

== Отчётность по курсу и критерии оценки ==
'''Оценка за курс.''' После каждой лекции студентам предлагается выполнить практическое задание на Python. В конце модуля пройдет устный экзамен по теории. Также в середине семестра будет проведен устный коллоквиум по теории. Итоговая оценка за курс складывается из оценок за практические задания, оценки за коллоквиум и оценки за экзамен.

'''Формальные критерии:'''

Оценки за различные активности:
* Otheory - суммарная оценка за теоретические части лабораторных работ (max = 3 за одну лабораторную)
* Opractice - суммарная оценка за практические части лабораторных работ (max = 5 за одну лабораторную)
* Ocolloquium - оценка за устный коллоквиум (max = 5)
* Oexam - оценка за устный экзамен (max = 50)

Общее число баллов:

Oall = 0.2 * Otheory + 0.4 * Opractice + 0.2 * Oexam + Ocolloquium

Критерии оценки:

Omax = max_possible_value_of(Oall)

При подсчете Omax не учитываются дополнительные баллы за задания со звездочкой.

'''Оценка 5''': Oall >= 0.8 * Omax

'''Оценка 4''': Oall >= 0.6 * Omax

'''Оценка 3''': Oall >= 0.45 * Omax

''Критерии в 10-бальной шкале будут вывешены позднее. ''

За курс можно получить автомат без сдачи итогового экзамена. Для этого нужно получить максимальный балл за коллоквиум, а также суммарная оценка за лабораторные должна быть хорошей:

(0.2 * Otheory + 0.4 * Opractice) >= 0.9 * max_possible_value_of(0.2 * Otheory + 0.4 * Opractice)

Здесь при подсчете максимального значения опять же не учитываются баллы за задания со звездочкой.

'''Меры при обнаружении плагиата'''

''Для лабораторных 1-7:''

* По умолчанию всем, у кого обнаружен плагиат ставится 0 баллов и отметка о плагиате. И тем, кто списал, и тем, у кого списали.
* Из каждого онаруженного нами кластера людей, сдавших одинаковую работу, первый сдавший предполагается первоисточником работы и может получить за нее положительную оценку. Для этого он должен устно зачесть работу у преподавателя. Желательно обращаться именно к тому преподавателю, который проверял работу. При успешной защите своей работы со студента снимается отметка о плагиате.

''Для всех последующих лабораторных:''

* Всем, у кого обнаружен плагиат ставится 0 баллов и отметка о плагиате. И тем, кто списал, и тем, у кого списали. Мы не будем искать первоисточник работы.
Также Вы должны понимать, что плагиат будет иметь и другие последствия. При обнаружении плагиата у одного и того же человека более одного раза на него будет оформляться докладная на имя декана.

Если у человека есть хоть одна отметка о плагиате, он не может получить автомат.

'''Дедлайны.''' Решения присланные после дедлайнов не принимаются, кроме случаев наличия уважительных причин у студента (завалы на учебе или работе уважительными причинами не считаются).

== Коллоквиум ==

На семинарах 7 и 12 марта пройдет коллоквиум. Каждый студент должен будет лично ответить преподавателю на несколько вопросов из списка ниже.
[https://www.dropbox.com/s/r4d2o4wtjydwo5e/questions.pdf?dl=0 Список вопросов]

== Темы лекций ==

'''Лекция 1. Основные понятия и примеры прикладных задач. Существующие инструменты анализа данных.'''

Постановка задач обучения по прецедентам. Объекты и признаки. Типы шкал: бинарные, номинальные, порядковые, количественные. Типы задач: классификация, регрессия, прогнозирование, кластеризация.
Основные понятия: модель алгоритмов, метод обучения, функция потерь и функционал качества, принцип минимизации эмпирического риска, обобщающая способность, скользящий контроль.
Примеры прикладных задач. Популярные библиотеки и фреймворки для анализа данных на различных языках программирования.

[https://www.dropbox.com/s/p7kfijkrhq0kdwv/intro.pdf?dl=0 Слайды, часть 1]
[https://www.dropbox.com/s/me0q1njwonyrt06/instruments.pdf?dl=0 Слайды, часть 2]

'''Лекция 2. Метрическая классификация.'''
Метрические алгоритмы классификации. Метод ближайших соседей (kNN) и его обобщения. Подбор числа k по критерию скользящего контроля. Обобщённый метрический классификатор, понятие отступа. Проклятие размерности. Методы быстрого поиска ближайших соседей.

[https://www.dropbox.com/s/vlmifieu79liq1p/metric.pdf?dl=0 Слайды, часть 1]
[https://www.dropbox.com/s/g9g6ib8icygik2j/metric2.pdf?dl=0 Слайды, часть 2]

'''Лекция 3. Логическая классификация.'''
Логические закономерности и решающие деревья. Понятие логической закономерности. Определение информативности. Разновидности закономерностей: шары, гиперплоскости, гиперпараллелепипеды (конъюнкции). Бинаризация признаков, алгоритм выделения информативных зон. «Градиентный» алгоритм синтеза конъюнкций, частные случаи: жадный алгоритм, стохастический локальный поиск, стабилизация, редукция. Решающее дерево. Псевдокод: жадный алгоритм ID3. Недостатки алгоритма и способы их устранения. Проблема переобучения. Редукция решающих деревьев: предредукция и постредукция.

[https://www.dropbox.com/s/9qfmw95wlw26jvb/slides-Logic1_ml_hse.pdf?dl=0 Слайды]

'''Лекция 4. Линейные методы классификации.'''
Линейные алгоритмы классификации. Квадратичная функция потерь, метод наименьших квадратов. Метод стохастического градиента и частные случаи: перcептрон Розенблатта, правило Хэбба. Недостатки метода стохастического градиента и способы их устранения. Ускорение сходимости, «выбивание» из локальных минимумов. Проблема переобучения, редукция весов (weight decay).

[https://www.dropbox.com/s/hj0ao16hh7n2bso/lec4.pdf?dl=0 Слайды]

'''Лекция 5. Линейный SVM.'''

[https://www.dropbox.com/s/xvdaoilxu71bz65/lec5.pdf?dl=0 Слайды]

'''Лекция 6. Ядерный SVM.'''

'''Лекция 7. Линейная регрессия и PCA.'''
Методы восстановления регрессии. Задача восстановления регрессии, метод наименьших квадратов. Многомерная линейная регрессия. Сингулярное разложение. Регуляризация: гребневая регрессия и лассо Тибширани. Метод главных компонент и декоррелирующее преобразование.

[https://www.dropbox.com/s/dsgfrs0jo3grbci/slides-Regression.pdf?dl=0 Слайды]

'''Лекции 8-9. Байесовская классификация.'''

[https://www.dropbox.com/s/rc5d97y7wttx7a0/slides-Bayes.pdf?dl=0 Слайды]

'''Лекции 12. Выбор моделей и отбор признаков.'''

[https://www.dropbox.com/s/7qchphf7ka7va2u/lec12.pdf?dl=0 Слайды]

'''Лекции 13. Кластеризация.'''
[https://www.dropbox.com/s/3t3vvyvlk0eihoo/slides-Clustering.pdf?dl=0, Слайды]

'''Лекции 14. Композиции алгоритмов.'''
[https://www.dropbox.com/s/8cy5pfgz1gg1na6/lec14.pdf?dl=0, Слайды]

== Семинары ==
=== Правила сдачи заданий cеминаров ===
* На семинарах выдаются практические лабораторные работы, которые можно сдавать на семинаре, либо по почте до дедлайна.
* Для групп, у который семинары проходят по субботам, дедлайн 9:00 следующей субботы. У групп с семинарами по четвергам дедлайн 9:00 следующего четверга.
* Решения следует отправлять на почту курса с соответствующей темой письма (см. раздел Оформление писем).
* Решения принимаются в виде одного аккуратно оформленного ipython-notebook'а (.ipynb-файл), либо в виде аккуратного pdf-файла + скриптов.
* Для теоретических заданий предполагается развернутый ответ (с доказательством при необходимости).
* По каждому практическому заданию помимо формального ответа на вопрос и соответствующего кода необходимо так же дать комментарии/построить графики при необходимости и сделать выводы.
=== Семинар 1. Инструментарий ===
Знакомство с языком Python.
[https://www.dropbox.com/s/bx6hrz7pb61l9ab/ML_HSE_Lab1.pdf?dl=0 Лабораторная 1], [https://www.dropbox.com/s/y1kfgpiwbgjeisl/train.csv?dl=0 данные].

[http://nbviewer.ipython.org/gist/anonymous/fba8bf7f1ad379df9d63 Материал] в помощь.
=== Семинар 2. Проклятие размерности. Метод ближайшего соседа ===
[https://www.dropbox.com/s/fc2kd7pp3no0s0t/practice.pdf?dl=0 Задание], [https://www.dropbox.com/s/xuse7r13f5cls6a/new_york.txt?dl=0 данные о ресторанах] ([https://www.dropbox.com/s/yejtu3y4ixt3tzl/features.txt?dl=0 название признаков]).

=== Семинар 3. Решающие деревья ===
[https://www.dropbox.com/s/4qxzfmzko3k01fq/lab3.pdf?dl=0 Задание], [https://www.dropbox.com/s/8ronkxqj087mxbe/adult.data?dl=0 данные], [https://www.dropbox.com/s/42a5gb3tw4dc3mi/adult.names?dl=0 названия признаков].

[http://ogrisel.github.io/scikit-learn.org/sklearn-tutorial/auto_examples/tutorial/plot_knn_iris.html Туториал по визуализации]

=== Семинар 4. Линейные методы классификации ===
[https://www.dropbox.com/s/8aopczz722klmya/lab4.pdf?dl=0 Задание], [https://www.dropbox.com/s/vn6g2dceepropd5/train.csv?dl=0 train.csv] и [https://www.dropbox.com/s/qtiu368pq2c33ea/test.csv?dl=0 test.csv].

=== Семинар 5. Линейный SVM ===
[https://www.dropbox.com/s/kbkhk4z5pagsrne/lab5.pdf?dl=0 Задание], [https://www.dropbox.com/s/5ro58pbpdf2iwoq/data.zip?dl=0 Данные]

=== Семинар 6. Ядерный SVM ===
[https://www.dropbox.com/s/bspfulrpj180da8/lab6.pdf?dl=0 Задание]

=== Семинар 7. PCA + регрессия ===
[https://www.dropbox.com/s/d63lww92hdtf35z/lab7.pdf?dl=0 Задание], [https://www.dropbox.com/s/ngxt79hdgqtqet8/data.zip?dl=0 Данные]

=== Семинар 9. Параметрическая Байесовская классификация ===
[https://www.dropbox.com/s/8u1cyn0fdbdrtdp/lab9.pdf?dl=0 Задание], [https://www.dropbox.com/s/r13rvv047j6lthl/2d.zip?dl=0 Данные1], [https://www.dropbox.com/s/9sh0rn0v74jep0m/200d.zip?dl=0 Данные2]

=== Семинар 10. Разделение смеси распределений ===
[https://www.dropbox.com/s/fcelgz2vicnddsf/lab10.pdf?dl=0, Задание], [https://www.dropbox.com/s/c6z8xexubmbixi8/mnist.zip?dl=0, Данные]

=== Семинар 12. Оценивание моделей ===
[https://www.dropbox.com/s/oy8c32jnv8oo3si/sem12.pdf?dl=0, Задачи с семинара]

=== Семинар 13. Кластеризация ===
Дедлайны:

Группы Артема и Ани: теория 25.04 09:00, практика 2.05 09:00.

Группы Сергея: теория 30.04 09:00, практика 7.05 09:00.

[https://www.dropbox.com/s/zgq88loq09bzbbm/lab13.pdf?dl=0 Задание], [https://www.dropbox.com/s/4snv7gpc1l5je9q/parrots.jpg?dl=0 parrots.jpg], [https://www.dropbox.com/s/9ilrbbdz74pvne0/grass.jpg?dl=0 grass.jpg].
[https://www.dropbox.com/s/fiy2u04o3g0eea2/problems_hse.pdf?dl=0, Теоретические задачи]

=== Семинар 14. Композиции классификаторов ===
[https://www.dropbox.com/s/y0von4yb7iamxuf/sem14.pdf?dl=0, Задачи с семинара]

=== Семинар 15. Нейронные сети ===
[https://www.dropbox.com/s/ilgyq10pkmbuiuy/lab15.pdf?dl=0, Лабораторная], [https://www.dropbox.com/s/emrtxd6uw4jjz2w/mnist.zip?dl=0, данные].

== Оформление писем ==
Вопросы и домашние задания присылайте на почтовый адрес '''cshse.ml@gmail.com'''.
На почту присылайте письма со следующими темами:
* Для ''вопросов'' (общих, по лабораторным, по теории и т. д.): "Вопрос - Фамилия Имя Отчество - Группа"
* Для ''лабораторных'': "Лабораторная {Номер лабораторной работы} - Фамилия Имя Отчество - Группа (Семинарист)"
Когда отвечаете на наши письма или досылаете какие-то решения, пишите письма в '''тот же''' тред.

Большая просьба ко всем сдавать свои работы в ipython notebook, это очень упростит нам проверку. В качестве названия для файла с работой используйте свою фамилию на английском языке. Не нужно архивировать файлы перед отправкой.
== Полезные ссылки ==
=== Машинное обучение ===
* [http://www.machinelearning.ru/wiki/index.php?title=Заглавная_страница machinelearning.ru]
* Одна из классических и наиболее полных книг по машинному обучению. [http://web.stanford.edu/~hastie/local.ftp/Springer/ESLII_print10.pdf Elements of Statistical Learning (Trevor Hastie, Robert Tibshirani, Jerome Friedman)]
=== Python ===
* [http://python.org Официальный сайт]
* Библиотеки: [http://www.numpy.org/ NumPy], [http://pandas.pydata.org/ Pandas], [http://scikit-learn.org/stable/ SciKit-Learn], [http://matplotlib.org/ Matplotlib].
* Небольшой пример для начинающих: [http://nbviewer.ipython.org/gist/voron13e02/83a86f2e0fc5e7f8424d краткое руководство с примерами по Python 2]
* Питон с нуля: [http://nbviewer.ipython.org/gist/rpmuller/5920182 A Crash Course in Python for Scientists]
* Лекции [https://github.com/jrjohansson/scientific-python-lectures#online-read-only-versions Scientific Python]
* Книга: [http://www.cin.ufpe.br/~embat/Python%20for%20Data%20Analysis.pdf Wes McKinney «Python for Data Analysis»]
* [https://github.com/ipython/ipython/wiki/A-gallery-of-interesting-IPython-Notebooks Коллекция интересных IPython ноутбуков]

=== Установка и настройка Python ===
* [[Анализ данных (Программная инженерия)/Установка и настройка Python#Windows|Windows]]
* [[Анализ данных (Программная инженерия)/Установка и настройка Python#Mac_OS|Mac OS]]
* [[Анализ данных (Программная инженерия)/Установка и настройка Python#Linux | Linux]]

Анализ данных (Программная инженерия)

2015-04-22T20:34:56Z

Voron13e02: /* Семинар 13. Кластеризация */

'''Таблица результатов [https://docs.google.com/spreadsheets/d/1m6xUNu7Hq7-wi_G2527d4HAE_N03F74ryNKIs3zgEbQ/edit#gid=0 здесь]'''

'''Контакты: ''' cshse.ml@gmail.com
 
 
== Краткое описание ==
В курсе рассматриваются основные задачи анализа данных и обучения по прецедентам: классификация, кластеризация, регрессия, понижение размерности. Изучаются методы их решения, как классические, так и новые, созданные за последние 10–15 лет. Упор делается на практические аспекты применения изучаемых алгоритмов. Большое внимание уделяется практическим лабораторным работам на языке Python.

== Отчётность по курсу и критерии оценки ==
'''Оценка за курс.''' После каждой лекции студентам предлагается выполнить практическое задание на Python. В конце модуля пройдет устный экзамен по теории. Также в середине семестра будет проведен устный коллоквиум по теории. Итоговая оценка за курс складывается из оценок за практические задания, оценки за коллоквиум и оценки за экзамен.

'''Формальные критерии:'''

Оценки за различные активности:
* Otheory - суммарная оценка за теоретические части лабораторных работ (max = 3 за одну лабораторную)
* Opractice - суммарная оценка за практические части лабораторных работ (max = 5 за одну лабораторную)
* Ocolloquium - оценка за устный коллоквиум (max = 5)
* Oexam - оценка за устный экзамен (max = 50)

Общее число баллов:

Oall = 0.2 * Otheory + 0.4 * Opractice + 0.2 * Oexam + Ocolloquium

Критерии оценки:

Omax = max_possible_value_of(Oall)

При подсчете Omax не учитываются дополнительные баллы за задания со звездочкой.

'''Оценка 5''': Oall >= 0.8 * Omax

'''Оценка 4''': Oall >= 0.6 * Omax

'''Оценка 3''': Oall >= 0.45 * Omax

''Критерии в 10-бальной шкале будут вывешены позднее. ''

За курс можно получить автомат без сдачи итогового экзамена. Для этого нужно получить максимальный балл за коллоквиум, а также суммарная оценка за лабораторные должна быть хорошей:

(0.2 * Otheory + 0.4 * Opractice) >= 0.9 * max_possible_value_of(0.2 * Otheory + 0.4 * Opractice)

Здесь при подсчете максимального значения опять же не учитываются баллы за задания со звездочкой.

'''Меры при обнаружении плагиата'''

''Для лабораторных 1-7:''

* По умолчанию всем, у кого обнаружен плагиат ставится 0 баллов и отметка о плагиате. И тем, кто списал, и тем, у кого списали.
* Из каждого онаруженного нами кластера людей, сдавших одинаковую работу, первый сдавший предполагается первоисточником работы и может получить за нее положительную оценку. Для этого он должен устно зачесть работу у преподавателя. Желательно обращаться именно к тому преподавателю, который проверял работу. При успешной защите своей работы со студента снимается отметка о плагиате.

''Для всех последующих лабораторных:''

* Всем, у кого обнаружен плагиат ставится 0 баллов и отметка о плагиате. И тем, кто списал, и тем, у кого списали. Мы не будем искать первоисточник работы.
Также Вы должны понимать, что плагиат будет иметь и другие последствия. При обнаружении плагиата у одного и того же человека более одного раза на него будет оформляться докладная на имя декана.

Если у человека есть хоть одна отметка о плагиате, он не может получить автомат.

'''Дедлайны.''' Решения присланные после дедлайнов не принимаются, кроме случаев наличия уважительных причин у студента (завалы на учебе или работе уважительными причинами не считаются).

== Коллоквиум ==

На семинарах 7 и 12 марта пройдет коллоквиум. Каждый студент должен будет лично ответить преподавателю на несколько вопросов из списка ниже.
[https://www.dropbox.com/s/r4d2o4wtjydwo5e/questions.pdf?dl=0 Список вопросов]

== Темы лекций ==

'''Лекция 1. Основные понятия и примеры прикладных задач. Существующие инструменты анализа данных.'''

Постановка задач обучения по прецедентам. Объекты и признаки. Типы шкал: бинарные, номинальные, порядковые, количественные. Типы задач: классификация, регрессия, прогнозирование, кластеризация.
Основные понятия: модель алгоритмов, метод обучения, функция потерь и функционал качества, принцип минимизации эмпирического риска, обобщающая способность, скользящий контроль.
Примеры прикладных задач. Популярные библиотеки и фреймворки для анализа данных на различных языках программирования.

[https://www.dropbox.com/s/p7kfijkrhq0kdwv/intro.pdf?dl=0 Слайды, часть 1]
[https://www.dropbox.com/s/me0q1njwonyrt06/instruments.pdf?dl=0 Слайды, часть 2]

'''Лекция 2. Метрическая классификация.'''
Метрические алгоритмы классификации. Метод ближайших соседей (kNN) и его обобщения. Подбор числа k по критерию скользящего контроля. Обобщённый метрический классификатор, понятие отступа. Проклятие размерности. Методы быстрого поиска ближайших соседей.

[https://www.dropbox.com/s/vlmifieu79liq1p/metric.pdf?dl=0 Слайды, часть 1]
[https://www.dropbox.com/s/g9g6ib8icygik2j/metric2.pdf?dl=0 Слайды, часть 2]

'''Лекция 3. Логическая классификация.'''
Логические закономерности и решающие деревья. Понятие логической закономерности. Определение информативности. Разновидности закономерностей: шары, гиперплоскости, гиперпараллелепипеды (конъюнкции). Бинаризация признаков, алгоритм выделения информативных зон. «Градиентный» алгоритм синтеза конъюнкций, частные случаи: жадный алгоритм, стохастический локальный поиск, стабилизация, редукция. Решающее дерево. Псевдокод: жадный алгоритм ID3. Недостатки алгоритма и способы их устранения. Проблема переобучения. Редукция решающих деревьев: предредукция и постредукция.

[https://www.dropbox.com/s/9qfmw95wlw26jvb/slides-Logic1_ml_hse.pdf?dl=0 Слайды]

'''Лекция 4. Линейные методы классификации.'''
Линейные алгоритмы классификации. Квадратичная функция потерь, метод наименьших квадратов. Метод стохастического градиента и частные случаи: перcептрон Розенблатта, правило Хэбба. Недостатки метода стохастического градиента и способы их устранения. Ускорение сходимости, «выбивание» из локальных минимумов. Проблема переобучения, редукция весов (weight decay).

[https://www.dropbox.com/s/hj0ao16hh7n2bso/lec4.pdf?dl=0 Слайды]

'''Лекция 5. Линейный SVM.'''

[https://www.dropbox.com/s/xvdaoilxu71bz65/lec5.pdf?dl=0 Слайды]

'''Лекция 6. Ядерный SVM.'''

'''Лекция 7. Линейная регрессия и PCA.'''
Методы восстановления регрессии. Задача восстановления регрессии, метод наименьших квадратов. Многомерная линейная регрессия. Сингулярное разложение. Регуляризация: гребневая регрессия и лассо Тибширани. Метод главных компонент и декоррелирующее преобразование.

[https://www.dropbox.com/s/dsgfrs0jo3grbci/slides-Regression.pdf?dl=0 Слайды]

'''Лекции 8-9. Байесовская классификация.'''

[https://www.dropbox.com/s/rc5d97y7wttx7a0/slides-Bayes.pdf?dl=0 Слайды]

'''Лекции 12. Выбор моделей и отбор признаков.'''

[https://www.dropbox.com/s/7qchphf7ka7va2u/lec12.pdf?dl=0 Слайды]

'''Лекции 13. Кластеризация.'''
[https://www.dropbox.com/s/3t3vvyvlk0eihoo/slides-Clustering.pdf?dl=0, Слайды]

== Семинары ==
=== Правила сдачи заданий cеминаров ===
* На семинарах выдаются практические лабораторные работы, которые можно сдавать на семинаре, либо по почте до дедлайна.
* Для групп, у который семинары проходят по субботам, дедлайн 9:00 следующей субботы. У групп с семинарами по четвергам дедлайн 9:00 следующего четверга.
* Решения следует отправлять на почту курса с соответствующей темой письма (см. раздел Оформление писем).
* Решения принимаются в виде одного аккуратно оформленного ipython-notebook'а (.ipynb-файл), либо в виде аккуратного pdf-файла + скриптов.
* Для теоретических заданий предполагается развернутый ответ (с доказательством при необходимости).
* По каждому практическому заданию помимо формального ответа на вопрос и соответствующего кода необходимо так же дать комментарии/построить графики при необходимости и сделать выводы.
=== Семинар 1. Инструментарий ===
Знакомство с языком Python.
[https://www.dropbox.com/s/bx6hrz7pb61l9ab/ML_HSE_Lab1.pdf?dl=0 Лабораторная 1], [https://www.dropbox.com/s/y1kfgpiwbgjeisl/train.csv?dl=0 данные].

[http://nbviewer.ipython.org/gist/anonymous/fba8bf7f1ad379df9d63 Материал] в помощь.
=== Семинар 2. Проклятие размерности. Метод ближайшего соседа ===
[https://www.dropbox.com/s/fc2kd7pp3no0s0t/practice.pdf?dl=0 Задание], [https://www.dropbox.com/s/xuse7r13f5cls6a/new_york.txt?dl=0 данные о ресторанах] ([https://www.dropbox.com/s/yejtu3y4ixt3tzl/features.txt?dl=0 название признаков]).

=== Семинар 3. Решающие деревья ===
[https://www.dropbox.com/s/4qxzfmzko3k01fq/lab3.pdf?dl=0 Задание], [https://www.dropbox.com/s/8ronkxqj087mxbe/adult.data?dl=0 данные], [https://www.dropbox.com/s/42a5gb3tw4dc3mi/adult.names?dl=0 названия признаков].

[http://ogrisel.github.io/scikit-learn.org/sklearn-tutorial/auto_examples/tutorial/plot_knn_iris.html Туториал по визуализации]

=== Семинар 4. Линейные методы классификации ===
[https://www.dropbox.com/s/8aopczz722klmya/lab4.pdf?dl=0 Задание], [https://www.dropbox.com/s/vn6g2dceepropd5/train.csv?dl=0 train.csv] и [https://www.dropbox.com/s/qtiu368pq2c33ea/test.csv?dl=0 test.csv].

=== Семинар 5. Линейный SVM ===
[https://www.dropbox.com/s/kbkhk4z5pagsrne/lab5.pdf?dl=0 Задание], [https://www.dropbox.com/s/5ro58pbpdf2iwoq/data.zip?dl=0 Данные]

=== Семинар 6. Ядерный SVM ===
[https://www.dropbox.com/s/bspfulrpj180da8/lab6.pdf?dl=0 Задание]

=== Семинар 7. PCA + регрессия ===
[https://www.dropbox.com/s/d63lww92hdtf35z/lab7.pdf?dl=0 Задание], [https://www.dropbox.com/s/ngxt79hdgqtqet8/data.zip?dl=0 Данные]

=== Семинар 9. Параметрическая Байесовская классификация ===
[https://www.dropbox.com/s/8u1cyn0fdbdrtdp/lab9.pdf?dl=0 Задание], [https://www.dropbox.com/s/r13rvv047j6lthl/2d.zip?dl=0 Данные1], [https://www.dropbox.com/s/9sh0rn0v74jep0m/200d.zip?dl=0 Данные2]

=== Семинар 10. Разделение смеси распределений ===
[https://www.dropbox.com/s/fcelgz2vicnddsf/lab10.pdf?dl=0, Задание], [https://www.dropbox.com/s/c6z8xexubmbixi8/mnist.zip?dl=0, Данные]

=== Семинар 12. Оценивание моделей ===
[https://www.dropbox.com/s/oy8c32jnv8oo3si/sem12.pdf?dl=0, Задачи с семинара]

=== Семинар 13. Кластеризация ===
Дедлайны:

Группы Артема и Ани: теория 25.04 09:00, практика 2.05 09:00.

Группы Сергея: теория 30.04 09:00, практика 7.05 09:00.

[https://www.dropbox.com/s/zgq88loq09bzbbm/lab13.pdf?dl=0 Задание], [https://www.dropbox.com/s/4snv7gpc1l5je9q/parrots.jpg?dl=0 parrots.jpg], [https://www.dropbox.com/s/9ilrbbdz74pvne0/grass.jpg?dl=0 grass.jpg].
[https://www.dropbox.com/s/fiy2u04o3g0eea2/problems_hse.pdf?dl=0, Теоретические задачи]

== Оформление писем ==
Вопросы и домашние задания присылайте на почтовый адрес '''cshse.ml@gmail.com'''.
На почту присылайте письма со следующими темами:
* Для ''вопросов'' (общих, по лабораторным, по теории и т. д.): "Вопрос - Фамилия Имя Отчество - Группа"
* Для ''лабораторных'': "Лабораторная {Номер лабораторной работы} - Фамилия Имя Отчество - Группа (Семинарист)"
Когда отвечаете на наши письма или досылаете какие-то решения, пишите письма в '''тот же''' тред.

Большая просьба ко всем сдавать свои работы в ipython notebook, это очень упростит нам проверку. В качестве названия для файла с работой используйте свою фамилию на английском языке. Не нужно архивировать файлы перед отправкой.
== Полезные ссылки ==
=== Машинное обучение ===
* [http://www.machinelearning.ru/wiki/index.php?title=Заглавная_страница machinelearning.ru]
* Одна из классических и наиболее полных книг по машинному обучению. [http://web.stanford.edu/~hastie/local.ftp/Springer/ESLII_print10.pdf Elements of Statistical Learning (Trevor Hastie, Robert Tibshirani, Jerome Friedman)]
=== Python ===
* [http://python.org Официальный сайт]
* Библиотеки: [http://www.numpy.org/ NumPy], [http://pandas.pydata.org/ Pandas], [http://scikit-learn.org/stable/ SciKit-Learn], [http://matplotlib.org/ Matplotlib].
* Небольшой пример для начинающих: [http://nbviewer.ipython.org/gist/voron13e02/83a86f2e0fc5e7f8424d краткое руководство с примерами по Python 2]
* Питон с нуля: [http://nbviewer.ipython.org/gist/rpmuller/5920182 A Crash Course in Python for Scientists]
* Лекции [https://github.com/jrjohansson/scientific-python-lectures#online-read-only-versions Scientific Python]
* Книга: [http://www.cin.ufpe.br/~embat/Python%20for%20Data%20Analysis.pdf Wes McKinney «Python for Data Analysis»]
* [https://github.com/ipython/ipython/wiki/A-gallery-of-interesting-IPython-Notebooks Коллекция интересных IPython ноутбуков]

=== Установка и настройка Python ===
* [[Анализ данных (Программная инженерия)/Установка и настройка Python#Windows|Windows]]
* [[Анализ данных (Программная инженерия)/Установка и настройка Python#Mac_OS|Mac OS]]
* [[Анализ данных (Программная инженерия)/Установка и настройка Python#Linux | Linux]]

Анализ данных (Программная инженерия)

2015-04-22T20:34:23Z

Voron13e02: /* Семинар 13. Кластеризация */

'''Таблица результатов [https://docs.google.com/spreadsheets/d/1m6xUNu7Hq7-wi_G2527d4HAE_N03F74ryNKIs3zgEbQ/edit#gid=0 здесь]'''

'''Контакты: ''' cshse.ml@gmail.com
 
 
== Краткое описание ==
В курсе рассматриваются основные задачи анализа данных и обучения по прецедентам: классификация, кластеризация, регрессия, понижение размерности. Изучаются методы их решения, как классические, так и новые, созданные за последние 10–15 лет. Упор делается на практические аспекты применения изучаемых алгоритмов. Большое внимание уделяется практическим лабораторным работам на языке Python.

== Отчётность по курсу и критерии оценки ==
'''Оценка за курс.''' После каждой лекции студентам предлагается выполнить практическое задание на Python. В конце модуля пройдет устный экзамен по теории. Также в середине семестра будет проведен устный коллоквиум по теории. Итоговая оценка за курс складывается из оценок за практические задания, оценки за коллоквиум и оценки за экзамен.

'''Формальные критерии:'''

Оценки за различные активности:
* Otheory - суммарная оценка за теоретические части лабораторных работ (max = 3 за одну лабораторную)
* Opractice - суммарная оценка за практические части лабораторных работ (max = 5 за одну лабораторную)
* Ocolloquium - оценка за устный коллоквиум (max = 5)
* Oexam - оценка за устный экзамен (max = 50)

Общее число баллов:

Oall = 0.2 * Otheory + 0.4 * Opractice + 0.2 * Oexam + Ocolloquium

Критерии оценки:

Omax = max_possible_value_of(Oall)

При подсчете Omax не учитываются дополнительные баллы за задания со звездочкой.

'''Оценка 5''': Oall >= 0.8 * Omax

'''Оценка 4''': Oall >= 0.6 * Omax

'''Оценка 3''': Oall >= 0.45 * Omax

''Критерии в 10-бальной шкале будут вывешены позднее. ''

За курс можно получить автомат без сдачи итогового экзамена. Для этого нужно получить максимальный балл за коллоквиум, а также суммарная оценка за лабораторные должна быть хорошей:

(0.2 * Otheory + 0.4 * Opractice) >= 0.9 * max_possible_value_of(0.2 * Otheory + 0.4 * Opractice)

Здесь при подсчете максимального значения опять же не учитываются баллы за задания со звездочкой.

'''Меры при обнаружении плагиата'''

''Для лабораторных 1-7:''

* По умолчанию всем, у кого обнаружен плагиат ставится 0 баллов и отметка о плагиате. И тем, кто списал, и тем, у кого списали.
* Из каждого онаруженного нами кластера людей, сдавших одинаковую работу, первый сдавший предполагается первоисточником работы и может получить за нее положительную оценку. Для этого он должен устно зачесть работу у преподавателя. Желательно обращаться именно к тому преподавателю, который проверял работу. При успешной защите своей работы со студента снимается отметка о плагиате.

''Для всех последующих лабораторных:''

* Всем, у кого обнаружен плагиат ставится 0 баллов и отметка о плагиате. И тем, кто списал, и тем, у кого списали. Мы не будем искать первоисточник работы.
Также Вы должны понимать, что плагиат будет иметь и другие последствия. При обнаружении плагиата у одного и того же человека более одного раза на него будет оформляться докладная на имя декана.

Если у человека есть хоть одна отметка о плагиате, он не может получить автомат.

'''Дедлайны.''' Решения присланные после дедлайнов не принимаются, кроме случаев наличия уважительных причин у студента (завалы на учебе или работе уважительными причинами не считаются).

== Коллоквиум ==

На семинарах 7 и 12 марта пройдет коллоквиум. Каждый студент должен будет лично ответить преподавателю на несколько вопросов из списка ниже.
[https://www.dropbox.com/s/r4d2o4wtjydwo5e/questions.pdf?dl=0 Список вопросов]

== Темы лекций ==

'''Лекция 1. Основные понятия и примеры прикладных задач. Существующие инструменты анализа данных.'''

Постановка задач обучения по прецедентам. Объекты и признаки. Типы шкал: бинарные, номинальные, порядковые, количественные. Типы задач: классификация, регрессия, прогнозирование, кластеризация.
Основные понятия: модель алгоритмов, метод обучения, функция потерь и функционал качества, принцип минимизации эмпирического риска, обобщающая способность, скользящий контроль.
Примеры прикладных задач. Популярные библиотеки и фреймворки для анализа данных на различных языках программирования.

[https://www.dropbox.com/s/p7kfijkrhq0kdwv/intro.pdf?dl=0 Слайды, часть 1]
[https://www.dropbox.com/s/me0q1njwonyrt06/instruments.pdf?dl=0 Слайды, часть 2]

'''Лекция 2. Метрическая классификация.'''
Метрические алгоритмы классификации. Метод ближайших соседей (kNN) и его обобщения. Подбор числа k по критерию скользящего контроля. Обобщённый метрический классификатор, понятие отступа. Проклятие размерности. Методы быстрого поиска ближайших соседей.

[https://www.dropbox.com/s/vlmifieu79liq1p/metric.pdf?dl=0 Слайды, часть 1]
[https://www.dropbox.com/s/g9g6ib8icygik2j/metric2.pdf?dl=0 Слайды, часть 2]

'''Лекция 3. Логическая классификация.'''
Логические закономерности и решающие деревья. Понятие логической закономерности. Определение информативности. Разновидности закономерностей: шары, гиперплоскости, гиперпараллелепипеды (конъюнкции). Бинаризация признаков, алгоритм выделения информативных зон. «Градиентный» алгоритм синтеза конъюнкций, частные случаи: жадный алгоритм, стохастический локальный поиск, стабилизация, редукция. Решающее дерево. Псевдокод: жадный алгоритм ID3. Недостатки алгоритма и способы их устранения. Проблема переобучения. Редукция решающих деревьев: предредукция и постредукция.

[https://www.dropbox.com/s/9qfmw95wlw26jvb/slides-Logic1_ml_hse.pdf?dl=0 Слайды]

'''Лекция 4. Линейные методы классификации.'''
Линейные алгоритмы классификации. Квадратичная функция потерь, метод наименьших квадратов. Метод стохастического градиента и частные случаи: перcептрон Розенблатта, правило Хэбба. Недостатки метода стохастического градиента и способы их устранения. Ускорение сходимости, «выбивание» из локальных минимумов. Проблема переобучения, редукция весов (weight decay).

[https://www.dropbox.com/s/hj0ao16hh7n2bso/lec4.pdf?dl=0 Слайды]

'''Лекция 5. Линейный SVM.'''

[https://www.dropbox.com/s/xvdaoilxu71bz65/lec5.pdf?dl=0 Слайды]

'''Лекция 6. Ядерный SVM.'''

'''Лекция 7. Линейная регрессия и PCA.'''
Методы восстановления регрессии. Задача восстановления регрессии, метод наименьших квадратов. Многомерная линейная регрессия. Сингулярное разложение. Регуляризация: гребневая регрессия и лассо Тибширани. Метод главных компонент и декоррелирующее преобразование.

[https://www.dropbox.com/s/dsgfrs0jo3grbci/slides-Regression.pdf?dl=0 Слайды]

'''Лекции 8-9. Байесовская классификация.'''

[https://www.dropbox.com/s/rc5d97y7wttx7a0/slides-Bayes.pdf?dl=0 Слайды]

'''Лекции 12. Выбор моделей и отбор признаков.'''

[https://www.dropbox.com/s/7qchphf7ka7va2u/lec12.pdf?dl=0 Слайды]

'''Лекции 13. Кластеризация.'''
[https://www.dropbox.com/s/3t3vvyvlk0eihoo/slides-Clustering.pdf?dl=0, Слайды]

== Семинары ==
=== Правила сдачи заданий cеминаров ===
* На семинарах выдаются практические лабораторные работы, которые можно сдавать на семинаре, либо по почте до дедлайна.
* Для групп, у который семинары проходят по субботам, дедлайн 9:00 следующей субботы. У групп с семинарами по четвергам дедлайн 9:00 следующего четверга.
* Решения следует отправлять на почту курса с соответствующей темой письма (см. раздел Оформление писем).
* Решения принимаются в виде одного аккуратно оформленного ipython-notebook'а (.ipynb-файл), либо в виде аккуратного pdf-файла + скриптов.
* Для теоретических заданий предполагается развернутый ответ (с доказательством при необходимости).
* По каждому практическому заданию помимо формального ответа на вопрос и соответствующего кода необходимо так же дать комментарии/построить графики при необходимости и сделать выводы.
=== Семинар 1. Инструментарий ===
Знакомство с языком Python.
[https://www.dropbox.com/s/bx6hrz7pb61l9ab/ML_HSE_Lab1.pdf?dl=0 Лабораторная 1], [https://www.dropbox.com/s/y1kfgpiwbgjeisl/train.csv?dl=0 данные].

[http://nbviewer.ipython.org/gist/anonymous/fba8bf7f1ad379df9d63 Материал] в помощь.
=== Семинар 2. Проклятие размерности. Метод ближайшего соседа ===
[https://www.dropbox.com/s/fc2kd7pp3no0s0t/practice.pdf?dl=0 Задание], [https://www.dropbox.com/s/xuse7r13f5cls6a/new_york.txt?dl=0 данные о ресторанах] ([https://www.dropbox.com/s/yejtu3y4ixt3tzl/features.txt?dl=0 название признаков]).

=== Семинар 3. Решающие деревья ===
[https://www.dropbox.com/s/4qxzfmzko3k01fq/lab3.pdf?dl=0 Задание], [https://www.dropbox.com/s/8ronkxqj087mxbe/adult.data?dl=0 данные], [https://www.dropbox.com/s/42a5gb3tw4dc3mi/adult.names?dl=0 названия признаков].

[http://ogrisel.github.io/scikit-learn.org/sklearn-tutorial/auto_examples/tutorial/plot_knn_iris.html Туториал по визуализации]

=== Семинар 4. Линейные методы классификации ===
[https://www.dropbox.com/s/8aopczz722klmya/lab4.pdf?dl=0 Задание], [https://www.dropbox.com/s/vn6g2dceepropd5/train.csv?dl=0 train.csv] и [https://www.dropbox.com/s/qtiu368pq2c33ea/test.csv?dl=0 test.csv].

=== Семинар 5. Линейный SVM ===
[https://www.dropbox.com/s/kbkhk4z5pagsrne/lab5.pdf?dl=0 Задание], [https://www.dropbox.com/s/5ro58pbpdf2iwoq/data.zip?dl=0 Данные]

=== Семинар 6. Ядерный SVM ===
[https://www.dropbox.com/s/bspfulrpj180da8/lab6.pdf?dl=0 Задание]

=== Семинар 7. PCA + регрессия ===
[https://www.dropbox.com/s/d63lww92hdtf35z/lab7.pdf?dl=0 Задание], [https://www.dropbox.com/s/ngxt79hdgqtqet8/data.zip?dl=0 Данные]

=== Семинар 9. Параметрическая Байесовская классификация ===
[https://www.dropbox.com/s/8u1cyn0fdbdrtdp/lab9.pdf?dl=0 Задание], [https://www.dropbox.com/s/r13rvv047j6lthl/2d.zip?dl=0 Данные1], [https://www.dropbox.com/s/9sh0rn0v74jep0m/200d.zip?dl=0 Данные2]

=== Семинар 10. Разделение смеси распределений ===
[https://www.dropbox.com/s/fcelgz2vicnddsf/lab10.pdf?dl=0, Задание], [https://www.dropbox.com/s/c6z8xexubmbixi8/mnist.zip?dl=0, Данные]

=== Семинар 12. Оценивание моделей ===
[https://www.dropbox.com/s/oy8c32jnv8oo3si/sem12.pdf?dl=0, Задачи с семинара]

=== Семинар 13. Кластеризация ===
Дедлайны:
Группы Артема и Ани: теория 25.04 09:00, практика 2.05 09:00.
Группы Сергея: теория 30.04 09:00, практика 7.05 09:00.
[https://www.dropbox.com/s/zgq88loq09bzbbm/lab13.pdf?dl=0 Задание], [https://www.dropbox.com/s/4snv7gpc1l5je9q/parrots.jpg?dl=0 parrots.jpg], [https://www.dropbox.com/s/9ilrbbdz74pvne0/grass.jpg?dl=0 grass.jpg].
[https://www.dropbox.com/s/fiy2u04o3g0eea2/problems_hse.pdf?dl=0, Теоретические задачи]

== Оформление писем ==
Вопросы и домашние задания присылайте на почтовый адрес '''cshse.ml@gmail.com'''.
На почту присылайте письма со следующими темами:
* Для ''вопросов'' (общих, по лабораторным, по теории и т. д.): "Вопрос - Фамилия Имя Отчество - Группа"
* Для ''лабораторных'': "Лабораторная {Номер лабораторной работы} - Фамилия Имя Отчество - Группа (Семинарист)"
Когда отвечаете на наши письма или досылаете какие-то решения, пишите письма в '''тот же''' тред.

Большая просьба ко всем сдавать свои работы в ipython notebook, это очень упростит нам проверку. В качестве названия для файла с работой используйте свою фамилию на английском языке. Не нужно архивировать файлы перед отправкой.
== Полезные ссылки ==
=== Машинное обучение ===
* [http://www.machinelearning.ru/wiki/index.php?title=Заглавная_страница machinelearning.ru]
* Одна из классических и наиболее полных книг по машинному обучению. [http://web.stanford.edu/~hastie/local.ftp/Springer/ESLII_print10.pdf Elements of Statistical Learning (Trevor Hastie, Robert Tibshirani, Jerome Friedman)]
=== Python ===
* [http://python.org Официальный сайт]
* Библиотеки: [http://www.numpy.org/ NumPy], [http://pandas.pydata.org/ Pandas], [http://scikit-learn.org/stable/ SciKit-Learn], [http://matplotlib.org/ Matplotlib].
* Небольшой пример для начинающих: [http://nbviewer.ipython.org/gist/voron13e02/83a86f2e0fc5e7f8424d краткое руководство с примерами по Python 2]
* Питон с нуля: [http://nbviewer.ipython.org/gist/rpmuller/5920182 A Crash Course in Python for Scientists]
* Лекции [https://github.com/jrjohansson/scientific-python-lectures#online-read-only-versions Scientific Python]
* Книга: [http://www.cin.ufpe.br/~embat/Python%20for%20Data%20Analysis.pdf Wes McKinney «Python for Data Analysis»]
* [https://github.com/ipython/ipython/wiki/A-gallery-of-interesting-IPython-Notebooks Коллекция интересных IPython ноутбуков]

=== Установка и настройка Python ===
* [[Анализ данных (Программная инженерия)/Установка и настройка Python#Windows|Windows]]
* [[Анализ данных (Программная инженерия)/Установка и настройка Python#Mac_OS|Mac OS]]
* [[Анализ данных (Программная инженерия)/Установка и настройка Python#Linux | Linux]]

Анализ данных (Программная инженерия)

2015-04-18T07:33:17Z

Voron13e02: /* Семинар 12. Оценивание моделей */

'''Таблица результатов [https://docs.google.com/spreadsheets/d/1m6xUNu7Hq7-wi_G2527d4HAE_N03F74ryNKIs3zgEbQ/edit#gid=0 здесь]'''

'''Контакты: ''' cshse.ml@gmail.com
 
 
== Краткое описание ==
В курсе рассматриваются основные задачи анализа данных и обучения по прецедентам: классификация, кластеризация, регрессия, понижение размерности. Изучаются методы их решения, как классические, так и новые, созданные за последние 10–15 лет. Упор делается на практические аспекты применения изучаемых алгоритмов. Большое внимание уделяется практическим лабораторным работам на языке Python.

== Отчётность по курсу и критерии оценки ==
'''Оценка за курс.''' После каждой лекции студентам предлагается выполнить практическое задание на Python. В конце модуля пройдет устный экзамен по теории. Также в середине семестра будет проведен устный коллоквиум по теории. Итоговая оценка за курс складывается из оценок за практические задания, оценки за коллоквиум и оценки за экзамен.

'''Формальные критерии:'''

Оценки за различные активности:
* Otheory - суммарная оценка за теоретические части лабораторных работ (max = 3 за одну лабораторную)
* Opractice - суммарная оценка за практические части лабораторных работ (max = 5 за одну лабораторную)
* Ocolloquium - оценка за устный коллоквиум (max = 5)
* Oexam - оценка за устный экзамен (max = 50)

Общее число баллов:

Oall = 0.2 * Otheory + 0.4 * Opractice + 0.2 * Oexam + Ocolloquium

Критерии оценки:

Omax = max_possible_value_of(Oall)

При подсчете Omax не учитываются дополнительные баллы за задания со звездочкой.

'''Оценка 5''': Oall >= 0.8 * Omax

'''Оценка 4''': Oall >= 0.6 * Omax

'''Оценка 3''': Oall >= 0.45 * Omax

''Критерии в 10-бальной шкале будут вывешены позднее. ''

За курс можно получить автомат без сдачи итогового экзамена. Для этого нужно получить максимальный балл за коллоквиум, а также суммарная оценка за лабораторные должна быть хорошей:

(0.2 * Otheory + 0.4 * Opractice) >= 0.9 * max_possible_value_of(0.2 * Otheory + 0.4 * Opractice)

Здесь при подсчете максимального значения опять же не учитываются баллы за задания со звездочкой.

'''Меры при обнаружении плагиата'''

''Для лабораторных 1-7:''

* По умолчанию всем, у кого обнаружен плагиат ставится 0 баллов и отметка о плагиате. И тем, кто списал, и тем, у кого списали.
* Из каждого онаруженного нами кластера людей, сдавших одинаковую работу, первый сдавший предполагается первоисточником работы и может получить за нее положительную оценку. Для этого он должен устно зачесть работу у преподавателя. Желательно обращаться именно к тому преподавателю, который проверял работу. При успешной защите своей работы со студента снимается отметка о плагиате.

''Для всех последующих лабораторных:''

* Всем, у кого обнаружен плагиат ставится 0 баллов и отметка о плагиате. И тем, кто списал, и тем, у кого списали. Мы не будем искать первоисточник работы.
Также Вы должны понимать, что плагиат будет иметь и другие последствия. При обнаружении плагиата у одного и того же человека более одного раза на него будет оформляться докладная на имя декана.

Если у человека есть хоть одна отметка о плагиате, он не может получить автомат.

'''Дедлайны.''' Решения присланные после дедлайнов не принимаются, кроме случаев наличия уважительных причин у студента (завалы на учебе или работе уважительными причинами не считаются).

== Коллоквиум ==

На семинарах 7 и 12 марта пройдет коллоквиум. Каждый студент должен будет лично ответить преподавателю на несколько вопросов из списка ниже.
[https://www.dropbox.com/s/r4d2o4wtjydwo5e/questions.pdf?dl=0 Список вопросов]

== Темы лекций ==

'''Лекция 1. Основные понятия и примеры прикладных задач. Существующие инструменты анализа данных.'''

Постановка задач обучения по прецедентам. Объекты и признаки. Типы шкал: бинарные, номинальные, порядковые, количественные. Типы задач: классификация, регрессия, прогнозирование, кластеризация.
Основные понятия: модель алгоритмов, метод обучения, функция потерь и функционал качества, принцип минимизации эмпирического риска, обобщающая способность, скользящий контроль.
Примеры прикладных задач. Популярные библиотеки и фреймворки для анализа данных на различных языках программирования.

[https://www.dropbox.com/s/p7kfijkrhq0kdwv/intro.pdf?dl=0 Слайды, часть 1]
[https://www.dropbox.com/s/me0q1njwonyrt06/instruments.pdf?dl=0 Слайды, часть 2]

'''Лекция 2. Метрическая классификация.'''
Метрические алгоритмы классификации. Метод ближайших соседей (kNN) и его обобщения. Подбор числа k по критерию скользящего контроля. Обобщённый метрический классификатор, понятие отступа. Проклятие размерности. Методы быстрого поиска ближайших соседей.

[https://www.dropbox.com/s/vlmifieu79liq1p/metric.pdf?dl=0 Слайды, часть 1]
[https://www.dropbox.com/s/g9g6ib8icygik2j/metric2.pdf?dl=0 Слайды, часть 2]

'''Лекция 3. Логическая классификация.'''
Логические закономерности и решающие деревья. Понятие логической закономерности. Определение информативности. Разновидности закономерностей: шары, гиперплоскости, гиперпараллелепипеды (конъюнкции). Бинаризация признаков, алгоритм выделения информативных зон. «Градиентный» алгоритм синтеза конъюнкций, частные случаи: жадный алгоритм, стохастический локальный поиск, стабилизация, редукция. Решающее дерево. Псевдокод: жадный алгоритм ID3. Недостатки алгоритма и способы их устранения. Проблема переобучения. Редукция решающих деревьев: предредукция и постредукция.

[https://www.dropbox.com/s/9qfmw95wlw26jvb/slides-Logic1_ml_hse.pdf?dl=0 Слайды]

'''Лекция 4. Линейные методы классификации.'''
Линейные алгоритмы классификации. Квадратичная функция потерь, метод наименьших квадратов. Метод стохастического градиента и частные случаи: перcептрон Розенблатта, правило Хэбба. Недостатки метода стохастического градиента и способы их устранения. Ускорение сходимости, «выбивание» из локальных минимумов. Проблема переобучения, редукция весов (weight decay).

[https://www.dropbox.com/s/hj0ao16hh7n2bso/lec4.pdf?dl=0 Слайды]

'''Лекция 5. Линейный SVM.'''

[https://www.dropbox.com/s/xvdaoilxu71bz65/lec5.pdf?dl=0 Слайды]

'''Лекция 6. Ядерный SVM.'''

'''Лекция 7. Линейная регрессия и PCA.'''
Методы восстановления регрессии. Задача восстановления регрессии, метод наименьших квадратов. Многомерная линейная регрессия. Сингулярное разложение. Регуляризация: гребневая регрессия и лассо Тибширани. Метод главных компонент и декоррелирующее преобразование.

[https://www.dropbox.com/s/dsgfrs0jo3grbci/slides-Regression.pdf?dl=0 Слайды]

'''Лекции 8-9. Байесовская классификация.'''

[https://www.dropbox.com/s/rc5d97y7wttx7a0/slides-Bayes.pdf?dl=0 Слайды]

'''Лекции 12. Выбор моделей и отбор признаков.'''

[https://www.dropbox.com/s/7qchphf7ka7va2u/lec12.pdf?dl=0 Слайды]

== Семинары ==
=== Правила сдачи заданий cеминаров ===
* На семинарах выдаются практические лабораторные работы, которые можно сдавать на семинаре, либо по почте до дедлайна.
* Для групп, у который семинары проходят по субботам, дедлайн 9:00 следующей субботы. У групп с семинарами по четвергам дедлайн 9:00 следующего четверга.
* Решения следует отправлять на почту курса с соответствующей темой письма (см. раздел Оформление писем).
* Решения принимаются в виде одного аккуратно оформленного ipython-notebook'а (.ipynb-файл), либо в виде аккуратного pdf-файла + скриптов.
* Для теоретических заданий предполагается развернутый ответ (с доказательством при необходимости).
* По каждому практическому заданию помимо формального ответа на вопрос и соответствующего кода необходимо так же дать комментарии/построить графики при необходимости и сделать выводы.
=== Семинар 1. Инструментарий ===
Знакомство с языком Python.
[https://www.dropbox.com/s/bx6hrz7pb61l9ab/ML_HSE_Lab1.pdf?dl=0 Лабораторная 1], [https://www.dropbox.com/s/y1kfgpiwbgjeisl/train.csv?dl=0 данные].

[http://nbviewer.ipython.org/gist/anonymous/fba8bf7f1ad379df9d63 Материал] в помощь.
=== Семинар 2. Проклятие размерности. Метод ближайшего соседа ===
[https://www.dropbox.com/s/fc2kd7pp3no0s0t/practice.pdf?dl=0 Задание], [https://www.dropbox.com/s/xuse7r13f5cls6a/new_york.txt?dl=0 данные о ресторанах] ([https://www.dropbox.com/s/yejtu3y4ixt3tzl/features.txt?dl=0 название признаков]).

=== Семинар 3. Решающие деревья ===
[https://www.dropbox.com/s/4qxzfmzko3k01fq/lab3.pdf?dl=0 Задание], [https://www.dropbox.com/s/8ronkxqj087mxbe/adult.data?dl=0 данные], [https://www.dropbox.com/s/42a5gb3tw4dc3mi/adult.names?dl=0 названия признаков].

[http://ogrisel.github.io/scikit-learn.org/sklearn-tutorial/auto_examples/tutorial/plot_knn_iris.html Туториал по визуализации]

=== Семинар 4. Линейные методы классификации ===
[https://www.dropbox.com/s/8aopczz722klmya/lab4.pdf?dl=0 Задание], [https://www.dropbox.com/s/vn6g2dceepropd5/train.csv?dl=0 train.csv] и [https://www.dropbox.com/s/qtiu368pq2c33ea/test.csv?dl=0 test.csv].

=== Семинар 5. Линейный SVM ===
[https://www.dropbox.com/s/kbkhk4z5pagsrne/lab5.pdf?dl=0 Задание], [https://www.dropbox.com/s/5ro58pbpdf2iwoq/data.zip?dl=0 Данные]

=== Семинар 6. Ядерный SVM ===
[https://www.dropbox.com/s/bspfulrpj180da8/lab6.pdf?dl=0 Задание]

=== Семинар 7. PCA + регрессия ===
[https://www.dropbox.com/s/d63lww92hdtf35z/lab7.pdf?dl=0 Задание], [https://www.dropbox.com/s/ngxt79hdgqtqet8/data.zip?dl=0 Данные]

=== Семинар 9. Параметрическая Байесовская классификация ===
[https://www.dropbox.com/s/8u1cyn0fdbdrtdp/lab9.pdf?dl=0 Задание], [https://www.dropbox.com/s/r13rvv047j6lthl/2d.zip?dl=0 Данные1], [https://www.dropbox.com/s/9sh0rn0v74jep0m/200d.zip?dl=0 Данные2]

=== Семинар 10. Разделение смеси распределений ===
[https://www.dropbox.com/s/fcelgz2vicnddsf/lab10.pdf?dl=0, Задание], [https://www.dropbox.com/s/c6z8xexubmbixi8/mnist.zip?dl=0, Данные]

=== Семинар 12. Оценивание моделей ===
[https://www.dropbox.com/s/oy8c32jnv8oo3si/sem12.pdf?dl=0, Задачи с семинара]

=== Семинар 13. Кластеризация ===
[https://www.dropbox.com/s/zgq88loq09bzbbm/lab13.pdf?dl=0 Задание], [https://www.dropbox.com/s/4snv7gpc1l5je9q/parrots.jpg?dl=0 parrots.jpg], [https://www.dropbox.com/s/9ilrbbdz74pvne0/grass.jpg?dl=0 grass.jpg].

== Оформление писем ==
Вопросы и домашние задания присылайте на почтовый адрес '''cshse.ml@gmail.com'''.
На почту присылайте письма со следующими темами:
* Для ''вопросов'' (общих, по лабораторным, по теории и т. д.): "Вопрос - Фамилия Имя Отчество - Группа"
* Для ''лабораторных'': "Лабораторная {Номер лабораторной работы} - Фамилия Имя Отчество - Группа (Семинарист)"
Когда отвечаете на наши письма или досылаете какие-то решения, пишите письма в '''тот же''' тред.

Большая просьба ко всем сдавать свои работы в ipython notebook, это очень упростит нам проверку. В качестве названия для файла с работой используйте свою фамилию на английском языке. Не нужно архивировать файлы перед отправкой.
== Полезные ссылки ==
=== Машинное обучение ===
* [http://www.machinelearning.ru/wiki/index.php?title=Заглавная_страница machinelearning.ru]
* Одна из классических и наиболее полных книг по машинному обучению. [http://web.stanford.edu/~hastie/local.ftp/Springer/ESLII_print10.pdf Elements of Statistical Learning (Trevor Hastie, Robert Tibshirani, Jerome Friedman)]
=== Python ===
* [http://python.org Официальный сайт]
* Библиотеки: [http://www.numpy.org/ NumPy], [http://pandas.pydata.org/ Pandas], [http://scikit-learn.org/stable/ SciKit-Learn], [http://matplotlib.org/ Matplotlib].
* Небольшой пример для начинающих: [http://nbviewer.ipython.org/gist/voron13e02/83a86f2e0fc5e7f8424d краткое руководство с примерами по Python 2]
* Питон с нуля: [http://nbviewer.ipython.org/gist/rpmuller/5920182 A Crash Course in Python for Scientists]
* Лекции [https://github.com/jrjohansson/scientific-python-lectures#online-read-only-versions Scientific Python]
* Книга: [http://www.cin.ufpe.br/~embat/Python%20for%20Data%20Analysis.pdf Wes McKinney «Python for Data Analysis»]
* [https://github.com/ipython/ipython/wiki/A-gallery-of-interesting-IPython-Notebooks Коллекция интересных IPython ноутбуков]

=== Установка и настройка Python ===
* [[Анализ данных (Программная инженерия)/Установка и настройка Python#Windows|Windows]]
* [[Анализ данных (Программная инженерия)/Установка и настройка Python#Mac_OS|Mac OS]]
* [[Анализ данных (Программная инженерия)/Установка и настройка Python#Linux | Linux]]