== О курсе ==

Курс читается для студентов 2-го курса [https://electives.hse.ru/minor_intel/ майнора ИАД] в 3-4 модулях.

Проводится с 2015 года.

'''Лектор:''' [http://www.hse.ru/staff/esokolov Соколов Евгений Андреевич]

Лекции проходят онлайн по средам в 11:10.

=== Полезные ссылки ===

[https://www.hse.ru/edu/courses/416021030 Карточка курса и программа]

[https://github.com/hse-ds/iad-intro-ds Репозиторий с материалами на GitHub]

[https://www.youtube.com/playlist?list=PLEwK9wdS5g0pja3STykphSiuXzNEx5Gkw Записи занятий]

Почта для сдачи домашних заданий (на самом деле задания сдаются в AnyTask, но если он не работает, то присылайте на почту): hse.minor.dm+<номер группы>@gmail.com (например, hse.minor.dm+3@gmail.com)

Канал в telegram для объявлений: https://t.me/hs_iad_2021

Чат в telegram для флуда: https://t.me/joinchat/Vuq4Lgi98RG22fQP

Ссылка на курс в Anytask: https://anytask.org/course/779

Таблица с оценками: https://docs.google.com/spreadsheets/d/13aZ9aQAqa0QUTniqAkPMlirWqPq6DfLwpIra2HJLwhk/edit?usp=sharing

=== Семинары ===

{| class="wikitable"
|-
! Группа !! Преподаватель !! Учебные ассистенты !! Zoom-конференция !! Ссылка на чат !! Материалы семинаров !! Инвайт в anytask
|-
| ИАД-1 || Илья Косарев || Саночкин Юрий, Пащенко Анатолий || [https://zoom.us/j/95260607985?pwd=NTAxSVhGV1UzdHF2M0N6Q2dKWElOQT09 Zoom] || [https://t.me/joinchat/SrL1GYfpaLeFxs4J Чат] || [https://github.com/PersDep/data-mining-intro-2021 Материалы] || GrodXoV
|-
| ИАД-2 || Надежда Чиркова || Екатерина Кострыкина, Александра Штарёва || [https://zoom.us/j/97891126155?pwd=bXk0c2oxRm9jWUJuRUJtRDl1elB2QT09 Zoom] || [https://t.me/joinchat/GnnT0omle1UE7HQ1 Чат] || [https://github.com/nadiinchi/iad2021 Материалы] || hHA6uvN
|-
| ИАД-3 || Елена Кантонистова || [https://t.me/mikezz_1 Михаил Олейник], [https://t.me/NikPatov Никита Патов ] || [https://zoom.us/j/93207072522?pwd=djlCL3pJc0JuNkJKZ3RvL21UQmFVQT09 Zoom] || [https://t.me/joinchat/GWgn8k5yOx1s4qD3 Чат] || || ewfZ2I8
|-
| ИАД-4 || Артём Филатов || Валерий Айхенвальд, Анастасия Бир || [https://zoom.us/j/95918149669?pwd=UUxuOEthSnVDZVU0WFhVNXM1UytEZz09 Zoom] || [https://t.me/joinchat/G3mbrYDFVm4gVitF Чат] || || 4TUKO0v
|-
| ИАД-5 || [https://t.me/vsomelyusik Владимир Омелюсик] || [https://t.me/aksenysh Аня Аксенова], Александр Габиташвили || [https://zoom.us/j/95997234634?pwd=SHVjUGM1a2hFTDNnZ1RmMm1xakpTQT09 Zoom] || [https://t.me/joinchat/GRjeFvGs5HBiIm38 Чат] || [https://github.com/V-Marco/hse_iad5_2021 Материалы] || Kre5emJ
|-
| ИАД-6 || Ася Карпова || Елена Гринкевич, Егор Масликов || [https://zoom.us/j/95210435451?pwd=UEZaR1FsTzZnclhDRnY2aEFEODJIQT09 Zoom] || [https://t.me/joinchat/TeYBnyU8bpTw3j93 Чат] || || nSuRKac
|-
| ИАД-7 || [https://t.me/OnixinO Тамерлан Таболов] || [https://t.me/Debasering Николай Аверьянов], [https://t.me/greyworgen Сергей Тихонов], [https://t.me/userwaskicked Никита Крайко] || [https://zoom.us/j/93740294916?pwd=S20vN3loUytFVk1EamQ4MDhhY0V4UT09 Zoom] || [https://t.me/joinchat/RHVp06vSXeAmedPu Чат] || || HO7xViO
|-
| БИ-1 || Антон Семёнкин || [https://t.me/nichtdeinetraumfrau Дарья Морозова], [https://t.me/caesiummm Михаил Никифоров] || [https://zoom.us/j/92491827270?pwd=RGczZ0szUnVxVUJOb0U5c1AvbWdhdz09 Zoom] || [https://t.me/joinchat/TMyUB5mUxXsY8TLZ Чат] || || aQWW7It
|-
| БИ-2 || Илья Косарев || Гусева Полина, Такташева Екатерина || [https://zoom.us/j/94624466609?pwd=ZnRhYy8zZmF0OFRhaHNDTjlCVFZxQT09 Zoom] || [https://t.me/joinchat/HKbLF0ki_iPqUjnY Чат] || [https://github.com/PersDep/data-mining-intro-2021 Материалы] || QFII7j8
|-
|}

=== Правила выставления оценок ===

В курсе предусмотрено несколько форм контроля знания:
* Самостоятельные работы на семинарах, проверяющие знание основных фактов с лекций и семинаров
* Практические домашние работы на Python
* Контрольная где-то в середине курса
* Письменный экзамен

Итоговая оценка вычисляется на основе оценки за работу в семестре и оценки за экзамен:

Oитоговая = Округление(0.4 * ДЗ + 0.1 * ПР + 0.2 * КР + 0.3 * Э)

ДЗ — средняя оценка за практические домашние задания

ПР — средняя оценка за письменные проверочные работы на семинарах

КР — оценка за контрольную работу

Э — оценка за экзамен

Округление арифметическое.

=== Правила сдачи заданий ===

За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются. Даже при опоздании на одну секунду. Сдавайте заранее.

При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.

При наличии уважительной причины пропущенную проверочную можно написать позднее, а дедлайн по домашнему заданию может быть перенесён. Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.

== Лекции ==

Лекция 1 (20.01.2021). Введение в машинное обучение и анализ данных. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/lectures/lecture01-intro.pdf Слайды]] [[https://www.youtube.com/watch?v=77fwOymbP2Y Запись лекции]]

Лекция 2 (27.01.2021). Основные постановки задач. Метод k ближайших соседей. Измерение ошибки в задачах классификации. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/lectures/lecture02-knn.pdf Слайды]] [[https://www.youtube.com/watch?v=_6sxGoimhZM Запись лекции]]

Лекция 3 (03.02.2021). Переобучение и обобщающая способность. Проверка обобщающей способности: отложенная выборка и кросс-валидация. Метод k ближайших соседей с весами. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/lectures/lecture03-knn.pdf Слайды]] [[https://www.youtube.com/watch?v=FswSp9w21PQ Запись лекции]]

Лекция 4 (10.02.2021). kNN для регрессии. Модель линейной регрессии. Подготовка данных для линейной регрессии. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/lectures/lecture04-linregr.pdf Слайды]] [[https://www.youtube.com/watch?v=EfD8ujQmnHw Запись лекции]]

Лекция 5 (17.02.2021). MSE для линейной регрессии в матричной форме. Аналитическая формула для оптимального вектора весов, её недостатки. Регуляризация линейных моделей. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/lectures/lecture05-linregr.pdf Слайды]] [[https://www.youtube.com/watch?v=BQh1BUco5FY Запись лекции]]

Лекция 6 (24.02.2021). Интерпретация весов из линейной модели. Градиентый спуск. Мультистарт. Выбор длины шага. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/lectures/lecture06-linregr.pdf Слайды]] [[https://www.youtube.com/watch?v=wg51b2Wt96I Запись лекции]]

Лекция 7 (3.03.2021). Стохастический градиентный спуск. Функции потерь в задачах регрессии. Линейный классификатор. Отступ. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/lectures/lecture07-linclass.pdf Слайды]] [[https://www.youtube.com/watch?v=zTWN_8hLDQw Запись лекции]]

Лекция 7.5 (в записи). Относительная ошибка в регрессии (MAPE, SMAPE). Метрики качества классификации: доля верных ответов, точность, полнота. Объединение точности и полноты, F-мера. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/lectures/lecture07-linclass-part2.pdf Слайды]] [[https://www.youtube.com/watch?v=J5pdWQvgjgM Запись лекции]]

== Семинары ==

Семинар 1: pandas; основы работы с таблицами, вычисление статистик, устранение пропусков. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/seminars/sem01_pandas.ipynb Ноутбук]]

Семинар 2: numpy и основы линейной алгебры. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/seminars/sem02_numpy.ipynb Ноутбук]]

Семинар 3: Визуализация данных. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/seminars/sem03_EDA.ipynb Ноутбук]]

Семинар 4: Объектно-ориентированное программирование в Python. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/seminars/sem04_oop.ipynb Ноутбук]]

Семинар 5: Введение в sklearn. KNN. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/seminars/sem05_sklearn_knn/sem05-sklearn-knn.ipynb Ноутбук]]

Семинар 6: Линейная регрессия, функции потерь регресии, регуляризация. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/seminars/sem06_linreg/sem06_linreg_unsolved.ipynb Ноутбук]]

Семинар 7: Градиентный спуск. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/seminars/sem07_grad.ipynb Ноутбук]]

== Практические задания ==

За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются, но есть исключение. В течение семестра каждый студент может не более 2 раз сдать задание после жёсткого дедлайна — в этом случае за каждый день просрочки продолжает вычитаться по одному баллу (если не оговорено иное).

В некоторых группах домашние задания могут отличаться. Уточняйте у семинариста.

==== ДЗ 1. pandas ====

[[https://github.com/hse-ds/iad-intro-ds/tree/master/2021/homeworks/hw01-pandas Ноутбук для заполнения и данные]]

'''Дедлайн''': мягкий дедлайн 26 января 23:59, жесткий дедлайн 30 января 23:59.

==== ДЗ 2. numpy ====

[[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/homeworks/hw02-numpy.ipynb Ноутбук для заполнения]]

'''Дедлайн''': мягкий дедлайн 2 февраля 23:59, жёсткий дедлайн 6 февраля 23:59.

==== ДЗ 3. EDA и подготовка данных ====

[[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/homeworks/hw03-EDA/hw03-EDA.ipynb Ноутбук для заполнения]]

'''Дедлайн''': мягкий дедлайн 17 февраля 23:59, жёсткий дедлайн 21 февраля 23:59.

==== ДЗ 4. kNN и линейная регрессия ====

[[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/homeworks/hw04-knn_linreg/hw04.ipynb Ноутбук для заполнения]]

'''Дедлайн''': мягкий дедлайн 10 марта 23:59, жёсткий дедлайн 14 марта 23:59.

== Соревнования ==

===Правила участия и оценивания===
В соревновании по анализу данных вам предлагается по имеющимся данным решить некоторую задачу, оптимизируя указанную метрику, и отправить ответы для заданного тестового множества. Максимальное количество посылок в сутки ограничено (как правило, разрешается сделать 2 посылки), ближе к концу соревнования вам будем необходимо выбрать 2 посылки, которые вы считаете лучшими. Тестовые данные делятся на публичные и приватные в некотором соотношении, на основе которых строятся публичный и приватный лидерборды соответственно, при этом публичный лидерборд доступен в течение всего соревнования, а приватный строится после его окончания для выбранных вами посылок.

Студент, занявший в соревновании место i, получает оценку

10 - 10 * (i - 1) / M,

где M — количество студентов, принявших участие в соревновании;

i — место (начиная с 1) студента в приватном лидерборде среди всех таких студентов.

Чтобы вас не пропустили при проверке решений соревнования, '''необходимо''' использовать следующий формат для имени команды (вкладка Team):

«Имя Фамилия номер_группы»

В течение 3 суток после окончания соревнования в соответствующее задание на anytask необходимо прислать код, воспроизводящий ответы для посылки, фигурирующей в приватном лидерборде. В случае отсутствия кода, воспроизводящего результат, в установленный срок студенту выставляется 0 в качестве оценки за соревнование. Если не оговорено иное, использовать любые внешние данные в соревнованиях '''запрещено'''. Под внешними данными понимаются размеченные данные, где разметка имеет прямое отношение к решаемой задаче. Грубо говоря, сборник текстов с википедии не считается внешними данными.

== Контрольная работа ==

Вопросы для подготовки с прошлого года: https://docs.google.com/document/d/1yuB17EoXyVSxqRslpFTKX97Kriuxn4lgFL5z4kQF9lU/edit?usp=sharing

На контрольной будет 4 вопроса. Два из них — по теории, где нужно будет объяснить одну из тем, разобранных на лекциях, или ответить на вопросы на понимание. Два вопроса — это задачи, примеры приведены ниже.

Примеры задач:
* Метрические методы, kNN [[http://nbviewer.jupyter.org/github/shestakoff/minor_da_2017/blob/master/colloc_knn.ipynb Примеры задач]]
* Линейные методы [[https://github.com/esokolov/ml-minor-hse/blob/master/colloquium-2017/colloquium_minor_problems_linear.pdf Примеры задач]]
* Решающие деревья [[https://github.com/esokolov/ml-minor-hse/blob/master/colloquium-2017/colloquium_minor_problems_trees.ipynb Примеры задач]]
* Метрики качества [[https://github.com/esokolov/ml-minor-hse/blob/master/colloquium-2017/colloquium_minor_problems_metrics.ipynb Примеры задач]]

== Экзамен ==

Вопросы: https://docs.google.com/document/d/18kMS1f7NsdGEZy62MgfTGdgSq4P-6DVcnwr1ZJPLAqE/edit?usp=sharing

[https://github.com/esokolov/ml-minor-hse/blob/master/exam-2017/exam_problems_example.pdf Примеры задач прошлого года] (также могут войти задачи из коллоквиума)

==Полезные материалы==
===Курсы по машинному обучению и анализу данных===
Максимально близко к материалам курса: [https://www.coursera.org/specializations/machine-learning-from-statistics-to-neural-networks Специализация "Машинное обучение: от статистики до нейросетей"] (речь про два курса: "Основы машинного обучения" и "Продвинутые методы машинного обучения")

Для тех, кто хочет подтянуть математику: [https://www.coursera.org/specializations/maths-for-data-analysis Специализация "Математика для анализа данных"]

Более сложная версия этого курса с ПМИ: [[Машинное обучение 1]]

Ещё материалы:
* [http://www.machinelearning.ru/wiki/index.php?title=Машинное_обучение_%28курс_лекций%2C_К.В.Воронцов%29 Курс по машинному обучению К.В. Воронцова]
* [https://yandexdataschool.ru/edu-process/courses/machine-learning Видеозаписи лекций курса Школы Анализа Данных, К.В. Воронцов]
* [https://www.coursera.org/specializations/machine-learning-data-analysis Coursera: Машинное обучение и анализ данных (специализация)]
* [https://www.coursera.org/learn/introduction-machine-learning Coursera: Введение в машинное обучение, К.В. Воронцов]
* [https://www.coursera.org/learn/machine-learning Coursera: Machine Learning, Andrew Ng]

===Статьи===
* [http://www.toptal.com/machine-learning/machine-learning-theory-an-introductory-primer An Introduction to Machine Learning Theory and Its Applications: A Visual Tutorial with Examples]
* [http://www.r2d3.us/visual-intro-to-machine-learning-part-1/ A Visual Introduction to Machine Learning]

===Книги===
* Mohammed J. Zaki, Wagner Meira Jr. Data Mining and Analysis. Fundamental Concepts and Algorithms. Cambridge University Press, 2014.
* Boris Mirkin. Core Concepts in Data Analysis: Summarization, Correlation, Visualization. 2010.
* James, Witten, Hastie, Tibshirani. An Introduction to Statistical Learning. 2013.

== Страницы прошлых лет ==

[[Введение_в_анализ_данных_(майнор_ИАД)_2019/2020 | 2019/20 учебный год]]

[[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных | 2018/19 учебный год ]]

[[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/2017-2018 | 2017/18 учебный год ]]

[[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/2016-2017 | 2016/17 учебный год ]]

[[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/2015-2016 | 2015/16 учебный год ]]

[[Category:Майнор "Интеллектуальный анализ данных"]]

Введение в анализ данных

2021-01-22T10:04:47Z

Asya Karpova: /* Семинары */

Наука о данных (Экономика)

2020-02-21T07:37:36Z

Asya Karpova: Внесла себя :)

==О курсе==

'''Преподаватели:''' Ананьева Марина Евгеньевна, [https://www.hse.ru/staff/bbd Демешев Борис Борисович], Зарманбетов Ахмед Курманалиевич, Максимовская Анастасия Максимовна, [https://www.hse.ru/org/persons/65841825 Петросян Артур Тигранович], Ульянкин Филипп Валерьевич, Филатов Артём Андреевич.
{| class="wikitable"
|-
! Группа !! Преподаватель !! Учебный ассистент !! contact !! Расписание
|-
| 181 || [https://www.hse.ru/staff/bbd Борис Демешев] || Полина Ревина || @r9vina ||
|-
| 182 || [https://www.hse.ru/staff/bbd Борис Демешев] || Василиса Серякова || @Vasilisa_Seryakova ||
|-
| ... || [https://www.hse.ru/org/persons/101555071 Артем Филатов] || Ася Карпова || @Asya_Karpova ||
|-
| ... || [https://www.hse.ru/org/persons/65841825 Артур Петросян] || || ||
|-
| 185 || Филипп Ульянкин || Лиза Махнева || @eliza_1 ||
|-
| ... || Зарманбетов Ахмед || Копылов Валентин || @wallykop ||
|-
| ... || Зарманбетов Ахмед || Николаенкова Мария || @nikolamash ||
|-
| 1813 || Максимовская Анастасия || Перевышина Татьяна || @prvshna ||
|-
| 1814 || Максимовская Анастасия || Тукмачева Юлия || @juliatukmacheva ||
|}

'''Аннотация курса:'''
Курс "Наука о данных" нацелен на изучение языка программирования Python и получение базовых знаний и навыков для обработки, визуализации и статистического анализа данных, а также дальнейшего прохождения более специализированных курсов в этой области (например, машинного обучения). Первая часть дисциплины отведена на изучение основ языка Python, по итогам которой слушатели узнают о типах и структурах данных, научатся решать алгоритмические задачи и освоят такие базовые понятия программирования, как: условные операторы, функции, рекурсии и циклы. В рамках курса будут пройдены основы различных парадигм программирования: процедурное, функциональное и объектно-ориентированное программирование. Вторая часть курса посвящена освоению теоретической базы и необходимых практических навыков для анализа данных. Слушатели научатся решать задачи по парсингу, препроцессингу и визуализации данных с помощью стандартных и внешних библиотек Python, проверять статистические гипотезы и критерии качества оценок (состоятельность, эффективность и несмещенность), использовать метод максимального правдоподобия.

[https://www.hse.ru/edu/courses/292669321 Официальная программа]

[https://www.coursera.org/learn/python-osnovy-programmirovaniya Информация об онлайн-курсе]

== Правила выставления оценок ==
[https://docs.google.com/spreadsheets/d/13YDDmS561QSkQukWqHnPn_3-aRkniD2trb_KhvsxMRA/edit#gid=0 Таблица с оценками]

Oитоговая = 0.15 * Oонлайн-курс + 0.1 * ОДЗ1 + 0.1 * ОДЗ2 + 0.1 * ОДЗ3 + 0.2 * ОКР1 + 0.2 * ОКР2 + 0.2 * Оэкз

К оценке применяется стандартное арифметическое округление.

==Материалы курса==

Все материалы семинаров находятся [https://github.com/hse-econ-data-science/eds_spring_2020 в репозитории на гитхабе].

Также, для удобства коммуникации, создан [https://t.me/data_science_economics_2020 чат в telegram].

==Литература==

'''Рекомендуемая основная литература:'''

* Christopher M. Bishop. (n.d.). [http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.EBA0C705 Pattern Recognition and Machine Learning.] Australian National University.
* Lutz, M. (2008). [http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsebk&AN=415392 Learning Python (Vol. 3rd ed).] Beijing: O’Reilly Media.
* Кремер Н. Ш. [https://biblio-online.ru/book/teoriya-veroyatnostey-i-matematicheskaya-statistika-431167 ТЕОРИЯ ВЕРОЯТНОСТЕЙ И МАТЕМАТИЧЕСКАЯ СТАТИСТИКА 5-е изд., пер. и доп. Учебник и практикум для академического бакалавриата.] Издательство Юрайт, 2019.
* Энатская Н. Ю., Хакимуллин Е. Р. [https://biblio-online.ru/book/teoriya-veroyatnostey-i-matematicheskaya-statistika-446435 ТЕОРИЯ ВЕРОЯТНОСТЕЙ И МАТЕМАТИЧЕСКАЯ СТАТИСТИКА. Учебник и практикум для СПО.] Издательство Юрайт, 2019.
* Hastie, T., Tibshirani, R., Friedman, J. [https://link.springer.com/book/10.1007%2F978-0-387-84858-7 The elements of statistical learning: Data Mining, Inference, and Prediction.] Springer, 2009.

'''Рекомендуемая дополнительная литература:'''

* Vanderplas, J. T. [http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=nlebk&AN=1425081 Python Data Science Handbook : Essential Tools for Working with Data (Vol. First edition).] CA: Reilly - O’Reilly Media, 2016.
* Митчелл Р. [https://e.lanbook.com/book/100903 Скрапинг веб-сайтов с помощю Python.] Издательство "ДМК Пресс", 2016.