https://wiki.cs.hse.ru/api.php?action=feedcontributions&feedformat=atom&user=I.kosarevWiki - Факультет компьютерных наук - Вклад [ru]2026-09-21T14:42:52ZВкладMediaWiki 1.43.9https://wiki.cs.hse.ru/index.php?title=%D0%92%D0%B2%D0%B5%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5_%D0%B2_%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85&diff=54821Введение в анализ данных2021-06-06T11:31:04Z<p>I.kosarev: </p>
<hr />
<div>== О курсе ==<br />
<br />
Курс читается для студентов 2-го курса [https://electives.hse.ru/minor_intel/ майнора ИАД] в 3-4 модулях.<br />
<br />
Проводится с 2015 года.<br />
<br />
'''Лектор:''' [http://www.hse.ru/staff/esokolov Соколов Евгений Андреевич]<br />
<br />
Лекции проходят онлайн по средам в 11:10.<br />
<br />
=== Полезные ссылки ===<br />
<br />
[https://www.hse.ru/edu/courses/416021030 Карточка курса и программа]<br />
<br />
[https://github.com/hse-ds/iad-intro-ds Репозиторий с материалами на GitHub]<br />
<br />
[https://www.youtube.com/playlist?list=PLEwK9wdS5g0pja3STykphSiuXzNEx5Gkw Записи занятий]<br />
<br />
Почта для сдачи домашних заданий (на самом деле задания сдаются в AnyTask, но если он не работает, то присылайте на почту): hse.minor.dm+<номер группы>@gmail.com (например, hse.minor.dm+3@gmail.com)<br />
<br />
Канал в telegram для объявлений: https://t.me/hs_iad_2021<br />
<br />
Чат в telegram для флуда: https://t.me/joinchat/Vuq4Lgi98RG22fQP<br />
<br />
Ссылка на курс в Anytask: https://anytask.org/course/779<br />
<br />
Таблица с оценками: https://docs.google.com/spreadsheets/d/13aZ9aQAqa0QUTniqAkPMlirWqPq6DfLwpIra2HJLwhk/edit?usp=sharing<br />
<br />
=== Семинары ===<br />
<br />
{| class="wikitable"<br />
|-<br />
! Группа !! Преподаватель !! Учебные ассистенты !! Zoom-конференция !! Ссылка на чат !! Материалы семинаров !! Инвайт в anytask <br />
|-<br />
| ИАД-1 || Илья Косарев || Саночкин Юрий, Пащенко Анатолий || [https://zoom.us/j/95260607985?pwd=NTAxSVhGV1UzdHF2M0N6Q2dKWElOQT09 Zoom] || [https://t.me/joinchat/SrL1GYfpaLeFxs4J Чат] || [https://github.com/PersDep/data-mining-intro-2021 Материалы] || GrodXoV<br />
|-<br />
| ИАД-2 || Надежда Чиркова || Екатерина Кострыкина, Александра Штарёва || [https://zoom.us/j/97891126155?pwd=bXk0c2oxRm9jWUJuRUJtRDl1elB2QT09 Zoom] || [https://t.me/joinchat/GnnT0omle1UE7HQ1 Чат] || [https://github.com/nadiinchi/iad2021 Материалы] || hHA6uvN<br />
|-<br />
| ИАД-3 || Елена Кантонистова || [https://t.me/mikezz_1 Михаил Олейник], [https://t.me/NikPatov Никита Патов ] || [https://zoom.us/j/93207072522?pwd=djlCL3pJc0JuNkJKZ3RvL21UQmFVQT09 Zoom] || [https://t.me/joinchat/GWgn8k5yOx1s4qD3 Чат] || || ewfZ2I8<br />
|-<br />
| ИАД-4 || Артём Филатов || Валерий Айхенвальд, Анастасия Бир || [https://zoom.us/j/95918149669?pwd=UUxuOEthSnVDZVU0WFhVNXM1UytEZz09 Zoom] || [https://t.me/joinchat/G3mbrYDFVm4gVitF Чат] || || 4TUKO0v<br />
|-<br />
| ИАД-5 || [https://t.me/vsomelyusik Владимир Омелюсик] || [https://t.me/aksenysh Аня Аксенова], Александр Габиташвили || [https://zoom.us/j/95997234634?pwd=SHVjUGM1a2hFTDNnZ1RmMm1xakpTQT09 Zoom] || [https://t.me/joinchat/GRjeFvGs5HBiIm38 Чат] || [https://github.com/V-Marco/hse_iad5_2021 Материалы] || Kre5emJ<br />
|-<br />
| ИАД-6 || Ася Карпова || Елена Гринкевич, Егор Масликов || [https://zoom.us/j/95210435451?pwd=UEZaR1FsTzZnclhDRnY2aEFEODJIQT09 Zoom] || [https://t.me/joinchat/TeYBnyU8bpTw3j93 Чат] || || nSuRKac<br />
|-<br />
| ИАД-7 || [https://t.me/OnixinO Тамерлан Таболов] || [https://t.me/Debasering Николай Аверьянов], [https://t.me/greyworgen Сергей Тихонов], [https://t.me/userwaskicked Никита Крайко] || [https://zoom.us/j/93740294916?pwd=S20vN3loUytFVk1EamQ4MDhhY0V4UT09 Zoom] || [https://t.me/joinchat/RHVp06vSXeAmedPu Чат] || || HO7xViO<br />
|-<br />
| БИ-1 || Антон Семёнкин || [https://t.me/nichtdeinetraumfrau Дарья Морозова], [https://t.me/caesiummm Михаил Никифоров] || [https://zoom.us/j/92491827270?pwd=RGczZ0szUnVxVUJOb0U5c1AvbWdhdz09 Zoom] || [https://t.me/joinchat/TMyUB5mUxXsY8TLZ Чат] || || aQWW7It<br />
|-<br />
| БИ-2 || Илья Косарев || Гусева Полина, Такташева Екатерина || [https://zoom.us/j/94624466609?pwd=ZnRhYy8zZmF0OFRhaHNDTjlCVFZxQT09 Zoom] || [https://t.me/joinchat/HKbLF0ki_iPqUjnY Чат] || [https://github.com/PersDep/data-mining-intro-2021 Материалы] || QFII7j8<br />
|-<br />
|}<br />
<br />
=== Правила выставления оценок ===<br />
<br />
В курсе предусмотрено несколько форм контроля знания:<br />
* Самостоятельные работы на семинарах, проверяющие знание основных фактов с лекций и семинаров<br />
* Практические домашние работы на Python<br />
* Контрольная где-то в середине курса<br />
* Письменный экзамен<br />
<br />
Итоговая оценка вычисляется на основе оценки за работу в семестре и оценки за экзамен:<br />
<br />
O<sub>итоговая</sub> = Округление(0.4 * ДЗ + 0.1 * ПР + 0.2 * КР + 0.3 * Э)<br />
<br />
ДЗ — средняя оценка за практические домашние задания<br />
<br />
ПР — средняя оценка за письменные проверочные работы на семинарах<br />
<br />
КР — оценка за контрольную работу<br />
<br />
Э — оценка за экзамен<br />
<br />
Округление арифметическое.<br />
<br />
=== Правила сдачи заданий ===<br />
<br />
За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются. Даже при опоздании на одну секунду. Сдавайте заранее.<br />
<br />
При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.<br />
<br />
При наличии уважительной причины пропущенную проверочную можно написать позднее, а дедлайн по домашнему заданию может быть перенесён. Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.<br />
<br />
== Лекции ==<br />
<br />
Лекция 1 (20.01.2021). Введение в машинное обучение и анализ данных. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/lectures/lecture01-intro.pdf Слайды]] [[https://www.youtube.com/watch?v=77fwOymbP2Y Запись лекции]]<br />
<br />
Лекция 2 (27.01.2021). Основные постановки задач. Метод k ближайших соседей. Измерение ошибки в задачах классификации. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/lectures/lecture02-knn.pdf Слайды]] [[https://www.youtube.com/watch?v=_6sxGoimhZM Запись лекции]]<br />
<br />
Лекция 3 (03.02.2021). Переобучение и обобщающая способность. Проверка обобщающей способности: отложенная выборка и кросс-валидация. Метод k ближайших соседей с весами. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/lectures/lecture03-knn.pdf Слайды]] [[https://www.youtube.com/watch?v=FswSp9w21PQ Запись лекции]]<br />
<br />
Лекция 4 (10.02.2021). kNN для регрессии. Модель линейной регрессии. Подготовка данных для линейной регрессии. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/lectures/lecture04-linregr.pdf Слайды]] [[https://www.youtube.com/watch?v=EfD8ujQmnHw Запись лекции]]<br />
<br />
Лекция 5 (17.02.2021). MSE для линейной регрессии в матричной форме. Аналитическая формула для оптимального вектора весов, её недостатки. Регуляризация линейных моделей. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/lectures/lecture05-linregr.pdf Слайды]] [[https://www.youtube.com/watch?v=BQh1BUco5FY Запись лекции]]<br />
<br />
Лекция 6 (24.02.2021). Интерпретация весов из линейной модели. Градиентый спуск. Мультистарт. Выбор длины шага. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/lectures/lecture06-linregr.pdf Слайды]] [[https://www.youtube.com/watch?v=wg51b2Wt96I Запись лекции]]<br />
<br />
Лекция 7 (3.03.2021). Стохастический градиентный спуск. Функции потерь в задачах регрессии. Линейный классификатор. Отступ. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/lectures/lecture07-linclass.pdf Слайды]] [[https://www.youtube.com/watch?v=zTWN_8hLDQw Запись лекции]]<br />
<br />
Лекция 7.5 (в записи). Относительная ошибка в регрессии (MAPE, SMAPE). Метрики качества классификации: доля верных ответов, точность, полнота. Объединение точности и полноты, F-мера. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/lectures/lecture07-linclass-part2.pdf Слайды]] [[https://www.youtube.com/watch?v=J5pdWQvgjgM Запись лекции]]<br />
<br />
Лекция 8 (10.03.2021). Обучение линейных классификаторов через верхние оценки на функцию потерь. Метрики качества ранжирования: PR-кривая и ROC-кривая, площади под ними. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/lectures/lecture08-linclass.pdf Слайды]] [[https://www.youtube.com/watch?v=RM2OYu3kqG4 Запись лекции]]<br />
<br />
Лекция 9 (17.03.2021). Логистическая регрессия. Оценивание вероятностей. Логистическая функция потерь. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/lectures/lecture09-linclass.pdf Слайды]] [[https://www.youtube.com/watch?v=2J0_oMRUxoA Запись лекции]]<br />
<br />
Лекция 10 (24.03.2021). Метод опорных векторов. Многоклассовая классификация. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/lectures/lecture10-linclass.pdf Слайды]] [[https://www.youtube.com/watch?v=eLze-Mo6uaw Запись лекции]]<br />
<br />
Лекция 11 (07.04.2021). Решающие деревья. Поиск лучших предикатов и критерии информативности. Жадный алгоритм построения дерева. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/lectures/lecture11-trees.pdf Слайды]] [[https://www.youtube.com/watch?v=H-xIuocK4oY Запись лекции]]<br />
<br />
Лекция 12 (14.04.2021). Неустойчивость решающих деревьев. Разложение ошибки на смещение и разброс. Бэггинг. Случайный лес. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/lectures/lecture12-ensembles.pdf Слайды]] [[https://www.youtube.com/watch?v=JrA7O0Q_BFU Запись лекции]]<br />
<br />
Лекция 13 (21.04.2021). Градиентный бустинг. Последовательное обучение моделей на MSE. Общий вид градиентного бустинга. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/lectures/lecture13-ensembles.pdf Слайды]] [[https://www.youtube.com/watch?v=E6o-gwhs1ek Запись лекции]]<br />
<br />
Лекция 14 (12.05.2021). Градиентный бустинг. Регуляризация. Основные гиперпараметры. Вариации бустинга. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/lectures/lecture14-ensembles.pdf Слайды]] [[https://www.youtube.com/watch?v=HjZ8uQUxXpo Запись лекции]]<br />
<br />
Лекция 15 (19.05.2021). Отбор признаков. Одномерные методы. Отбор на основе моделей. Метод главных компонент. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/lectures/lecture15-reduction.pdf Слайды]] [[https://www.youtube.com/watch?v=6Zn6BSClyno Запись лекции]]<br />
<br />
Лекция 16 (26.05.2021). Кластеризация. K-Means. DBSCAN. Представления слов. Тематическое моделирование. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/lectures/lecture16-clustering.pdf Слайды]] [[https://www.youtube.com/watch?v=j_1F7eo_stE Запись лекции]]<br />
<br />
== Семинары ==<br />
<br />
Семинар 1: pandas; основы работы с таблицами, вычисление статистик, устранение пропусков. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/seminars/sem01_pandas.ipynb Ноутбук]]<br />
<br />
Семинар 2: numpy и основы линейной алгебры. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/seminars/sem02_numpy.ipynb Ноутбук]]<br />
<br />
Семинар 3: Визуализация данных. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/seminars/sem03_EDA.ipynb Ноутбук]]<br />
<br />
Семинар 4: Объектно-ориентированное программирование в Python. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/seminars/sem04_oop.ipynb Ноутбук]]<br />
<br />
Семинар 5: Введение в sklearn. KNN. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/seminars/sem05_sklearn_knn/sem05-sklearn-knn.ipynb Ноутбук]]<br />
<br />
Семинар 6: Линейная регрессия, функции потерь регресии, регуляризация. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/seminars/sem06_linreg/sem06_linreg_unsolved.ipynb Ноутбук]]<br />
<br />
Семинар 7: Градиентный спуск. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/seminars/sem07_grad.ipynb Ноутбук]]<br />
<br />
Семинар 8: Линейная классификация. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/seminars/sem08_linclass.ipynb Ноутбук]]<br />
<br />
Семинар 9: Логистическая регрессия и SVM. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/seminars/sem09_logit_svm/sem09_logit_svm.ipynb Ноутбук]]<br />
<br />
Семинар 10: Обработка текстов. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/seminars/sem10_texts.ipynb Ноутбук]]<br />
<br />
Семинар 11: Калибровка вероятностей. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/seminars/sem11_multiclass_calibration.ipynb Ноутбук]]<br />
<br />
Семинар 12: Решающие деревья. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/seminars/sem12_trees/sem12_trees.ipynb Ноутбук]]<br />
<br />
Семинар 13: Случайный лес. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/seminars/sem13_rf.ipynb Ноутбук]]<br />
<br />
Семинар 14: Бустинг, часть 1. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/seminars/sem14_boosting_part1.ipynb Ноутбук]]<br />
<br />
Семинар 15: Бустинг, часть 2. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/seminars/sem15_boostings/sem15_boostings_part2.ipynb Ноутбук]]<br />
<br />
Семинар 16: Задача понижения размерности. Генерация признаков. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/seminars/sem16_features/sem16_pca_features.ipynb Ноутбук]]<br />
<br />
Семинар 17: Кластеризация. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/seminars/sem17_clustering.ipynb Ноутбук]]<br />
<br />
== Практические задания ==<br />
<br />
За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются, но есть исключение. В течение семестра каждый студент может не более 2 раз сдать задание после жёсткого дедлайна — в этом случае за каждый день просрочки продолжает вычитаться по одному баллу (если не оговорено иное).<br />
<br />
В некоторых группах домашние задания могут отличаться. Уточняйте у семинариста.<br />
<br />
==== ДЗ 1. pandas ====<br />
<br />
[[https://github.com/hse-ds/iad-intro-ds/tree/master/2021/homeworks/hw01-pandas Ноутбук для заполнения и данные]]<br />
<br />
'''Дедлайн''': мягкий дедлайн 26 января 23:59, жесткий дедлайн 30 января 23:59.<br />
<br />
==== ДЗ 2. numpy ====<br />
<br />
[[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/homeworks/hw02-numpy.ipynb Ноутбук для заполнения]]<br />
<br />
'''Дедлайн''': мягкий дедлайн 2 февраля 23:59, жёсткий дедлайн 6 февраля 23:59.<br />
<br />
==== ДЗ 3. EDA и подготовка данных ====<br />
<br />
[[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/homeworks/hw03-EDA/hw03-EDA.ipynb Ноутбук для заполнения]]<br />
<br />
'''Дедлайн''': мягкий дедлайн 17 февраля 23:59, жёсткий дедлайн 21 февраля 23:59.<br />
<br />
==== ДЗ 4. kNN и линейная регрессия ====<br />
<br />
[[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/homeworks/hw04-knn_linreg/hw04.ipynb Ноутбук для заполнения]]<br />
<br />
'''Дедлайн''': мягкий дедлайн 10 марта 23:59, жёсткий дедлайн 14 марта 23:59.<br />
<br />
==== ДЗ 5. Градиентный спуск ====<br />
<br />
[[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/homeworks/hw05_gd.ipynb Ноутбук для заполнения]]<br />
<br />
'''Дедлайн''': мягкий дедлайн 6 апреля 23:59, жёсткий дедлайн 10 апреля 23:59.<br />
<br />
==== ДЗ 6. Работа с текстами ====<br />
<br />
[[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/homeworks/hw06-text/hw06.ipynb Ноутбук для заполнения]]<br />
<br />
'''Дедлайн''': мягкий дедлайн 23 апреля 23:59, жёсткий дедлайн 28 апреля 23:59.<br />
<br />
==== ДЗ 7. Деревья ====<br />
<br />
[[https://github.com/hse-ds/iad-intro-ds/tree/master/2021/homeworks/hw07-trees-rf Ноутбук для заполнения]]<br />
<br />
'''Дедлайн''': мягкий дедлайн 1 июня 23:59, жёсткий дедлайн 8 июня 23:59.<br />
<br />
==== ДЗ 8. Бустинг и кластеризация ====<br />
<br />
[[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/homeworks/hw08_boosting_clustering.ipynb Ноутбук для заполнения]]<br />
<br />
'''Дедлайн''': мягкий дедлайн 16 июня 23:59, жёсткий дедлайн 19 июня 23:59.<br />
<br />
== Соревнования ==<br />
<br />
===Правила участия и оценивания===<br />
В соревновании по анализу данных вам предлагается по имеющимся данным решить некоторую задачу, оптимизируя указанную метрику, и отправить ответы для заданного тестового множества. Максимальное количество посылок в сутки ограничено (как правило, разрешается сделать 2 посылки), ближе к концу соревнования вам будем необходимо выбрать 2 посылки, которые вы считаете лучшими. Тестовые данные делятся на публичные и приватные в некотором соотношении, на основе которых строятся публичный и приватный лидерборды соответственно, при этом публичный лидерборд доступен в течение всего соревнования, а приватный строится после его окончания для выбранных вами посылок.<br />
<br />
Студент, занявший в соревновании место i, получает оценку<br />
<br />
10 - 10 * (i - 1) / M,<br />
<br />
где M — количество студентов, принявших участие в соревновании;<br />
<br />
i — место (начиная с 1) студента в приватном лидерборде среди всех таких студентов.<br />
<br />
Чтобы вас не пропустили при проверке решений соревнования, '''необходимо''' использовать следующий формат для имени команды (вкладка Team): <br />
<br />
«Имя Фамилия номер_группы»<br />
<br />
В течение 3 суток после окончания соревнования в соответствующее задание на anytask необходимо прислать код, воспроизводящий ответы для посылки, фигурирующей в приватном лидерборде. В случае отсутствия кода, воспроизводящего результат, в установленный срок студенту выставляется 0 в качестве оценки за соревнование. Если не оговорено иное, использовать любые внешние данные в соревнованиях '''запрещено'''. Под внешними данными понимаются размеченные данные, где разметка имеет прямое отношение к решаемой задаче. Грубо говоря, сборник текстов с википедии не считается внешними данными.<br />
<br />
== Контрольная работа ==<br />
<br />
Контрольная работа состоится 21 апреля на лекции в 11:10.<br />
<br />
Вопросы для подготовки: https://docs.google.com/document/d/1RJ0P-XcpWRqmXW4mD9uSHKTJBcQiEp1nMoTCCqIO-Hg/edit?usp=sharing<br />
<br />
[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/kr/kr2021-var0.pdf Демо-вариант]<br />
<br />
На контрольной будет 4 вопроса. Два из них — по теории, где нужно будет объяснить одну из тем, разобранных на лекциях, или ответить на вопросы на понимание. Два вопроса — это задачи, примеры приведены ниже (но это просто для тренировки, список не исчерпывающий).<br />
<br />
Примеры задач:<br />
* Метрические методы, kNN [[http://nbviewer.jupyter.org/github/shestakoff/minor_da_2017/blob/master/colloc_knn.ipynb Примеры задач]]<br />
* Линейные методы [[https://github.com/esokolov/ml-minor-hse/blob/master/colloquium-2017/colloquium_minor_problems_linear.pdf Примеры задач]]<br />
* Решающие деревья [[https://github.com/esokolov/ml-minor-hse/blob/master/colloquium-2017/colloquium_minor_problems_trees.ipynb Примеры задач]]<br />
* Метрики качества [[https://github.com/esokolov/ml-minor-hse/blob/master/colloquium-2017/colloquium_minor_problems_metrics.ipynb Примеры задач]]<br />
<br />
== Экзамен ==<br />
<br />
Вопросы: https://docs.google.com/document/d/18kMS1f7NsdGEZy62MgfTGdgSq4P-6DVcnwr1ZJPLAqE/edit?usp=sharing<br />
<br />
[https://github.com/esokolov/ml-minor-hse/blob/master/exam-2017/exam_problems_example.pdf Примеры задач прошлого года] (также могут войти задачи из коллоквиума)<br />
<br />
==Полезные материалы==<br />
===Курсы по машинному обучению и анализу данных===<br />
Максимально близко к материалам курса: [https://www.coursera.org/specializations/machine-learning-from-statistics-to-neural-networks Специализация "Машинное обучение: от статистики до нейросетей"] (речь про два курса: "Основы машинного обучения" и "Продвинутые методы машинного обучения")<br />
<br />
Для тех, кто хочет подтянуть математику: [https://www.coursera.org/specializations/maths-for-data-analysis Специализация "Математика для анализа данных"]<br />
<br />
Более сложная версия этого курса с ПМИ: [[Машинное обучение 1]]<br />
<br />
Ещё материалы:<br />
* [http://www.machinelearning.ru/wiki/index.php?title=Машинное_обучение_%28курс_лекций%2C_К.В.Воронцов%29 Курс по машинному обучению К.В. Воронцова]<br />
* [https://yandexdataschool.ru/edu-process/courses/machine-learning Видеозаписи лекций курса Школы Анализа Данных, К.В. Воронцов]<br />
* [https://www.coursera.org/specializations/machine-learning-data-analysis Coursera: Машинное обучение и анализ данных (специализация)]<br />
* [https://www.coursera.org/learn/introduction-machine-learning Coursera: Введение в машинное обучение, К.В. Воронцов]<br />
* [https://www.coursera.org/learn/machine-learning Coursera: Machine Learning, Andrew Ng]<br />
<br />
===Статьи===<br />
* [http://www.toptal.com/machine-learning/machine-learning-theory-an-introductory-primer An Introduction to Machine Learning Theory and Its Applications: A Visual Tutorial with Examples]<br />
* [http://www.r2d3.us/visual-intro-to-machine-learning-part-1/ A Visual Introduction to Machine Learning]<br />
<br />
===Книги===<br />
* Mohammed J. Zaki, Wagner Meira Jr. Data Mining and Analysis. Fundamental Concepts and Algorithms. Cambridge University Press, 2014.<br />
* Boris Mirkin. Core Concepts in Data Analysis: Summarization, Correlation, Visualization. 2010.<br />
* James, Witten, Hastie, Tibshirani. An Introduction to Statistical Learning. 2013.<br />
<br />
== Страницы прошлых лет ==<br />
<br />
[[Введение_в_анализ_данных_(майнор_ИАД)_2019/2020 | 2019/20 учебный год]]<br />
<br />
[[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных | 2018/19 учебный год ]]<br />
<br />
[[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/2017-2018 | 2017/18 учебный год ]]<br />
<br />
[[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/2016-2017 | 2016/17 учебный год ]]<br />
<br />
[[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/2015-2016 | 2015/16 учебный год ]]<br />
<br />
[[Category:Майнор "Интеллектуальный анализ данных"]]</div>I.kosarevhttps://wiki.cs.hse.ru/index.php?title=%D0%92%D0%B2%D0%B5%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5_%D0%B2_%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85&diff=54803Введение в анализ данных2021-06-05T12:16:34Z<p>I.kosarev: </p>
<hr />
<div>== О курсе ==<br />
<br />
Курс читается для студентов 2-го курса [https://electives.hse.ru/minor_intel/ майнора ИАД] в 3-4 модулях.<br />
<br />
Проводится с 2015 года.<br />
<br />
'''Лектор:''' [http://www.hse.ru/staff/esokolov Соколов Евгений Андреевич]<br />
<br />
Лекции проходят онлайн по средам в 11:10.<br />
<br />
=== Полезные ссылки ===<br />
<br />
[https://www.hse.ru/edu/courses/416021030 Карточка курса и программа]<br />
<br />
[https://github.com/hse-ds/iad-intro-ds Репозиторий с материалами на GitHub]<br />
<br />
[https://www.youtube.com/playlist?list=PLEwK9wdS5g0pja3STykphSiuXzNEx5Gkw Записи занятий]<br />
<br />
Почта для сдачи домашних заданий (на самом деле задания сдаются в AnyTask, но если он не работает, то присылайте на почту): hse.minor.dm+<номер группы>@gmail.com (например, hse.minor.dm+3@gmail.com)<br />
<br />
Канал в telegram для объявлений: https://t.me/hs_iad_2021<br />
<br />
Чат в telegram для флуда: https://t.me/joinchat/Vuq4Lgi98RG22fQP<br />
<br />
Ссылка на курс в Anytask: https://anytask.org/course/779<br />
<br />
Таблица с оценками: https://docs.google.com/spreadsheets/d/13aZ9aQAqa0QUTniqAkPMlirWqPq6DfLwpIra2HJLwhk/edit?usp=sharing<br />
<br />
=== Семинары ===<br />
<br />
{| class="wikitable"<br />
|-<br />
! Группа !! Преподаватель !! Учебные ассистенты !! Zoom-конференция !! Ссылка на чат !! Материалы семинаров !! Инвайт в anytask <br />
|-<br />
| ИАД-1 || Илья Косарев || Саночкин Юрий, Пащенко Анатолий || [https://zoom.us/j/95260607985?pwd=NTAxSVhGV1UzdHF2M0N6Q2dKWElOQT09 Zoom] || [https://t.me/joinchat/SrL1GYfpaLeFxs4J Чат] || [https://github.com/PersDep/data-mining-intro-2021 Материалы] || GrodXoV<br />
|-<br />
| ИАД-2 || Надежда Чиркова || Екатерина Кострыкина, Александра Штарёва || [https://zoom.us/j/97891126155?pwd=bXk0c2oxRm9jWUJuRUJtRDl1elB2QT09 Zoom] || [https://t.me/joinchat/GnnT0omle1UE7HQ1 Чат] || [https://github.com/nadiinchi/iad2021 Материалы] || hHA6uvN<br />
|-<br />
| ИАД-3 || Елена Кантонистова || [https://t.me/mikezz_1 Михаил Олейник], [https://t.me/NikPatov Никита Патов ] || [https://zoom.us/j/93207072522?pwd=djlCL3pJc0JuNkJKZ3RvL21UQmFVQT09 Zoom] || [https://t.me/joinchat/GWgn8k5yOx1s4qD3 Чат] || || ewfZ2I8<br />
|-<br />
| ИАД-4 || Артём Филатов || Валерий Айхенвальд, Анастасия Бир || [https://zoom.us/j/95918149669?pwd=UUxuOEthSnVDZVU0WFhVNXM1UytEZz09 Zoom] || [https://t.me/joinchat/G3mbrYDFVm4gVitF Чат] || || 4TUKO0v<br />
|-<br />
| ИАД-5 || [https://t.me/vsomelyusik Владимир Омелюсик] || [https://t.me/aksenysh Аня Аксенова], Александр Габиташвили || [https://zoom.us/j/95997234634?pwd=SHVjUGM1a2hFTDNnZ1RmMm1xakpTQT09 Zoom] || [https://t.me/joinchat/GRjeFvGs5HBiIm38 Чат] || [https://github.com/V-Marco/hse_iad5_2021 Материалы] || Kre5emJ<br />
|-<br />
| ИАД-6 || Ася Карпова || Елена Гринкевич, Егор Масликов || [https://zoom.us/j/95210435451?pwd=UEZaR1FsTzZnclhDRnY2aEFEODJIQT09 Zoom] || [https://t.me/joinchat/TeYBnyU8bpTw3j93 Чат] || || nSuRKac<br />
|-<br />
| ИАД-7 || [https://t.me/OnixinO Тамерлан Таболов] || [https://t.me/Debasering Николай Аверьянов], [https://t.me/greyworgen Сергей Тихонов], [https://t.me/userwaskicked Никита Крайко] || [https://zoom.us/j/93740294916?pwd=S20vN3loUytFVk1EamQ4MDhhY0V4UT09 Zoom] || [https://t.me/joinchat/RHVp06vSXeAmedPu Чат] || || HO7xViO<br />
|-<br />
| БИ-1 || Антон Семёнкин || [https://t.me/nichtdeinetraumfrau Дарья Морозова], [https://t.me/caesiummm Михаил Никифоров] || [https://zoom.us/j/92491827270?pwd=RGczZ0szUnVxVUJOb0U5c1AvbWdhdz09 Zoom] || [https://t.me/joinchat/TMyUB5mUxXsY8TLZ Чат] || || aQWW7It<br />
|-<br />
| БИ-2 || Илья Косарев || Гусева Полина, Такташева Екатерина || [https://zoom.us/j/94624466609?pwd=ZnRhYy8zZmF0OFRhaHNDTjlCVFZxQT09 Zoom] || [https://t.me/joinchat/HKbLF0ki_iPqUjnY Чат] || [https://github.com/PersDep/data-mining-intro-2021 Материалы] || QFII7j8<br />
|-<br />
|}<br />
<br />
=== Правила выставления оценок ===<br />
<br />
В курсе предусмотрено несколько форм контроля знания:<br />
* Самостоятельные работы на семинарах, проверяющие знание основных фактов с лекций и семинаров<br />
* Практические домашние работы на Python<br />
* Контрольная где-то в середине курса<br />
* Письменный экзамен<br />
<br />
Итоговая оценка вычисляется на основе оценки за работу в семестре и оценки за экзамен:<br />
<br />
O<sub>итоговая</sub> = Округление(0.4 * ДЗ + 0.1 * ПР + 0.2 * КР + 0.3 * Э)<br />
<br />
ДЗ — средняя оценка за практические домашние задания<br />
<br />
ПР — средняя оценка за письменные проверочные работы на семинарах<br />
<br />
КР — оценка за контрольную работу<br />
<br />
Э — оценка за экзамен<br />
<br />
Округление арифметическое.<br />
<br />
=== Правила сдачи заданий ===<br />
<br />
За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются. Даже при опоздании на одну секунду. Сдавайте заранее.<br />
<br />
При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.<br />
<br />
При наличии уважительной причины пропущенную проверочную можно написать позднее, а дедлайн по домашнему заданию может быть перенесён. Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.<br />
<br />
== Лекции ==<br />
<br />
Лекция 1 (20.01.2021). Введение в машинное обучение и анализ данных. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/lectures/lecture01-intro.pdf Слайды]] [[https://www.youtube.com/watch?v=77fwOymbP2Y Запись лекции]]<br />
<br />
Лекция 2 (27.01.2021). Основные постановки задач. Метод k ближайших соседей. Измерение ошибки в задачах классификации. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/lectures/lecture02-knn.pdf Слайды]] [[https://www.youtube.com/watch?v=_6sxGoimhZM Запись лекции]]<br />
<br />
Лекция 3 (03.02.2021). Переобучение и обобщающая способность. Проверка обобщающей способности: отложенная выборка и кросс-валидация. Метод k ближайших соседей с весами. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/lectures/lecture03-knn.pdf Слайды]] [[https://www.youtube.com/watch?v=FswSp9w21PQ Запись лекции]]<br />
<br />
Лекция 4 (10.02.2021). kNN для регрессии. Модель линейной регрессии. Подготовка данных для линейной регрессии. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/lectures/lecture04-linregr.pdf Слайды]] [[https://www.youtube.com/watch?v=EfD8ujQmnHw Запись лекции]]<br />
<br />
Лекция 5 (17.02.2021). MSE для линейной регрессии в матричной форме. Аналитическая формула для оптимального вектора весов, её недостатки. Регуляризация линейных моделей. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/lectures/lecture05-linregr.pdf Слайды]] [[https://www.youtube.com/watch?v=BQh1BUco5FY Запись лекции]]<br />
<br />
Лекция 6 (24.02.2021). Интерпретация весов из линейной модели. Градиентый спуск. Мультистарт. Выбор длины шага. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/lectures/lecture06-linregr.pdf Слайды]] [[https://www.youtube.com/watch?v=wg51b2Wt96I Запись лекции]]<br />
<br />
Лекция 7 (3.03.2021). Стохастический градиентный спуск. Функции потерь в задачах регрессии. Линейный классификатор. Отступ. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/lectures/lecture07-linclass.pdf Слайды]] [[https://www.youtube.com/watch?v=zTWN_8hLDQw Запись лекции]]<br />
<br />
Лекция 7.5 (в записи). Относительная ошибка в регрессии (MAPE, SMAPE). Метрики качества классификации: доля верных ответов, точность, полнота. Объединение точности и полноты, F-мера. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/lectures/lecture07-linclass-part2.pdf Слайды]] [[https://www.youtube.com/watch?v=J5pdWQvgjgM Запись лекции]]<br />
<br />
Лекция 8 (10.03.2021). Обучение линейных классификаторов через верхние оценки на функцию потерь. Метрики качества ранжирования: PR-кривая и ROC-кривая, площади под ними. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/lectures/lecture08-linclass.pdf Слайды]] [[https://www.youtube.com/watch?v=RM2OYu3kqG4 Запись лекции]]<br />
<br />
Лекция 9 (17.03.2021). Логистическая регрессия. Оценивание вероятностей. Логистическая функция потерь. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/lectures/lecture09-linclass.pdf Слайды]] [[https://www.youtube.com/watch?v=2J0_oMRUxoA Запись лекции]]<br />
<br />
Лекция 10 (24.03.2021). Метод опорных векторов. Многоклассовая классификация. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/lectures/lecture10-linclass.pdf Слайды]] [[https://www.youtube.com/watch?v=eLze-Mo6uaw Запись лекции]]<br />
<br />
Лекция 11 (07.04.2021). Решающие деревья. Поиск лучших предикатов и критерии информативности. Жадный алгоритм построения дерева. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/lectures/lecture11-trees.pdf Слайды]] [[https://www.youtube.com/watch?v=H-xIuocK4oY Запись лекции]]<br />
<br />
Лекция 12 (14.04.2021). Неустойчивость решающих деревьев. Разложение ошибки на смещение и разброс. Бэггинг. Случайный лес. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/lectures/lecture12-ensembles.pdf Слайды]] [[https://www.youtube.com/watch?v=JrA7O0Q_BFU Запись лекции]]<br />
<br />
Лекция 13 (21.04.2021). Градиентный бустинг. Последовательное обучение моделей на MSE. Общий вид градиентного бустинга. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/lectures/lecture13-ensembles.pdf Слайды]] [[https://www.youtube.com/watch?v=E6o-gwhs1ek Запись лекции]]<br />
<br />
Лекция 14 (12.05.2021). Градиентный бустинг. Регуляризация. Основные гиперпараметры. Вариации бустинга. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/lectures/lecture14-ensembles.pdf Слайды]] [[https://www.youtube.com/watch?v=HjZ8uQUxXpo Запись лекции]]<br />
<br />
Лекция 15 (19.05.2021). Отбор признаков. Одномерные методы. Отбор на основе моделей. Метод главных компонент. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/lectures/lecture15-reduction.pdf Слайды]] [[https://www.youtube.com/watch?v=6Zn6BSClyno Запись лекции]]<br />
<br />
Лекция 16 (26.05.2021). Кластеризация. K-Means. DBSCAN. Представления слов. Тематическое моделирование. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/lectures/lecture16-clustering.pdf Слайды]] [[https://www.youtube.com/watch?v=j_1F7eo_stE Запись лекции]]<br />
<br />
== Семинары ==<br />
<br />
Семинар 1: pandas; основы работы с таблицами, вычисление статистик, устранение пропусков. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/seminars/sem01_pandas.ipynb Ноутбук]]<br />
<br />
Семинар 2: numpy и основы линейной алгебры. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/seminars/sem02_numpy.ipynb Ноутбук]]<br />
<br />
Семинар 3: Визуализация данных. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/seminars/sem03_EDA.ipynb Ноутбук]]<br />
<br />
Семинар 4: Объектно-ориентированное программирование в Python. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/seminars/sem04_oop.ipynb Ноутбук]]<br />
<br />
Семинар 5: Введение в sklearn. KNN. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/seminars/sem05_sklearn_knn/sem05-sklearn-knn.ipynb Ноутбук]]<br />
<br />
Семинар 6: Линейная регрессия, функции потерь регресии, регуляризация. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/seminars/sem06_linreg/sem06_linreg_unsolved.ipynb Ноутбук]]<br />
<br />
Семинар 7: Градиентный спуск. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/seminars/sem07_grad.ipynb Ноутбук]]<br />
<br />
Семинар 8: Линейная классификация. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/seminars/sem08_linclass.ipynb Ноутбук]]<br />
<br />
Семинар 9: Логистическая регрессия и SVM. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/seminars/sem09_logit_svm/sem09_logit_svm.ipynb Ноутбук]]<br />
<br />
Семинар 10: Обработка текстов. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/seminars/sem10_texts.ipynb Ноутбук]]<br />
<br />
Семинар 11: Калибровка вероятностей. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/seminars/sem11_multiclass_calibration.ipynb Ноутбук]]<br />
<br />
Семинар 12: Решающие деревья. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/seminars/sem12_trees/sem12_trees.ipynb Ноутбук]]<br />
<br />
Семинар 13: Случайный лес. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/seminars/sem13_rf.ipynb Ноутбук]]<br />
<br />
Семинар 14: Бустинг, часть 1. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/seminars/sem14_boosting_part1.ipynb Ноутбук]]<br />
<br />
Семинар 15: Бустинг, часть 2. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/seminars/sem15_boostings/sem15_boostings_part2.ipynb Ноутбук]]<br />
<br />
Семинар 16: Задача понижения размерности. Генерация признаков. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/seminars/sem16_features/sem16_pca_features.ipynb Ноутбук]]<br />
<br />
Семинар 17: Кластеризация. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/seminars/sem17_clustering.ipynb Ноутбук]]<br />
<br />
== Практические задания ==<br />
<br />
За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются, но есть исключение. В течение семестра каждый студент может не более 2 раз сдать задание после жёсткого дедлайна — в этом случае за каждый день просрочки продолжает вычитаться по одному баллу (если не оговорено иное).<br />
<br />
В некоторых группах домашние задания могут отличаться. Уточняйте у семинариста.<br />
<br />
==== ДЗ 1. pandas ====<br />
<br />
[[https://github.com/hse-ds/iad-intro-ds/tree/master/2021/homeworks/hw01-pandas Ноутбук для заполнения и данные]]<br />
<br />
'''Дедлайн''': мягкий дедлайн 26 января 23:59, жесткий дедлайн 30 января 23:59.<br />
<br />
==== ДЗ 2. numpy ====<br />
<br />
[[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/homeworks/hw02-numpy.ipynb Ноутбук для заполнения]]<br />
<br />
'''Дедлайн''': мягкий дедлайн 2 февраля 23:59, жёсткий дедлайн 6 февраля 23:59.<br />
<br />
==== ДЗ 3. EDA и подготовка данных ====<br />
<br />
[[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/homeworks/hw03-EDA/hw03-EDA.ipynb Ноутбук для заполнения]]<br />
<br />
'''Дедлайн''': мягкий дедлайн 17 февраля 23:59, жёсткий дедлайн 21 февраля 23:59.<br />
<br />
==== ДЗ 4. kNN и линейная регрессия ====<br />
<br />
[[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/homeworks/hw04-knn_linreg/hw04.ipynb Ноутбук для заполнения]]<br />
<br />
'''Дедлайн''': мягкий дедлайн 10 марта 23:59, жёсткий дедлайн 14 марта 23:59.<br />
<br />
==== ДЗ 5. Градиентный спуск ====<br />
<br />
[[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/homeworks/hw05_gd.ipynb Ноутбук для заполнения]]<br />
<br />
'''Дедлайн''': мягкий дедлайн 6 апреля 23:59, жёсткий дедлайн 10 апреля 23:59.<br />
<br />
==== ДЗ 6. Работа с текстами ====<br />
<br />
[[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/homeworks/hw06-text/hw06.ipynb Ноутбук для заполнения]]<br />
<br />
'''Дедлайн''': мягкий дедлайн 23 апреля 23:59, жёсткий дедлайн 28 апреля 23:59.<br />
<br />
==== ДЗ 7. Деревья ====<br />
<br />
[[https://github.com/hse-ds/iad-intro-ds/tree/master/2021/homeworks/hw07-trees-rf Ноутбук для заполнения]]<br />
<br />
'''Дедлайн''': мягкий дедлайн 1 июня 23:59, жёсткий дедлайн 8 июня 23:59.<br />
<br />
== Соревнования ==<br />
<br />
===Правила участия и оценивания===<br />
В соревновании по анализу данных вам предлагается по имеющимся данным решить некоторую задачу, оптимизируя указанную метрику, и отправить ответы для заданного тестового множества. Максимальное количество посылок в сутки ограничено (как правило, разрешается сделать 2 посылки), ближе к концу соревнования вам будем необходимо выбрать 2 посылки, которые вы считаете лучшими. Тестовые данные делятся на публичные и приватные в некотором соотношении, на основе которых строятся публичный и приватный лидерборды соответственно, при этом публичный лидерборд доступен в течение всего соревнования, а приватный строится после его окончания для выбранных вами посылок.<br />
<br />
Студент, занявший в соревновании место i, получает оценку<br />
<br />
10 - 10 * (i - 1) / M,<br />
<br />
где M — количество студентов, принявших участие в соревновании;<br />
<br />
i — место (начиная с 1) студента в приватном лидерборде среди всех таких студентов.<br />
<br />
Чтобы вас не пропустили при проверке решений соревнования, '''необходимо''' использовать следующий формат для имени команды (вкладка Team): <br />
<br />
«Имя Фамилия номер_группы»<br />
<br />
В течение 3 суток после окончания соревнования в соответствующее задание на anytask необходимо прислать код, воспроизводящий ответы для посылки, фигурирующей в приватном лидерборде. В случае отсутствия кода, воспроизводящего результат, в установленный срок студенту выставляется 0 в качестве оценки за соревнование. Если не оговорено иное, использовать любые внешние данные в соревнованиях '''запрещено'''. Под внешними данными понимаются размеченные данные, где разметка имеет прямое отношение к решаемой задаче. Грубо говоря, сборник текстов с википедии не считается внешними данными.<br />
<br />
== Контрольная работа ==<br />
<br />
Контрольная работа состоится 21 апреля на лекции в 11:10.<br />
<br />
Вопросы для подготовки: https://docs.google.com/document/d/1RJ0P-XcpWRqmXW4mD9uSHKTJBcQiEp1nMoTCCqIO-Hg/edit?usp=sharing<br />
<br />
[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/kr/kr2021-var0.pdf Демо-вариант]<br />
<br />
На контрольной будет 4 вопроса. Два из них — по теории, где нужно будет объяснить одну из тем, разобранных на лекциях, или ответить на вопросы на понимание. Два вопроса — это задачи, примеры приведены ниже (но это просто для тренировки, список не исчерпывающий).<br />
<br />
Примеры задач:<br />
* Метрические методы, kNN [[http://nbviewer.jupyter.org/github/shestakoff/minor_da_2017/blob/master/colloc_knn.ipynb Примеры задач]]<br />
* Линейные методы [[https://github.com/esokolov/ml-minor-hse/blob/master/colloquium-2017/colloquium_minor_problems_linear.pdf Примеры задач]]<br />
* Решающие деревья [[https://github.com/esokolov/ml-minor-hse/blob/master/colloquium-2017/colloquium_minor_problems_trees.ipynb Примеры задач]]<br />
* Метрики качества [[https://github.com/esokolov/ml-minor-hse/blob/master/colloquium-2017/colloquium_minor_problems_metrics.ipynb Примеры задач]]<br />
<br />
== Экзамен ==<br />
<br />
Вопросы: https://docs.google.com/document/d/18kMS1f7NsdGEZy62MgfTGdgSq4P-6DVcnwr1ZJPLAqE/edit?usp=sharing<br />
<br />
[https://github.com/esokolov/ml-minor-hse/blob/master/exam-2017/exam_problems_example.pdf Примеры задач прошлого года] (также могут войти задачи из коллоквиума)<br />
<br />
==Полезные материалы==<br />
===Курсы по машинному обучению и анализу данных===<br />
Максимально близко к материалам курса: [https://www.coursera.org/specializations/machine-learning-from-statistics-to-neural-networks Специализация "Машинное обучение: от статистики до нейросетей"] (речь про два курса: "Основы машинного обучения" и "Продвинутые методы машинного обучения")<br />
<br />
Для тех, кто хочет подтянуть математику: [https://www.coursera.org/specializations/maths-for-data-analysis Специализация "Математика для анализа данных"]<br />
<br />
Более сложная версия этого курса с ПМИ: [[Машинное обучение 1]]<br />
<br />
Ещё материалы:<br />
* [http://www.machinelearning.ru/wiki/index.php?title=Машинное_обучение_%28курс_лекций%2C_К.В.Воронцов%29 Курс по машинному обучению К.В. Воронцова]<br />
* [https://yandexdataschool.ru/edu-process/courses/machine-learning Видеозаписи лекций курса Школы Анализа Данных, К.В. Воронцов]<br />
* [https://www.coursera.org/specializations/machine-learning-data-analysis Coursera: Машинное обучение и анализ данных (специализация)]<br />
* [https://www.coursera.org/learn/introduction-machine-learning Coursera: Введение в машинное обучение, К.В. Воронцов]<br />
* [https://www.coursera.org/learn/machine-learning Coursera: Machine Learning, Andrew Ng]<br />
<br />
===Статьи===<br />
* [http://www.toptal.com/machine-learning/machine-learning-theory-an-introductory-primer An Introduction to Machine Learning Theory and Its Applications: A Visual Tutorial with Examples]<br />
* [http://www.r2d3.us/visual-intro-to-machine-learning-part-1/ A Visual Introduction to Machine Learning]<br />
<br />
===Книги===<br />
* Mohammed J. Zaki, Wagner Meira Jr. Data Mining and Analysis. Fundamental Concepts and Algorithms. Cambridge University Press, 2014.<br />
* Boris Mirkin. Core Concepts in Data Analysis: Summarization, Correlation, Visualization. 2010.<br />
* James, Witten, Hastie, Tibshirani. An Introduction to Statistical Learning. 2013.<br />
<br />
== Страницы прошлых лет ==<br />
<br />
[[Введение_в_анализ_данных_(майнор_ИАД)_2019/2020 | 2019/20 учебный год]]<br />
<br />
[[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных | 2018/19 учебный год ]]<br />
<br />
[[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/2017-2018 | 2017/18 учебный год ]]<br />
<br />
[[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/2016-2017 | 2016/17 учебный год ]]<br />
<br />
[[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/2015-2016 | 2015/16 учебный год ]]<br />
<br />
[[Category:Майнор "Интеллектуальный анализ данных"]]</div>I.kosarevhttps://wiki.cs.hse.ru/index.php?title=%D0%92%D0%B2%D0%B5%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5_%D0%B2_%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85&diff=54802Введение в анализ данных2021-06-05T12:13:32Z<p>I.kosarev: </p>
<hr />
<div>== О курсе ==<br />
<br />
Курс читается для студентов 2-го курса [https://electives.hse.ru/minor_intel/ майнора ИАД] в 3-4 модулях.<br />
<br />
Проводится с 2015 года.<br />
<br />
'''Лектор:''' [http://www.hse.ru/staff/esokolov Соколов Евгений Андреевич]<br />
<br />
Лекции проходят онлайн по средам в 11:10.<br />
<br />
=== Полезные ссылки ===<br />
<br />
[https://www.hse.ru/edu/courses/416021030 Карточка курса и программа]<br />
<br />
[https://github.com/hse-ds/iad-intro-ds Репозиторий с материалами на GitHub]<br />
<br />
[https://www.youtube.com/playlist?list=PLEwK9wdS5g0pja3STykphSiuXzNEx5Gkw Записи занятий]<br />
<br />
Почта для сдачи домашних заданий (на самом деле задания сдаются в AnyTask, но если он не работает, то присылайте на почту): hse.minor.dm+<номер группы>@gmail.com (например, hse.minor.dm+3@gmail.com)<br />
<br />
Канал в telegram для объявлений: https://t.me/hs_iad_2021<br />
<br />
Чат в telegram для флуда: https://t.me/joinchat/Vuq4Lgi98RG22fQP<br />
<br />
Ссылка на курс в Anytask: https://anytask.org/course/779<br />
<br />
Таблица с оценками: https://docs.google.com/spreadsheets/d/13aZ9aQAqa0QUTniqAkPMlirWqPq6DfLwpIra2HJLwhk/edit?usp=sharing<br />
<br />
=== Семинары ===<br />
<br />
{| class="wikitable"<br />
|-<br />
! Группа !! Преподаватель !! Учебные ассистенты !! Zoom-конференция !! Ссылка на чат !! Материалы семинаров !! Инвайт в anytask <br />
|-<br />
| ИАД-1 || Илья Косарев || Саночкин Юрий, Пащенко Анатолий || [https://zoom.us/j/95260607985?pwd=NTAxSVhGV1UzdHF2M0N6Q2dKWElOQT09 Zoom] || [https://t.me/joinchat/SrL1GYfpaLeFxs4J Чат] || [https://github.com/PersDep/data-mining-intro-2021 Материалы] || GrodXoV<br />
|-<br />
| ИАД-2 || Надежда Чиркова || Екатерина Кострыкина, Александра Штарёва || [https://zoom.us/j/97891126155?pwd=bXk0c2oxRm9jWUJuRUJtRDl1elB2QT09 Zoom] || [https://t.me/joinchat/GnnT0omle1UE7HQ1 Чат] || [https://github.com/nadiinchi/iad2021 Материалы] || hHA6uvN<br />
|-<br />
| ИАД-3 || Елена Кантонистова || [https://t.me/mikezz_1 Михаил Олейник], [https://t.me/NikPatov Никита Патов ] || [https://zoom.us/j/93207072522?pwd=djlCL3pJc0JuNkJKZ3RvL21UQmFVQT09 Zoom] || [https://t.me/joinchat/GWgn8k5yOx1s4qD3 Чат] || || ewfZ2I8<br />
|-<br />
| ИАД-4 || Артём Филатов || Валерий Айхенвальд, Анастасия Бир || [https://zoom.us/j/95918149669?pwd=UUxuOEthSnVDZVU0WFhVNXM1UytEZz09 Zoom] || [https://t.me/joinchat/G3mbrYDFVm4gVitF Чат] || || 4TUKO0v<br />
|-<br />
| ИАД-5 || [https://t.me/vsomelyusik Владимир Омелюсик] || [https://t.me/aksenysh Аня Аксенова], Александр Габиташвили || [https://zoom.us/j/95997234634?pwd=SHVjUGM1a2hFTDNnZ1RmMm1xakpTQT09 Zoom] || [https://t.me/joinchat/GRjeFvGs5HBiIm38 Чат] || [https://github.com/V-Marco/hse_iad5_2021 Материалы] || Kre5emJ<br />
|-<br />
| ИАД-6 || Ася Карпова || Елена Гринкевич, Егор Масликов || [https://zoom.us/j/95210435451?pwd=UEZaR1FsTzZnclhDRnY2aEFEODJIQT09 Zoom] || [https://t.me/joinchat/TeYBnyU8bpTw3j93 Чат] || || nSuRKac<br />
|-<br />
| ИАД-7 || [https://t.me/OnixinO Тамерлан Таболов] || [https://t.me/Debasering Николай Аверьянов], [https://t.me/greyworgen Сергей Тихонов], [https://t.me/userwaskicked Никита Крайко] || [https://zoom.us/j/93740294916?pwd=S20vN3loUytFVk1EamQ4MDhhY0V4UT09 Zoom] || [https://t.me/joinchat/RHVp06vSXeAmedPu Чат] || || HO7xViO<br />
|-<br />
| БИ-1 || Антон Семёнкин || [https://t.me/nichtdeinetraumfrau Дарья Морозова], [https://t.me/caesiummm Михаил Никифоров] || [https://zoom.us/j/92491827270?pwd=RGczZ0szUnVxVUJOb0U5c1AvbWdhdz09 Zoom] || [https://t.me/joinchat/TMyUB5mUxXsY8TLZ Чат] || || aQWW7It<br />
|-<br />
| БИ-2 || Илья Косарев || Гусева Полина, Такташева Екатерина || [https://zoom.us/j/94624466609?pwd=ZnRhYy8zZmF0OFRhaHNDTjlCVFZxQT09 Zoom] || [https://t.me/joinchat/HKbLF0ki_iPqUjnY Чат] || [https://github.com/PersDep/data-mining-intro-2021 Материалы] || QFII7j8<br />
|-<br />
|}<br />
<br />
=== Правила выставления оценок ===<br />
<br />
В курсе предусмотрено несколько форм контроля знания:<br />
* Самостоятельные работы на семинарах, проверяющие знание основных фактов с лекций и семинаров<br />
* Практические домашние работы на Python<br />
* Контрольная где-то в середине курса<br />
* Письменный экзамен<br />
<br />
Итоговая оценка вычисляется на основе оценки за работу в семестре и оценки за экзамен:<br />
<br />
O<sub>итоговая</sub> = Округление(0.4 * ДЗ + 0.1 * ПР + 0.2 * КР + 0.3 * Э)<br />
<br />
ДЗ — средняя оценка за практические домашние задания<br />
<br />
ПР — средняя оценка за письменные проверочные работы на семинарах<br />
<br />
КР — оценка за контрольную работу<br />
<br />
Э — оценка за экзамен<br />
<br />
Округление арифметическое.<br />
<br />
=== Правила сдачи заданий ===<br />
<br />
За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются. Даже при опоздании на одну секунду. Сдавайте заранее.<br />
<br />
При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.<br />
<br />
При наличии уважительной причины пропущенную проверочную можно написать позднее, а дедлайн по домашнему заданию может быть перенесён. Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.<br />
<br />
== Лекции ==<br />
<br />
Лекция 1 (20.01.2021). Введение в машинное обучение и анализ данных. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/lectures/lecture01-intro.pdf Слайды]] [[https://www.youtube.com/watch?v=77fwOymbP2Y Запись лекции]]<br />
<br />
Лекция 2 (27.01.2021). Основные постановки задач. Метод k ближайших соседей. Измерение ошибки в задачах классификации. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/lectures/lecture02-knn.pdf Слайды]] [[https://www.youtube.com/watch?v=_6sxGoimhZM Запись лекции]]<br />
<br />
Лекция 3 (03.02.2021). Переобучение и обобщающая способность. Проверка обобщающей способности: отложенная выборка и кросс-валидация. Метод k ближайших соседей с весами. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/lectures/lecture03-knn.pdf Слайды]] [[https://www.youtube.com/watch?v=FswSp9w21PQ Запись лекции]]<br />
<br />
Лекция 4 (10.02.2021). kNN для регрессии. Модель линейной регрессии. Подготовка данных для линейной регрессии. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/lectures/lecture04-linregr.pdf Слайды]] [[https://www.youtube.com/watch?v=EfD8ujQmnHw Запись лекции]]<br />
<br />
Лекция 5 (17.02.2021). MSE для линейной регрессии в матричной форме. Аналитическая формула для оптимального вектора весов, её недостатки. Регуляризация линейных моделей. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/lectures/lecture05-linregr.pdf Слайды]] [[https://www.youtube.com/watch?v=BQh1BUco5FY Запись лекции]]<br />
<br />
Лекция 6 (24.02.2021). Интерпретация весов из линейной модели. Градиентый спуск. Мультистарт. Выбор длины шага. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/lectures/lecture06-linregr.pdf Слайды]] [[https://www.youtube.com/watch?v=wg51b2Wt96I Запись лекции]]<br />
<br />
Лекция 7 (3.03.2021). Стохастический градиентный спуск. Функции потерь в задачах регрессии. Линейный классификатор. Отступ. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/lectures/lecture07-linclass.pdf Слайды]] [[https://www.youtube.com/watch?v=zTWN_8hLDQw Запись лекции]]<br />
<br />
Лекция 7.5 (в записи). Относительная ошибка в регрессии (MAPE, SMAPE). Метрики качества классификации: доля верных ответов, точность, полнота. Объединение точности и полноты, F-мера. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/lectures/lecture07-linclass-part2.pdf Слайды]] [[https://www.youtube.com/watch?v=J5pdWQvgjgM Запись лекции]]<br />
<br />
Лекция 8 (10.03.2021). Обучение линейных классификаторов через верхние оценки на функцию потерь. Метрики качества ранжирования: PR-кривая и ROC-кривая, площади под ними. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/lectures/lecture08-linclass.pdf Слайды]] [[https://www.youtube.com/watch?v=RM2OYu3kqG4 Запись лекции]]<br />
<br />
Лекция 9 (17.03.2021). Логистическая регрессия. Оценивание вероятностей. Логистическая функция потерь. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/lectures/lecture09-linclass.pdf Слайды]] [[https://www.youtube.com/watch?v=2J0_oMRUxoA Запись лекции]]<br />
<br />
Лекция 10 (24.03.2021). Метод опорных векторов. Многоклассовая классификация. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/lectures/lecture10-linclass.pdf Слайды]] [[https://www.youtube.com/watch?v=eLze-Mo6uaw Запись лекции]]<br />
<br />
Лекция 11 (07.04.2021). Решающие деревья. Поиск лучших предикатов и критерии информативности. Жадный алгоритм построения дерева. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/lectures/lecture11-trees.pdf Слайды]] [[https://www.youtube.com/watch?v=H-xIuocK4oY Запись лекции]]<br />
<br />
Лекция 12 (14.04.2021). Неустойчивость решающих деревьев. Разложение ошибки на смещение и разброс. Бэггинг. Случайный лес. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/lectures/lecture12-ensembles.pdf Слайды]] [[https://www.youtube.com/watch?v=JrA7O0Q_BFU Запись лекции]]<br />
<br />
Лекция 13 (21.04.2021). Градиентный бустинг. Последовательное обучение моделей на MSE. Общий вид градиентного бустинга. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/lectures/lecture13-ensembles.pdf Слайды]] [[https://www.youtube.com/watch?v=E6o-gwhs1ek Запись лекции]]<br />
<br />
Лекция 14 (12.05.2021). Градиентный бустинг. Регуляризация. Основные гиперпараметры. Вариации бустинга. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/lectures/lecture14-ensembles.pdf Слайды]] [[https://www.youtube.com/watch?v=HjZ8uQUxXpo Запись лекции]]<br />
<br />
Лекция 15 (19.05.2021). Отбор признаков. Одномерные методы. Отбор на основе моделей. Метод главных компонент. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/lectures/lecture15-reduction.pdf Слайды]] [[https://www.youtube.com/watch?v=6Zn6BSClyno Запись лекции]]<br />
<br />
Лекция 16 (26.05.2021). Кластеризация. K-Means. DBSCAN. Представления слов. Тематическое моделирование. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/lectures/lecture16-clustering.pdf Слайды]] [[https://www.youtube.com/watch?v=j_1F7eo_stE Запись лекции]]<br />
<br />
== Семинары ==<br />
<br />
Семинар 1: pandas; основы работы с таблицами, вычисление статистик, устранение пропусков. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/seminars/sem01_pandas.ipynb Ноутбук]]<br />
<br />
Семинар 2: numpy и основы линейной алгебры. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/seminars/sem02_numpy.ipynb Ноутбук]]<br />
<br />
Семинар 3: Визуализация данных. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/seminars/sem03_EDA.ipynb Ноутбук]]<br />
<br />
Семинар 4: Объектно-ориентированное программирование в Python. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/seminars/sem04_oop.ipynb Ноутбук]]<br />
<br />
Семинар 5: Введение в sklearn. KNN. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/seminars/sem05_sklearn_knn/sem05-sklearn-knn.ipynb Ноутбук]]<br />
<br />
Семинар 6: Линейная регрессия, функции потерь регресии, регуляризация. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/seminars/sem06_linreg/sem06_linreg_unsolved.ipynb Ноутбук]]<br />
<br />
Семинар 7: Градиентный спуск. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/seminars/sem07_grad.ipynb Ноутбук]]<br />
<br />
Семинар 8: Линейная классификация. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/seminars/sem08_linclass.ipynb Ноутбук]]<br />
<br />
Семинар 9: Логистическая регрессия и SVM. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/seminars/sem09_logit_svm/sem09_logit_svm.ipynb Ноутбук]]<br />
<br />
Семинар 10: Обработка текстов. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/seminars/sem10_texts.ipynb Ноутбук]]<br />
<br />
Семинар 11: Калибровка вероятностей. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/seminars/sem11_multiclass_calibration.ipynb Ноутбук]]<br />
<br />
Семинар 12: Решающие деревья. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/seminars/sem12_trees/sem12_trees.ipynb Ноутбук]]<br />
<br />
Семинар 13: Случайный лес. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/seminars/sem13_rf.ipynb Ноутбук]]<br />
<br />
Семинар 14: Бустинг, часть 1. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/seminars/sem14_boosting_part1.ipynb Ноутбук]]<br />
<br />
Семинар 15: Бустинг, часть 2. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/seminars/sem15_boostings/sem15_boostings_part2.ipynb Ноутбук]]<br />
<br />
Семинар 16: Задача понижения размерности. Генерация признаков. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/seminars/sem16_features/sem16_pca_features.ipynb Ноутбук]]<br />
<br />
Семинар 17: Кластеризация. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/seminars/sem17_сlustering.ipynb Ноутбук]]<br />
<br />
== Практические задания ==<br />
<br />
За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются, но есть исключение. В течение семестра каждый студент может не более 2 раз сдать задание после жёсткого дедлайна — в этом случае за каждый день просрочки продолжает вычитаться по одному баллу (если не оговорено иное).<br />
<br />
В некоторых группах домашние задания могут отличаться. Уточняйте у семинариста.<br />
<br />
==== ДЗ 1. pandas ====<br />
<br />
[[https://github.com/hse-ds/iad-intro-ds/tree/master/2021/homeworks/hw01-pandas Ноутбук для заполнения и данные]]<br />
<br />
'''Дедлайн''': мягкий дедлайн 26 января 23:59, жесткий дедлайн 30 января 23:59.<br />
<br />
==== ДЗ 2. numpy ====<br />
<br />
[[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/homeworks/hw02-numpy.ipynb Ноутбук для заполнения]]<br />
<br />
'''Дедлайн''': мягкий дедлайн 2 февраля 23:59, жёсткий дедлайн 6 февраля 23:59.<br />
<br />
==== ДЗ 3. EDA и подготовка данных ====<br />
<br />
[[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/homeworks/hw03-EDA/hw03-EDA.ipynb Ноутбук для заполнения]]<br />
<br />
'''Дедлайн''': мягкий дедлайн 17 февраля 23:59, жёсткий дедлайн 21 февраля 23:59.<br />
<br />
==== ДЗ 4. kNN и линейная регрессия ====<br />
<br />
[[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/homeworks/hw04-knn_linreg/hw04.ipynb Ноутбук для заполнения]]<br />
<br />
'''Дедлайн''': мягкий дедлайн 10 марта 23:59, жёсткий дедлайн 14 марта 23:59.<br />
<br />
==== ДЗ 5. Градиентный спуск ====<br />
<br />
[[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/homeworks/hw05_gd.ipynb Ноутбук для заполнения]]<br />
<br />
'''Дедлайн''': мягкий дедлайн 6 апреля 23:59, жёсткий дедлайн 10 апреля 23:59.<br />
<br />
==== ДЗ 6. Работа с текстами ====<br />
<br />
[[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/homeworks/hw06-text/hw06.ipynb Ноутбук для заполнения]]<br />
<br />
'''Дедлайн''': мягкий дедлайн 23 апреля 23:59, жёсткий дедлайн 28 апреля 23:59.<br />
<br />
==== ДЗ 7. Деревья ====<br />
<br />
[[https://github.com/hse-ds/iad-intro-ds/tree/master/2021/homeworks/hw07-trees-rf Ноутбук для заполнения]]<br />
<br />
'''Дедлайн''': мягкий дедлайн 1 июня 23:59, жёсткий дедлайн 8 июня 23:59.<br />
<br />
== Соревнования ==<br />
<br />
===Правила участия и оценивания===<br />
В соревновании по анализу данных вам предлагается по имеющимся данным решить некоторую задачу, оптимизируя указанную метрику, и отправить ответы для заданного тестового множества. Максимальное количество посылок в сутки ограничено (как правило, разрешается сделать 2 посылки), ближе к концу соревнования вам будем необходимо выбрать 2 посылки, которые вы считаете лучшими. Тестовые данные делятся на публичные и приватные в некотором соотношении, на основе которых строятся публичный и приватный лидерборды соответственно, при этом публичный лидерборд доступен в течение всего соревнования, а приватный строится после его окончания для выбранных вами посылок.<br />
<br />
Студент, занявший в соревновании место i, получает оценку<br />
<br />
10 - 10 * (i - 1) / M,<br />
<br />
где M — количество студентов, принявших участие в соревновании;<br />
<br />
i — место (начиная с 1) студента в приватном лидерборде среди всех таких студентов.<br />
<br />
Чтобы вас не пропустили при проверке решений соревнования, '''необходимо''' использовать следующий формат для имени команды (вкладка Team): <br />
<br />
«Имя Фамилия номер_группы»<br />
<br />
В течение 3 суток после окончания соревнования в соответствующее задание на anytask необходимо прислать код, воспроизводящий ответы для посылки, фигурирующей в приватном лидерборде. В случае отсутствия кода, воспроизводящего результат, в установленный срок студенту выставляется 0 в качестве оценки за соревнование. Если не оговорено иное, использовать любые внешние данные в соревнованиях '''запрещено'''. Под внешними данными понимаются размеченные данные, где разметка имеет прямое отношение к решаемой задаче. Грубо говоря, сборник текстов с википедии не считается внешними данными.<br />
<br />
== Контрольная работа ==<br />
<br />
Контрольная работа состоится 21 апреля на лекции в 11:10.<br />
<br />
Вопросы для подготовки: https://docs.google.com/document/d/1RJ0P-XcpWRqmXW4mD9uSHKTJBcQiEp1nMoTCCqIO-Hg/edit?usp=sharing<br />
<br />
[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/kr/kr2021-var0.pdf Демо-вариант]<br />
<br />
На контрольной будет 4 вопроса. Два из них — по теории, где нужно будет объяснить одну из тем, разобранных на лекциях, или ответить на вопросы на понимание. Два вопроса — это задачи, примеры приведены ниже (но это просто для тренировки, список не исчерпывающий).<br />
<br />
Примеры задач:<br />
* Метрические методы, kNN [[http://nbviewer.jupyter.org/github/shestakoff/minor_da_2017/blob/master/colloc_knn.ipynb Примеры задач]]<br />
* Линейные методы [[https://github.com/esokolov/ml-minor-hse/blob/master/colloquium-2017/colloquium_minor_problems_linear.pdf Примеры задач]]<br />
* Решающие деревья [[https://github.com/esokolov/ml-minor-hse/blob/master/colloquium-2017/colloquium_minor_problems_trees.ipynb Примеры задач]]<br />
* Метрики качества [[https://github.com/esokolov/ml-minor-hse/blob/master/colloquium-2017/colloquium_minor_problems_metrics.ipynb Примеры задач]]<br />
<br />
== Экзамен ==<br />
<br />
Вопросы: https://docs.google.com/document/d/18kMS1f7NsdGEZy62MgfTGdgSq4P-6DVcnwr1ZJPLAqE/edit?usp=sharing<br />
<br />
[https://github.com/esokolov/ml-minor-hse/blob/master/exam-2017/exam_problems_example.pdf Примеры задач прошлого года] (также могут войти задачи из коллоквиума)<br />
<br />
==Полезные материалы==<br />
===Курсы по машинному обучению и анализу данных===<br />
Максимально близко к материалам курса: [https://www.coursera.org/specializations/machine-learning-from-statistics-to-neural-networks Специализация "Машинное обучение: от статистики до нейросетей"] (речь про два курса: "Основы машинного обучения" и "Продвинутые методы машинного обучения")<br />
<br />
Для тех, кто хочет подтянуть математику: [https://www.coursera.org/specializations/maths-for-data-analysis Специализация "Математика для анализа данных"]<br />
<br />
Более сложная версия этого курса с ПМИ: [[Машинное обучение 1]]<br />
<br />
Ещё материалы:<br />
* [http://www.machinelearning.ru/wiki/index.php?title=Машинное_обучение_%28курс_лекций%2C_К.В.Воронцов%29 Курс по машинному обучению К.В. Воронцова]<br />
* [https://yandexdataschool.ru/edu-process/courses/machine-learning Видеозаписи лекций курса Школы Анализа Данных, К.В. Воронцов]<br />
* [https://www.coursera.org/specializations/machine-learning-data-analysis Coursera: Машинное обучение и анализ данных (специализация)]<br />
* [https://www.coursera.org/learn/introduction-machine-learning Coursera: Введение в машинное обучение, К.В. Воронцов]<br />
* [https://www.coursera.org/learn/machine-learning Coursera: Machine Learning, Andrew Ng]<br />
<br />
===Статьи===<br />
* [http://www.toptal.com/machine-learning/machine-learning-theory-an-introductory-primer An Introduction to Machine Learning Theory and Its Applications: A Visual Tutorial with Examples]<br />
* [http://www.r2d3.us/visual-intro-to-machine-learning-part-1/ A Visual Introduction to Machine Learning]<br />
<br />
===Книги===<br />
* Mohammed J. Zaki, Wagner Meira Jr. Data Mining and Analysis. Fundamental Concepts and Algorithms. Cambridge University Press, 2014.<br />
* Boris Mirkin. Core Concepts in Data Analysis: Summarization, Correlation, Visualization. 2010.<br />
* James, Witten, Hastie, Tibshirani. An Introduction to Statistical Learning. 2013.<br />
<br />
== Страницы прошлых лет ==<br />
<br />
[[Введение_в_анализ_данных_(майнор_ИАД)_2019/2020 | 2019/20 учебный год]]<br />
<br />
[[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных | 2018/19 учебный год ]]<br />
<br />
[[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/2017-2018 | 2017/18 учебный год ]]<br />
<br />
[[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/2016-2017 | 2016/17 учебный год ]]<br />
<br />
[[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/2015-2016 | 2015/16 учебный год ]]<br />
<br />
[[Category:Майнор "Интеллектуальный анализ данных"]]</div>I.kosarevhttps://wiki.cs.hse.ru/index.php?title=%D0%92%D0%B2%D0%B5%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5_%D0%B2_%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85&diff=50961Введение в анализ данных2021-02-08T17:31:19Z<p>I.kosarev: </p>
<hr />
<div>== О курсе ==<br />
<br />
Курс читается для студентов 2-го курса [https://electives.hse.ru/minor_intel/ майнора ИАД] в 3-4 модулях.<br />
<br />
Проводится с 2015 года.<br />
<br />
'''Лектор:''' [http://www.hse.ru/staff/esokolov Соколов Евгений Андреевич]<br />
<br />
Лекции проходят онлайн по средам в 11:10.<br />
<br />
=== Полезные ссылки ===<br />
<br />
[https://www.hse.ru/edu/courses/416021030 Карточка курса и программа]<br />
<br />
[https://github.com/hse-ds/iad-intro-ds Репозиторий с материалами на GitHub]<br />
<br />
[https://www.youtube.com/playlist?list=PLEwK9wdS5g0pja3STykphSiuXzNEx5Gkw Записи занятий]<br />
<br />
Почта для сдачи домашних заданий (на самом деле задания сдаются в AnyTask, но если он не работает, то присылайте на почту): hse.minor.dm+<номер группы>@gmail.com (например, hse.minor.dm+3@gmail.com)<br />
<br />
Канал в telegram для объявлений: https://t.me/hs_iad_2021<br />
<br />
Чат в telegram для флуда: https://t.me/joinchat/Vuq4Lgi98RG22fQP<br />
<br />
Ссылка на курс в Anytask: https://anytask.org/course/779<br />
<br />
Таблица с оценками: https://docs.google.com/spreadsheets/d/13aZ9aQAqa0QUTniqAkPMlirWqPq6DfLwpIra2HJLwhk/edit?usp=sharing<br />
<br />
=== Семинары ===<br />
<br />
{| class="wikitable"<br />
|-<br />
! Группа !! Преподаватель !! Учебные ассистенты !! Zoom-конференция !! Ссылка на чат !! Материалы семинаров !! Инвайт в anytask <br />
|-<br />
| ИАД-1 || Илья Косарев || Саночкин Юрий, Пащенко Анатолий || [https://zoom.us/j/95260607985?pwd=NTAxSVhGV1UzdHF2M0N6Q2dKWElOQT09 Zoom] || [https://t.me/joinchat/SrL1GYfpaLeFxs4J Чат] || [https://github.com/PersDep/data-mining-intro-2021 Материалы] || GrodXoV<br />
|-<br />
| ИАД-2 || Надежда Чиркова || Екатерина Кострыкина, Александра Штарёва || [https://zoom.us/j/97891126155?pwd=bXk0c2oxRm9jWUJuRUJtRDl1elB2QT09 Zoom] || [https://t.me/joinchat/GnnT0omle1UE7HQ1 Чат] || ||<br />
|-<br />
| ИАД-3 || Елена Кантонистова || [https://t.me/mikezz_1 Михаил Олейник], [https://t.me/NikPatov Никита Патов ] || [https://zoom.us/j/93207072522?pwd=djlCL3pJc0JuNkJKZ3RvL21UQmFVQT09 Zoom] || [https://t.me/joinchat/GWgn8k5yOx1s4qD3 Чат] || || ewfZ2I8<br />
|-<br />
| ИАД-4 || Артём Филатов || Валерий Айхенвальд, Анастасия Бир || [https://zoom.us/j/95918149669?pwd=UUxuOEthSnVDZVU0WFhVNXM1UytEZz09 Zoom] || [https://t.me/joinchat/G3mbrYDFVm4gVitF Чат] || || 4TUKO0v<br />
|-<br />
| ИАД-5 || [https://t.me/vsomelyusik Владимир Омелюсик] || [https://t.me/aksenysh Аня Аксенова], Александр Габиташвили || [https://zoom.us/j/95997234634?pwd=SHVjUGM1a2hFTDNnZ1RmMm1xakpTQT09 Zoom] || [https://t.me/joinchat/GRjeFvGs5HBiIm38 Чат] || [https://github.com/V-Marco/hse_iad5_2021 Материалы] || Kre5emJ<br />
|-<br />
| ИАД-6 || Ася Карпова || Елена Гринкевич, Егор Масликов || [https://zoom.us/j/95210435451?pwd=UEZaR1FsTzZnclhDRnY2aEFEODJIQT09 Zoom] || [https://t.me/joinchat/TeYBnyU8bpTw3j93 Чат] || || nSuRKac<br />
|-<br />
| ИАД-7 || [https://t.me/OnixinO Тамерлан Таболов] || [https://t.me/Debasering Николай Аверьянов], [https://t.me/greyworgen Сергей Тихонов], [https://t.me/userwaskicked Никита Крайко] || [https://zoom.us/j/93740294916?pwd=S20vN3loUytFVk1EamQ4MDhhY0V4UT09 Zoom] || [https://t.me/joinchat/RHVp06vSXeAmedPu Чат] || || HO7xViO<br />
|-<br />
| БИ-1 || Антон Семёнкин || [https://t.me/nichtdeinetraumfrau Дарья Морозова], [https://t.me/caesiummm Михаил Никифоров] || [https://zoom.us/j/92491827270?pwd=RGczZ0szUnVxVUJOb0U5c1AvbWdhdz09 Zoom] || [https://t.me/joinchat/TMyUB5mUxXsY8TLZ Чат] || || aQWW7It<br />
|-<br />
| БИ-2 || Илья Косарев || Гусева Полина, Такташева Екатерина || [https://zoom.us/j/94624466609?pwd=ZnRhYy8zZmF0OFRhaHNDTjlCVFZxQT09 Zoom] || [https://t.me/joinchat/HKbLF0ki_iPqUjnY Чат] || [https://github.com/PersDep/data-mining-intro-2021 Материалы] || QFII7j8<br />
|-<br />
|}<br />
<br />
=== Правила выставления оценок ===<br />
<br />
В курсе предусмотрено несколько форм контроля знания:<br />
* Самостоятельные работы на семинарах, проверяющие знание основных фактов с лекций и семинаров<br />
* Практические домашние работы на Python<br />
* Контрольная где-то в середине курса<br />
* Письменный экзамен<br />
<br />
Итоговая оценка вычисляется на основе оценки за работу в семестре и оценки за экзамен:<br />
<br />
O<sub>итоговая</sub> = Округление(0.4 * ДЗ + 0.1 * ПР + 0.2 * КР + 0.3 * Э)<br />
<br />
ДЗ — средняя оценка за практические домашние задания<br />
<br />
ПР — средняя оценка за письменные проверочные работы на семинарах<br />
<br />
КР — оценка за контрольную работу<br />
<br />
Э — оценка за экзамен<br />
<br />
Округление арифметическое.<br />
<br />
=== Правила сдачи заданий ===<br />
<br />
За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются. Даже при опоздании на одну секунду. Сдавайте заранее.<br />
<br />
При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.<br />
<br />
При наличии уважительной причины пропущенную проверочную можно написать позднее, а дедлайн по домашнему заданию может быть перенесён. Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.<br />
<br />
== Лекции ==<br />
<br />
Лекция 1 (20.01.2021). Введение в машинное обучение и анализ данных. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/lectures/lecture01-intro.pdf Слайды]] [[https://www.youtube.com/watch?v=77fwOymbP2Y Запись лекции]]<br />
<br />
Лекция 2 (27.01.2021). Основные постановки задач. Метод k ближайших соседей. Измерение ошибки в задачах классификации. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/lectures/lecture02-knn.pdf Слайды]] [[https://www.youtube.com/watch?v=_6sxGoimhZM Запись лекции]]<br />
<br />
Лекция 3 (03.02.2021). Переобучение и обобщающая способность. Проверка обобщающей способности: отложенная выборка и кросс-валидация. Метод k ближайших соседей с весами. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/lectures/lecture03-knn.pdf Слайды]] [[https://www.youtube.com/watch?v=FswSp9w21PQ Запись лекции]]<br />
<br />
== Семинары ==<br />
<br />
Семинар 1: pandas; основы работы с таблицами, вычисление статистик, устранение пропусков. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/seminars/sem01_pandas.ipynb Ноутбук]]<br />
<br />
Семинар 2: numpy и основы линейной алгебры. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/seminars/sem02_numpy.ipynb Ноутбук]]<br />
<br />
Семинар 3: визуализация данных. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/seminars/sem03_EDA.ipynb Ноутбук]]<br />
<br />
== Практические задания ==<br />
<br />
За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются, но есть исключение. В течение семестра каждый студент может не более 2 раз сдать задание после жёсткого дедлайна — в этом случае за каждый день просрочки продолжает вычитаться по одному баллу (если не оговорено иное).<br />
<br />
В некоторых группах домашние задания могут отличаться. Уточняйте у семинариста.<br />
<br />
1. pandas. [[https://github.com/hse-ds/iad-intro-ds/tree/master/2021/homeworks/hw01-pandas Ноутбук для заполнения и данные]]<br />
<br />
2. numpy. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/homeworks/hw02-numpy.ipynb Ноутбук для заполнения]]<br />
<br />
3. EDA и подготовка данных. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/homeworks/hw03-EDA/hw03-EDA.ipynb Ноутбук для заполнения]]<br />
<br />
== Соревнования ==<br />
<br />
===Правила участия и оценивания===<br />
В соревновании по анализу данных вам предлагается по имеющимся данным решить некоторую задачу, оптимизируя указанную метрику, и отправить ответы для заданного тестового множества. Максимальное количество посылок в сутки ограничено (как правило, разрешается сделать 2 посылки), ближе к концу соревнования вам будем необходимо выбрать 2 посылки, которые вы считаете лучшими. Тестовые данные делятся на публичные и приватные в некотором соотношении, на основе которых строятся публичный и приватный лидерборды соответственно, при этом публичный лидерборд доступен в течение всего соревнования, а приватный строится после его окончания для выбранных вами посылок.<br />
<br />
Студент, занявший в соревновании место i, получает оценку<br />
<br />
10 - 10 * (i - 1) / M,<br />
<br />
где M — количество студентов, принявших участие в соревновании;<br />
<br />
i — место (начиная с 1) студента в приватном лидерборде среди всех таких студентов.<br />
<br />
Чтобы вас не пропустили при проверке решений соревнования, '''необходимо''' использовать следующий формат для имени команды (вкладка Team): <br />
<br />
«Имя Фамилия номер_группы»<br />
<br />
В течение 3 суток после окончания соревнования в соответствующее задание на anytask необходимо прислать код, воспроизводящий ответы для посылки, фигурирующей в приватном лидерборде. В случае отсутствия кода, воспроизводящего результат, в установленный срок студенту выставляется 0 в качестве оценки за соревнование. Если не оговорено иное, использовать любые внешние данные в соревнованиях '''запрещено'''. Под внешними данными понимаются размеченные данные, где разметка имеет прямое отношение к решаемой задаче. Грубо говоря, сборник текстов с википедии не считается внешними данными.<br />
<br />
== Контрольная работа ==<br />
<br />
Вопросы для подготовки с прошлого года: https://docs.google.com/document/d/1yuB17EoXyVSxqRslpFTKX97Kriuxn4lgFL5z4kQF9lU/edit?usp=sharing<br />
<br />
На контрольной будет 4 вопроса. Два из них — по теории, где нужно будет объяснить одну из тем, разобранных на лекциях, или ответить на вопросы на понимание. Два вопроса — это задачи, примеры приведены ниже.<br />
<br />
Примеры задач:<br />
* Метрические методы, kNN [[http://nbviewer.jupyter.org/github/shestakoff/minor_da_2017/blob/master/colloc_knn.ipynb Примеры задач]]<br />
* Линейные методы [[https://github.com/esokolov/ml-minor-hse/blob/master/colloquium-2017/colloquium_minor_problems_linear.pdf Примеры задач]]<br />
* Решающие деревья [[https://github.com/esokolov/ml-minor-hse/blob/master/colloquium-2017/colloquium_minor_problems_trees.ipynb Примеры задач]]<br />
* Метрики качества [[https://github.com/esokolov/ml-minor-hse/blob/master/colloquium-2017/colloquium_minor_problems_metrics.ipynb Примеры задач]]<br />
<br />
== Экзамен ==<br />
<br />
Вопросы: https://docs.google.com/document/d/18kMS1f7NsdGEZy62MgfTGdgSq4P-6DVcnwr1ZJPLAqE/edit?usp=sharing<br />
<br />
[https://github.com/esokolov/ml-minor-hse/blob/master/exam-2017/exam_problems_example.pdf Примеры задач прошлого года] (также могут войти задачи из коллоквиума)<br />
<br />
==Полезные материалы==<br />
===Курсы по машинному обучению и анализу данных===<br />
Максимально близко к материалам курса: [https://www.coursera.org/specializations/machine-learning-from-statistics-to-neural-networks Специализация "Машинное обучение: от статистики до нейросетей"] (речь про два курса: "Основы машинного обучения" и "Продвинутые методы машинного обучения")<br />
<br />
Для тех, кто хочет подтянуть математику: [https://www.coursera.org/specializations/maths-for-data-analysis Специализация "Математика для анализа данных"]<br />
<br />
Более сложная версия этого курса с ПМИ: [[Машинное обучение 1]]<br />
<br />
Ещё материалы:<br />
* [http://www.machinelearning.ru/wiki/index.php?title=Машинное_обучение_%28курс_лекций%2C_К.В.Воронцов%29 Курс по машинному обучению К.В. Воронцова]<br />
* [https://yandexdataschool.ru/edu-process/courses/machine-learning Видеозаписи лекций курса Школы Анализа Данных, К.В. Воронцов]<br />
* [https://www.coursera.org/specializations/machine-learning-data-analysis Coursera: Машинное обучение и анализ данных (специализация)]<br />
* [https://www.coursera.org/learn/introduction-machine-learning Coursera: Введение в машинное обучение, К.В. Воронцов]<br />
* [https://www.coursera.org/learn/machine-learning Coursera: Machine Learning, Andrew Ng]<br />
<br />
===Статьи===<br />
* [http://www.toptal.com/machine-learning/machine-learning-theory-an-introductory-primer An Introduction to Machine Learning Theory and Its Applications: A Visual Tutorial with Examples]<br />
* [http://www.r2d3.us/visual-intro-to-machine-learning-part-1/ A Visual Introduction to Machine Learning]<br />
<br />
===Книги===<br />
* Mohammed J. Zaki, Wagner Meira Jr. Data Mining and Analysis. Fundamental Concepts and Algorithms. Cambridge University Press, 2014.<br />
* Boris Mirkin. Core Concepts in Data Analysis: Summarization, Correlation, Visualization. 2010.<br />
* James, Witten, Hastie, Tibshirani. An Introduction to Statistical Learning. 2013.<br />
<br />
== Страницы прошлых лет ==<br />
<br />
[[Введение_в_анализ_данных_(майнор_ИАД)_2019/2020 | 2019/20 учебный год]]<br />
<br />
[[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных | 2018/19 учебный год ]]<br />
<br />
[[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/2017-2018 | 2017/18 учебный год ]]<br />
<br />
[[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/2016-2017 | 2016/17 учебный год ]]<br />
<br />
[[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/2015-2016 | 2015/16 учебный год ]]<br />
<br />
[[Category:Майнор "Интеллектуальный анализ данных"]]</div>I.kosarevhttps://wiki.cs.hse.ru/index.php?title=%D0%92%D0%B2%D0%B5%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5_%D0%B2_%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85&diff=50294Введение в анализ данных2021-01-25T15:46:23Z<p>I.kosarev: </p>
<hr />
<div>== О курсе ==<br />
<br />
Курс читается для студентов 2-го курса [https://electives.hse.ru/minor_intel/ майнора ИАД] в 3-4 модулях.<br />
<br />
Проводится с 2015 года.<br />
<br />
'''Лектор:''' [http://www.hse.ru/staff/esokolov Соколов Евгений Андреевич]<br />
<br />
Лекции проходят онлайн по средам в 11:10.<br />
<br />
=== Полезные ссылки ===<br />
<br />
[https://www.hse.ru/edu/courses/416021030 Карточка курса и программа]<br />
<br />
[https://github.com/hse-ds/iad-intro-ds Репозиторий с материалами на GitHub]<br />
<br />
Почта для сдачи домашних заданий (на самом деле задания сдаются в AnyTask, но если он не работает, то присылайте на почту): hse.minor.dm+<номер группы>@gmail.com (например, hse.minor.dm+3@gmail.com)<br />
<br />
Канал в telegram для объявлений: https://t.me/hs_iad_2021<br />
<br />
Чат в telegram для флуда: https://t.me/joinchat/Vuq4Lgi98RG22fQP<br />
<br />
Ссылка на курс в Anytask: https://anytask.org/course/779<br />
<br />
Таблица с оценками:<br />
<br />
=== Семинары ===<br />
<br />
{| class="wikitable"<br />
|-<br />
! Группа !! Преподаватель !! Учебные ассистенты !! Zoom-конференция !! Ссылка на чат !! Материалы семинаров !! Инвайт в anytask <br />
|-<br />
| ИАД-1 || Илья Косарев || Саночкин Юрий, Пащенко Анатолий || [https://zoom.us/j/95260607985?pwd=NTAxSVhGV1UzdHF2M0N6Q2dKWElOQT09 Zoom] || [https://t.me/joinchat/SrL1GYfpaLeFxs4J Чат] || [https://github.com/PersDep/data-mining-intro-2021 Материалы] || GrodXoV<br />
|-<br />
| ИАД-2 || Надежда Чиркова || Екатерина Кострыкина, Александра Штарёва || [https://zoom.us/j/97891126155?pwd=bXk0c2oxRm9jWUJuRUJtRDl1elB2QT09 Zoom] || [https://t.me/joinchat/GnnT0omle1UE7HQ1 Чат] || ||<br />
|-<br />
| ИАД-3 || Елена Кантонистова || [https://t.me/mikezz_1 Михаил Олейник], [https://t.me/NikPatov Никита Патов ] || [https://zoom.us/j/93207072522?pwd=djlCL3pJc0JuNkJKZ3RvL21UQmFVQT09 Zoom] || [https://t.me/joinchat/GWgn8k5yOx1s4qD3 Чат] || || ewfZ2I8<br />
|-<br />
| ИАД-4 || Артём Филатов || Валерий Айхенвальд, Анастасия Бир || [https://zoom.us/j/95918149669?pwd=UUxuOEthSnVDZVU0WFhVNXM1UytEZz09 Zoom] || [https://t.me/joinchat/G3mbrYDFVm4gVitF Чат] || || 4TUKO0v<br />
|-<br />
| ИАД-5 || [https://t.me/vsomelyusik Владимир Омелюсик] || [https://t.me/aksenysh Аня Аксенова], Александр Габиташвили || [https://zoom.us/j/95997234634?pwd=SHVjUGM1a2hFTDNnZ1RmMm1xakpTQT09 Zoom] || [https://t.me/joinchat/GRjeFvGs5HBiIm38 Чат] || [https://github.com/V-Marco/hse_iad5_2021 Материалы] || Kre5emJ<br />
|-<br />
| ИАД-6 || Ася Карпова || Елена Гринкевич, Егор Масликов || [https://zoom.us/j/95210435451?pwd=UEZaR1FsTzZnclhDRnY2aEFEODJIQT09 Zoom] || [https://t.me/joinchat/TeYBnyU8bpTw3j93 Чат] || || nSuRKac<br />
|-<br />
| ИАД-7 || [https://t.me/OnixinO Тамерлан Таболов] || [https://t.me/Debasering Николай Аверьянов], [https://t.me/greyworgen Сергей Тихонов], [https://t.me/userwaskicked Никита Крайко] || [https://zoom.us/j/93740294916?pwd=S20vN3loUytFVk1EamQ4MDhhY0V4UT09 Zoom] || [https://t.me/joinchat/RHVp06vSXeAmedPu Чат] || ||<br />
|-<br />
| БИ-1 || Антон Семёнкин || [https://t.me/nichtdeinetraumfrau Дарья Морозова], [https://t.me/caesiummm Михаил Никифоров] || TBA || [https://t.me/joinchat/TMyUB5mUxXsY8TLZ Чат] || || aQWW7It<br />
|-<br />
| БИ-2 || Илья Косарев || Гусева Полина, Такташева Екатерина || [https://zoom.us/j/94624466609?pwd=ZnRhYy8zZmF0OFRhaHNDTjlCVFZxQT09 Zoom] || [https://t.me/joinchat/HKbLF0ki_iPqUjnY Чат] || [https://github.com/PersDep/data-mining-intro-2021 Материалы] || QFII7j8<br />
|-<br />
|}<br />
<br />
=== Правила выставления оценок ===<br />
<br />
В курсе предусмотрено несколько форм контроля знания:<br />
* Самостоятельные работы на семинарах, проверяющие знание основных фактов с лекций и семинаров<br />
* Практические домашние работы на Python<br />
* Контрольная где-то в середине курса<br />
* Письменный экзамен<br />
<br />
Итоговая оценка вычисляется на основе оценки за работу в семестре и оценки за экзамен:<br />
<br />
O<sub>итоговая</sub> = Округление(0.4 * ДЗ + 0.1 * ПР + 0.2 * КР + 0.3 * Э)<br />
<br />
ДЗ — средняя оценка за практические домашние задания<br />
<br />
ПР — средняя оценка за письменные проверочные работы на семинарах<br />
<br />
КР — оценка за контрольную работу<br />
<br />
Э — оценка за экзамен<br />
<br />
Округление арифметическое.<br />
<br />
=== Правила сдачи заданий ===<br />
<br />
За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются. Даже при опоздании на одну секунду. Сдавайте заранее.<br />
<br />
При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.<br />
<br />
При наличии уважительной причины пропущенную проверочную можно написать позднее, а дедлайн по домашнему заданию может быть перенесён. Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.<br />
<br />
== Лекции ==<br />
<br />
Лекция 1 (20.01.2020). Введение в машинное обучение и анализ данных. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/lectures/lecture01-intro.pdf Слайды]] [[https://www.youtube.com/watch?v=77fwOymbP2Y Запись лекции]]<br />
<br />
== Семинары ==<br />
<br />
== Практические задания ==<br />
<br />
За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются, но есть исключение. В течение семестра каждый студент может не более 2 раз сдать задание после жёсткого дедлайна — в этом случае за каждый день просрочки продолжает вычитаться по одному баллу (если не оговорено иное).<br />
<br />
В некоторых группах домашние задания могут отличаться. Уточняйте у семинариста.<br />
<br />
== Соревнования ==<br />
<br />
===Правила участия и оценивания===<br />
В соревновании по анализу данных вам предлагается по имеющимся данным решить некоторую задачу, оптимизируя указанную метрику, и отправить ответы для заданного тестового множества. Максимальное количество посылок в сутки ограничено (как правило, разрешается сделать 2 посылки), ближе к концу соревнования вам будем необходимо выбрать 2 посылки, которые вы считаете лучшими. Тестовые данные делятся на публичные и приватные в некотором соотношении, на основе которых строятся публичный и приватный лидерборды соответственно, при этом публичный лидерборд доступен в течение всего соревнования, а приватный строится после его окончания для выбранных вами посылок.<br />
<br />
Студент, занявший в соревновании место i, получает оценку<br />
<br />
10 - 10 * (i - 1) / M,<br />
<br />
где M — количество студентов, принявших участие в соревновании;<br />
<br />
i — место (начиная с 1) студента в приватном лидерборде среди всех таких студентов.<br />
<br />
Чтобы вас не пропустили при проверке решений соревнования, '''необходимо''' использовать следующий формат для имени команды (вкладка Team): <br />
<br />
«Имя Фамилия номер_группы»<br />
<br />
В течение 3 суток после окончания соревнования в соответствующее задание на anytask необходимо прислать код, воспроизводящий ответы для посылки, фигурирующей в приватном лидерборде. В случае отсутствия кода, воспроизводящего результат, в установленный срок студенту выставляется 0 в качестве оценки за соревнование. Если не оговорено иное, использовать любые внешние данные в соревнованиях '''запрещено'''. Под внешними данными понимаются размеченные данные, где разметка имеет прямое отношение к решаемой задаче. Грубо говоря, сборник текстов с википедии не считается внешними данными.<br />
<br />
== Контрольная работа ==<br />
<br />
Вопросы для подготовки с прошлого года: https://docs.google.com/document/d/1yuB17EoXyVSxqRslpFTKX97Kriuxn4lgFL5z4kQF9lU/edit?usp=sharing<br />
<br />
На контрольной будет 4 вопроса. Два из них — по теории, где нужно будет объяснить одну из тем, разобранных на лекциях, или ответить на вопросы на понимание. Два вопроса — это задачи, примеры приведены ниже.<br />
<br />
Примеры задач:<br />
* Метрические методы, kNN [[http://nbviewer.jupyter.org/github/shestakoff/minor_da_2017/blob/master/colloc_knn.ipynb Примеры задач]]<br />
* Линейные методы [[https://github.com/esokolov/ml-minor-hse/blob/master/colloquium-2017/colloquium_minor_problems_linear.pdf Примеры задач]]<br />
* Решающие деревья [[https://github.com/esokolov/ml-minor-hse/blob/master/colloquium-2017/colloquium_minor_problems_trees.ipynb Примеры задач]]<br />
* Метрики качества [[https://github.com/esokolov/ml-minor-hse/blob/master/colloquium-2017/colloquium_minor_problems_metrics.ipynb Примеры задач]]<br />
<br />
== Экзамен ==<br />
<br />
Вопросы: https://docs.google.com/document/d/18kMS1f7NsdGEZy62MgfTGdgSq4P-6DVcnwr1ZJPLAqE/edit?usp=sharing<br />
<br />
[https://github.com/esokolov/ml-minor-hse/blob/master/exam-2017/exam_problems_example.pdf Примеры задач прошлого года] (также могут войти задачи из коллоквиума)<br />
<br />
==Полезные материалы==<br />
===Курсы по машинному обучению и анализу данных===<br />
Максимально близко к материалам курса: [https://www.coursera.org/specializations/machine-learning-from-statistics-to-neural-networks Специализация "Машинное обучение: от статистики до нейросетей"] (речь про два курса: "Основы машинного обучения" и "Продвинутые методы машинного обучения")<br />
<br />
Для тех, кто хочет подтянуть математику: [https://www.coursera.org/specializations/maths-for-data-analysis Специализация "Математика для анализа данных"]<br />
<br />
Более сложная версия этого курса с ПМИ: [[Машинное обучение 1]]<br />
<br />
Ещё материалы:<br />
* [http://www.machinelearning.ru/wiki/index.php?title=Машинное_обучение_%28курс_лекций%2C_К.В.Воронцов%29 Курс по машинному обучению К.В. Воронцова]<br />
* [https://yandexdataschool.ru/edu-process/courses/machine-learning Видеозаписи лекций курса Школы Анализа Данных, К.В. Воронцов]<br />
* [https://www.coursera.org/specializations/machine-learning-data-analysis Coursera: Машинное обучение и анализ данных (специализация)]<br />
* [https://www.coursera.org/learn/introduction-machine-learning Coursera: Введение в машинное обучение, К.В. Воронцов]<br />
* [https://www.coursera.org/learn/machine-learning Coursera: Machine Learning, Andrew Ng]<br />
<br />
===Статьи===<br />
* [http://www.toptal.com/machine-learning/machine-learning-theory-an-introductory-primer An Introduction to Machine Learning Theory and Its Applications: A Visual Tutorial with Examples]<br />
* [http://www.r2d3.us/visual-intro-to-machine-learning-part-1/ A Visual Introduction to Machine Learning]<br />
<br />
===Книги===<br />
* Mohammed J. Zaki, Wagner Meira Jr. Data Mining and Analysis. Fundamental Concepts and Algorithms. Cambridge University Press, 2014.<br />
* Boris Mirkin. Core Concepts in Data Analysis: Summarization, Correlation, Visualization. 2010.<br />
* James, Witten, Hastie, Tibshirani. An Introduction to Statistical Learning. 2013.<br />
<br />
== Страницы прошлых лет ==<br />
<br />
[[Введение_в_анализ_данных_(майнор_ИАД)_2019/2020 | 2019/20 учебный год]]<br />
<br />
[[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных | 2018/19 учебный год ]]<br />
<br />
[[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/2017-2018 | 2017/18 учебный год ]]<br />
<br />
[[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/2016-2017 | 2016/17 учебный год ]]<br />
<br />
[[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/2015-2016 | 2015/16 учебный год ]]<br />
<br />
[[Category:Майнор "Интеллектуальный анализ данных"]]</div>I.kosarevhttps://wiki.cs.hse.ru/index.php?title=%D0%92%D0%B2%D0%B5%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5_%D0%B2_%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85&diff=50282Введение в анализ данных2021-01-25T13:59:01Z<p>I.kosarev: </p>
<hr />
<div>== О курсе ==<br />
<br />
Курс читается для студентов 2-го курса [https://electives.hse.ru/minor_intel/ майнора ИАД] в 3-4 модулях.<br />
<br />
Проводится с 2015 года.<br />
<br />
'''Лектор:''' [http://www.hse.ru/staff/esokolov Соколов Евгений Андреевич]<br />
<br />
Лекции проходят онлайн по средам в 11:10.<br />
<br />
=== Полезные ссылки ===<br />
<br />
[https://www.hse.ru/edu/courses/416021030 Карточка курса и программа]<br />
<br />
[https://github.com/hse-ds/iad-intro-ds Репозиторий с материалами на GitHub]<br />
<br />
Почта для сдачи домашних заданий (на самом деле задания сдаются в AnyTask, но если он не работает, то присылайте на почту): hse.minor.dm+<номер группы>@gmail.com (например, hse.minor.dm+3@gmail.com)<br />
<br />
Канал в telegram для объявлений: https://t.me/hs_iad_2021<br />
<br />
Чат в telegram для флуда: https://t.me/joinchat/Vuq4Lgi98RG22fQP<br />
<br />
Ссылка на курс в Anytask: https://anytask.org/course/779<br />
<br />
Таблица с оценками:<br />
<br />
=== Семинары ===<br />
<br />
{| class="wikitable"<br />
|-<br />
! Группа !! Преподаватель !! Учебные ассистенты !! Zoom-конференция !! Ссылка на чат !! Материалы семинаров !! Инвайт в anytask <br />
|-<br />
| ИАД-1 || Илья Косарев || Саночкин Юрий, Пащенко Анатолий || [https://zoom.us/j/95260607985?pwd=NTAxSVhGV1UzdHF2M0N6Q2dKWElOQT09 Zoom] || [https://t.me/joinchat/SrL1GYfpaLeFxs4J Чат] || [https://github.com/PersDep/data-mining-intro-2021 Материалы] || GrodXoV<br />
|-<br />
| ИАД-2 || Надежда Чиркова || Екатерина Кострыкина, Александра Штарёва || [https://zoom.us/j/97891126155?pwd=bXk0c2oxRm9jWUJuRUJtRDl1elB2QT09 Zoom] || [https://t.me/joinchat/GnnT0omle1UE7HQ1 Чат] || ||<br />
|-<br />
| ИАД-3 || Елена Кантонистова || [https://t.me/mikezz_1 Михаил Олейник], [https://t.me/NikPatov Никита Патов ] || [https://zoom.us/j/93207072522?pwd=djlCL3pJc0JuNkJKZ3RvL21UQmFVQT09 Zoom] || [https://t.me/joinchat/GWgn8k5yOx1s4qD3 Чат] || || ewfZ2I8<br />
|-<br />
| ИАД-4 || Артём Филатов || Валерий Айхенвальд, Анастасия Бир || [https://zoom.us/j/95918149669?pwd=UUxuOEthSnVDZVU0WFhVNXM1UytEZz09 Zoom] || [https://t.me/joinchat/G3mbrYDFVm4gVitF Чат] || || 4TUKO0v<br />
|-<br />
| ИАД-5 || [https://t.me/vsomelyusik Владимир Омелюсик] || [https://t.me/aksenysh Аня Аксенова], Александр Габиташвили || [https://zoom.us/j/95997234634?pwd=SHVjUGM1a2hFTDNnZ1RmMm1xakpTQT09 Zoom] || [https://t.me/joinchat/GRjeFvGs5HBiIm38 Чат] || [https://github.com/V-Marco/hse_iad5_2021 Материалы] || Kre5emJ<br />
|-<br />
| ИАД-6 || Ася Карпова || Елена Гринкевич, Егор Масликов || [https://zoom.us/j/95210435451?pwd=UEZaR1FsTzZnclhDRnY2aEFEODJIQT09 Zoom] || [https://t.me/joinchat/TeYBnyU8bpTw3j93 Чат] || || nSuRKac<br />
|-<br />
| ИАД-7 || [https://t.me/OnixinO Тамерлан Таболов] || [https://t.me/Debasering Николай Аверьянов], [https://t.me/greyworgen Сергей Тихонов], [https://t.me/userwaskicked Никита Крайко] || [https://zoom.us/j/93740294916?pwd=S20vN3loUytFVk1EamQ4MDhhY0V4UT09 Zoom] || [https://t.me/joinchat/RHVp06vSXeAmedPu Чат] || ||<br />
|-<br />
| БИ-1 || Антон Семёнкин || [https://t.me/nichtdeinetraumfrau Дарья Морозова], [https://t.me/caesiummm Михаил Никифоров] || TBA || [https://t.me/joinchat/TMyUB5mUxXsY8TLZ Чат] || || aQWW7It<br />
|-<br />
| БИ-2 || Илья Косарев || Гусева Полина, Такташева Екатерина || [https://zoom.us/j/94624466609?pwd=ZnRhYy8zZmF0OFRhaHNDTjlCVFZxQT09 Zoom] || [https://t.me/joinchat/HKbLF0ki_iPqUjnY Чат] || || QFII7j8<br />
|-<br />
|}<br />
<br />
=== Правила выставления оценок ===<br />
<br />
В курсе предусмотрено несколько форм контроля знания:<br />
* Самостоятельные работы на семинарах, проверяющие знание основных фактов с лекций и семинаров<br />
* Практические домашние работы на Python<br />
* Контрольная где-то в середине курса<br />
* Письменный экзамен<br />
<br />
Итоговая оценка вычисляется на основе оценки за работу в семестре и оценки за экзамен:<br />
<br />
O<sub>итоговая</sub> = Округление(0.4 * ДЗ + 0.1 * ПР + 0.2 * КР + 0.3 * Э)<br />
<br />
ДЗ — средняя оценка за практические домашние задания<br />
<br />
ПР — средняя оценка за письменные проверочные работы на семинарах<br />
<br />
КР — оценка за контрольную работу<br />
<br />
Э — оценка за экзамен<br />
<br />
Округление арифметическое.<br />
<br />
=== Правила сдачи заданий ===<br />
<br />
За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются. Даже при опоздании на одну секунду. Сдавайте заранее.<br />
<br />
При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.<br />
<br />
При наличии уважительной причины пропущенную проверочную можно написать позднее, а дедлайн по домашнему заданию может быть перенесён. Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.<br />
<br />
== Лекции ==<br />
<br />
Лекция 1 (20.01.2020). Введение в машинное обучение и анализ данных. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/lectures/lecture01-intro.pdf Слайды]] [[https://www.youtube.com/watch?v=77fwOymbP2Y Запись лекции]]<br />
<br />
== Семинары ==<br />
<br />
== Практические задания ==<br />
<br />
За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются, но есть исключение. В течение семестра каждый студент может не более 2 раз сдать задание после жёсткого дедлайна — в этом случае за каждый день просрочки продолжает вычитаться по одному баллу (если не оговорено иное).<br />
<br />
В некоторых группах домашние задания могут отличаться. Уточняйте у семинариста.<br />
<br />
== Соревнования ==<br />
<br />
===Правила участия и оценивания===<br />
В соревновании по анализу данных вам предлагается по имеющимся данным решить некоторую задачу, оптимизируя указанную метрику, и отправить ответы для заданного тестового множества. Максимальное количество посылок в сутки ограничено (как правило, разрешается сделать 2 посылки), ближе к концу соревнования вам будем необходимо выбрать 2 посылки, которые вы считаете лучшими. Тестовые данные делятся на публичные и приватные в некотором соотношении, на основе которых строятся публичный и приватный лидерборды соответственно, при этом публичный лидерборд доступен в течение всего соревнования, а приватный строится после его окончания для выбранных вами посылок.<br />
<br />
Студент, занявший в соревновании место i, получает оценку<br />
<br />
10 - 10 * (i - 1) / M,<br />
<br />
где M — количество студентов, принявших участие в соревновании;<br />
<br />
i — место (начиная с 1) студента в приватном лидерборде среди всех таких студентов.<br />
<br />
Чтобы вас не пропустили при проверке решений соревнования, '''необходимо''' использовать следующий формат для имени команды (вкладка Team): <br />
<br />
«Имя Фамилия номер_группы»<br />
<br />
В течение 3 суток после окончания соревнования в соответствующее задание на anytask необходимо прислать код, воспроизводящий ответы для посылки, фигурирующей в приватном лидерборде. В случае отсутствия кода, воспроизводящего результат, в установленный срок студенту выставляется 0 в качестве оценки за соревнование. Если не оговорено иное, использовать любые внешние данные в соревнованиях '''запрещено'''. Под внешними данными понимаются размеченные данные, где разметка имеет прямое отношение к решаемой задаче. Грубо говоря, сборник текстов с википедии не считается внешними данными.<br />
<br />
== Контрольная работа ==<br />
<br />
Вопросы для подготовки с прошлого года: https://docs.google.com/document/d/1yuB17EoXyVSxqRslpFTKX97Kriuxn4lgFL5z4kQF9lU/edit?usp=sharing<br />
<br />
На контрольной будет 4 вопроса. Два из них — по теории, где нужно будет объяснить одну из тем, разобранных на лекциях, или ответить на вопросы на понимание. Два вопроса — это задачи, примеры приведены ниже.<br />
<br />
Примеры задач:<br />
* Метрические методы, kNN [[http://nbviewer.jupyter.org/github/shestakoff/minor_da_2017/blob/master/colloc_knn.ipynb Примеры задач]]<br />
* Линейные методы [[https://github.com/esokolov/ml-minor-hse/blob/master/colloquium-2017/colloquium_minor_problems_linear.pdf Примеры задач]]<br />
* Решающие деревья [[https://github.com/esokolov/ml-minor-hse/blob/master/colloquium-2017/colloquium_minor_problems_trees.ipynb Примеры задач]]<br />
* Метрики качества [[https://github.com/esokolov/ml-minor-hse/blob/master/colloquium-2017/colloquium_minor_problems_metrics.ipynb Примеры задач]]<br />
<br />
== Экзамен ==<br />
<br />
Вопросы: https://docs.google.com/document/d/18kMS1f7NsdGEZy62MgfTGdgSq4P-6DVcnwr1ZJPLAqE/edit?usp=sharing<br />
<br />
[https://github.com/esokolov/ml-minor-hse/blob/master/exam-2017/exam_problems_example.pdf Примеры задач прошлого года] (также могут войти задачи из коллоквиума)<br />
<br />
==Полезные материалы==<br />
===Курсы по машинному обучению и анализу данных===<br />
Максимально близко к материалам курса: [https://www.coursera.org/specializations/machine-learning-from-statistics-to-neural-networks Специализация "Машинное обучение: от статистики до нейросетей"] (речь про два курса: "Основы машинного обучения" и "Продвинутые методы машинного обучения")<br />
<br />
Для тех, кто хочет подтянуть математику: [https://www.coursera.org/specializations/maths-for-data-analysis Специализация "Математика для анализа данных"]<br />
<br />
Более сложная версия этого курса с ПМИ: [[Машинное обучение 1]]<br />
<br />
Ещё материалы:<br />
* [http://www.machinelearning.ru/wiki/index.php?title=Машинное_обучение_%28курс_лекций%2C_К.В.Воронцов%29 Курс по машинному обучению К.В. Воронцова]<br />
* [https://yandexdataschool.ru/edu-process/courses/machine-learning Видеозаписи лекций курса Школы Анализа Данных, К.В. Воронцов]<br />
* [https://www.coursera.org/specializations/machine-learning-data-analysis Coursera: Машинное обучение и анализ данных (специализация)]<br />
* [https://www.coursera.org/learn/introduction-machine-learning Coursera: Введение в машинное обучение, К.В. Воронцов]<br />
* [https://www.coursera.org/learn/machine-learning Coursera: Machine Learning, Andrew Ng]<br />
<br />
===Статьи===<br />
* [http://www.toptal.com/machine-learning/machine-learning-theory-an-introductory-primer An Introduction to Machine Learning Theory and Its Applications: A Visual Tutorial with Examples]<br />
* [http://www.r2d3.us/visual-intro-to-machine-learning-part-1/ A Visual Introduction to Machine Learning]<br />
<br />
===Книги===<br />
* Mohammed J. Zaki, Wagner Meira Jr. Data Mining and Analysis. Fundamental Concepts and Algorithms. Cambridge University Press, 2014.<br />
* Boris Mirkin. Core Concepts in Data Analysis: Summarization, Correlation, Visualization. 2010.<br />
* James, Witten, Hastie, Tibshirani. An Introduction to Statistical Learning. 2013.<br />
<br />
== Страницы прошлых лет ==<br />
<br />
[[Введение_в_анализ_данных_(майнор_ИАД)_2019/2020 | 2019/20 учебный год]]<br />
<br />
[[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных | 2018/19 учебный год ]]<br />
<br />
[[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/2017-2018 | 2017/18 учебный год ]]<br />
<br />
[[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/2016-2017 | 2016/17 учебный год ]]<br />
<br />
[[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/2015-2016 | 2015/16 учебный год ]]<br />
<br />
[[Category:Майнор "Интеллектуальный анализ данных"]]</div>I.kosarevhttps://wiki.cs.hse.ru/index.php?title=%D0%92%D0%B2%D0%B5%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5_%D0%B2_%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85&diff=50228Введение в анализ данных2021-01-23T17:44:12Z<p>I.kosarev: </p>
<hr />
<div>== О курсе ==<br />
<br />
Курс читается для студентов 2-го курса [https://electives.hse.ru/minor_intel/ майнора ИАД] в 3-4 модулях.<br />
<br />
Проводится с 2015 года.<br />
<br />
'''Лектор:''' [http://www.hse.ru/staff/esokolov Соколов Евгений Андреевич]<br />
<br />
Лекции проходят онлайн по средам в 11:10.<br />
<br />
=== Полезные ссылки ===<br />
<br />
[https://www.hse.ru/edu/courses/416021030 Карточка курса и программа]<br />
<br />
[https://github.com/hse-ds/iad-intro-ds Репозиторий с материалами на GitHub]<br />
<br />
Почта для сдачи домашних заданий (на самом деле задания сдаются в AnyTask, но если он не работает, то присылайте на почту): hse.minor.dm+<номер группы>@gmail.com (например, hse.minor.dm+3@gmail.com)<br />
<br />
Канал в telegram для объявлений: https://t.me/hs_iad_2021<br />
<br />
Чат в telegram для флуда: https://t.me/joinchat/Vuq4Lgi98RG22fQP<br />
<br />
Ссылка на курс в Anytask: https://anytask.org/course/779<br />
<br />
Таблица с оценками:<br />
<br />
=== Семинары ===<br />
<br />
{| class="wikitable"<br />
|-<br />
! Группа !! Преподаватель !! Учебные ассистенты !! Zoom-конференция !! Ссылка на чат !! Материалы семинаров !! Инвайт в anytask <br />
|-<br />
| ИАД-1 || Косарев Илья || Саночкин Юрий, Пащенко Анатолий || [https://zoom.us/j/95260607985?pwd=NTAxSVhGV1UzdHF2M0N6Q2dKWElOQT09 Zoom] || [https://t.me/joinchat/SrL1GYfpaLeFxs4J Чат] || [https://github.com/PersDep/data-mining-intro-2021 Материалы] || TmsBwpE<br />
|-<br />
| ИАД-2 || Чиркова Надежда || Екатерина Кострыкина, Александра Штарёва || [https://zoom.us/j/97891126155?pwd=bXk0c2oxRm9jWUJuRUJtRDl1elB2QT09 Zoom] || [https://t.me/joinchat/GnnT0omle1UE7HQ1 Чат] || ||<br />
|-<br />
| ИАД-3 || Кантонистова Елена || [https://t.me/mikezz_1 Михаил Олейник], [https://t.me/NikPatov Никита Патов ] || [https://zoom.us/j/93207072522?pwd=djlCL3pJc0JuNkJKZ3RvL21UQmFVQT09 Zoom] || [https://t.me/joinchat/GWgn8k5yOx1s4qD3 Чат] || || ewfZ2I8<br />
|-<br />
| ИАД-4 || Филатов Артём || Валерий Айхенвальд, Анастасия Бир || [https://zoom.us/j/95918149669?pwd=UUxuOEthSnVDZVU0WFhVNXM1UytEZz09 Zoom] || [https://t.me/joinchat/G3mbrYDFVm4gVitF Чат] || || 4TUKO0v<br />
|-<br />
| ИАД-5 || [https://t.me/vsomelyusik Владимир Омелюсик] || [https://t.me/aksenysh Аня Аксенова], Александр Габиташвили || [https://zoom.us/j/95997234634?pwd=SHVjUGM1a2hFTDNnZ1RmMm1xakpTQT09 Zoom] || [https://t.me/joinchat/GRjeFvGs5HBiIm38 Чат] || [https://github.com/V-Marco/hse_iad5_2021 Материалы] || Kre5emJ<br />
|-<br />
| ИАД-6 || Карпова Ася || Елена Гринкевич, Егор Масликов || [https://zoom.us/j/95210435451?pwd=UEZaR1FsTzZnclhDRnY2aEFEODJIQT09 Zoom] || [https://t.me/joinchat/TeYBnyU8bpTw3j93 Чат] || || nSuRKac<br />
|-<br />
| ИАД-7 || [https://t.me/OnixinO Тамерлан Таболов] || [https://t.me/Debasering Николай Аверьянов], [https://t.me/greyworgen Сергей Тихонов], [https://t.me/userwaskicked Никита Крайко] || [https://zoom.us/j/93740294916?pwd=S20vN3loUytFVk1EamQ4MDhhY0V4UT09 Zoom] || [https://t.me/joinchat/RHVp06vSXeAmedPu Чат] || ||<br />
|-<br />
| БИ 3 курс || Косарев Илья || Гусева Полина, Такташева Екатерина || [https://zoom.us/j/94624466609?pwd=ZnRhYy8zZmF0OFRhaHNDTjlCVFZxQT09 Zoom] || [https://t.me/joinchat/HKbLF0ki_iPqUjnY Чат] || || TmsBwpE<br />
|-<br />
|}<br />
<br />
=== Правила выставления оценок ===<br />
<br />
В курсе предусмотрено несколько форм контроля знания:<br />
* Самостоятельные работы на семинарах, проверяющие знание основных фактов с лекций и семинаров<br />
* Практические домашние работы на Python<br />
* Контрольная где-то в середине курса<br />
* Письменный экзамен<br />
<br />
Итоговая оценка вычисляется на основе оценки за работу в семестре и оценки за экзамен:<br />
<br />
O<sub>итоговая</sub> = Округление(0.4 * ДЗ + 0.1 * ПР + 0.2 * КР + 0.3 * Э)<br />
<br />
ДЗ — средняя оценка за практические домашние задания<br />
<br />
ПР — средняя оценка за письменные проверочные работы на семинарах<br />
<br />
КР — оценка за контрольную работу<br />
<br />
Э — оценка за экзамен<br />
<br />
Округление арифметическое.<br />
<br />
=== Правила сдачи заданий ===<br />
<br />
За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются. Даже при опоздании на одну секунду. Сдавайте заранее.<br />
<br />
При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.<br />
<br />
При наличии уважительной причины пропущенную проверочную можно написать позднее, а дедлайн по домашнему заданию может быть перенесён. Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.<br />
<br />
== Лекции ==<br />
<br />
Лекция 1 (20.01.2020). Введение в машинное обучение и анализ данных. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/lectures/lecture01-intro.pdf Слайды]] [[https://www.youtube.com/watch?v=77fwOymbP2Y Запись лекции]]<br />
<br />
== Семинары ==<br />
<br />
== Практические задания ==<br />
<br />
За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются, но есть исключение. В течение семестра каждый студент может не более 2 раз сдать задание после жёсткого дедлайна — в этом случае за каждый день просрочки продолжает вычитаться по одному баллу (если не оговорено иное).<br />
<br />
В некоторых группах домашние задания могут отличаться. Уточняйте у семинариста.<br />
<br />
== Соревнования ==<br />
<br />
===Правила участия и оценивания===<br />
В соревновании по анализу данных вам предлагается по имеющимся данным решить некоторую задачу, оптимизируя указанную метрику, и отправить ответы для заданного тестового множества. Максимальное количество посылок в сутки ограничено (как правило, разрешается сделать 2 посылки), ближе к концу соревнования вам будем необходимо выбрать 2 посылки, которые вы считаете лучшими. Тестовые данные делятся на публичные и приватные в некотором соотношении, на основе которых строятся публичный и приватный лидерборды соответственно, при этом публичный лидерборд доступен в течение всего соревнования, а приватный строится после его окончания для выбранных вами посылок.<br />
<br />
Студент, занявший в соревновании место i, получает оценку<br />
<br />
10 - 10 * (i - 1) / M,<br />
<br />
где M — количество студентов, принявших участие в соревновании;<br />
<br />
i — место (начиная с 1) студента в приватном лидерборде среди всех таких студентов.<br />
<br />
Чтобы вас не пропустили при проверке решений соревнования, '''необходимо''' использовать следующий формат для имени команды (вкладка Team): <br />
<br />
«Имя Фамилия номер_группы»<br />
<br />
В течение 3 суток после окончания соревнования в соответствующее задание на anytask необходимо прислать код, воспроизводящий ответы для посылки, фигурирующей в приватном лидерборде. В случае отсутствия кода, воспроизводящего результат, в установленный срок студенту выставляется 0 в качестве оценки за соревнование. Если не оговорено иное, использовать любые внешние данные в соревнованиях '''запрещено'''. Под внешними данными понимаются размеченные данные, где разметка имеет прямое отношение к решаемой задаче. Грубо говоря, сборник текстов с википедии не считается внешними данными.<br />
<br />
== Контрольная работа ==<br />
<br />
Вопросы для подготовки с прошлого года: https://docs.google.com/document/d/1yuB17EoXyVSxqRslpFTKX97Kriuxn4lgFL5z4kQF9lU/edit?usp=sharing<br />
<br />
На контрольной будет 4 вопроса. Два из них — по теории, где нужно будет объяснить одну из тем, разобранных на лекциях, или ответить на вопросы на понимание. Два вопроса — это задачи, примеры приведены ниже.<br />
<br />
Примеры задач:<br />
* Метрические методы, kNN [[http://nbviewer.jupyter.org/github/shestakoff/minor_da_2017/blob/master/colloc_knn.ipynb Примеры задач]]<br />
* Линейные методы [[https://github.com/esokolov/ml-minor-hse/blob/master/colloquium-2017/colloquium_minor_problems_linear.pdf Примеры задач]]<br />
* Решающие деревья [[https://github.com/esokolov/ml-minor-hse/blob/master/colloquium-2017/colloquium_minor_problems_trees.ipynb Примеры задач]]<br />
* Метрики качества [[https://github.com/esokolov/ml-minor-hse/blob/master/colloquium-2017/colloquium_minor_problems_metrics.ipynb Примеры задач]]<br />
<br />
== Экзамен ==<br />
<br />
Вопросы: https://docs.google.com/document/d/18kMS1f7NsdGEZy62MgfTGdgSq4P-6DVcnwr1ZJPLAqE/edit?usp=sharing<br />
<br />
[https://github.com/esokolov/ml-minor-hse/blob/master/exam-2017/exam_problems_example.pdf Примеры задач прошлого года] (также могут войти задачи из коллоквиума)<br />
<br />
==Полезные материалы==<br />
===Курсы по машинному обучению и анализу данных===<br />
Максимально близко к материалам курса: [https://www.coursera.org/specializations/machine-learning-from-statistics-to-neural-networks Специализация "Машинное обучение: от статистики до нейросетей"] (речь про два курса: "Основы машинного обучения" и "Продвинутые методы машинного обучения")<br />
<br />
Для тех, кто хочет подтянуть математику: [https://www.coursera.org/specializations/maths-for-data-analysis Специализация "Математика для анализа данных"]<br />
<br />
Более сложная версия этого курса с ПМИ: [[Машинное обучение 1]]<br />
<br />
Ещё материалы:<br />
* [http://www.machinelearning.ru/wiki/index.php?title=Машинное_обучение_%28курс_лекций%2C_К.В.Воронцов%29 Курс по машинному обучению К.В. Воронцова]<br />
* [https://yandexdataschool.ru/edu-process/courses/machine-learning Видеозаписи лекций курса Школы Анализа Данных, К.В. Воронцов]<br />
* [https://www.coursera.org/specializations/machine-learning-data-analysis Coursera: Машинное обучение и анализ данных (специализация)]<br />
* [https://www.coursera.org/learn/introduction-machine-learning Coursera: Введение в машинное обучение, К.В. Воронцов]<br />
* [https://www.coursera.org/learn/machine-learning Coursera: Machine Learning, Andrew Ng]<br />
<br />
===Статьи===<br />
* [http://www.toptal.com/machine-learning/machine-learning-theory-an-introductory-primer An Introduction to Machine Learning Theory and Its Applications: A Visual Tutorial with Examples]<br />
* [http://www.r2d3.us/visual-intro-to-machine-learning-part-1/ A Visual Introduction to Machine Learning]<br />
<br />
===Книги===<br />
* Mohammed J. Zaki, Wagner Meira Jr. Data Mining and Analysis. Fundamental Concepts and Algorithms. Cambridge University Press, 2014.<br />
* Boris Mirkin. Core Concepts in Data Analysis: Summarization, Correlation, Visualization. 2010.<br />
* James, Witten, Hastie, Tibshirani. An Introduction to Statistical Learning. 2013.<br />
<br />
== Страницы прошлых лет ==<br />
<br />
[[Введение_в_анализ_данных_(майнор_ИАД)_2019/2020 | 2019/20 учебный год]]<br />
<br />
[[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных | 2018/19 учебный год ]]<br />
<br />
[[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/2017-2018 | 2017/18 учебный год ]]<br />
<br />
[[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/2016-2017 | 2016/17 учебный год ]]<br />
<br />
[[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/2015-2016 | 2015/16 учебный год ]]<br />
<br />
[[Category:Майнор "Интеллектуальный анализ данных"]]</div>I.kosarevhttps://wiki.cs.hse.ru/index.php?title=%D0%92%D0%B2%D0%B5%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5_%D0%B2_%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85&diff=50222Введение в анализ данных2021-01-23T13:30:12Z<p>I.kosarev: /* Семинары */</p>
<hr />
<div>== О курсе ==<br />
<br />
Курс читается для студентов 2-го курса [https://electives.hse.ru/minor_intel/ майнора ИАД] в 3-4 модулях.<br />
<br />
Проводится с 2015 года.<br />
<br />
'''Лектор:''' [http://www.hse.ru/staff/esokolov Соколов Евгений Андреевич]<br />
<br />
Лекции проходят онлайн по средам в 11:10.<br />
<br />
=== Полезные ссылки ===<br />
<br />
[https://www.hse.ru/edu/courses/416021030 Карточка курса и программа]<br />
<br />
[https://github.com/hse-ds/iad-intro-ds Репозиторий с материалами на GitHub]<br />
<br />
Почта для сдачи домашних заданий (на самом деле задания сдаются в AnyTask, но если он не работает, то присылайте на почту): hse.minor.dm+<номер группы>@gmail.com (например, hse.minor.dm+3@gmail.com)<br />
<br />
Канал в telegram для объявлений: https://t.me/hs_iad_2021<br />
<br />
Чат в telegram для флуда: https://t.me/joinchat/Vuq4Lgi98RG22fQP<br />
<br />
Ссылка на курс в Anytask: https://anytask.org/course/779<br />
<br />
Таблица с оценками:<br />
<br />
=== Семинары ===<br />
<br />
{| class="wikitable"<br />
|-<br />
! Группа !! Преподаватель !! Учебные ассистенты !! Zoom-конференция !! Ссылка на чат !! Материалы семинаров !! Инвайт в anytask <br />
|-<br />
| ИАД-1 || Илья Косарев || Саночкин Юрий, Пащенко Анатолий || [https://zoom.us/j/95260607985?pwd=NTAxSVhGV1UzdHF2M0N6Q2dKWElOQT09 Zoom] || [https://t.me/joinchat/SrL1GYfpaLeFxs4J Чат] || [https://github.com/PersDep/data-mining-intro-2021 Материалы] || TmsBwpE<br />
|-<br />
| ИАД-2 || Чиркова Надежда || Екатерина Кострыкина, Александра Штарёва || [https://zoom.us/j/97891126155?pwd=bXk0c2oxRm9jWUJuRUJtRDl1elB2QT09 Zoom] || [https://t.me/joinchat/GnnT0omle1UE7HQ1 Чат] || ||<br />
|-<br />
| ИАД-3 || Кантонистова Елена || [https://t.me/mikezz_1 Михаил Олейник], [https://t.me/NikPatov Никита Патов ] || [https://zoom.us/j/93207072522?pwd=djlCL3pJc0JuNkJKZ3RvL21UQmFVQT09 Zoom] || [https://t.me/joinchat/GWgn8k5yOx1s4qD3 Чат] || || ewfZ2I8<br />
|-<br />
| ИАД-4 || Филатов Артём || Валерий Айхенвальд, Анастасия Бир || [https://zoom.us/j/95918149669?pwd=UUxuOEthSnVDZVU0WFhVNXM1UytEZz09 Zoom] || [https://t.me/joinchat/G3mbrYDFVm4gVitF Чат] || || 4TUKO0v<br />
|-<br />
| ИАД-5 || [https://t.me/vsomelyusik Владимир Омелюсик] || [https://t.me/aksenysh Аня Аксенова], Александр Габиташвили || [https://zoom.us/j/95997234634?pwd=SHVjUGM1a2hFTDNnZ1RmMm1xakpTQT09 Zoom] || [https://t.me/joinchat/GRjeFvGs5HBiIm38 Чат] || [https://github.com/V-Marco/hse_iad5_2021 Материалы] || Kre5emJ<br />
|-<br />
| ИАД-6 || Карпова Ася || Елена Гринкевич, Егор Масликов || [https://zoom.us/j/95210435451?pwd=UEZaR1FsTzZnclhDRnY2aEFEODJIQT09 Zoom] || [https://t.me/joinchat/TeYBnyU8bpTw3j93 Чат] || || nSuRKac<br />
|-<br />
| ИАД-7 || [https://t.me/OnixinO Тамерлан Таболов] || [https://t.me/Debasering Николай Аверьянов], [https://t.me/greyworgen Сергей Тихонов], [https://t.me/userwaskicked Никита Крайко] || [https://zoom.us/j/93740294916?pwd=S20vN3loUytFVk1EamQ4MDhhY0V4UT09 Zoom] || [https://t.me/joinchat/RHVp06vSXeAmedPu Чат] || ||<br />
|-<br />
| БИ 3 курс || Косарев Илья || Гусева Полина Александровна, Такташева Екатерина Вадимовна || [https://zoom.us/j/94624466609?pwd=ZnRhYy8zZmF0OFRhaHNDTjlCVFZxQT09 Zoom] || [https://t.me/joinchat/HKbLF0ki_iPqUjnY Чат] || || TmsBwpE<br />
|-<br />
|}<br />
<br />
=== Правила выставления оценок ===<br />
<br />
В курсе предусмотрено несколько форм контроля знания:<br />
* Самостоятельные работы на семинарах, проверяющие знание основных фактов с лекций и семинаров<br />
* Практические домашние работы на Python<br />
* Контрольная где-то в середине курса<br />
* Письменный экзамен<br />
<br />
Итоговая оценка вычисляется на основе оценки за работу в семестре и оценки за экзамен:<br />
<br />
O<sub>итоговая</sub> = Округление(0.4 * ДЗ + 0.1 * ПР + 0.2 * КР + 0.3 * Э)<br />
<br />
ДЗ — средняя оценка за практические домашние задания<br />
<br />
ПР — средняя оценка за письменные проверочные работы на семинарах<br />
<br />
КР — оценка за контрольную работу<br />
<br />
Э — оценка за экзамен<br />
<br />
Округление арифметическое.<br />
<br />
=== Правила сдачи заданий ===<br />
<br />
За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются. Даже при опоздании на одну секунду. Сдавайте заранее.<br />
<br />
При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.<br />
<br />
При наличии уважительной причины пропущенную проверочную можно написать позднее, а дедлайн по домашнему заданию может быть перенесён. Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.<br />
<br />
== Лекции ==<br />
<br />
Лекция 1 (20.01.2020). Введение в машинное обучение и анализ данных. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/lectures/lecture01-intro.pdf Слайды]] [[https://www.youtube.com/watch?v=77fwOymbP2Y Запись лекции]]<br />
<br />
== Семинары ==<br />
<br />
== Практические задания ==<br />
<br />
За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются, но есть исключение. В течение семестра каждый студент может не более 2 раз сдать задание после жёсткого дедлайна — в этом случае за каждый день просрочки продолжает вычитаться по одному баллу (если не оговорено иное).<br />
<br />
В некоторых группах домашние задания могут отличаться. Уточняйте у семинариста.<br />
<br />
== Соревнования ==<br />
<br />
===Правила участия и оценивания===<br />
В соревновании по анализу данных вам предлагается по имеющимся данным решить некоторую задачу, оптимизируя указанную метрику, и отправить ответы для заданного тестового множества. Максимальное количество посылок в сутки ограничено (как правило, разрешается сделать 2 посылки), ближе к концу соревнования вам будем необходимо выбрать 2 посылки, которые вы считаете лучшими. Тестовые данные делятся на публичные и приватные в некотором соотношении, на основе которых строятся публичный и приватный лидерборды соответственно, при этом публичный лидерборд доступен в течение всего соревнования, а приватный строится после его окончания для выбранных вами посылок.<br />
<br />
Студент, занявший в соревновании место i, получает оценку<br />
<br />
10 - 10 * (i - 1) / M,<br />
<br />
где M — количество студентов, принявших участие в соревновании;<br />
<br />
i — место (начиная с 1) студента в приватном лидерборде среди всех таких студентов.<br />
<br />
Чтобы вас не пропустили при проверке решений соревнования, '''необходимо''' использовать следующий формат для имени команды (вкладка Team): <br />
<br />
«Имя Фамилия номер_группы»<br />
<br />
В течение 3 суток после окончания соревнования в соответствующее задание на anytask необходимо прислать код, воспроизводящий ответы для посылки, фигурирующей в приватном лидерборде. В случае отсутствия кода, воспроизводящего результат, в установленный срок студенту выставляется 0 в качестве оценки за соревнование. Если не оговорено иное, использовать любые внешние данные в соревнованиях '''запрещено'''. Под внешними данными понимаются размеченные данные, где разметка имеет прямое отношение к решаемой задаче. Грубо говоря, сборник текстов с википедии не считается внешними данными.<br />
<br />
== Контрольная работа ==<br />
<br />
Вопросы для подготовки с прошлого года: https://docs.google.com/document/d/1yuB17EoXyVSxqRslpFTKX97Kriuxn4lgFL5z4kQF9lU/edit?usp=sharing<br />
<br />
На контрольной будет 4 вопроса. Два из них — по теории, где нужно будет объяснить одну из тем, разобранных на лекциях, или ответить на вопросы на понимание. Два вопроса — это задачи, примеры приведены ниже.<br />
<br />
Примеры задач:<br />
* Метрические методы, kNN [[http://nbviewer.jupyter.org/github/shestakoff/minor_da_2017/blob/master/colloc_knn.ipynb Примеры задач]]<br />
* Линейные методы [[https://github.com/esokolov/ml-minor-hse/blob/master/colloquium-2017/colloquium_minor_problems_linear.pdf Примеры задач]]<br />
* Решающие деревья [[https://github.com/esokolov/ml-minor-hse/blob/master/colloquium-2017/colloquium_minor_problems_trees.ipynb Примеры задач]]<br />
* Метрики качества [[https://github.com/esokolov/ml-minor-hse/blob/master/colloquium-2017/colloquium_minor_problems_metrics.ipynb Примеры задач]]<br />
<br />
== Экзамен ==<br />
<br />
Вопросы: https://docs.google.com/document/d/18kMS1f7NsdGEZy62MgfTGdgSq4P-6DVcnwr1ZJPLAqE/edit?usp=sharing<br />
<br />
[https://github.com/esokolov/ml-minor-hse/blob/master/exam-2017/exam_problems_example.pdf Примеры задач прошлого года] (также могут войти задачи из коллоквиума)<br />
<br />
==Полезные материалы==<br />
===Курсы по машинному обучению и анализу данных===<br />
Максимально близко к материалам курса: [https://www.coursera.org/specializations/machine-learning-from-statistics-to-neural-networks Специализация "Машинное обучение: от статистики до нейросетей"] (речь про два курса: "Основы машинного обучения" и "Продвинутые методы машинного обучения")<br />
<br />
Для тех, кто хочет подтянуть математику: [https://www.coursera.org/specializations/maths-for-data-analysis Специализация "Математика для анализа данных"]<br />
<br />
Более сложная версия этого курса с ПМИ: [[Машинное обучение 1]]<br />
<br />
Ещё материалы:<br />
* [http://www.machinelearning.ru/wiki/index.php?title=Машинное_обучение_%28курс_лекций%2C_К.В.Воронцов%29 Курс по машинному обучению К.В. Воронцова]<br />
* [https://yandexdataschool.ru/edu-process/courses/machine-learning Видеозаписи лекций курса Школы Анализа Данных, К.В. Воронцов]<br />
* [https://www.coursera.org/specializations/machine-learning-data-analysis Coursera: Машинное обучение и анализ данных (специализация)]<br />
* [https://www.coursera.org/learn/introduction-machine-learning Coursera: Введение в машинное обучение, К.В. Воронцов]<br />
* [https://www.coursera.org/learn/machine-learning Coursera: Machine Learning, Andrew Ng]<br />
<br />
===Статьи===<br />
* [http://www.toptal.com/machine-learning/machine-learning-theory-an-introductory-primer An Introduction to Machine Learning Theory and Its Applications: A Visual Tutorial with Examples]<br />
* [http://www.r2d3.us/visual-intro-to-machine-learning-part-1/ A Visual Introduction to Machine Learning]<br />
<br />
===Книги===<br />
* Mohammed J. Zaki, Wagner Meira Jr. Data Mining and Analysis. Fundamental Concepts and Algorithms. Cambridge University Press, 2014.<br />
* Boris Mirkin. Core Concepts in Data Analysis: Summarization, Correlation, Visualization. 2010.<br />
* James, Witten, Hastie, Tibshirani. An Introduction to Statistical Learning. 2013.<br />
<br />
== Страницы прошлых лет ==<br />
<br />
[[Введение_в_анализ_данных_(майнор_ИАД)_2019/2020 | 2019/20 учебный год]]<br />
<br />
[[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных | 2018/19 учебный год ]]<br />
<br />
[[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/2017-2018 | 2017/18 учебный год ]]<br />
<br />
[[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/2016-2017 | 2016/17 учебный год ]]<br />
<br />
[[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/2015-2016 | 2015/16 учебный год ]]<br />
<br />
[[Category:Майнор "Интеллектуальный анализ данных"]]</div>I.kosarevhttps://wiki.cs.hse.ru/index.php?title=%D0%92%D0%B2%D0%B5%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5_%D0%B2_%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85&diff=50221Введение в анализ данных2021-01-23T13:29:50Z<p>I.kosarev: /* Семинары */</p>
<hr />
<div>== О курсе ==<br />
<br />
Курс читается для студентов 2-го курса [https://electives.hse.ru/minor_intel/ майнора ИАД] в 3-4 модулях.<br />
<br />
Проводится с 2015 года.<br />
<br />
'''Лектор:''' [http://www.hse.ru/staff/esokolov Соколов Евгений Андреевич]<br />
<br />
Лекции проходят онлайн по средам в 11:10.<br />
<br />
=== Полезные ссылки ===<br />
<br />
[https://www.hse.ru/edu/courses/416021030 Карточка курса и программа]<br />
<br />
[https://github.com/hse-ds/iad-intro-ds Репозиторий с материалами на GitHub]<br />
<br />
Почта для сдачи домашних заданий (на самом деле задания сдаются в AnyTask, но если он не работает, то присылайте на почту): hse.minor.dm+<номер группы>@gmail.com (например, hse.minor.dm+3@gmail.com)<br />
<br />
Канал в telegram для объявлений: https://t.me/hs_iad_2021<br />
<br />
Чат в telegram для флуда: https://t.me/joinchat/Vuq4Lgi98RG22fQP<br />
<br />
Ссылка на курс в Anytask: https://anytask.org/course/779<br />
<br />
Таблица с оценками:<br />
<br />
=== Семинары ===<br />
<br />
{| class="wikitable"<br />
|-<br />
! Группа !! Преподаватель !! Учебные ассистенты !! Zoom-конференция !! Ссылка на чат !! Материалы семинаров !! Инвайт в anytask <br />
|-<br />
| ИАД-1 || Илья Косарев || Саночкин Юрий, Пащенко Анатолий || [https://zoom.us/j/95260607985?pwd=NTAxSVhGV1UzdHF2M0N6Q2dKWElOQT09 Zoom] || [https://t.me/joinchat/SrL1GYfpaLeFxs4J Чат] || [https://github.com/PersDep/data-mining-intro-2021 Материалы] || TmsBwpE<br />
|-<br />
| ИАД-2 || Чиркова Надежда || Екатерина Кострыкина, Александра Штарёва || [https://zoom.us/j/97891126155?pwd=bXk0c2oxRm9jWUJuRUJtRDl1elB2QT09 Zoom] || [https://t.me/joinchat/GnnT0omle1UE7HQ1 Чат] || ||<br />
|-<br />
| ИАД-3 || Кантонистова Елена || [https://t.me/mikezz_1 Михаил Олейник], [https://t.me/NikPatov Никита Патов ] || [https://zoom.us/j/93207072522?pwd=djlCL3pJc0JuNkJKZ3RvL21UQmFVQT09 Zoom] || [https://t.me/joinchat/GWgn8k5yOx1s4qD3 Чат] || || ewfZ2I8<br />
|-<br />
| ИАД-4 || Филатов Артём || Валерий Айхенвальд, Анастасия Бир || [https://zoom.us/j/95918149669?pwd=UUxuOEthSnVDZVU0WFhVNXM1UytEZz09 Zoom] || [https://t.me/joinchat/G3mbrYDFVm4gVitF Чат] || || 4TUKO0v<br />
|-<br />
| ИАД-5 || [https://t.me/vsomelyusik Владимир Омелюсик] || [https://t.me/aksenysh Аня Аксенова], Александр Габиташвили || [https://zoom.us/j/95997234634?pwd=SHVjUGM1a2hFTDNnZ1RmMm1xakpTQT09 Zoom] || [https://t.me/joinchat/GRjeFvGs5HBiIm38 Чат] || [https://github.com/V-Marco/hse_iad5_2021 Материалы] || Kre5emJ<br />
|-<br />
| ИАД-6 || Карпова Ася || Елена Гринкевич, Егор Масликов || [https://zoom.us/j/95210435451?pwd=UEZaR1FsTzZnclhDRnY2aEFEODJIQT09 Zoom] || [https://t.me/joinchat/TeYBnyU8bpTw3j93 Чат] || || nSuRKac<br />
|-<br />
| ИАД-7 || [https://t.me/OnixinO Тамерлан Таболов] || [https://t.me/Debasering Николай Аверьянов], [https://t.me/greyworgen Сергей Тихонов], [https://t.me/userwaskicked Никита Крайко] || [https://zoom.us/j/93740294916?pwd=S20vN3loUytFVk1EamQ4MDhhY0V4UT09 Zoom] || [https://t.me/joinchat/RHVp06vSXeAmedPu Чат] || ||<br />
|-<br />
| БИ 3 курс || Косарев Илья] || Гусева Полина Александровна, Такташева Екатерина Вадимовна || [https://zoom.us/j/94624466609?pwd=ZnRhYy8zZmF0OFRhaHNDTjlCVFZxQT09 Zoom] || [https://t.me/joinchat/HKbLF0ki_iPqUjnY Чат] || || TmsBwpE<br />
|-<br />
|}<br />
<br />
=== Правила выставления оценок ===<br />
<br />
В курсе предусмотрено несколько форм контроля знания:<br />
* Самостоятельные работы на семинарах, проверяющие знание основных фактов с лекций и семинаров<br />
* Практические домашние работы на Python<br />
* Контрольная где-то в середине курса<br />
* Письменный экзамен<br />
<br />
Итоговая оценка вычисляется на основе оценки за работу в семестре и оценки за экзамен:<br />
<br />
O<sub>итоговая</sub> = Округление(0.4 * ДЗ + 0.1 * ПР + 0.2 * КР + 0.3 * Э)<br />
<br />
ДЗ — средняя оценка за практические домашние задания<br />
<br />
ПР — средняя оценка за письменные проверочные работы на семинарах<br />
<br />
КР — оценка за контрольную работу<br />
<br />
Э — оценка за экзамен<br />
<br />
Округление арифметическое.<br />
<br />
=== Правила сдачи заданий ===<br />
<br />
За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются. Даже при опоздании на одну секунду. Сдавайте заранее.<br />
<br />
При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.<br />
<br />
При наличии уважительной причины пропущенную проверочную можно написать позднее, а дедлайн по домашнему заданию может быть перенесён. Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.<br />
<br />
== Лекции ==<br />
<br />
Лекция 1 (20.01.2020). Введение в машинное обучение и анализ данных. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/lectures/lecture01-intro.pdf Слайды]] [[https://www.youtube.com/watch?v=77fwOymbP2Y Запись лекции]]<br />
<br />
== Семинары ==<br />
<br />
== Практические задания ==<br />
<br />
За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются, но есть исключение. В течение семестра каждый студент может не более 2 раз сдать задание после жёсткого дедлайна — в этом случае за каждый день просрочки продолжает вычитаться по одному баллу (если не оговорено иное).<br />
<br />
В некоторых группах домашние задания могут отличаться. Уточняйте у семинариста.<br />
<br />
== Соревнования ==<br />
<br />
===Правила участия и оценивания===<br />
В соревновании по анализу данных вам предлагается по имеющимся данным решить некоторую задачу, оптимизируя указанную метрику, и отправить ответы для заданного тестового множества. Максимальное количество посылок в сутки ограничено (как правило, разрешается сделать 2 посылки), ближе к концу соревнования вам будем необходимо выбрать 2 посылки, которые вы считаете лучшими. Тестовые данные делятся на публичные и приватные в некотором соотношении, на основе которых строятся публичный и приватный лидерборды соответственно, при этом публичный лидерборд доступен в течение всего соревнования, а приватный строится после его окончания для выбранных вами посылок.<br />
<br />
Студент, занявший в соревновании место i, получает оценку<br />
<br />
10 - 10 * (i - 1) / M,<br />
<br />
где M — количество студентов, принявших участие в соревновании;<br />
<br />
i — место (начиная с 1) студента в приватном лидерборде среди всех таких студентов.<br />
<br />
Чтобы вас не пропустили при проверке решений соревнования, '''необходимо''' использовать следующий формат для имени команды (вкладка Team): <br />
<br />
«Имя Фамилия номер_группы»<br />
<br />
В течение 3 суток после окончания соревнования в соответствующее задание на anytask необходимо прислать код, воспроизводящий ответы для посылки, фигурирующей в приватном лидерборде. В случае отсутствия кода, воспроизводящего результат, в установленный срок студенту выставляется 0 в качестве оценки за соревнование. Если не оговорено иное, использовать любые внешние данные в соревнованиях '''запрещено'''. Под внешними данными понимаются размеченные данные, где разметка имеет прямое отношение к решаемой задаче. Грубо говоря, сборник текстов с википедии не считается внешними данными.<br />
<br />
== Контрольная работа ==<br />
<br />
Вопросы для подготовки с прошлого года: https://docs.google.com/document/d/1yuB17EoXyVSxqRslpFTKX97Kriuxn4lgFL5z4kQF9lU/edit?usp=sharing<br />
<br />
На контрольной будет 4 вопроса. Два из них — по теории, где нужно будет объяснить одну из тем, разобранных на лекциях, или ответить на вопросы на понимание. Два вопроса — это задачи, примеры приведены ниже.<br />
<br />
Примеры задач:<br />
* Метрические методы, kNN [[http://nbviewer.jupyter.org/github/shestakoff/minor_da_2017/blob/master/colloc_knn.ipynb Примеры задач]]<br />
* Линейные методы [[https://github.com/esokolov/ml-minor-hse/blob/master/colloquium-2017/colloquium_minor_problems_linear.pdf Примеры задач]]<br />
* Решающие деревья [[https://github.com/esokolov/ml-minor-hse/blob/master/colloquium-2017/colloquium_minor_problems_trees.ipynb Примеры задач]]<br />
* Метрики качества [[https://github.com/esokolov/ml-minor-hse/blob/master/colloquium-2017/colloquium_minor_problems_metrics.ipynb Примеры задач]]<br />
<br />
== Экзамен ==<br />
<br />
Вопросы: https://docs.google.com/document/d/18kMS1f7NsdGEZy62MgfTGdgSq4P-6DVcnwr1ZJPLAqE/edit?usp=sharing<br />
<br />
[https://github.com/esokolov/ml-minor-hse/blob/master/exam-2017/exam_problems_example.pdf Примеры задач прошлого года] (также могут войти задачи из коллоквиума)<br />
<br />
==Полезные материалы==<br />
===Курсы по машинному обучению и анализу данных===<br />
Максимально близко к материалам курса: [https://www.coursera.org/specializations/machine-learning-from-statistics-to-neural-networks Специализация "Машинное обучение: от статистики до нейросетей"] (речь про два курса: "Основы машинного обучения" и "Продвинутые методы машинного обучения")<br />
<br />
Для тех, кто хочет подтянуть математику: [https://www.coursera.org/specializations/maths-for-data-analysis Специализация "Математика для анализа данных"]<br />
<br />
Более сложная версия этого курса с ПМИ: [[Машинное обучение 1]]<br />
<br />
Ещё материалы:<br />
* [http://www.machinelearning.ru/wiki/index.php?title=Машинное_обучение_%28курс_лекций%2C_К.В.Воронцов%29 Курс по машинному обучению К.В. Воронцова]<br />
* [https://yandexdataschool.ru/edu-process/courses/machine-learning Видеозаписи лекций курса Школы Анализа Данных, К.В. Воронцов]<br />
* [https://www.coursera.org/specializations/machine-learning-data-analysis Coursera: Машинное обучение и анализ данных (специализация)]<br />
* [https://www.coursera.org/learn/introduction-machine-learning Coursera: Введение в машинное обучение, К.В. Воронцов]<br />
* [https://www.coursera.org/learn/machine-learning Coursera: Machine Learning, Andrew Ng]<br />
<br />
===Статьи===<br />
* [http://www.toptal.com/machine-learning/machine-learning-theory-an-introductory-primer An Introduction to Machine Learning Theory and Its Applications: A Visual Tutorial with Examples]<br />
* [http://www.r2d3.us/visual-intro-to-machine-learning-part-1/ A Visual Introduction to Machine Learning]<br />
<br />
===Книги===<br />
* Mohammed J. Zaki, Wagner Meira Jr. Data Mining and Analysis. Fundamental Concepts and Algorithms. Cambridge University Press, 2014.<br />
* Boris Mirkin. Core Concepts in Data Analysis: Summarization, Correlation, Visualization. 2010.<br />
* James, Witten, Hastie, Tibshirani. An Introduction to Statistical Learning. 2013.<br />
<br />
== Страницы прошлых лет ==<br />
<br />
[[Введение_в_анализ_данных_(майнор_ИАД)_2019/2020 | 2019/20 учебный год]]<br />
<br />
[[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных | 2018/19 учебный год ]]<br />
<br />
[[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/2017-2018 | 2017/18 учебный год ]]<br />
<br />
[[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/2016-2017 | 2016/17 учебный год ]]<br />
<br />
[[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/2015-2016 | 2015/16 учебный год ]]<br />
<br />
[[Category:Майнор "Интеллектуальный анализ данных"]]</div>I.kosarevhttps://wiki.cs.hse.ru/index.php?title=%D0%92%D0%B2%D0%B5%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5_%D0%B2_%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85&diff=50220Введение в анализ данных2021-01-23T13:29:31Z<p>I.kosarev: /* Семинары */</p>
<hr />
<div>== О курсе ==<br />
<br />
Курс читается для студентов 2-го курса [https://electives.hse.ru/minor_intel/ майнора ИАД] в 3-4 модулях.<br />
<br />
Проводится с 2015 года.<br />
<br />
'''Лектор:''' [http://www.hse.ru/staff/esokolov Соколов Евгений Андреевич]<br />
<br />
Лекции проходят онлайн по средам в 11:10.<br />
<br />
=== Полезные ссылки ===<br />
<br />
[https://www.hse.ru/edu/courses/416021030 Карточка курса и программа]<br />
<br />
[https://github.com/hse-ds/iad-intro-ds Репозиторий с материалами на GitHub]<br />
<br />
Почта для сдачи домашних заданий (на самом деле задания сдаются в AnyTask, но если он не работает, то присылайте на почту): hse.minor.dm+<номер группы>@gmail.com (например, hse.minor.dm+3@gmail.com)<br />
<br />
Канал в telegram для объявлений: https://t.me/hs_iad_2021<br />
<br />
Чат в telegram для флуда: https://t.me/joinchat/Vuq4Lgi98RG22fQP<br />
<br />
Ссылка на курс в Anytask: https://anytask.org/course/779<br />
<br />
Таблица с оценками:<br />
<br />
=== Семинары ===<br />
<br />
{| class="wikitable"<br />
|-<br />
! Группа !! Преподаватель !! Учебные ассистенты !! Zoom-конференция !! Ссылка на чат !! Материалы семинаров !! Инвайт в anytask <br />
|-<br />
| ИАД-1 || Илья Косарев || Саночкин Юрий, Пащенко Анатолий || [https://zoom.us/j/95260607985?pwd=NTAxSVhGV1UzdHF2M0N6Q2dKWElOQT09 Zoom] || [https://t.me/joinchat/SrL1GYfpaLeFxs4J Чат] || [https://github.com/PersDep/data-mining-intro-2021 Материалы] || TmsBwpE<br />
|-<br />
| ИАД-2 || Чиркова Надежда || Екатерина Кострыкина, Александра Штарёва || [https://zoom.us/j/97891126155?pwd=bXk0c2oxRm9jWUJuRUJtRDl1elB2QT09 Zoom] || [https://t.me/joinchat/GnnT0omle1UE7HQ1 Чат] || ||<br />
|-<br />
| ИАД-3 || Кантонистова Елена || [https://t.me/mikezz_1 Михаил Олейник], [https://t.me/NikPatov Никита Патов ] || [https://zoom.us/j/93207072522?pwd=djlCL3pJc0JuNkJKZ3RvL21UQmFVQT09 Zoom] || [https://t.me/joinchat/GWgn8k5yOx1s4qD3 Чат] || || ewfZ2I8<br />
|-<br />
| ИАД-4 || Филатов Артём || Валерий Айхенвальд, Анастасия Бир || [https://zoom.us/j/95918149669?pwd=UUxuOEthSnVDZVU0WFhVNXM1UytEZz09 Zoom] || [https://t.me/joinchat/G3mbrYDFVm4gVitF Чат] || || 4TUKO0v<br />
|-<br />
| ИАД-5 || [https://t.me/vsomelyusik Владимир Омелюсик] || [https://t.me/aksenysh Аня Аксенова], Александр Габиташвили || [https://zoom.us/j/95997234634?pwd=SHVjUGM1a2hFTDNnZ1RmMm1xakpTQT09 Zoom] || [https://t.me/joinchat/GRjeFvGs5HBiIm38 Чат] || [https://github.com/V-Marco/hse_iad5_2021 Материалы] || Kre5emJ<br />
|-<br />
| ИАД-6 || Карпова Ася || Елена Гринкевич, Егор Масликов || [https://zoom.us/j/95210435451?pwd=UEZaR1FsTzZnclhDRnY2aEFEODJIQT09 Zoom] || [https://t.me/joinchat/TeYBnyU8bpTw3j93 Чат] || || nSuRKac<br />
|-<br />
| ИАД-7 || [https://t.me/OnixinO Тамерлан Таболов] || [https://t.me/Debasering Николай Аверьянов], [https://t.me/greyworgen Сергей Тихонов], [https://t.me/userwaskicked Никита Крайко] || [https://zoom.us/j/93740294916?pwd=S20vN3loUytFVk1EamQ4MDhhY0V4UT09 Zoom] || [https://t.me/joinchat/RHVp06vSXeAmedPu Чат] || ||<br />
|-<br />
| БИ 3 курс || Косарев Илья] || Гусева Полина Александровна, Такташева Екатерина Вадимовна || [https://zoom.us/j/94624466609?pwd=ZnRhYy8zZmF0OFRhaHNDTjlCVFZxQT09 Zoom] || [https://t.me/joinchat/HKbLF0ki_iPqUjnY Чат] || || TmsBwpE ||<br />
|-<br />
|}<br />
<br />
=== Правила выставления оценок ===<br />
<br />
В курсе предусмотрено несколько форм контроля знания:<br />
* Самостоятельные работы на семинарах, проверяющие знание основных фактов с лекций и семинаров<br />
* Практические домашние работы на Python<br />
* Контрольная где-то в середине курса<br />
* Письменный экзамен<br />
<br />
Итоговая оценка вычисляется на основе оценки за работу в семестре и оценки за экзамен:<br />
<br />
O<sub>итоговая</sub> = Округление(0.4 * ДЗ + 0.1 * ПР + 0.2 * КР + 0.3 * Э)<br />
<br />
ДЗ — средняя оценка за практические домашние задания<br />
<br />
ПР — средняя оценка за письменные проверочные работы на семинарах<br />
<br />
КР — оценка за контрольную работу<br />
<br />
Э — оценка за экзамен<br />
<br />
Округление арифметическое.<br />
<br />
=== Правила сдачи заданий ===<br />
<br />
За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются. Даже при опоздании на одну секунду. Сдавайте заранее.<br />
<br />
При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.<br />
<br />
При наличии уважительной причины пропущенную проверочную можно написать позднее, а дедлайн по домашнему заданию может быть перенесён. Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.<br />
<br />
== Лекции ==<br />
<br />
Лекция 1 (20.01.2020). Введение в машинное обучение и анализ данных. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/lectures/lecture01-intro.pdf Слайды]] [[https://www.youtube.com/watch?v=77fwOymbP2Y Запись лекции]]<br />
<br />
== Семинары ==<br />
<br />
== Практические задания ==<br />
<br />
За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются, но есть исключение. В течение семестра каждый студент может не более 2 раз сдать задание после жёсткого дедлайна — в этом случае за каждый день просрочки продолжает вычитаться по одному баллу (если не оговорено иное).<br />
<br />
В некоторых группах домашние задания могут отличаться. Уточняйте у семинариста.<br />
<br />
== Соревнования ==<br />
<br />
===Правила участия и оценивания===<br />
В соревновании по анализу данных вам предлагается по имеющимся данным решить некоторую задачу, оптимизируя указанную метрику, и отправить ответы для заданного тестового множества. Максимальное количество посылок в сутки ограничено (как правило, разрешается сделать 2 посылки), ближе к концу соревнования вам будем необходимо выбрать 2 посылки, которые вы считаете лучшими. Тестовые данные делятся на публичные и приватные в некотором соотношении, на основе которых строятся публичный и приватный лидерборды соответственно, при этом публичный лидерборд доступен в течение всего соревнования, а приватный строится после его окончания для выбранных вами посылок.<br />
<br />
Студент, занявший в соревновании место i, получает оценку<br />
<br />
10 - 10 * (i - 1) / M,<br />
<br />
где M — количество студентов, принявших участие в соревновании;<br />
<br />
i — место (начиная с 1) студента в приватном лидерборде среди всех таких студентов.<br />
<br />
Чтобы вас не пропустили при проверке решений соревнования, '''необходимо''' использовать следующий формат для имени команды (вкладка Team): <br />
<br />
«Имя Фамилия номер_группы»<br />
<br />
В течение 3 суток после окончания соревнования в соответствующее задание на anytask необходимо прислать код, воспроизводящий ответы для посылки, фигурирующей в приватном лидерборде. В случае отсутствия кода, воспроизводящего результат, в установленный срок студенту выставляется 0 в качестве оценки за соревнование. Если не оговорено иное, использовать любые внешние данные в соревнованиях '''запрещено'''. Под внешними данными понимаются размеченные данные, где разметка имеет прямое отношение к решаемой задаче. Грубо говоря, сборник текстов с википедии не считается внешними данными.<br />
<br />
== Контрольная работа ==<br />
<br />
Вопросы для подготовки с прошлого года: https://docs.google.com/document/d/1yuB17EoXyVSxqRslpFTKX97Kriuxn4lgFL5z4kQF9lU/edit?usp=sharing<br />
<br />
На контрольной будет 4 вопроса. Два из них — по теории, где нужно будет объяснить одну из тем, разобранных на лекциях, или ответить на вопросы на понимание. Два вопроса — это задачи, примеры приведены ниже.<br />
<br />
Примеры задач:<br />
* Метрические методы, kNN [[http://nbviewer.jupyter.org/github/shestakoff/minor_da_2017/blob/master/colloc_knn.ipynb Примеры задач]]<br />
* Линейные методы [[https://github.com/esokolov/ml-minor-hse/blob/master/colloquium-2017/colloquium_minor_problems_linear.pdf Примеры задач]]<br />
* Решающие деревья [[https://github.com/esokolov/ml-minor-hse/blob/master/colloquium-2017/colloquium_minor_problems_trees.ipynb Примеры задач]]<br />
* Метрики качества [[https://github.com/esokolov/ml-minor-hse/blob/master/colloquium-2017/colloquium_minor_problems_metrics.ipynb Примеры задач]]<br />
<br />
== Экзамен ==<br />
<br />
Вопросы: https://docs.google.com/document/d/18kMS1f7NsdGEZy62MgfTGdgSq4P-6DVcnwr1ZJPLAqE/edit?usp=sharing<br />
<br />
[https://github.com/esokolov/ml-minor-hse/blob/master/exam-2017/exam_problems_example.pdf Примеры задач прошлого года] (также могут войти задачи из коллоквиума)<br />
<br />
==Полезные материалы==<br />
===Курсы по машинному обучению и анализу данных===<br />
Максимально близко к материалам курса: [https://www.coursera.org/specializations/machine-learning-from-statistics-to-neural-networks Специализация "Машинное обучение: от статистики до нейросетей"] (речь про два курса: "Основы машинного обучения" и "Продвинутые методы машинного обучения")<br />
<br />
Для тех, кто хочет подтянуть математику: [https://www.coursera.org/specializations/maths-for-data-analysis Специализация "Математика для анализа данных"]<br />
<br />
Более сложная версия этого курса с ПМИ: [[Машинное обучение 1]]<br />
<br />
Ещё материалы:<br />
* [http://www.machinelearning.ru/wiki/index.php?title=Машинное_обучение_%28курс_лекций%2C_К.В.Воронцов%29 Курс по машинному обучению К.В. Воронцова]<br />
* [https://yandexdataschool.ru/edu-process/courses/machine-learning Видеозаписи лекций курса Школы Анализа Данных, К.В. Воронцов]<br />
* [https://www.coursera.org/specializations/machine-learning-data-analysis Coursera: Машинное обучение и анализ данных (специализация)]<br />
* [https://www.coursera.org/learn/introduction-machine-learning Coursera: Введение в машинное обучение, К.В. Воронцов]<br />
* [https://www.coursera.org/learn/machine-learning Coursera: Machine Learning, Andrew Ng]<br />
<br />
===Статьи===<br />
* [http://www.toptal.com/machine-learning/machine-learning-theory-an-introductory-primer An Introduction to Machine Learning Theory and Its Applications: A Visual Tutorial with Examples]<br />
* [http://www.r2d3.us/visual-intro-to-machine-learning-part-1/ A Visual Introduction to Machine Learning]<br />
<br />
===Книги===<br />
* Mohammed J. Zaki, Wagner Meira Jr. Data Mining and Analysis. Fundamental Concepts and Algorithms. Cambridge University Press, 2014.<br />
* Boris Mirkin. Core Concepts in Data Analysis: Summarization, Correlation, Visualization. 2010.<br />
* James, Witten, Hastie, Tibshirani. An Introduction to Statistical Learning. 2013.<br />
<br />
== Страницы прошлых лет ==<br />
<br />
[[Введение_в_анализ_данных_(майнор_ИАД)_2019/2020 | 2019/20 учебный год]]<br />
<br />
[[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных | 2018/19 учебный год ]]<br />
<br />
[[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/2017-2018 | 2017/18 учебный год ]]<br />
<br />
[[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/2016-2017 | 2016/17 учебный год ]]<br />
<br />
[[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/2015-2016 | 2015/16 учебный год ]]<br />
<br />
[[Category:Майнор "Интеллектуальный анализ данных"]]</div>I.kosarevhttps://wiki.cs.hse.ru/index.php?title=%D0%92%D0%B2%D0%B5%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5_%D0%B2_%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85&diff=50219Введение в анализ данных2021-01-23T13:29:04Z<p>I.kosarev: /* Семинары */</p>
<hr />
<div>== О курсе ==<br />
<br />
Курс читается для студентов 2-го курса [https://electives.hse.ru/minor_intel/ майнора ИАД] в 3-4 модулях.<br />
<br />
Проводится с 2015 года.<br />
<br />
'''Лектор:''' [http://www.hse.ru/staff/esokolov Соколов Евгений Андреевич]<br />
<br />
Лекции проходят онлайн по средам в 11:10.<br />
<br />
=== Полезные ссылки ===<br />
<br />
[https://www.hse.ru/edu/courses/416021030 Карточка курса и программа]<br />
<br />
[https://github.com/hse-ds/iad-intro-ds Репозиторий с материалами на GitHub]<br />
<br />
Почта для сдачи домашних заданий (на самом деле задания сдаются в AnyTask, но если он не работает, то присылайте на почту): hse.minor.dm+<номер группы>@gmail.com (например, hse.minor.dm+3@gmail.com)<br />
<br />
Канал в telegram для объявлений: https://t.me/hs_iad_2021<br />
<br />
Чат в telegram для флуда: https://t.me/joinchat/Vuq4Lgi98RG22fQP<br />
<br />
Ссылка на курс в Anytask: https://anytask.org/course/779<br />
<br />
Таблица с оценками:<br />
<br />
=== Семинары ===<br />
<br />
{| class="wikitable"<br />
|-<br />
! Группа !! Преподаватель !! Учебные ассистенты !! Zoom-конференция !! Ссылка на чат !! Материалы семинаров !! Инвайт в anytask <br />
|-<br />
| ИАД-1 || Илья Косарев || Саночкин Юрий, Пащенко Анатолий || [https://zoom.us/j/95260607985?pwd=NTAxSVhGV1UzdHF2M0N6Q2dKWElOQT09 Zoom] || [https://t.me/joinchat/SrL1GYfpaLeFxs4J Чат] || [https://github.com/PersDep/data-mining-intro-2021 Материалы] || TmsBwpE<br />
|-<br />
| ИАД-2 || Чиркова Надежда || Екатерина Кострыкина, Александра Штарёва || [https://zoom.us/j/97891126155?pwd=bXk0c2oxRm9jWUJuRUJtRDl1elB2QT09 Zoom] || [https://t.me/joinchat/GnnT0omle1UE7HQ1 Чат] || ||<br />
|-<br />
| ИАД-3 || Кантонистова Елена || [https://t.me/mikezz_1 Михаил Олейник], [https://t.me/NikPatov Никита Патов ] || [https://zoom.us/j/93207072522?pwd=djlCL3pJc0JuNkJKZ3RvL21UQmFVQT09 Zoom] || [https://t.me/joinchat/GWgn8k5yOx1s4qD3 Чат] || || ewfZ2I8<br />
|-<br />
| ИАД-4 || Филатов Артём || Валерий Айхенвальд, Анастасия Бир || [https://zoom.us/j/95918149669?pwd=UUxuOEthSnVDZVU0WFhVNXM1UytEZz09 Zoom] || [https://t.me/joinchat/G3mbrYDFVm4gVitF Чат] || || 4TUKO0v<br />
|-<br />
| ИАД-5 || [https://t.me/vsomelyusik Владимир Омелюсик] || [https://t.me/aksenysh Аня Аксенова], Александр Габиташвили || [https://zoom.us/j/95997234634?pwd=SHVjUGM1a2hFTDNnZ1RmMm1xakpTQT09 Zoom] || [https://t.me/joinchat/GRjeFvGs5HBiIm38 Чат] || [https://github.com/V-Marco/hse_iad5_2021 Материалы] || Kre5emJ<br />
|-<br />
| ИАД-6 || Карпова Ася || Елена Гринкевич, Егор Масликов || [https://zoom.us/j/95210435451?pwd=UEZaR1FsTzZnclhDRnY2aEFEODJIQT09 Zoom] || [https://t.me/joinchat/TeYBnyU8bpTw3j93 Чат] || || nSuRKac<br />
|-<br />
| ИАД-7 || [https://t.me/OnixinO Тамерлан Таболов] || [https://t.me/Debasering Николай Аверьянов], [https://t.me/greyworgen Сергей Тихонов], [https://t.me/userwaskicked Никита Крайко] || [https://zoom.us/j/93740294916?pwd=S20vN3loUytFVk1EamQ4MDhhY0V4UT09 Zoom] || [https://t.me/joinchat/RHVp06vSXeAmedPu Чат] || ||<br />
|-<br />
| БИ 3 курс || Косарев Илья] || Гусева Полина Александровна, Такташева Екатерина Вадимовна || [https://zoom.us/j/94624466609?pwd=ZnRhYy8zZmF0OFRhaHNDTjlCVFZxQT09 Zoom] || [https://t.me/joinchat/HKbLF0ki_iPqUjnY Чат] || TmsBwpE ||<br />
|-<br />
|}<br />
<br />
=== Правила выставления оценок ===<br />
<br />
В курсе предусмотрено несколько форм контроля знания:<br />
* Самостоятельные работы на семинарах, проверяющие знание основных фактов с лекций и семинаров<br />
* Практические домашние работы на Python<br />
* Контрольная где-то в середине курса<br />
* Письменный экзамен<br />
<br />
Итоговая оценка вычисляется на основе оценки за работу в семестре и оценки за экзамен:<br />
<br />
O<sub>итоговая</sub> = Округление(0.4 * ДЗ + 0.1 * ПР + 0.2 * КР + 0.3 * Э)<br />
<br />
ДЗ — средняя оценка за практические домашние задания<br />
<br />
ПР — средняя оценка за письменные проверочные работы на семинарах<br />
<br />
КР — оценка за контрольную работу<br />
<br />
Э — оценка за экзамен<br />
<br />
Округление арифметическое.<br />
<br />
=== Правила сдачи заданий ===<br />
<br />
За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются. Даже при опоздании на одну секунду. Сдавайте заранее.<br />
<br />
При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.<br />
<br />
При наличии уважительной причины пропущенную проверочную можно написать позднее, а дедлайн по домашнему заданию может быть перенесён. Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.<br />
<br />
== Лекции ==<br />
<br />
Лекция 1 (20.01.2020). Введение в машинное обучение и анализ данных. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/lectures/lecture01-intro.pdf Слайды]] [[https://www.youtube.com/watch?v=77fwOymbP2Y Запись лекции]]<br />
<br />
== Семинары ==<br />
<br />
== Практические задания ==<br />
<br />
За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются, но есть исключение. В течение семестра каждый студент может не более 2 раз сдать задание после жёсткого дедлайна — в этом случае за каждый день просрочки продолжает вычитаться по одному баллу (если не оговорено иное).<br />
<br />
В некоторых группах домашние задания могут отличаться. Уточняйте у семинариста.<br />
<br />
== Соревнования ==<br />
<br />
===Правила участия и оценивания===<br />
В соревновании по анализу данных вам предлагается по имеющимся данным решить некоторую задачу, оптимизируя указанную метрику, и отправить ответы для заданного тестового множества. Максимальное количество посылок в сутки ограничено (как правило, разрешается сделать 2 посылки), ближе к концу соревнования вам будем необходимо выбрать 2 посылки, которые вы считаете лучшими. Тестовые данные делятся на публичные и приватные в некотором соотношении, на основе которых строятся публичный и приватный лидерборды соответственно, при этом публичный лидерборд доступен в течение всего соревнования, а приватный строится после его окончания для выбранных вами посылок.<br />
<br />
Студент, занявший в соревновании место i, получает оценку<br />
<br />
10 - 10 * (i - 1) / M,<br />
<br />
где M — количество студентов, принявших участие в соревновании;<br />
<br />
i — место (начиная с 1) студента в приватном лидерборде среди всех таких студентов.<br />
<br />
Чтобы вас не пропустили при проверке решений соревнования, '''необходимо''' использовать следующий формат для имени команды (вкладка Team): <br />
<br />
«Имя Фамилия номер_группы»<br />
<br />
В течение 3 суток после окончания соревнования в соответствующее задание на anytask необходимо прислать код, воспроизводящий ответы для посылки, фигурирующей в приватном лидерборде. В случае отсутствия кода, воспроизводящего результат, в установленный срок студенту выставляется 0 в качестве оценки за соревнование. Если не оговорено иное, использовать любые внешние данные в соревнованиях '''запрещено'''. Под внешними данными понимаются размеченные данные, где разметка имеет прямое отношение к решаемой задаче. Грубо говоря, сборник текстов с википедии не считается внешними данными.<br />
<br />
== Контрольная работа ==<br />
<br />
Вопросы для подготовки с прошлого года: https://docs.google.com/document/d/1yuB17EoXyVSxqRslpFTKX97Kriuxn4lgFL5z4kQF9lU/edit?usp=sharing<br />
<br />
На контрольной будет 4 вопроса. Два из них — по теории, где нужно будет объяснить одну из тем, разобранных на лекциях, или ответить на вопросы на понимание. Два вопроса — это задачи, примеры приведены ниже.<br />
<br />
Примеры задач:<br />
* Метрические методы, kNN [[http://nbviewer.jupyter.org/github/shestakoff/minor_da_2017/blob/master/colloc_knn.ipynb Примеры задач]]<br />
* Линейные методы [[https://github.com/esokolov/ml-minor-hse/blob/master/colloquium-2017/colloquium_minor_problems_linear.pdf Примеры задач]]<br />
* Решающие деревья [[https://github.com/esokolov/ml-minor-hse/blob/master/colloquium-2017/colloquium_minor_problems_trees.ipynb Примеры задач]]<br />
* Метрики качества [[https://github.com/esokolov/ml-minor-hse/blob/master/colloquium-2017/colloquium_minor_problems_metrics.ipynb Примеры задач]]<br />
<br />
== Экзамен ==<br />
<br />
Вопросы: https://docs.google.com/document/d/18kMS1f7NsdGEZy62MgfTGdgSq4P-6DVcnwr1ZJPLAqE/edit?usp=sharing<br />
<br />
[https://github.com/esokolov/ml-minor-hse/blob/master/exam-2017/exam_problems_example.pdf Примеры задач прошлого года] (также могут войти задачи из коллоквиума)<br />
<br />
==Полезные материалы==<br />
===Курсы по машинному обучению и анализу данных===<br />
Максимально близко к материалам курса: [https://www.coursera.org/specializations/machine-learning-from-statistics-to-neural-networks Специализация "Машинное обучение: от статистики до нейросетей"] (речь про два курса: "Основы машинного обучения" и "Продвинутые методы машинного обучения")<br />
<br />
Для тех, кто хочет подтянуть математику: [https://www.coursera.org/specializations/maths-for-data-analysis Специализация "Математика для анализа данных"]<br />
<br />
Более сложная версия этого курса с ПМИ: [[Машинное обучение 1]]<br />
<br />
Ещё материалы:<br />
* [http://www.machinelearning.ru/wiki/index.php?title=Машинное_обучение_%28курс_лекций%2C_К.В.Воронцов%29 Курс по машинному обучению К.В. Воронцова]<br />
* [https://yandexdataschool.ru/edu-process/courses/machine-learning Видеозаписи лекций курса Школы Анализа Данных, К.В. Воронцов]<br />
* [https://www.coursera.org/specializations/machine-learning-data-analysis Coursera: Машинное обучение и анализ данных (специализация)]<br />
* [https://www.coursera.org/learn/introduction-machine-learning Coursera: Введение в машинное обучение, К.В. Воронцов]<br />
* [https://www.coursera.org/learn/machine-learning Coursera: Machine Learning, Andrew Ng]<br />
<br />
===Статьи===<br />
* [http://www.toptal.com/machine-learning/machine-learning-theory-an-introductory-primer An Introduction to Machine Learning Theory and Its Applications: A Visual Tutorial with Examples]<br />
* [http://www.r2d3.us/visual-intro-to-machine-learning-part-1/ A Visual Introduction to Machine Learning]<br />
<br />
===Книги===<br />
* Mohammed J. Zaki, Wagner Meira Jr. Data Mining and Analysis. Fundamental Concepts and Algorithms. Cambridge University Press, 2014.<br />
* Boris Mirkin. Core Concepts in Data Analysis: Summarization, Correlation, Visualization. 2010.<br />
* James, Witten, Hastie, Tibshirani. An Introduction to Statistical Learning. 2013.<br />
<br />
== Страницы прошлых лет ==<br />
<br />
[[Введение_в_анализ_данных_(майнор_ИАД)_2019/2020 | 2019/20 учебный год]]<br />
<br />
[[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных | 2018/19 учебный год ]]<br />
<br />
[[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/2017-2018 | 2017/18 учебный год ]]<br />
<br />
[[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/2016-2017 | 2016/17 учебный год ]]<br />
<br />
[[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/2015-2016 | 2015/16 учебный год ]]<br />
<br />
[[Category:Майнор "Интеллектуальный анализ данных"]]</div>I.kosarevhttps://wiki.cs.hse.ru/index.php?title=%D0%92%D0%B2%D0%B5%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5_%D0%B2_%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85&diff=50135Введение в анализ данных2021-01-22T09:32:26Z<p>I.kosarev: </p>
<hr />
<div>== О курсе ==<br />
<br />
Курс читается для студентов 2-го курса [https://electives.hse.ru/minor_intel/ майнора ИАД] в 3-4 модулях.<br />
<br />
Проводится с 2015 года.<br />
<br />
'''Лектор:''' [http://www.hse.ru/staff/esokolov Соколов Евгений Андреевич]<br />
<br />
Лекции проходят онлайн по средам в 11:10.<br />
<br />
=== Полезные ссылки ===<br />
<br />
[https://www.hse.ru/edu/courses/416021030 Карточка курса и программа]<br />
<br />
[https://github.com/hse-ds/iad-intro-ds Репозиторий с материалами на GitHub]<br />
<br />
Почта для сдачи домашних заданий (на самом деле задания сдаются в AnyTask, но если он не работает, то присылайте на почту): hse.minor.dm+<номер группы>@gmail.com (например, hse.minor.dm+3@gmail.com)<br />
<br />
Канал в telegram для объявлений: https://t.me/hs_iad_2021<br />
<br />
Чат в telegram для флуда: https://t.me/joinchat/Vuq4Lgi98RG22fQP<br />
<br />
Ссылка на курс в Anytask: https://anytask.org/course/779<br />
<br />
Таблица с оценками:<br />
<br />
=== Семинары ===<br />
<br />
{| class="wikitable"<br />
|-<br />
! Группа !! Преподаватель !! Учебные ассистенты !! Zoom-конференция !! Ссылка на чат !! Материалы семинаров !! Инвайт в anytask <br />
|-<br />
| ИАД-1 || Илья Косарев || Саночкин Юрий, Пащенко Анатолий || [https://zoom.us/j/95260607985?pwd=NTAxSVhGV1UzdHF2M0N6Q2dKWElOQT09 Zoom] || [https://t.me/joinchat/SrL1GYfpaLeFxs4J Чат] || [https://github.com/PersDep/data-mining-intro-2021 Материалы] || TmsBwpE<br />
|-<br />
| ИАД-2 || Чиркова Надежда || Екатерина Кострыкина, Александра Штарёва || [https://zoom.us/j/97891126155?pwd=bXk0c2oxRm9jWUJuRUJtRDl1elB2QT09 Zoom] || [https://t.me/joinchat/GnnT0omle1UE7HQ1 Чат] || ||<br />
|-<br />
| ИАД-3 || Кантонистова Елена || [https://t.me/mikezz_1 Михаил Олейник], [https://t.me/NikPatov Никита Патов ] || [https://zoom.us/j/93207072522?pwd=djlCL3pJc0JuNkJKZ3RvL21UQmFVQT09 Zoom] || [https://t.me/joinchat/GWgn8k5yOx1s4qD3 Чат] || || <br />
|-<br />
| ИАД-4 || Филатов Артём || Валерий Айхенвальд, Анастасия Бир || [https://zoom.us/j/95918149669?pwd=UUxuOEthSnVDZVU0WFhVNXM1UytEZz09 Zoom] || [https://t.me/joinchat/G3mbrYDFVm4gVitF Чат] || ||<br />
|-<br />
| ИАД-5 || [https://t.me/vsomelyusik Владимир Омелюсик] || [https://t.me/aksenysh Аня Аксенова], Александр Габиташвили || [https://zoom.us/j/95997234634?pwd=SHVjUGM1a2hFTDNnZ1RmMm1xakpTQT09 Zoom] || [https://t.me/joinchat/GRjeFvGs5HBiIm38 Чат] || [https://github.com/V-Marco/hse_iad5_2021 Материалы] ||<br />
|-<br />
| ИАД-6 || Карпова Ася || Елена Гринкевич, Егор Масликов || [https://zoom.us/j/95210435451?pwd=UEZaR1FsTzZnclhDRnY2aEFEODJIQT09 Zoom] || [https://t.me/joinchat/TeYBnyU8bpTw3j93 Чат] || ||<br />
|-<br />
| ИАД-7 || [https://t.me/OnixinO Тамерлан Таболов] || [https://t.me/Debasering Николай Аверьянов], [https://t.me/greyworgen Сергей Тихонов], [https://t.me/userwaskicked Никита Крайко] || [https://zoom.us/j/93740294916?pwd=S20vN3loUytFVk1EamQ4MDhhY0V4UT09 Zoom] || [https://t.me/joinchat/RHVp06vSXeAmedPu Чат] || ||<br />
|-<br />
|}<br />
<br />
=== Правила выставления оценок ===<br />
<br />
В курсе предусмотрено несколько форм контроля знания:<br />
* Самостоятельные работы на семинарах, проверяющие знание основных фактов с лекций и семинаров<br />
* Практические домашние работы на Python<br />
* Контрольная где-то в середине курса<br />
* Письменный экзамен<br />
<br />
Итоговая оценка вычисляется на основе оценки за работу в семестре и оценки за экзамен:<br />
<br />
O<sub>итоговая</sub> = Округление(0.4 * ДЗ + 0.1 * ПР + 0.2 * КР + 0.3 * Э)<br />
<br />
ДЗ — средняя оценка за практические домашние задания<br />
<br />
ПР — средняя оценка за письменные проверочные работы на семинарах<br />
<br />
КР — оценка за контрольную работу<br />
<br />
Э — оценка за экзамен<br />
<br />
Округление арифметическое.<br />
<br />
=== Правила сдачи заданий ===<br />
<br />
За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются. Даже при опоздании на одну секунду. Сдавайте заранее.<br />
<br />
При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.<br />
<br />
При наличии уважительной причины пропущенную проверочную можно написать позднее, а дедлайн по домашнему заданию может быть перенесён. Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.<br />
<br />
== Лекции ==<br />
<br />
Лекция 1 (20.01.2020). Введение в машинное обучение и анализ данных. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/lectures/lecture01-intro.pdf Слайды]] [[https://www.youtube.com/watch?v=77fwOymbP2Y Запись лекции]]<br />
<br />
== Семинары ==<br />
<br />
== Практические задания ==<br />
<br />
За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются, но есть исключение. В течение семестра каждый студент может не более 2 раз сдать задание после жёсткого дедлайна — в этом случае за каждый день просрочки продолжает вычитаться по одному баллу (если не оговорено иное).<br />
<br />
В некоторых группах домашние задания могут отличаться. Уточняйте у семинариста.<br />
<br />
== Соревнования ==<br />
<br />
===Правила участия и оценивания===<br />
В соревновании по анализу данных вам предлагается по имеющимся данным решить некоторую задачу, оптимизируя указанную метрику, и отправить ответы для заданного тестового множества. Максимальное количество посылок в сутки ограничено (как правило, разрешается сделать 2 посылки), ближе к концу соревнования вам будем необходимо выбрать 2 посылки, которые вы считаете лучшими. Тестовые данные делятся на публичные и приватные в некотором соотношении, на основе которых строятся публичный и приватный лидерборды соответственно, при этом публичный лидерборд доступен в течение всего соревнования, а приватный строится после его окончания для выбранных вами посылок.<br />
<br />
Студент, занявший в соревновании место i, получает оценку<br />
<br />
10 - 10 * (i - 1) / M,<br />
<br />
где M — количество студентов, принявших участие в соревновании;<br />
<br />
i — место (начиная с 1) студента в приватном лидерборде среди всех таких студентов.<br />
<br />
Чтобы вас не пропустили при проверке решений соревнования, '''необходимо''' использовать следующий формат для имени команды (вкладка Team): <br />
<br />
«Имя Фамилия номер_группы»<br />
<br />
В течение 3 суток после окончания соревнования в соответствующее задание на anytask необходимо прислать код, воспроизводящий ответы для посылки, фигурирующей в приватном лидерборде. В случае отсутствия кода, воспроизводящего результат, в установленный срок студенту выставляется 0 в качестве оценки за соревнование. Если не оговорено иное, использовать любые внешние данные в соревнованиях '''запрещено'''. Под внешними данными понимаются размеченные данные, где разметка имеет прямое отношение к решаемой задаче. Грубо говоря, сборник текстов с википедии не считается внешними данными.<br />
<br />
== Контрольная работа ==<br />
<br />
Вопросы для подготовки с прошлого года: https://docs.google.com/document/d/1yuB17EoXyVSxqRslpFTKX97Kriuxn4lgFL5z4kQF9lU/edit?usp=sharing<br />
<br />
На контрольной будет 4 вопроса. Два из них — по теории, где нужно будет объяснить одну из тем, разобранных на лекциях, или ответить на вопросы на понимание. Два вопроса — это задачи, примеры приведены ниже.<br />
<br />
Примеры задач:<br />
* Метрические методы, kNN [[http://nbviewer.jupyter.org/github/shestakoff/minor_da_2017/blob/master/colloc_knn.ipynb Примеры задач]]<br />
* Линейные методы [[https://github.com/esokolov/ml-minor-hse/blob/master/colloquium-2017/colloquium_minor_problems_linear.pdf Примеры задач]]<br />
* Решающие деревья [[https://github.com/esokolov/ml-minor-hse/blob/master/colloquium-2017/colloquium_minor_problems_trees.ipynb Примеры задач]]<br />
* Метрики качества [[https://github.com/esokolov/ml-minor-hse/blob/master/colloquium-2017/colloquium_minor_problems_metrics.ipynb Примеры задач]]<br />
<br />
== Экзамен ==<br />
<br />
Вопросы: https://docs.google.com/document/d/18kMS1f7NsdGEZy62MgfTGdgSq4P-6DVcnwr1ZJPLAqE/edit?usp=sharing<br />
<br />
[https://github.com/esokolov/ml-minor-hse/blob/master/exam-2017/exam_problems_example.pdf Примеры задач прошлого года] (также могут войти задачи из коллоквиума)<br />
<br />
==Полезные материалы==<br />
===Курсы по машинному обучению и анализу данных===<br />
Максимально близко к материалам курса: [https://www.coursera.org/specializations/machine-learning-from-statistics-to-neural-networks Специализация "Машинное обучение: от статистики до нейросетей"] (речь про два курса: "Основы машинного обучения" и "Продвинутые методы машинного обучения")<br />
<br />
Для тех, кто хочет подтянуть математику: [https://www.coursera.org/specializations/maths-for-data-analysis Специализация "Математика для анализа данных"]<br />
<br />
Более сложная версия этого курса с ПМИ: [[Машинное обучение 1]]<br />
<br />
Ещё материалы:<br />
* [http://www.machinelearning.ru/wiki/index.php?title=Машинное_обучение_%28курс_лекций%2C_К.В.Воронцов%29 Курс по машинному обучению К.В. Воронцова]<br />
* [https://yandexdataschool.ru/edu-process/courses/machine-learning Видеозаписи лекций курса Школы Анализа Данных, К.В. Воронцов]<br />
* [https://www.coursera.org/specializations/machine-learning-data-analysis Coursera: Машинное обучение и анализ данных (специализация)]<br />
* [https://www.coursera.org/learn/introduction-machine-learning Coursera: Введение в машинное обучение, К.В. Воронцов]<br />
* [https://www.coursera.org/learn/machine-learning Coursera: Machine Learning, Andrew Ng]<br />
<br />
===Статьи===<br />
* [http://www.toptal.com/machine-learning/machine-learning-theory-an-introductory-primer An Introduction to Machine Learning Theory and Its Applications: A Visual Tutorial with Examples]<br />
* [http://www.r2d3.us/visual-intro-to-machine-learning-part-1/ A Visual Introduction to Machine Learning]<br />
<br />
===Книги===<br />
* Mohammed J. Zaki, Wagner Meira Jr. Data Mining and Analysis. Fundamental Concepts and Algorithms. Cambridge University Press, 2014.<br />
* Boris Mirkin. Core Concepts in Data Analysis: Summarization, Correlation, Visualization. 2010.<br />
* James, Witten, Hastie, Tibshirani. An Introduction to Statistical Learning. 2013.<br />
<br />
== Страницы прошлых лет ==<br />
<br />
[[Введение_в_анализ_данных_(майнор_ИАД)_2019/2020 | 2019/20 учебный год]]<br />
<br />
[[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных | 2018/19 учебный год ]]<br />
<br />
[[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/2017-2018 | 2017/18 учебный год ]]<br />
<br />
[[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/2016-2017 | 2016/17 учебный год ]]<br />
<br />
[[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/2015-2016 | 2015/16 учебный год ]]<br />
<br />
[[Category:Майнор "Интеллектуальный анализ данных"]]</div>I.kosarevhttps://wiki.cs.hse.ru/index.php?title=%D0%92%D0%B2%D0%B5%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5_%D0%B2_%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85&diff=50016Введение в анализ данных2021-01-20T11:59:56Z<p>I.kosarev: </p>
<hr />
<div>== О курсе ==<br />
<br />
Курс читается для студентов 2-го курса [https://electives.hse.ru/minor_intel/ майнора ИАД] в 3-4 модулях.<br />
<br />
Проводится с 2015 года.<br />
<br />
'''Лектор:''' [http://www.hse.ru/staff/esokolov Соколов Евгений Андреевич]<br />
<br />
Лекции проходят онлайн по средам в 11:10.<br />
<br />
=== Полезные ссылки ===<br />
<br />
[https://www.hse.ru/edu/courses/416021030 Карточка курса и программа]<br />
<br />
[https://github.com/hse-ds/iad-intro-ds Репозиторий с материалами на GitHub]<br />
<br />
Почта для сдачи домашних заданий (на самом деле задания сдаются в AnyTask, но если он не работает, то присылайте на почту): hse.minor.dm+<номер группы>@gmail.com (например, hse.minor.dm+3@gmail.com)<br />
<br />
Канал в telegram для объявлений: https://t.me/hs_iad_2021<br />
<br />
Чат в telegram для флуда: https://t.me/joinchat/Vuq4Lgi98RG22fQP<br />
<br />
Ссылка на курс в Anytask: <br />
<br />
Таблица с оценками:<br />
<br />
=== Семинары ===<br />
<br />
{| class="wikitable"<br />
|-<br />
! Группа !! Преподаватель !! Учебные ассистенты !! Zoom-конференция !! Ссылка на чат !! Материалы семинаров !! ДЗ<br />
|-<br />
| ИАД-1 || Илья Косарев || Саночкин Юрий, Пащенко Анатолий || [https://zoom.us/j/95260607985?pwd=NTAxSVhGV1UzdHF2M0N6Q2dKWElOQT09 Zoom] || [https://t.me/joinchat/SrL1GYfpaLeFxs4J Чат] || [https://github.com/PersDep/data-mining-intro-2021 Материалы] || [https://github.com/PersDep/data-mining-intro-2021 Материалы]<br />
|-<br />
| ИАД-2 || Чиркова Надежда || Екатерина Кострыкина, Александра Штарёва || [https://zoom.us/j/97891126155?pwd=bXk0c2oxRm9jWUJuRUJtRDl1elB2QT09 Zoom] || [https://t.me/joinchat/GnnT0omle1UE7HQ1 Чат] || ||<br />
|-<br />
| ИАД-3 || Кантонистова Елена || || || || ||<br />
|-<br />
| ИАД-4 || Филатов Артём || || || || ||<br />
|-<br />
| ИАД-5 || [https://t.me/vsomelyusik Владимир Омелюсик] || [https://t.me/aksenysh Аня Аксенова], Александр Габиташвили || [https://zoom.us/j/95997234634?pwd=SHVjUGM1a2hFTDNnZ1RmMm1xakpTQT09 Zoom] || [https://t.me/joinchat/GRjeFvGs5HBiIm38 Чат] || ||<br />
|-<br />
| ИАД-6 || Карпова Ася || Гринкевич Елена || || || ||<br />
|-<br />
| ИАД-7 || Таболов Тамерлан || || || || ||<br />
|-<br />
|}<br />
<br />
=== Правила выставления оценок ===<br />
<br />
В курсе предусмотрено несколько форм контроля знания:<br />
* Самостоятельные работы на семинарах, проверяющие знание основных фактов с лекций и семинаров<br />
* Практические домашние работы на Python<br />
* Контрольная где-то в середине курса<br />
* Письменный экзамен<br />
<br />
Итоговая оценка вычисляется на основе оценки за работу в семестре и оценки за экзамен:<br />
<br />
O<sub>итоговая</sub> = Округление(0.4 * ДЗ + 0.1 * ПР + 0.2 * КР + 0.3 * Э)<br />
<br />
ДЗ — средняя оценка за практические домашние задания<br />
<br />
ПР — средняя оценка за письменные проверочные работы на семинарах<br />
<br />
КР — оценка за контрольную работу<br />
<br />
Э — оценка за экзамен<br />
<br />
Округление арифметическое.<br />
<br />
=== Правила сдачи заданий ===<br />
<br />
За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются. Даже при опоздании на одну секунду. Сдавайте заранее.<br />
<br />
При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.<br />
<br />
При наличии уважительной причины пропущенную проверочную можно написать позднее, а дедлайн по домашнему заданию может быть перенесён. Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.<br />
<br />
== Лекции ==<br />
<br />
Лекция 1 (20.01.2020). Введение в машинное обучение и анализ данных. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/lectures/lecture01-intro.pdf Слайды]] [[https://www.youtube.com/watch?v=77fwOymbP2Y Запись лекции]]<br />
<br />
== Семинары ==<br />
<br />
== Практические задания ==<br />
<br />
За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются, но есть исключение. В течение семестра каждый студент может не более 2 раз сдать задание после жёсткого дедлайна — в этом случае за каждый день просрочки продолжает вычитаться по одному баллу (если не оговорено иное).<br />
<br />
В некоторых группах домашние задания могут отличаться. Уточняйте у семинариста.<br />
<br />
== Соревнования ==<br />
<br />
===Правила участия и оценивания===<br />
В соревновании по анализу данных вам предлагается по имеющимся данным решить некоторую задачу, оптимизируя указанную метрику, и отправить ответы для заданного тестового множества. Максимальное количество посылок в сутки ограничено (как правило, разрешается сделать 2 посылки), ближе к концу соревнования вам будем необходимо выбрать 2 посылки, которые вы считаете лучшими. Тестовые данные делятся на публичные и приватные в некотором соотношении, на основе которых строятся публичный и приватный лидерборды соответственно, при этом публичный лидерборд доступен в течение всего соревнования, а приватный строится после его окончания для выбранных вами посылок.<br />
<br />
Студент, занявший в соревновании место i, получает оценку<br />
<br />
10 - 10 * (i - 1) / M,<br />
<br />
где M — количество студентов, принявших участие в соревновании;<br />
<br />
i — место (начиная с 1) студента в приватном лидерборде среди всех таких студентов.<br />
<br />
Чтобы вас не пропустили при проверке решений соревнования, '''необходимо''' использовать следующий формат для имени команды (вкладка Team): <br />
<br />
«Имя Фамилия номер_группы»<br />
<br />
В течение 3 суток после окончания соревнования в соответствующее задание на anytask необходимо прислать код, воспроизводящий ответы для посылки, фигурирующей в приватном лидерборде. В случае отсутствия кода, воспроизводящего результат, в установленный срок студенту выставляется 0 в качестве оценки за соревнование. Если не оговорено иное, использовать любые внешние данные в соревнованиях '''запрещено'''. Под внешними данными понимаются размеченные данные, где разметка имеет прямое отношение к решаемой задаче. Грубо говоря, сборник текстов с википедии не считается внешними данными.<br />
<br />
== Контрольная работа ==<br />
<br />
Вопросы для подготовки с прошлого года: https://docs.google.com/document/d/1yuB17EoXyVSxqRslpFTKX97Kriuxn4lgFL5z4kQF9lU/edit?usp=sharing<br />
<br />
На контрольной будет 4 вопроса. Два из них — по теории, где нужно будет объяснить одну из тем, разобранных на лекциях, или ответить на вопросы на понимание. Два вопроса — это задачи, примеры приведены ниже.<br />
<br />
Примеры задач:<br />
* Метрические методы, kNN [[http://nbviewer.jupyter.org/github/shestakoff/minor_da_2017/blob/master/colloc_knn.ipynb Примеры задач]]<br />
* Линейные методы [[https://github.com/esokolov/ml-minor-hse/blob/master/colloquium-2017/colloquium_minor_problems_linear.pdf Примеры задач]]<br />
* Решающие деревья [[https://github.com/esokolov/ml-minor-hse/blob/master/colloquium-2017/colloquium_minor_problems_trees.ipynb Примеры задач]]<br />
* Метрики качества [[https://github.com/esokolov/ml-minor-hse/blob/master/colloquium-2017/colloquium_minor_problems_metrics.ipynb Примеры задач]]<br />
<br />
== Экзамен ==<br />
<br />
Вопросы: https://docs.google.com/document/d/18kMS1f7NsdGEZy62MgfTGdgSq4P-6DVcnwr1ZJPLAqE/edit?usp=sharing<br />
<br />
[https://github.com/esokolov/ml-minor-hse/blob/master/exam-2017/exam_problems_example.pdf Примеры задач прошлого года] (также могут войти задачи из коллоквиума)<br />
<br />
==Полезные материалы==<br />
===Курсы по машинному обучению и анализу данных===<br />
Максимально близко к материалам курса: [https://www.coursera.org/specializations/machine-learning-from-statistics-to-neural-networks Специализация "Машинное обучение: от статистики до нейросетей"] (речь про два курса: "Основы машинного обучения" и "Продвинутые методы машинного обучения")<br />
<br />
Для тех, кто хочет подтянуть математику: [https://www.coursera.org/specializations/maths-for-data-analysis Специализация "Математика для анализа данных"]<br />
<br />
Более сложная версия этого курса с ПМИ: [[Машинное обучение 1]]<br />
<br />
Ещё материалы:<br />
* [http://www.machinelearning.ru/wiki/index.php?title=Машинное_обучение_%28курс_лекций%2C_К.В.Воронцов%29 Курс по машинному обучению К.В. Воронцова]<br />
* [https://yandexdataschool.ru/edu-process/courses/machine-learning Видеозаписи лекций курса Школы Анализа Данных, К.В. Воронцов]<br />
* [https://www.coursera.org/specializations/machine-learning-data-analysis Coursera: Машинное обучение и анализ данных (специализация)]<br />
* [https://www.coursera.org/learn/introduction-machine-learning Coursera: Введение в машинное обучение, К.В. Воронцов]<br />
* [https://www.coursera.org/learn/machine-learning Coursera: Machine Learning, Andrew Ng]<br />
<br />
===Статьи===<br />
* [http://www.toptal.com/machine-learning/machine-learning-theory-an-introductory-primer An Introduction to Machine Learning Theory and Its Applications: A Visual Tutorial with Examples]<br />
* [http://www.r2d3.us/visual-intro-to-machine-learning-part-1/ A Visual Introduction to Machine Learning]<br />
<br />
===Книги===<br />
* Mohammed J. Zaki, Wagner Meira Jr. Data Mining and Analysis. Fundamental Concepts and Algorithms. Cambridge University Press, 2014.<br />
* Boris Mirkin. Core Concepts in Data Analysis: Summarization, Correlation, Visualization. 2010.<br />
* James, Witten, Hastie, Tibshirani. An Introduction to Statistical Learning. 2013.<br />
<br />
== Страницы прошлых лет ==<br />
<br />
[[Введение_в_анализ_данных_(майнор_ИАД)_2019/2020 | 2019/20 учебный год]]<br />
<br />
[[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных | 2018/19 учебный год ]]<br />
<br />
[[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/2017-2018 | 2017/18 учебный год ]]<br />
<br />
[[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/2016-2017 | 2016/17 учебный год ]]<br />
<br />
[[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/2015-2016 | 2015/16 учебный год ]]<br />
<br />
[[Category:Майнор "Интеллектуальный анализ данных"]]</div>I.kosarevhttps://wiki.cs.hse.ru/index.php?title=%D0%92%D0%B2%D0%B5%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5_%D0%B2_%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85&diff=50015Введение в анализ данных2021-01-20T11:59:20Z<p>I.kosarev: </p>
<hr />
<div>== О курсе ==<br />
<br />
Курс читается для студентов 2-го курса [https://electives.hse.ru/minor_intel/ майнора ИАД] в 3-4 модулях.<br />
<br />
Проводится с 2015 года.<br />
<br />
'''Лектор:''' [http://www.hse.ru/staff/esokolov Соколов Евгений Андреевич]<br />
<br />
Лекции проходят онлайн по средам в 11:10.<br />
<br />
=== Полезные ссылки ===<br />
<br />
[https://www.hse.ru/edu/courses/416021030 Карточка курса и программа]<br />
<br />
[https://github.com/hse-ds/iad-intro-ds Репозиторий с материалами на GitHub]<br />
<br />
Почта для сдачи домашних заданий (на самом деле задания сдаются в AnyTask, но если он не работает, то присылайте на почту): hse.minor.dm+<номер группы>@gmail.com (например, hse.minor.dm+3@gmail.com)<br />
<br />
Канал в telegram для объявлений: https://t.me/hs_iad_2021<br />
<br />
Чат в telegram для флуда: https://t.me/joinchat/Vuq4Lgi98RG22fQP<br />
<br />
Ссылка на курс в Anytask: <br />
<br />
Таблица с оценками:<br />
<br />
=== Семинары ===<br />
<br />
{| class="wikitable"<br />
|-<br />
! Группа !! Преподаватель !! Учебные ассистенты !! Zoom-конференция !! Ссылка на чат !! Материалы семинаров !! ДЗ<br />
|-<br />
| ИАД-1 || Илья Косарев || Саночкин Юрий, Пащенко Анатолий || [https://zoom.us/j/95260607985?pwd=NTAxSVhGV1UzdHF2M0N6Q2dKWElOQT09 Zoom] || [https://t.me/joinchat/SrL1GYfpaLeFxs4J Чат] || [https://github.com/PersDep/data-mining-intro-2021 Материалы] ||<br />
|-<br />
| ИАД-2 || Чиркова Надежда || Екатерина Кострыкина, Александра Штарёва || [https://zoom.us/j/97891126155?pwd=bXk0c2oxRm9jWUJuRUJtRDl1elB2QT09 Zoom] || [https://t.me/joinchat/GnnT0omle1UE7HQ1 Чат] || ||<br />
|-<br />
| ИАД-3 || Кантонистова Елена || || || || ||<br />
|-<br />
| ИАД-4 || Филатов Артём || || || || ||<br />
|-<br />
| ИАД-5 || [https://t.me/vsomelyusik Владимир Омелюсик] || [https://t.me/aksenysh Аня Аксенова], Александр Габиташвили || [https://zoom.us/j/95997234634?pwd=SHVjUGM1a2hFTDNnZ1RmMm1xakpTQT09 Zoom] || [https://t.me/joinchat/GRjeFvGs5HBiIm38 Чат] || ||<br />
|-<br />
| ИАД-6 || Карпова Ася || Гринкевич Елена || || || ||<br />
|-<br />
| ИАД-7 || Таболов Тамерлан || || || || ||<br />
|-<br />
|}<br />
<br />
=== Правила выставления оценок ===<br />
<br />
В курсе предусмотрено несколько форм контроля знания:<br />
* Самостоятельные работы на семинарах, проверяющие знание основных фактов с лекций и семинаров<br />
* Практические домашние работы на Python<br />
* Контрольная где-то в середине курса<br />
* Письменный экзамен<br />
<br />
Итоговая оценка вычисляется на основе оценки за работу в семестре и оценки за экзамен:<br />
<br />
O<sub>итоговая</sub> = Округление(0.4 * ДЗ + 0.1 * ПР + 0.2 * КР + 0.3 * Э)<br />
<br />
ДЗ — средняя оценка за практические домашние задания<br />
<br />
ПР — средняя оценка за письменные проверочные работы на семинарах<br />
<br />
КР — оценка за контрольную работу<br />
<br />
Э — оценка за экзамен<br />
<br />
Округление арифметическое.<br />
<br />
=== Правила сдачи заданий ===<br />
<br />
За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются. Даже при опоздании на одну секунду. Сдавайте заранее.<br />
<br />
При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.<br />
<br />
При наличии уважительной причины пропущенную проверочную можно написать позднее, а дедлайн по домашнему заданию может быть перенесён. Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.<br />
<br />
== Лекции ==<br />
<br />
Лекция 1 (20.01.2020). Введение в машинное обучение и анализ данных. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/lectures/lecture01-intro.pdf Слайды]] [[https://www.youtube.com/watch?v=77fwOymbP2Y Запись лекции]]<br />
<br />
== Семинары ==<br />
<br />
== Практические задания ==<br />
<br />
За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются, но есть исключение. В течение семестра каждый студент может не более 2 раз сдать задание после жёсткого дедлайна — в этом случае за каждый день просрочки продолжает вычитаться по одному баллу (если не оговорено иное).<br />
<br />
В некоторых группах домашние задания могут отличаться. Уточняйте у семинариста.<br />
<br />
== Соревнования ==<br />
<br />
===Правила участия и оценивания===<br />
В соревновании по анализу данных вам предлагается по имеющимся данным решить некоторую задачу, оптимизируя указанную метрику, и отправить ответы для заданного тестового множества. Максимальное количество посылок в сутки ограничено (как правило, разрешается сделать 2 посылки), ближе к концу соревнования вам будем необходимо выбрать 2 посылки, которые вы считаете лучшими. Тестовые данные делятся на публичные и приватные в некотором соотношении, на основе которых строятся публичный и приватный лидерборды соответственно, при этом публичный лидерборд доступен в течение всего соревнования, а приватный строится после его окончания для выбранных вами посылок.<br />
<br />
Студент, занявший в соревновании место i, получает оценку<br />
<br />
10 - 10 * (i - 1) / M,<br />
<br />
где M — количество студентов, принявших участие в соревновании;<br />
<br />
i — место (начиная с 1) студента в приватном лидерборде среди всех таких студентов.<br />
<br />
Чтобы вас не пропустили при проверке решений соревнования, '''необходимо''' использовать следующий формат для имени команды (вкладка Team): <br />
<br />
«Имя Фамилия номер_группы»<br />
<br />
В течение 3 суток после окончания соревнования в соответствующее задание на anytask необходимо прислать код, воспроизводящий ответы для посылки, фигурирующей в приватном лидерборде. В случае отсутствия кода, воспроизводящего результат, в установленный срок студенту выставляется 0 в качестве оценки за соревнование. Если не оговорено иное, использовать любые внешние данные в соревнованиях '''запрещено'''. Под внешними данными понимаются размеченные данные, где разметка имеет прямое отношение к решаемой задаче. Грубо говоря, сборник текстов с википедии не считается внешними данными.<br />
<br />
== Контрольная работа ==<br />
<br />
Вопросы для подготовки с прошлого года: https://docs.google.com/document/d/1yuB17EoXyVSxqRslpFTKX97Kriuxn4lgFL5z4kQF9lU/edit?usp=sharing<br />
<br />
На контрольной будет 4 вопроса. Два из них — по теории, где нужно будет объяснить одну из тем, разобранных на лекциях, или ответить на вопросы на понимание. Два вопроса — это задачи, примеры приведены ниже.<br />
<br />
Примеры задач:<br />
* Метрические методы, kNN [[http://nbviewer.jupyter.org/github/shestakoff/minor_da_2017/blob/master/colloc_knn.ipynb Примеры задач]]<br />
* Линейные методы [[https://github.com/esokolov/ml-minor-hse/blob/master/colloquium-2017/colloquium_minor_problems_linear.pdf Примеры задач]]<br />
* Решающие деревья [[https://github.com/esokolov/ml-minor-hse/blob/master/colloquium-2017/colloquium_minor_problems_trees.ipynb Примеры задач]]<br />
* Метрики качества [[https://github.com/esokolov/ml-minor-hse/blob/master/colloquium-2017/colloquium_minor_problems_metrics.ipynb Примеры задач]]<br />
<br />
== Экзамен ==<br />
<br />
Вопросы: https://docs.google.com/document/d/18kMS1f7NsdGEZy62MgfTGdgSq4P-6DVcnwr1ZJPLAqE/edit?usp=sharing<br />
<br />
[https://github.com/esokolov/ml-minor-hse/blob/master/exam-2017/exam_problems_example.pdf Примеры задач прошлого года] (также могут войти задачи из коллоквиума)<br />
<br />
==Полезные материалы==<br />
===Курсы по машинному обучению и анализу данных===<br />
Максимально близко к материалам курса: [https://www.coursera.org/specializations/machine-learning-from-statistics-to-neural-networks Специализация "Машинное обучение: от статистики до нейросетей"] (речь про два курса: "Основы машинного обучения" и "Продвинутые методы машинного обучения")<br />
<br />
Для тех, кто хочет подтянуть математику: [https://www.coursera.org/specializations/maths-for-data-analysis Специализация "Математика для анализа данных"]<br />
<br />
Более сложная версия этого курса с ПМИ: [[Машинное обучение 1]]<br />
<br />
Ещё материалы:<br />
* [http://www.machinelearning.ru/wiki/index.php?title=Машинное_обучение_%28курс_лекций%2C_К.В.Воронцов%29 Курс по машинному обучению К.В. Воронцова]<br />
* [https://yandexdataschool.ru/edu-process/courses/machine-learning Видеозаписи лекций курса Школы Анализа Данных, К.В. Воронцов]<br />
* [https://www.coursera.org/specializations/machine-learning-data-analysis Coursera: Машинное обучение и анализ данных (специализация)]<br />
* [https://www.coursera.org/learn/introduction-machine-learning Coursera: Введение в машинное обучение, К.В. Воронцов]<br />
* [https://www.coursera.org/learn/machine-learning Coursera: Machine Learning, Andrew Ng]<br />
<br />
===Статьи===<br />
* [http://www.toptal.com/machine-learning/machine-learning-theory-an-introductory-primer An Introduction to Machine Learning Theory and Its Applications: A Visual Tutorial with Examples]<br />
* [http://www.r2d3.us/visual-intro-to-machine-learning-part-1/ A Visual Introduction to Machine Learning]<br />
<br />
===Книги===<br />
* Mohammed J. Zaki, Wagner Meira Jr. Data Mining and Analysis. Fundamental Concepts and Algorithms. Cambridge University Press, 2014.<br />
* Boris Mirkin. Core Concepts in Data Analysis: Summarization, Correlation, Visualization. 2010.<br />
* James, Witten, Hastie, Tibshirani. An Introduction to Statistical Learning. 2013.<br />
<br />
== Страницы прошлых лет ==<br />
<br />
[[Введение_в_анализ_данных_(майнор_ИАД)_2019/2020 | 2019/20 учебный год]]<br />
<br />
[[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных | 2018/19 учебный год ]]<br />
<br />
[[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/2017-2018 | 2017/18 учебный год ]]<br />
<br />
[[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/2016-2017 | 2016/17 учебный год ]]<br />
<br />
[[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/2015-2016 | 2015/16 учебный год ]]<br />
<br />
[[Category:Майнор "Интеллектуальный анализ данных"]]</div>I.kosarevhttps://wiki.cs.hse.ru/index.php?title=%D0%92%D0%B2%D0%B5%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5_%D0%B2_%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85&diff=50013Введение в анализ данных2021-01-20T11:57:24Z<p>I.kosarev: Добавление информации о семинарах ИАД-1</p>
<hr />
<div>== О курсе ==<br />
<br />
Курс читается для студентов 2-го курса [https://electives.hse.ru/minor_intel/ майнора ИАД] в 3-4 модулях.<br />
<br />
Проводится с 2015 года.<br />
<br />
'''Лектор:''' [http://www.hse.ru/staff/esokolov Соколов Евгений Андреевич]<br />
<br />
Лекции проходят онлайн по средам в 11:10.<br />
<br />
=== Полезные ссылки ===<br />
<br />
[https://www.hse.ru/edu/courses/416021030 Карточка курса и программа]<br />
<br />
[https://github.com/hse-ds/iad-intro-ds Репозиторий с материалами на GitHub]<br />
<br />
Почта для сдачи домашних заданий (на самом деле задания сдаются в AnyTask, но если он не работает, то присылайте на почту): hse.minor.dm+<номер группы>@gmail.com (например, hse.minor.dm+3@gmail.com)<br />
<br />
Канал в telegram для объявлений: https://t.me/hs_iad_2021<br />
<br />
Чат в telegram для флуда: https://t.me/joinchat/Vuq4Lgi98RG22fQP<br />
<br />
Ссылка на курс в Anytask: <br />
<br />
Таблица с оценками:<br />
<br />
=== Семинары ===<br />
<br />
{| class="wikitable"<br />
|-<br />
! Группа !! Преподаватель !! Учебные ассистенты !! Zoom-конференция !! Ссылка на чат !! Материалы семинаров !! ДЗ<br />
|-<br />
| ИАД-1 || Илья Косарев || Саночкин Юрий, Пащенко Анатолий || https://zoom.us/j/95260607985?pwd=NTAxSVhGV1UzdHF2M0N6Q2dKWElOQT09 || https://t.me/joinchat/SrL1GYfpaLeFxs4J || https://github.com/PersDep/data-mining-intro-2021 ||<br />
|-<br />
| ИАД-2 || Чиркова Надежда || Екатерина Кострыкина, Александра Штарёва || [https://zoom.us/j/97891126155?pwd=bXk0c2oxRm9jWUJuRUJtRDl1elB2QT09 Zoom] || [https://t.me/joinchat/GnnT0omle1UE7HQ1 Чат] || ||<br />
|-<br />
| ИАД-3 || Кантонистова Елена || || || || ||<br />
|-<br />
| ИАД-4 || Филатов Артём || || || || ||<br />
|-<br />
| ИАД-5 || [https://t.me/vsomelyusik Владимир Омелюсик] || [https://t.me/aksenysh Аня Аксенова], Александр Габиташвили || [https://zoom.us/j/95997234634?pwd=SHVjUGM1a2hFTDNnZ1RmMm1xakpTQT09 Zoom] || [https://t.me/joinchat/GRjeFvGs5HBiIm38 Чат] || ||<br />
|-<br />
| ИАД-6 || Карпова Ася || Гринкевич Елена || || || ||<br />
|-<br />
| ИАД-7 || Таболов Тамерлан || || || || ||<br />
|-<br />
|}<br />
<br />
=== Правила выставления оценок ===<br />
<br />
В курсе предусмотрено несколько форм контроля знания:<br />
* Самостоятельные работы на семинарах, проверяющие знание основных фактов с лекций и семинаров<br />
* Практические домашние работы на Python<br />
* Контрольная где-то в середине курса<br />
* Письменный экзамен<br />
<br />
Итоговая оценка вычисляется на основе оценки за работу в семестре и оценки за экзамен:<br />
<br />
O<sub>итоговая</sub> = Округление(0.4 * ДЗ + 0.1 * ПР + 0.2 * КР + 0.3 * Э)<br />
<br />
ДЗ — средняя оценка за практические домашние задания<br />
<br />
ПР — средняя оценка за письменные проверочные работы на семинарах<br />
<br />
КР — оценка за контрольную работу<br />
<br />
Э — оценка за экзамен<br />
<br />
Округление арифметическое.<br />
<br />
=== Правила сдачи заданий ===<br />
<br />
За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются. Даже при опоздании на одну секунду. Сдавайте заранее.<br />
<br />
При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.<br />
<br />
При наличии уважительной причины пропущенную проверочную можно написать позднее, а дедлайн по домашнему заданию может быть перенесён. Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.<br />
<br />
== Лекции ==<br />
<br />
Лекция 1 (20.01.2020). Введение в машинное обучение и анализ данных. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/lectures/lecture01-intro.pdf Слайды]] [[https://www.youtube.com/watch?v=77fwOymbP2Y Запись лекции]]<br />
<br />
== Семинары ==<br />
<br />
== Практические задания ==<br />
<br />
За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются, но есть исключение. В течение семестра каждый студент может не более 2 раз сдать задание после жёсткого дедлайна — в этом случае за каждый день просрочки продолжает вычитаться по одному баллу (если не оговорено иное).<br />
<br />
В некоторых группах домашние задания могут отличаться. Уточняйте у семинариста.<br />
<br />
== Соревнования ==<br />
<br />
===Правила участия и оценивания===<br />
В соревновании по анализу данных вам предлагается по имеющимся данным решить некоторую задачу, оптимизируя указанную метрику, и отправить ответы для заданного тестового множества. Максимальное количество посылок в сутки ограничено (как правило, разрешается сделать 2 посылки), ближе к концу соревнования вам будем необходимо выбрать 2 посылки, которые вы считаете лучшими. Тестовые данные делятся на публичные и приватные в некотором соотношении, на основе которых строятся публичный и приватный лидерборды соответственно, при этом публичный лидерборд доступен в течение всего соревнования, а приватный строится после его окончания для выбранных вами посылок.<br />
<br />
Студент, занявший в соревновании место i, получает оценку<br />
<br />
10 - 10 * (i - 1) / M,<br />
<br />
где M — количество студентов, принявших участие в соревновании;<br />
<br />
i — место (начиная с 1) студента в приватном лидерборде среди всех таких студентов.<br />
<br />
Чтобы вас не пропустили при проверке решений соревнования, '''необходимо''' использовать следующий формат для имени команды (вкладка Team): <br />
<br />
«Имя Фамилия номер_группы»<br />
<br />
В течение 3 суток после окончания соревнования в соответствующее задание на anytask необходимо прислать код, воспроизводящий ответы для посылки, фигурирующей в приватном лидерборде. В случае отсутствия кода, воспроизводящего результат, в установленный срок студенту выставляется 0 в качестве оценки за соревнование. Если не оговорено иное, использовать любые внешние данные в соревнованиях '''запрещено'''. Под внешними данными понимаются размеченные данные, где разметка имеет прямое отношение к решаемой задаче. Грубо говоря, сборник текстов с википедии не считается внешними данными.<br />
<br />
== Контрольная работа ==<br />
<br />
Вопросы для подготовки с прошлого года: https://docs.google.com/document/d/1yuB17EoXyVSxqRslpFTKX97Kriuxn4lgFL5z4kQF9lU/edit?usp=sharing<br />
<br />
На контрольной будет 4 вопроса. Два из них — по теории, где нужно будет объяснить одну из тем, разобранных на лекциях, или ответить на вопросы на понимание. Два вопроса — это задачи, примеры приведены ниже.<br />
<br />
Примеры задач:<br />
* Метрические методы, kNN [[http://nbviewer.jupyter.org/github/shestakoff/minor_da_2017/blob/master/colloc_knn.ipynb Примеры задач]]<br />
* Линейные методы [[https://github.com/esokolov/ml-minor-hse/blob/master/colloquium-2017/colloquium_minor_problems_linear.pdf Примеры задач]]<br />
* Решающие деревья [[https://github.com/esokolov/ml-minor-hse/blob/master/colloquium-2017/colloquium_minor_problems_trees.ipynb Примеры задач]]<br />
* Метрики качества [[https://github.com/esokolov/ml-minor-hse/blob/master/colloquium-2017/colloquium_minor_problems_metrics.ipynb Примеры задач]]<br />
<br />
== Экзамен ==<br />
<br />
Вопросы: https://docs.google.com/document/d/18kMS1f7NsdGEZy62MgfTGdgSq4P-6DVcnwr1ZJPLAqE/edit?usp=sharing<br />
<br />
[https://github.com/esokolov/ml-minor-hse/blob/master/exam-2017/exam_problems_example.pdf Примеры задач прошлого года] (также могут войти задачи из коллоквиума)<br />
<br />
==Полезные материалы==<br />
===Курсы по машинному обучению и анализу данных===<br />
Максимально близко к материалам курса: [https://www.coursera.org/specializations/machine-learning-from-statistics-to-neural-networks Специализация "Машинное обучение: от статистики до нейросетей"] (речь про два курса: "Основы машинного обучения" и "Продвинутые методы машинного обучения")<br />
<br />
Для тех, кто хочет подтянуть математику: [https://www.coursera.org/specializations/maths-for-data-analysis Специализация "Математика для анализа данных"]<br />
<br />
Более сложная версия этого курса с ПМИ: [[Машинное обучение 1]]<br />
<br />
Ещё материалы:<br />
* [http://www.machinelearning.ru/wiki/index.php?title=Машинное_обучение_%28курс_лекций%2C_К.В.Воронцов%29 Курс по машинному обучению К.В. Воронцова]<br />
* [https://yandexdataschool.ru/edu-process/courses/machine-learning Видеозаписи лекций курса Школы Анализа Данных, К.В. Воронцов]<br />
* [https://www.coursera.org/specializations/machine-learning-data-analysis Coursera: Машинное обучение и анализ данных (специализация)]<br />
* [https://www.coursera.org/learn/introduction-machine-learning Coursera: Введение в машинное обучение, К.В. Воронцов]<br />
* [https://www.coursera.org/learn/machine-learning Coursera: Machine Learning, Andrew Ng]<br />
<br />
===Статьи===<br />
* [http://www.toptal.com/machine-learning/machine-learning-theory-an-introductory-primer An Introduction to Machine Learning Theory and Its Applications: A Visual Tutorial with Examples]<br />
* [http://www.r2d3.us/visual-intro-to-machine-learning-part-1/ A Visual Introduction to Machine Learning]<br />
<br />
===Книги===<br />
* Mohammed J. Zaki, Wagner Meira Jr. Data Mining and Analysis. Fundamental Concepts and Algorithms. Cambridge University Press, 2014.<br />
* Boris Mirkin. Core Concepts in Data Analysis: Summarization, Correlation, Visualization. 2010.<br />
* James, Witten, Hastie, Tibshirani. An Introduction to Statistical Learning. 2013.<br />
<br />
== Страницы прошлых лет ==<br />
<br />
[[Введение_в_анализ_данных_(майнор_ИАД)_2019/2020 | 2019/20 учебный год]]<br />
<br />
[[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных | 2018/19 учебный год ]]<br />
<br />
[[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/2017-2018 | 2017/18 учебный год ]]<br />
<br />
[[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/2016-2017 | 2016/17 учебный год ]]<br />
<br />
[[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/2015-2016 | 2015/16 учебный год ]]<br />
<br />
[[Category:Майнор "Интеллектуальный анализ данных"]]</div>I.kosarevhttps://wiki.cs.hse.ru/index.php?title=%D0%92%D0%B2%D0%B5%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5_%D0%B2_%D0%BF%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5_(%D0%BC%D0%B0%D0%B9%D0%BD%D0%BE%D1%80_%D0%98%D0%90%D0%94)&diff=47470Введение в программирование (майнор ИАД)2020-11-18T14:28:13Z<p>I.kosarev: </p>
<hr />
<div>'''<br />
<br />
<br />
== Преподаватели и учебные ассистенты ==<br />
{| class="wikitable" style="text-align:center"<br />
|-<br />
! Группа !! ИАД-1, ИАД-3 !! ИАД-2 !! ИАД-4 !! ИАД-5, ИАД-6, ИАД-7 !! ИАД-8, ИАД-9 !! ИАД-10<br />
|-<br />
|| Лектор<br />
| colspan="5" | [https://www.hse.ru/en/staff/voznesenskaya Вознесенская Т.В.]<br />
[mailto:tvoznesenskaya@hse.ru tvoznesenskaya@hse.ru] , tg: [https://tlgg.ru/tvozn @tvozn]<br />
|- <br />
|| Семинарист <br />
|| Каленкович Е.Е. <br />
[mailto:ekalenkovich@hse.ru ekalenkovich@hse.ru]<br />
|| Косарев И.М.<br />
[mailto:ikosarev@hse.ru ikosarev@hse.ru]<br />
|| Максимова Д.М.<br />
[mailto:daria.maximova.m@gmail.com daria.maximova.m@gmail.com]<br />
|| Вознесенская Т.В.<br />
|| Дубнов Ю.А.<br />
[mailto:ydubnov@hse.ru ydubnov@hse.ru]<br />
|| Чувилина А.А.<br />
[mailto:chuvilinaann@list.ru chuvilinaann@list.ru]<br />
|-<br />
| rowspan="4" | Ассистенты<br />
|| Никитин Б.С.<br />
tg: [https://tlgg.ru/qwertwasd @qwertwasd]<br />
|| Никифоров М.С.<br />
tg: [https://tlgg.ru/caesiummm @caesiummm]<br />
|| Никифоров М.С.<br />
tg: [https://tlgg.ru/caesiummm @caesiummm]<br />
|| Сулейманов Р.И. (ИАД-5) [https://tlgg.ru/rus_slm @rus_slm]<br />
Краснов А.А. (ИАД-6) [https://tlgg.ru/genryxy @genryxy]<br />
<br />
Добротворский Н. В. (ИАД-7) [https://tlgg.ru/nikola_dobr @nikola_dobr]<br />
|| Кострыкина Е.В.<br />
tg: [https://tlgg.ru/ekostrykina @ekostrykina]<br />
|| Такташева Е.В. <br />
tg: [https://tlgg.ru/tak_ty @tak_ty]<br />
|-<br />
|}<br />
<br />
== Лекции ==<br />
<br />
=== 1 модуль ===<br />
<br />
# Введение. [https://drive.google.com/file/d/1bWFdwBiYIgJ9xrCVrLzodZVxji_X6Msw/view?usp=sharing Слайды.]<br />
<br />
== Семинары ==<br />
<br />
# Работа с числами [https://drive.google.com/file/d/1oh4rd_6YzJAlPRgWvpC0-vlgCsFhY6cw/view .pdf], [https://drive.google.com/file/d/1i6csgiF1dkNeQnG5DKbOc6ueugmsMEak/view .ipynb], ссылка: https://official.contest.yandex.ru/contest/13867/enter/<br />
# Условный оператор [https://drive.google.com/file/d/1cc0giMtK8koC8TeFuCdbgacfrpOwe2az/view .pdf], [https://drive.google.com/file/d/1V9vnO6OOCJJdxOp1iz0uNz3-TxdjAsc4/view .ipynb], ссылка: https://official.contest.yandex.ru/contest/13876/enter/<br />
# Циклы [https://drive.google.com/file/d/1CJexXb_XCQymZF5VvwYr10kbC1RJzxzT/view .pdf], [https://drive.google.com/file/d/1_oOzCepvOUknz0e_-YLh8r73jw0wk8ZW/view .ipynb], ссылка: https://official.contest.yandex.ru/contest/14068/enter/<br />
# Работа со строками [https://drive.google.com/file/d/1bT2xrCsujucS6gzhyoKTBQ_E3LwjsRrE/view .pdf], [https://drive.google.com/file/d/1bh2nRTH4NRmHrp7VkVRoojkoYk2Vccn0/view .ipynb], ссылка: https://official.contest.yandex.ru/contest/14254/enter/<br />
# Списки и кортежи [https://drive.google.com/file/d/1vzYxi0QAElosV4d6FLnpdQedCtIHPddL/view .pdf], [https://drive.google.com/file/d/1-jiyKrDy_rtnCF3tGxxZ4zslt88-nQeq/view .ipynb], ссылка: https://official.contest.yandex.ru/contest/14454/enter/<br />
# Словари и множества [https://drive.google.com/file/d/1dten8ZGtzL8M3A8NoyPYkSkOledkSM76/view .pdf], [https://drive.google.com/file/d/1mPeVbFxSGfVcs_kzxnVlqXFsih4muD9S/view .ipynb], ссылка: https://official.contest.yandex.ru/contest/14589/enter/<br />
# Функции и рекурсия [https://drive.google.com/file/d/1lC95l60n0CUZR76UjCf51WLzlLTX9hYU/view .pdf], [https://drive.google.com/file/d/1QnRcJZEAmQ7Frj8uLbliMIauo2-FDgJb/view .ipynb], ссылка: https://official.contest.yandex.ru/contest/14590/enter/<br />
<br />
== Онлайн курс ==<br />
<br />
Дедлайн для прохождения онлайн курса https://openedu.ru/course/hse/PYTHON/ '''25 октября 23:59''' (для группы ИАД-4 — '''15 ноября 23:59''').<br />
<br />
Нужно пройти первые 5 недель данного курса:<br />
# Ввод-вывод и целочисленная арифметика, логические выражения и условный оператор (неделя 1) <br />
# Условный оператор и цикл while (неделя 2) <br />
# Вещественные числа и строки (неделя 3) <br />
# Цикл for, cписки и функции (неделя 4) <br />
# Сортировки, множества и словари (неделя 5)<br />
<br />
== Правила оценивания ==<br />
Итоговая оценка рассчитывается по формуле:<br />
<br />
'''Итоговая = min(0.2*Oonline + 0.2*КР + 0.3*ДЗсреднее + 0.3*Exam + 0.1*B, 10)'''<br />
<br />
<br />
'''ДЗсреднее''' - средняя оценка по всем домашним заданиям (без округления)<br />
<br />
'''Oonline''' = (% решенных задач на on-line курсе)/100 (без округления)<br />
<br />
'''В''' (<=10) - бонусы, получаются за активную работу на семинарах, не более 1 за семинар<br />
<br />
<br />
Окончательная оценка за КР и ДЗ ставится после защит (приглашение студентов на защиты по усмотрению преподавателя).<br />
В случае плагиата одна задача обнуляет всю КР или ДЗ.<br />
<br />
<br />
Необходимое условие получения автомата (решение за преподавателем):<br />
* оценка за КР 8 и выше<br />
* наличие не менее 5 бонусов ('''В''')<br />
* вычисляемая по формуле итоговая оценка 8 и выше<br />
<br />
В таком случае оценка за экзамен ставится по оценке за КР, далее итоговая рассчитывается по формуле.<br />
<br />
== Контрольная==<br />
<br />
Контрольная пройдет с использованием асинхронного-прокторинга '''11 ноября 2020 года в 09:45''' <br />
<br />
Ссылка на zoom.<br />
https://zoom.us/j/96209593171?pwd=czNZMkdFWllxM2hOZDZUaDk1bXBqUT09<br />
<br />
Идентификатор конференции: 962 0959 3171<br />
<br />
Код доступа: 082968 <br />
<br />
Zoom будет использован для финального инструктажа и как чат для общения с преподавателями во время контрольной в случае необходимости.<br />
<br />
Каждому студенту необходимо записать процесс выполнения заданий контрольной с использованием OBS Studio, выложить результат в облачное хранилище сразу после контрольной и предоставить ссылку на запись.<br />
<br />
<br />
Ссылка на контест (будет продублирована в чате zoom): [https://official.contest.yandex.ru/contest/22218/enter/]<br />
<br />
Студенты, предупредившие своего УА о технических проблемах, пишут контрольную под наблюдением в zoom (будьте готовы к дальнейшей защите своих решений) по ссылке:<br />
<br />
https://zoom.us/j/92017006062<br />
<br />
Meeting ID: 920 1700 6062<br />
<br />
Passcode: 450063<br />
<br />
* Потребуется компьютер с веб-камерой и микрофоном (в частности, все современные ноутбуки оборудованы ими) и выходом в интернет<br />
<br />
* Необходимо установить OBS Studio по ссылке https://obsproject.com/ru<br />
<br />
* Необходимо настроить три источника входных потоков: микрофон, веб-камера и захват экрана. Подробнее о настройке в видео:<br />
https://www.youtube.com/watch?v=KVKrvPvPLYg<br />
<br />
<br />
Во время контрольной '''разрешается''' пользоваться :<br />
* Сайтом тестирующей системы (в том числе своими решениями прошлых контестов курса (в самой системе)) <br />
* Средами разработки (не онлайн, а установленными на компьютере)<br />
* Онлайн курсом https://openedu.ru/course/hse/PYTHON/ <br />
* Материалами, выложенными на данной странице<br />
* Документацией на https://docs.python.org/<br />
<br />
Во время контрольной '''не разрешается''':<br />
* Общение с другими людьми, заранее предупредите об этом тех людей, которые находятся с вами в месте написания контрольной<br />
<br />
<br />
===Проведение контрольной===<br />
'''11 ноября 2020 года в 09:45''' войдите в zoom по ссылке, которая появится здесь (и выше на сайте), а также будет продублирована в общий чат в Telegram (после получения ссылки Telegram нужно будет отключить). Будет проведен общий инструктаж. Далее данный Zoom будет использован как чат для общения с преподавателями во время контрольной в случае необходимости.<br />
<br />
Затем, в '''09:55''', за 5 минут до начала контрольной начните запись. Опоздавшие студенты (начавшие запись не до начала контрольной) будут дисквалифицированы.<br />
В '''10:00''' открывается контест, состоящий из 5 задач (по 2 балла за задачу). В '''11:30''' контест закрывается.<br />
<br />
Ваши видео будут просмотрены только преподавателями и ассистентами. После окончания контрольной у вас будет полчаса на заливку записанного видео. <br />
<br />
Пожалуйста, заранее проверьте, что вы научились записывать видео в требуемом формате - этот процесс иногда может вызывать проблемы. Все решения проблем, связанных с записью в OBS Studio описаны в интернете.<br />
<br />
<br />
Действия, которые вы должны совершить '''до''' контрольной:<br />
<br />
* Заранее отключить все мессенджеры и закрыть лишние вкладки<br />
<br />
* Физически отключить и удалить любые электронные устройства и дополнительные мониторы с рабочего места<br />
<br />
* Подготовиться к тому, что вы не сможете покидать рабочее место в течение 1 часа 30 минут<br />
<br />
* Включить запись из трех источников: экран, веб-камера и микрофон в OBS Studio<br />
<br />
* Снять свое рабочее место со всех сторон и его окружение<br />
<br />
* Показать чистые листы, которые вы планируете использовать в качестве черновиков <br />
<br />
<br />
Порядок действий '''во время''' контрольной:<br />
<br />
* Любые вопросы вы должны задавать через тестирующую систему либо через чат в zoom. <br />
<br />
* В случае, если вы работаете с черновиком, направьте веб-камеру так, чтобы были видны ваши руки. Не забудьте направить веб-камеру на лицо, когда вы возвращаетесь к работе за компьютером.<br />
<br />
* Вы можете получить важные объявления от преподавателей через тестирующую систему. Уведомления о них появляются в правом верхнем углу в интерфейсе тестирующей системы.<br />
<br />
* В случае, если вы хотите досрочно завершить выполнение контрольной - напишите об этом сообщение, используя интерфейс вопросов в тестирующей системе и выполните все действия, которые вы должны выполнить после окончания контрольной. В случае попыток решения задач после этого сообщения вы будете дисквалифицированы.<br />
<br />
<br />
'''После окончания''' контрольной:<br />
<br />
* В течение 30 минут необходимо разместить видео, которое вы записывали в течение контрольной, в открытом доступе и сдать ссылку на него в специальную форму по адресу: [https://docs.google.com/forms/d/e/1FAIpQLSfHCAxB7gZrqZEf7wtFVk6fyq2e1RBB5YdEeO3u1v62aE4wYw/viewform?usp=sf_link ссылка]<br />
<br />
== Экзамен ==<br />
<br />
== Контесты и оценки ==<br />
'''[https://docs.google.com/spreadsheets/d/194P9oOuwyTNJ1fv-Tk3PqXURQXta0-0JJqsTSOtmrdI/edit?usp=sharing Общая таблица]'''</div>I.kosarevhttps://wiki.cs.hse.ru/index.php?title=%D0%92%D0%B2%D0%B5%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5_%D0%B2_%D0%BF%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5_(%D0%BC%D0%B0%D0%B9%D0%BD%D0%BE%D1%80_%D0%98%D0%90%D0%94)&diff=47421Введение в программирование (майнор ИАД)2020-11-17T16:14:26Z<p>I.kosarev: </p>
<hr />
<div>'''<br />
<br />
<br />
== Преподаватели и учебные ассистенты ==<br />
{| class="wikitable" style="text-align:center"<br />
|-<br />
! Группа !! ИАД-1, ИАД-3 !! ИАД-2 !! ИАД-4 !! ИАД-5, ИАД-6, ИАД-7 !! ИАД-8, ИАД-9 !! ИАД-10<br />
|-<br />
|| Лектор<br />
| colspan="5" | [https://www.hse.ru/en/staff/voznesenskaya Вознесенская Т.В.]<br />
[mailto:tvoznesenskaya@hse.ru tvoznesenskaya@hse.ru] , tg: [https://tlgg.ru/tvozn @tvozn]<br />
|- <br />
|| Семинарист <br />
|| Каленкович Е.Е. <br />
[mailto:ekalenkovich@hse.ru ekalenkovich@hse.ru]<br />
|| Косарев И.М.<br />
[mailto:ikosarev@hse.ru ikosarev@hse.ru]<br />
|| Максимова Д.М.<br />
[mailto:daria.maximova.m@gmail.com daria.maximova.m@gmail.com]<br />
|| Вознесенская Т.В.<br />
|| Дубнов Ю.А.<br />
[mailto:ydubnov@hse.ru ydubnov@hse.ru]<br />
|| Чувилина А.А.<br />
[mailto:chuvilinaann@list.ru chuvilinaann@list.ru]<br />
|-<br />
| rowspan="4" | Ассистенты<br />
|| Никитин Б.С.<br />
tg: [https://tlgg.ru/qwertwasd @qwertwasd]<br />
|| Никифоров М.С.<br />
tg: [https://tlgg.ru/caesiummm @caesiummm]<br />
|| Никифоров М.С.<br />
tg: [https://tlgg.ru/caesiummm @caesiummm]<br />
|| Сулейманов Р.И. (ИАД-5) [https://tlgg.ru/rus_slm @rus_slm]<br />
Краснов А.А. (ИАД-6) [https://tlgg.ru/genryxy @genryxy]<br />
<br />
Добротворский Н. В. (ИАД-7) [https://tlgg.ru/nikola_dobr @nikola_dobr]<br />
|| Кострыкина Е.В.<br />
tg: [https://tlgg.ru/ekostrykina @ekostrykina]<br />
|| Такташева Е.В. <br />
tg: [https://tlgg.ru/tak_ty @tak_ty]<br />
|-<br />
|}<br />
<br />
== Лекции ==<br />
<br />
=== 1 модуль ===<br />
<br />
# Введение. [https://drive.google.com/file/d/1bWFdwBiYIgJ9xrCVrLzodZVxji_X6Msw/view?usp=sharing Слайды.]<br />
<br />
== Семинары ==<br />
<br />
# Работа с числами [https://drive.google.com/file/d/1oh4rd_6YzJAlPRgWvpC0-vlgCsFhY6cw/view .pdf], [https://drive.google.com/file/d/1i6csgiF1dkNeQnG5DKbOc6ueugmsMEak/view .ipynb], ссылка: https://official.contest.yandex.ru/contest/13867/enter/<br />
# Условный оператор [https://drive.google.com/file/d/1cc0giMtK8koC8TeFuCdbgacfrpOwe2az/view .pdf], [https://drive.google.com/file/d/1V9vnO6OOCJJdxOp1iz0uNz3-TxdjAsc4/view .ipynb], ссылка: https://official.contest.yandex.ru/contest/13876/enter/<br />
# Циклы [https://drive.google.com/file/d/1CJexXb_XCQymZF5VvwYr10kbC1RJzxzT/view .pdf], [https://drive.google.com/file/d/1_oOzCepvOUknz0e_-YLh8r73jw0wk8ZW/view .ipynb], ссылка: https://official.contest.yandex.ru/contest/14068/enter/<br />
# Работа со строками [https://drive.google.com/file/d/1bT2xrCsujucS6gzhyoKTBQ_E3LwjsRrE/view .pdf], [https://drive.google.com/file/d/1bh2nRTH4NRmHrp7VkVRoojkoYk2Vccn0/view .ipynb], ссылка: https://official.contest.yandex.ru/contest/14254/enter/<br />
# Списки и кортежи [https://drive.google.com/file/d/1vzYxi0QAElosV4d6FLnpdQedCtIHPddL/view .pdf], [https://drive.google.com/file/d/1-jiyKrDy_rtnCF3tGxxZ4zslt88-nQeq/view .ipynb], ссылка: https://official.contest.yandex.ru/contest/14454/enter/<br />
# Словари и множества [https://drive.google.com/file/d/1dten8ZGtzL8M3A8NoyPYkSkOledkSM76/view .pdf], [https://drive.google.com/file/d/1mPeVbFxSGfVcs_kzxnVlqXFsih4muD9S/view .ipynb], ссылка: https://official.contest.yandex.ru/contest/14589/enter/<br />
# Функции и рекурсия [https://drive.google.com/file/d/1lC95l60n0CUZR76UjCf51WLzlLTX9hYU/view .pdf], [https://drive.google.com/file/d/1QnRcJZEAmQ7Frj8uLbliMIauo2-FDgJb/view .ipynb], ссылка: https://official.contest.yandex.ru/contest/14590/enter/<br />
<br />
== Онлайн курс ==<br />
<br />
Дедлайн для прохождения онлайн курса https://openedu.ru/course/hse/PYTHON/ '''25 октября 23:59''' (для группы ИАД-4 — '''15 ноября 23:59''').<br />
<br />
Нужно пройти первые 5 недель данного курса:<br />
# Ввод-вывод и целочисленная арифметика, логические выражения и условный оператор (неделя 1) <br />
# Условный оператор и цикл while (неделя 2) <br />
# Вещественные числа и строки (неделя 3) <br />
# Цикл for, cписки и функции (неделя 4) <br />
# Сортировки, множества и словари (неделя 5)<br />
<br />
== Правила оценивания ==<br />
Итоговая оценка рассчитывается по формуле:<br />
<br />
'''Итоговая = min(0.2*Oonline + 0.2*КР + 0.3*ДЗсреднее + 0.3*Exam + 0.1*B, 10)'''<br />
<br />
<br />
'''ДЗсреднее''' - средняя оценка по всем домашним заданиям (без округления)<br />
<br />
'''Oonline''' = (% решенных задач на on-line курсе)/100 (без округления)<br />
<br />
'''В''' (<=10) - бонусы, получаются за активную работу на семинарах, не более 1 за семинар<br />
<br />
<br />
Окончательная оценка за КР и ДЗ ставится после защит (приглашение студентов на защиты по усмотрению преподавателя).<br />
В случае плагиата одна задача обнуляет всю КР или ДЗ.<br />
<br />
<br />
Необходимое условие получения автомата (решение за преподавателем):<br />
* оценка за КР 8 и выше<br />
* наличие не менее 5 бонусов ('''В''')<br />
<br />
В таком случае оценка за экзамен ставится по оценке за КР, далее итоговая рассчитывается по формуле.<br />
<br />
== Контрольная==<br />
<br />
Контрольная пройдет с использованием асинхронного-прокторинга '''11 ноября 2020 года в 09:45''' <br />
<br />
Ссылка на zoom.<br />
https://zoom.us/j/96209593171?pwd=czNZMkdFWllxM2hOZDZUaDk1bXBqUT09<br />
<br />
Идентификатор конференции: 962 0959 3171<br />
<br />
Код доступа: 082968 <br />
<br />
Zoom будет использован для финального инструктажа и как чат для общения с преподавателями во время контрольной в случае необходимости.<br />
<br />
Каждому студенту необходимо записать процесс выполнения заданий контрольной с использованием OBS Studio, выложить результат в облачное хранилище сразу после контрольной и предоставить ссылку на запись.<br />
<br />
<br />
Ссылка на контест (будет продублирована в чате zoom): [https://official.contest.yandex.ru/contest/22218/enter/]<br />
<br />
Студенты, предупредившие своего УА о технических проблемах, пишут контрольную под наблюдением в zoom (будьте готовы к дальнейшей защите своих решений) по ссылке:<br />
<br />
https://zoom.us/j/92017006062<br />
<br />
Meeting ID: 920 1700 6062<br />
<br />
Passcode: 450063<br />
<br />
* Потребуется компьютер с веб-камерой и микрофоном (в частности, все современные ноутбуки оборудованы ими) и выходом в интернет<br />
<br />
* Необходимо установить OBS Studio по ссылке https://obsproject.com/ru<br />
<br />
* Необходимо настроить три источника входных потоков: микрофон, веб-камера и захват экрана. Подробнее о настройке в видео:<br />
https://www.youtube.com/watch?v=KVKrvPvPLYg<br />
<br />
<br />
Во время контрольной '''разрешается''' пользоваться :<br />
* Сайтом тестирующей системы (в том числе своими решениями прошлых контестов курса (в самой системе)) <br />
* Средами разработки (не онлайн, а установленными на компьютере)<br />
* Онлайн курсом https://openedu.ru/course/hse/PYTHON/ <br />
* Материалами, выложенными на данной странице<br />
* Документацией на https://docs.python.org/<br />
<br />
Во время контрольной '''не разрешается''':<br />
* Общение с другими людьми, заранее предупредите об этом тех людей, которые находятся с вами в месте написания контрольной<br />
<br />
<br />
===Проведение контрольной===<br />
'''11 ноября 2020 года в 09:45''' войдите в zoom по ссылке, которая появится здесь (и выше на сайте), а также будет продублирована в общий чат в Telegram (после получения ссылки Telegram нужно будет отключить). Будет проведен общий инструктаж. Далее данный Zoom будет использован как чат для общения с преподавателями во время контрольной в случае необходимости.<br />
<br />
Затем, в '''09:55''', за 5 минут до начала контрольной начните запись. Опоздавшие студенты (начавшие запись не до начала контрольной) будут дисквалифицированы.<br />
В '''10:00''' открывается контест, состоящий из 5 задач (по 2 балла за задачу). В '''11:30''' контест закрывается.<br />
<br />
Ваши видео будут просмотрены только преподавателями и ассистентами. После окончания контрольной у вас будет полчаса на заливку записанного видео. <br />
<br />
Пожалуйста, заранее проверьте, что вы научились записывать видео в требуемом формате - этот процесс иногда может вызывать проблемы. Все решения проблем, связанных с записью в OBS Studio описаны в интернете.<br />
<br />
<br />
Действия, которые вы должны совершить '''до''' контрольной:<br />
<br />
* Заранее отключить все мессенджеры и закрыть лишние вкладки<br />
<br />
* Физически отключить и удалить любые электронные устройства и дополнительные мониторы с рабочего места<br />
<br />
* Подготовиться к тому, что вы не сможете покидать рабочее место в течение 1 часа 30 минут<br />
<br />
* Включить запись из трех источников: экран, веб-камера и микрофон в OBS Studio<br />
<br />
* Снять свое рабочее место со всех сторон и его окружение<br />
<br />
* Показать чистые листы, которые вы планируете использовать в качестве черновиков <br />
<br />
<br />
Порядок действий '''во время''' контрольной:<br />
<br />
* Любые вопросы вы должны задавать через тестирующую систему либо через чат в zoom. <br />
<br />
* В случае, если вы работаете с черновиком, направьте веб-камеру так, чтобы были видны ваши руки. Не забудьте направить веб-камеру на лицо, когда вы возвращаетесь к работе за компьютером.<br />
<br />
* Вы можете получить важные объявления от преподавателей через тестирующую систему. Уведомления о них появляются в правом верхнем углу в интерфейсе тестирующей системы.<br />
<br />
* В случае, если вы хотите досрочно завершить выполнение контрольной - напишите об этом сообщение, используя интерфейс вопросов в тестирующей системе и выполните все действия, которые вы должны выполнить после окончания контрольной. В случае попыток решения задач после этого сообщения вы будете дисквалифицированы.<br />
<br />
<br />
'''После окончания''' контрольной:<br />
<br />
* В течение 30 минут необходимо разместить видео, которое вы записывали в течение контрольной, в открытом доступе и сдать ссылку на него в специальную форму по адресу: [https://docs.google.com/forms/d/e/1FAIpQLSfHCAxB7gZrqZEf7wtFVk6fyq2e1RBB5YdEeO3u1v62aE4wYw/viewform?usp=sf_link ссылка]<br />
<br />
== Экзамен ==<br />
<br />
== Контесты и оценки ==<br />
'''[https://docs.google.com/spreadsheets/d/194P9oOuwyTNJ1fv-Tk3PqXURQXta0-0JJqsTSOtmrdI/edit?usp=sharing Общая таблица]'''</div>I.kosarev