Wiki - Факультет компьютерных наук - Вклад [ru]

Алгоритмы и структуры данных на ПМИ 2017/2018 (основной поток)

2018-05-30T20:43:12Z

Aumnov: /* Контрольная работа */

= Лекции =

# '''2 апреля.''' Графы: определения и приложения. Представление графов: матрица смежности и списки смежности. Поиск в глубину (рекурсивная формулировка). Сложность поиска в глубину. Применение поиска в глубину: поиск компонент связности в неориентированном графе, топологическая сортировка. Поиск в ширину. Сложность поиска в ширину. Поиск кратчайших путей.
# '''5 апреля.''' Компоненты связности в неориентированных и ориентированных графах. Алгоритм поиска компонент сильной связности. Вычисление выполняющего набора для 2-КНФ на основе поиска компонент сильной связности.
# '''9 апреля.''' Кратчайшие пути во взвешенных графах. Алгоритм Дейкстры: формулировка, условия применимости, доказательство корректности, оценка сложности. Формулировка алгоритма Беллмана – Форда для графов без циклов с отрицательным весом.
# '''12 апреля.''' Алгоритмы Беллмана – Форда и Флойда – Уоршелла как алгоритмы динамического программирования.
# '''16 апреля.''' Динамическое программирование: наибольшая общая подпоследовательность, разбиение абзаца на строки, задача о рюкзаке.
# '''19 апреля.''' Жадные алгоритмы: выбор максимального подмножества непересекающихся отрезков; составление плана работ с заданными продолжительностями и повременными штрафами за невыполнение, минимизирующего общий штраф; код Хаффмана.
# '''23 апреля.''' Матроиды: графовый матроид, матроид для последовательности задач. Жадный алгоритм на взвешенном матроиде: поиск минимального остовного дерева, составление расписания задач с минимальным штрафом.
# '''26 апреля.''' Минимальные остовные деревья. Алгоритмы Прима, Крускала, Борувки.
# '''30 апреля.''' ''Лекции не будет.''
# '''10 мая.''' Три подхода к амортизационному анализу: групповой анализ, банковский метод и метод потенциалов (на примере двоичного счетчика и очереди на основе двух стеков).
# '''14 мая.''' ''Письменная контрольная работа по апрельским темам.'' С собой можно принести "шпаргалку" формата A4. Другими материалами пользоваться не разрешается. Контрольная проходит в ауд. 317 (группы 172, 174, 175) и ауд. 622 (группы 176, 177 и 178).
# '''17 мая.''' Самоорганизующиеся списки: метод потенциалов для анализа онлайн-алгоритмов. Кучи Фибоначчи.
# '''21 мая.''' Система непересекающихся множеств.
# '''24 мая.''' Минимальный разрез, алгоритмы Каргера и Каргера – Штайна.
# '''28 мая.''' Максимальный поток, алгоритм Форда – Фалкерсона.
# '''31 мая.''' ''Лекции не будет.''

= Домашние задания =

Задачи из апрельских домашних заданий можно сдавать после указанного ниже срока, но до конца 9 мая со штрафом 50%. Задачи из майских домашних заданий можно сдавать после указанного ниже срока, но до конца 9 июня со штрафом 50%.

# [https://official.contest.yandex.ru/contest/7940/problems/ Контест 7940] — до 8.04.2018 (22:00) 
# [https://official.contest.yandex.ru/contest/7993/problems/ Контест 7993] — до 15.04.2018 (23:59) 
# [https://official.contest.yandex.ru/contest/8053/problems/ Контест 8053] — до 22.04.2018 (23:59) 
# [https://official.contest.yandex.ru/contest/8116/problems/ Контест 8116] — до 30.04.2018 (9:00) 
# [https://official.contest.yandex.ru/contest/8224/problems/ Контест 8224] — до 23.05.2018 (9:00) 
# [https://official.contest.yandex.ru/contest/8256/problems/ Контест 8256] — до 30.05.2018 (9:00) 
# [https://official.contest.yandex.ru/contest/8329/problems/ Контест 8329] — до 9.06.2018 (9:00) 

= Контрольная работа =

[https://docs.google.com/spreadsheets/d/1gcmb6g2P6kZFF62CIDdTcbEmEfTnKSaAfI7x6zS7zwQ/edit?usp=sharing Оценки]

[[Алгоритмы_и_структуры_данных_на_ПМИ_2017/2018_(основной_поток)/Кр_критерии|Критерии оценок]]

Даты показа работ и критерии оценки:

'''Задачи I варианта'''
# 24 мая, 11:50 - 12:30, ауд. 308
# 23 и 30 мая, 11:30 – 12:00, ауд. 311
# 31 мая 9.00 - 11.30, ауд. 507
#
# Оценка: ''O''(''nf'') — 6 баллов, O(''n log f'') — 8 баллов, O(n) — 10 баллов. 2 балла за неправильное решение с разумными мыслями.

'''Задачи II варианта'''
#
# 29 мая, 11:50 – 12:20, ауд. 313. Оценка: 5 — задача верно решена и обоснована; 4 — задача решена верно, в обосновании присутствуют недочёты; 3 — задача решена верно, в обосновании есть серьёзные ошибки, либо оно отсутствует вовсе; 2 — задача решена частично, получен неправильный ответ; 1 — решение не доведено до конца; 0 — решение отсутствует.
#
# 25 мая, 9:50 – 10:30, ауд. 432
#

Алгоритмы и структуры данных на ПМИ 2017/2018 (основной поток)/Кр критерии

2018-05-30T20:42:31Z

Aumnov: Новая страница: «= Вариант 1 = == Задача 1 == * Решение за квадратичное время при наличии доказательства и оце…»

= Вариант 1 =

== Задача 1 ==

* Решение за квадратичное время при наличии доказательства и оценки времени - 2 балла
* Решение за квадратичное время без доказательства или оценки времени - 1 балл
* Решение с поиском точек сочленения без учета городов A и B - штраф 2 балла
* Решение с поиском точек сочленения с неполным доказательством корректности и оценкой времени - штраф 1-2 балла
* "Решается через точки сочленения из дз" - 1 балл
* "Решается через мосты из дз" - 0 баллов

= Вариант 2 =

Алгоритмы и структуры данных на ПМИ 2017/2018 (основной поток)

2018-05-22T14:18:06Z

Aumnov: /* Контрольная работа */

= Лекции =

# '''2 апреля.''' Графы: определения и приложения. Представление графов: матрица смежности и списки смежности. Поиск в глубину (рекурсивная формулировка). Сложность поиска в глубину. Применение поиска в глубину: поиск компонент связности в неориентированном графе, топологическая сортировка. Поиск в ширину. Сложность поиска в ширину. Поиск кратчайших путей.
# '''5 апреля.''' Компоненты связности в неориентированных и ориентированных графах. Алгоритм поиска компонент сильной связности. Вычисление выполняющего набора для 2-КНФ на основе поиска компонент сильной связности.
# '''9 апреля.''' Кратчайшие пути во взвешенных графах. Алгоритм Дейкстры: формулировка, условия применимости, доказательство корректности, оценка сложности. Формулировка алгоритма Беллмана – Форда для графов без циклов с отрицательным весом.
# '''12 апреля.''' Алгоритмы Беллмана – Форда и Флойда – Уоршелла как алгоритмы динамического программирования.
# '''16 апреля.''' Динамическое программирование: наибольшая общая подпоследовательность, разбиение абзаца на строки, задача о рюкзаке.
# '''19 апреля.''' Жадные алгоритмы: выбор максимального подмножества непересекающихся отрезков; составление плана работ с заданными продолжительностями и повременными штрафами за невыполнение, минимизирующего общий штраф; код Хаффмана.
# '''23 апреля.''' Матроиды: графовый матроид, матроид для последовательности задач. Жадный алгоритм на взвешенном матроиде: поиск минимального остовного дерева, составление расписания задач с минимальным штрафом.
# '''26 апреля.''' Минимальные остовные деревья. Алгоритмы Прима, Крускала, Борувки.
# '''30 апреля.''' ''Лекции не будет.''
# '''10 мая.''' Три подхода к амортизационному анализу: групповой анализ, банковский метод и метод потенциалов (на примере двоичного счетчика и очереди на основе двух стеков).
# '''14 мая.''' ''Письменная контрольная работа по апрельским темам.'' С собой можно принести "шпаргалку" формата A4. Другими материалами пользоваться не разрешается. Контрольная проходит в ауд. 317 (группы 172, 174, 175) и ауд. 622 (группы 176, 177 и 178).
# '''17 мая.''' Самоорганизующиеся списки: метод потенциалов для анализа онлайн-алгоритмов. Кучи Фибоначчи.
# '''21 мая.''' Система непересекающихся множеств.

= Домашние задания =

Задачи из домашних заданий можно сдавать после указанного ниже срока, но до конца 9 мая со штрафом 50%.

# [https://official.contest.yandex.ru/contest/7940/problems/ Контест 7940] — до 8.04.2018 (22:00) 
# [https://official.contest.yandex.ru/contest/7993/problems/ Контест 7993] — до 15.04.2018 (23:59) 
# [https://official.contest.yandex.ru/contest/8053/problems/ Контест 8053] — до 22.04.2018 (23:59) 
# [https://official.contest.yandex.ru/contest/8116/problems/ Контест 8116] — до 30.04.2018 (9:00) 
# [https://official.contest.yandex.ru/contest/8224/problems/ Контест 8224] — до 23.05.2018 (9:00) 
# [https://official.contest.yandex.ru/contest/8256/problems/ Контест 8256] — до 30.05.2018 (9:00) 

= Контрольная работа =
Показ работ пройдет в следующие даты:

'''Задачи I варианта'''
# 24 мая, 11:50 - 12:30, ауд. 308
# 23 мая, 11:30 – 12:00, ауд. 311
#
#
#

'''Задачи II варианта'''
#
#
#
#
#

Машинное обучение 1/2023 2024

2017-12-05T10:19:29Z

Aumnov: /* Семинары */

== О курсе ==

[[Файл:ML_surfaces.png|280px|borderless|left]]

Курс читается для студентов 3-го курса [https://cs.hse.ru/ami ПМИ ФКН ВШЭ] в 1-2 модулях.

Проводится с 2016 года.

'''Лектор:''' [http://www.hse.ru/staff/esokolov Соколов Евгений Андреевич]

Лекции проходят по пятницам, 10:30 - 11:50, ауд. 317.

=== Полезные ссылки ===

[https://www.hse.ru/ba/ami/courses/205507250.html Карточка курса и программа]

[https://github.com/esokolov/ml-course-hse Репозиторий с материалами на GitHub]

Почта для сдачи домашних заданий: hse.cs.ml+<номер группы>@gmail.com (например, hse.cs.ml+151@gmail.com)

Канал в telegram для объявлений: https://telegram.me/hse_cs_ml_course_2017

Чат в telegram для обсуждений: https://t.me/joinchat/A5rlQEQ7r16nvyHbyXtjNA

[https://docs.google.com/spreadsheets/d/16wj3eH2crdGY-MFqiMMUoy1E7uo80nYT2MYfz3Y7gx4/edit?usp=sharing Таблица с оценками]

Оставить отзыв на курс: [https://goo.gl/forms/5CddG0gc75VZvqi52 форма]

'''Вопросы''' по курсу можно задавать на почту курса, а также в телеграм лектору (esokolov@) или семинаристу.
Вопросы по материалам лекций/семинаров и по заданиям лучше всего оформлять в виде [https://github.com/esokolov/ml-course-hse/issues Issue] в [https://github.com/esokolov/ml-course-hse github-репозитории курса].

=== Семинары ===

{| class="wikitable"
|-
! Группа !! Преподаватель !! Учебный ассистент !! Страница !! Расписание
|-
| 151 (МОП) || [https://www.hse.ru/org/persons/165212870 Зиннурова Эльвира Альбертовна] || Атанов Андрей || || пятница, 12:10 - 13:30, ауд. 300
|-
| 152 (МОП) || [https://www.hse.ru/org/persons/191263008 Неклюдов Кирилл Олегович] || Гадецкий Артём || || понедельник, 15:10 - 16:30, ауд. 505
|-
| 153 (АПР) || [https://www.hse.ru/org/persons/209813467 Никишин Евгений Сергеевич] || Ковалёв Евгений || || пятница, 12:10 - 13:30, ауд. 322
|-
| 154 (АДИС) || [https://www.hse.ru/org/persons/209813459 Каюмов Эмиль Марселевич] || Панков Алексей || || пятница, 12:10 - 13:30, ауд. 501
|-
| 155 (РС) || [https://www.hse.ru/org/persons/192085968 Яшков Даниил Дмитриевич] || [https://t.me/despairazure Кохтев Вадим] || || понедельник, 12:10 - 13:30, ауд. 513
|-
| 156 (ТИ) || [https://www.hse.ru/org/persons/141880775 Умнов Алексей Витальевич] || Шевченко Александр || [[Машинное обучение 1/156 | ссылка]]|| пятница, 15:10 - 16:30, ауд. 311
|-
| Магистратура ФТиАД || [https://www.hse.ru/org/persons/191576735 Чиркова Надежда Александровна] || Першин Максим || ||
|-
|}

=== Консультации ===

=== Правила выставления оценок ===

В курсе предусмотрено несколько форм контроля знания:
* Самостоятельные работы на семинарах, проверяющие знание основных фактов с лекций
* Теоретические домашние работы и их защиты
* Практические домашние работы на Python
* Контрольные работы
* Письменный экзамен

Итоговая оценка вычисляется на основе оценки за работу в семестре и оценки за экзамен:

Oитоговая = 0.7 * Oнакопленная + 0.3 * Оэкз

Оценка за работу в семестре вычисляется по формуле

Oнакопленная = 0.1 * Oсамостоятельные + 0.4 * Опрактические дз + 0.3 * Отеоретические дз + 0.2 * Оконтрольные

Оценка за самостоятельную работу вычисляется как среднее по всем самостоятельным, оценка за домашнюю работу — как среднее по всем практическим заданиям и соревнованиям.

=== Правила сдачи заданий ===

Дедлайны по всем домашним заданиям являются жёсткими, то есть после срока работа не принимаются.

При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.

При наличии уважительной причины пропущенную проверочную можно написать позднее, а дедлайн по домашнему заданию может быть перенесён (при этом получить дополнительные баллы за призовые места на конкурсе можно только при участии в общий срок). Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.

== Лекции ==

'''Лекция 1''' (1 сентября). Введение в машинное обучение. Основные термины, постановки задач и примеры применения. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/lecture-notes/lecture01-intro.pdf Конспект]]

'''Лекция 2''' (8 сентября). Линейная регрессия. Метрики качества регрессии. Градиентный спуск и способы оценивания градиента. Продвинутые градиентные методы. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/lecture-notes/lecture02-linregr.pdf Конспект]]

'''Лекция 3''' (15 сентября). Переобучение и регуляризация. Разреженные линейные модели. Квантильная регрессия. Подготовка признаков. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/lecture-notes/lecture03-linregr.pdf Конспект]]

'''Лекция 4''' (22 сентября). Линейная классификация. Отступ и верхние оценки на пороговую функцию потерь. Метрики качества классификации. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/lecture-notes/lecture04-linclass.pdf Конспект]]

'''Лекция 5''' (29 сентября). Линейная классификация. Логистическая регрессия и оценки вероятности классов. Метод опорных векторов. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/lecture-notes/lecture05-linclass.pdf Конспект]]

'''Лекция 6''' (6 октября). Многоклассовая классификация, сведение к бинарным задачам. Многоклассовая логистическая регрессия. Классификация с пересекающимися классами. Метрики качества многоклассовой классификации. Категориальные признаки: хэширование и счётчики. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/lecture-notes/lecture06-linclass.pdf Конспект]]

'''Лекция 7''' (20 октября). Решающие деревья. Жадный алгоритм построения. Выбор лучшего разбиения с помощью критерия информативности. Критерии информативности для регрессии и классификации. Учёт пропусков в деревьях. Решающие деревья и категориальные признаки. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/lecture-notes/lecture07-trees.pdf Конспект]]

'''Лекция 8''' (3 ноября). Бутстрап и бэггинг. Разложение ошибки на смещение и разброс (bias-variance decomposition). Случайный лес. Вычисление расстояний с помощью лесов. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/lecture-notes/lecture08-ensembles.pdf Конспект]]

'''Лекция 9''' (10 ноября). Градиентный бустинг. Регуляризация. Особенности бустинга над деревьями. Взвешивание объектов в градиентном бустинге. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/lecture-notes/lecture09-ensembles.pdf Конспект]]

'''Лекция 10''' (17 ноября). Оптимизация второго порядка в градиентном бустинге. Регуляризация деревьев. XGBoost. Стекинг. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/lecture-notes/lecture10-ensembles.pdf Конспект]]

'''Лекция 11''' (23 ноября). Графы вычислений, их обучение и метод обратного распространения ошибки. Полносвязные, свёрточные и рекуррентные слои. Возможности аппроксимации. Transfer learning. Глубинное обучение. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/lecture-notes/lecture11-dl.pdf Конспект]]

'''Лекция 12''' (1 декабря). Обучение без учителя. Кластеризация: метрики качества, K-Means, иерархический и графовый подходы. Визуализация, t-SNE. Обучение представлений. word2vec. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/lecture-notes/lecture12-unsupervised.pdf Конспект]]

== Семинары ==

'''Семинар 1'''. Постановки задач, примеры применения, инструменты. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/seminars/sem01-intro.ipynb Ноутбук с семинара]] [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/seminars/sem01-tools.ipynb Ноутбук для самостоятельного изучения]]

'''Семинар 2'''. Векторное дифференцирование. Линейная регрессия, аналитическое и численное решение. Свойства градиента. Сравнение градиентного спуска и стохастического градиентного спуска. Scikit-learn. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/seminars/sem02-linregr-part1.pdf Конспект]] [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/seminars/sem02-linregr-part2.ipynb Notebook]] [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/homeworks-theory/homework-theory-01-linregr.pdf Домашнее задание]]

'''Семинар 3'''. Предобработка данных для линейных моделей. Функции потерь в линейной регрессии. Вероятностный взгляд на линейную регрессию. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/seminars/sem03-linregr.ipynb Notebook]] [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/homeworks-theory/homework-theory-02-linregr.pdf Домашнее задание]]

'''Семинар 4'''. Метрики качества классификации. ROC-кривая, алгоритм её построения, AUC-ROC. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/seminars/sem04-linclass-metrics.pdf Конспект]] [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/homeworks-theory/homework-theory-03-linclass-metrics.pdf Домашнее задание]]

'''Семинар 5'''. Оценивание вероятностей классов. Метод опорных векторов. Эквивалентность регуляризации и раннего останова в градиентном спуске. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/seminars/sem05-linclass.pdf Конспект]] [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/seminars/sem05-ipynb Конспект]] [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/homeworks-theory/homework-theory-04-linclass.pdf Домашнее задание]]

'''Семинар 6'''. Метод K ближайших соседей. Различные способы задания метрик. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/seminars/sem06-knn.pdf Конспект]]

'''Семинар 7'''. Решающие деревья. Критерии информативности. Способность решающих деревьев к переобучению. Калибровка вероятностей. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/seminars/sem07-trees.ipynb Конспект]] [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/homeworks-theory/homework-theory-05-knn-trees.pdf Домашнее задание]]

'''Семинар 8'''. Разложение ошибки на смещение и разброс. Композиции. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/seminars/sem08_bvd.pdf Конспект]] [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/homeworks-theory/homework-theory-06-bvd.pdf Домашнее задание]]

'''Семинар 9'''. Градиентный бустинг, его особенности по сравнению с другими видами композиций алгоритмов. Особенности градиентного бустинга над деревьями. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/seminars/sem09-gbm-part1.pdf Конспект]] [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/seminars/sem09-gbm-part2.ipynb Notebook]]

'''Семинар 10'''. Метод обратного распространения ошибки. Нейронные сети. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/seminars/sem10-nn-part1.pdf Конспект]] [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/seminars/sem10-nn-part2.ipynb Notebook]] [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/homeworks-theory/homework-theory-07-nn.pdf Домашнее задание]]

'''Семинар 11'''. Визуализация данных. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/seminars/sem11-visualization.ipynb Notebook]] [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/homeworks-theory/homework-theory-08-unsupervised.pdf Домашнее задание]]

== Практические задания ==

За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются.

'''Задание 1.''' Библиотека numpy и работа с данными.

Дата выдачи: 18.09.2017

Мягкий дедлайн: 01.10.2017 23:59MSK

Жесткий дедлайн: 08.10.2017 23:59MSK.

[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/homeworks-practice/homework-practice-01.ipynb Условие],
[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/homeworks-practice/homework-practice-01.zip архив с условием и шаблонами],
[https://official.contest.yandex.ru/contest/5016/problems/ соревнование в Яндекс.Контесте],
[https://contest.yandex.ru/contest/5016/problems/ альтернативная ссылка на соревнование в Яндекс.Контесте].

'''Задание 2.''' Линейные методы и работа с категориальными признаками

Дата выдачи: 03.11.2017

Мягкий дедлайн: 19.11.2017 23:59MSK

Жесткий дедлайн: 26.11.2017 23:59MSK

[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/homeworks-practice/homework-practice-02.ipynb Условие], [https://official.contest.yandex.ru/contest/5704/problems/ соревнование в Яндекс.Контесте],
[https://contest.yandex.ru/contest/5704/problems/ альтернативная ссылка на соревнование в Яндекс.Контесте].

'''Задание 3.''' Разложение ошибки на смещение и разброс, решающие деревья, композиции.

Дата выдачи: 27.11.2017

Мягкий дедлайн: 14.12.2017 23:59MSK

Жесткий дедлайн: 17.12.2017 23:59MSK

За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются.

[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/homeworks-practice/homework-practice-03/homework-practice-03.ipynb Условие], [https://official.contest.yandex.ru/contest/6469/problems/ соревнование в Яндекс.Контесте],
[https://contest.yandex.ru/contest/6469/problems/ альтернативная ссылка на соревнование в Яндекс.Контесте].

==Теоретические домашние заданий==

После (почти) каждого семинара выкладывается теоретическое домашнее задание, состоящее из задач по теме прошедших занятий. Выполнение каждого из данных заданий проверяется при помощи его защиты: преподаватель или ассистент спрашивает решения 1-2 задач из задания, и оценка за каждую из спрошенных задач выставляется, если студент успешно рассказывает решения и отвечает на сопутствующие вопросы принимающего. Подробные правила защит описаны [https://docs.google.com/document/d/1Fo2dUGHEJU_6P5Snex1i4qP793zdaYmqg8_Ayt980dY/edit?usp=sharing здесь]. Начиная с ДЗ №5 отправка решений в отсканированном или набранном в ТеХе виде обязательна.

'''ДЗ №№1—4'''

Срок защиты (включительно): 13.10.2017 (151, 153, 154, 156 группы), 16.10.2017 (152, 155 группы)

Срок отправки решений: 15.10.2017 23:59MSK (151, 153, 154, 156 группы), 18.10.2017 23:59MSK (152, 155 группы)

'''ДЗ №№5—6'''

Срок защиты (включительно): 11.12.2017

Срок отправки решений: 04.12.2017 23:59MSK

'''ДЗ №№7—8'''

Срок защиты (включительно): 19.12.2017

Срок отправки решений: 12.12.2017 23:59MSK

== Бонусы за соревнования ==

За успешное участие в соревнованиях по анализу данных могут быть выставлены бонусные баллы, которые можно прибавить к оценке за любое практическое или теоретическое домашнее задание, а также за самостоятельную работу. Конкретное число баллов определяется преподавателями и зависит от сложности соревнования и занятого места. За одно соревнование можно получить не более 5 баллов. Для получения оценки необходимо предоставить краткий отчёт о решении задачи.

== Контрольная работа ==

Дата: 08.12.2017

[[https://docs.google.com/document/d/19PtvmS2SEVnhzLc7_yzQ0kBKHv44bL1RwYDSweWDXaU/edit?usp=sharing Вопросы для подготовки]]

Контрольная работа будет проводиться на лекции по обычному расписанию (10:30, ауд. 317). Работа является письменной и будет состоять из теоретических вопросов (список появится в ближайшее время) и задач.

== Полезные материалы ==
===Книги===
* Hastie T., Tibshirani R, Friedman J. The Elements of Statistical Learning (2nd edition). Springer, 2009.
* Bishop C. M. Pattern Recognition and Machine Learning. Springer, 2006.
* Mohri M., Rostamizadeh A., Talwalkar A. Foundations of Machine Learning. MIT Press, 2012.
* Murphy K. Machine Learning: A Probabilistic Perspective. MIT Press, 2012.
* Mohammed J. Zaki, Wagner Meira Jr. Data Mining and Analysis. Fundamental Concepts and Algorithms. Cambridge University Press, 2014.
* Willi Richert, Luis Pedro Coelho. Building Machine Learning Systems with Python. Packt Publishing, 2013.

===Курсы по машинному обучению и анализу данных===
* [http://www.machinelearning.ru/wiki/index.php?title=Машинное_обучение_%28курс_лекций%2C_К.В.Воронцов%29 Курс по машинному обучению К.В. Воронцова]
* [https://yandexdataschool.ru/edu-process/courses/machine-learning Видеозаписи лекций курса Школы Анализа Данных, К.В. Воронцов]
* [https://www.coursera.org/specializations/machine-learning-data-analysis Coursera: Машинное обучение и анализ данных (специализация)]
* [https://www.coursera.org/learn/introduction-machine-learning Coursera: Введение в машинное обучение, К.В. Воронцов]

== Страницы предыдущих лет ==

[[Машинное_обучение_1/2016_2017 | 2016/2017 учебный год]]

Машинное обучение 1/2023 2024

2017-12-04T11:35:50Z

Aumnov: /* Семинары */

== О курсе ==

[[Файл:ML_surfaces.png|280px|borderless|left]]

Курс читается для студентов 3-го курса [https://cs.hse.ru/ami ПМИ ФКН ВШЭ] в 1-2 модулях.

Проводится с 2016 года.

'''Лектор:''' [http://www.hse.ru/staff/esokolov Соколов Евгений Андреевич]

Лекции проходят по пятницам, 10:30 - 11:50, ауд. 317.

=== Полезные ссылки ===

[https://www.hse.ru/ba/ami/courses/205507250.html Карточка курса и программа]

[https://github.com/esokolov/ml-course-hse Репозиторий с материалами на GitHub]

Почта для сдачи домашних заданий: hse.cs.ml+<номер группы>@gmail.com (например, hse.cs.ml+151@gmail.com)

Канал в telegram для объявлений: https://telegram.me/hse_cs_ml_course_2017

Чат в telegram для обсуждений: https://t.me/joinchat/A5rlQEQ7r16nvyHbyXtjNA

[https://docs.google.com/spreadsheets/d/16wj3eH2crdGY-MFqiMMUoy1E7uo80nYT2MYfz3Y7gx4/edit?usp=sharing Таблица с оценками]

Оставить отзыв на курс: [https://goo.gl/forms/5CddG0gc75VZvqi52 форма]

'''Вопросы''' по курсу можно задавать на почту курса, а также в телеграм лектору (esokolov@) или семинаристу.
Вопросы по материалам лекций/семинаров и по заданиям лучше всего оформлять в виде [https://github.com/esokolov/ml-course-hse/issues Issue] в [https://github.com/esokolov/ml-course-hse github-репозитории курса].

=== Семинары ===

{| class="wikitable"
|-
! Группа !! Преподаватель !! Учебный ассистент !! Страница !! Расписание
|-
| 151 (МОП) || [https://www.hse.ru/org/persons/165212870 Зиннурова Эльвира Альбертовна] || Атанов Андрей || || пятница, 12:10 - 13:30, ауд. 300
|-
| 152 (МОП) || [https://www.hse.ru/org/persons/191263008 Неклюдов Кирилл Олегович] || Гадецкий Артём || || понедельник, 15:10 - 16:30, ауд. 505
|-
| 153 (АПР) || [https://www.hse.ru/org/persons/209813467 Никишин Евгений Сергеевич] || Ковалёв Евгений || || пятница, 12:10 - 13:30, ауд. 322
|-
| 154 (АДИС) || [https://www.hse.ru/org/persons/209813459 Каюмов Эмиль Марселевич] || Панков Алексей || || пятница, 12:10 - 13:30, ауд. 501
|-
| 155 (РС) || [https://www.hse.ru/org/persons/192085968 Яшков Даниил Дмитриевич] || [https://t.me/despairazure Кохтев Вадим] || || понедельник, 12:10 - 13:30, ауд. 513
|-
| 156 (ТИ) || [https://www.hse.ru/org/persons/141880775 Умнов Алексей Витальевич] || Шевченко Александр || [[Машинное обучение 1/156 | ссылка]]|| пятница, 15:10 - 16:30, ауд. 311
|-
| Магистратура ФТиАД || [https://www.hse.ru/org/persons/191576735 Чиркова Надежда Александровна] || Першин Максим || ||
|-
|}

=== Консультации ===

=== Правила выставления оценок ===

В курсе предусмотрено несколько форм контроля знания:
* Самостоятельные работы на семинарах, проверяющие знание основных фактов с лекций
* Теоретические домашние работы и их защиты
* Практические домашние работы на Python
* Контрольные работы
* Письменный экзамен

Итоговая оценка вычисляется на основе оценки за работу в семестре и оценки за экзамен:

Oитоговая = 0.7 * Oнакопленная + 0.3 * Оэкз

Оценка за работу в семестре вычисляется по формуле

Oнакопленная = 0.1 * Oсамостоятельные + 0.4 * Опрактические дз + 0.3 * Отеоретические дз + 0.2 * Оконтрольные

Оценка за самостоятельную работу вычисляется как среднее по всем самостоятельным, оценка за домашнюю работу — как среднее по всем практическим заданиям и соревнованиям.

=== Правила сдачи заданий ===

Дедлайны по всем домашним заданиям являются жёсткими, то есть после срока работа не принимаются.

При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.

При наличии уважительной причины пропущенную проверочную можно написать позднее, а дедлайн по домашнему заданию может быть перенесён (при этом получить дополнительные баллы за призовые места на конкурсе можно только при участии в общий срок). Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.

== Лекции ==

'''Лекция 1''' (1 сентября). Введение в машинное обучение. Основные термины, постановки задач и примеры применения. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/lecture-notes/lecture01-intro.pdf Конспект]]

'''Лекция 2''' (8 сентября). Линейная регрессия. Метрики качества регрессии. Градиентный спуск и способы оценивания градиента. Продвинутые градиентные методы. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/lecture-notes/lecture02-linregr.pdf Конспект]]

'''Лекция 3''' (15 сентября). Переобучение и регуляризация. Разреженные линейные модели. Квантильная регрессия. Подготовка признаков. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/lecture-notes/lecture03-linregr.pdf Конспект]]

'''Лекция 4''' (22 сентября). Линейная классификация. Отступ и верхние оценки на пороговую функцию потерь. Метрики качества классификации. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/lecture-notes/lecture04-linclass.pdf Конспект]]

'''Лекция 5''' (29 сентября). Линейная классификация. Логистическая регрессия и оценки вероятности классов. Метод опорных векторов. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/lecture-notes/lecture05-linclass.pdf Конспект]]

'''Лекция 6''' (6 октября). Многоклассовая классификация, сведение к бинарным задачам. Многоклассовая логистическая регрессия. Классификация с пересекающимися классами. Метрики качества многоклассовой классификации. Категориальные признаки: хэширование и счётчики. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/lecture-notes/lecture06-linclass.pdf Конспект]]

'''Лекция 7''' (20 октября). Решающие деревья. Жадный алгоритм построения. Выбор лучшего разбиения с помощью критерия информативности. Критерии информативности для регрессии и классификации. Учёт пропусков в деревьях. Решающие деревья и категориальные признаки. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/lecture-notes/lecture07-trees.pdf Конспект]]

'''Лекция 8''' (3 ноября). Бутстрап и бэггинг. Разложение ошибки на смещение и разброс (bias-variance decomposition). Случайный лес. Вычисление расстояний с помощью лесов. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/lecture-notes/lecture08-ensembles.pdf Конспект]]

'''Лекция 9''' (10 ноября). Градиентный бустинг. Регуляризация. Особенности бустинга над деревьями. Взвешивание объектов в градиентном бустинге. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/lecture-notes/lecture09-ensembles.pdf Конспект]]

'''Лекция 10''' (17 ноября). Оптимизация второго порядка в градиентном бустинге. Регуляризация деревьев. XGBoost. Стекинг. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/lecture-notes/lecture10-ensembles.pdf Конспект]]

'''Лекция 11''' (23 ноября). Графы вычислений, их обучение и метод обратного распространения ошибки. Полносвязные, свёрточные и рекуррентные слои. Возможности аппроксимации. Transfer learning. Глубинное обучение. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/lecture-notes/lecture11-dl.pdf Конспект]]

'''Лекция 12''' (1 декабря). Обучение без учителя. Кластеризация: метрики качества, K-Means, иерархический и графовый подходы. Визуализация, t-SNE. Обучение представлений. word2vec. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/lecture-notes/lecture12-unsupervised.pdf Конспект]]

== Семинары ==

'''Семинар 1'''. Постановки задач, примеры применения, инструменты. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/seminars/sem01-intro.ipynb Ноутбук с семинара]] [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/seminars/sem01-tools.ipynb Ноутбук для самостоятельного изучения]]

'''Семинар 2'''. Векторное дифференцирование. Линейная регрессия, аналитическое и численное решение. Свойства градиента. Сравнение градиентного спуска и стохастического градиентного спуска. Scikit-learn. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/seminars/sem02-linregr-part1.pdf Конспект]] [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/seminars/sem02-linregr-part2.ipynb Notebook]] [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/homeworks-theory/homework-theory-01-linregr.pdf Домашнее задание]]

'''Семинар 3'''. Предобработка данных для линейных моделей. Функции потерь в линейной регрессии. Вероятностный взгляд на линейную регрессию. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/seminars/sem03-linregr.ipynb Notebook]] [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/homeworks-theory/homework-theory-02-linregr.pdf Домашнее задание]]

'''Семинар 4'''. Метрики качества классификации. ROC-кривая, алгоритм её построения, AUC-ROC. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/seminars/sem04-linclass-metrics.pdf Конспект]] [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/homeworks-theory/homework-theory-03-linclass-metrics.pdf Домашнее задание]]

'''Семинар 5'''. Оценивание вероятностей классов. Метод опорных векторов. Эквивалентность регуляризации и раннего останова в градиентном спуске. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/seminars/sem05-linclass.pdf Конспект]] [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/seminars/sem05-ipynb Конспект]] [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/homeworks-theory/homework-theory-04-linclass.pdf Домашнее задание]]

'''Семинар 6'''. Метод K ближайших соседей. Различные способы задания метрик. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/seminars/sem06-knn.pdf Конспект]]

'''Семинар 7'''. Решающие деревья. Критерии информативности. Способность решающих деревьев к переобучению. Калибровка вероятностей. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/seminars/sem07-trees.ipynb Конспект]] [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/homeworks-theory/homework-theory-05-knn-trees.pdf Домашнее задание]]

'''Семинар 8'''. Разложение ошибки на смещение и разброс. Композиции. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/seminars/sem08_bvd.pdf Конспект]] [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/homeworks-theory/homework-theory-06-bvd.pdf Домашнее задание]]

'''Семинар 9'''. Градиентный бустинг, его особенности по сравнению с другими видами композиций алгоритмов. Особенности градиентного бустинга над деревьями. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/seminars/sem09-gbm-part1.pdf Конспект]] [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/seminars/sem09-gbm-part2.ipynb Notebook]]

'''Семинар 10'''. Метод обратного распространения ошибки. Нейронные сети. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/seminars/sem10-nn-part1.pdf Конспект]] [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/seminars/sem10-nn-part2.ipynb Notebook]] [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/homeworks-theory/homework-theory-07-nn.pdf Домашнее задание]]

'''Семинар 11'''. Визуализация данных. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/homeworks-theory/homework-theory-08-unsupervised.pdf Домашнее задание]]

== Практические задания ==

За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются.

'''Задание 1.''' Библиотека numpy и работа с данными.

Дата выдачи: 18.09.2017

Мягкий дедлайн: 01.10.2017 23:59MSK

Жесткий дедлайн: 08.10.2017 23:59MSK.

[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/homeworks-practice/homework-practice-01.ipynb Условие],
[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/homeworks-practice/homework-practice-01.zip архив с условием и шаблонами],
[https://official.contest.yandex.ru/contest/5016/problems/ соревнование в Яндекс.Контесте],
[https://contest.yandex.ru/contest/5016/problems/ альтернативная ссылка на соревнование в Яндекс.Контесте].

'''Задание 2.''' Линейные методы и работа с категориальными признаками

Дата выдачи: 03.11.2017

Мягкий дедлайн: 19.11.2017 23:59MSK

Жесткий дедлайн: 26.11.2017 23:59MSK

[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/homeworks-practice/homework-practice-02.ipynb Условие], [https://official.contest.yandex.ru/contest/5704/problems/ соревнование в Яндекс.Контесте],
[https://contest.yandex.ru/contest/5704/problems/ альтернативная ссылка на соревнование в Яндекс.Контесте].

'''Задание 3.''' Разложение ошибки на смещение и разброс, решающие деревья, композиции.

Дата выдачи: 27.11.2017

Мягкий дедлайн: 10.12.2017 23:59MSK

Жесткий дедлайн: 17.12.2017 23:59MSK

За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются.

[https://github.com/esokolov/ml-course-hse/blob/master/2017-fall/homeworks-practice/homework-practice-03/homework-practice-03.ipynb Условие], [https://official.contest.yandex.ru/contest/6469/problems/ соревнование в Яндекс.Контесте],
[https://contest.yandex.ru/contest/6469/problems/ альтернативная ссылка на соревнование в Яндекс.Контесте].

==Теоретические домашние заданий==

После (почти) каждого семинара выкладывается теоретическое домашнее задание, состоящее из задач по теме прошедших занятий. Выполнение каждого из данных заданий проверяется при помощи его защиты: преподаватель или ассистент спрашивает решения 1-2 задач из задания, и оценка за каждую из спрошенных задач выставляется, если студент успешно рассказывает решения и отвечает на сопутствующие вопросы принимающего. Подробные правила защит описаны [https://docs.google.com/document/d/1Fo2dUGHEJU_6P5Snex1i4qP793zdaYmqg8_Ayt980dY/edit?usp=sharing здесь]. Начиная с ДЗ №5 отправка решений в отсканированном или набранном в ТеХе виде обязательна.

'''ДЗ №№1—4'''

Срок защиты (включительно): 13.10.2017 (151, 153, 154, 156 группы), 16.10.2017 (152, 155 группы)

Срок отправки решений: 15.10.2017 23:59MSK (151, 153, 154, 156 группы), 18.10.2017 23:59MSK (152, 155 группы)

'''ДЗ №№5—6'''

Срок защиты (включительно): 11.12.2017

Срок отправки решений: 04.12.2017 23:59MSK

'''ДЗ №№7—8'''

Срок защиты (включительно): 19.12.2017

Срок отправки решений: 12.12.2017 23:59MSK

== Бонусы за соревнования ==

За успешное участие в соревнованиях по анализу данных могут быть выставлены бонусные баллы, которые можно прибавить к оценке за любое практическое или теоретическое домашнее задание, а также за самостоятельную работу. Конкретное число баллов определяется преподавателями и зависит от сложности соревнования и занятого места. За одно соревнование можно получить не более 5 баллов. Для получения оценки необходимо предоставить краткий отчёт о решении задачи.

== Контрольная работа ==

Дата: 08.12.2017

[[https://docs.google.com/document/d/19PtvmS2SEVnhzLc7_yzQ0kBKHv44bL1RwYDSweWDXaU/edit?usp=sharing Вопросы для подготовки]]

Контрольная работа будет проводиться на лекции по обычному расписанию (10:30, ауд. 317). Работа является письменной и будет состоять из теоретических вопросов (список появится в ближайшее время) и задач.

== Полезные материалы ==
===Книги===
* Hastie T., Tibshirani R, Friedman J. The Elements of Statistical Learning (2nd edition). Springer, 2009.
* Bishop C. M. Pattern Recognition and Machine Learning. Springer, 2006.
* Mohri M., Rostamizadeh A., Talwalkar A. Foundations of Machine Learning. MIT Press, 2012.
* Murphy K. Machine Learning: A Probabilistic Perspective. MIT Press, 2012.
* Mohammed J. Zaki, Wagner Meira Jr. Data Mining and Analysis. Fundamental Concepts and Algorithms. Cambridge University Press, 2014.
* Willi Richert, Luis Pedro Coelho. Building Machine Learning Systems with Python. Packt Publishing, 2013.

===Курсы по машинному обучению и анализу данных===
* [http://www.machinelearning.ru/wiki/index.php?title=Машинное_обучение_%28курс_лекций%2C_К.В.Воронцов%29 Курс по машинному обучению К.В. Воронцова]
* [https://yandexdataschool.ru/edu-process/courses/machine-learning Видеозаписи лекций курса Школы Анализа Данных, К.В. Воронцов]
* [https://www.coursera.org/specializations/machine-learning-data-analysis Coursera: Машинное обучение и анализ данных (специализация)]
* [https://www.coursera.org/learn/introduction-machine-learning Coursera: Введение в машинное обучение, К.В. Воронцов]

== Страницы предыдущих лет ==

[[Машинное_обучение_1/2016_2017 | 2016/2017 учебный год]]

Алгоритмы и структуры данных 2 2017/2018/Clustering

2017-10-13T11:30:35Z

Aumnov: /* Кластеризация объектов */

== Кластеризация объектов ==

В этом задании мы рассмотрим задачу кластеризации объектов. Вам необходимо реализовать два алгоритма кластеризации, которые разбирались на лекциях:

1) Кластеризация на основе минимального остовного дерева, максимизирующая минимальное межкластерное расстояние;

2) Кластеризация жадным алгоритмом, приближенно минимизирующая максимальное внутрикластерное расстояние.

Для удобства реализации и визуализации мы будем работать с точками на плоскости.

Вам дается код с заготовкой на C++, в котором реализована генерация случайных наборов точек, запись результата в скрипт для отображения с помощью утилиты gnuplot, а также некоторый набор полезных функций и классов. Необходимо реализовать функции кластеризации и продемонстрировать их работу на примерах нескольких наборов точек. Приведите примеры удачных и неудачных разбиений для каждого алгоритма.

[https://www.dropbox.com/s/xuds26z1lf0qaqw/cluster.cpp?dl=0 Заготовка с кодом]

Пояснения по коду:
* Для работы кода необходимо создать папки 'plot_base', 'plot_mst', 'plot_mdc', в которые код записывает данные для визуализации для исходных данных, результата алгоритма 1 и алгоритма 2 соответственно.
* Для того, чтобы визуализировать результат, нужно перейти в одну из папок, и запустить из нее команду "gnuplot script.txt -p" (утилиту gnuplot нужно установить). При желании можно изучить ее параметры и запускать ее по-другому (например, с записью результата в файл), или использовать онлайн-версии.
* В алгоритме на основе минимального остовного дерева используется полный граф на всех вершинах, где вес ребра между двумя точками равен расстоянию между ними на плоскости.
* Заготовкой пользоваться не обязательно, программировать можно как на Python, так и на C++ (но заготовки для Python нет).

Алгоритмы и структуры данных 2 2016/2017/165-1

2017-10-11T09:22:51Z

Aumnov: /* Семинары */

== Общая информация ==

Чатик в телеграме: https://t.me/joinchat/DVc8jA1ZRktzxfesHsc_NQ

Таблица с оценками: https://docs.google.com/spreadsheets/d/1l31ZBKG_FDcG4tz28D1kdF3u1X6VmUxDfkFn_lTfnm8/edit?usp=sharing

Время для консультаций (по предварительной договоренности): вторник 15:30-16:30.

Полезные материалы:
* [https://www.dropbox.com/s/29abgml2exleewq/%D0%9C%D0%B8%D0%BD%D0%B8-%D0%9A%D0%BE%D1%80%D0%BC%D0%B5%D0%BD%202.pdf?dl=0 Конспект студетов прошлого года]
* Sipser M. Introduction to the Theory of Computation
* Kleinberg J., Tardos E. Algorithm Design.

== Семинары ==

==== 05.09 ====

[https://www.dropbox.com/s/0xijra3qnq97v1m/test-intro.pdf?dl=0 Вводная проверочная].

==== 03.10 ====

[[Алгоритмы и структуры данных 2 2017/2018/Segmentation | Задача про сегментацию]]

==== 10.10 ====

[[Алгоритмы и структуры данных 2 2017/2018/Clustering | Задача про кластеризацию]]

Алгоритмы и структуры данных 2 2017/2018/Clustering

2017-10-10T12:13:41Z

Aumnov:

== Кластеризация объектов ==

В этом задании мы рассмотрим задачу кластеризации объектов. Вам необходимо реализовать два алгоритма кластеризации, которые разбирались на лекциях:

1) Кластеризация на основе минимального остовного дерева, максимизирующая минимальное межкластерное расстояние;

2) Кластеризация жадным алгоритмом, приближенно минимизирующая максимальное внутрикластерное расстояние.

Для удобства реализации и визуализации мы будем работать с точками на плоскости.

Вам дается код с заготовкой на C++, в котором реализована генерация случайных наборов точек, запись результата в скрипт для отображения с помощью утилиты gnuplot, а также некоторый набор полезных функций и классов. Необходимо реализовать функции кластеризации и проверить их работу на примерах нескольких наборов точек.

[https://www.dropbox.com/s/xuds26z1lf0qaqw/cluster.cpp?dl=0 Заготовка с кодом]

Пояснения по коду:
* Для работы кода необходимо создать папки 'plot_base', 'plot_mst', 'plot_mdc', в которые код записывает данные для визуализации для исходных данных, результата алгоритма 1 и алгоритма 2 соответственно.
* Для того, чтобы визуализировать результат, нужно перейти в одну из папок, и запустить из нее команду "gnuplot script.txt -p" (утилиту gnuplot нужно установить). При желании можно изучить ее параметры и запускать ее по-другому (например, с записью результата в файл), или использовать онлайн-версии.
* В алгоритме на основе минимального остовного дерева используется полный граф на всех вершинах, где вес ребра между двумя точками равен расстоянию между ними на плоскости.
* Заготовкой пользоваться не обязательно, программировать можно как на Python, так и на C++ (но заготовки для Python нет).

Алгоритмы и структуры данных 2 2017/2018/Clustering

2017-10-10T12:13:00Z

Aumnov: /* Кластеризация объектов */

== Кластеризация объектов ==

В этом задании мы рассмотрим задачу кластеризации объектов. Вам необходимо реализовать два алгоритма кластеризации:

1) Кластеризация на основе минимального остовного дерева, максимизирующая минимальное межкластерное расстояние;

2) Кластеризация жадным алгоритмом, приближенно минимизирующая максимальное внутрикластерное расстояние.

Для удобства реализации и визуализации мы будем работать с точками на плоскости.

Вам дается код с заготовкой на C++, в котором реализована генерация случайных наборов точек, запись результата в скрипт для отображения с помощью утилиты gnuplot, а также некоторый набор полезных функций и классов. Необходимо реализовать функции кластеризации и проверить их работу на примерах нескольких наборов точек.

[https://www.dropbox.com/s/xuds26z1lf0qaqw/cluster.cpp?dl=0 Заготовка с кодом]

Пояснения по коду:
* Для работы кода необходимо создать папки 'plot_base', 'plot_mst', 'plot_mdc', в которые код записывает данные для визуализации для исходных данных, результата алгоритма 1 и алгоритма 2 соответственно.
* Для того, чтобы визуализировать результат, нужно перейти в одну из папок, и запустить из нее команду "gnuplot script.txt -p" (утилиту gnuplot нужно установить). При желании можно изучить ее параметры и запускать ее по-другому (например, с записью результата в файл), или использовать онлайн-версии.
* В алгоритме на основе минимального остовного дерева используется полный граф на всех вершинах, где вес ребра между двумя точками равен расстоянию между ними на плоскости.
* Заготовкой пользоваться не обязательно, программировать можно как на Python, так и на C++ (но заготовки для Python нет).

Алгоритмы и структуры данных 2 2017/2018/Clustering

2017-10-10T11:41:56Z

Aumnov: /* Кластеризация объектов */

== Кластеризация объектов ==

В этом задании мы рассмотрим задачу кластеризации объектов. Вам необходимо реализовать два алгоритма кластеризации:

1) Кластеризация на основе минимального остовного дерева, максимизирующая минимальное межкластерное расстояние;

2) Кластеризация жадным алгоритмом, приближенно минимизирующая максимальное внутрикластерное расстояние.

Для удобства реализации и визуализации мы будем работать с точками на плоскости.

Вам дается код с заготовкой на C++, в котором реализована генерация случайных наборов точек, запись результата в скрипт для отображения с помощью утилиты gnuplot, а также некоторый набор полезных функций и классов. Необходимо реализовать функции кластеризации и проверить их работу на примерах нескольких наборов точек.

[https://www.dropbox.com/s/xuds26z1lf0qaqw/cluster.cpp?dl=0 Заготовка с кодом]

Пояснения по коду:
* Для работы кода необходимо создать папки 'plot_base', 'plot_mst', 'plot_mdc', в которые код записывает данные для визуализации для исходных данных, результата алгоритма 1 и алгоритма 2 соответственно.
* gnuplot -p
* gnuplot и картинки
* MST и pairwise distance
* TODO Заготовкой пользоваться не обязательно, программировать можно как на Python, так и на C++ (но заготовки для C++ нет).

Алгоритмы и структуры данных 2 2017/2018/Segmentation

2017-10-10T11:37:44Z

Aumnov:

== Сегментация изображений ==

В этом задании вам необходимо реализовать алгоритм сегментации изображений с помощью локального поиска для минимального разреза. Для простоты мы будем делать сегментацию на 2 класса на основе цветов пикселей.

Вам дается код с заготовкой, в которой написана базовая загрузка изображений (с помощью библиотеки scipy) и некоторые удобные функции для работы с ними. Необходимо реализовать функцию
сегментации и проверить ее работу на нескольких примерах изображений.

[https://www.dropbox.com/s/29tlm6l2uf9bvhk/base.py?dl=0 Заготовка с кодом]

[https://www.dropbox.com/s/90byx68xotodm9m/images.zip?dl=0 Примеры изображений]

Пояснения по заданию и коду:
* Для каждого класса фиксируется свой основной цвет (переменные S и T, нужно задавать вручную для каждого изображения).
* Расстояние между двумя цветам вычисляется как среднеквадратичное между яркостями компонент (функция dist).
* Штраф данного пикселя за принадлежность к классу равен расстоянию от него до цвета класса.
* Штраф для отнесения соседних пикселей к разным классам равен расстоянию между их цветами.
* В заготовке после сегментации пиксели изображения подкрашиваются в соответствующий цвет для наглядности.
* Заготовкой пользоваться не обязательно, программировать можно как на Python, так и на C++ (но заготовки для C++ нет).

Алгоритмы и структуры данных 2 2017/2018/Clustering

2017-10-10T11:37:26Z

Aumnov:

Алгоритмы и структуры данных 2 2017/2018/Clustering

2017-10-10T11:33:34Z

Aumnov: /* Кластеризация объектов */

Алгоритмы и структуры данных 2 2017/2018/Clustering

2017-10-10T11:29:57Z

Aumnov: Новая страница: «== Кластеризация объектов == В этом задании мы рассмотрим задачу кластеризации объектов.…»

Основы и методология программирования на ПМИ 2017/2018 (основной поток, 1 модуль)/175-2

2017-10-06T10:57:13Z

Aumnov: тестирование

== Общая информация ==

Чат в телеграме: https://t.me/joinchat/DVc8jAsFSRw7tiOUfMpXUg

Время для консультаций (по предварительной договоренности): вторник 15:30-16:30.

== Материалы ==

=== Тестирование программ ===

Пример написания тестов "прямо в коде" (на примере задачи 7.W): [https://www.dropbox.com/s/2esmekhe5ulhw54/compress_with_tests.py?dl=0 код].

Такого тестирования для нашего курса достаточно с точки зрения удобства и скорости написания. Если же вы хотите попробовать писать тесты так, как это делается в промышленном программировании, ниже два таких примера.

Написание тестов с помощью встроенной в python библиотеки unittest: [https://www.dropbox.com/s/w8v2ds1c4dog00j/compress_unittests.py?dl=0 код].

Написание тестов с помощью более продвинутой библиотеки py.test, которую нужно отдельно устанавливать:
[https://www.dropbox.com/s/7iuytr3iib6z4h3/compress_pytest.py?dl=0 код]. Обратите внимание, что код очень похож на первый вариант без библиотек.

Алгоритмы и структуры данных 2 2016/2017/165-1

2017-10-03T10:50:35Z

Aumnov:

Алгоритмы и структуры данных 2 2017/2018/Segmentation

2017-10-02T23:08:10Z

Aumnov: /* Сегментация изображений */

== Сегментация изображений ==

В этом задании вам необходимо реализовать алгоритм сегментации изображений с помощью локального поиска для минимального разреза. Для простоты мы будем делать сегментацию на 2 класса на основе цветов пикселей.

Вам дается код с заготовкой, в которой написана базовая загрузка изображений (с помощью библиотеки scipy) и некоторые удобные функции для работы с ними. Необходимо реализовать функцию
сегментации и проверить ее работу на нескольких примерах изображений.

[https://www.dropbox.com/s/29tlm6l2uf9bvhk/base.py?dl=0 Заготовка с кодом]

[https://www.dropbox.com/s/90byx68xotodm9m/images.zip?dl=0 Примеры изображений]

Реализацию необходимо отправить

Пояснения по заданию и коду:
* Для каждого класса фиксируется свой основной цвет (переменные S и T, нужно задавать вручную для каждого изображения).
* Расстояние между двумя цветам вычисляется как среднеквадратичное между яркостями компонент (функция dist).
* Штраф данного пикселя за принадлежность к классу равен расстоянию от него до цвета класса.
* Штраф для отнесения соседних пикселей к разным классам равен расстоянию между их цветами.
* В заготовке после сегментации пиксели изображения подкрашиваются в соответствующий цвет для наглядности.
* Заготовкой пользоваться не обязательно, программировать можно как на Python, так и на C++ (но заготовки для C++ нет).

Алгоритмы и структуры данных 2 2017/2018/Segmentation

2017-10-01T16:13:47Z

Aumnov:

== Сегментация изображений ==

В этом задании вам необходимо реализовать алгоритм сегментации изображений с помощью максимального разреза. Для простоты мы будем делать сегментацию на 2 класса на основе цветов пикселей.

Вам дается код с заготовкой, в которой написана базовая загрузка изображений (с помощью библиотеки scipy) и некоторые удобные функции для работы с ними. Необходимо реализовать функцию
сегментации и проверить ее работу на нескольких примерах изображений.

[https://www.dropbox.com/s/29tlm6l2uf9bvhk/base.py?dl=0 Заготовка с кодом]

[https://www.dropbox.com/s/90byx68xotodm9m/images.zip?dl=0 Примеры изображений]

Реализацию необходимо отправить

Пояснения по заданию и коду:
* Для каждого класса фиксируется свой основной цвет (переменные S и T, нужно задавать вручную для каждого изображения).
* Расстояние между двумя цветам вычисляется как среднеквадратичное между яркостями компонент (функция dist).
* Штраф данного пикселя за принадлежность к классу равен расстоянию от него до цвета класса.
* Штраф для отнесения соседних пикселей к разным классам равен расстоянию между их цветами.
* В заготовке после сегментации пиксели изображения подкрашиваются в соответствующий цвет для наглядности.
* Заготовкой пользоваться не обязательно, программировать можно как на Python, так и на C++ (но заготовки для C++ нет).

Алгоритмы и структуры данных 2 2017/2018/Segmentation

2017-10-01T16:08:10Z

Aumnov:

== Сегментация изображений ==

В этом задании вам необходимо реализовать алгоритм сегментации изображений с помощью максимального разреза. Для простоты мы будем делать сегментацию на 2 класса на основе цветов пикселей.

Вам дается код с заготовкой, в которой написана базовая загрузка изображений и некоторые удобные функции для работы с ними. Необходимо реализовать функцию
сегментации и проверить ее работу на нескольких примерах изображений.

[https://www.dropbox.com/s/29tlm6l2uf9bvhk/base.py?dl=0 Заготовка с кодом]

[https://www.dropbox.com/s/90byx68xotodm9m/images.zip?dl=0 Примеры изображений]

Пояснения по заданию и коду:
* Для каждого класса фиксируется свой основной цвет (переменные S и T, нужно задавать вручную для каждого изображения).
* Расстояние между двумя цветам вычисляется как среднеквадратичное между яркостями компонент (функция dist).
* Штраф данного пикселя за принадлежность к классу равен расстоянию от него до цвета класса.
* Штраф для отнесения соседних пикселей к разным классам равен расстоянию между их цветами.
* В заготовке после сегментации пиксели изображения подкрашиваются в соответствующий цвет для наглядности.
* Заготовкой пользоваться не обязательно, программировать можно как на Python, так и на C++ (но заготовки для C++ нет).

Алгоритмы и структуры данных 2 2017/2018/Segmentation

2017-10-01T16:07:07Z

Aumnov:

== Сегментация изображений ==

В этом задании вам необходимо реализовать алгоритм сегментации изображений с помощью максимального разреза. Для простоты мы будем делать сегментацию на 2 класса на основе цветов пикселей.

Вам дается код с заготовкой, в которой написана базовая загрузка изображений и некоторые удобные функции для работы с ними. Необходимо реализовать функцию
сегментации и проверить ее работу на нескольких примерах изображений.

[https://www.dropbox.com/s/29tlm6l2uf9bvhk/base.py?dl=0 Заготовка с кодом]

[https://www.dropbox.com/s/90byx68xotodm9m/images.zip?dl=0 Примеры изображений]

Пояснения по заданию и коду:
* Для каждого класса фиксируется свой основной цвет (переменные S и T, нужно задавать вручную для каждого изображения)
* Расстояние между двумя цветам вычисляется как среднеквадратичное между яркостями компонент (функция dist)
* Штраф данного пикселя за принадлежность классу равен расстоянию от него до цвета класса
* Штраф для отнесения соседних пикселей к разным классам равен расстоянию между их цветами
* В заготовке после сегментации пиксели изображения подкрашиваются в соответствующий цвет для наглядности
* Заготовкой пользоваться не обязательно, программировать можно как на Python, так и на C++ (но заготовки для C++ нет)

Алгоритмы и структуры данных 2 2017/2018/Segmentation

2017-10-01T16:02:12Z

Aumnov: Новая страница: «== Сегментация изображений == В этом задании вам необходимо реализовать алгоритм сегмент…»

Машинное обучение 1/2023 2024

2017-09-27T08:51:27Z

Aumnov:

Машинное обучение 1/2023 2024

2017-09-18T17:56:48Z

Aumnov: /* Практические задания */

Машинное обучение 1/2023 2024

2017-09-18T17:54:54Z

Aumnov: /* Практические задания */

Алгоритмы и структуры данных 2 2016/2017/165-1

2017-09-18T17:05:15Z

Aumnov: /* Общая информация */

Основы и методология программирования на ПМИ 2017/2018 (основной поток, 1 модуль)/175-2

2017-09-12T09:24:02Z

Aumnov: /* Общая информация */

Основы и методология программирования на ПМИ 2017/2018 (основной поток, 1 модуль)/175-1

2017-09-12T09:21:42Z

Aumnov: Полностью удалено содержимое страницы

Основы и методология программирования на ПМИ 2017/2018 (основной поток, 1 модуль)/175-2

2017-09-12T09:21:12Z

Aumnov: Новая страница: «== Общая информация == Чат в телеграме: TBD Время для консультаций (по предварительной дого…»

== Общая информация ==

Чат в телеграме: TBD

Время для консультаций (по предварительной договоренности): вторник 15:30-16:30.

Основы и методология программирования на ПМИ 2017/2018 (основной поток, 1 модуль)

2017-09-12T09:21:00Z

Aumnov:

== Основы и методология программирования, основной поток, 2017-2018, 1 модуль ==

'''Лектор:''' [https://www.hse.ru/org/persons/133408680 М. С. Густокашин]

'''Лекции:''' понедельник (еженедельно), 3-я пара (12:10-13:30), ауд. 622; 
пятница (8, 22 сентября, 6, 20 октября), 2-я пара (10:30-11:50), ауд. 622.

Конспекты лекций: https://yadi.sk/i/BkcKilJkumcPV

Видео, примерно соответствующие содержанию лекций, можно смотреть тут: https://www.coursera.org/learn/python-osnovy-programmirovaniya/home/welcome

Текущие оценки по ДЗ: пока нет

Обратите внимания, что текущие оценки являются предварительными (осуществлены еще не все проверки на соблюдение правил, особенно на контрольной).

== Итоговые оценки и экзамен ==

Накопленная оценка округляется по математическим правилам до целого и не превышает 10.

Оценка за экзамен округляется по математическим правилам до целого и не превышает 10. На экзамене будет предложено 5 задач, каждая оценивается в 2 балла.

Итоговая оценка за курс вычисляется как 0.6*накопленная + 0.4*экзамен. Округляется до целого по математическим правилам.

== Используемое ПО ==
Необходимо установить интерпретатор Python версии не ниже 3.4 под свою ОС. Ссылка https://www.python.org/downloads/

JetBrains PyCharm Community: https://www.jetbrains.com/pycharm/download/

На занятия можно приносить свой ноутбук.

==Семинарские занятия и ДЗ==

ДЗ 1. Арифметика: https://official.contest.yandex.ru/contest/4976

ДЗ 2. Условный оператор: https://official.contest.yandex.ru/contest/5017

ДЗ 3. Цикл while: https://official.contest.yandex.ru/contest/5017

==Система защиты ДЗ==

Раз в две недели по пятницам проходит защита ДЗ. По каждой теме будет предложено 2 задачи средней сложности, всего 8 задач, на защиту отводится одна пара. Во время решения практических задач можно пользоваться конспектами и своими решениями задач ДЗ.

Оценка за каждое ДЗ определяется как min(Оценка за ДЗ; Оценка за защиту).

Оценка за защиту по каждой теме вычисляется следующим образом: 0 задач - 3, 1 задача - 7, 2 задачи - 12.

Со студентами, оценка которых на защите чрезвычайно низка по сравнению с оценкой на ДЗ, будет проведена дополнительная устная защита с целью поиска путей исправления проблем в освоении материала.

==Преподаватели и ассистенты==
{| class="wikitable"
|-
! Подгруппа !! Преподаватель !! Учебные ассистенты !! Семинары !! Консультации
|-
| 175-2 || [https://www.hse.ru/org/persons/141880775 Умнов Алексей Витальевич] || || [[Основы_и_методология_программирования_на_ПМИ_2017/2018_(основной_поток,_1_модуль)/175-2|страница]] || см. страницу
|-
|}

Основы и методология программирования на ПМИ 2017/2018 (основной поток, 1 модуль)

2017-09-12T09:08:35Z

Aumnov:

== Основы и методология программирования, основной поток, 2017-2018, 1 модуль ==

'''Лектор:''' [https://www.hse.ru/org/persons/133408680 М. С. Густокашин]

'''Лекции:''' понедельник (еженедельно), 3-я пара (12:10-13:30), ауд. 622; 
пятница (8, 22 сентября, 6, 20 октября), 2-я пара (10:30-11:50), ауд. 622.

Конспекты лекций: https://yadi.sk/i/BkcKilJkumcPV

Видео, примерно соответствующие содержанию лекций, можно смотреть тут: https://www.coursera.org/learn/python-osnovy-programmirovaniya/home/welcome

Текущие оценки по ДЗ: пока нет

Обратите внимания, что текущие оценки являются предварительными (осуществлены еще не все проверки на соблюдение правил, особенно на контрольной).

== Итоговые оценки и экзамен ==

Накопленная оценка округляется по математическим правилам до целого и не превышает 10.

Оценка за экзамен округляется по математическим правилам до целого и не превышает 10. На экзамене будет предложено 5 задач, каждая оценивается в 2 балла.

Итоговая оценка за курс вычисляется как 0.6*накопленная + 0.4*экзамен. Округляется до целого по математическим правилам.

== Используемое ПО ==
Необходимо установить интерпретатор Python версии не ниже 3.4 под свою ОС. Ссылка https://www.python.org/downloads/

JetBrains PyCharm Community: https://www.jetbrains.com/pycharm/download/

На занятия можно приносить свой ноутбук.

==Семинарские занятия и ДЗ==

ДЗ 1. Арифметика: https://official.contest.yandex.ru/contest/4976

ДЗ 2. Условный оператор: https://official.contest.yandex.ru/contest/5017

ДЗ 3. Цикл while: https://official.contest.yandex.ru/contest/5017

==Система защиты ДЗ==

Раз в две недели по пятницам проходит защита ДЗ. По каждой теме будет предложено 2 задачи средней сложности, всего 8 задач, на защиту отводится одна пара. Во время решения практических задач можно пользоваться конспектами и своими решениями задач ДЗ.

Оценка за каждое ДЗ определяется как min(Оценка за ДЗ; Оценка за защиту).

Оценка за защиту по каждой теме вычисляется следующим образом: 0 задач - 3, 1 задача - 7, 2 задачи - 12.

Со студентами, оценка которых на защите чрезвычайно низка по сравнению с оценкой на ДЗ, будет проведена дополнительная устная защита с целью поиска путей исправления проблем в освоении материала.

==Преподаватели и ассистенты==
{| class="wikitable"
|-
! Подгруппа !! Преподаватель !! Учебные ассистенты !! Семинары !! Консультации
|-
| 175-2 || [https://www.hse.ru/org/persons/141880775 Умнов Алексей Витальевич] || || [[Основы_и_методология_программирования_на_ПМИ_2017/2018_(основной_поток,_1_модуль)/175-1|страница]] || см. страницу
|-
|}

Алгоритмы и структуры данных 2 2016/2017/165-1

2017-09-10T19:40:27Z

Aumnov: /* Общая информация */

== Общая информация ==

Чатик в телеграме: https://t.me/joinchat/DVc8jA1ZRktzxfesHsc_NQ

Время для консультаций (по предварительной договоренности): вторник 15:30-16:30.

Полезные материалы:
* [https://www.dropbox.com/s/29abgml2exleewq/%D0%9C%D0%B8%D0%BD%D0%B8-%D0%9A%D0%BE%D1%80%D0%BC%D0%B5%D0%BD%202.pdf?dl=0 Конспект студетов прошлого года]
* Sipser M. Introduction to the Theory of Computation
* Kleinberg J., Tardos E. Algorithm Design.

== Семинары ==

==== 05.09 ====

[https://www.dropbox.com/s/0xijra3qnq97v1m/test-intro.pdf?dl=0 Вводная проверочная].

Основы и методология программирования на ПМИ 2017/2018 (основной поток, 1 модуль)/175-1

2017-09-10T16:56:24Z

Машинное обучение 1/156

2017-09-10T16:55:53Z

Aumnov: /* Общая информация */

== Общая информация ==

Чат в телеграме: https://t.me/joinchat/DVc8jA7inNZsub6wUYXRtg

Алгоритмы и структуры данных 2 2016/2017/165-1

2017-09-10T16:55:39Z

Aumnov: /* Общая информация */

Основы и методология программирования на ПМИ 2017/2018 (основной поток, 1 модуль)

2017-09-10T16:54:54Z

Aumnov: /* Преподаватели и ассистенты */

== Основы и методология программирования, основной поток, 2017-2018, 1 модуль ==

'''Лектор:''' [https://www.hse.ru/org/persons/133408680 М. С. Густокашин]

'''Лекции:''' понедельник (еженедельно), 3-я пара (12:10-13:30), ауд. 622; 
пятница (8, 22 сентября, 6, 20 октября), 2-я пара (10:30-11:50), ауд. 622.

Конспекты лекций: https://yadi.sk/i/BkcKilJkumcPV

Видео, примерно соответствующие содержанию лекций, можно смотреть тут: https://www.coursera.org/learn/python-osnovy-programmirovaniya/home/welcome

Текущие оценки по ДЗ: пока нет

Обратите внимания, что текущие оценки являются предварительными (осуществлены еще не все проверки на соблюдение правил, особенно на контрольной).

== Итоговые оценки и экзамен ==

Накопленная оценка округляется по математическим правилам до целого и не превышает 10.

Оценка за экзамен округляется по математическим правилам до целого и не превышает 10. На экзамене будет предложено 5 задач, каждая оценивается в 2 балла.

Итоговая оценка за курс вычисляется как 0.6*накопленная + 0.4*экзамен. Округляется до целого по математическим правилам.

== Используемое ПО ==
Необходимо установить интерпретатор Python версии не ниже 3.4 под свою ОС. Ссылка https://www.python.org/downloads/

JetBrains PyCharm Community: https://www.jetbrains.com/pycharm/download/

На занятия можно приносить свой ноутбук.

==Семинарские занятия и ДЗ==

ДЗ 1. Арифметика: https://official.contest.yandex.ru/contest/4976

Здесь будут опубликованы ссылки на ДЗ

==Система защиты ДЗ==

Раз в две недели по пятницам проходит защита ДЗ. По каждой теме будет предложено 2 задачи средней сложности, всего 8 задач, на защиту отводится одна пара. Во время решения практических задач можно пользоваться конспектами и своими решениями задач ДЗ.

Оценка за каждое ДЗ определяется как min(Оценка за ДЗ; Оценка за защиту).

Оценка за защиту по каждой теме вычисляется следующим образом: 0 задач - 3, 1 задача - 7, 2 задачи - 12.

Со студентами, оценка которых на защите чрезвычайно низка по сравнению с оценкой на ДЗ, будет проведена дополнительная устная защита с целью поиска путей исправления проблем в освоении материала.

==Преподаватели и ассистенты==
{| class="wikitable"
|-
! Подгруппа !! Преподаватель !! Учебные ассистенты !! Семинары !! Консультации
|-
| 175-1 || [https://www.hse.ru/org/persons/141880775 Умнов Алексей Витальевич] || || [[Основы_и_методология_программирования_на_ПМИ_2017/2018_(основной_поток,_1_модуль)/175-1|страница]] || см. страницу
|-
|}

Алгоритмы и структуры данных 2 2016/2017/165-1

2017-09-10T16:51:04Z

Aumnov: /* Общая информация */

== Общая информация ==

Чатик в телеграмме: https://t.me/joinchat/DVc8jA1ZRktzxfesHsc_NQ

Время для консультаций (по предварительной договоренности): вторник 15:30-16:30.

== Семинары ==

==== 05.09 ====

[https://www.dropbox.com/s/0xijra3qnq97v1m/test-intro.pdf?dl=0 Вводная проверочная].

Машинное обучение 1/2023 2024

2017-09-10T16:47:54Z

Aumnov:

Машинное обучение 1/156

2017-09-10T16:46:52Z

Aumnov: Новая страница: «== Общая информация == Чат в телеграмме: https://t.me/joinchat/DVc8jA7inNZsub6wUYXRtg»

== Общая информация ==

Чат в телеграмме: https://t.me/joinchat/DVc8jA7inNZsub6wUYXRtg

Алгоритмы и структуры данных 2 2016/2017/165-1

2017-09-08T12:37:31Z

Aumnov: /* Общая информация */

== Общая информация ==

Чатик в телеграмме: https://t.me/joinchat/DVc8jA1ZRktzxfesHsc_NQ

== Семинары ==

==== 05.09 ====

[https://www.dropbox.com/s/0xijra3qnq97v1m/test-intro.pdf?dl=0 Вводная проверочная].

Алгоритмы и структуры данных 2 2016/2017/165-1

2017-09-05T10:55:36Z

Aumnov:

== Общая информация ==

== Семинары ==

==== 05.09 ====

[https://www.dropbox.com/s/0xijra3qnq97v1m/test-intro.pdf?dl=0 Вводная проверочная].

Алгоритмы и структуры данных 2 2017/2018

2017-09-05T10:54:34Z

Aumnov:

'''Лектор:''' [http://www.hse.ru/staff/obiedkov С. Объедков]

'''Расписание лекций:''' 
вторник 15:10 – 16:30, ауд. 622 
пятница 10:30 – 11:50, ауд. 509 
Дополнительная лекция — суббота 23 сентября 12:10 – 13:30, ауд. 622.

'''Консультации:''' 
понедельник 18:00 – 20:00, к. 324 
четверг 16:30 – 18:00, к. 324

== Страницы групп ==

[[Алгоритмы_и_структуры_данных_2_2016/2017/165-1 | группа 165-1]]

Алгоритмы и структуры данных 2 2017/2018

2017-09-05T10:48:17Z

Aumnov:

'''Лектор:''' [http://www.hse.ru/staff/obiedkov С. Объедков]

'''Расписание лекций:''' 
вторник 15:10 – 16:30, ауд. 622 
пятница 10:30 – 11:50, ауд. 509 
Дополнительная лекция — суббота 23 сентября 12:10 – 13:30, ауд. 622.

'''Консультации:''' 
понедельник 18:00 – 20:00, к. 324 
четверг 16:30 – 18:00, к. 324

[http://wiki.cs.hse.ru/Алгоритмы_и_структуры_данных_2_2016/2017/165-1 страница группы 165-1]

Алгоритмы и структуры данных 2 2016/2017/165-1

2017-09-05T10:47:22Z

Aumnov: Новая страница: «https://www.dropbox.com/s/0xijra3qnq97v1m/test-intro.pdf?dl=0»

https://www.dropbox.com/s/0xijra3qnq97v1m/test-intro.pdf?dl=0

Машинное обучение 1/2023 2024

2017-09-01T10:55:49Z

Aumnov: /* Семинары */

АиСД 167-1

2017-06-06T19:31:46Z

Aumnov:

Время для консультаций (по предварительной договоренности):
* Среда 12:00 - 13:30, 15:00 - 16:00.
аудитория 623

Почта: alexeyum@gmail.com

=== Материалы семинаров ===

==== 4 модуль ====

[https://www.dropbox.com/s/h9awwub19q8dj53/Automatons.pdf?dl=0 Задачи на регулярные языки]

[https://www.dropbox.com/s/x7tbps4cw6o93z3/MST%20and%20flows.pdf?dl=0 Задачи на MST и потоки]

[https://www.dropbox.com/s/2pb77v92sbnfiwx/Graphs-1.pdf?dl=0 Задачи на графы]

[https://www.dropbox.com/s/2lnrj14rj0n6l28/Dynamic.pdf?dl=0 Задачи на динамическое программирование]

==== 3 модуль ====

[https://www.dropbox.com/s/wlpi3rru7db3ge1/O-notation-test.pdf?dl=0 Проверочная по О-символике]

[https://www.dropbox.com/s/266nxo9e4vjwmjd/O-notation-practice.pdf?dl=0 еще задачи по O-символике]

АиСД 167-1

2017-06-04T11:57:09Z

Aumnov: /* 4 модуль */

Время для консультаций (по предварительной договоренности):
* Среда 12:00 - 13:30, 15:00 - 16:00.
аудитория 623

Почта: alexeyum@gmail.com

=== Материалы семинаров ===

==== 4 модуль ====

[https://www.dropbox.com/s/x7tbps4cw6o93z3/MST%20and%20flows.pdf?dl=0 Задачи на MST и потоки]

[https://www.dropbox.com/s/2pb77v92sbnfiwx/Graphs-1.pdf?dl=0 Задачи на графы]

[https://www.dropbox.com/s/2lnrj14rj0n6l28/Dynamic.pdf?dl=0 Задачи на динамическое программирование]

==== 3 модуль ====

[https://www.dropbox.com/s/wlpi3rru7db3ge1/O-notation-test.pdf?dl=0 Проверочная по О-символике]

[https://www.dropbox.com/s/266nxo9e4vjwmjd/O-notation-practice.pdf?dl=0 еще задачи по O-символике]

Машинное обучение на больших данных 145

2017-05-29T10:39:19Z

Aumnov: /* Семинары */

=== Семинары ===

==== Сверточные сети, продолжение (29.05) ====

[https://www.dropbox.com/s/sgqmzena6a5miw1/test02.pdf?dl=0 Проверочная]

==== Сверточные сети (22.05) ====

==== Tensorflow (15.05) ====

Для работы с Tensorflow нужно поднять машину с GPU (см. инструкцию на гитхабе). Там же уже лежат примеры кода на Tensorflow. На семинаре разбирались с синтаксисом и реализовывали логистическую регрессию и двухслойную нейронную сеть с L2-регуляризацией.

==== Бустинг (24.04) ====

Нужно обучить на данных модели для градиентного бустинга из Spark.Mllib и xgboost (опционально еще sklearn) и сравнить их время работы и качество. Вот данные: [https://www.dropbox.com/s/5yw1q7sjhw8sp5n/train.txt.zip?dl=0 train], [https://www.dropbox.com/s/w0dqf59ad7wci35/test.txt.zip?dl=0 test].

==== Spark Mllib (17.04) ====

Полезнцые ссылки:
* [http://spark.apache.org/docs/latest/ml-guide.html Общий гайд]
* [http://spark.apache.org/docs/latest/ml-pipeline.html Как делать пайплайны]
* [http://spark.apache.org/docs/latest/ml-tuning.html Как оптимизировать гиперпараметры]

[https://www.dropbox.com/s/f2lxghgviaayjje/test01.pdf?dl=0 Проверочная].

==== Azure, Spark (10.04) ====

Полезные ссылки

* [https://docs.microsoft.com/en-us/cli/azure/overview Документация по azure CLI]
* [https://docs.microsoft.com/en-us/azure/virtual-machines/linux/mac-create-ssh-keys Генерация ключей для Linux/Mac] и [https://docs.microsoft.com/en-us/azure/virtual-machines/linux/ssh-from-windows для Windows].

Задачи на Spark (map-reduce):

# Формат таблицы: (название города, (температура, день)). Найдите среднюю температуру по каждому городу.
# Формат таблицы: (название города, (температура, день)). Для каждого дня выведите список городов, где температура была выше средней в этот день.
# Формат таблицы: (ID человека, рост человека). Построить гистограмму средних значений роста при бутстрепе с числом выборок N.
# Формат таблицы: (ID, вектор). Посчитать косинус угла между всеми парами векторов. Известно, что у векторов очень большая размерность, но они являются разреженными.
# Формат таблицы: (ID вершины, список ID соседей вершины). Для вершины с заданным номером найти кратчайшие расстояния до всех остальных вершин.

==== Vowpal Wabbit, Azure (03.04) ====

Задание на Vowpal Wabbit:

* Скачайте данные, разберитесь с форматом, конвертируйте его в формат VW
* Обучите линейную модель на обучающих данных, проверьте на тестовых
* Обучите модель с логистической функцией потерь
* (доп.) Обучите нелинейную модель и добейтесь с ее помощью более высокого качества

[https://www.dropbox.com/s/8bv4xn7qbnbg8ql/train1kk.raw.gz?dl=0 Данные для обучения], [https://www.dropbox.com/s/trrxrjynnmbs3ba/test100k.raw.gz?dl=0 данные для тестирования],
[https://www.kaggle.com/c/avazu-ctr-prediction/data формат данных]

По Azure:

* На семинаре вы получили логин вида studentN и пароль к нему.
* Залогиньтесь на portal.azure.com с логином studentN@zimovnovgmail.onmicrosoft.com . Там пока ничего делать не нужно.
* Установите себе Azure CLI. ''Если его не получается установить, установите хотя бы генератор ssh-ключей: ssh-keygen для Unix или [https://docs.microsoft.com/ru-ru/azure/virtual-machines/virtual-machines-linux-ssh-from-windows см. тут] для Windows. На семинаре будем разбираться''.
* Установите какую-нибудь утилиту для ssh-подключений: ssh для Unix или, например, PuTTY для Windows.

Машинное обучение на больших данных 145

2017-05-22T09:30:08Z

Aumnov: /* Семинары */

=== Семинары ===

==== Сверточные сети (22.05) ====

==== Tensorflow (15.05) ====

Для работы с Tensorflow нужно поднять машину с GPU (см. инструкцию на гитхабе). Там же уже лежат примеры кода на Tensorflow. На семинаре разбирались с синтаксисом и реализовывали логистическую регрессию и двухслойную нейронную сеть с L2-регуляризацией.

==== Бустинг (24.04) ====

Нужно обучить на данных модели для градиентного бустинга из Spark.Mllib и xgboost (опционально еще sklearn) и сравнить их время работы и качество. Вот данные: [https://www.dropbox.com/s/5yw1q7sjhw8sp5n/train.txt.zip?dl=0 train], [https://www.dropbox.com/s/w0dqf59ad7wci35/test.txt.zip?dl=0 test].

==== Spark Mllib (17.04) ====

Полезнцые ссылки:
* [http://spark.apache.org/docs/latest/ml-guide.html Общий гайд]
* [http://spark.apache.org/docs/latest/ml-pipeline.html Как делать пайплайны]
* [http://spark.apache.org/docs/latest/ml-tuning.html Как оптимизировать гиперпараметры]

[https://www.dropbox.com/s/f2lxghgviaayjje/test01.pdf?dl=0 Проверочная].

==== Azure, Spark (10.04) ====

Полезные ссылки

* [https://docs.microsoft.com/en-us/cli/azure/overview Документация по azure CLI]
* [https://docs.microsoft.com/en-us/azure/virtual-machines/linux/mac-create-ssh-keys Генерация ключей для Linux/Mac] и [https://docs.microsoft.com/en-us/azure/virtual-machines/linux/ssh-from-windows для Windows].

Задачи на Spark (map-reduce):

# Формат таблицы: (название города, (температура, день)). Найдите среднюю температуру по каждому городу.
# Формат таблицы: (название города, (температура, день)). Для каждого дня выведите список городов, где температура была выше средней в этот день.
# Формат таблицы: (ID человека, рост человека). Построить гистограмму средних значений роста при бутстрепе с числом выборок N.
# Формат таблицы: (ID, вектор). Посчитать косинус угла между всеми парами векторов. Известно, что у векторов очень большая размерность, но они являются разреженными.
# Формат таблицы: (ID вершины, список ID соседей вершины). Для вершины с заданным номером найти кратчайшие расстояния до всех остальных вершин.

==== Vowpal Wabbit, Azure (03.04) ====

Задание на Vowpal Wabbit:

* Скачайте данные, разберитесь с форматом, конвертируйте его в формат VW
* Обучите линейную модель на обучающих данных, проверьте на тестовых
* Обучите модель с логистической функцией потерь
* (доп.) Обучите нелинейную модель и добейтесь с ее помощью более высокого качества

[https://www.dropbox.com/s/8bv4xn7qbnbg8ql/train1kk.raw.gz?dl=0 Данные для обучения], [https://www.dropbox.com/s/trrxrjynnmbs3ba/test100k.raw.gz?dl=0 данные для тестирования],
[https://www.kaggle.com/c/avazu-ctr-prediction/data формат данных]

По Azure:

* На семинаре вы получили логин вида studentN и пароль к нему.
* Залогиньтесь на portal.azure.com с логином studentN@zimovnovgmail.onmicrosoft.com . Там пока ничего делать не нужно.
* Установите себе Azure CLI. ''Если его не получается установить, установите хотя бы генератор ssh-ключей: ssh-keygen для Unix или [https://docs.microsoft.com/ru-ru/azure/virtual-machines/virtual-machines-linux-ssh-from-windows см. тут] для Windows. На семинаре будем разбираться''.
* Установите какую-нибудь утилиту для ssh-подключений: ssh для Unix или, например, PuTTY для Windows.

АиСД 167-1

2017-04-24T08:53:16Z

Aumnov:

Время для консультаций (по предварительной договоренности):
* Среда 12:00 - 13:30, 15:00 - 16:00.
аудитория 623

Почта: alexeyum@gmail.com

=== Материалы семинаров ===

==== 4 модуль ====

[https://www.dropbox.com/s/2pb77v92sbnfiwx/Graphs-1.pdf?dl=0 Задачи на графы]

[https://www.dropbox.com/s/2lnrj14rj0n6l28/Dynamic.pdf?dl=0 Задачи на динамическое программирование]

==== 3 модуль ====

[https://www.dropbox.com/s/wlpi3rru7db3ge1/O-notation-test.pdf?dl=0 Проверочная по О-символике]

[https://www.dropbox.com/s/266nxo9e4vjwmjd/O-notation-practice.pdf?dl=0 еще задачи по O-символике]

Машинное обучение на больших данных 145

2017-04-23T20:21:41Z

Aumnov: /* Семинары */

=== Семинары ===

==== Бустинг (24.04) ====

Нужно обучить на данных модели для градиентного бустинга из Spark.Mllib и xgboost (опционально еще sklearn) и сравнить их время работы и качество. Вот данные: [https://www.dropbox.com/s/5yw1q7sjhw8sp5n/train.txt.zip?dl=0 train], [https://www.dropbox.com/s/w0dqf59ad7wci35/test.txt.zip?dl=0 test].

==== Azure, Spark (10.04) ====

Полезные ссылки

* [https://docs.microsoft.com/en-us/cli/azure/overview Документация по azure CLI]
* [https://docs.microsoft.com/en-us/azure/virtual-machines/linux/mac-create-ssh-keys Генерация ключей для Linux/Mac] и [https://docs.microsoft.com/en-us/azure/virtual-machines/linux/ssh-from-windows для Windows].

Задачи на Spark (map-reduce):

# Формат таблицы: (название города, (температура, день)). Найдите среднюю температуру по каждому городу.
# Формат таблицы: (название города, (температура, день)). Для каждого дня выведите список городов, где температура была выше средней в этот день.
# Формат таблицы: (ID человека, рост человека). Построить гистограмму средних значений роста при бутстрепе с числом выборок N.
# Формат таблицы: (ID, вектор). Посчитать косинус угла между всеми парами векторов. Известно, что у векторов очень большая размерность, но они являются разреженными.
# Формат таблицы: (ID вершины, список ID соседей вершины). Для вершины с заданным номером найти кратчайшие расстояния до всех остальных вершин.

==== Vowpal Wabbit, Azure (03.04) ====

Задание на Vowpal Wabbit:

* Скачайте данные, разберитесь с форматом, конвертируйте его в формат VW
* Обучите линейную модель на обучающих данных, проверьте на тестовых
* Обучите модель с логистической функцией потерь
* (доп.) Обучите нелинейную модель и добейтесь с ее помощью более высокого качества

[https://www.dropbox.com/s/8bv4xn7qbnbg8ql/train1kk.raw.gz?dl=0 Данные для обучения], [https://www.dropbox.com/s/trrxrjynnmbs3ba/test100k.raw.gz?dl=0 данные для тестирования],
[https://www.kaggle.com/c/avazu-ctr-prediction/data формат данных]

По Azure:

* На семинаре вы получили логин вида studentN и пароль к нему.
* Залогиньтесь на portal.azure.com с логином studentN@zimovnovgmail.onmicrosoft.com . Там пока ничего делать не нужно.
* Установите себе Azure CLI. ''Если его не получается установить, установите хотя бы генератор ssh-ключей: ssh-keygen для Unix или [https://docs.microsoft.com/ru-ru/azure/virtual-machines/virtual-machines-linux-ssh-from-windows см. тут] для Windows. На семинаре будем разбираться''.
* Установите какую-нибудь утилиту для ssh-подключений: ssh для Unix или, например, PuTTY для Windows.