Wiki - Факультет компьютерных наук - Вклад [ru]

Машинное обучение 1/2023 2024

2019-09-15T17:49:34Z

Oadesheulin: add link for oleges

== О курсе ==

[[Файл:ML_surfaces.png|280px|borderless|left]]

Курс читается для студентов 3-го курса [https://cs.hse.ru/ami ПМИ ФКН ВШЭ] в 1-2 модулях.

Проводится с 2016 года.

'''Лектор:''' [http://www.hse.ru/staff/esokolov Соколов Евгений Андреевич]

Лекции проходят по пятницам, 12:10 - 13:30, ауд. R404 (Покровский бульвар, 11).

=== Полезные ссылки ===

[https://www.hse.ru/ba/ami/courses/292689583.html Карточка курса и программа]

[https://github.com/esokolov/ml-course-hse Репозиторий с материалами на GitHub]

[https://www.youtube.com/watch?v=OBG6EUSRC9g&list=PLEqoHzpnmTfDwuwrFHWVHdr1-qJsfqCUX Видеозаписи лекций 18/19 года]

Почта для сдачи домашних заданий (на самом деле задания сдаются в AnyTask, но если он не работает, то присылайте на почту): hse.cs.ml+<номер группы>@gmail.com (например, hse.cs.ml+171@gmail.com)

Канал в telegram для объявлений: https://t.me/joinchat/AAAAAEtiwm9A8i-78LNcKQ

Чат в telegram для обсуждений (предназначение чата до конца не ясно, вопросы может быть правильнее задавать в чатах групп): https://t.me/joinchat/A5rlQBUrWTeXl7eBbnyBcQ

Ссылка на курс в Anytask: https://anytask.org/course/537

[https://docs.google.com/spreadsheets/d/1QIUMUkjzHfRqNIkYHVb4jsi3Pkq7URAQWSW8c9UwE-g/edit?usp=sharing Таблица с оценками]

Оставить отзыв на курс: [https://goo.gl/forms/5CddG0gc75VZvqi52 форма]

'''Вопросы''' по курсу можно задавать на почту курса, а также в телеграм лектору (esokolov@) или семинаристу.
Вопросы по материалам лекций/семинаров и по заданиям лучше всего оформлять в виде [https://github.com/esokolov/ml-course-hse/issues Issue] в [https://github.com/esokolov/ml-course-hse github-репозитории курса].

=== Семинары ===

{| class="wikitable"
|-
! Группа !! Преподаватель !! Учебный ассистент
|-
| 171 (МОП) || [https://www.hse.ru/org/persons/165212870 Зиннурова Эльвира Альбертовна] || Виктор Куканов
|-
| 172 (МОП) || [https://www.hse.ru/org/persons/209813459 Каюмов Эмиль Марселевич] || Софья Дымченко
|-
| 173 (ТИ) || [https://www.hse.ru/org/persons/? Хрушков Павел Вадимович] || [https://t.me/resokolov Роман Соколов]
|-
| 174 (АДИС) || [https://www.hse.ru/org/persons/? Кохтев Вадим Михайлович] || Евгений Алаев
|-
| 175 (РС) || [https://www.hse.ru/org/persons/228364473 Волохова Александра Константиновна] || [https://t.me/President153 Ярослав Пудяков]
|-
| 176 (РС) || [https://www.hse.ru/org/persons/192085968 Яшков Даниил Дмитриевич] || [https://t.me/arcstranger Николай Пальчиков]
|-
| Магистратура ФТиАД || [https://www.hse.ru/org/persons/? Рысьмятова Анастасия Александровна] || [https://t.me/oleg_top Олег Дешеулин]
|-
|}

=== Консультации ===

=== Правила выставления оценок ===

В курсе предусмотрено несколько форм контроля знания:
* Самостоятельные работы на семинарах, проверяющие знание основных фактов с лекций
* Практические домашние работы на Python
* Письменная контрольная работа
* Письменный экзамен

Итоговая оценка вычисляется на основе оценки за работу в семестре и оценки за экзамен:

Итог = Округление(0.15 * ПР + 0.4 * ДЗ + 0.15 * КР + 0.3 * Э)

ПР — средняя оценка за самостоятельные работы на семинарах

ДЗ — средняя оценка за практические домашние работы на Python

КР — оценка за контрольную работу

Э — оценка за экзамен

Округление арифметическое.

=== Правила сдачи заданий ===

За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются. Даже при опоздании на одну секунду. Сдавайте заранее.

При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.

При наличии уважительной причины пропущенную проверочную можно написать позднее, а дедлайн по домашнему заданию может быть перенесён. Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.

== Лекции ==

Ко всем конспектам на GitHub есть исходники. Исправления и дополнения всячески приветствуются!

'''Лекция 1''' (6 сентября). Введение в машинное обучение. Основные термины, постановки задач и примеры применения. [[https://github.com/esokolov/ml-course-hse/blob/master/2019-fall/lecture-notes/lecture01-intro.pdf Конспект]]

'''Лекция 2''' (13 сентября). Линейная регрессия. Метрики качества регрессии. Градиентный спуск и способы оценивания градиента. Продвинутые градиентные методы. [[https://github.com/esokolov/ml-course-hse/blob/master/2019-fall/lecture-notes/lecture02-linregr.pdf Конспект]]

'''Лекция 3''' (20 сентября). Переобучение и регуляризация. Разреженные линейные модели. Квантильная регрессия. Подготовка признаков. [[https://github.com/esokolov/ml-course-hse/blob/master/2019-fall/lecture-notes/lecture03-linregr.pdf Конспект]]

== Семинары ==

'''Семинар 1.''' Области применения машинного обучения. Инструменты data scientist'а. Pandas и разведочный анализ данных. [[https://github.com/esokolov/ml-course-hse/blob/master/2019-fall/seminars/sem01-intro.ipynb Ноутбук]]

'''Семинар 2.''' Линейная регрессия. Библиотека scikit-learn. Валидация моделей. Работа с категориальными признаками. [[https://github.com/esokolov/ml-course-hse/blob/master/2019-fall/seminars/sem02-sklearn-linreg.ipynb Ноутбук]]

== Практические задания ==

За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются. В течение семестра каждый студент может не более 2 раз сдать задание после жёсткого дедлайна.

'''Задание 1.''' Работа с Pandas и Matplotlib.

Мягкий дедлайн: 23:59 15.09.2018.

Жесткий дедлайн: 23:59 17.09.2018.

[[https://github.com/esokolov/ml-course-hse/blob/master/2019-fall/homeworks-practice/homework-practice-01.ipynb Ноутбук с заданием]]

==Теоретические домашние задания==

Теоретические ДЗ не проверяются, но задачи из них могут войти в проверочные работы на семинарах.

== Бонусы за соревнования ==

За успешное участие в соревнованиях по анализу данных могут быть выставлены бонусные баллы, которые можно прибавить к оценке за любое практическое или теоретическое домашнее задание, а также за самостоятельную работу. Под успешным участием понимается попадание в топ-10% мест; если соревнование особо сложное и крупное, может рассматриваться и попадание в топ-20% мест. Конкретное число баллов определяется преподавателями и зависит от сложности соревнования и занятого места. За одно соревнование можно получить не более 5 баллов. Для получения оценки необходимо предоставить краткий отчёт о решении задачи.

== Контрольная работа ==

== Экзамен ==

== Полезные материалы ==
===Книги===
* Hastie T., Tibshirani R, Friedman J. The Elements of Statistical Learning (2nd edition). Springer, 2009.
* Bishop C. M. Pattern Recognition and Machine Learning. Springer, 2006.
* Mohri M., Rostamizadeh A., Talwalkar A. Foundations of Machine Learning. MIT Press, 2012.
* Murphy K. Machine Learning: A Probabilistic Perspective. MIT Press, 2012.
* Mohammed J. Zaki, Wagner Meira Jr. Data Mining and Analysis. Fundamental Concepts and Algorithms. Cambridge University Press, 2014.
* Willi Richert, Luis Pedro Coelho. Building Machine Learning Systems with Python. Packt Publishing, 2013.

===Курсы по машинному обучению и анализу данных===
* [http://www.machinelearning.ru/wiki/index.php?title=Машинное_обучение_%28курс_лекций%2C_К.В.Воронцов%29 Курс по машинному обучению К.В. Воронцова]
* [https://yandexdataschool.ru/edu-process/courses/machine-learning Видеозаписи лекций курса Школы Анализа Данных, К.В. Воронцов]
* [https://www.coursera.org/specializations/machine-learning-data-analysis Coursera: Машинное обучение и анализ данных (специализация)]
* [https://www.coursera.org/learn/introduction-machine-learning Coursera: Введение в машинное обучение, К.В. Воронцов]

== Страницы предыдущих лет ==

[[Машинное_обучение_1/2018_2019 | 2018/2019 учебный год]]

[[Машинное_обучение_1/2017_2018 | 2017/2018 учебный год]]

[[Машинное_обучение_1/2016_2017 | 2016/2017 учебный год]]

Обработка и анализ данных физического эксперимента

2018-09-07T06:44:55Z

Oadesheulin: /* О курсе */

==О курсе==

'''Преподаватели:'''
* Маланчев Константин Леонидович, [https://www.hse.ru/staff/malanchev]
* Корнилов Матвей Викторович, [https://istina.msu.ru/profile/matwey/]

'''Аннотация курса:'''

В курсе рассматривается база, которую должен иметь физик, работающий с данными: статистический анализ, проверка гипотез, методы оптимизации и т.п. Также мы планируем в конце курса заняться машинным обучением. Основа курса — практикум по программированию на Python.

'''Страничка курса:'''
* https://pyoadfe.github.io/
* https://www.hse.ru/ba/physics/courses/222113290.html

'''Табличка с успеваемостью:''' [https://docs.google.com/spreadsheets/d/1qA9lkkvTUCxgc2h1mRjFH_gaZmp-YyYYFNYXhctx020/edit?usp=sharing]

==Программа Курса==
* Обзор форматов научных данных и основных способов хранения данных.
# Хранение данных в виде текстовых файлов. Основные форматы текстовых таблиц.
# Хранение данных в виде бинарных файлов. Некоторые примеры бинарных форматов данных, их преимущества.
# Хранение данных в базе данных. Реляционные и документно-ориентированные базы данных.
# Подходы к распределенному хранению данных.

* Распределенная обработка данных.
# Работа на системах с общей памятью. Различные концепции параллельных вычислений, параллельные вычисления в Python.
# Работа на системах с распределенной памятью. Концепция MapReduce.

* Применение методов оптимизации к анализу экспериментальных данных.
# Обзор методов оптимизации для нахождения модельных параметров по данным эксперимента.
# Детерминистические методы оптимизации. Метод крыловских подпространств: метод сопряженных градиентов и его модификации.
# Оптимизация с ограничениями. Метод множителей Лагранжа. Линейное программирование, симплекс-метод.
# Стохастические методы оптимизации. Моделирование методом Монте-Карло с помощью Марковских цепей (MCMC).

* Обработка экспериментальных данных
# Нахождение сигнала на фоне шума: соотношение сигнал/шум, арифметика с шумными сигналами.
# Свертка сигнала с фильтром. Быстрое преобразование Фурье и его использование для свертки. Оптимальная фильтрация, фильтр Винера.
# Основные принципы метода регуляризации Тихонова

* Работа со статистическими распределениями.
# Определение параметров статистического распределения из набора экспериментальных данных: принцип максимального правдоподобия и метод наименьших квадратов
# Проверка статистических гипотез. Статистические критерии: t-критерий Стьюдента, критерий Колмогорова—Смирнова. Тестирование многомерных нормальных распределений.

* Применение методов машинного обучения для анализа физических данных.
# Обзор основных методов машинного обучения. Их классификация: классификация/регрессия, обучение с учителем и без.
# Линейные методы на примере линейной регрессии.
# Решающие деревья. Случайный лес для задач классификации и регрессии

==Каналы взаимодействия со студентами==
Все взаимодействие со студентами происходит в telegram.

==Контакты учебных ассистентов==
Олег Дешеулин:
* vk: [https://vk.com/olegek_desheulin]
* tg: @oleg_top

Александр Баранов:
* vk [https://vk.com/alexander_baranov]
* email [mailto:alexanderbaranof@yandex.ru]
* tg: @Fr1lance

==Литература и интернет-ресурсы==
* Все можно найти на этом сайте: [https://pyoadfe.github.io/]

Обработка и анализ данных физического эксперимента

2018-09-06T19:34:42Z

Oadesheulin: /* Литература и интернет-ресурсы */

==О курсе==

'''Преподаватели:'''
* Маланчев Константин Леонидович, [https://www.hse.ru/staff/malanchev]
* Корнилов Матвей Викторович, [https://istina.msu.ru/profile/matwey/]

'''Аннотация курса:'''

В курсе рассматривается база, которую должен иметь физик, работающий с данными: статистическому анализу, проверки гипотез, методам оптимизации и т.п. Также мы планируем в конце курса заняться машинным обучением. Основа курса — практикум по программированию на Python.

'''Страничка курса:'''
* https://pyoadfe.github.io/
* https://www.hse.ru/ba/physics/courses/222113290.html

'''Табличка с успеваемостью:''' [https://docs.google.com/spreadsheets/d/1qA9lkkvTUCxgc2h1mRjFH_gaZmp-YyYYFNYXhctx020/edit?usp=sharing]

==Программа Курса==
* Обзор форматов научных данных и основных способов хранения данных.
# Хранение данных в виде текстовых файлов. Основные форматы текстовых таблиц.
# Хранение данных в виде бинарных файлов. Некоторые примеры бинарных форматов данных, их преимущества.
# Хранение данных в базе данных. Реляционные и документно-ориентированные базы данных.
# Подходы к распределенному хранению данных.

* Распределенная обработка данных.
# Работа на системах с общей памятью. Различные концепции параллельных вычислений, параллельные вычисления в Python.
# Работа на системах с распределенной памятью. Концепция MapReduce.

* Применение методов оптимизации к анализу экспериментальных данных.
# Обзор методов оптимизации для нахождения модельных параметров по данным эксперимента.
# Детерминистические методы оптимизации. Метод крыловских подпространств: метод сопряженных градиентов и его модификации.
# Оптимизация с ограничениями. Метод множителей Лагранжа. Линейное программирование, симплекс-метод.
# Стохастические методы оптимизации. Моделирование методом Монте-Карло с помощью Марковских цепей (MCMC).

* Обработка экспериментальных данных
# Нахождение сигнала на фоне шума: соотношение сигнал/шум, арифметика с шумными сигналами.
# Свертка сигнала с фильтром. Быстрое преобразование Фурье и его использование для свертки. Оптимальная фильтрация, фильтр Винера.
# Основные принципы метода регуляризации Тихонова

* Работа со статистическими распределениями.
# Определение параметров статистического распределения из набора экспериментальных данных: принцип максимального правдоподобия и метод наименьших квадратов
# Проверка статистических гипотез. Статистические критерии: t-критерий Стьюдента, критерий Колмогорова—Смирнова. Тестирование многомерных нормальных распределений.

* Применение методов машинного обучения для анализа физических данных.
# Обзор основных методов машинного обучения. Их классификация: классификация/регрессия, обучение с учителем и без.
# Линейные методы на примере линейной регрессии.
# Решающие деревья. Случайный лес для задач классификации и регрессии

==Каналы взаимодействия со студентами==
Все взаимодействие со студентами происходит в telegram.

==Контакты учебных ассистентов==
Олег Дешеулин:
* vk: [https://vk.com/olegek_desheulin]
* tg: @oleg_top

Александр Баранов:
* vk [https://vk.com/alexander_baranov]
* email [mailto:alexanderbaranof@yandex.ru]
* tg: @Fr1lance

==Литература и интернет-ресурсы==
* Все можно найти на этом сайте: [https://pyoadfe.github.io/]

О факультете

2018-09-06T19:33:43Z

Oadesheulin: физику добавил

__NOTOC__

= Учебные курсы факультета компьютерных наук=
== Курсы за 2018/19 учебный год ==
{| class="wikitable"
|-
! 1 курс !! 2 курс !! 3 курс !! 4 курс !! майноры и факультативы
|-
|

[[Основы_и_методология_программирования_на_ПМИ_2018/2019_(пилотный_поток) | Основы и методология программирования на ПМИ (пилотный поток)]]

[[Линейная_алгебра_и_геометрия_на_ПМИ_2018/2019_(пилотный_поток) | Линейная алгебра и геометрия на ПМИ (пилотный поток)]]

[[Линейная_алгебра_и_геометрия_на_ПМИ_2018/2019_(основной_поток) | Линейная алгебра и геометрия на ПМИ (основной поток)]]

[[Дискретная_математика_1_2018/2019 | Дискретная математика-1 на ПМИ]]

[[Discrete Mathematics DSBA |Discrete Mathematics DSBA]]

[[Основы и методология программирования на ПМИ 2018/2019 (основной поток, 1 модуль) | Основы и методология программирования на ПМИ 2018/2019 (основной поток, 1 модуль)]]

||

[[Теория_вероятностей_2018/2019_(пилотный_поток) | Теория вероятностей на ПМИ (пилотный поток)]]

[[Теория_вероятностей_2018/2019_(основной_поток) | Теория вероятностей на ПМИ (основной поток)]]

[[DM2-pilot2018/2019 | Дискретная математика-2 на ПМИ (пилотный поток)]]

[[DM2-basic2018/2019 | Дискретная математика-2 на ПМИ (основной поток)]]

||

[[Машинное_обучение_1 | Машинное обучение 1 на ПМИ]]

[[PDC | Параллельные и распределенные вычисления]]

[[Theory_of_Computing_2018_2019 | Theory of Computing, AMI]]

[[НИС_Машинное_обучение_и_приложения_2018/2019|НИС Машинное обучение и приложения]]

||

[[Statistical_learning_theory_2018_2019 | Introduction to statistical learning theory]]

[[Анализ_неструктурированных_данных-2018 |Анализ неструктурированных данных ]]

[[Байесовские_методы_машинного_обучения_2018|Байесовские методы машинного обучения]]

[[НИС_Машинное_обучение_и_приложения_2018/2019|НИС Машинное обучение и приложения]]

[[Теория_информации_2018/2019 | Теория информации]]
||

|}

== Курсы в рамках проекта [https://www.hse.ru/dataculture/ Data Culture]==

=== 1 семестр ===

{| class="wikitable"
|-
! Дисциплина !! Образовательная программа !! Курс !! Модули

|-
|

[[Основы анализа данных в международных отношениях 2018/2019|Основы анализа данных в международных отношениях]]

[[Программирование_и_компьютерные_инструменты_лингвистического_исследования|Программирование и компьютерные инструменты лингвистического исследования]]

[[Цифровая грамотность(востоковедение)|Цифровая грамотность]]

[[Разработка управленческих решений в маркетинге | Разработка управленческих решений в маркетинге]]

[[Информационные технологии в деятельности юриста_2018-2019| Информационные технологии в деятельности юриста]]

[[Машинное обучение на матфаке 2018/2019| Машинное обучение]]

[[ПМСАР-2| Методы анализа больших данных в исследованиях поведения покупателей]]

[[Анализ данных в Python (Политологи 1 семестр 1-2 модули)|Анализ данных в Python]]

[[Основы анализа и визуализации данных для медиа (Журналисты 1 семестр 1 модуль)|Основы анализа и визуализации данных для медиа]]

[[Программирование_(python)_для_лингвистов|Программирование (Python) для лингвистов]]

[[Введение в анализ текстов на Python для ФГН 2018|Введение в анализ текстов на Python для ФГН 2018]]

[[Машинное обучение (ФЭН)]]

[[Программирование_(python)_для_экономистов|Программирование (Python) для экономистов]]

[[Цифровая грамотность(философия)|Цифровая грамотность]]

[[Цифровая_грамотность_(историки)|Цифровая грамотность]]

[[Обработка и анализ данных физического эксперимента|Обработка и анализ данных физического эксперимента]]

||

Международные отношения

Фундаментальная и компьютерная лингвистика

Востоковедение

Маркетинг и рыночная аналитика

Юриспруденция

Факультет математики

Прикладные методы социального анализа рынков

Политология

Журналистика

Фундаментальная и компьютерная лингвистика

Фундаментальная и компьютерная лингвистика

Факультет экономических наук

Факультет экономических наук

Философия

История

Факультет Физики

||

2 курс

1 курс

1 курс

2 курс

1 курс

2-4 курсы

2 г.о.

4 курс

4 курс

4 курс

3 курс

3-4 курсы

2 курс

1 курс

1 курс

2 курс

||

1-2 модули

1-4 модули

1 модуль

1-2 модули

2 модуль

1-2 модули

1-2 модули

1-2 модули

1 модуль

1-3 модули

1, 2, 4 модули

1-2 модули

1-2 модули

1-2 модули

1-2 модули

1-2 модули
|}

= Архив =

== Курсы за 2017/18 учебный год ==
{| class="wikitable"
|-
! 1 курс !! 2 курс !! 3 курс !! 4 курс !! майноры и факультативы
|-
|

[[Математический_анализ_на_ПМИ_2017/2018_(пилотный_поток) | Математический анализ на ПМИ 2017/2018 (пилотный поток)]]

[[Математический_анализ_на_ПМИ_2017/2018_(основной_поток) | Математический анализ на ПМИ 2017/2018 (основной поток)]]

[[Основы_и_методология_программирования_на_ПМИ_2017/2018_(пилотный_поток,_1_модуль) | Основы и методология программирования на ПМИ 2017/2018 (пилотный поток, 1 модуль)]]

[[Основы_и_методология_программирования_на_ПМИ_2017/2018_(основной_поток,_2_модуль) | Основы и методология программирования на ПМИ 2017/2018 (основной поток, 2 модуль)]]

[[Основы_и_методология_программирования_на_ПМИ_2017/2018_(основной_поток,_3_модуль) | Основы и методология программирования на ПМИ 2017/2018 (основной поток, 3 модуль)]]

[[Алгоритмы_и_структуры_данных_на_ПМИ_2017/2018_(основной_поток) | Алгоритмы и структуры данных на ПМИ 2017/2018 (основной поток)]]

[[Линейная_алгебра_и_геометрия_на_ПМИ_2017/2018_(пилотный_поток) | Линейная алгебра и геометрия на ПМИ (пилотный поток)]]

[[Линейная_алгебра_и_геометрия_на_ПМИ_2017/2018_(основной_поток) | Линейная алгебра и геометрия на ПМИ (основной поток)]]

[[Дискретная_математика_1_2017/2018 | Дискретная математика-1 на ПМИ]]

[[Алгоритмы и структуры данных 1 | Алгоритмы и структуры данных – 1 (пилотный поток)]]

[[Алгебра_на_ПМИ_2017/2018 | Алгебра на ПМИ]]

[http://hsealgebra18.wikidot.com Алгебра на ПИ]

||
[[Теория_вероятностей_2017/2018_(основной_поток) | Теория вероятностей на ПМИ (основной поток)]]

[[Теория_вероятностей_2017/2018_(пилотный_поток) | Теория вероятностей на ПМИ (пилотный поток)]]

[[Математический анализ-3 на ПМИ_2017/2018_(основной_поток) | Математический анализ-2 на ПМИ (основной поток)]]

[[Математический анализ на ПМИ_2017/2018 | Математический анализ-3 на ПМИ (пилотный поток)]]

[[DM2-pilot2017/2018 | Дискретная математика-2 на ПМИ (пилотный поток)]]

[[DM_2_2017_2018 | Дискретная математика-2 на ПМИ (основной поток)]]

[[Алгоритмы и структуры данных_2_2017/2018 | Алгоритмы и структуры данных – 2 на ПМИ (основной поток)]]

[[Дифференциальные уравнения (2 курс, 2017/2018)| Дифференциальные уравнения]]

||
[[Машинное_обучение_1/2017_2018 | Машинное обучение 1 на ПМИ]]

[[Машинное_обучение_2 | Машинное обучение 2 на ПМИ]]

[[Численные_методы_2017 | Численные методы]]

[[Statistics of Stochastic Processes|Статистика случайных процессов 2018]]

[[Прикладная_статистика_в_машинном_обучении | Прикладная статистика в машинном обучении]]

[[Theory_of_Computing | Theory of Computing, AMI]]

[[Statistical_learning_theory | Introduction to statistical learning theory]]

[[Основные_методы_анализа_данных_(специализация_АДИС) | Основные методы анализа данных на ПМИ]]

[[Параллельные и распределенные вычисления 2017 | Параллельные и распределенные вычисления]]

[[Анализ неструктурированных данных]]

[[Безопасность компьютерных систем 2017 | Безопасность компьютерных систем]]

[[НИС_Распределенные_системы_(3_курс,_2017) | НИС Распределенные системы]]

[[НИС_Машинное_обучение_и_приложения_2017/2018 | НИС Машинное обучение и приложения]]

[[Непрерывная_оптимизация | Непрерывная оптимизация]]

[[ Сложность_и_логика| Сложность вычислений и логика в теоретической информатике]]

[[Data_analysis_(Software_Engineering)_2018 | Data Analysis на ПИ]]

[http://telegra.ph/Kurs-Vvedenie-v-OOP-VSHEH-2018-Modul-3-01-30 Введение в ООП]

[http://wiki.cs.hse.ru/Машинное_обучение_на_больших_данных Машинное обучение на больших данных]

[[Дискретная_оптимизация | Дискретная оптимизация]]

||

[[Безопасность компьютерных систем 2017 | Безопасность компьютерных систем]]

[[Философия_науки_2017 | Философия науки]]

[[НИС_Распределенные_системы_(4_курс,_2017) | НИС Распределенные системы]]

[[НИС_Машинное_обучение_и_приложения_2017/2018 | НИС Машинное обучение и приложения]]

[[Анализ неструктурированных данных]]

[[Байесовские методы машинного обучения 2017 | Байесовские методы машинного обучения]]

[[Функциональное программирование 2018 | Функциональное программирование]]

[http://telegra.ph/Kurs-Vvedenie-v-OOP-VSHEH-2018-Modul-3-01-30 Введение в ООП]

||

[[Современные методы машинного обучения (курс майнора) 2017/2018]]

[[Введение в программирование (курс майнора) 2017/2018]]

[[Майнор Интеллектуальный анализ данных/Введение в анализ данных | Введение в анализ данных (курс майнора)]]

[[Прикладные задачи анализа данных (майнор - весна 2018)]]

[[Маго-лего "Линейная алгебра в приложениях" весна 2018 | Линейная алгебра в приложениях (маго-лего)]]

[[Функциональный анализ 2017/18 | Функциональный анализ на ПМИ (факультатив)]]

[[Дополнительные главы теории вероятностей и математической статистики (факультативы) | Дополнительные главы теории вероятностей и математической статистики (факультативы)]]

[[Дополнительные главы дискретной математики 2017/18 | Дополнительные главы дискретной математики (факультатив)]]

[[Цифровые технологии в гуманитарных науках]]

|}

== Курсы в рамках проекта [https://www.hse.ru/dataculture/ Data Culture]==

=== 2 семестр ===

[[Цифровая_грамотность_2018_(2_семестр)|Цифровая грамотность (факультет гуманитарных наук — 2 семестр: ИЯМК, Филология, История искусств, Культурология, 1 курс)]] 
[[Научно-исследовательский семинар (ФСН) |Научно-исследовательский семинар (ОП "Политология", 1 курс)]] 
[[Introduction_to_Data_Culture|Introduction to Data Culture (HSE and University of London Parallel Degree Programme in International Relations, 1 year)]] 
[[ИИ_и_БД|Искусственный интеллект и большие данные (ОП "Дизайн", "Мода", 1 курс)]] 
[[Программирование_(python)_для_лингвистов|Компьютерная лингвистика и информационные технологии (ОП "Фундаментальная и компьютерная лингвистика", 4 курс, 2 семестр)]] 
[[Основы анализа данных в международных отношениях|Основы анализа данных в международных отношениях (ОП "Международные отношения", 2 курс, 4 модуль)]] 
[[Введение в data science (2_семестр)|Профориентационный семинар (блок по введению в data scicence) (Факультет социальных наук — 2 семестр: Социология, 1 курс)]] 
[[Введение в Data Science| Введение в Data Science (ФБиМ, 4 модуль)]] 

=== 1 семестр ===

[[Цифровая_грамотность|Цифровая грамотность (факультет гуманитарных наук — 1 семестр: История, Философия, 1 курс)]] 
[[Машинное обучение (факультет экономических наук)|Машинное обучение (факультет экономических наук)]] 
[[Программирование (python) для лингвистов | Программирование (python) для лингвистов (факультет гуманитарных наук)]] 
[[Извлечение и анализ интернет-данных | Извлечение и анализ интернет-данных (факультет экономических наук)]] 
[[Анализ больших данных в социальных науках (ФСН, 2017) | Анализ больших данных в социальных науках (ФСН, 2017)]] 
[[Информационные_технологии_в_деятельности_юриста|Информационные технологии в деятельности юриста (Факультет права)]] 
[[Машинное_обучение_для_лингвистов|Машинное обучение (магистратура Школы лингвистики)]] 

== Курсы магистратуры Финансовые технологии и анализ данных ==

[[Вероятностные_модели_и_прикладная_статистика_в_финансовой_математике|Вероятностные модели и прикладная статистика в финансовой математике]] 

== Курсы за 2016/17 учебный год ==
{| class="wikitable"
|-
! 1 курс !! 2 курс !! 3-4 курс !! майноры
|-
|

[[Математический анализ на ПМИ_2016/2017 | Математический анализ на ПМИ (пилотный поток)]]

[[Линейная алгебра и геометрия_2016/2017 | Линейная алгебра и геометрия на ПМИ]]

[[Дискретная_математика_1_2016/2017 | Дискретная математика-1 на ПМИ]]

[[Основы и методология программирования_2016/2017_пилотный_поток | Основы и методология программирования на ПМИ (пилотный поток)]]

[[Основы и методология программирования_2016/2017 | Основы и методология программирования на ПМИ (основной поток)]]

[[Алгоритмы_и_структуры_данных_на_ПМИ_(пилотный_поток) | Алгоритмы и структуры данных на ПМИ (пилотный поток)]]

[[Алгоритмы_и_структуры_данных_на_ПМИ_(основной_поток) | Алгоритмы и структуры данных на ПМИ (основной поток)]]

[[Алгебра_на_ПМИ_2016/2017 | Алгебра на ПМИ]]

[http://hsealgebra17.wikidot.com/ Алгебра на ПИ]

||

[[Математический анализ_2016/2017 | Математический анализ-3 на ПМИ (основной поток)]]

[[Математически_анализ_3_на_ПМИ_(пилотный_поток) | Математический анализ-3 на ПМИ (пилотный поток)]]

[[DM_2_2016_2017 | Дискретная математика-2 на ПМИ (основной поток)]]

[[Дискретная математика_2_2016/2017 | Дискретная математика-2 на ПМИ (пилотный поток)]]

[[Алгоритмы и структуры данных_2_2016/2017 | Алгоритмы и структуры данных – 2 на ПМИ (основной поток)]]

[[Теория вероятностей_2016/2017 | Теория вероятностей на ПМИ (основной поток)]]

[[Теория_вероятностей_2016/2017_(пилотный_поток) | Теория вероятностей на ПМИ (пилотный поток)]]

[[Архитектура_компьютеров_и_операционные_системы_2016/2017 | Архитектура компьютеров и операционные системы]]

[[Факультатив_теория_вычислений_2016/2017 | Факультатив теория вычислений на ПМИ]]

[[Дополнительные_главы_теории_вероятностей_(факультатив,_2017) | Дополнительные главы теории вероятностей (факультатив)]]

[[Дифференциальные_уравнения_(2_курс,_2016/2017) | Дифференциальные уравнения]]

[[Математическая_статистика_2016/2017_(пилотный_поток) | Математическая статистика на ПМИ (пилотный поток)]]

[[Архитектура_компьютеров_и_операционные_системы_2016/2017 | Архитектура компьютеров и операционные системы ]]

||

[[НИС_Машинное_обучение_и_приложения_2016/2017 | НИС Машинное обучение и приложения на ПМИ]]

[[Машинное_обучение_1/2016_2017 | Машинное обучение 1 на ПМИ]]

[[Машинное_обучение_2/2016_2017 | Машинное обучение 2 на ПМИ]]

[[Прикладной_статистический_анализ_данных | Прикладной статистический анализ данных на ПМИ]]

[[Численные_методы_в_анализе_данных | Численные методы в анализе данных на ПМИ]]

[http://www.machinelearning.ru/wiki/index.php?title=Статистика_случайных_процессов_(курс_лекций,_ФКН_ВШЭ) Вероятностные модели и статистика случайных процессов на ПМИ]

[http://www.machinelearning.ru/wiki/index.php?title=Opt Методы оптимизации на ПМИ (специализации МОП и РС)]

[[Методы_оптимизации_(весна_2017)|Методы оптимизации 2 (дискретная оптимизация)]]

[[НИС_Распределенные_системы_(осень_2016) | НИС Распределенные системы]]

[[Анализ и верификация алгоритмов биржевой торговли | Анализ и верификация алгоритмов для систем биржевой торговли ]]

[[Программирование_на_графических_процессорах | Программирование на графических процессорах]]

[[ЯРПО | Языки разработки ПО (курс по выбору) на ПМИ]]

[[Data analysis (Software Engineering) 2017 | Data analysis на ПИ]]

[[Базы данных 2 | Базы данных 2 ]]

[[Компьютерные сети 2 | Компьютерные сети 2]]

[[Машинное_обучение_на_больших_данных | Машинное обучение на больших данных на ПМИ]]

||

[[Современные_методы_машинного_обучения_(курс_майнора) | Современные методы машинного обучения (курс майнора)]]

[[Майнор_Интеллектуальный_анализ_данных/Введение_в_программирование_2016/2017 | Введение в программирование (курс майнора)]]

[[Майнор Интеллектуальный анализ данных/Введение в анализ данных/2016-2017 | Введение в анализ данных (курс майнора)]]

[[Майнор Интеллектуальный анализ данных/Прикладные задачи анализа данных| Прикладные задачи анализа данных (курс майнора)]]

|}

{|width=100%
|style="vertical-align:top;"|



=== Курсы за 2015/16 учебный год ===
{|
|-
| [[Технологии программирования|Технологии программирования на ПМИ]]
|-
|[[ОиМП-2015|Основы и методология программирования на ПМИ]]
|-
|[[Алгоритмы и структуры данных 2016]]
|-
|[[Линейная алгебра и геометрия_2015/2016 | Линейная алгебра и геометрия на ПМИ]]
|-
|[[Алгебра_2015/2016 | Алгебра на ПМИ]]
|-
|[http://hsealgebra.wikidot.com/ Алгебра на ПИ]
|-
|[[Компьютерные системы]]
|-
|[[Математический анализ на ПМИ_2015/2016 | Математический анализ на ПМИ]]
|-
|[[Факультатив_Матпрактикум | Матпрактикум (факультатив) на ПМИ]]
|-
|[[Data analysis (Software Engineering)]] 
|-
|[[Майнор Интеллектуальный анализ данных/Введение в программирование|Введение в программирование (курс майнора) на ПМИ]]
|-
|[[Майнор Интеллектуальный анализ данных/Введение в анализ данных/2015-2016|Введение в анализ данных (курс майнора) на ПМИ]]
|-
|[[НИС Машинное обучение и приложения|НИС Машинное обучение и приложения на ПМИ]]
|-
|[[Архитектура компьютеров и системное программирование (ПМИ_4, 2015/2016)|Архитектура компьютеров и системное программирование (4 курс)]]
|-
|[[Дифференциальные уравнения (2 курс, 2015/2016)| Дифференциальные уравнения]]
|-
|[[Введение в VBA|Введение в VBA]]
|}

|style="vertical-align:top;"|



=== Курсы за 2014/15 учебный год ===
{|
|-
|[[Основы и методологии программирования]] 
|-
|[[Алгоритмы и структуры данных 2015 | Алгоритмы и структуры данных]] 
|-
|[[Анализ данных (Программная инженерия)]] 
|-
|[[Алгебра_2014/2015 | Алгебра]] 
|-
|[[Magolego_sna_2015| MAGoLEGO Social Network Analysis]]
|}

==== Проектная работа ====
{|
|-
|[[Проектная работа]] 
|-
|[[Учебная практика 1 курс (2016)]]
|-
|[[Проектная работа 2 курс (2016)]]
|}


|}

== Мероприятия факультета компьютерных наук ==
=== Summer School 2015 ===
[[Introduction to Natural Language Processing|Introduction to Natural Language Processing]]
#[[Lecture 1. Introduction|Introduction]]
#[[Lecture 2. Tokenization and word counts|Tokenization and word counts]]
#[[Lecture 3. POS tagging. Key word and phrase extraction|POS tagging. Key word and phrase extraction]]
#[[Lecture 4. Parsing|Parsing]]
#[[Lecture 5. Language sources|Language sources]]
#[[Lecture 6. Synonyms and near-synonyms detection|Synonyms and near-synonyms detection]]
#[[Lecture 8. Suffix trees for NLP|Suffix trees for NLP]]
#[[NLP References|References]]

== Архив ==
* [[Учебная практика 1 курс (2015)]]

https://www.dropbox.com/s/j4o8e0jd3i3tnr0/Sber_sem1.pdf?dl=0

Обработка и анализ данных физического эксперимента

2018-09-06T19:31:34Z

Oadesheulin: Новая страница: «==О курсе== '''Преподаватели:''' * Маланчев Константин Леонидович, [https://www.hse.ru/staff/malanchev] * Кор…»

==О курсе==

'''Преподаватели:'''
* Маланчев Константин Леонидович, [https://www.hse.ru/staff/malanchev]
* Корнилов Матвей Викторович, [https://istina.msu.ru/profile/matwey/]

'''Аннотация курса:'''

В курсе рассматривается база, которую должен иметь физик, работающий с данными: статистическому анализу, проверки гипотез, методам оптимизации и т.п. Также мы планируем в конце курса заняться машинным обучением. Основа курса — практикум по программированию на Python.

'''Страничка курса:'''
* https://pyoadfe.github.io/
* https://www.hse.ru/ba/physics/courses/222113290.html

'''Табличка с успеваемостью:''' [https://docs.google.com/spreadsheets/d/1qA9lkkvTUCxgc2h1mRjFH_gaZmp-YyYYFNYXhctx020/edit?usp=sharing]

==Программа Курса==
* Обзор форматов научных данных и основных способов хранения данных.
# Хранение данных в виде текстовых файлов. Основные форматы текстовых таблиц.
# Хранение данных в виде бинарных файлов. Некоторые примеры бинарных форматов данных, их преимущества.
# Хранение данных в базе данных. Реляционные и документно-ориентированные базы данных.
# Подходы к распределенному хранению данных.

* Распределенная обработка данных.
# Работа на системах с общей памятью. Различные концепции параллельных вычислений, параллельные вычисления в Python.
# Работа на системах с распределенной памятью. Концепция MapReduce.

* Применение методов оптимизации к анализу экспериментальных данных.
# Обзор методов оптимизации для нахождения модельных параметров по данным эксперимента.
# Детерминистические методы оптимизации. Метод крыловских подпространств: метод сопряженных градиентов и его модификации.
# Оптимизация с ограничениями. Метод множителей Лагранжа. Линейное программирование, симплекс-метод.
# Стохастические методы оптимизации. Моделирование методом Монте-Карло с помощью Марковских цепей (MCMC).

* Обработка экспериментальных данных
# Нахождение сигнала на фоне шума: соотношение сигнал/шум, арифметика с шумными сигналами.
# Свертка сигнала с фильтром. Быстрое преобразование Фурье и его использование для свертки. Оптимальная фильтрация, фильтр Винера.
# Основные принципы метода регуляризации Тихонова

* Работа со статистическими распределениями.
# Определение параметров статистического распределения из набора экспериментальных данных: принцип максимального правдоподобия и метод наименьших квадратов
# Проверка статистических гипотез. Статистические критерии: t-критерий Стьюдента, критерий Колмогорова—Смирнова. Тестирование многомерных нормальных распределений.

* Применение методов машинного обучения для анализа физических данных.
# Обзор основных методов машинного обучения. Их классификация: классификация/регрессия, обучение с учителем и без.
# Линейные методы на примере линейной регрессии.
# Решающие деревья. Случайный лес для задач классификации и регрессии

==Каналы взаимодействия со студентами==
Все взаимодействие со студентами происходит в telegram.

==Контакты учебных ассистентов==
Олег Дешеулин:
* vk: [https://vk.com/olegek_desheulin]
* tg: @oleg_top

Александр Баранов:
* vk [https://vk.com/alexander_baranov]
* email [mailto:alexanderbaranof@yandex.ru]
* tg: @Fr1lance

==Литература и интернет-ресурсы==
* Можно найти на этом сайте: [https://pyoadfe.github.io/]