Обработка и анализ данных физического эксперимента

О курсе

Преподаватели:

• Корнилов Матвей Викторович, [1]
• Мамонов Евгений Александрович [2]

Аннотация курса:

В курсе рассматривается база, которую должен иметь физик, работающий с данными: статистический анализ, проверка гипотез, методы оптимизации и т.п. Также мы планируем в конце курса заняться машинным обучением. Основа курса — практикум по программированию на Python.

Страничка курса:

• https://pyoadfe.github.io/
• https://www.hse.ru/edu/courses/348463500

Табличка с успеваемостью: [3]

Программа Курса

• Обзор форматов научных данных и основных способов хранения данных.

1. Хранение данных в виде текстовых файлов. Основные форматы текстовых таблиц.
2. Хранение данных в виде бинарных файлов. Некоторые примеры бинарных форматов данных, их преимущества.
3. Хранение данных в базе данных. Реляционные и документно-ориентированные базы данных.
4. Подходы к распределенному хранению данных.

• Распределенная обработка данных.

1. Работа на системах с общей памятью. Различные концепции параллельных вычислений, параллельные вычисления в Python.
2. Работа на системах с распределенной памятью. Концепция MapReduce.

• Применение методов оптимизации к анализу экспериментальных данных.

1. Обзор методов оптимизации для нахождения модельных параметров по данным эксперимента.
2. Детерминистические методы оптимизации. Метод крыловских подпространств: метод сопряженных градиентов и его модификации.
3. Оптимизация с ограничениями. Метод множителей Лагранжа. Линейное программирование, симплекс-метод.
4. Стохастические методы оптимизации. Моделирование методом Монте-Карло с помощью Марковских цепей (MCMC).

• Обработка экспериментальных данных

1. Нахождение сигнала на фоне шума: соотношение сигнал/шум, арифметика с шумными сигналами.
2. Свертка сигнала с фильтром. Быстрое преобразование Фурье и его использование для свертки. Оптимальная фильтрация, фильтр Винера.
3. Основные принципы метода регуляризации Тихонова

• Работа со статистическими распределениями.

1. Определение параметров статистического распределения из набора экспериментальных данных: принцип максимального правдоподобия и метод наименьших квадратов
2. Проверка статистических гипотез. Статистические критерии: t-критерий Стьюдента, критерий Колмогорова—Смирнова. Тестирование многомерных нормальных распределений.

• Применение методов машинного обучения для анализа физических данных.

1. Обзор основных методов машинного обучения. Их классификация: классификация/регрессия, обучение с учителем и без.
2. Линейные методы на примере линейной регрессии.
3. Решающие деревья. Случайный лес для задач классификации и регрессии

Каналы взаимодействия со студентами

Все взаимодействие со студентами происходит в telegram.

Контакты учебных ассистентов

Виолетта Иванова:

• tg: @ivetasand

Павел Юрлов:

• tg: @paulyurlov

Литература и интернет-ресурсы

• Все можно найти на этом сайте: [4]