Wiki - Факультет компьютерных наук - Вклад [ru]

Генеративные модели на основе диффузии 25/26

2025-12-16T13:57:48Z

Rakitinden:

== Общая информация ==
Курс предназначен для студентов 4 курса ФКН ПМИ, но приглашаются все желающие, уверенно знающие математику младших курсов (в особенности теорию вероятностей), базово ориентирующиеся в глубинном обучении и программировании на PyTorch.

Занятия проходят '''по средам 13:00-16:00''', аудитория '''R208''' (переносы будут сообщаться в чате).

'''Лектор''': [https://t.me/denrakitin23 Денис Ракитин]

'''Семинарист''': [https://t.me/welmud Александр Оганов]

'''Ассистент''': [https://t.me/AlZayts Александр Зайцев]

[https://t.me/+Xq_PPtsvzH4xMGIy '''Чат курса''']

[https://disk.yandex.ru/i/Ei91FPvh5UEkpA '''Программа и описание курса''']

== Оценки ==

=== [https://docs.google.com/spreadsheets/d/1UD81jm28TwYHMyGFTeFLw62BVFvw1OaDePQ2mnWIkH8/edit?usp=sharing Таблица с оценками] ===

Формула итоговой оценки: Оитог = 0.3 * Отдз + 0.2 * Опдз + 0.2 * Опроект + 0.3 * Оэкз. Округление арифметическое.

Отдз и Опдз обозначают средние оценки за теоретические/практические дз, соответственно.

== Экзамен ==

=== [https://disk.yandex.ru/i/2ZzK4FusskkR9Q Программа] ===

Экзамен устный, состоит из билета и двух дополнительных вопросов. Один из дополнительных вопросов — задача, второй — вопрос на усмотрение принимающего (может быть задачей или вопросом по другим билетам). Разбалловка: 4 балла за билет и по 3 балла за доп. вопрос.

Даты: 23 и 27 декабря, 11:10-17:40. Для сдающих 23 декабря нужно подготовить только первые 14 билетов.

== Проект ==

Состоит в реализации и проведении экспериментов с одной из рассмотренных на курсе моделей.
Проект командный. Команда может включать не более 4 человек, для 3-4 человек в проекте будет дополнительное задание.
Сдача проекта включает в себя github-репозиторий с имплементацией и написанный в pdf отчет.
Оценка будет ставиться по трем критериям. Объем работы оценивается из 4 баллов, качество отчета и полученных результатов в 3 балла.

Подробное описание находится [https://disk.yandex.ru/i/cpdl5wvHRcu91w здесь] (нужно будет скачать, чтобы работали ссылки).

Дедлайн: 21 декабря 23:59.

== Домашние задания ==

Домашние задания будут выдаваться в день лекции, то есть по средам, на некоторое число недель вперед. Мягкие дедлайны будут по средам. Жесткий дедлайн будет в воскресенье той же недели. За каждый день просрочки коэффициент при оценке уменьшается на 0.1. Таким образом, позднее всего можно сдать домашнее задание в воскресенье с коэффициентом 0.6.

Сдаются в [https://anytask.org/course/1215 Anytask], инвайт t6bwFj5

Вес у всех задач одинаковый, задачи оцениваются из 1 балла. Если в задачах есть пункты, то будет подписано количество баллов за каждый пункт, иначе баллы между пунктами делятся поровну.

===Теория===

[https://disk.yandex.ru/i/-lkBxvxp30-EHw ДЗ-1], [https://www.overleaf.com/read/bkvkjsfkgtnj#cad343 TeX исходник], мягкий дедлайн 24 сентября 23:59 (среда), жесткий дедлайн 28 сентября 23:59 (воскресенье).

[https://disk.yandex.ru/i/CECxe7biFDMM9A ДЗ-2], [https://www.overleaf.com/read/cpknqsqwcgvw#c442e0 ТеХ исходник], мягкий дедлайн 2 октября 23:59 (четверг), жесткий дедлайн 6 октября 23:59 (понедельник).

[https://disk.yandex.ru/i/uYK4QfGMdxwMOQ ДЗ-3], [https://www.overleaf.com/read/rmnxbpctnywp#2edc9c ТеХ исходник], мягкий дедлайн 22 октября 23:59 (среда), жесткий дедлайн 2 ноября 23:59 (воскресенье). Сессионные дни 25-31 октября не учитываются при снижении оценки за просрочку.

[https://disk.yandex.ru/i/aGDo5aHbMtakKA ДЗ-4], [https://www.overleaf.com/read/zbdyrbtscqsp#252754 ТеХ исходник], мягкий дедлайн 10 декабря 23:59 (среда), жесткий дедлайн 14 декабря 23:59 (воскресенье).
===Практика===

[https://disk.yandex.ru/d/D_7g3UDaYXK4Lg ДЗ-1], мягкий дедлайн 12 ноября 23:59 (среда), жесткий дедлайн 16 ноября 23:59 (воскресенье).

[https://disk.yandex.ru/d/kUzy1q49WP1lCg ДЗ-2], жесткий дедлайн 17 декабря 23:59 (среда).

== Лекции и семинары ==
[https://disk.yandex.ru/i/RJsps26HeG8ysQ '''Конспект лекций в процессе''']

[https://disk.yandex.ru/d/0N-1_Oz5COHN3A '''Записи лекций и семинаров''']

[https://disk.yandex.ru/d/uADNnoWxBWJJ-A '''Семинарские задачи''']

'''Лекция / Семинар 1.''' Генеративное моделирование. Семейства генеративных моделей: вариационные автокодировщики (VAEs), генеративно-состязательные сети (GANs), диффузионные модели. Генеративная трилемма: генеративная модель должна обладать высоким качеством генерации, высоким разнообразием и скоростью генерирования. Повтор теории вероятностей: совместная и условная плотность, формула Байеса, подсчет матожиданий через плотности. Условное матожидание (УМО): определение через интеграл условной плотности. Свойства: линейность, формула полного матожидания, вынос функции от условия за УМО, УМО от независимой величины равна безусловному матожиданию. Условное матожидание как наилучшее предсказание в среднеквадратичном.

Гауссовские векторы/многомерное нормальное распределение. Три эквивалентных определения, формула плотности. Аффинная замена гауссовских векторов, эквивалентность независимости и некоррелированности их компонент, ортогональное разложение, условное распределение компоненты относительно другой компоненты.

'''Лекция / Семинар 2.''' Процессы зашумления с дискретным временем: процесс с сохраняющейся (variance preserving, VP) и взрывающейся (variance exploding, VE) дисперсией. Определение марковской цепи. Процессы зашумления являются марковскими цепями. Переходные плотности VP и VE процессов. Обучение диффузионной модели (статья [https://arxiv.org/abs/2006.11239 DDPM]) через минимизацию КЛ дивергенции между совместным распределением процесса зашумления и процесса, заданного моделью (модель с гауссовскими переходами "назад" по времени, в которой нейросеть предсказывает среднее). Декомпозиция КЛ дивергенции через сумму КЛ дивергенций переходных распределений. Эквивалентность функционала обучению нейросети-денойзера для предсказания чистой картинки по шумной.

Свойства марковских цепей: обращенный по времени марковский процесс является марковским; процесс, обусловленный на конечную точку, также является марковским. Подсчет КЛ дивергенции между многомерными нормальными распределениями.

'''Лекция / Семинар 3.''' Обыкновенные дифференциальные уравнения (ОДУ), схема Эйлера. Построение непрерывного аналога процесса удаления картинки, заданного через ОДУ. Определение Винеровского процесса. (Псевдо)-определение стохастических дифференциальных уравнений (СДУ) через схему Эйлера. Построение непрерывных по времени аналогов VP и VE процессов: СДУ с сохраняющейся (VP-SDE) и взрывающейся (VE-SDE) дисперсией. Подсчет переходных распределений VE-SDE и VP-SDE с помощью решения линейных ОДУ.

Линейные СДУ вида dX_t = f(t) X_t dt + g(t) dW_t: обобщение VE/VP-SDE. Переходные плотности в линейных СДУ такого вида: гауссовское распределение, линейные ОДУ на матожидание и дисперсию, их решение. Визуализация непрерывных процессов зашумления: [https://disk.yandex.ru/d/H0Mbf6w2aL55Tg ноутбук], [https://disk.yandex.ru/d/BTKuym0Kxbzeww заполненный ноутбук].

'''Лекция / Семинар 4.''' Эволюция плотности частицы, движущейся под действием ОДУ/СДУ: уравнение непрерывности и уравнение Фоккера-Планка. Вывод общего вида законов сохранения (взято из курса [http://wiki.cs.hse.ru/%D0%A3%D1%80%D0%B0%D0%B2%D0%BD%D0%B5%D0%BD%D0%B8%D1%8F_%D1%81_%D1%87%D0%B0%D1%81%D1%82%D0%BD%D1%8B%D0%BC%D0%B8_%D0%BF%D1%80%D0%BE%D0%B8%D0%B7%D0%B2%D0%BE%D0%B4%D0%BD%D1%8B%D0%BC%D0%B8_(2022-2023) УрЧП]). Интерпретация уравнения непрерывности,
теплопроводности и Фоккера-Планка через законы сохранения. Решение транспортного уравнения с константным сносом. Логарифмическое уравнение непрерывности, его решение методом характеристик. Применение к подсчету правдоподобия модели, заданной ОДУ.

'''Лекция / Семинар 5.''' Диффузионные модели с [https://arxiv.org/abs/2011.13456 непрерывным временем]. Переход от СДУ к ОДУ и обратно. Обращение ОДУ по времени. Обращение СДУ по времени ([https://core.ac.uk/download/pdf/82826666.pdf оригинальная статья]) с помощью схемы СДУ -> ОДУ -> обратное ОДУ -> обратное СДУ. Score функция, ее представление через условное матожидание условной score функции, интерпретация и обучение методом [https://arxiv.org/abs/1907.05600 Denoising Score Matching]. Эквивалентность Denoising Score Matching обучению модели, предсказывающей чистое изображение/шум в изображении.

Выражение score функции VP-SDE через score функцию VE-SDE. Применение: имея обученную модель-денойзер, можно семплировать из VP-SDE и VE-SDE без переобучения модели. Предельное распределение однородного СДУ, связь со стационарным распределением, сведение к однородному уравнению Фоккера-Планка (d/dt p_t(x) = 0). Динамика Ланжевена: снос в СДУ, сходящейся к распределению p(x), с точностью до константы совпадает со score функцией. Применение к генерации семплов из распределения p(x) и связь с градиентным подъемом.

'''Лекция / Семинар 6.''' Имплементация диффузионных моделей на практике: [https://disk.yandex.ru/d/WWwuJvGdoGlPCQ ноутбук]. Denoising Score Matching для обучения обусловленных диффузионных моделей. Обуславливание безусловных диффузионных моделей с помощью шумного классификатора: [https://arxiv.org/abs/2105.05233 Classifier Guidance], контролирование баланса между правдоподобием и разнообразием семплов. Перенос той же техники на предобученные условные модели: [https://arxiv.org/abs/2207.12598 Classifier-free Guidance].

'''Лекция / Семинар 7.''' Дистилляция диффузионных моделей. Функциональная дистилляция, состоящая в обучении генератора на повтор траектории ОДУ диффузионной модели: простая дистилляция, [https://arxiv.org/abs/2303.01469 Consistency Models]. Классический способ получить обучающий сигнал для попадания в распределение: Генеративно-состязательные сети ([https://arxiv.org/abs/1406.2661 GANs]), вывод лог-лосса, интерпретация через минимизацию дивергенции Йенсена-Шеннона. Соединение двух парадигм: Consistency Models + GAN loss. Использование предобученной диффузионной модели для выделения признаков, на которых считается GAN loss: [https://arxiv.org/abs/2403.12015 Latent Adversarial Diffusion Distillation (LADD)]. Использование диффузионной модели в качестве обучающего сигнала для произвольного вида генератора: метод [https://arxiv.org/abs/2311.18828 Distribution Matching Distillation] (его прототип [https://arxiv.org/abs/2305.18455 Diff-Instruct], конкурентная работа [https://arxiv.org/abs/2312.05239 SwiftBrush] и улучшенная версия [https://arxiv.org/html/2405.14867v1 Improved DMD]).

'''Лекция / Семинар 8.''' Ускорение генерации из диффузионных моделей с помощью солверов ОДУ. Методы, более точно приближающие ОДУ с помощью промежуточных точек: метод Хойна, методы Рунге-Кутта. Линейные многошаговые методы (linear multi-step, LMS): использование только предыдущих значений векторного поля для разностного приближения производных высших порядков. [https://arxiv.org/abs/2206.00927 DPM-Solver]: использование полу-линейной структуры диффузионных ОДУ и log-SNR замены времени для более точного приближения честного решения. [https://disk.yandex.ru/d/pYjKp72UfX9LPw Семинарский ноутбук.]

Обучение сетки дискретизации с помощью дистилляции многошаговой схемы в малошаговую: [https://arxiv.org/abs/2405.15506 LD3]. Обучение коэффициентов солвера: [https://arxiv.org/abs/2502.17423 S4S]. [https://arxiv.org/abs/2510.17699 Generalized Adversarial Solver (GAS)]: эффективная параметризация для обучения сетки дискретизации и коэффициентов солвера, соединение функционала дистилляции с GAN loss для улучшения деталей сгенерированных изображений. Статья написана коллективом из BayesGroup: [https://github.com/3145tttt/GAS GitHub].

'''Лекция / Семинар 9.''' Диффузионные модели как процессы интерполяции между шумом и данными. Модель [https://arxiv.org/abs/2210.02747 Flow Matching] (аналоги [https://arxiv.org/abs/2302.00482 Conditional Flow Matching] и [https://arxiv.org/abs/2209.15571 Stochastic Interpolants]): построение ОДУ, порождающего безусловную динамику при известном ОДУ, порождающем условную динамику. Применение к задаче безусловной генерации. Применение к парным задачам переноса стиля: Flow Matching [https://arxiv.org/abs/2209.03003 снижает] транспортную цену. Представление диффузионных моделей в качестве частного случая модели Flow Matching. Статьи про решение парных задач [https://arxiv.org/abs/2310.03725 на основе ОДУ] и [https://arxiv.org/abs/2302.05872 на основе СДУ].

'''Лекция / Семинар 10.''' Задача оптимального транспорта (ОТ): задача Монжа и Канторовича, их эквивалентность при наличии плотностей у обоих распределений. Применимость модели Flow Matching для непарных задач: снижение транспортной цены не гарантирует хорошего отображения. Алгоритм [https://arxiv.org/abs/2209.03003 Rectified Flow] (теоретическое [https://arxiv.org/abs/2209.14577 дополнение]): повторное обучение Flow Matching (процедуры Rectify) для последовательного снижения транспортной цены отображения. Неподвижные точки Rectify: 4 эквивалентных свойства. Следствие: решение задачи ОТ может быть представлено в виде ОДУ с прямыми траекториями. Задача динамического ОТ, формула Бенаму-Бренье. Интерпретация метода Rectified Flow как чередования проецирования на множество процессов с прямыми траекториями и множество процессов, заданных ОДУ. ОДУ с прямыми траекториями решает задачу ОТ тогда и только тогда, когда векторное поле задается градиентом скалярного. Пример обратного: гауссовское распределение и процесс поворота.

'''Лекция / Семинар 11.''' Диффузионные методы непарного перевода между доменами, классификация на односторонние и двусторонние. Напоминание методов [https://arxiv.org/abs/2108.01073 SDEdit] и [https://arxiv.org/abs/2203.08382 DDIB]: зашумление (стохастическое и детерминированное) исходной картинки и ее расшумление с помощью целевой диффузионной модели. Модификация процесса генерации из целевого распределения с помощью функции энергии: методы [https://arxiv.org/abs/2108.02938 ILVR] и [https://arxiv.org/abs/2207.06635 EGSDE]. Решение задачи ОТ с помощью множителей Лагранжа и соответствующей минимаксной задачи. Метод [https://arxiv.org/abs/2201.12220 Neural Optimal Transport]. Метод [https://arxiv.org/abs/2406.14762 Regularized DMD / RDMD]: соединение distribution matching функционала с транспортной ценой для непарного перевода между доменами (совместная с коллегами работа).

'''Лекция / Семинар 12.''' Метод Bridge Matching: обобщение Flow Matching на стохастический случай для решения парных задач перевода между доменами. Вывод оптимального векторного поля и коэффициента диффузии, порождающих безусловную динамику по условной. h-преобразование Дуба: обуславливание СДУ на конечную точку для получения СДУ, интерполирующего между двумя точками. Пример: обуславливание VE-SDE. Пример: если g(t) = const, обуславливание VE-SDE порождает Броуновский мост. Хорошо описан в статьях [https://arxiv.org/abs/2302.11419 Aligned Diffusion Schrödinger Bridges] и [https://arxiv.org/abs/2303.16852 Diffusion Schrödinger Bridge Matching]. Применение к обратным задачам: статья [https://arxiv.org/abs/2302.05872 I2SB: Image-to-Image Schrödinger Bridge]. Общий вид h-преобразования Дуба для превращения СДУ, приходящего в p(x), в СДУ, приходящее в распределение, пропорциональное p(x)h(x).

'''Лекция / Семинар 13.''' Задача Моста Шрёдингера: определение, мотивация, применение к задачам генеративного моделирования, дообучения под награду и перевода между доменами. Свойства КЛ-дивергенции: chain rule и data processing inequality. КЛ-дивергенция между двумя случайными процессами, определение через дискретизацию. Задача Моста Шрёдингера: общая формулировка через минимизацию КЛ-дивергенции с референсным процессом. Chain rule для КЛ-дивергенции между двумя процессами. Следствие: если референсный процесс Винеровский, то условное распределение Моста Шрёдингера совпадает с Броуновским мостом. Статическая задача моста Шрёдингера, эквивалентность с энтропийной задачей ОТ в случае Винеровского референсного процесса. КЛ-дивергенция между двумя СДУ: теорема Гирсанова. Следствие: метод Denoising Score Matching (с правильно подобранными коэффициентами при моментах времени) минимизирует КЛ-дивергенцию между обучаемым и настоящим обратным процессом.

'''Лекция / Семинар 14.''' Мост Шрёдингера как единственный процесс, который переводит p_0 в p_1, задается некоторым СДУ и имеет Броуновский мост в качестве условного распределения. Метод [https://arxiv.org/abs/2303.16852 Diffusion Schrödinger Bridge Matching]: последовательное обучение Bridge Matching на парах из предыдущего Bridge Matching. Смысл: последовательное проецирование процесса на множество R (Reciprocal) процессов с Броуновским мостом в качестве условного и множество M (Марковских) процессов, задаваемых СДУ. Каждый шаг алгоритма является проекцией с точки зрения КЛ-дивергенции, справедлива теорема Пифагора. Следствие: КЛ между текущим процессом и МШ не увеличивается, МШ является неподвижной точкой процедуры. Решение задачи МШ через стохастическое оптимальное управление и множители Лагранжа: метод Entropic Neural Optimal Transport ([https://arxiv.org/abs/2211.01156 ENOT]). Решение задачи стохастического оптимального управления для задачи дообучения диффузионного процесса под награду.

== Материалы прошлых лет ==

[http://wiki.cs.hse.ru/%D0%93%D0%B5%D0%BD%D0%B5%D1%80%D0%B0%D1%82%D0%B8%D0%B2%D0%BD%D1%8B%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8_%D0%BD%D0%B0_%D0%BE%D1%81%D0%BD%D0%BE%D0%B2%D0%B5_%D0%B4%D0%B8%D1%84%D1%84%D1%83%D0%B7%D0%B8%D0%B8 2024-2025 учебный год]

[http://wiki.cs.hse.ru/%D0%93%D0%B5%D0%BD%D0%B5%D1%80%D0%B0%D1%82%D0%B8%D0%B2%D0%BD%D1%8B%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8_%D0%BD%D0%B0_%D0%BE%D1%81%D0%BD%D0%BE%D0%B2%D0%B5_ODE_%D0%B8_SDE Факультатив по ODE/SDE моделям (2023-2024)]

Генеративные модели на основе диффузии 25/26

2025-12-16T01:48:34Z

Rakitinden:

== Общая информация ==
Курс предназначен для студентов 4 курса ФКН ПМИ, но приглашаются все желающие, уверенно знающие математику младших курсов (в особенности теорию вероятностей), базово ориентирующиеся в глубинном обучении и программировании на PyTorch.

Занятия проходят '''по средам 13:00-16:00''', аудитория '''R208''' (переносы будут сообщаться в чате).

'''Лектор''': [https://t.me/denrakitin23 Денис Ракитин]

'''Семинарист''': [https://t.me/welmud Александр Оганов]

'''Ассистент''': [https://t.me/AlZayts Александр Зайцев]

[https://t.me/+Xq_PPtsvzH4xMGIy '''Чат курса''']

[https://disk.yandex.ru/i/Ei91FPvh5UEkpA '''Программа и описание курса''']

== Оценки ==

=== [https://docs.google.com/spreadsheets/d/1UD81jm28TwYHMyGFTeFLw62BVFvw1OaDePQ2mnWIkH8/edit?usp=sharing Таблица с оценками] ===

Формула итоговой оценки: Оитог = 0.3 * Отдз + 0.2 * Опдз + 0.2 * Опроект + 0.3 * Оэкз. Округление арифметическое.

Отдз и Опдз обозначают средние оценки за теоретические/практические дз, соответственно.

== Экзамен ==

=== [https://disk.yandex.ru/i/2ZzK4FusskkR9Q Программа] ===

Экзамен устный, состоит из билета и двух дополнительных вопросов. Один из дополнительных вопросов — задача, второй — вопрос на усмотрение принимающего (может быть задачей или вопросом по другим билетам). Разбалловка: 4 балла за билет и по 3 балла за доп. вопрос.

Даты: 23 и 27 декабря, 11:10-17:40. Для сдающих 23 декабря нужно подготовить только первые 14 билетов.

== Проект ==

Состоит в реализации и проведении экспериментов с одной из рассмотренных на курсе моделей.
Проект командный. Команда может включать не более 4 человек, для 3-4 человек в проекте будет дополнительное задание.
Сдача проекта включает в себя github-репозиторий с имплементацией и написанный в pdf отчет.
Оценка будет ставиться по трем критериям. Объем работы оценивается из 4 баллов, качество отчета и полученных результатов в 3 балла.

Подробное описание находится [https://disk.yandex.ru/i/cpdl5wvHRcu91w здесь] (нужно будет скачать, чтобы работали ссылки).

Дедлайн: 21 декабря 23:59.

== Домашние задания ==

Домашние задания будут выдаваться в день лекции, то есть по средам, на некоторое число недель вперед. Мягкие дедлайны будут по средам. Жесткий дедлайн будет в воскресенье той же недели. За каждый день просрочки коэффициент при оценке уменьшается на 0.1. Таким образом, позднее всего можно сдать домашнее задание в воскресенье с коэффициентом 0.6.

Сдаются в [https://anytask.org/course/1215 Anytask], инвайт t6bwFj5

В курсе будут 5 теоретических и 3 практических домашних задания. Вес у всех задач одинаковый, задачи оцениваются из 1 балла. Если в задачах есть пункты, то будет подписано количество баллов за каждый пункт, иначе баллы между пунктами делятся поровну.

===Теория===

[https://disk.yandex.ru/i/-lkBxvxp30-EHw ДЗ-1], [https://www.overleaf.com/read/bkvkjsfkgtnj#cad343 TeX исходник], мягкий дедлайн 24 сентября 23:59 (среда), жесткий дедлайн 28 сентября 23:59 (воскресенье).

[https://disk.yandex.ru/i/CECxe7biFDMM9A ДЗ-2], [https://www.overleaf.com/read/cpknqsqwcgvw#c442e0 ТеХ исходник], мягкий дедлайн 2 октября 23:59 (четверг), жесткий дедлайн 6 октября 23:59 (понедельник).

[https://disk.yandex.ru/i/uYK4QfGMdxwMOQ ДЗ-3], [https://www.overleaf.com/read/rmnxbpctnywp#2edc9c ТеХ исходник], мягкий дедлайн 22 октября 23:59 (среда), жесткий дедлайн 2 ноября 23:59 (воскресенье). Сессионные дни 25-31 октября не учитываются при снижении оценки за просрочку.

[https://disk.yandex.ru/i/aGDo5aHbMtakKA ДЗ-4], [https://www.overleaf.com/read/zbdyrbtscqsp#252754 ТеХ исходник], мягкий дедлайн 10 декабря 23:59 (среда), жесткий дедлайн 14 декабря 23:59 (воскресенье).
===Практика===

[https://disk.yandex.ru/d/D_7g3UDaYXK4Lg ДЗ-1], мягкий дедлайн 12 ноября 23:59 (среда), жесткий дедлайн 16 ноября 23:59 (воскресенье).

[https://disk.yandex.ru/d/kUzy1q49WP1lCg ДЗ-2], жесткий дедлайн 17 декабря 23:59 (среда).

== Лекции и семинары ==
[https://disk.yandex.ru/i/RJsps26HeG8ysQ '''Конспект лекций в процессе''']

[https://disk.yandex.ru/d/0N-1_Oz5COHN3A '''Записи лекций и семинаров''']

[https://disk.yandex.ru/d/uADNnoWxBWJJ-A '''Семинарские задачи''']

'''Лекция / Семинар 1.''' Генеративное моделирование. Семейства генеративных моделей: вариационные автокодировщики (VAEs), генеративно-состязательные сети (GANs), диффузионные модели. Генеративная трилемма: генеративная модель должна обладать высоким качеством генерации, высоким разнообразием и скоростью генерирования. Повтор теории вероятностей: совместная и условная плотность, формула Байеса, подсчет матожиданий через плотности. Условное матожидание (УМО): определение через интеграл условной плотности. Свойства: линейность, формула полного матожидания, вынос функции от условия за УМО, УМО от независимой величины равна безусловному матожиданию. Условное матожидание как наилучшее предсказание в среднеквадратичном.

Гауссовские векторы/многомерное нормальное распределение. Три эквивалентных определения, формула плотности. Аффинная замена гауссовских векторов, эквивалентность независимости и некоррелированности их компонент, ортогональное разложение, условное распределение компоненты относительно другой компоненты.

'''Лекция / Семинар 2.''' Процессы зашумления с дискретным временем: процесс с сохраняющейся (variance preserving, VP) и взрывающейся (variance exploding, VE) дисперсией. Определение марковской цепи. Процессы зашумления являются марковскими цепями. Переходные плотности VP и VE процессов. Обучение диффузионной модели (статья [https://arxiv.org/abs/2006.11239 DDPM]) через минимизацию КЛ дивергенции между совместным распределением процесса зашумления и процесса, заданного моделью (модель с гауссовскими переходами "назад" по времени, в которой нейросеть предсказывает среднее). Декомпозиция КЛ дивергенции через сумму КЛ дивергенций переходных распределений. Эквивалентность функционала обучению нейросети-денойзера для предсказания чистой картинки по шумной.

Свойства марковских цепей: обращенный по времени марковский процесс является марковским; процесс, обусловленный на конечную точку, также является марковским. Подсчет КЛ дивергенции между многомерными нормальными распределениями.

'''Лекция / Семинар 3.''' Обыкновенные дифференциальные уравнения (ОДУ), схема Эйлера. Построение непрерывного аналога процесса удаления картинки, заданного через ОДУ. Определение Винеровского процесса. (Псевдо)-определение стохастических дифференциальных уравнений (СДУ) через схему Эйлера. Построение непрерывных по времени аналогов VP и VE процессов: СДУ с сохраняющейся (VP-SDE) и взрывающейся (VE-SDE) дисперсией. Подсчет переходных распределений VE-SDE и VP-SDE с помощью решения линейных ОДУ.

Линейные СДУ вида dX_t = f(t) X_t dt + g(t) dW_t: обобщение VE/VP-SDE. Переходные плотности в линейных СДУ такого вида: гауссовское распределение, линейные ОДУ на матожидание и дисперсию, их решение. Визуализация непрерывных процессов зашумления: [https://disk.yandex.ru/d/H0Mbf6w2aL55Tg ноутбук], [https://disk.yandex.ru/d/BTKuym0Kxbzeww заполненный ноутбук].

'''Лекция / Семинар 4.''' Эволюция плотности частицы, движущейся под действием ОДУ/СДУ: уравнение непрерывности и уравнение Фоккера-Планка. Вывод общего вида законов сохранения (взято из курса [http://wiki.cs.hse.ru/%D0%A3%D1%80%D0%B0%D0%B2%D0%BD%D0%B5%D0%BD%D0%B8%D1%8F_%D1%81_%D1%87%D0%B0%D1%81%D1%82%D0%BD%D1%8B%D0%BC%D0%B8_%D0%BF%D1%80%D0%BE%D0%B8%D0%B7%D0%B2%D0%BE%D0%B4%D0%BD%D1%8B%D0%BC%D0%B8_(2022-2023) УрЧП]). Интерпретация уравнения непрерывности,
теплопроводности и Фоккера-Планка через законы сохранения. Решение транспортного уравнения с константным сносом. Логарифмическое уравнение непрерывности, его решение методом характеристик. Применение к подсчету правдоподобия модели, заданной ОДУ.

'''Лекция / Семинар 5.''' Диффузионные модели с [https://arxiv.org/abs/2011.13456 непрерывным временем]. Переход от СДУ к ОДУ и обратно. Обращение ОДУ по времени. Обращение СДУ по времени ([https://core.ac.uk/download/pdf/82826666.pdf оригинальная статья]) с помощью схемы СДУ -> ОДУ -> обратное ОДУ -> обратное СДУ. Score функция, ее представление через условное матожидание условной score функции, интерпретация и обучение методом [https://arxiv.org/abs/1907.05600 Denoising Score Matching]. Эквивалентность Denoising Score Matching обучению модели, предсказывающей чистое изображение/шум в изображении.

Выражение score функции VP-SDE через score функцию VE-SDE. Применение: имея обученную модель-денойзер, можно семплировать из VP-SDE и VE-SDE без переобучения модели. Предельное распределение однородного СДУ, связь со стационарным распределением, сведение к однородному уравнению Фоккера-Планка (d/dt p_t(x) = 0). Динамика Ланжевена: снос в СДУ, сходящейся к распределению p(x), с точностью до константы совпадает со score функцией. Применение к генерации семплов из распределения p(x) и связь с градиентным подъемом.

'''Лекция / Семинар 6.''' Имплементация диффузионных моделей на практике: [https://disk.yandex.ru/d/WWwuJvGdoGlPCQ ноутбук]. Denoising Score Matching для обучения обусловленных диффузионных моделей. Обуславливание безусловных диффузионных моделей с помощью шумного классификатора: [https://arxiv.org/abs/2105.05233 Classifier Guidance], контролирование баланса между правдоподобием и разнообразием семплов. Перенос той же техники на предобученные условные модели: [https://arxiv.org/abs/2207.12598 Classifier-free Guidance].

'''Лекция / Семинар 7.''' Дистилляция диффузионных моделей. Функциональная дистилляция, состоящая в обучении генератора на повтор траектории ОДУ диффузионной модели: простая дистилляция, [https://arxiv.org/abs/2303.01469 Consistency Models]. Классический способ получить обучающий сигнал для попадания в распределение: Генеративно-состязательные сети ([https://arxiv.org/abs/1406.2661 GANs]), вывод лог-лосса, интерпретация через минимизацию дивергенции Йенсена-Шеннона. Соединение двух парадигм: Consistency Models + GAN loss. Использование предобученной диффузионной модели для выделения признаков, на которых считается GAN loss: [https://arxiv.org/abs/2403.12015 Latent Adversarial Diffusion Distillation (LADD)]. Использование диффузионной модели в качестве обучающего сигнала для произвольного вида генератора: метод [https://arxiv.org/abs/2311.18828 Distribution Matching Distillation] (его прототип [https://arxiv.org/abs/2305.18455 Diff-Instruct], конкурентная работа [https://arxiv.org/abs/2312.05239 SwiftBrush] и улучшенная версия [https://arxiv.org/html/2405.14867v1 Improved DMD]).

'''Лекция / Семинар 8.''' Ускорение генерации из диффузионных моделей с помощью солверов ОДУ. Методы, более точно приближающие ОДУ с помощью промежуточных точек: метод Хойна, методы Рунге-Кутта. Линейные многошаговые методы (linear multi-step, LMS): использование только предыдущих значений векторного поля для разностного приближения производных высших порядков. [https://arxiv.org/abs/2206.00927 DPM-Solver]: использование полу-линейной структуры диффузионных ОДУ и log-SNR замены времени для более точного приближения честного решения. [https://disk.yandex.ru/d/pYjKp72UfX9LPw Семинарский ноутбук.]

Обучение сетки дискретизации с помощью дистилляции многошаговой схемы в малошаговую: [https://arxiv.org/abs/2405.15506 LD3]. Обучение коэффициентов солвера: [https://arxiv.org/abs/2502.17423 S4S]. [https://arxiv.org/abs/2510.17699 Generalized Adversarial Solver (GAS)]: эффективная параметризация для обучения сетки дискретизации и коэффициентов солвера, соединение функционала дистилляции с GAN loss для улучшения деталей сгенерированных изображений. Статья написана коллективом из BayesGroup: [https://github.com/3145tttt/GAS GitHub].

'''Лекция / Семинар 9.''' Диффузионные модели как процессы интерполяции между шумом и данными. Модель [https://arxiv.org/abs/2210.02747 Flow Matching] (аналоги [https://arxiv.org/abs/2302.00482 Conditional Flow Matching] и [https://arxiv.org/abs/2209.15571 Stochastic Interpolants]): построение ОДУ, порождающего безусловную динамику при известном ОДУ, порождающем условную динамику. Применение к задаче безусловной генерации. Применение к парным задачам переноса стиля: Flow Matching [https://arxiv.org/abs/2209.03003 снижает] транспортную цену. Представление диффузионных моделей в качестве частного случая модели Flow Matching. Статьи про решение парных задач [https://arxiv.org/abs/2310.03725 на основе ОДУ] и [https://arxiv.org/abs/2302.05872 на основе СДУ].

'''Лекция / Семинар 10.''' Задача оптимального транспорта (ОТ): задача Монжа и Канторовича, их эквивалентность при наличии плотностей у обоих распределений. Применимость модели Flow Matching для непарных задач: снижение транспортной цены не гарантирует хорошего отображения. Алгоритм [https://arxiv.org/abs/2209.03003 Rectified Flow] (теоретическое [https://arxiv.org/abs/2209.14577 дополнение]): повторное обучение Flow Matching (процедуры Rectify) для последовательного снижения транспортной цены отображения. Неподвижные точки Rectify: 4 эквивалентных свойства. Следствие: решение задачи ОТ может быть представлено в виде ОДУ с прямыми траекториями. Задача динамического ОТ, формула Бенаму-Бренье. Интерпретация метода Rectified Flow как чередования проецирования на множество процессов с прямыми траекториями и множество процессов, заданных ОДУ. ОДУ с прямыми траекториями решает задачу ОТ тогда и только тогда, когда векторное поле задается градиентом скалярного. Пример обратного: гауссовское распределение и процесс поворота.

'''Лекция / Семинар 11.''' Диффузионные методы непарного перевода между доменами, классификация на односторонние и двусторонние. Напоминание методов [https://arxiv.org/abs/2108.01073 SDEdit] и [https://arxiv.org/abs/2203.08382 DDIB]: зашумление (стохастическое и детерминированное) исходной картинки и ее расшумление с помощью целевой диффузионной модели. Модификация процесса генерации из целевого распределения с помощью функции энергии: методы [https://arxiv.org/abs/2108.02938 ILVR] и [https://arxiv.org/abs/2207.06635 EGSDE]. Решение задачи ОТ с помощью множителей Лагранжа и соответствующей минимаксной задачи. Метод [https://arxiv.org/abs/2201.12220 Neural Optimal Transport]. Метод [https://arxiv.org/abs/2406.14762 Regularized DMD / RDMD]: соединение distribution matching функционала с транспортной ценой для непарного перевода между доменами (совместная с коллегами работа).

'''Лекция / Семинар 12.''' Метод Bridge Matching: обобщение Flow Matching на стохастический случай для решения парных задач перевода между доменами. Вывод оптимального векторного поля и коэффициента диффузии, порождающих безусловную динамику по условной. h-преобразование Дуба: обуславливание СДУ на конечную точку для получения СДУ, интерполирующего между двумя точками. Пример: обуславливание VE-SDE. Пример: если g(t) = const, обуславливание VE-SDE порождает Броуновский мост. Хорошо описан в статьях [https://arxiv.org/abs/2302.11419 Aligned Diffusion Schrödinger Bridges] и [https://arxiv.org/abs/2303.16852 Diffusion Schrödinger Bridge Matching]. Применение к обратным задачам: статья [https://arxiv.org/abs/2302.05872 I2SB: Image-to-Image Schrödinger Bridge]. Общий вид h-преобразования Дуба для превращения СДУ, приходящего в p(x), в СДУ, приходящее в распределение, пропорциональное p(x)h(x).

'''Лекция / Семинар 13.''' Задача Моста Шрёдингера: определение, мотивация, применение к задачам генеративного моделирования, дообучения под награду и перевода между доменами. Свойства КЛ-дивергенции: chain rule и data processing inequality. КЛ-дивергенция между двумя случайными процессами, определение через дискретизацию. Задача Моста Шрёдингера: общая формулировка через минимизацию КЛ-дивергенции с референсным процессом. Chain rule для КЛ-дивергенции между двумя процессами. Следствие: если референсный процесс Винеровский, то условное распределение Моста Шрёдингера совпадает с Броуновским мостом. Статическая задача моста Шрёдингера, эквивалентность с энтропийной задачей ОТ в случае Винеровского референсного процесса. КЛ-дивергенция между двумя СДУ: теорема Гирсанова. Следствие: метод Denoising Score Matching (с правильно подобранными коэффициентами при моментах времени) минимизирует КЛ-дивергенцию между обучаемым и настоящим обратным процессом.

'''Лекция / Семинар 14.''' Мост Шрёдингера как единственный процесс, который переводит p_0 в p_1, задается некоторым СДУ и имеет Броуновский мост в качестве условного распределения. Метод [https://arxiv.org/abs/2303.16852 Diffusion Schrödinger Bridge Matching]: последовательное обучение Bridge Matching на парах из предыдущего Bridge Matching. Смысл: последовательное проецирование процесса на множество R (Reciprocal) процессов с Броуновским мостом в качестве условного и множество M (Марковских) процессов, задаваемых СДУ. Каждый шаг алгоритма является проекцией с точки зрения КЛ-дивергенции, справедлива теорема Пифагора. Следствие: КЛ между текущим процессом и МШ не увеличивается, МШ является неподвижной точкой процедуры. Решение задачи МШ через стохастическое оптимальное управление и множители Лагранжа: метод Entropic Neural Optimal Transport ([https://arxiv.org/abs/2211.01156 ENOT]). Решение задачи стохастического оптимального управления для задачи дообучения диффузионного процесса под награду.

== Материалы прошлых лет ==

[http://wiki.cs.hse.ru/%D0%93%D0%B5%D0%BD%D0%B5%D1%80%D0%B0%D1%82%D0%B8%D0%B2%D0%BD%D1%8B%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8_%D0%BD%D0%B0_%D0%BE%D1%81%D0%BD%D0%BE%D0%B2%D0%B5_%D0%B4%D0%B8%D1%84%D1%84%D1%83%D0%B7%D0%B8%D0%B8 2024-2025 учебный год]

[http://wiki.cs.hse.ru/%D0%93%D0%B5%D0%BD%D0%B5%D1%80%D0%B0%D1%82%D0%B8%D0%B2%D0%BD%D1%8B%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8_%D0%BD%D0%B0_%D0%BE%D1%81%D0%BD%D0%BE%D0%B2%D0%B5_ODE_%D0%B8_SDE Факультатив по ODE/SDE моделям (2023-2024)]

Генеративные модели на основе диффузии 25/26

2025-12-16T01:41:06Z

Rakitinden:

== Общая информация ==
Курс предназначен для студентов 4 курса ФКН ПМИ, но приглашаются все желающие, уверенно знающие математику младших курсов (в особенности теорию вероятностей), базово ориентирующиеся в глубинном обучении и программировании на PyTorch.

Занятия проходят '''по средам 13:00-16:00''', аудитория '''R208''' (переносы будут сообщаться в чате).

'''Лектор''': [https://t.me/denrakitin23 Денис Ракитин]

'''Семинарист''': [https://t.me/welmud Александр Оганов]

'''Ассистент''': [https://t.me/AlZayts Александр Зайцев]

[https://t.me/+Xq_PPtsvzH4xMGIy '''Чат курса''']

[https://disk.yandex.ru/i/Ei91FPvh5UEkpA '''Программа и описание курса''']

== Оценки ==

=== [https://docs.google.com/spreadsheets/d/1UD81jm28TwYHMyGFTeFLw62BVFvw1OaDePQ2mnWIkH8/edit?usp=sharing Таблица с оценками] ===

Формула итоговой оценки: Оитог = 0.3 * Отдз + 0.2 * Опдз + 0.2 * Опроект + 0.3 * Оэкз. Округление арифметическое.

Отдз и Опдз обозначают средние оценки за теоретические/практические дз, соответственно.

== Экзамен ==

=== [https://disk.yandex.ru/i/2ZzK4FusskkR9Q Программа] ===

Экзамен устный, состоит из билета и двух дополнительных вопросов. Один из дополнительных вопросов — задача, второй — вопрос на усмотрение принимающего (может быть задачей или вопросом по другим билетам). Разбалловка: 4 балла за билет и по 3 балла за доп. вопрос.

== Проект ==

Состоит в реализации и проведении экспериментов с одной из рассмотренных на курсе моделей.
Проект командный. Команда может включать не более 4 человек, для 3-4 человек в проекте будет дополнительное задание.
Сдача проекта включает в себя github-репозиторий с имплементацией и написанный в pdf отчет.
Оценка будет ставиться по трем критериям. Объем работы оценивается из 4 баллов, качество отчета и полученных результатов в 3 балла.

Подробное описание находится [https://disk.yandex.ru/i/cpdl5wvHRcu91w здесь] (нужно будет скачать, чтобы работали ссылки).

Дедлайн: 21 декабря 23:59.

== Домашние задания ==

Домашние задания будут выдаваться в день лекции, то есть по средам, на некоторое число недель вперед. Мягкие дедлайны будут по средам. Жесткий дедлайн будет в воскресенье той же недели. За каждый день просрочки коэффициент при оценке уменьшается на 0.1. Таким образом, позднее всего можно сдать домашнее задание в воскресенье с коэффициентом 0.6.

Сдаются в [https://anytask.org/course/1215 Anytask], инвайт t6bwFj5

В курсе будут 5 теоретических и 3 практических домашних задания. Вес у всех задач одинаковый, задачи оцениваются из 1 балла. Если в задачах есть пункты, то будет подписано количество баллов за каждый пункт, иначе баллы между пунктами делятся поровну.

===Теория===

[https://disk.yandex.ru/i/-lkBxvxp30-EHw ДЗ-1], [https://www.overleaf.com/read/bkvkjsfkgtnj#cad343 TeX исходник], мягкий дедлайн 24 сентября 23:59 (среда), жесткий дедлайн 28 сентября 23:59 (воскресенье).

[https://disk.yandex.ru/i/CECxe7biFDMM9A ДЗ-2], [https://www.overleaf.com/read/cpknqsqwcgvw#c442e0 ТеХ исходник], мягкий дедлайн 2 октября 23:59 (четверг), жесткий дедлайн 6 октября 23:59 (понедельник).

[https://disk.yandex.ru/i/uYK4QfGMdxwMOQ ДЗ-3], [https://www.overleaf.com/read/rmnxbpctnywp#2edc9c ТеХ исходник], мягкий дедлайн 22 октября 23:59 (среда), жесткий дедлайн 2 ноября 23:59 (воскресенье). Сессионные дни 25-31 октября не учитываются при снижении оценки за просрочку.

[https://disk.yandex.ru/i/aGDo5aHbMtakKA ДЗ-4], [https://www.overleaf.com/read/zbdyrbtscqsp#252754 ТеХ исходник], мягкий дедлайн 10 декабря 23:59 (среда), жесткий дедлайн 14 декабря 23:59 (воскресенье).
===Практика===

[https://disk.yandex.ru/d/D_7g3UDaYXK4Lg ДЗ-1], мягкий дедлайн 12 ноября 23:59 (среда), жесткий дедлайн 16 ноября 23:59 (воскресенье).

[https://disk.yandex.ru/d/kUzy1q49WP1lCg ДЗ-2], жесткий дедлайн 17 декабря 23:59 (среда).

== Лекции и семинары ==
[https://disk.yandex.ru/i/RJsps26HeG8ysQ '''Конспект лекций в процессе''']

[https://disk.yandex.ru/d/0N-1_Oz5COHN3A '''Записи лекций и семинаров''']

[https://disk.yandex.ru/d/uADNnoWxBWJJ-A '''Семинарские задачи''']

'''Лекция / Семинар 1.''' Генеративное моделирование. Семейства генеративных моделей: вариационные автокодировщики (VAEs), генеративно-состязательные сети (GANs), диффузионные модели. Генеративная трилемма: генеративная модель должна обладать высоким качеством генерации, высоким разнообразием и скоростью генерирования. Повтор теории вероятностей: совместная и условная плотность, формула Байеса, подсчет матожиданий через плотности. Условное матожидание (УМО): определение через интеграл условной плотности. Свойства: линейность, формула полного матожидания, вынос функции от условия за УМО, УМО от независимой величины равна безусловному матожиданию. Условное матожидание как наилучшее предсказание в среднеквадратичном.

Гауссовские векторы/многомерное нормальное распределение. Три эквивалентных определения, формула плотности. Аффинная замена гауссовских векторов, эквивалентность независимости и некоррелированности их компонент, ортогональное разложение, условное распределение компоненты относительно другой компоненты.

'''Лекция / Семинар 2.''' Процессы зашумления с дискретным временем: процесс с сохраняющейся (variance preserving, VP) и взрывающейся (variance exploding, VE) дисперсией. Определение марковской цепи. Процессы зашумления являются марковскими цепями. Переходные плотности VP и VE процессов. Обучение диффузионной модели (статья [https://arxiv.org/abs/2006.11239 DDPM]) через минимизацию КЛ дивергенции между совместным распределением процесса зашумления и процесса, заданного моделью (модель с гауссовскими переходами "назад" по времени, в которой нейросеть предсказывает среднее). Декомпозиция КЛ дивергенции через сумму КЛ дивергенций переходных распределений. Эквивалентность функционала обучению нейросети-денойзера для предсказания чистой картинки по шумной.

Свойства марковских цепей: обращенный по времени марковский процесс является марковским; процесс, обусловленный на конечную точку, также является марковским. Подсчет КЛ дивергенции между многомерными нормальными распределениями.

'''Лекция / Семинар 3.''' Обыкновенные дифференциальные уравнения (ОДУ), схема Эйлера. Построение непрерывного аналога процесса удаления картинки, заданного через ОДУ. Определение Винеровского процесса. (Псевдо)-определение стохастических дифференциальных уравнений (СДУ) через схему Эйлера. Построение непрерывных по времени аналогов VP и VE процессов: СДУ с сохраняющейся (VP-SDE) и взрывающейся (VE-SDE) дисперсией. Подсчет переходных распределений VE-SDE и VP-SDE с помощью решения линейных ОДУ.

Линейные СДУ вида dX_t = f(t) X_t dt + g(t) dW_t: обобщение VE/VP-SDE. Переходные плотности в линейных СДУ такого вида: гауссовское распределение, линейные ОДУ на матожидание и дисперсию, их решение. Визуализация непрерывных процессов зашумления: [https://disk.yandex.ru/d/H0Mbf6w2aL55Tg ноутбук], [https://disk.yandex.ru/d/BTKuym0Kxbzeww заполненный ноутбук].

'''Лекция / Семинар 4.''' Эволюция плотности частицы, движущейся под действием ОДУ/СДУ: уравнение непрерывности и уравнение Фоккера-Планка. Вывод общего вида законов сохранения (взято из курса [http://wiki.cs.hse.ru/%D0%A3%D1%80%D0%B0%D0%B2%D0%BD%D0%B5%D0%BD%D0%B8%D1%8F_%D1%81_%D1%87%D0%B0%D1%81%D1%82%D0%BD%D1%8B%D0%BC%D0%B8_%D0%BF%D1%80%D0%BE%D0%B8%D0%B7%D0%B2%D0%BE%D0%B4%D0%BD%D1%8B%D0%BC%D0%B8_(2022-2023) УрЧП]). Интерпретация уравнения непрерывности,
теплопроводности и Фоккера-Планка через законы сохранения. Решение транспортного уравнения с константным сносом. Логарифмическое уравнение непрерывности, его решение методом характеристик. Применение к подсчету правдоподобия модели, заданной ОДУ.

'''Лекция / Семинар 5.''' Диффузионные модели с [https://arxiv.org/abs/2011.13456 непрерывным временем]. Переход от СДУ к ОДУ и обратно. Обращение ОДУ по времени. Обращение СДУ по времени ([https://core.ac.uk/download/pdf/82826666.pdf оригинальная статья]) с помощью схемы СДУ -> ОДУ -> обратное ОДУ -> обратное СДУ. Score функция, ее представление через условное матожидание условной score функции, интерпретация и обучение методом [https://arxiv.org/abs/1907.05600 Denoising Score Matching]. Эквивалентность Denoising Score Matching обучению модели, предсказывающей чистое изображение/шум в изображении.

Выражение score функции VP-SDE через score функцию VE-SDE. Применение: имея обученную модель-денойзер, можно семплировать из VP-SDE и VE-SDE без переобучения модели. Предельное распределение однородного СДУ, связь со стационарным распределением, сведение к однородному уравнению Фоккера-Планка (d/dt p_t(x) = 0). Динамика Ланжевена: снос в СДУ, сходящейся к распределению p(x), с точностью до константы совпадает со score функцией. Применение к генерации семплов из распределения p(x) и связь с градиентным подъемом.

'''Лекция / Семинар 6.''' Имплементация диффузионных моделей на практике: [https://disk.yandex.ru/d/WWwuJvGdoGlPCQ ноутбук]. Denoising Score Matching для обучения обусловленных диффузионных моделей. Обуславливание безусловных диффузионных моделей с помощью шумного классификатора: [https://arxiv.org/abs/2105.05233 Classifier Guidance], контролирование баланса между правдоподобием и разнообразием семплов. Перенос той же техники на предобученные условные модели: [https://arxiv.org/abs/2207.12598 Classifier-free Guidance].

'''Лекция / Семинар 7.''' Дистилляция диффузионных моделей. Функциональная дистилляция, состоящая в обучении генератора на повтор траектории ОДУ диффузионной модели: простая дистилляция, [https://arxiv.org/abs/2303.01469 Consistency Models]. Классический способ получить обучающий сигнал для попадания в распределение: Генеративно-состязательные сети ([https://arxiv.org/abs/1406.2661 GANs]), вывод лог-лосса, интерпретация через минимизацию дивергенции Йенсена-Шеннона. Соединение двух парадигм: Consistency Models + GAN loss. Использование предобученной диффузионной модели для выделения признаков, на которых считается GAN loss: [https://arxiv.org/abs/2403.12015 Latent Adversarial Diffusion Distillation (LADD)]. Использование диффузионной модели в качестве обучающего сигнала для произвольного вида генератора: метод [https://arxiv.org/abs/2311.18828 Distribution Matching Distillation] (его прототип [https://arxiv.org/abs/2305.18455 Diff-Instruct], конкурентная работа [https://arxiv.org/abs/2312.05239 SwiftBrush] и улучшенная версия [https://arxiv.org/html/2405.14867v1 Improved DMD]).

'''Лекция / Семинар 8.''' Ускорение генерации из диффузионных моделей с помощью солверов ОДУ. Методы, более точно приближающие ОДУ с помощью промежуточных точек: метод Хойна, методы Рунге-Кутта. Линейные многошаговые методы (linear multi-step, LMS): использование только предыдущих значений векторного поля для разностного приближения производных высших порядков. [https://arxiv.org/abs/2206.00927 DPM-Solver]: использование полу-линейной структуры диффузионных ОДУ и log-SNR замены времени для более точного приближения честного решения. [https://disk.yandex.ru/d/pYjKp72UfX9LPw Семинарский ноутбук.]

Обучение сетки дискретизации с помощью дистилляции многошаговой схемы в малошаговую: [https://arxiv.org/abs/2405.15506 LD3]. Обучение коэффициентов солвера: [https://arxiv.org/abs/2502.17423 S4S]. [https://arxiv.org/abs/2510.17699 Generalized Adversarial Solver (GAS)]: эффективная параметризация для обучения сетки дискретизации и коэффициентов солвера, соединение функционала дистилляции с GAN loss для улучшения деталей сгенерированных изображений. Статья написана коллективом из BayesGroup: [https://github.com/3145tttt/GAS GitHub].

'''Лекция / Семинар 9.''' Диффузионные модели как процессы интерполяции между шумом и данными. Модель [https://arxiv.org/abs/2210.02747 Flow Matching] (аналоги [https://arxiv.org/abs/2302.00482 Conditional Flow Matching] и [https://arxiv.org/abs/2209.15571 Stochastic Interpolants]): построение ОДУ, порождающего безусловную динамику при известном ОДУ, порождающем условную динамику. Применение к задаче безусловной генерации. Применение к парным задачам переноса стиля: Flow Matching [https://arxiv.org/abs/2209.03003 снижает] транспортную цену. Представление диффузионных моделей в качестве частного случая модели Flow Matching. Статьи про решение парных задач [https://arxiv.org/abs/2310.03725 на основе ОДУ] и [https://arxiv.org/abs/2302.05872 на основе СДУ].

'''Лекция / Семинар 10.''' Задача оптимального транспорта (ОТ): задача Монжа и Канторовича, их эквивалентность при наличии плотностей у обоих распределений. Применимость модели Flow Matching для непарных задач: снижение транспортной цены не гарантирует хорошего отображения. Алгоритм [https://arxiv.org/abs/2209.03003 Rectified Flow] (теоретическое [https://arxiv.org/abs/2209.14577 дополнение]): повторное обучение Flow Matching (процедуры Rectify) для последовательного снижения транспортной цены отображения. Неподвижные точки Rectify: 4 эквивалентных свойства. Следствие: решение задачи ОТ может быть представлено в виде ОДУ с прямыми траекториями. Задача динамического ОТ, формула Бенаму-Бренье. Интерпретация метода Rectified Flow как чередования проецирования на множество процессов с прямыми траекториями и множество процессов, заданных ОДУ. ОДУ с прямыми траекториями решает задачу ОТ тогда и только тогда, когда векторное поле задается градиентом скалярного. Пример обратного: гауссовское распределение и процесс поворота.

'''Лекция / Семинар 11.''' Диффузионные методы непарного перевода между доменами, классификация на односторонние и двусторонние. Напоминание методов [https://arxiv.org/abs/2108.01073 SDEdit] и [https://arxiv.org/abs/2203.08382 DDIB]: зашумление (стохастическое и детерминированное) исходной картинки и ее расшумление с помощью целевой диффузионной модели. Модификация процесса генерации из целевого распределения с помощью функции энергии: методы [https://arxiv.org/abs/2108.02938 ILVR] и [https://arxiv.org/abs/2207.06635 EGSDE]. Решение задачи ОТ с помощью множителей Лагранжа и соответствующей минимаксной задачи. Метод [https://arxiv.org/abs/2201.12220 Neural Optimal Transport]. Метод [https://arxiv.org/abs/2406.14762 Regularized DMD / RDMD]: соединение distribution matching функционала с транспортной ценой для непарного перевода между доменами (совместная с коллегами работа).

'''Лекция / Семинар 12.''' Метод Bridge Matching: обобщение Flow Matching на стохастический случай для решения парных задач перевода между доменами. Вывод оптимального векторного поля и коэффициента диффузии, порождающих безусловную динамику по условной. h-преобразование Дуба: обуславливание СДУ на конечную точку для получения СДУ, интерполирующего между двумя точками. Пример: обуславливание VE-SDE. Пример: если g(t) = const, обуславливание VE-SDE порождает Броуновский мост. Хорошо описан в статьях [https://arxiv.org/abs/2302.11419 Aligned Diffusion Schrödinger Bridges] и [https://arxiv.org/abs/2303.16852 Diffusion Schrödinger Bridge Matching]. Применение к обратным задачам: статья [https://arxiv.org/abs/2302.05872 I2SB: Image-to-Image Schrödinger Bridge]. Общий вид h-преобразования Дуба для превращения СДУ, приходящего в p(x), в СДУ, приходящее в распределение, пропорциональное p(x)h(x).

'''Лекция / Семинар 13.''' Задача Моста Шрёдингера: определение, мотивация, применение к задачам генеративного моделирования, дообучения под награду и перевода между доменами. Свойства КЛ-дивергенции: chain rule и data processing inequality. КЛ-дивергенция между двумя случайными процессами, определение через дискретизацию. Задача Моста Шрёдингера: общая формулировка через минимизацию КЛ-дивергенции с референсным процессом. Chain rule для КЛ-дивергенции между двумя процессами. Следствие: если референсный процесс Винеровский, то условное распределение Моста Шрёдингера совпадает с Броуновским мостом. Статическая задача моста Шрёдингера, эквивалентность с энтропийной задачей ОТ в случае Винеровского референсного процесса. КЛ-дивергенция между двумя СДУ: теорема Гирсанова. Следствие: метод Denoising Score Matching (с правильно подобранными коэффициентами при моментах времени) минимизирует КЛ-дивергенцию между обучаемым и настоящим обратным процессом.

'''Лекция / Семинар 14.''' Мост Шрёдингера как единственный процесс, который переводит p_0 в p_1, задается некоторым СДУ и имеет Броуновский мост в качестве условного распределения. Метод [https://arxiv.org/abs/2303.16852 Diffusion Schrödinger Bridge Matching]: последовательное обучение Bridge Matching на парах из предыдущего Bridge Matching. Смысл: последовательное проецирование процесса на множество R (Reciprocal) процессов с Броуновским мостом в качестве условного и множество M (Марковских) процессов, задаваемых СДУ. Каждый шаг алгоритма является проекцией с точки зрения КЛ-дивергенции, справедлива теорема Пифагора. Следствие: КЛ между текущим процессом и МШ не увеличивается, МШ является неподвижной точкой процедуры. Решение задачи МШ через стохастическое оптимальное управление и множители Лагранжа: метод Entropic Neural Optimal Transport ([https://arxiv.org/abs/2211.01156 ENOT]). Решение задачи стохастического оптимального управления для задачи дообучения диффузионного процесса под награду.

== Материалы прошлых лет ==

[http://wiki.cs.hse.ru/%D0%93%D0%B5%D0%BD%D0%B5%D1%80%D0%B0%D1%82%D0%B8%D0%B2%D0%BD%D1%8B%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8_%D0%BD%D0%B0_%D0%BE%D1%81%D0%BD%D0%BE%D0%B2%D0%B5_%D0%B4%D0%B8%D1%84%D1%84%D1%83%D0%B7%D0%B8%D0%B8 2024-2025 учебный год]

[http://wiki.cs.hse.ru/%D0%93%D0%B5%D0%BD%D0%B5%D1%80%D0%B0%D1%82%D0%B8%D0%B2%D0%BD%D1%8B%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8_%D0%BD%D0%B0_%D0%BE%D1%81%D0%BD%D0%BE%D0%B2%D0%B5_ODE_%D0%B8_SDE Факультатив по ODE/SDE моделям (2023-2024)]

Генеративные модели на основе диффузии 25/26

2025-12-14T21:54:07Z

Rakitinden:

== Общая информация ==
Курс предназначен для студентов 4 курса ФКН ПМИ, но приглашаются все желающие, уверенно знающие математику младших курсов (в особенности теорию вероятностей), базово ориентирующиеся в глубинном обучении и программировании на PyTorch.

Занятия проходят '''по средам 13:00-16:00''', аудитория '''R208''' (переносы будут сообщаться в чате).

'''Лектор''': [https://t.me/denrakitin23 Денис Ракитин]

'''Семинарист''': [https://t.me/welmud Александр Оганов]

'''Ассистент''': [https://t.me/AlZayts Александр Зайцев]

[https://t.me/+Xq_PPtsvzH4xMGIy '''Чат курса''']

[https://disk.yandex.ru/i/Ei91FPvh5UEkpA '''Программа и описание курса''']

== Оценки ==

=== [https://docs.google.com/spreadsheets/d/1UD81jm28TwYHMyGFTeFLw62BVFvw1OaDePQ2mnWIkH8/edit?usp=sharing Таблица с оценками] ===

Формула итоговой оценки: Оитог = 0.3 * Отдз + 0.2 * Опдз + 0.2 * Опроект + 0.3 * Оэкз. Округление арифметическое.

Отдз и Опдз обозначают средние оценки за теоретические/практические дз, соответственно.

== Экзамен ==

=== [https://disk.yandex.ru/i/9-XGaOLZOZ3mRQ Программа предыдущего года] ===

Экзамен устный, состоит из билета и двух дополнительных вопросов. Один из дополнительных вопросов — задача, второй — вопрос на усмотрение принимающего (может быть задачей или вопросом по другим билетам). Разбалловка: 4 балла за билет и по 3 балла за доп. вопрос.

== Проект ==

Состоит в реализации и проведении экспериментов с одной из рассмотренных на курсе моделей.
Проект командный. Команда может включать не более 4 человек, для 3-4 человек в проекте будет дополнительное задание.
Сдача проекта включает в себя github-репозиторий с имплементацией и написанный в pdf отчет.
Оценка будет ставиться по трем критериям. Объем работы оценивается из 4 баллов, качество отчета и полученных результатов в 3 балла.

Подробное описание находится [https://disk.yandex.ru/i/cpdl5wvHRcu91w здесь] (нужно будет скачать, чтобы работали ссылки).

Дедлайн: 21 декабря 23:59.

== Домашние задания ==

Домашние задания будут выдаваться в день лекции, то есть по средам, на некоторое число недель вперед. Мягкие дедлайны будут по средам. Жесткий дедлайн будет в воскресенье той же недели. За каждый день просрочки коэффициент при оценке уменьшается на 0.1. Таким образом, позднее всего можно сдать домашнее задание в воскресенье с коэффициентом 0.6.

Сдаются в [https://anytask.org/course/1215 Anytask], инвайт t6bwFj5

В курсе будут 5 теоретических и 3 практических домашних задания. Вес у всех задач одинаковый, задачи оцениваются из 1 балла. Если в задачах есть пункты, то будет подписано количество баллов за каждый пункт, иначе баллы между пунктами делятся поровну.

===Теория===

[https://disk.yandex.ru/i/-lkBxvxp30-EHw ДЗ-1], [https://www.overleaf.com/read/bkvkjsfkgtnj#cad343 TeX исходник], мягкий дедлайн 24 сентября 23:59 (среда), жесткий дедлайн 28 сентября 23:59 (воскресенье).

[https://disk.yandex.ru/i/CECxe7biFDMM9A ДЗ-2], [https://www.overleaf.com/read/cpknqsqwcgvw#c442e0 ТеХ исходник], мягкий дедлайн 2 октября 23:59 (четверг), жесткий дедлайн 6 октября 23:59 (понедельник).

[https://disk.yandex.ru/i/uYK4QfGMdxwMOQ ДЗ-3], [https://www.overleaf.com/read/rmnxbpctnywp#2edc9c ТеХ исходник], мягкий дедлайн 22 октября 23:59 (среда), жесткий дедлайн 2 ноября 23:59 (воскресенье). Сессионные дни 25-31 октября не учитываются при снижении оценки за просрочку.

[https://disk.yandex.ru/i/aGDo5aHbMtakKA ДЗ-4], [https://www.overleaf.com/read/zbdyrbtscqsp#252754 ТеХ исходник], мягкий дедлайн 10 декабря 23:59 (среда), жесткий дедлайн 14 декабря 23:59 (воскресенье).
===Практика===

[https://disk.yandex.ru/d/D_7g3UDaYXK4Lg ДЗ-1], мягкий дедлайн 12 ноября 23:59 (среда), жесткий дедлайн 16 ноября 23:59 (воскресенье).

[https://disk.yandex.ru/d/kUzy1q49WP1lCg ДЗ-2], жесткий дедлайн 17 декабря 23:59 (среда).

== Лекции и семинары ==
[https://disk.yandex.ru/i/RJsps26HeG8ysQ '''Конспект лекций в процессе''']

[https://disk.yandex.ru/d/0N-1_Oz5COHN3A '''Записи лекций и семинаров''']

[https://disk.yandex.ru/d/uADNnoWxBWJJ-A '''Семинарские задачи''']

'''Лекция / Семинар 1.''' Генеративное моделирование. Семейства генеративных моделей: вариационные автокодировщики (VAEs), генеративно-состязательные сети (GANs), диффузионные модели. Генеративная трилемма: генеративная модель должна обладать высоким качеством генерации, высоким разнообразием и скоростью генерирования. Повтор теории вероятностей: совместная и условная плотность, формула Байеса, подсчет матожиданий через плотности. Условное матожидание (УМО): определение через интеграл условной плотности. Свойства: линейность, формула полного матожидания, вынос функции от условия за УМО, УМО от независимой величины равна безусловному матожиданию. Условное матожидание как наилучшее предсказание в среднеквадратичном.

Гауссовские векторы/многомерное нормальное распределение. Три эквивалентных определения, формула плотности. Аффинная замена гауссовских векторов, эквивалентность независимости и некоррелированности их компонент, ортогональное разложение, условное распределение компоненты относительно другой компоненты.

'''Лекция / Семинар 2.''' Процессы зашумления с дискретным временем: процесс с сохраняющейся (variance preserving, VP) и взрывающейся (variance exploding, VE) дисперсией. Определение марковской цепи. Процессы зашумления являются марковскими цепями. Переходные плотности VP и VE процессов. Обучение диффузионной модели (статья [https://arxiv.org/abs/2006.11239 DDPM]) через минимизацию КЛ дивергенции между совместным распределением процесса зашумления и процесса, заданного моделью (модель с гауссовскими переходами "назад" по времени, в которой нейросеть предсказывает среднее). Декомпозиция КЛ дивергенции через сумму КЛ дивергенций переходных распределений. Эквивалентность функционала обучению нейросети-денойзера для предсказания чистой картинки по шумной.

Свойства марковских цепей: обращенный по времени марковский процесс является марковским; процесс, обусловленный на конечную точку, также является марковским. Подсчет КЛ дивергенции между многомерными нормальными распределениями.

'''Лекция / Семинар 3.''' Обыкновенные дифференциальные уравнения (ОДУ), схема Эйлера. Построение непрерывного аналога процесса удаления картинки, заданного через ОДУ. Определение Винеровского процесса. (Псевдо)-определение стохастических дифференциальных уравнений (СДУ) через схему Эйлера. Построение непрерывных по времени аналогов VP и VE процессов: СДУ с сохраняющейся (VP-SDE) и взрывающейся (VE-SDE) дисперсией. Подсчет переходных распределений VE-SDE и VP-SDE с помощью решения линейных ОДУ.

Линейные СДУ вида dX_t = f(t) X_t dt + g(t) dW_t: обобщение VE/VP-SDE. Переходные плотности в линейных СДУ такого вида: гауссовское распределение, линейные ОДУ на матожидание и дисперсию, их решение. Визуализация непрерывных процессов зашумления: [https://disk.yandex.ru/d/H0Mbf6w2aL55Tg ноутбук], [https://disk.yandex.ru/d/BTKuym0Kxbzeww заполненный ноутбук].

'''Лекция / Семинар 4.''' Эволюция плотности частицы, движущейся под действием ОДУ/СДУ: уравнение непрерывности и уравнение Фоккера-Планка. Вывод общего вида законов сохранения (взято из курса [http://wiki.cs.hse.ru/%D0%A3%D1%80%D0%B0%D0%B2%D0%BD%D0%B5%D0%BD%D0%B8%D1%8F_%D1%81_%D1%87%D0%B0%D1%81%D1%82%D0%BD%D1%8B%D0%BC%D0%B8_%D0%BF%D1%80%D0%BE%D0%B8%D0%B7%D0%B2%D0%BE%D0%B4%D0%BD%D1%8B%D0%BC%D0%B8_(2022-2023) УрЧП]). Интерпретация уравнения непрерывности,
теплопроводности и Фоккера-Планка через законы сохранения. Решение транспортного уравнения с константным сносом. Логарифмическое уравнение непрерывности, его решение методом характеристик. Применение к подсчету правдоподобия модели, заданной ОДУ.

'''Лекция / Семинар 5.''' Диффузионные модели с [https://arxiv.org/abs/2011.13456 непрерывным временем]. Переход от СДУ к ОДУ и обратно. Обращение ОДУ по времени. Обращение СДУ по времени ([https://core.ac.uk/download/pdf/82826666.pdf оригинальная статья]) с помощью схемы СДУ -> ОДУ -> обратное ОДУ -> обратное СДУ. Score функция, ее представление через условное матожидание условной score функции, интерпретация и обучение методом [https://arxiv.org/abs/1907.05600 Denoising Score Matching]. Эквивалентность Denoising Score Matching обучению модели, предсказывающей чистое изображение/шум в изображении.

Выражение score функции VP-SDE через score функцию VE-SDE. Применение: имея обученную модель-денойзер, можно семплировать из VP-SDE и VE-SDE без переобучения модели. Предельное распределение однородного СДУ, связь со стационарным распределением, сведение к однородному уравнению Фоккера-Планка (d/dt p_t(x) = 0). Динамика Ланжевена: снос в СДУ, сходящейся к распределению p(x), с точностью до константы совпадает со score функцией. Применение к генерации семплов из распределения p(x) и связь с градиентным подъемом.

'''Лекция / Семинар 6.''' Имплементация диффузионных моделей на практике: [https://disk.yandex.ru/d/WWwuJvGdoGlPCQ ноутбук]. Denoising Score Matching для обучения обусловленных диффузионных моделей. Обуславливание безусловных диффузионных моделей с помощью шумного классификатора: [https://arxiv.org/abs/2105.05233 Classifier Guidance], контролирование баланса между правдоподобием и разнообразием семплов. Перенос той же техники на предобученные условные модели: [https://arxiv.org/abs/2207.12598 Classifier-free Guidance].

'''Лекция / Семинар 7.''' Дистилляция диффузионных моделей. Функциональная дистилляция, состоящая в обучении генератора на повтор траектории ОДУ диффузионной модели: простая дистилляция, [https://arxiv.org/abs/2303.01469 Consistency Models]. Классический способ получить обучающий сигнал для попадания в распределение: Генеративно-состязательные сети ([https://arxiv.org/abs/1406.2661 GANs]), вывод лог-лосса, интерпретация через минимизацию дивергенции Йенсена-Шеннона. Соединение двух парадигм: Consistency Models + GAN loss. Использование предобученной диффузионной модели для выделения признаков, на которых считается GAN loss: [https://arxiv.org/abs/2403.12015 Latent Adversarial Diffusion Distillation (LADD)]. Использование диффузионной модели в качестве обучающего сигнала для произвольного вида генератора: метод [https://arxiv.org/abs/2311.18828 Distribution Matching Distillation] (его прототип [https://arxiv.org/abs/2305.18455 Diff-Instruct], конкурентная работа [https://arxiv.org/abs/2312.05239 SwiftBrush] и улучшенная версия [https://arxiv.org/html/2405.14867v1 Improved DMD]).

'''Лекция / Семинар 8.''' Ускорение генерации из диффузионных моделей с помощью солверов ОДУ. Методы, более точно приближающие ОДУ с помощью промежуточных точек: метод Хойна, методы Рунге-Кутта. Линейные многошаговые методы (linear multi-step, LMS): использование только предыдущих значений векторного поля для разностного приближения производных высших порядков. [https://arxiv.org/abs/2206.00927 DPM-Solver]: использование полу-линейной структуры диффузионных ОДУ и log-SNR замены времени для более точного приближения честного решения. [https://disk.yandex.ru/d/pYjKp72UfX9LPw Семинарский ноутбук.]

Обучение сетки дискретизации с помощью дистилляции многошаговой схемы в малошаговую: [https://arxiv.org/abs/2405.15506 LD3]. Обучение коэффициентов солвера: [https://arxiv.org/abs/2502.17423 S4S]. [https://arxiv.org/abs/2510.17699 Generalized Adversarial Solver (GAS)]: эффективная параметризация для обучения сетки дискретизации и коэффициентов солвера, соединение функционала дистилляции с GAN loss для улучшения деталей сгенерированных изображений. Статья написана коллективом из BayesGroup: [https://github.com/3145tttt/GAS GitHub].

'''Лекция / Семинар 9.''' Диффузионные модели как процессы интерполяции между шумом и данными. Модель [https://arxiv.org/abs/2210.02747 Flow Matching] (аналоги [https://arxiv.org/abs/2302.00482 Conditional Flow Matching] и [https://arxiv.org/abs/2209.15571 Stochastic Interpolants]): построение ОДУ, порождающего безусловную динамику при известном ОДУ, порождающем условную динамику. Применение к задаче безусловной генерации. Применение к парным задачам переноса стиля: Flow Matching [https://arxiv.org/abs/2209.03003 снижает] транспортную цену. Представление диффузионных моделей в качестве частного случая модели Flow Matching. Статьи про решение парных задач [https://arxiv.org/abs/2310.03725 на основе ОДУ] и [https://arxiv.org/abs/2302.05872 на основе СДУ].

'''Лекция / Семинар 10.''' Задача оптимального транспорта (ОТ): задача Монжа и Канторовича, их эквивалентность при наличии плотностей у обоих распределений. Применимость модели Flow Matching для непарных задач: снижение транспортной цены не гарантирует хорошего отображения. Алгоритм [https://arxiv.org/abs/2209.03003 Rectified Flow] (теоретическое [https://arxiv.org/abs/2209.14577 дополнение]): повторное обучение Flow Matching (процедуры Rectify) для последовательного снижения транспортной цены отображения. Неподвижные точки Rectify: 4 эквивалентных свойства. Следствие: решение задачи ОТ может быть представлено в виде ОДУ с прямыми траекториями. Задача динамического ОТ, формула Бенаму-Бренье. Интерпретация метода Rectified Flow как чередования проецирования на множество процессов с прямыми траекториями и множество процессов, заданных ОДУ. ОДУ с прямыми траекториями решает задачу ОТ тогда и только тогда, когда векторное поле задается градиентом скалярного. Пример обратного: гауссовское распределение и процесс поворота.

'''Лекция / Семинар 11.''' Диффузионные методы непарного перевода между доменами, классификация на односторонние и двусторонние. Напоминание методов [https://arxiv.org/abs/2108.01073 SDEdit] и [https://arxiv.org/abs/2203.08382 DDIB]: зашумление (стохастическое и детерминированное) исходной картинки и ее расшумление с помощью целевой диффузионной модели. Модификация процесса генерации из целевого распределения с помощью функции энергии: методы [https://arxiv.org/abs/2108.02938 ILVR] и [https://arxiv.org/abs/2207.06635 EGSDE]. Решение задачи ОТ с помощью множителей Лагранжа и соответствующей минимаксной задачи. Метод [https://arxiv.org/abs/2201.12220 Neural Optimal Transport]. Метод [https://arxiv.org/abs/2406.14762 Regularized DMD / RDMD]: соединение distribution matching функционала с транспортной ценой для непарного перевода между доменами (совместная с коллегами работа).

'''Лекция / Семинар 12.''' Метод Bridge Matching: обобщение Flow Matching на стохастический случай для решения парных задач перевода между доменами. Вывод оптимального векторного поля и коэффициента диффузии, порождающих безусловную динамику по условной. h-преобразование Дуба: обуславливание СДУ на конечную точку для получения СДУ, интерполирующего между двумя точками. Пример: обуславливание VE-SDE. Пример: если g(t) = const, обуславливание VE-SDE порождает Броуновский мост. Хорошо описан в статьях [https://arxiv.org/abs/2302.11419 Aligned Diffusion Schrödinger Bridges] и [https://arxiv.org/abs/2303.16852 Diffusion Schrödinger Bridge Matching]. Применение к обратным задачам: статья [https://arxiv.org/abs/2302.05872 I2SB: Image-to-Image Schrödinger Bridge]. Общий вид h-преобразования Дуба для превращения СДУ, приходящего в p(x), в СДУ, приходящее в распределение, пропорциональное p(x)h(x).

'''Лекция / Семинар 13.''' Задача Моста Шрёдингера: определение, мотивация, применение к задачам генеративного моделирования, дообучения под награду и перевода между доменами. Свойства КЛ-дивергенции: chain rule и data processing inequality. КЛ-дивергенция между двумя случайными процессами, определение через дискретизацию. Задача Моста Шрёдингера: общая формулировка через минимизацию КЛ-дивергенции с референсным процессом. Chain rule для КЛ-дивергенции между двумя процессами. Следствие: если референсный процесс Винеровский, то условное распределение Моста Шрёдингера совпадает с Броуновским мостом. Статическая задача моста Шрёдингера, эквивалентность с энтропийной задачей ОТ в случае Винеровского референсного процесса. КЛ-дивергенция между двумя СДУ: теорема Гирсанова. Следствие: метод Denoising Score Matching (с правильно подобранными коэффициентами при моментах времени) минимизирует КЛ-дивергенцию между обучаемым и настоящим обратным процессом.

'''Лекция / Семинар 14.''' Мост Шрёдингера как единственный процесс, который переводит p_0 в p_1, задается некоторым СДУ и имеет Броуновский мост в качестве условного распределения. Метод [https://arxiv.org/abs/2303.16852 Diffusion Schrödinger Bridge Matching]: последовательное обучение Bridge Matching на парах из предыдущего Bridge Matching. Смысл: последовательное проецирование процесса на множество R (Reciprocal) процессов с Броуновским мостом в качестве условного и множество M (Марковских) процессов, задаваемых СДУ. Каждый шаг алгоритма является проекцией с точки зрения КЛ-дивергенции, справедлива теорема Пифагора. Следствие: КЛ между текущим процессом и МШ не увеличивается, МШ является неподвижной точкой процедуры. Решение задачи МШ через стохастическое оптимальное управление и множители Лагранжа: метод Entropic Neural Optimal Transport ([https://arxiv.org/abs/2211.01156 ENOT]). Решение задачи стохастического оптимального управления для задачи дообучения диффузионного процесса под награду.

== Материалы прошлых лет ==

[http://wiki.cs.hse.ru/%D0%93%D0%B5%D0%BD%D0%B5%D1%80%D0%B0%D1%82%D0%B8%D0%B2%D0%BD%D1%8B%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8_%D0%BD%D0%B0_%D0%BE%D1%81%D0%BD%D0%BE%D0%B2%D0%B5_%D0%B4%D0%B8%D1%84%D1%84%D1%83%D0%B7%D0%B8%D0%B8 2024-2025 учебный год]

[http://wiki.cs.hse.ru/%D0%93%D0%B5%D0%BD%D0%B5%D1%80%D0%B0%D1%82%D0%B8%D0%B2%D0%BD%D1%8B%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8_%D0%BD%D0%B0_%D0%BE%D1%81%D0%BD%D0%BE%D0%B2%D0%B5_ODE_%D0%B8_SDE Факультатив по ODE/SDE моделям (2023-2024)]

Генеративные модели на основе диффузии 25/26

2025-12-13T17:36:53Z

Rakitinden:

== Общая информация ==
Курс предназначен для студентов 4 курса ФКН ПМИ, но приглашаются все желающие, уверенно знающие математику младших курсов (в особенности теорию вероятностей), базово ориентирующиеся в глубинном обучении и программировании на PyTorch.

Занятия проходят '''по средам 13:00-16:00''', аудитория '''R208''' (переносы будут сообщаться в чате).

'''Лектор''': [https://t.me/denrakitin23 Денис Ракитин]

'''Семинарист''': [https://t.me/welmud Александр Оганов]

'''Ассистент''': [https://t.me/AlZayts Александр Зайцев]

[https://t.me/+Xq_PPtsvzH4xMGIy '''Чат курса''']

[https://disk.yandex.ru/i/Ei91FPvh5UEkpA '''Программа и описание курса''']

== Оценки ==

Формула итоговой оценки: Оитог = 0.3 * Отдз + 0.2 * Опдз + 0.2 * Опроект + 0.3 * Оэкз. Округление арифметическое.

Отдз и Опдз обозначают средние оценки за теоретические/практические дз, соответственно.

== Экзамен ==

=== [https://disk.yandex.ru/i/9-XGaOLZOZ3mRQ Программа предыдущего года] ===

Экзамен устный, состоит из билета и двух дополнительных вопросов. Один из дополнительных вопросов — задача, второй — вопрос на усмотрение принимающего (может быть задачей или вопросом по другим билетам). Разбалловка: 4 балла за билет и по 3 балла за доп. вопрос.

== Проект ==

Состоит в реализации и проведении экспериментов с одной из рассмотренных на курсе моделей.
Проект командный. Команда может включать не более 4 человек, для 3-4 человек в проекте будет дополнительное задание.
Сдача проекта включает в себя github-репозиторий с имплементацией и написанный в pdf отчет.
Оценка будет ставиться по трем критериям. Объем работы оценивается из 4 баллов, качество отчета и полученных результатов в 3 балла.

Подробное описание находится [https://disk.yandex.ru/i/cpdl5wvHRcu91w здесь] (нужно будет скачать, чтобы работали ссылки).

Дедлайн: 21 декабря 23:59.

== Домашние задания ==

Домашние задания будут выдаваться в день лекции, то есть по средам, на некоторое число недель вперед. Мягкие дедлайны будут по средам. Жесткий дедлайн будет в воскресенье той же недели. За каждый день просрочки коэффициент при оценке уменьшается на 0.1. Таким образом, позднее всего можно сдать домашнее задание в воскресенье с коэффициентом 0.6.

Сдаются в [https://anytask.org/course/1215 Anytask], инвайт t6bwFj5

В курсе будут 5 теоретических и 3 практических домашних задания. Вес у всех задач одинаковый, задачи оцениваются из 1 балла. Если в задачах есть пункты, то будет подписано количество баллов за каждый пункт, иначе баллы между пунктами делятся поровну.

===Теория===

[https://disk.yandex.ru/i/-lkBxvxp30-EHw ДЗ-1], [https://www.overleaf.com/read/bkvkjsfkgtnj#cad343 TeX исходник], мягкий дедлайн 24 сентября 23:59 (среда), жесткий дедлайн 28 сентября 23:59 (воскресенье).

[https://disk.yandex.ru/i/CECxe7biFDMM9A ДЗ-2], [https://www.overleaf.com/read/cpknqsqwcgvw#c442e0 ТеХ исходник], мягкий дедлайн 2 октября 23:59 (четверг), жесткий дедлайн 6 октября 23:59 (понедельник).

[https://disk.yandex.ru/i/uYK4QfGMdxwMOQ ДЗ-3], [https://www.overleaf.com/read/rmnxbpctnywp#2edc9c ТеХ исходник], мягкий дедлайн 22 октября 23:59 (среда), жесткий дедлайн 2 ноября 23:59 (воскресенье). Сессионные дни 25-31 октября не учитываются при снижении оценки за просрочку.

[https://disk.yandex.ru/i/aGDo5aHbMtakKA ДЗ-4], [https://www.overleaf.com/read/zbdyrbtscqsp#252754 ТеХ исходник], мягкий дедлайн 10 декабря 23:59 (среда), жесткий дедлайн 14 декабря 23:59 (воскресенье).
===Практика===

[https://disk.yandex.ru/d/D_7g3UDaYXK4Lg ДЗ-1], мягкий дедлайн 12 ноября 23:59 (среда), жесткий дедлайн 16 ноября 23:59 (воскресенье).

[https://disk.yandex.ru/d/kUzy1q49WP1lCg ДЗ-2], жесткий дедлайн 17 декабря 23:59 (среда).

== Лекции и семинары ==
[https://disk.yandex.ru/i/RJsps26HeG8ysQ '''Конспект лекций в процессе''']

[https://disk.yandex.ru/d/0N-1_Oz5COHN3A '''Записи лекций и семинаров''']

[https://disk.yandex.ru/d/uADNnoWxBWJJ-A '''Семинарские задачи''']

'''Лекция / Семинар 1.''' Генеративное моделирование. Семейства генеративных моделей: вариационные автокодировщики (VAEs), генеративно-состязательные сети (GANs), диффузионные модели. Генеративная трилемма: генеративная модель должна обладать высоким качеством генерации, высоким разнообразием и скоростью генерирования. Повтор теории вероятностей: совместная и условная плотность, формула Байеса, подсчет матожиданий через плотности. Условное матожидание (УМО): определение через интеграл условной плотности. Свойства: линейность, формула полного матожидания, вынос функции от условия за УМО, УМО от независимой величины равна безусловному матожиданию. Условное матожидание как наилучшее предсказание в среднеквадратичном.

Гауссовские векторы/многомерное нормальное распределение. Три эквивалентных определения, формула плотности. Аффинная замена гауссовских векторов, эквивалентность независимости и некоррелированности их компонент, ортогональное разложение, условное распределение компоненты относительно другой компоненты.

'''Лекция / Семинар 2.''' Процессы зашумления с дискретным временем: процесс с сохраняющейся (variance preserving, VP) и взрывающейся (variance exploding, VE) дисперсией. Определение марковской цепи. Процессы зашумления являются марковскими цепями. Переходные плотности VP и VE процессов. Обучение диффузионной модели (статья [https://arxiv.org/abs/2006.11239 DDPM]) через минимизацию КЛ дивергенции между совместным распределением процесса зашумления и процесса, заданного моделью (модель с гауссовскими переходами "назад" по времени, в которой нейросеть предсказывает среднее). Декомпозиция КЛ дивергенции через сумму КЛ дивергенций переходных распределений. Эквивалентность функционала обучению нейросети-денойзера для предсказания чистой картинки по шумной.

Свойства марковских цепей: обращенный по времени марковский процесс является марковским; процесс, обусловленный на конечную точку, также является марковским. Подсчет КЛ дивергенции между многомерными нормальными распределениями.

'''Лекция / Семинар 3.''' Обыкновенные дифференциальные уравнения (ОДУ), схема Эйлера. Построение непрерывного аналога процесса удаления картинки, заданного через ОДУ. Определение Винеровского процесса. (Псевдо)-определение стохастических дифференциальных уравнений (СДУ) через схему Эйлера. Построение непрерывных по времени аналогов VP и VE процессов: СДУ с сохраняющейся (VP-SDE) и взрывающейся (VE-SDE) дисперсией. Подсчет переходных распределений VE-SDE и VP-SDE с помощью решения линейных ОДУ.

Линейные СДУ вида dX_t = f(t) X_t dt + g(t) dW_t: обобщение VE/VP-SDE. Переходные плотности в линейных СДУ такого вида: гауссовское распределение, линейные ОДУ на матожидание и дисперсию, их решение. Визуализация непрерывных процессов зашумления: [https://disk.yandex.ru/d/H0Mbf6w2aL55Tg ноутбук], [https://disk.yandex.ru/d/BTKuym0Kxbzeww заполненный ноутбук].

'''Лекция / Семинар 4.''' Эволюция плотности частицы, движущейся под действием ОДУ/СДУ: уравнение непрерывности и уравнение Фоккера-Планка. Вывод общего вида законов сохранения (взято из курса [http://wiki.cs.hse.ru/%D0%A3%D1%80%D0%B0%D0%B2%D0%BD%D0%B5%D0%BD%D0%B8%D1%8F_%D1%81_%D1%87%D0%B0%D1%81%D1%82%D0%BD%D1%8B%D0%BC%D0%B8_%D0%BF%D1%80%D0%BE%D0%B8%D0%B7%D0%B2%D0%BE%D0%B4%D0%BD%D1%8B%D0%BC%D0%B8_(2022-2023) УрЧП]). Интерпретация уравнения непрерывности,
теплопроводности и Фоккера-Планка через законы сохранения. Решение транспортного уравнения с константным сносом. Логарифмическое уравнение непрерывности, его решение методом характеристик. Применение к подсчету правдоподобия модели, заданной ОДУ.

'''Лекция / Семинар 5.''' Диффузионные модели с [https://arxiv.org/abs/2011.13456 непрерывным временем]. Переход от СДУ к ОДУ и обратно. Обращение ОДУ по времени. Обращение СДУ по времени ([https://core.ac.uk/download/pdf/82826666.pdf оригинальная статья]) с помощью схемы СДУ -> ОДУ -> обратное ОДУ -> обратное СДУ. Score функция, ее представление через условное матожидание условной score функции, интерпретация и обучение методом [https://arxiv.org/abs/1907.05600 Denoising Score Matching]. Эквивалентность Denoising Score Matching обучению модели, предсказывающей чистое изображение/шум в изображении.

Выражение score функции VP-SDE через score функцию VE-SDE. Применение: имея обученную модель-денойзер, можно семплировать из VP-SDE и VE-SDE без переобучения модели. Предельное распределение однородного СДУ, связь со стационарным распределением, сведение к однородному уравнению Фоккера-Планка (d/dt p_t(x) = 0). Динамика Ланжевена: снос в СДУ, сходящейся к распределению p(x), с точностью до константы совпадает со score функцией. Применение к генерации семплов из распределения p(x) и связь с градиентным подъемом.

'''Лекция / Семинар 6.''' Имплементация диффузионных моделей на практике: [https://disk.yandex.ru/d/WWwuJvGdoGlPCQ ноутбук]. Denoising Score Matching для обучения обусловленных диффузионных моделей. Обуславливание безусловных диффузионных моделей с помощью шумного классификатора: [https://arxiv.org/abs/2105.05233 Classifier Guidance], контролирование баланса между правдоподобием и разнообразием семплов. Перенос той же техники на предобученные условные модели: [https://arxiv.org/abs/2207.12598 Classifier-free Guidance].

'''Лекция / Семинар 7.''' Дистилляция диффузионных моделей. Функциональная дистилляция, состоящая в обучении генератора на повтор траектории ОДУ диффузионной модели: простая дистилляция, [https://arxiv.org/abs/2303.01469 Consistency Models]. Классический способ получить обучающий сигнал для попадания в распределение: Генеративно-состязательные сети ([https://arxiv.org/abs/1406.2661 GANs]), вывод лог-лосса, интерпретация через минимизацию дивергенции Йенсена-Шеннона. Соединение двух парадигм: Consistency Models + GAN loss. Использование предобученной диффузионной модели для выделения признаков, на которых считается GAN loss: [https://arxiv.org/abs/2403.12015 Latent Adversarial Diffusion Distillation (LADD)]. Использование диффузионной модели в качестве обучающего сигнала для произвольного вида генератора: метод [https://arxiv.org/abs/2311.18828 Distribution Matching Distillation] (его прототип [https://arxiv.org/abs/2305.18455 Diff-Instruct], конкурентная работа [https://arxiv.org/abs/2312.05239 SwiftBrush] и улучшенная версия [https://arxiv.org/html/2405.14867v1 Improved DMD]).

'''Лекция / Семинар 8.''' Ускорение генерации из диффузионных моделей с помощью солверов ОДУ. Методы, более точно приближающие ОДУ с помощью промежуточных точек: метод Хойна, методы Рунге-Кутта. Линейные многошаговые методы (linear multi-step, LMS): использование только предыдущих значений векторного поля для разностного приближения производных высших порядков. [https://arxiv.org/abs/2206.00927 DPM-Solver]: использование полу-линейной структуры диффузионных ОДУ и log-SNR замены времени для более точного приближения честного решения. [https://disk.yandex.ru/d/pYjKp72UfX9LPw Семинарский ноутбук.]

Обучение сетки дискретизации с помощью дистилляции многошаговой схемы в малошаговую: [https://arxiv.org/abs/2405.15506 LD3]. Обучение коэффициентов солвера: [https://arxiv.org/abs/2502.17423 S4S]. [https://arxiv.org/abs/2510.17699 Generalized Adversarial Solver (GAS)]: эффективная параметризация для обучения сетки дискретизации и коэффициентов солвера, соединение функционала дистилляции с GAN loss для улучшения деталей сгенерированных изображений. Статья написана коллективом из BayesGroup: [https://github.com/3145tttt/GAS GitHub].

'''Лекция / Семинар 9.''' Диффузионные модели как процессы интерполяции между шумом и данными. Модель [https://arxiv.org/abs/2210.02747 Flow Matching] (аналоги [https://arxiv.org/abs/2302.00482 Conditional Flow Matching] и [https://arxiv.org/abs/2209.15571 Stochastic Interpolants]): построение ОДУ, порождающего безусловную динамику при известном ОДУ, порождающем условную динамику. Применение к задаче безусловной генерации. Применение к парным задачам переноса стиля: Flow Matching [https://arxiv.org/abs/2209.03003 снижает] транспортную цену. Представление диффузионных моделей в качестве частного случая модели Flow Matching. Статьи про решение парных задач [https://arxiv.org/abs/2310.03725 на основе ОДУ] и [https://arxiv.org/abs/2302.05872 на основе СДУ].

'''Лекция / Семинар 10.''' Задача оптимального транспорта (ОТ): задача Монжа и Канторовича, их эквивалентность при наличии плотностей у обоих распределений. Применимость модели Flow Matching для непарных задач: снижение транспортной цены не гарантирует хорошего отображения. Алгоритм [https://arxiv.org/abs/2209.03003 Rectified Flow] (теоретическое [https://arxiv.org/abs/2209.14577 дополнение]): повторное обучение Flow Matching (процедуры Rectify) для последовательного снижения транспортной цены отображения. Неподвижные точки Rectify: 4 эквивалентных свойства. Следствие: решение задачи ОТ может быть представлено в виде ОДУ с прямыми траекториями. Задача динамического ОТ, формула Бенаму-Бренье. Интерпретация метода Rectified Flow как чередования проецирования на множество процессов с прямыми траекториями и множество процессов, заданных ОДУ. ОДУ с прямыми траекториями решает задачу ОТ тогда и только тогда, когда векторное поле задается градиентом скалярного. Пример обратного: гауссовское распределение и процесс поворота.

'''Лекция / Семинар 11.''' Диффузионные методы непарного перевода между доменами, классификация на односторонние и двусторонние. Напоминание методов [https://arxiv.org/abs/2108.01073 SDEdit] и [https://arxiv.org/abs/2203.08382 DDIB]: зашумление (стохастическое и детерминированное) исходной картинки и ее расшумление с помощью целевой диффузионной модели. Модификация процесса генерации из целевого распределения с помощью функции энергии: методы [https://arxiv.org/abs/2108.02938 ILVR] и [https://arxiv.org/abs/2207.06635 EGSDE]. Решение задачи ОТ с помощью множителей Лагранжа и соответствующей минимаксной задачи. Метод [https://arxiv.org/abs/2201.12220 Neural Optimal Transport]. Метод [https://arxiv.org/abs/2406.14762 Regularized DMD / RDMD]: соединение distribution matching функционала с транспортной ценой для непарного перевода между доменами (совместная с коллегами работа).

'''Лекция / Семинар 12.''' Метод Bridge Matching: обобщение Flow Matching на стохастический случай для решения парных задач перевода между доменами. Вывод оптимального векторного поля и коэффициента диффузии, порождающих безусловную динамику по условной. h-преобразование Дуба: обуславливание СДУ на конечную точку для получения СДУ, интерполирующего между двумя точками. Пример: обуславливание VE-SDE. Пример: если g(t) = const, обуславливание VE-SDE порождает Броуновский мост. Хорошо описан в статьях [https://arxiv.org/abs/2302.11419 Aligned Diffusion Schrödinger Bridges] и [https://arxiv.org/abs/2303.16852 Diffusion Schrödinger Bridge Matching]. Применение к обратным задачам: статья [https://arxiv.org/abs/2302.05872 I2SB: Image-to-Image Schrödinger Bridge]. Общий вид h-преобразования Дуба для превращения СДУ, приходящего в p(x), в СДУ, приходящее в распределение, пропорциональное p(x)h(x).

'''Лекция / Семинар 13.''' Задача Моста Шрёдингера: определение, мотивация, применение к задачам генеративного моделирования, дообучения под награду и перевода между доменами. Свойства КЛ-дивергенции: chain rule и data processing inequality. КЛ-дивергенция между двумя случайными процессами, определение через дискретизацию. Задача Моста Шрёдингера: общая формулировка через минимизацию КЛ-дивергенции с референсным процессом. Chain rule для КЛ-дивергенции между двумя процессами. Следствие: если референсный процесс Винеровский, то условное распределение Моста Шрёдингера совпадает с Броуновским мостом. Статическая задача моста Шрёдингера, эквивалентность с энтропийной задачей ОТ в случае Винеровского референсного процесса. КЛ-дивергенция между двумя СДУ: теорема Гирсанова. Следствие: метод Denoising Score Matching (с правильно подобранными коэффициентами при моментах времени) минимизирует КЛ-дивергенцию между обучаемым и настоящим обратным процессом.

'''Лекция / Семинар 14.''' Мост Шрёдингера как единственный процесс, который переводит p_0 в p_1, задается некоторым СДУ и имеет Броуновский мост в качестве условного распределения. Метод [https://arxiv.org/abs/2303.16852 Diffusion Schrödinger Bridge Matching]: последовательное обучение Bridge Matching на парах из предыдущего Bridge Matching. Смысл: последовательное проецирование процесса на множество R (Reciprocal) процессов с Броуновским мостом в качестве условного и множество M (Марковских) процессов, задаваемых СДУ. Каждый шаг алгоритма является проекцией с точки зрения КЛ-дивергенции, справедлива теорема Пифагора. Следствие: КЛ между текущим процессом и МШ не увеличивается, МШ является неподвижной точкой процедуры. Решение задачи МШ через стохастическое оптимальное управление и множители Лагранжа: метод Entropic Neural Optimal Transport ([https://arxiv.org/abs/2211.01156 ENOT]). Решение задачи стохастического оптимального управления для задачи дообучения диффузионного процесса под награду.

== Материалы прошлых лет ==

[http://wiki.cs.hse.ru/%D0%93%D0%B5%D0%BD%D0%B5%D1%80%D0%B0%D1%82%D0%B8%D0%B2%D0%BD%D1%8B%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8_%D0%BD%D0%B0_%D0%BE%D1%81%D0%BD%D0%BE%D0%B2%D0%B5_%D0%B4%D0%B8%D1%84%D1%84%D1%83%D0%B7%D0%B8%D0%B8 2024-2025 учебный год]

[http://wiki.cs.hse.ru/%D0%93%D0%B5%D0%BD%D0%B5%D1%80%D0%B0%D1%82%D0%B8%D0%B2%D0%BD%D1%8B%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8_%D0%BD%D0%B0_%D0%BE%D1%81%D0%BD%D0%BE%D0%B2%D0%B5_ODE_%D0%B8_SDE Факультатив по ODE/SDE моделям (2023-2024)]

Генеративные модели на основе диффузии 25/26

2025-12-13T17:33:02Z

Rakitinden:

== Общая информация ==
Курс предназначен для студентов 4 курса ФКН ПМИ, но приглашаются все желающие, уверенно знающие математику младших курсов (в особенности теорию вероятностей), базово ориентирующиеся в глубинном обучении и программировании на PyTorch.

Занятия проходят '''по средам 13:00-16:00''', аудитория '''R208''' (переносы будут сообщаться в чате).

'''Лектор''': [https://t.me/denrakitin23 Денис Ракитин]

'''Семинарист''': [https://t.me/welmud Александр Оганов]

'''Ассистент''': [https://t.me/AlZayts Александр Зайцев]

[https://t.me/+Xq_PPtsvzH4xMGIy '''Чат курса''']

[https://disk.yandex.ru/i/Ei91FPvh5UEkpA '''Программа и описание курса''']

== Оценки ==

Формула итоговой оценки: Оитог = 0.3 * Отдз + 0.2 * Опдз + 0.2 * Опроект + 0.3 * Оэкз. Округление арифметическое.

Отдз и Опдз обозначают средние оценки за теоретические/практические дз, соответственно.

== Экзамен ==

=== [https://disk.yandex.ru/i/9-XGaOLZOZ3mRQ Программа предыдущего года] ===

Экзамен устный, состоит из билета и двух дополнительных вопросов. Один из дополнительных вопросов — задача, второй — вопрос на усмотрение принимающего (может быть задачей или вопросом по другим билетам). Разбалловка: 4 балла за билет и по 3 балла за доп. вопрос.

== Проект ==

Состоит в реализации и проведении экспериментов с одной из рассмотренных на курсе моделей.
Проект командный. Команда может включать не более 4 человек, для 3-4 человек в проекте будет дополнительное задание.
Сдача проекта включает в себя github-репозиторий с имплементацией и написанный в pdf отчет.
Оценка будет ставиться по трем критериям. Объем работы оценивается из 4 баллов, качество отчета и полученных результатов в 3 балла.

Подробное описание находится [https://disk.yandex.ru/i/cpdl5wvHRcu91w здесь] (нужно будет скачать, чтобы работали ссылки).

Дедлайн: 21 декабря 23:59.

== Домашние задания ==

Домашние задания будут выдаваться в день лекции, то есть по средам, на некоторое число недель вперед. Мягкие дедлайны будут по средам. Жесткий дедлайн будет в воскресенье той же недели. За каждый день просрочки коэффициент при оценке уменьшается на 0.1. Таким образом, позднее всего можно сдать домашнее задание в воскресенье с коэффициентом 0.6.

Сдаются в [https://anytask.org/course/1215 Anytask], инвайт t6bwFj5

В курсе будут 5 теоретических и 3 практических домашних задания. Вес у всех задач одинаковый, задачи оцениваются из 1 балла. Если в задачах есть пункты, то будет подписано количество баллов за каждый пункт, иначе баллы между пунктами делятся поровну.

===Теория===

[https://disk.yandex.ru/i/-lkBxvxp30-EHw ДЗ-1], [https://www.overleaf.com/read/bkvkjsfkgtnj#cad343 TeX исходник], мягкий дедлайн 24 сентября 23:59 (среда), жесткий дедлайн 28 сентября 23:59 (воскресенье).

[https://disk.yandex.ru/i/CECxe7biFDMM9A ДЗ-2], [https://www.overleaf.com/read/cpknqsqwcgvw#c442e0 ТеХ исходник], мягкий дедлайн 2 октября 23:59 (четверг), жесткий дедлайн 6 октября 23:59 (понедельник).

[https://disk.yandex.ru/i/uYK4QfGMdxwMOQ ДЗ-3], [https://www.overleaf.com/read/rmnxbpctnywp#2edc9c ТеХ исходник], мягкий дедлайн 22 октября 23:59 (среда), жесткий дедлайн 2 ноября 23:59 (воскресенье). Сессионные дни 25-31 октября не учитываются при снижении оценки за просрочку.

[https://disk.yandex.ru/i/aGDo5aHbMtakKA ДЗ-4], [https://www.overleaf.com/read/zbdyrbtscqsp#252754 ТеХ исходник], мягкий дедлайн 10 декабря 23:59 (среда), жесткий дедлайн 14 декабря 23:59 (воскресенье).
===Практика===

[https://disk.yandex.ru/d/D_7g3UDaYXK4Lg ДЗ-1], мягкий дедлайн 12 ноября 23:59 (среда), жесткий дедлайн 16 ноября 23:59 (воскресенье).

[https://disk.yandex.ru/d/kUzy1q49WP1lCg ДЗ-2], жесткий дедлайн 17 декабря 23:59 (среда).

== Лекции и семинары ==
[https://disk.yandex.ru/i/RJsps26HeG8ysQ '''Конспект лекций в процессе''']

[https://disk.yandex.ru/d/0N-1_Oz5COHN3A '''Записи лекций и семинаров''']

[https://disk.yandex.ru/d/uADNnoWxBWJJ-A '''Семинарские задачи''']

'''Лекция / Семинар 1.''' Генеративное моделирование. Семейства генеративных моделей: вариационные автокодировщики (VAEs), генеративно-состязательные сети (GANs), диффузионные модели. Генеративная трилемма: генеративная модель должна обладать высоким качеством генерации, высоким разнообразием и скоростью генерирования. Повтор теории вероятностей: совместная и условная плотность, формула Байеса, подсчет матожиданий через плотности. Условное матожидание (УМО): определение через интеграл условной плотности. Свойства: линейность, формула полного матожидания, вынос функции от условия за УМО, УМО от независимой величины равна безусловному матожиданию. Условное матожидание как наилучшее предсказание в среднеквадратичном.

Гауссовские векторы/многомерное нормальное распределение. Три эквивалентных определения, формула плотности. Аффинная замена гауссовских векторов, эквивалентность независимости и некоррелированности их компонент, ортогональное разложение, условное распределение компоненты относительно другой компоненты.

'''Лекция / Семинар 2.''' Процессы зашумления с дискретным временем: процесс с сохраняющейся (variance preserving, VP) и взрывающейся (variance exploding, VE) дисперсией. Определение марковской цепи. Процессы зашумления являются марковскими цепями. Переходные плотности VP и VE процессов. Обучение диффузионной модели (статья [https://arxiv.org/abs/2006.11239 DDPM]) через минимизацию КЛ дивергенции между совместным распределением процесса зашумления и процесса, заданного моделью (модель с гауссовскими переходами "назад" по времени, в которой нейросеть предсказывает среднее). Декомпозиция КЛ дивергенции через сумму КЛ дивергенций переходных распределений. Эквивалентность функционала обучению нейросети-денойзера для предсказания чистой картинки по шумной.

Свойства марковских цепей: обращенный по времени марковский процесс является марковским; процесс, обусловленный на конечную точку, также является марковским. Подсчет КЛ дивергенции между многомерными нормальными распределениями.

'''Лекция / Семинар 3.''' Обыкновенные дифференциальные уравнения (ОДУ), схема Эйлера. Построение непрерывного аналога процесса удаления картинки, заданного через ОДУ. Определение Винеровского процесса. (Псевдо)-определение стохастических дифференциальных уравнений (СДУ) через схему Эйлера. Построение непрерывных по времени аналогов VP и VE процессов: СДУ с сохраняющейся (VP-SDE) и взрывающейся (VE-SDE) дисперсией. Подсчет переходных распределений VE-SDE и VP-SDE с помощью решения линейных ОДУ.

Линейные СДУ вида dX_t = f(t) X_t dt + g(t) dW_t: обобщение VE/VP-SDE. Переходные плотности в линейных СДУ такого вида: гауссовское распределение, линейные ОДУ на матожидание и дисперсию, их решение. Визуализация непрерывных процессов зашумления: [https://disk.yandex.ru/d/H0Mbf6w2aL55Tg ноутбук], [https://disk.yandex.ru/d/BTKuym0Kxbzeww заполненный ноутбук].

'''Лекция / Семинар 4.''' Эволюция плотности частицы, движущейся под действием ОДУ/СДУ: уравнение непрерывности и уравнение Фоккера-Планка. Вывод общего вида законов сохранения (взято из курса [http://wiki.cs.hse.ru/%D0%A3%D1%80%D0%B0%D0%B2%D0%BD%D0%B5%D0%BD%D0%B8%D1%8F_%D1%81_%D1%87%D0%B0%D1%81%D1%82%D0%BD%D1%8B%D0%BC%D0%B8_%D0%BF%D1%80%D0%BE%D0%B8%D0%B7%D0%B2%D0%BE%D0%B4%D0%BD%D1%8B%D0%BC%D0%B8_(2022-2023) УрЧП]). Интерпретация уравнения непрерывности,
теплопроводности и Фоккера-Планка через законы сохранения. Решение транспортного уравнения с константным сносом. Логарифмическое уравнение непрерывности, его решение методом характеристик. Применение к подсчету правдоподобия модели, заданной ОДУ.

'''Лекция / Семинар 5.''' Диффузионные модели с [https://arxiv.org/abs/2011.13456 непрерывным временем]. Переход от СДУ к ОДУ и обратно. Обращение ОДУ по времени. Обращение СДУ по времени ([https://core.ac.uk/download/pdf/82826666.pdf оригинальная статья]) с помощью схемы СДУ -> ОДУ -> обратное ОДУ -> обратное СДУ. Score функция, ее представление через условное матожидание условной score функции, интерпретация и обучение методом [https://arxiv.org/abs/1907.05600 Denoising Score Matching]. Эквивалентность Denoising Score Matching обучению модели, предсказывающей чистое изображение/шум в изображении.

Выражение score функции VP-SDE через score функцию VE-SDE. Применение: имея обученную модель-денойзер, можно семплировать из VP-SDE и VE-SDE без переобучения модели. Предельное распределение однородного СДУ, связь со стационарным распределением, сведение к однородному уравнению Фоккера-Планка (d/dt p_t(x) = 0). Динамика Ланжевена: снос в СДУ, сходящейся к распределению p(x), с точностью до константы совпадает со score функцией. Применение к генерации семплов из распределения p(x) и связь с градиентным подъемом.

'''Лекция / Семинар 6.''' Имплементация диффузионных моделей на практике: [https://disk.yandex.ru/d/WWwuJvGdoGlPCQ ноутбук]. Denoising Score Matching для обучения обусловленных диффузионных моделей. Обуславливание безусловных диффузионных моделей с помощью шумного классификатора: [https://arxiv.org/abs/2105.05233 Classifier Guidance], контролирование баланса между правдоподобием и разнообразием семплов. Перенос той же техники на предобученные условные модели: [https://arxiv.org/abs/2207.12598 Classifier-free Guidance].

'''Лекция / Семинар 7.''' Дистилляция диффузионных моделей. Функциональная дистилляция, состоящая в обучении генератора на повтор траектории ОДУ диффузионной модели: простая дистилляция, [https://arxiv.org/abs/2303.01469 Consistency Models]. Классический способ получить обучающий сигнал для попадания в распределение: Генеративно-состязательные сети ([https://arxiv.org/abs/1406.2661 GANs]), вывод лог-лосса, интерпретация через минимизацию дивергенции Йенсена-Шеннона. Соединение двух парадигм: Consistency Models + GAN loss. Использование предобученной диффузионной модели для выделения признаков, на которых считается GAN loss: [https://arxiv.org/abs/2403.12015 Latent Adversarial Diffusion Distillation (LADD)]. Использование диффузионной модели в качестве обучающего сигнала для произвольного вида генератора: метод [https://arxiv.org/abs/2311.18828 Distribution Matching Distillation] (его прототип [https://arxiv.org/abs/2305.18455 Diff-Instruct], конкурентная работа [https://arxiv.org/abs/2312.05239 SwiftBrush] и улучшенная версия [https://arxiv.org/html/2405.14867v1 Improved DMD]).

'''Лекция / Семинар 8.''' Ускорение генерации из диффузионных моделей с помощью солверов ОДУ. Методы, более точно приближающие ОДУ с помощью промежуточных точек: метод Хойна, методы Рунге-Кутта. Линейные многошаговые методы (linear multi-step, LMS): использование только предыдущих значений векторного поля для разностного приближения производных высших порядков. [https://arxiv.org/abs/2206.00927 DPM-Solver]: использование полу-линейной структуры диффузионных ОДУ и log-SNR замены времени для более точного приближения честного решения. [https://disk.yandex.ru/d/pYjKp72UfX9LPw Семинарский ноутбук.]

Обучение сетки дискретизации с помощью дистилляции многошаговой схемы в малошаговую: [https://arxiv.org/abs/2405.15506 LD3]. Обучение коэффициентов солвера: [https://arxiv.org/abs/2502.17423 S4S]. [https://arxiv.org/abs/2510.17699 Generalized Adversarial Solver (GAS)]: эффективная параметризация для обучения сетки дискретизации и коэффициентов солвера, соединение функционала дистилляции с GAN loss для улучшения деталей сгенерированных изображений. Статья написана коллективом из BayesGroup: [https://github.com/3145tttt/GAS GitHub].

'''Лекция / Семинар 9.''' Диффузионные модели как процессы интерполяции между шумом и данными. Модель [https://arxiv.org/abs/2210.02747 Flow Matching] (аналоги [https://arxiv.org/abs/2302.00482 Conditional Flow Matching] и [https://arxiv.org/abs/2209.15571 Stochastic Interpolants]): построение ОДУ, порождающего безусловную динамику при известном ОДУ, порождающем условную динамику. Применение к задаче безусловной генерации. Применение к парным задачам переноса стиля: Flow Matching [https://arxiv.org/abs/2209.03003 снижает] транспортную цену. Представление диффузионных моделей в качестве частного случая модели Flow Matching. Статьи про решение парных задач [https://arxiv.org/abs/2310.03725 на основе ОДУ] и [https://arxiv.org/abs/2302.05872 на основе СДУ].

'''Лекция / Семинар 10.''' Задача оптимального транспорта (ОТ): задача Монжа и Канторовича, их эквивалентность при наличии плотностей у обоих распределений. Применимость модели Flow Matching для непарных задач: снижение транспортной цены не гарантирует хорошего отображения. Алгоритм [https://arxiv.org/abs/2209.03003 Rectified Flow] (теоретическое [https://arxiv.org/abs/2209.14577 дополнение]): повторное обучение Flow Matching (процедуры Rectify) для последовательного снижения транспортной цены отображения. Неподвижные точки Rectify: 4 эквивалентных свойства. Следствие: решение задачи ОТ может быть представлено в виде ОДУ с прямыми траекториями. Задача динамического ОТ, формула Бенаму-Бренье. Интерпретация метода Rectified Flow как чередования проецирования на множество процессов с прямыми траекториями и множество процессов, заданных ОДУ. ОДУ с прямыми траекториями решает задачу ОТ тогда и только тогда, когда векторное поле задается градиентом скалярного. Пример обратного: гауссовское распределение и процесс поворота.

'''Лекция / Семинар 11.''' Диффузионные методы непарного перевода между доменами, классификация на односторонние и двусторонние. Напоминание методов [https://arxiv.org/abs/2108.01073 SDEdit] и [https://arxiv.org/abs/2203.08382 DDIB]: зашумление (стохастическое и детерминированное) исходной картинки и ее расшумление с помощью целевой диффузионной модели. Модификация процесса генерации из целевого распределения с помощью функции энергии: методы [https://arxiv.org/abs/2108.02938 ILVR] и [https://arxiv.org/abs/2207.06635 EGSDE]. Решение задачи ОТ с помощью множителей Лагранжа и соответствующей минимаксной задачи. Метод [https://arxiv.org/abs/2201.12220 Neural Optimal Transport]. Метод [https://arxiv.org/abs/2406.14762 Regularized DMD / RDMD]: соединение distribution matching функционала с транспортной ценой для непарного перевода между доменами (совместная с коллегами работа).

'''Лекция / Семинар 12.''' Метод Bridge Matching: обобщение Flow Matching на стохастический случай для решения парных задач перевода между доменами. Вывод оптимального векторного поля и коэффициента диффузии, порождающих безусловную динамику по условной. h-преобразование Дуба: обуславливание СДУ на конечную точку для получения СДУ, интерполирующего между двумя точками. Пример: обуславливание VE-SDE. Пример: если g(t) = const, обуславливание VE-SDE порождает Броуновский мост. Хорошо описан в статьях [https://arxiv.org/abs/2302.11419 Aligned Diffusion Schrödinger Bridges] и [https://arxiv.org/abs/2303.16852 Diffusion Schrödinger Bridge Matching]. Применение к обратным задачам: статья [https://arxiv.org/abs/2302.05872 I2SB: Image-to-Image Schrödinger Bridge]. Общий вид h-преобразования Дуба для превращения СДУ, приходящего в p(x), в СДУ, приходящее в распределение, пропорциональное p(x)h(x).
=
'''Лекция / Семинар 13.''' Задача Моста Шрёдингера: определение, мотивация, применение к задачам генеративного моделирования, дообучения под награду и перевода между доменами. Свойства КЛ-дивергенции: chain rule и data processing inequality. КЛ-дивергенция между двумя случайными процессами, определение через дискретизацию. Задача Моста Шрёдингера: общая формулировка через минимизацию КЛ-дивергенции с референсным процессом. Chain rule для КЛ-дивергенции между двумя процессами. Следствие: если референсный процесс Винеровский, то условное распределение Моста Шрёдингера совпадает с Броуновским мостом. Статическая задача моста Шрёдингера, эквивалентность с энтропийной задачей ОТ в случае Винеровского референсного процесса. КЛ-дивергенция между двумя СДУ: теорема Гирсанова. Следствие: метод Denoising Score Matching (с правильно подобранными коэффициентами при моментах времени) минимизирует КЛ-дивергенцию между обучаемым и настоящим обратным процессом.

== Материалы прошлых лет ==

[http://wiki.cs.hse.ru/%D0%93%D0%B5%D0%BD%D0%B5%D1%80%D0%B0%D1%82%D0%B8%D0%B2%D0%BD%D1%8B%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8_%D0%BD%D0%B0_%D0%BE%D1%81%D0%BD%D0%BE%D0%B2%D0%B5_%D0%B4%D0%B8%D1%84%D1%84%D1%83%D0%B7%D0%B8%D0%B8 2024-2025 учебный год]

[http://wiki.cs.hse.ru/%D0%93%D0%B5%D0%BD%D0%B5%D1%80%D0%B0%D1%82%D0%B8%D0%B2%D0%BD%D1%8B%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8_%D0%BD%D0%B0_%D0%BE%D1%81%D0%BD%D0%BE%D0%B2%D0%B5_ODE_%D0%B8_SDE Факультатив по ODE/SDE моделям (2023-2024)]

Генеративные модели на основе диффузии 25/26

2025-12-13T17:24:07Z

Rakitinden:

== Общая информация ==
Курс предназначен для студентов 4 курса ФКН ПМИ, но приглашаются все желающие, уверенно знающие математику младших курсов (в особенности теорию вероятностей), базово ориентирующиеся в глубинном обучении и программировании на PyTorch.

Занятия проходят '''по средам 13:00-16:00''', аудитория '''R208''' (переносы будут сообщаться в чате).

'''Лектор''': [https://t.me/denrakitin23 Денис Ракитин]

'''Семинарист''': [https://t.me/welmud Александр Оганов]

'''Ассистент''': [https://t.me/AlZayts Александр Зайцев]

[https://t.me/+Xq_PPtsvzH4xMGIy '''Чат курса''']

[https://disk.yandex.ru/i/Ei91FPvh5UEkpA '''Программа и описание курса''']

== Оценки ==

Формула итоговой оценки: Оитог = 0.3 * Отдз + 0.2 * Опдз + 0.2 * Опроект + 0.3 * Оэкз. Округление арифметическое.

Отдз и Опдз обозначают средние оценки за теоретические/практические дз, соответственно.

== Экзамен ==

=== [https://disk.yandex.ru/i/9-XGaOLZOZ3mRQ Программа предыдущего года] ===

Экзамен устный, состоит из билета и двух дополнительных вопросов. Один из дополнительных вопросов — задача, второй — вопрос на усмотрение принимающего (может быть задачей или вопросом по другим билетам). Разбалловка: 4 балла за билет и по 3 балла за доп. вопрос.

== Проект ==

Состоит в реализации и проведении экспериментов с одной из рассмотренных на курсе моделей.
Проект командный. Команда может включать не более 4 человек, для 3-4 человек в проекте будет дополнительное задание.
Сдача проекта включает в себя github-репозиторий с имплементацией и написанный в pdf отчет.
Оценка будет ставиться по трем критериям. Объем работы оценивается из 4 баллов, качество отчета и полученных результатов в 3 балла.

Подробное описание находится [https://disk.yandex.ru/i/cpdl5wvHRcu91w здесь] (нужно будет скачать, чтобы работали ссылки).

Дедлайн: 21 декабря 23:59.

== Домашние задания ==

Домашние задания будут выдаваться в день лекции, то есть по средам, на некоторое число недель вперед. Мягкие дедлайны будут по средам. Жесткий дедлайн будет в воскресенье той же недели. За каждый день просрочки коэффициент при оценке уменьшается на 0.1. Таким образом, позднее всего можно сдать домашнее задание в воскресенье с коэффициентом 0.6.

Сдаются в [https://anytask.org/course/1215 Anytask], инвайт t6bwFj5

В курсе будут 5 теоретических и 3 практических домашних задания. Вес у всех задач одинаковый, задачи оцениваются из 1 балла. Если в задачах есть пункты, то будет подписано количество баллов за каждый пункт, иначе баллы между пунктами делятся поровну.

===Теория===

[https://disk.yandex.ru/i/-lkBxvxp30-EHw ДЗ-1], [https://www.overleaf.com/read/bkvkjsfkgtnj#cad343 TeX исходник], мягкий дедлайн 24 сентября 23:59 (среда), жесткий дедлайн 28 сентября 23:59 (воскресенье).

[https://disk.yandex.ru/i/CECxe7biFDMM9A ДЗ-2], [https://www.overleaf.com/read/cpknqsqwcgvw#c442e0 ТеХ исходник], мягкий дедлайн 2 октября 23:59 (четверг), жесткий дедлайн 6 октября 23:59 (понедельник).

[https://disk.yandex.ru/i/uYK4QfGMdxwMOQ ДЗ-3], [https://www.overleaf.com/read/rmnxbpctnywp#2edc9c ТеХ исходник], мягкий дедлайн 22 октября 23:59 (среда), жесткий дедлайн 2 ноября 23:59 (воскресенье). Сессионные дни 25-31 октября не учитываются при снижении оценки за просрочку.

[https://disk.yandex.ru/i/aGDo5aHbMtakKA ДЗ-4], [https://www.overleaf.com/read/zbdyrbtscqsp#252754 ТеХ исходник], мягкий дедлайн 10 декабря 23:59 (среда), жесткий дедлайн 14 декабря 23:59 (воскресенье).
===Практика===

[https://disk.yandex.ru/d/D_7g3UDaYXK4Lg ДЗ-1], мягкий дедлайн 12 ноября 23:59 (среда), жесткий дедлайн 16 ноября 23:59 (воскресенье).

[https://disk.yandex.ru/d/kUzy1q49WP1lCg ДЗ-2], жесткий дедлайн 17 декабря 23:59 (среда).

== Лекции и семинары ==
[https://disk.yandex.ru/i/RJsps26HeG8ysQ '''Конспект лекций в процессе''']

[https://disk.yandex.ru/d/0N-1_Oz5COHN3A '''Записи лекций и семинаров''']

[https://disk.yandex.ru/d/uADNnoWxBWJJ-A '''Семинарские задачи''']

'''Лекция / Семинар 1.''' Генеративное моделирование. Семейства генеративных моделей: вариационные автокодировщики (VAEs), генеративно-состязательные сети (GANs), диффузионные модели. Генеративная трилемма: генеративная модель должна обладать высоким качеством генерации, высоким разнообразием и скоростью генерирования. Повтор теории вероятностей: совместная и условная плотность, формула Байеса, подсчет матожиданий через плотности. Условное матожидание (УМО): определение через интеграл условной плотности. Свойства: линейность, формула полного матожидания, вынос функции от условия за УМО, УМО от независимой величины равна безусловному матожиданию. Условное матожидание как наилучшее предсказание в среднеквадратичном.

Гауссовские векторы/многомерное нормальное распределение. Три эквивалентных определения, формула плотности. Аффинная замена гауссовских векторов, эквивалентность независимости и некоррелированности их компонент, ортогональное разложение, условное распределение компоненты относительно другой компоненты.

'''Лекция / Семинар 2.''' Процессы зашумления с дискретным временем: процесс с сохраняющейся (variance preserving, VP) и взрывающейся (variance exploding, VE) дисперсией. Определение марковской цепи. Процессы зашумления являются марковскими цепями. Переходные плотности VP и VE процессов. Обучение диффузионной модели (статья [https://arxiv.org/abs/2006.11239 DDPM]) через минимизацию КЛ дивергенции между совместным распределением процесса зашумления и процесса, заданного моделью (модель с гауссовскими переходами "назад" по времени, в которой нейросеть предсказывает среднее). Декомпозиция КЛ дивергенции через сумму КЛ дивергенций переходных распределений. Эквивалентность функционала обучению нейросети-денойзера для предсказания чистой картинки по шумной.

Свойства марковских цепей: обращенный по времени марковский процесс является марковским; процесс, обусловленный на конечную точку, также является марковским. Подсчет КЛ дивергенции между многомерными нормальными распределениями.

'''Лекция / Семинар 3.''' Обыкновенные дифференциальные уравнения (ОДУ), схема Эйлера. Построение непрерывного аналога процесса удаления картинки, заданного через ОДУ. Определение Винеровского процесса. (Псевдо)-определение стохастических дифференциальных уравнений (СДУ) через схему Эйлера. Построение непрерывных по времени аналогов VP и VE процессов: СДУ с сохраняющейся (VP-SDE) и взрывающейся (VE-SDE) дисперсией. Подсчет переходных распределений VE-SDE и VP-SDE с помощью решения линейных ОДУ.

Линейные СДУ вида dX_t = f(t) X_t dt + g(t) dW_t: обобщение VE/VP-SDE. Переходные плотности в линейных СДУ такого вида: гауссовское распределение, линейные ОДУ на матожидание и дисперсию, их решение. Визуализация непрерывных процессов зашумления: [https://disk.yandex.ru/d/H0Mbf6w2aL55Tg ноутбук], [https://disk.yandex.ru/d/BTKuym0Kxbzeww заполненный ноутбук].

'''Лекция / Семинар 4.''' Эволюция плотности частицы, движущейся под действием ОДУ/СДУ: уравнение непрерывности и уравнение Фоккера-Планка. Вывод общего вида законов сохранения (взято из курса [http://wiki.cs.hse.ru/%D0%A3%D1%80%D0%B0%D0%B2%D0%BD%D0%B5%D0%BD%D0%B8%D1%8F_%D1%81_%D1%87%D0%B0%D1%81%D1%82%D0%BD%D1%8B%D0%BC%D0%B8_%D0%BF%D1%80%D0%BE%D0%B8%D0%B7%D0%B2%D0%BE%D0%B4%D0%BD%D1%8B%D0%BC%D0%B8_(2022-2023) УрЧП]). Интерпретация уравнения непрерывности,
теплопроводности и Фоккера-Планка через законы сохранения. Решение транспортного уравнения с константным сносом. Логарифмическое уравнение непрерывности, его решение методом характеристик. Применение к подсчету правдоподобия модели, заданной ОДУ.

'''Лекция / Семинар 5.''' Диффузионные модели с [https://arxiv.org/abs/2011.13456 непрерывным временем]. Переход от СДУ к ОДУ и обратно. Обращение ОДУ по времени. Обращение СДУ по времени ([https://core.ac.uk/download/pdf/82826666.pdf оригинальная статья]) с помощью схемы СДУ -> ОДУ -> обратное ОДУ -> обратное СДУ. Score функция, ее представление через условное матожидание условной score функции, интерпретация и обучение методом [https://arxiv.org/abs/1907.05600 Denoising Score Matching]. Эквивалентность Denoising Score Matching обучению модели, предсказывающей чистое изображение/шум в изображении.

Выражение score функции VP-SDE через score функцию VE-SDE. Применение: имея обученную модель-денойзер, можно семплировать из VP-SDE и VE-SDE без переобучения модели. Предельное распределение однородного СДУ, связь со стационарным распределением, сведение к однородному уравнению Фоккера-Планка (d/dt p_t(x) = 0). Динамика Ланжевена: снос в СДУ, сходящейся к распределению p(x), с точностью до константы совпадает со score функцией. Применение к генерации семплов из распределения p(x) и связь с градиентным подъемом.

'''Лекция / Семинар 6.''' Имплементация диффузионных моделей на практике: [https://disk.yandex.ru/d/WWwuJvGdoGlPCQ ноутбук]. Denoising Score Matching для обучения обусловленных диффузионных моделей. Обуславливание безусловных диффузионных моделей с помощью шумного классификатора: [https://arxiv.org/abs/2105.05233 Classifier Guidance], контролирование баланса между правдоподобием и разнообразием семплов. Перенос той же техники на предобученные условные модели: [https://arxiv.org/abs/2207.12598 Classifier-free Guidance].

'''Лекция / Семинар 7.''' Дистилляция диффузионных моделей. Функциональная дистилляция, состоящая в обучении генератора на повтор траектории ОДУ диффузионной модели: простая дистилляция, [https://arxiv.org/abs/2303.01469 Consistency Models]. Классический способ получить обучающий сигнал для попадания в распределение: Генеративно-состязательные сети ([https://arxiv.org/abs/1406.2661 GANs]), вывод лог-лосса, интерпретация через минимизацию дивергенции Йенсена-Шеннона. Соединение двух парадигм: Consistency Models + GAN loss. Использование предобученной диффузионной модели для выделения признаков, на которых считается GAN loss: [https://arxiv.org/abs/2403.12015 Latent Adversarial Diffusion Distillation (LADD)]. Использование диффузионной модели в качестве обучающего сигнала для произвольного вида генератора: метод [https://arxiv.org/abs/2311.18828 Distribution Matching Distillation] (его прототип [https://arxiv.org/abs/2305.18455 Diff-Instruct], конкурентная работа [https://arxiv.org/abs/2312.05239 SwiftBrush] и улучшенная версия [https://arxiv.org/html/2405.14867v1 Improved DMD]).

'''Лекция / Семинар 8.''' Ускорение генерации из диффузионных моделей с помощью солверов ОДУ. Методы, более точно приближающие ОДУ с помощью промежуточных точек: метод Хойна, методы Рунге-Кутта. Линейные многошаговые методы (linear multi-step, LMS): использование только предыдущих значений векторного поля для разностного приближения производных высших порядков. [https://arxiv.org/abs/2206.00927 DPM-Solver]: использование полу-линейной структуры диффузионных ОДУ и log-SNR замены времени для более точного приближения честного решения. [https://disk.yandex.ru/d/pYjKp72UfX9LPw Семинарский ноутбук.]

Обучение сетки дискретизации с помощью дистилляции многошаговой схемы в малошаговую: [https://arxiv.org/abs/2405.15506 LD3]. Обучение коэффициентов солвера: [https://arxiv.org/abs/2502.17423 S4S]. [https://arxiv.org/abs/2510.17699 Generalized Adversarial Solver (GAS)]: эффективная параметризация для обучения сетки дискретизации и коэффициентов солвера, соединение функционала дистилляции с GAN loss для улучшения деталей сгенерированных изображений. Статья написана коллективом из BayesGroup: [https://github.com/3145tttt/GAS GitHub].

'''Лекция / Семинар 9.''' Диффузионные модели как процессы интерполяции между шумом и данными. Модель [https://arxiv.org/abs/2210.02747 Flow Matching] (аналоги [https://arxiv.org/abs/2302.00482 Conditional Flow Matching] и [https://arxiv.org/abs/2209.15571 Stochastic Interpolants]): построение ОДУ, порождающего безусловную динамику при известном ОДУ, порождающем условную динамику. Применение к задаче безусловной генерации. Применение к парным задачам переноса стиля: Flow Matching [https://arxiv.org/abs/2209.03003 снижает] транспортную цену. Представление диффузионных моделей в качестве частного случая модели Flow Matching. Статьи про решение парных задач [https://arxiv.org/abs/2310.03725 на основе ОДУ] и [https://arxiv.org/abs/2302.05872 на основе СДУ].

'''Лекция / Семинар 10.''' Задача оптимального транспорта (ОТ): задача Монжа и Канторовича, их эквивалентность при наличии плотностей у обоих распределений. Применимость модели Flow Matching для непарных задач: снижение транспортной цены не гарантирует хорошего отображения. Алгоритм [https://arxiv.org/abs/2209.03003 Rectified Flow] (теоретическое [https://arxiv.org/abs/2209.14577 дополнение]): повторное обучение Flow Matching (процедуры Rectify) для последовательного снижения транспортной цены отображения. Неподвижные точки Rectify: 4 эквивалентных свойства. Следствие: решение задачи ОТ может быть представлено в виде ОДУ с прямыми траекториями. Задача динамического ОТ, формула Бенаму-Бренье. Интерпретация метода Rectified Flow как чередования проецирования на множество процессов с прямыми траекториями и множество процессов, заданных ОДУ. ОДУ с прямыми траекториями решает задачу ОТ тогда и только тогда, когда векторное поле задается градиентом скалярного. Пример обратного: гауссовское распределение и процесс поворота.

'''Лекция / Семинар 11.''' Диффузионные методы непарного перевода между доменами, классификация на односторонние и двусторонние. Напоминание методов [https://arxiv.org/abs/2108.01073 SDEdit] и [https://arxiv.org/abs/2203.08382 DDIB]: зашумление (стохастическое и детерминированное) исходной картинки и ее расшумление с помощью целевой диффузионной модели. Модификация процесса генерации из целевого распределения с помощью функции энергии: методы [https://arxiv.org/abs/2108.02938 ILVR] и [https://arxiv.org/abs/2207.06635 EGSDE]. Решение задачи ОТ с помощью множителей Лагранжа и соответствующей минимаксной задачи. Метод [https://arxiv.org/abs/2201.12220 Neural Optimal Transport]. Метод [https://arxiv.org/abs/2406.14762 Regularized DMD / RDMD]: соединение distribution matching функционала с транспортной ценой для непарного перевода между доменами (совместная с коллегами работа).

'''Лекция / Семинар 12.''' Метод Bridge Matching: обобщение Flow Matching на стохастический случай для решения парных задач перевода между доменами. Вывод оптимального векторного поля и коэффициента диффузии, порождающих безусловную динамику по условной. h-преобразование Дуба: обуславливание СДУ на конечную точку для получения СДУ, интерполирующего между двумя точками. Пример: обуславливание VE-SDE. Пример: если g(t) = const, обуславливание VE-SDE порождает Броуновский мост. Хорошо описан в статьях [https://arxiv.org/abs/2302.11419 Aligned Diffusion Schrödinger Bridges] и [https://arxiv.org/abs/2303.16852 Diffusion Schrödinger Bridge Matching]. Применение к обратным задачам: статья [https://arxiv.org/abs/2302.05872 I2SB: Image-to-Image Schrödinger Bridge]. Общий вид h-преобразования Дуба для превращения СДУ, приходящего в p(x), в СДУ, приходящее в распределение, пропорциональное p(x)h(x).

== Материалы прошлых лет ==

[http://wiki.cs.hse.ru/%D0%93%D0%B5%D0%BD%D0%B5%D1%80%D0%B0%D1%82%D0%B8%D0%B2%D0%BD%D1%8B%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8_%D0%BD%D0%B0_%D0%BE%D1%81%D0%BD%D0%BE%D0%B2%D0%B5_%D0%B4%D0%B8%D1%84%D1%84%D1%83%D0%B7%D0%B8%D0%B8 2024-2025 учебный год]

[http://wiki.cs.hse.ru/%D0%93%D0%B5%D0%BD%D0%B5%D1%80%D0%B0%D1%82%D0%B8%D0%B2%D0%BD%D1%8B%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8_%D0%BD%D0%B0_%D0%BE%D1%81%D0%BD%D0%BE%D0%B2%D0%B5_ODE_%D0%B8_SDE Факультатив по ODE/SDE моделям (2023-2024)]

Генеративные модели на основе диффузии 25/26

2025-12-13T17:22:23Z

Rakitinden:

== Общая информация ==
Курс предназначен для студентов 4 курса ФКН ПМИ, но приглашаются все желающие, уверенно знающие математику младших курсов (в особенности теорию вероятностей), базово ориентирующиеся в глубинном обучении и программировании на PyTorch.

Занятия проходят '''по средам 13:00-16:00''', аудитория '''R208''' (переносы будут сообщаться в чате).

'''Лектор''': [https://t.me/denrakitin23 Денис Ракитин]

'''Семинарист''': [https://t.me/welmud Александр Оганов]

'''Ассистент''': [https://t.me/AlZayts Александр Зайцев]

[https://t.me/+Xq_PPtsvzH4xMGIy '''Чат курса''']

[https://disk.yandex.ru/i/Ei91FPvh5UEkpA '''Программа и описание курса''']

== Оценки ==

Формула итоговой оценки: Оитог = 0.3 * Отдз + 0.2 * Опдз + 0.2 * Опроект + 0.3 * Оэкз. Округление арифметическое.

Отдз и Опдз обозначают средние оценки за теоретические/практические дз, соответственно.

== Экзамен ==

=== [https://disk.yandex.ru/i/9-XGaOLZOZ3mRQ Программа предыдущего года] ===

Экзамен устный, состоит из билета и двух дополнительных вопросов. Один из дополнительных вопросов — задача, второй — вопрос на усмотрение принимающего (может быть задачей или вопросом по другим билетам). Разбалловка: 4 балла за билет и по 3 балла за доп. вопрос.

== Проект ==

Состоит в реализации и проведении экспериментов с одной из рассмотренных на курсе моделей.
Проект командный. Команда может включать не более 4 человек, для 3-4 человек в проекте будет дополнительное задание.
Сдача проекта включает в себя github-репозиторий с имплементацией и написанный в pdf отчет.
Оценка будет ставиться по трем критериям. Объем работы оценивается из 4 баллов, качество отчета и полученных результатов в 3 балла.

Подробное описание находится [https://disk.yandex.ru/i/cpdl5wvHRcu91w здесь] (нужно будет скачать, чтобы работали ссылки).

Дедлайн: 21 декабря 23:59.

== Домашние задания ==

Домашние задания будут выдаваться в день лекции, то есть по средам, на некоторое число недель вперед. Мягкие дедлайны будут по средам. Жесткий дедлайн будет в воскресенье той же недели. За каждый день просрочки коэффициент при оценке уменьшается на 0.1. Таким образом, позднее всего можно сдать домашнее задание в воскресенье с коэффициентом 0.6.

Сдаются в [https://anytask.org/course/1215 Anytask], инвайт t6bwFj5

В курсе будут 5 теоретических и 3 практических домашних задания. Вес у всех задач одинаковый, задачи оцениваются из 1 балла. Если в задачах есть пункты, то будет подписано количество баллов за каждый пункт, иначе баллы между пунктами делятся поровну.

===Теория===

[https://disk.yandex.ru/i/-lkBxvxp30-EHw ДЗ-1], [https://www.overleaf.com/read/bkvkjsfkgtnj#cad343 TeX исходник], мягкий дедлайн 24 сентября 23:59 (среда), жесткий дедлайн 28 сентября 23:59 (воскресенье).

[https://disk.yandex.ru/i/CECxe7biFDMM9A ДЗ-2], [https://www.overleaf.com/read/cpknqsqwcgvw#c442e0 ТеХ исходник], мягкий дедлайн 2 октября 23:59 (четверг), жесткий дедлайн 6 октября 23:59 (понедельник).

[https://disk.yandex.ru/i/uYK4QfGMdxwMOQ ДЗ-3], [https://www.overleaf.com/read/rmnxbpctnywp#2edc9c ТеХ исходник], мягкий дедлайн 22 октября 23:59 (среда), жесткий дедлайн 2 ноября 23:59 (воскресенье). Сессионные дни 25-31 октября не учитываются при снижении оценки за просрочку.

[https://disk.yandex.ru/i/aGDo5aHbMtakKA ДЗ-4], [https://www.overleaf.com/read/zbdyrbtscqsp#252754 ТеХ исходник], мягкий дедлайн 10 декабря 23:59 (среда), жесткий дедлайн 14 декабря 23:59 (воскресенье).
===Практика===

[https://disk.yandex.ru/d/D_7g3UDaYXK4Lg ДЗ-1], мягкий дедлайн 12 ноября 23:59 (среда), жесткий дедлайн 16 ноября 23:59 (воскресенье).

[https://disk.yandex.ru/d/kUzy1q49WP1lCg ДЗ-2], жесткий дедлайн 17 декабря 23:59 (среда).

== Лекции и семинары ==
[https://disk.yandex.ru/i/RJsps26HeG8ysQ '''Конспект лекций в процессе''']

[https://disk.yandex.ru/d/0N-1_Oz5COHN3A '''Записи лекций и семинаров''']

[https://disk.yandex.ru/d/uADNnoWxBWJJ-A '''Семинарские задачи''']

'''Лекция / Семинар 1.''' Генеративное моделирование. Семейства генеративных моделей: вариационные автокодировщики (VAEs), генеративно-состязательные сети (GANs), диффузионные модели. Генеративная трилемма: генеративная модель должна обладать высоким качеством генерации, высоким разнообразием и скоростью генерирования. Повтор теории вероятностей: совместная и условная плотность, формула Байеса, подсчет матожиданий через плотности. Условное матожидание (УМО): определение через интеграл условной плотности. Свойства: линейность, формула полного матожидания, вынос функции от условия за УМО, УМО от независимой величины равна безусловному матожиданию. Условное матожидание как наилучшее предсказание в среднеквадратичном.

Гауссовские векторы/многомерное нормальное распределение. Три эквивалентных определения, формула плотности. Аффинная замена гауссовских векторов, эквивалентность независимости и некоррелированности их компонент, ортогональное разложение, условное распределение компоненты относительно другой компоненты.

'''Лекция / Семинар 2.''' Процессы зашумления с дискретным временем: процесс с сохраняющейся (variance preserving, VP) и взрывающейся (variance exploding, VE) дисперсией. Определение марковской цепи. Процессы зашумления являются марковскими цепями. Переходные плотности VP и VE процессов. Обучение диффузионной модели (статья [https://arxiv.org/abs/2006.11239 DDPM]) через минимизацию КЛ дивергенции между совместным распределением процесса зашумления и процесса, заданного моделью (модель с гауссовскими переходами "назад" по времени, в которой нейросеть предсказывает среднее). Декомпозиция КЛ дивергенции через сумму КЛ дивергенций переходных распределений. Эквивалентность функционала обучению нейросети-денойзера для предсказания чистой картинки по шумной.

Свойства марковских цепей: обращенный по времени марковский процесс является марковским; процесс, обусловленный на конечную точку, также является марковским. Подсчет КЛ дивергенции между многомерными нормальными распределениями.

'''Лекция / Семинар 3.''' Обыкновенные дифференциальные уравнения (ОДУ), схема Эйлера. Построение непрерывного аналога процесса удаления картинки, заданного через ОДУ. Определение Винеровского процесса. (Псевдо)-определение стохастических дифференциальных уравнений (СДУ) через схему Эйлера. Построение непрерывных по времени аналогов VP и VE процессов: СДУ с сохраняющейся (VP-SDE) и взрывающейся (VE-SDE) дисперсией. Подсчет переходных распределений VE-SDE и VP-SDE с помощью решения линейных ОДУ.

Линейные СДУ вида dX_t = f(t) X_t dt + g(t) dW_t: обобщение VE/VP-SDE. Переходные плотности в линейных СДУ такого вида: гауссовское распределение, линейные ОДУ на матожидание и дисперсию, их решение. Визуализация непрерывных процессов зашумления: [https://disk.yandex.ru/d/H0Mbf6w2aL55Tg ноутбук], [https://disk.yandex.ru/d/BTKuym0Kxbzeww заполненный ноутбук].

'''Лекция / Семинар 4.''' Эволюция плотности частицы, движущейся под действием ОДУ/СДУ: уравнение непрерывности и уравнение Фоккера-Планка. Вывод общего вида законов сохранения (взято из курса [http://wiki.cs.hse.ru/%D0%A3%D1%80%D0%B0%D0%B2%D0%BD%D0%B5%D0%BD%D0%B8%D1%8F_%D1%81_%D1%87%D0%B0%D1%81%D1%82%D0%BD%D1%8B%D0%BC%D0%B8_%D0%BF%D1%80%D0%BE%D0%B8%D0%B7%D0%B2%D0%BE%D0%B4%D0%BD%D1%8B%D0%BC%D0%B8_(2022-2023) УрЧП]). Интерпретация уравнения непрерывности,
теплопроводности и Фоккера-Планка через законы сохранения. Решение транспортного уравнения с константным сносом. Логарифмическое уравнение непрерывности, его решение методом характеристик. Применение к подсчету правдоподобия модели, заданной ОДУ.

'''Лекция / Семинар 5.''' Диффузионные модели с [https://arxiv.org/abs/2011.13456 непрерывным временем]. Переход от СДУ к ОДУ и обратно. Обращение ОДУ по времени. Обращение СДУ по времени ([https://core.ac.uk/download/pdf/82826666.pdf оригинальная статья]) с помощью схемы СДУ -> ОДУ -> обратное ОДУ -> обратное СДУ. Score функция, ее представление через условное матожидание условной score функции, интерпретация и обучение методом [https://arxiv.org/abs/1907.05600 Denoising Score Matching]. Эквивалентность Denoising Score Matching обучению модели, предсказывающей чистое изображение/шум в изображении.

Выражение score функции VP-SDE через score функцию VE-SDE. Применение: имея обученную модель-денойзер, можно семплировать из VP-SDE и VE-SDE без переобучения модели. Предельное распределение однородного СДУ, связь со стационарным распределением, сведение к однородному уравнению Фоккера-Планка (d/dt p_t(x) = 0). Динамика Ланжевена: снос в СДУ, сходящейся к распределению p(x), с точностью до константы совпадает со score функцией. Применение к генерации семплов из распределения p(x) и связь с градиентным подъемом.

'''Лекция / Семинар 6.''' Имплементация диффузионных моделей на практике: [https://disk.yandex.ru/d/WWwuJvGdoGlPCQ ноутбук]. Denoising Score Matching для обучения обусловленных диффузионных моделей. Обуславливание безусловных диффузионных моделей с помощью шумного классификатора: [https://arxiv.org/abs/2105.05233 Classifier Guidance], контролирование баланса между правдоподобием и разнообразием семплов. Перенос той же техники на предобученные условные модели: [https://arxiv.org/abs/2207.12598 Classifier-free Guidance].

'''Лекция / Семинар 7.''' Дистилляция диффузионных моделей. Функциональная дистилляция, состоящая в обучении генератора на повтор траектории ОДУ диффузионной модели: простая дистилляция, [https://arxiv.org/abs/2303.01469 Consistency Models]. Классический способ получить обучающий сигнал для попадания в распределение: Генеративно-состязательные сети ([https://arxiv.org/abs/1406.2661 GANs]), вывод лог-лосса, интерпретация через минимизацию дивергенции Йенсена-Шеннона. Соединение двух парадигм: Consistency Models + GAN loss. Использование предобученной диффузионной модели для выделения признаков, на которых считается GAN loss: [https://arxiv.org/abs/2403.12015 Latent Adversarial Diffusion Distillation (LADD)]. Использование диффузионной модели в качестве обучающего сигнала для произвольного вида генератора: метод [https://arxiv.org/abs/2311.18828 Distribution Matching Distillation] (его прототип [https://arxiv.org/abs/2305.18455 Diff-Instruct], конкурентная работа [https://arxiv.org/abs/2312.05239 SwiftBrush] и улучшенная версия [https://arxiv.org/html/2405.14867v1 Improved DMD]).

'''Лекция / Семинар 8.''' Ускорение генерации из диффузионных моделей с помощью солверов ОДУ. Методы, более точно приближающие ОДУ с помощью промежуточных точек: метод Хойна, методы Рунге-Кутта. Линейные многошаговые методы (linear multi-step, LMS): использование только предыдущих значений векторного поля для разностного приближения производных высших порядков. [https://arxiv.org/abs/2206.00927 DPM-Solver]: использование полу-линейной структуры диффузионных ОДУ и log-SNR замены времени для более точного приближения честного решения. [https://disk.yandex.ru/d/pYjKp72UfX9LPw Семинарский ноутбук.]

Обучение сетки дискретизации с помощью дистилляции многошаговой схемы в малошаговую: [https://arxiv.org/abs/2405.15506 LD3]. Обучение коэффициентов солвера: [https://arxiv.org/abs/2502.17423 S4S]. [https://arxiv.org/abs/2510.17699 Generalized Adversarial Solver (GAS)]: эффективная параметризация для обучения сетки дискретизации и коэффициентов солвера, соединение функционала дистилляции с GAN loss для улучшения деталей сгенерированных изображений. Статья написана коллективом из BayesGroup: [https://github.com/3145tttt/GAS GitHub].

'''Лекция / Семинар 9.''' Диффузионные модели как процессы интерполяции между шумом и данными. Модель [https://arxiv.org/abs/2210.02747 Flow Matching] (аналоги [https://arxiv.org/abs/2302.00482 Conditional Flow Matching] и [https://arxiv.org/abs/2209.15571 Stochastic Interpolants]): построение ОДУ, порождающего безусловную динамику при известном ОДУ, порождающем условную динамику. Применение к задаче безусловной генерации. Применение к парным задачам переноса стиля: Flow Matching [https://arxiv.org/abs/2209.03003 снижает] транспортную цену. Представление диффузионных моделей в качестве частного случая модели Flow Matching. Статьи про решение парных задач [https://arxiv.org/abs/2310.03725 на основе ОДУ] и [https://arxiv.org/abs/2302.05872 на основе СДУ].

'''Лекция / Семинар 10.''' Задача оптимального транспорта (ОТ): задача Монжа и Канторовича, их эквивалентность при наличии плотностей у обоих распределений. Применимость модели Flow Matching для непарных задач: снижение транспортной цены не гарантирует хорошего отображения. Алгоритм [https://arxiv.org/abs/2209.03003 Rectified Flow] (теоретическое [https://arxiv.org/abs/2209.14577 дополнение]): повторное обучение Flow Matching (процедуры Rectify) для последовательного снижения транспортной цены отображения. Неподвижные точки Rectify: 4 эквивалентных свойства. Следствие: решение задачи ОТ может быть представлено в виде ОДУ с прямыми траекториями. Задача динамического ОТ, формула Бенаму-Бренье. Интерпретация метода Rectified Flow как чередования проецирования на множество процессов с прямыми траекториями и множество процессов, заданных ОДУ. ОДУ с прямыми траекториями решает задачу ОТ тогда и только тогда, когда векторное поле задается градиентом скалярного. Пример обратного: гауссовское распределение и процесс поворота.

'''Лекция / Семинар 11.''' Диффузионные методы непарного перевода между доменами, классификация на односторонние и двусторонние. Напоминание методов [https://arxiv.org/abs/2108.01073 SDEdit] и [https://arxiv.org/abs/2203.08382 DDIB]: зашумление (стохастическое и детерминированное) исходной картинки и ее расшумление с помощью целевой диффузионной модели. Модификация процесса генерации из целевого распределения с помощью функции энергии: методы [https://arxiv.org/abs/2108.02938 ILVR] и [https://arxiv.org/abs/2207.06635 EGSDE]. Решение задачи ОТ с помощью множителей Лагранжа и соответствующей минимаксной задачи. Метод [https://arxiv.org/abs/2201.12220 Neural Optimal Transport]. Метод [https://arxiv.org/abs/2406.14762 Regularized DMD / RDMD]: соединение distribution matching функционала с транспортной ценой для непарного перевода между доменами (совместная с коллегами работа).

== Материалы прошлых лет ==

[http://wiki.cs.hse.ru/%D0%93%D0%B5%D0%BD%D0%B5%D1%80%D0%B0%D1%82%D0%B8%D0%B2%D0%BD%D1%8B%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8_%D0%BD%D0%B0_%D0%BE%D1%81%D0%BD%D0%BE%D0%B2%D0%B5_%D0%B4%D0%B8%D1%84%D1%84%D1%83%D0%B7%D0%B8%D0%B8 2024-2025 учебный год]

[http://wiki.cs.hse.ru/%D0%93%D0%B5%D0%BD%D0%B5%D1%80%D0%B0%D1%82%D0%B8%D0%B2%D0%BD%D1%8B%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8_%D0%BD%D0%B0_%D0%BE%D1%81%D0%BD%D0%BE%D0%B2%D0%B5_ODE_%D0%B8_SDE Факультатив по ODE/SDE моделям (2023-2024)]

Генеративные модели на основе диффузии 25/26

2025-12-04T23:42:44Z

Rakitinden:

== Общая информация ==
Курс предназначен для студентов 4 курса ФКН ПМИ, но приглашаются все желающие, уверенно знающие математику младших курсов (в особенности теорию вероятностей), базово ориентирующиеся в глубинном обучении и программировании на PyTorch.

Занятия проходят '''по средам 13:00-16:00''', аудитория '''R208''' (переносы будут сообщаться в чате).

'''Лектор''': [https://t.me/denrakitin23 Денис Ракитин]

'''Семинарист''': [https://t.me/welmud Александр Оганов]

'''Ассистент''': [https://t.me/AlZayts Александр Зайцев]

[https://t.me/+Xq_PPtsvzH4xMGIy '''Чат курса''']

[https://disk.yandex.ru/i/Ei91FPvh5UEkpA '''Программа и описание курса''']

== Оценки ==

Формула итоговой оценки: Оитог = 0.3 * Отдз + 0.2 * Опдз + 0.2 * Опроект + 0.3 * Оэкз. Округление арифметическое.

Отдз и Опдз обозначают средние оценки за теоретические/практические дз, соответственно.

== Экзамен ==

=== [https://disk.yandex.ru/i/9-XGaOLZOZ3mRQ Программа предыдущего года] ===

Экзамен устный, состоит из билета и двух дополнительных вопросов. Один из дополнительных вопросов — задача, второй — вопрос на усмотрение принимающего (может быть задачей или вопросом по другим билетам). Разбалловка: 4 балла за билет и по 3 балла за доп. вопрос.

== Проект ==

Состоит в реализации и проведении экспериментов с одной из рассмотренных на курсе моделей.
Проект командный. Команда может включать не более 4 человек, для 3-4 человек в проекте будет дополнительное задание.
Сдача проекта включает в себя github-репозиторий с имплементацией и написанный в pdf отчет.
Оценка будет ставиться по трем критериям. Объем работы оценивается из 4 баллов, качество отчета и полученных результатов в 3 балла.

Подробное описание находится [https://disk.yandex.ru/i/cpdl5wvHRcu91w здесь] (нужно будет скачать, чтобы работали ссылки).

Дедлайн: 21 декабря 23:59.

== Домашние задания ==

Домашние задания будут выдаваться в день лекции, то есть по средам, на некоторое число недель вперед. Мягкие дедлайны будут по средам. Жесткий дедлайн будет в воскресенье той же недели. За каждый день просрочки коэффициент при оценке уменьшается на 0.1. Таким образом, позднее всего можно сдать домашнее задание в воскресенье с коэффициентом 0.6.

Сдаются в [https://anytask.org/course/1215 Anytask], инвайт t6bwFj5

В курсе будут 5 теоретических и 3 практических домашних задания. Вес у всех задач одинаковый, задачи оцениваются из 1 балла. Если в задачах есть пункты, то будет подписано количество баллов за каждый пункт, иначе баллы между пунктами делятся поровну.

===Теория===

[https://disk.yandex.ru/i/-lkBxvxp30-EHw ДЗ-1], [https://www.overleaf.com/read/bkvkjsfkgtnj#cad343 TeX исходник], мягкий дедлайн 24 сентября 23:59 (среда), жесткий дедлайн 28 сентября 23:59 (воскресенье).

[https://disk.yandex.ru/i/CECxe7biFDMM9A ДЗ-2], [https://www.overleaf.com/read/cpknqsqwcgvw#c442e0 ТеХ исходник], мягкий дедлайн 2 октября 23:59 (четверг), жесткий дедлайн 6 октября 23:59 (понедельник).

[https://disk.yandex.ru/i/uYK4QfGMdxwMOQ ДЗ-3], [https://www.overleaf.com/read/rmnxbpctnywp#2edc9c ТеХ исходник], мягкий дедлайн 22 октября 23:59 (среда), жесткий дедлайн 2 ноября 23:59 (воскресенье). Сессионные дни 25-31 октября не учитываются при снижении оценки за просрочку.

[https://disk.yandex.ru/i/aGDo5aHbMtakKA ДЗ-4], [https://www.overleaf.com/read/zbdyrbtscqsp#252754 ТеХ исходник], мягкий дедлайн 10 декабря 23:59 (среда), жесткий дедлайн 14 декабря 23:59 (воскресенье).
===Практика===

[https://disk.yandex.ru/d/D_7g3UDaYXK4Lg ДЗ-1], мягкий дедлайн 12 ноября 23:59 (среда), жесткий дедлайн 16 ноября 23:59 (воскресенье).

[https://disk.yandex.ru/d/kUzy1q49WP1lCg ДЗ-2], жесткий дедлайн 17 декабря 23:59 (среда).

== Лекции и семинары ==
[https://disk.yandex.ru/i/RJsps26HeG8ysQ '''Конспект лекций в процессе''']

[https://disk.yandex.ru/d/0N-1_Oz5COHN3A '''Записи лекций и семинаров''']

[https://disk.yandex.ru/d/uADNnoWxBWJJ-A '''Семинарские задачи''']

'''Лекция / Семинар 1.''' Генеративное моделирование. Семейства генеративных моделей: вариационные автокодировщики (VAEs), генеративно-состязательные сети (GANs), диффузионные модели. Генеративная трилемма: генеративная модель должна обладать высоким качеством генерации, высоким разнообразием и скоростью генерирования. Повтор теории вероятностей: совместная и условная плотность, формула Байеса, подсчет матожиданий через плотности. Условное матожидание (УМО): определение через интеграл условной плотности. Свойства: линейность, формула полного матожидания, вынос функции от условия за УМО, УМО от независимой величины равна безусловному матожиданию. Условное матожидание как наилучшее предсказание в среднеквадратичном.

Гауссовские векторы/многомерное нормальное распределение. Три эквивалентных определения, формула плотности. Аффинная замена гауссовских векторов, эквивалентность независимости и некоррелированности их компонент, ортогональное разложение, условное распределение компоненты относительно другой компоненты.

'''Лекция / Семинар 2.''' Процессы зашумления с дискретным временем: процесс с сохраняющейся (variance preserving, VP) и взрывающейся (variance exploding, VE) дисперсией. Определение марковской цепи. Процессы зашумления являются марковскими цепями. Переходные плотности VP и VE процессов. Обучение диффузионной модели (статья [https://arxiv.org/abs/2006.11239 DDPM]) через минимизацию КЛ дивергенции между совместным распределением процесса зашумления и процесса, заданного моделью (модель с гауссовскими переходами "назад" по времени, в которой нейросеть предсказывает среднее). Декомпозиция КЛ дивергенции через сумму КЛ дивергенций переходных распределений. Эквивалентность функционала обучению нейросети-денойзера для предсказания чистой картинки по шумной.

Свойства марковских цепей: обращенный по времени марковский процесс является марковским; процесс, обусловленный на конечную точку, также является марковским. Подсчет КЛ дивергенции между многомерными нормальными распределениями.

'''Лекция / Семинар 3.''' Обыкновенные дифференциальные уравнения (ОДУ), схема Эйлера. Построение непрерывного аналога процесса удаления картинки, заданного через ОДУ. Определение Винеровского процесса. (Псевдо)-определение стохастических дифференциальных уравнений (СДУ) через схему Эйлера. Построение непрерывных по времени аналогов VP и VE процессов: СДУ с сохраняющейся (VP-SDE) и взрывающейся (VE-SDE) дисперсией. Подсчет переходных распределений VE-SDE и VP-SDE с помощью решения линейных ОДУ.

Линейные СДУ вида dX_t = f(t) X_t dt + g(t) dW_t: обобщение VE/VP-SDE. Переходные плотности в линейных СДУ такого вида: гауссовское распределение, линейные ОДУ на матожидание и дисперсию, их решение. Визуализация непрерывных процессов зашумления: [https://disk.yandex.ru/d/H0Mbf6w2aL55Tg ноутбук], [https://disk.yandex.ru/d/BTKuym0Kxbzeww заполненный ноутбук].

'''Лекция / Семинар 4.''' Эволюция плотности частицы, движущейся под действием ОДУ/СДУ: уравнение непрерывности и уравнение Фоккера-Планка. Вывод общего вида законов сохранения (взято из курса [http://wiki.cs.hse.ru/%D0%A3%D1%80%D0%B0%D0%B2%D0%BD%D0%B5%D0%BD%D0%B8%D1%8F_%D1%81_%D1%87%D0%B0%D1%81%D1%82%D0%BD%D1%8B%D0%BC%D0%B8_%D0%BF%D1%80%D0%BE%D0%B8%D0%B7%D0%B2%D0%BE%D0%B4%D0%BD%D1%8B%D0%BC%D0%B8_(2022-2023) УрЧП]). Интерпретация уравнения непрерывности,
теплопроводности и Фоккера-Планка через законы сохранения. Решение транспортного уравнения с константным сносом. Логарифмическое уравнение непрерывности, его решение методом характеристик. Применение к подсчету правдоподобия модели, заданной ОДУ.

'''Лекция / Семинар 5.''' Диффузионные модели с [https://arxiv.org/abs/2011.13456 непрерывным временем]. Переход от СДУ к ОДУ и обратно. Обращение ОДУ по времени. Обращение СДУ по времени ([https://core.ac.uk/download/pdf/82826666.pdf оригинальная статья]) с помощью схемы СДУ -> ОДУ -> обратное ОДУ -> обратное СДУ. Score функция, ее представление через условное матожидание условной score функции, интерпретация и обучение методом [https://arxiv.org/abs/1907.05600 Denoising Score Matching]. Эквивалентность Denoising Score Matching обучению модели, предсказывающей чистое изображение/шум в изображении.

Выражение score функции VP-SDE через score функцию VE-SDE. Применение: имея обученную модель-денойзер, можно семплировать из VP-SDE и VE-SDE без переобучения модели. Предельное распределение однородного СДУ, связь со стационарным распределением, сведение к однородному уравнению Фоккера-Планка (d/dt p_t(x) = 0). Динамика Ланжевена: снос в СДУ, сходящейся к распределению p(x), с точностью до константы совпадает со score функцией. Применение к генерации семплов из распределения p(x) и связь с градиентным подъемом.

'''Лекция / Семинар 6.''' Имплементация диффузионных моделей на практике: [https://disk.yandex.ru/d/WWwuJvGdoGlPCQ ноутбук]. Denoising Score Matching для обучения обусловленных диффузионных моделей. Обуславливание безусловных диффузионных моделей с помощью шумного классификатора: [https://arxiv.org/abs/2105.05233 Classifier Guidance], контролирование баланса между правдоподобием и разнообразием семплов. Перенос той же техники на предобученные условные модели: [https://arxiv.org/abs/2207.12598 Classifier-free Guidance].

'''Лекция / Семинар 7.''' Дистилляция диффузионных моделей. Функциональная дистилляция, состоящая в обучении генератора на повтор траектории ОДУ диффузионной модели: простая дистилляция, [https://arxiv.org/abs/2303.01469 Consistency Models]. Классический способ получить обучающий сигнал для попадания в распределение: Генеративно-состязательные сети ([https://arxiv.org/abs/1406.2661 GANs]), вывод лог-лосса, интерпретация через минимизацию дивергенции Йенсена-Шеннона. Соединение двух парадигм: Consistency Models + GAN loss. Использование предобученной диффузионной модели для выделения признаков, на которых считается GAN loss: [https://arxiv.org/abs/2403.12015 Latent Adversarial Diffusion Distillation (LADD)]. Использование диффузионной модели в качестве обучающего сигнала для произвольного вида генератора: метод [https://arxiv.org/abs/2311.18828 Distribution Matching Distillation] (его прототип [https://arxiv.org/abs/2305.18455 Diff-Instruct], конкурентная работа [https://arxiv.org/abs/2312.05239 SwiftBrush] и улучшенная версия [https://arxiv.org/html/2405.14867v1 Improved DMD]).

'''Лекция / Семинар 8.''' Ускорение генерации из диффузионных моделей с помощью солверов ОДУ. Методы, более точно приближающие ОДУ с помощью промежуточных точек: метод Хойна, методы Рунге-Кутта. Линейные многошаговые методы (linear multi-step, LMS): использование только предыдущих значений векторного поля для разностного приближения производных высших порядков. [https://arxiv.org/abs/2206.00927 DPM-Solver]: использование полу-линейной структуры диффузионных ОДУ и log-SNR замены времени для более точного приближения честного решения. [https://disk.yandex.ru/d/pYjKp72UfX9LPw Семинарский ноутбук.]

Обучение сетки дискретизации с помощью дистилляции многошаговой схемы в малошаговую: [https://arxiv.org/abs/2405.15506 LD3]. Обучение коэффициентов солвера: [https://arxiv.org/abs/2502.17423 S4S]. [https://arxiv.org/abs/2510.17699 Generalized Adversarial Solver (GAS)]: эффективная параметризация для обучения сетки дискретизации и коэффициентов солвера, соединение функционала дистилляции с GAN loss для улучшения деталей сгенерированных изображений. Статья написана коллективом из BayesGroup: [https://github.com/3145tttt/GAS GitHub].

'''Лекция / Семинар 9.''' Диффузионные модели как процессы интерполяции между шумом и данными. Модель [https://arxiv.org/abs/2210.02747 Flow Matching] (аналоги [https://arxiv.org/abs/2302.00482 Conditional Flow Matching] и [https://arxiv.org/abs/2209.15571 Stochastic Interpolants]): построение ОДУ, порождающего безусловную динамику при известном ОДУ, порождающем условную динамику. Применение к задаче безусловной генерации. Применение к парным задачам переноса стиля: Flow Matching [https://arxiv.org/abs/2209.03003 снижает] транспортную цену. Представление диффузионных моделей в качестве частного случая модели Flow Matching. Статьи про решение парных задач [https://arxiv.org/abs/2310.03725 на основе ОДУ] и [https://arxiv.org/abs/2302.05872 на основе СДУ].

'''Лекция / Семинар 10.''' Задача оптимального транспорта (ОТ): задача Монжа и Канторовича, их эквивалентность при наличии плотностей у обоих распределений. Применимость модели Flow Matching для непарных задач: снижение транспортной цены не гарантирует хорошего отображения. Алгоритм [https://arxiv.org/abs/2209.03003 Rectified Flow] (теоретическое [https://arxiv.org/abs/2209.14577 дополнение]): повторное обучение Flow Matching (процедуры Rectify) для последовательного снижения транспортной цены отображения. Неподвижные точки Rectify: 4 эквивалентных свойства. Следствие: решение задачи ОТ может быть представлено в виде ОДУ с прямыми траекториями. Задача динамического ОТ, формула Бенаму-Бренье. Интерпретация метода Rectified Flow как чередования проецирования на множество процессов с прямыми траекториями и множество процессов, заданных ОДУ. ОДУ с прямыми траекториями решает задачу ОТ тогда и только тогда, когда векторное поле задается градиентом скалярного. Пример обратного: гауссовское распределение и процесс поворота.

== Материалы прошлых лет ==

[http://wiki.cs.hse.ru/%D0%93%D0%B5%D0%BD%D0%B5%D1%80%D0%B0%D1%82%D0%B8%D0%B2%D0%BD%D1%8B%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8_%D0%BD%D0%B0_%D0%BE%D1%81%D0%BD%D0%BE%D0%B2%D0%B5_%D0%B4%D0%B8%D1%84%D1%84%D1%83%D0%B7%D0%B8%D0%B8 2024-2025 учебный год]

[http://wiki.cs.hse.ru/%D0%93%D0%B5%D0%BD%D0%B5%D1%80%D0%B0%D1%82%D0%B8%D0%B2%D0%BD%D1%8B%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8_%D0%BD%D0%B0_%D0%BE%D1%81%D0%BD%D0%BE%D0%B2%D0%B5_ODE_%D0%B8_SDE Факультатив по ODE/SDE моделям (2023-2024)]

Генеративные модели на основе диффузии 25/26

2025-12-04T23:41:34Z

Rakitinden:

== Общая информация ==
Курс предназначен для студентов 4 курса ФКН ПМИ, но приглашаются все желающие, уверенно знающие математику младших курсов (в особенности теорию вероятностей), базово ориентирующиеся в глубинном обучении и программировании на PyTorch.

Занятия проходят '''по средам 13:00-16:00''', аудитория '''R208''' (переносы будут сообщаться в чате).

'''Лектор''': [https://t.me/denrakitin23 Денис Ракитин]

'''Семинарист''': [https://t.me/welmud Александр Оганов]

'''Ассистент''': [https://t.me/AlZayts Александр Зайцев]

[https://t.me/+Xq_PPtsvzH4xMGIy '''Чат курса''']

[https://disk.yandex.ru/i/Ei91FPvh5UEkpA '''Программа и описание курса''']

== Оценки ==

Формула итоговой оценки: Оитог = 0.3 * Отдз + 0.2 * Опдз + 0.2 * Опроект + 0.3 * Оэкз. Округление арифметическое.

Отдз и Опдз обозначают средние оценки за теоретические/практические дз, соответственно.

== Экзамен ==

=== [https://disk.yandex.ru/i/9-XGaOLZOZ3mRQ Программа предыдущего года] ===

Экзамен устный, состоит из билета и двух дополнительных вопросов. Один из дополнительных вопросов — задача, второй — вопрос на усмотрение принимающего (может быть задачей или вопросом по другим билетам). Разбалловка: 4 балла за билет и по 3 балла за доп. вопрос.

== Проект ==

Состоит в реализации и проведении экспериментов с одной из рассмотренных на курсе моделей.
Проект командный. Команда может включать не более 4 человек, для 3-4 человек в проекте будет дополнительное задание.
Сдача проекта включает в себя github-репозиторий с имплементацией и написанный в pdf отчет.
Оценка будет ставиться по трем критериям. Объем работы оценивается из 4 баллов, качество отчета и полученных результатов в 3 балла.

Подробное описание находится [https://disk.yandex.ru/i/cpdl5wvHRcu91w здесь] (нужно будет скачать, чтобы работали ссылки).

== Домашние задания ==

Домашние задания будут выдаваться в день лекции, то есть по средам, на некоторое число недель вперед. Мягкие дедлайны будут по средам. Жесткий дедлайн будет в воскресенье той же недели. За каждый день просрочки коэффициент при оценке уменьшается на 0.1. Таким образом, позднее всего можно сдать домашнее задание в воскресенье с коэффициентом 0.6.

Сдаются в [https://anytask.org/course/1215 Anytask], инвайт t6bwFj5

В курсе будут 5 теоретических и 3 практических домашних задания. Вес у всех задач одинаковый, задачи оцениваются из 1 балла. Если в задачах есть пункты, то будет подписано количество баллов за каждый пункт, иначе баллы между пунктами делятся поровну.

===Теория===

[https://disk.yandex.ru/i/-lkBxvxp30-EHw ДЗ-1], [https://www.overleaf.com/read/bkvkjsfkgtnj#cad343 TeX исходник], мягкий дедлайн 24 сентября 23:59 (среда), жесткий дедлайн 28 сентября 23:59 (воскресенье).

[https://disk.yandex.ru/i/CECxe7biFDMM9A ДЗ-2], [https://www.overleaf.com/read/cpknqsqwcgvw#c442e0 ТеХ исходник], мягкий дедлайн 2 октября 23:59 (четверг), жесткий дедлайн 6 октября 23:59 (понедельник).

[https://disk.yandex.ru/i/uYK4QfGMdxwMOQ ДЗ-3], [https://www.overleaf.com/read/rmnxbpctnywp#2edc9c ТеХ исходник], мягкий дедлайн 22 октября 23:59 (среда), жесткий дедлайн 2 ноября 23:59 (воскресенье). Сессионные дни 25-31 октября не учитываются при снижении оценки за просрочку.

[https://disk.yandex.ru/i/aGDo5aHbMtakKA ДЗ-4], [https://www.overleaf.com/read/zbdyrbtscqsp#252754 ТеХ исходник], мягкий дедлайн 10 декабря 23:59 (среда), жесткий дедлайн 14 декабря 23:59 (воскресенье).
===Практика===

[https://disk.yandex.ru/d/D_7g3UDaYXK4Lg ДЗ-1], мягкий дедлайн 12 ноября 23:59 (среда), жесткий дедлайн 16 ноября 23:59 (воскресенье).

[https://disk.yandex.ru/d/kUzy1q49WP1lCg ДЗ-2], жесткий дедлайн 17 декабря 23:59 (среда).

== Лекции и семинары ==
[https://disk.yandex.ru/i/RJsps26HeG8ysQ '''Конспект лекций в процессе''']

[https://disk.yandex.ru/d/0N-1_Oz5COHN3A '''Записи лекций и семинаров''']

[https://disk.yandex.ru/d/uADNnoWxBWJJ-A '''Семинарские задачи''']

'''Лекция / Семинар 1.''' Генеративное моделирование. Семейства генеративных моделей: вариационные автокодировщики (VAEs), генеративно-состязательные сети (GANs), диффузионные модели. Генеративная трилемма: генеративная модель должна обладать высоким качеством генерации, высоким разнообразием и скоростью генерирования. Повтор теории вероятностей: совместная и условная плотность, формула Байеса, подсчет матожиданий через плотности. Условное матожидание (УМО): определение через интеграл условной плотности. Свойства: линейность, формула полного матожидания, вынос функции от условия за УМО, УМО от независимой величины равна безусловному матожиданию. Условное матожидание как наилучшее предсказание в среднеквадратичном.

Гауссовские векторы/многомерное нормальное распределение. Три эквивалентных определения, формула плотности. Аффинная замена гауссовских векторов, эквивалентность независимости и некоррелированности их компонент, ортогональное разложение, условное распределение компоненты относительно другой компоненты.

'''Лекция / Семинар 2.''' Процессы зашумления с дискретным временем: процесс с сохраняющейся (variance preserving, VP) и взрывающейся (variance exploding, VE) дисперсией. Определение марковской цепи. Процессы зашумления являются марковскими цепями. Переходные плотности VP и VE процессов. Обучение диффузионной модели (статья [https://arxiv.org/abs/2006.11239 DDPM]) через минимизацию КЛ дивергенции между совместным распределением процесса зашумления и процесса, заданного моделью (модель с гауссовскими переходами "назад" по времени, в которой нейросеть предсказывает среднее). Декомпозиция КЛ дивергенции через сумму КЛ дивергенций переходных распределений. Эквивалентность функционала обучению нейросети-денойзера для предсказания чистой картинки по шумной.

Свойства марковских цепей: обращенный по времени марковский процесс является марковским; процесс, обусловленный на конечную точку, также является марковским. Подсчет КЛ дивергенции между многомерными нормальными распределениями.

'''Лекция / Семинар 3.''' Обыкновенные дифференциальные уравнения (ОДУ), схема Эйлера. Построение непрерывного аналога процесса удаления картинки, заданного через ОДУ. Определение Винеровского процесса. (Псевдо)-определение стохастических дифференциальных уравнений (СДУ) через схему Эйлера. Построение непрерывных по времени аналогов VP и VE процессов: СДУ с сохраняющейся (VP-SDE) и взрывающейся (VE-SDE) дисперсией. Подсчет переходных распределений VE-SDE и VP-SDE с помощью решения линейных ОДУ.

Линейные СДУ вида dX_t = f(t) X_t dt + g(t) dW_t: обобщение VE/VP-SDE. Переходные плотности в линейных СДУ такого вида: гауссовское распределение, линейные ОДУ на матожидание и дисперсию, их решение. Визуализация непрерывных процессов зашумления: [https://disk.yandex.ru/d/H0Mbf6w2aL55Tg ноутбук], [https://disk.yandex.ru/d/BTKuym0Kxbzeww заполненный ноутбук].

'''Лекция / Семинар 4.''' Эволюция плотности частицы, движущейся под действием ОДУ/СДУ: уравнение непрерывности и уравнение Фоккера-Планка. Вывод общего вида законов сохранения (взято из курса [http://wiki.cs.hse.ru/%D0%A3%D1%80%D0%B0%D0%B2%D0%BD%D0%B5%D0%BD%D0%B8%D1%8F_%D1%81_%D1%87%D0%B0%D1%81%D1%82%D0%BD%D1%8B%D0%BC%D0%B8_%D0%BF%D1%80%D0%BE%D0%B8%D0%B7%D0%B2%D0%BE%D0%B4%D0%BD%D1%8B%D0%BC%D0%B8_(2022-2023) УрЧП]). Интерпретация уравнения непрерывности,
теплопроводности и Фоккера-Планка через законы сохранения. Решение транспортного уравнения с константным сносом. Логарифмическое уравнение непрерывности, его решение методом характеристик. Применение к подсчету правдоподобия модели, заданной ОДУ.

'''Лекция / Семинар 5.''' Диффузионные модели с [https://arxiv.org/abs/2011.13456 непрерывным временем]. Переход от СДУ к ОДУ и обратно. Обращение ОДУ по времени. Обращение СДУ по времени ([https://core.ac.uk/download/pdf/82826666.pdf оригинальная статья]) с помощью схемы СДУ -> ОДУ -> обратное ОДУ -> обратное СДУ. Score функция, ее представление через условное матожидание условной score функции, интерпретация и обучение методом [https://arxiv.org/abs/1907.05600 Denoising Score Matching]. Эквивалентность Denoising Score Matching обучению модели, предсказывающей чистое изображение/шум в изображении.

Выражение score функции VP-SDE через score функцию VE-SDE. Применение: имея обученную модель-денойзер, можно семплировать из VP-SDE и VE-SDE без переобучения модели. Предельное распределение однородного СДУ, связь со стационарным распределением, сведение к однородному уравнению Фоккера-Планка (d/dt p_t(x) = 0). Динамика Ланжевена: снос в СДУ, сходящейся к распределению p(x), с точностью до константы совпадает со score функцией. Применение к генерации семплов из распределения p(x) и связь с градиентным подъемом.

'''Лекция / Семинар 6.''' Имплементация диффузионных моделей на практике: [https://disk.yandex.ru/d/WWwuJvGdoGlPCQ ноутбук]. Denoising Score Matching для обучения обусловленных диффузионных моделей. Обуславливание безусловных диффузионных моделей с помощью шумного классификатора: [https://arxiv.org/abs/2105.05233 Classifier Guidance], контролирование баланса между правдоподобием и разнообразием семплов. Перенос той же техники на предобученные условные модели: [https://arxiv.org/abs/2207.12598 Classifier-free Guidance].

'''Лекция / Семинар 7.''' Дистилляция диффузионных моделей. Функциональная дистилляция, состоящая в обучении генератора на повтор траектории ОДУ диффузионной модели: простая дистилляция, [https://arxiv.org/abs/2303.01469 Consistency Models]. Классический способ получить обучающий сигнал для попадания в распределение: Генеративно-состязательные сети ([https://arxiv.org/abs/1406.2661 GANs]), вывод лог-лосса, интерпретация через минимизацию дивергенции Йенсена-Шеннона. Соединение двух парадигм: Consistency Models + GAN loss. Использование предобученной диффузионной модели для выделения признаков, на которых считается GAN loss: [https://arxiv.org/abs/2403.12015 Latent Adversarial Diffusion Distillation (LADD)]. Использование диффузионной модели в качестве обучающего сигнала для произвольного вида генератора: метод [https://arxiv.org/abs/2311.18828 Distribution Matching Distillation] (его прототип [https://arxiv.org/abs/2305.18455 Diff-Instruct], конкурентная работа [https://arxiv.org/abs/2312.05239 SwiftBrush] и улучшенная версия [https://arxiv.org/html/2405.14867v1 Improved DMD]).

'''Лекция / Семинар 8.''' Ускорение генерации из диффузионных моделей с помощью солверов ОДУ. Методы, более точно приближающие ОДУ с помощью промежуточных точек: метод Хойна, методы Рунге-Кутта. Линейные многошаговые методы (linear multi-step, LMS): использование только предыдущих значений векторного поля для разностного приближения производных высших порядков. [https://arxiv.org/abs/2206.00927 DPM-Solver]: использование полу-линейной структуры диффузионных ОДУ и log-SNR замены времени для более точного приближения честного решения. [https://disk.yandex.ru/d/pYjKp72UfX9LPw Семинарский ноутбук.]

Обучение сетки дискретизации с помощью дистилляции многошаговой схемы в малошаговую: [https://arxiv.org/abs/2405.15506 LD3]. Обучение коэффициентов солвера: [https://arxiv.org/abs/2502.17423 S4S]. [https://arxiv.org/abs/2510.17699 Generalized Adversarial Solver (GAS)]: эффективная параметризация для обучения сетки дискретизации и коэффициентов солвера, соединение функционала дистилляции с GAN loss для улучшения деталей сгенерированных изображений. Статья написана коллективом из BayesGroup: [https://github.com/3145tttt/GAS GitHub].

'''Лекция / Семинар 9.''' Диффузионные модели как процессы интерполяции между шумом и данными. Модель [https://arxiv.org/abs/2210.02747 Flow Matching] (аналоги [https://arxiv.org/abs/2302.00482 Conditional Flow Matching] и [https://arxiv.org/abs/2209.15571 Stochastic Interpolants]): построение ОДУ, порождающего безусловную динамику при известном ОДУ, порождающем условную динамику. Применение к задаче безусловной генерации. Применение к парным задачам переноса стиля: Flow Matching [https://arxiv.org/abs/2209.03003 снижает] транспортную цену. Представление диффузионных моделей в качестве частного случая модели Flow Matching. Статьи про решение парных задач [https://arxiv.org/abs/2310.03725 на основе ОДУ] и [https://arxiv.org/abs/2302.05872 на основе СДУ].

'''Лекция / Семинар 10.''' Задача оптимального транспорта (ОТ): задача Монжа и Канторовича, их эквивалентность при наличии плотностей у обоих распределений. Применимость модели Flow Matching для непарных задач: снижение транспортной цены не гарантирует хорошего отображения. Алгоритм [https://arxiv.org/abs/2209.03003 Rectified Flow] (теоретическое [https://arxiv.org/abs/2209.14577 дополнение]): повторное обучение Flow Matching (процедуры Rectify) для последовательного снижения транспортной цены отображения. Неподвижные точки Rectify: 4 эквивалентных свойства. Следствие: решение задачи ОТ может быть представлено в виде ОДУ с прямыми траекториями. Задача динамического ОТ, формула Бенаму-Бренье. Интерпретация метода Rectified Flow как чередования проецирования на множество процессов с прямыми траекториями и множество процессов, заданных ОДУ. ОДУ с прямыми траекториями решает задачу ОТ тогда и только тогда, когда векторное поле задается градиентом скалярного. Пример обратного: гауссовское распределение и процесс поворота.

== Материалы прошлых лет ==

[http://wiki.cs.hse.ru/%D0%93%D0%B5%D0%BD%D0%B5%D1%80%D0%B0%D1%82%D0%B8%D0%B2%D0%BD%D1%8B%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8_%D0%BD%D0%B0_%D0%BE%D1%81%D0%BD%D0%BE%D0%B2%D0%B5_%D0%B4%D0%B8%D1%84%D1%84%D1%83%D0%B7%D0%B8%D0%B8 2024-2025 учебный год]

[http://wiki.cs.hse.ru/%D0%93%D0%B5%D0%BD%D0%B5%D1%80%D0%B0%D1%82%D0%B8%D0%B2%D0%BD%D1%8B%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8_%D0%BD%D0%B0_%D0%BE%D1%81%D0%BD%D0%BE%D0%B2%D0%B5_ODE_%D0%B8_SDE Факультатив по ODE/SDE моделям (2023-2024)]

Генеративные модели на основе диффузии 25/26

2025-11-19T20:11:44Z

Rakitinden:

== Общая информация ==
Курс предназначен для студентов 4 курса ФКН ПМИ, но приглашаются все желающие, уверенно знающие математику младших курсов (в особенности теорию вероятностей), базово ориентирующиеся в глубинном обучении и программировании на PyTorch.

Занятия проходят '''по средам 13:00-16:00''', аудитория '''R208''' (переносы будут сообщаться в чате).

'''Лектор''': [https://t.me/denrakitin23 Денис Ракитин]

'''Семинарист''': [https://t.me/welmud Александр Оганов]

'''Ассистент''': [https://t.me/AlZayts Александр Зайцев]

[https://t.me/+Xq_PPtsvzH4xMGIy '''Чат курса''']

[https://disk.yandex.ru/i/Ei91FPvh5UEkpA '''Программа и описание курса''']

== Оценки ==

Формула итоговой оценки: Оитог = 0.3 * Отдз + 0.2 * Опдз + 0.2 * Опроект + 0.3 * Оэкз. Округление арифметическое.

Отдз и Опдз обозначают средние оценки за теоретические/практические дз, соответственно.

== Экзамен ==

=== [https://disk.yandex.ru/i/9-XGaOLZOZ3mRQ Программа предыдущего года] ===

Экзамен устный, состоит из билета и двух дополнительных вопросов. Один из дополнительных вопросов — задача, второй — вопрос на усмотрение принимающего (может быть задачей или вопросом по другим билетам). Разбалловка: 4 балла за билет и по 3 балла за доп. вопрос.

== Проект ==

Состоит в реализации и проведении экспериментов с одной из рассмотренных на курсе моделей. Проект командный.
Сдача проекта включает в себя github-репозиторий с имплементацией и написанный в pdf отчет.

== Домашние задания ==

Домашние задания будут выдаваться в день лекции, то есть по средам, на некоторое число недель вперед. Мягкие дедлайны будут по средам. Жесткий дедлайн будет в воскресенье той же недели. За каждый день просрочки коэффициент при оценке уменьшается на 0.1. Таким образом, позднее всего можно сдать домашнее задание в воскресенье с коэффициентом 0.6.

Сдаются в [https://anytask.org/course/1215 Anytask], инвайт t6bwFj5

В курсе будут 5 теоретических и 3 практических домашних задания. Вес у всех задач одинаковый, задачи оцениваются из 1 балла. Если в задачах есть пункты, то будет подписано количество баллов за каждый пункт, иначе баллы между пунктами делятся поровну.

===Теория===

[https://disk.yandex.ru/i/-lkBxvxp30-EHw ДЗ-1], [https://www.overleaf.com/read/bkvkjsfkgtnj#cad343 TeX исходник], мягкий дедлайн 24 сентября 23:59 (среда), жесткий дедлайн 28 сентября 23:59 (воскресенье).

[https://disk.yandex.ru/i/CECxe7biFDMM9A ДЗ-2], [https://www.overleaf.com/read/cpknqsqwcgvw#c442e0 ТеХ исходник], мягкий дедлайн 2 октября 23:59 (четверг), жесткий дедлайн 6 октября 23:59 (понедельник).

[https://disk.yandex.ru/i/uYK4QfGMdxwMOQ ДЗ-3], [https://www.overleaf.com/read/rmnxbpctnywp#2edc9c ТеХ исходник], мягкий дедлайн 22 октября 23:59 (среда), жесткий дедлайн 2 ноября 23:59 (воскресенье). Сессионные дни 25-31 октября не учитываются при снижении оценки за просрочку.

[https://disk.yandex.ru/i/aGDo5aHbMtakKA ДЗ-4], [https://www.overleaf.com/read/zbdyrbtscqsp#252754 ТеХ исходник], мягкий дедлайн 10 декабря 23:59 (среда), жесткий дедлайн 14 декабря 23:59 (воскресенье).
===Практика===

[https://disk.yandex.ru/d/D_7g3UDaYXK4Lg ДЗ-1], мягкий дедлайн 12 ноября 23:59 (среда), жесткий дедлайн 16 ноября 23:59 (воскресенье).

[https://disk.yandex.ru/d/kUzy1q49WP1lCg ДЗ-2], жесткий дедлайн 17 декабря 23:59 (среда).

== Лекции и семинары ==
[https://disk.yandex.ru/i/RJsps26HeG8ysQ '''Конспект лекций в процессе''']

[https://disk.yandex.ru/d/0N-1_Oz5COHN3A '''Записи лекций и семинаров''']

[https://disk.yandex.ru/d/uADNnoWxBWJJ-A '''Семинарские задачи''']

'''Лекция / Семинар 1.''' Генеративное моделирование. Семейства генеративных моделей: вариационные автокодировщики (VAEs), генеративно-состязательные сети (GANs), диффузионные модели. Генеративная трилемма: генеративная модель должна обладать высоким качеством генерации, высоким разнообразием и скоростью генерирования. Повтор теории вероятностей: совместная и условная плотность, формула Байеса, подсчет матожиданий через плотности. Условное матожидание (УМО): определение через интеграл условной плотности. Свойства: линейность, формула полного матожидания, вынос функции от условия за УМО, УМО от независимой величины равна безусловному матожиданию. Условное матожидание как наилучшее предсказание в среднеквадратичном.

Гауссовские векторы/многомерное нормальное распределение. Три эквивалентных определения, формула плотности. Аффинная замена гауссовских векторов, эквивалентность независимости и некоррелированности их компонент, ортогональное разложение, условное распределение компоненты относительно другой компоненты.

'''Лекция / Семинар 2.''' Процессы зашумления с дискретным временем: процесс с сохраняющейся (variance preserving, VP) и взрывающейся (variance exploding, VE) дисперсией. Определение марковской цепи. Процессы зашумления являются марковскими цепями. Переходные плотности VP и VE процессов. Обучение диффузионной модели (статья [https://arxiv.org/abs/2006.11239 DDPM]) через минимизацию КЛ дивергенции между совместным распределением процесса зашумления и процесса, заданного моделью (модель с гауссовскими переходами "назад" по времени, в которой нейросеть предсказывает среднее). Декомпозиция КЛ дивергенции через сумму КЛ дивергенций переходных распределений. Эквивалентность функционала обучению нейросети-денойзера для предсказания чистой картинки по шумной.

Свойства марковских цепей: обращенный по времени марковский процесс является марковским; процесс, обусловленный на конечную точку, также является марковским. Подсчет КЛ дивергенции между многомерными нормальными распределениями.

'''Лекция / Семинар 3.''' Обыкновенные дифференциальные уравнения (ОДУ), схема Эйлера. Построение непрерывного аналога процесса удаления картинки, заданного через ОДУ. Определение Винеровского процесса. (Псевдо)-определение стохастических дифференциальных уравнений (СДУ) через схему Эйлера. Построение непрерывных по времени аналогов VP и VE процессов: СДУ с сохраняющейся (VP-SDE) и взрывающейся (VE-SDE) дисперсией. Подсчет переходных распределений VE-SDE и VP-SDE с помощью решения линейных ОДУ.

Линейные СДУ вида dX_t = f(t) X_t dt + g(t) dW_t: обобщение VE/VP-SDE. Переходные плотности в линейных СДУ такого вида: гауссовское распределение, линейные ОДУ на матожидание и дисперсию, их решение. Визуализация непрерывных процессов зашумления: [https://disk.yandex.ru/d/H0Mbf6w2aL55Tg ноутбук], [https://disk.yandex.ru/d/BTKuym0Kxbzeww заполненный ноутбук].

'''Лекция / Семинар 4.''' Эволюция плотности частицы, движущейся под действием ОДУ/СДУ: уравнение непрерывности и уравнение Фоккера-Планка. Вывод общего вида законов сохранения (взято из курса [http://wiki.cs.hse.ru/%D0%A3%D1%80%D0%B0%D0%B2%D0%BD%D0%B5%D0%BD%D0%B8%D1%8F_%D1%81_%D1%87%D0%B0%D1%81%D1%82%D0%BD%D1%8B%D0%BC%D0%B8_%D0%BF%D1%80%D0%BE%D0%B8%D0%B7%D0%B2%D0%BE%D0%B4%D0%BD%D1%8B%D0%BC%D0%B8_(2022-2023) УрЧП]). Интерпретация уравнения непрерывности,
теплопроводности и Фоккера-Планка через законы сохранения. Решение транспортного уравнения с константным сносом. Логарифмическое уравнение непрерывности, его решение методом характеристик. Применение к подсчету правдоподобия модели, заданной ОДУ.

'''Лекция / Семинар 5.''' Диффузионные модели с [https://arxiv.org/abs/2011.13456 непрерывным временем]. Переход от СДУ к ОДУ и обратно. Обращение ОДУ по времени. Обращение СДУ по времени ([https://core.ac.uk/download/pdf/82826666.pdf оригинальная статья]) с помощью схемы СДУ -> ОДУ -> обратное ОДУ -> обратное СДУ. Score функция, ее представление через условное матожидание условной score функции, интерпретация и обучение методом [https://arxiv.org/abs/1907.05600 Denoising Score Matching]. Эквивалентность Denoising Score Matching обучению модели, предсказывающей чистое изображение/шум в изображении.

Выражение score функции VP-SDE через score функцию VE-SDE. Применение: имея обученную модель-денойзер, можно семплировать из VP-SDE и VE-SDE без переобучения модели. Предельное распределение однородного СДУ, связь со стационарным распределением, сведение к однородному уравнению Фоккера-Планка (d/dt p_t(x) = 0). Динамика Ланжевена: снос в СДУ, сходящейся к распределению p(x), с точностью до константы совпадает со score функцией. Применение к генерации семплов из распределения p(x) и связь с градиентным подъемом.

'''Лекция / Семинар 6.''' Имплементация диффузионных моделей на практике: [https://disk.yandex.ru/d/WWwuJvGdoGlPCQ ноутбук]. Denoising Score Matching для обучения обусловленных диффузионных моделей. Обуславливание безусловных диффузионных моделей с помощью шумного классификатора: [https://arxiv.org/abs/2105.05233 Classifier Guidance], контролирование баланса между правдоподобием и разнообразием семплов. Перенос той же техники на предобученные условные модели: [https://arxiv.org/abs/2207.12598 Classifier-free Guidance].

'''Лекция / Семинар 7.''' Дистилляция диффузионных моделей. Функциональная дистилляция, состоящая в обучении генератора на повтор траектории ОДУ диффузионной модели: простая дистилляция, [https://arxiv.org/abs/2303.01469 Consistency Models]. Классический способ получить обучающий сигнал для попадания в распределение: Генеративно-состязательные сети ([https://arxiv.org/abs/1406.2661 GANs]), вывод лог-лосса, интерпретация через минимизацию дивергенции Йенсена-Шеннона. Соединение двух парадигм: Consistency Models + GAN loss. Использование предобученной диффузионной модели для выделения признаков, на которых считается GAN loss: [https://arxiv.org/abs/2403.12015 Latent Adversarial Diffusion Distillation (LADD)]. Использование диффузионной модели в качестве обучающего сигнала для произвольного вида генератора: метод [https://arxiv.org/abs/2311.18828 Distribution Matching Distillation] (его прототип [https://arxiv.org/abs/2305.18455 Diff-Instruct], конкурентная работа [https://arxiv.org/abs/2312.05239 SwiftBrush] и улучшенная версия [https://arxiv.org/html/2405.14867v1 Improved DMD]).

'''Лекция / Семинар 8.''' Ускорение генерации из диффузионных моделей с помощью солверов ОДУ. Методы, более точно приближающие ОДУ с помощью промежуточных точек: метод Хойна, методы Рунге-Кутта. Линейные многошаговые методы (linear multi-step, LMS): использование только предыдущих значений векторного поля для разностного приближения производных высших порядков. [https://arxiv.org/abs/2206.00927 DPM-Solver]: использование полу-линейной структуры диффузионных ОДУ и log-SNR замены времени для более точного приближения честного решения. [https://disk.yandex.ru/d/pYjKp72UfX9LPw Семинарский ноутбук.]

Обучение сетки дискретизации с помощью дистилляции многошаговой схемы в малошаговую: [https://arxiv.org/abs/2405.15506 LD3]. Обучение коэффициентов солвера: [https://arxiv.org/abs/2502.17423 S4S]. [https://arxiv.org/abs/2510.17699 Generalized Adversarial Solver (GAS)]: эффективная параметризация для обучения сетки дискретизации и коэффициентов солвера, соединение функционала дистилляции с GAN loss для улучшения деталей сгенерированных изображений. Статья написана коллективом из BayesGroup: [https://github.com/3145tttt/GAS GitHub].

'''Лекция / Семинар 9.''' Диффузионные модели как процессы интерполяции между шумом и данными. Модель [https://arxiv.org/abs/2210.02747 Flow Matching] (аналоги [https://arxiv.org/abs/2302.00482 Conditional Flow Matching] и [https://arxiv.org/abs/2209.15571 Stochastic Interpolants]): построение ОДУ, порождающего безусловную динамику при известном ОДУ, порождающем условную динамику. Применение к задаче безусловной генерации. Применение к парным задачам переноса стиля: Flow Matching [https://arxiv.org/abs/2209.03003 снижает] транспортную цену. Представление диффузионных моделей в качестве частного случая модели Flow Matching. Статьи про решение парных задач [https://arxiv.org/abs/2310.03725 на основе ОДУ] и [https://arxiv.org/abs/2302.05872 на основе СДУ].

'''Лекция / Семинар 10.''' Задача оптимального транспорта (ОТ): задача Монжа и Канторовича, их эквивалентность при наличии плотностей у обоих распределений. Применимость модели Flow Matching для непарных задач: снижение транспортной цены не гарантирует хорошего отображения. Алгоритм [https://arxiv.org/abs/2209.03003 Rectified Flow] (теоретическое [https://arxiv.org/abs/2209.14577 дополнение]): повторное обучение Flow Matching (процедуры Rectify) для последовательного снижения транспортной цены отображения. Неподвижные точки Rectify: 4 эквивалентных свойства. Следствие: решение задачи ОТ может быть представлено в виде ОДУ с прямыми траекториями. Задача динамического ОТ, формула Бенаму-Бренье. Интерпретация метода Rectified Flow как чередования проецирования на множество процессов с прямыми траекториями и множество процессов, заданных ОДУ. ОДУ с прямыми траекториями решает задачу ОТ тогда и только тогда, когда векторное поле задается градиентом скалярного. Пример обратного: гауссовское распределение и процесс поворота.

== Материалы прошлых лет ==

[http://wiki.cs.hse.ru/%D0%93%D0%B5%D0%BD%D0%B5%D1%80%D0%B0%D1%82%D0%B8%D0%B2%D0%BD%D1%8B%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8_%D0%BD%D0%B0_%D0%BE%D1%81%D0%BD%D0%BE%D0%B2%D0%B5_%D0%B4%D0%B8%D1%84%D1%84%D1%83%D0%B7%D0%B8%D0%B8 2024-2025 учебный год]

[http://wiki.cs.hse.ru/%D0%93%D0%B5%D0%BD%D0%B5%D1%80%D0%B0%D1%82%D0%B8%D0%B2%D0%BD%D1%8B%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8_%D0%BD%D0%B0_%D0%BE%D1%81%D0%BD%D0%BE%D0%B2%D0%B5_ODE_%D0%B8_SDE Факультатив по ODE/SDE моделям (2023-2024)]

Генеративные модели на основе диффузии 25/26

2025-11-12T23:35:53Z

Rakitinden:

== Общая информация ==
Курс предназначен для студентов 4 курса ФКН ПМИ, но приглашаются все желающие, уверенно знающие математику младших курсов (в особенности теорию вероятностей), базово ориентирующиеся в глубинном обучении и программировании на PyTorch.

Занятия проходят '''по средам 13:00-16:00''', аудитория '''R208''' (переносы будут сообщаться в чате).

'''Лектор''': [https://t.me/denrakitin23 Денис Ракитин]

'''Семинарист''': [https://t.me/welmud Александр Оганов]

'''Ассистент''': [https://t.me/AlZayts Александр Зайцев]

[https://t.me/+Xq_PPtsvzH4xMGIy '''Чат курса''']

[https://disk.yandex.ru/i/Ei91FPvh5UEkpA '''Программа и описание курса''']

== Оценки ==

Формула итоговой оценки: Оитог = 0.3 * Отдз + 0.2 * Опдз + 0.2 * Опроект + 0.3 * Оэкз. Округление арифметическое.

Отдз и Опдз обозначают средние оценки за теоретические/практические дз, соответственно.

== Экзамен ==

=== [https://disk.yandex.ru/i/9-XGaOLZOZ3mRQ Программа предыдущего года] ===

Экзамен устный, состоит из билета и двух дополнительных вопросов. Один из дополнительных вопросов — задача, второй — вопрос на усмотрение принимающего (может быть задачей или вопросом по другим билетам). Разбалловка: 4 балла за билет и по 3 балла за доп. вопрос.

== Проект ==

Состоит в реализации и проведении экспериментов с одной из рассмотренных на курсе моделей. Проект командный.
Сдача проекта включает в себя github-репозиторий с имплементацией и написанный в pdf отчет.

== Домашние задания ==

Домашние задания будут выдаваться в день лекции, то есть по средам, на некоторое число недель вперед. Мягкие дедлайны будут по средам. Жесткий дедлайн будет в воскресенье той же недели. За каждый день просрочки коэффициент при оценке уменьшается на 0.1. Таким образом, позднее всего можно сдать домашнее задание в воскресенье с коэффициентом 0.6.

Сдаются в [https://anytask.org/course/1215 Anytask], инвайт t6bwFj5

В курсе будут 5 теоретических и 3 практических домашних задания. Вес у всех задач одинаковый, задачи оцениваются из 1 балла. Если в задачах есть пункты, то будет подписано количество баллов за каждый пункт, иначе баллы между пунктами делятся поровну.

===Теория===

[https://disk.yandex.ru/i/-lkBxvxp30-EHw ДЗ-1], [https://www.overleaf.com/read/bkvkjsfkgtnj#cad343 TeX исходник], мягкий дедлайн 24 сентября 23:59 (среда), жесткий дедлайн 28 сентября 23:59 (воскресенье).

[https://disk.yandex.ru/i/CECxe7biFDMM9A ДЗ-2], [https://www.overleaf.com/read/cpknqsqwcgvw#c442e0 ТеХ исходник], мягкий дедлайн 2 октября 23:59 (четверг), жесткий дедлайн 6 октября 23:59 (понедельник).

[https://disk.yandex.ru/i/uYK4QfGMdxwMOQ ДЗ-3], [https://www.overleaf.com/read/rmnxbpctnywp#2edc9c ТеХ исходник], мягкий дедлайн 22 октября 23:59 (среда), жесткий дедлайн 2 ноября 23:59 (воскресенье). Сессионные дни 25-31 октября не учитываются при снижении оценки за просрочку.

===Практика===

[https://disk.yandex.ru/d/D_7g3UDaYXK4Lg ДЗ-1], мягкий дедлайн 12 ноября 23:59 (среда), жесткий дедлайн 16 ноября 23:59 (воскресенье).

== Лекции и семинары ==
[https://disk.yandex.ru/i/RJsps26HeG8ysQ '''Конспект лекций в процессе''']

[https://disk.yandex.ru/d/0N-1_Oz5COHN3A '''Записи лекций и семинаров''']

[https://disk.yandex.ru/d/uADNnoWxBWJJ-A '''Семинарские задачи''']

'''Лекция / Семинар 1.''' Генеративное моделирование. Семейства генеративных моделей: вариационные автокодировщики (VAEs), генеративно-состязательные сети (GANs), диффузионные модели. Генеративная трилемма: генеративная модель должна обладать высоким качеством генерации, высоким разнообразием и скоростью генерирования. Повтор теории вероятностей: совместная и условная плотность, формула Байеса, подсчет матожиданий через плотности. Условное матожидание (УМО): определение через интеграл условной плотности. Свойства: линейность, формула полного матожидания, вынос функции от условия за УМО, УМО от независимой величины равна безусловному матожиданию. Условное матожидание как наилучшее предсказание в среднеквадратичном.

Гауссовские векторы/многомерное нормальное распределение. Три эквивалентных определения, формула плотности. Аффинная замена гауссовских векторов, эквивалентность независимости и некоррелированности их компонент, ортогональное разложение, условное распределение компоненты относительно другой компоненты.

'''Лекция / Семинар 2.''' Процессы зашумления с дискретным временем: процесс с сохраняющейся (variance preserving, VP) и взрывающейся (variance exploding, VE) дисперсией. Определение марковской цепи. Процессы зашумления являются марковскими цепями. Переходные плотности VP и VE процессов. Обучение диффузионной модели (статья [https://arxiv.org/abs/2006.11239 DDPM]) через минимизацию КЛ дивергенции между совместным распределением процесса зашумления и процесса, заданного моделью (модель с гауссовскими переходами "назад" по времени, в которой нейросеть предсказывает среднее). Декомпозиция КЛ дивергенции через сумму КЛ дивергенций переходных распределений. Эквивалентность функционала обучению нейросети-денойзера для предсказания чистой картинки по шумной.

Свойства марковских цепей: обращенный по времени марковский процесс является марковским; процесс, обусловленный на конечную точку, также является марковским. Подсчет КЛ дивергенции между многомерными нормальными распределениями.

'''Лекция / Семинар 3.''' Обыкновенные дифференциальные уравнения (ОДУ), схема Эйлера. Построение непрерывного аналога процесса удаления картинки, заданного через ОДУ. Определение Винеровского процесса. (Псевдо)-определение стохастических дифференциальных уравнений (СДУ) через схему Эйлера. Построение непрерывных по времени аналогов VP и VE процессов: СДУ с сохраняющейся (VP-SDE) и взрывающейся (VE-SDE) дисперсией. Подсчет переходных распределений VE-SDE и VP-SDE с помощью решения линейных ОДУ.

Линейные СДУ вида dX_t = f(t) X_t dt + g(t) dW_t: обобщение VE/VP-SDE. Переходные плотности в линейных СДУ такого вида: гауссовское распределение, линейные ОДУ на матожидание и дисперсию, их решение. Визуализация непрерывных процессов зашумления: [https://disk.yandex.ru/d/H0Mbf6w2aL55Tg ноутбук], [https://disk.yandex.ru/d/BTKuym0Kxbzeww заполненный ноутбук].

'''Лекция / Семинар 4.''' Эволюция плотности частицы, движущейся под действием ОДУ/СДУ: уравнение непрерывности и уравнение Фоккера-Планка. Вывод общего вида законов сохранения (взято из курса [http://wiki.cs.hse.ru/%D0%A3%D1%80%D0%B0%D0%B2%D0%BD%D0%B5%D0%BD%D0%B8%D1%8F_%D1%81_%D1%87%D0%B0%D1%81%D1%82%D0%BD%D1%8B%D0%BC%D0%B8_%D0%BF%D1%80%D0%BE%D0%B8%D0%B7%D0%B2%D0%BE%D0%B4%D0%BD%D1%8B%D0%BC%D0%B8_(2022-2023) УрЧП]). Интерпретация уравнения непрерывности,
теплопроводности и Фоккера-Планка через законы сохранения. Решение транспортного уравнения с константным сносом. Логарифмическое уравнение непрерывности, его решение методом характеристик. Применение к подсчету правдоподобия модели, заданной ОДУ.

'''Лекция / Семинар 5.''' Диффузионные модели с [https://arxiv.org/abs/2011.13456 непрерывным временем]. Переход от СДУ к ОДУ и обратно. Обращение ОДУ по времени. Обращение СДУ по времени ([https://core.ac.uk/download/pdf/82826666.pdf оригинальная статья]) с помощью схемы СДУ -> ОДУ -> обратное ОДУ -> обратное СДУ. Score функция, ее представление через условное матожидание условной score функции, интерпретация и обучение методом [https://arxiv.org/abs/1907.05600 Denoising Score Matching]. Эквивалентность Denoising Score Matching обучению модели, предсказывающей чистое изображение/шум в изображении.

Выражение score функции VP-SDE через score функцию VE-SDE. Применение: имея обученную модель-денойзер, можно семплировать из VP-SDE и VE-SDE без переобучения модели. Предельное распределение однородного СДУ, связь со стационарным распределением, сведение к однородному уравнению Фоккера-Планка (d/dt p_t(x) = 0). Динамика Ланжевена: снос в СДУ, сходящейся к распределению p(x), с точностью до константы совпадает со score функцией. Применение к генерации семплов из распределения p(x) и связь с градиентным подъемом.

'''Лекция / Семинар 6.''' Имплементация диффузионных моделей на практике: [https://disk.yandex.ru/d/WWwuJvGdoGlPCQ ноутбук]. Denoising Score Matching для обучения обусловленных диффузионных моделей. Обуславливание безусловных диффузионных моделей с помощью шумного классификатора: [https://arxiv.org/abs/2105.05233 Classifier Guidance], контролирование баланса между правдоподобием и разнообразием семплов. Перенос той же техники на предобученные условные модели: [https://arxiv.org/abs/2207.12598 Classifier-free Guidance].

'''Лекция / Семинар 7.''' Дистилляция диффузионных моделей. Функциональная дистилляция, состоящая в обучении генератора на повтор траектории ОДУ диффузионной модели: простая дистилляция, [https://arxiv.org/abs/2303.01469 Consistency Models]. Классический способ получить обучающий сигнал для попадания в распределение: Генеративно-состязательные сети ([https://arxiv.org/abs/1406.2661 GANs]), вывод лог-лосса, интерпретация через минимизацию дивергенции Йенсена-Шеннона. Соединение двух парадигм: Consistency Models + GAN loss. Использование предобученной диффузионной модели для выделения признаков, на которых считается GAN loss: [https://arxiv.org/abs/2403.12015 Latent Adversarial Diffusion Distillation (LADD)]. Использование диффузионной модели в качестве обучающего сигнала для произвольного вида генератора: метод [https://arxiv.org/abs/2311.18828 Distribution Matching Distillation] (его прототип [https://arxiv.org/abs/2305.18455 Diff-Instruct], конкурентная работа [https://arxiv.org/abs/2312.05239 SwiftBrush] и улучшенная версия [https://arxiv.org/html/2405.14867v1 Improved DMD]).

'''Лекция / Семинар 8.''' Ускорение генерации из диффузионных моделей с помощью солверов ОДУ. Методы, более точно приближающие ОДУ с помощью промежуточных точек: метод Хойна, методы Рунге-Кутта. Линейные многошаговые методы (linear multi-step, LMS): использование только предыдущих значений векторного поля для разностного приближения производных высших порядков. [https://arxiv.org/abs/2206.00927 DPM-Solver]: использование полу-линейной структуры диффузионных ОДУ и log-SNR замены времени для более точного приближения честного решения. [https://disk.yandex.ru/d/pYjKp72UfX9LPw Семинарский ноутбук.]

Обучение сетки дискретизации с помощью дистилляции многошаговой схемы в малошаговую: [https://arxiv.org/abs/2405.15506 LD3]. Обучение коэффициентов солвера: [https://arxiv.org/abs/2502.17423 S4S]. [https://arxiv.org/abs/2510.17699 Generalized Adversarial Solver (GAS)]: эффективная параметризация для обучения сетки дискретизации и коэффициентов солвера, соединение функционала дистилляции с GAN loss для улучшения деталей сгенерированных изображений. Статья написана коллективом из BayesGroup: [https://github.com/3145tttt/GAS GitHub].

'''Лекция / Семинар 9.''' Диффузионные модели как процессы интерполяции между шумом и данными. Модель [https://arxiv.org/abs/2210.02747 Flow Matching] (аналоги [https://arxiv.org/abs/2302.00482 Conditional Flow Matching] и [https://arxiv.org/abs/2209.15571 Stochastic Interpolants]): построение ОДУ, порождающего безусловную динамику при известном ОДУ, порождающем условную динамику. Применение к задаче безусловной генерации. Применение к парным задачам переноса стиля: Flow Matching [https://arxiv.org/abs/2209.03003 снижает] транспортную цену. Представление диффузионных моделей в качестве частного случая модели Flow Matching. Статьи про решение парных задач [https://arxiv.org/abs/2310.03725 на основе ОДУ] и [https://arxiv.org/abs/2302.05872 на основе СДУ].

'''Лекция / Семинар 10.''' Задача оптимального транспорта (ОТ): задача Монжа и Канторовича, их эквивалентность при наличии плотностей у обоих распределений. Применимость модели Flow Matching для непарных задач: снижение транспортной цены не гарантирует хорошего отображения. Алгоритм [https://arxiv.org/abs/2209.03003 Rectified Flow] (теоретическое [https://arxiv.org/abs/2209.14577 дополнение]): повторное обучение Flow Matching (процедуры Rectify) для последовательного снижения транспортной цены отображения. Неподвижные точки Rectify: 4 эквивалентных свойства. Следствие: решение задачи ОТ может быть представлено в виде ОДУ с прямыми траекториями. Задача динамического ОТ, формула Бенаму-Бренье. Интерпретация метода Rectified Flow как чередования проецирования на множество процессов с прямыми траекториями и множество процессов, заданных ОДУ. ОДУ с прямыми траекториями решает задачу ОТ тогда и только тогда, когда векторное поле задается градиентом скалярного. Пример обратного: гауссовское распределение и процесс поворота.

== Материалы прошлых лет ==

[http://wiki.cs.hse.ru/%D0%93%D0%B5%D0%BD%D0%B5%D1%80%D0%B0%D1%82%D0%B8%D0%B2%D0%BD%D1%8B%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8_%D0%BD%D0%B0_%D0%BE%D1%81%D0%BD%D0%BE%D0%B2%D0%B5_%D0%B4%D0%B8%D1%84%D1%84%D1%83%D0%B7%D0%B8%D0%B8 2024-2025 учебный год]

[http://wiki.cs.hse.ru/%D0%93%D0%B5%D0%BD%D0%B5%D1%80%D0%B0%D1%82%D0%B8%D0%B2%D0%BD%D1%8B%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8_%D0%BD%D0%B0_%D0%BE%D1%81%D0%BD%D0%BE%D0%B2%D0%B5_ODE_%D0%B8_SDE Факультатив по ODE/SDE моделям (2023-2024)]

Генеративные модели на основе диффузии 25/26

2025-11-12T23:25:04Z

Rakitinden:

Генеративные модели на основе диффузии 25/26

2025-11-12T23:02:59Z

Rakitinden:

Теория вероятностей 2025/26 (пилотный поток)

2025-11-03T19:40:34Z

Rakitinden:

== Преподаватели и учебные ассистенты ==
{| class="wikitable" style="text-align:center"
|-
! Группа !! БПМИ241 !! БПМИ242 !! БПМИ243 !! БПМИ244 !! БПМИ245
|-
|| Лектор ||colspan="5"| [https://www.hse.ru/org/persons/161322763 Шабанов Дмитрий Александрович]
|-
|| Семинарист || [https://t.me/denrakitin23 Ракитин Денис] || [https://t.me/PlatonPromyslov Промыслов Платон Валерьевич] || [https://t.me/Girl_who_math Ряднова Екатерина Михайловна] [mailto:ekaterina.sukhanova@math.msu.ru почта] || Юрьева Голуба Валерьевна || [https://t.me/Girl_who_math Ряднова Екатерина Михайловна] [mailto:ekaterina.sukhanova@math.msu.ru почта]
|-
|| Ассистент || [https://t.me/alegsandyr Александр Климчук] || [https://t.me/Agafonov_Artem Артем Агафонов] || [https://t.me/MeshaZa Михаил Замешаев] || [https://t.me/IlyaSpd Илья Иванов] || [https://t.me/polnuy_perebor_stradaniy Прохор Ларичев]
|}

== Организационные моменты ==
=== Правила игры ===

Оценка за курс складывается из нескольких факторов:

* Домашние задания. В среднем, на каждом семинаре будут выдавать по 2-3 задачи для самостоятельного решения, которые будет нужно письменно сдавать ассистентам;
* "Теоретическая" контрольная работа. Содержит качественные задачи, связанные с материалами лекций;
* "Практическая" контрольная работа. Содержит более вычислительные задачи, связанные с материалами семинаров;
* Два коллоквиума;
* Письменные экзамены после второго и третьего модулей;

В рамках курса предусмотрено две промежуточных аттестации: во втором и третьем модулях. Формула промежуточной оценки после второго модуля:
* О1 = 0.15 * ОТКР + 0.2 * ОДЗ1 + 0.35 * Окол1 + 0.3 * Оэкз1.
В качестве итога после второго модуля выставляется округленная O1.

За третий модуль считается оценка
* O2 = 0.25 * OДЗ2 + 0.4 * OПКР + 0.35 * Oкол2

По оценке за третий модуль считаются накопленная оценка и итоговая оценка:
* Онакоп = 4/7* О1 + 3/7 * О2;
* Оитог = 0.7* Онакоп + 0.3 * Оэкз;

Если округленная накопленная оценка получается 8 и выше, то можно получить автомат и зачесть ее как итоговую.

=== Ведомость с оценками ===

== Материалы ==
=== Лекции ===
Черновик учебника можно найти [https://disk.yandex.ru/d/IWrhIV8colz2sw здесь]. Периодически будет обновляться/дополняться.

=== Семинары ===
Все листки с семинарскими задачами выкладываются [https://disk.yandex.ru/d/OfbteYUHbUbS3g тут].

== Контрольные работы ==
=== Правила игры ===
* На контрольной работе будет 4 задачи.

== Коллоквиумы ==
=== Как проходит ===
* В начале студент вытягивает случайный билет, после чего даётся 30-40 минут на подготовку.
* После ответа на основной вопрос даются два дополнительных вопроса (обычно это какие-то части других билетов или задачи).
* При подготовке ответа использование записей лекций/Интернета/того, что поможет написать билет, запрещено.
* Разбалловка следующая: основной вопрос — 3 балла, допвопросы — по баллу каждый. Оценки ставятся с шагом в полбалла.
* Окол1 и другие — удвоенные оценки за соответствующие коллоквиумы.

=== Коллоквиум 1 ===
Программу можно найти в [https://disk.yandex.ru/d/IWrhIV8colz2sw папке] с материалами.

{| class="wikitable" style="text-align:center"
|-
! Группа !! Дата !! Время
|-
|| 241 || 17.11 || 16:20
|-
|| 242 || 21.11 || 16:20
|-
|| 243 || 21.11 || 16:20
|-
|| 244 || 17.11 || 16:20
|-
|| 245 || 24.11 || 16:20
|-
|| Доп || 24.11 || 16:20
|}

== Домашние задания ==
=== Правила игры ===
После каждой лекции будет выдаваться два листка:
* Первый содержит несколько задач, предназначенных для разбора на семинаре.
* Второй содержит две или три задачи, которые задаются на дом.
На выполнение домашней работы даётся две недели, сдаётся только в электронном виде в classroom соответствующей группы до 23:59 включительно.
Принимается '''только ТеХ и красивые сканы работ'''. Ассистент имеет право поставить 0 в случае нечитаемой работы.

* Каждому студенту даётся 5 дней отсрочки на все домашние задания, которые можно потратить как удобно (можно, например, потратить все на одно ДЗ или на три разных). Также есть 3 микроотсрочки на 15 минут. Несданное или сданное слишком поздно (в этом случае оно оценивается нулём баллов) ДЗ не расходует дни отсрочки. После Нового Года Дед Мороз восстанавливает все потраченные отстрочки.

* Также предусмотрен небольшой бонус за ТеХ/Typst. За сдачу затеханного домашнего задания можно получить +0.5/10 к оценке за него (максимум, таким образом, можно получить 10.5/10). Суммарная оценка за домашние задания ограничена 10 баллами.

=== Список ДЗ ===

Список ДЗ можно найти [https://disk.yandex.ru/d/T49C8dMkz6NV8Q тут].

== Старые материалы ==
'''Предупреждение:''' конспекты лекций оформлялись студентами и содержат опечатки. Читайте с осторожностью.
* Конспект по курсу теории вероятностей 2016/2017-го года: [https://www.dropbox.com/s/8qrxp48zozhdpev/Shabanov-Probability-Theory_lectures_remastered.pdf?dl=0 ссылка].

* Конспект по курсу математической статистики 2016/2017-го года: [https://www.dropbox.com/sh/5lxaheg89isd6h9/AABifvMGLQPmLLzHOiqfaTOLa?dl=0&preview=mathematical-statistics_17_2course.pdf ссылка]. На данный момент не очень актуален, ибо в тот год курс математической статистики читался другим преподавателем.

'''Видеозаписи лекций и семинаров (2021-2022 год):''' [https://www.youtube.com/playlist?list=PLEwK9wdS5g0qvYp7HsYVAVuTXD4PXrvES ссылка]

* Конспекты и записи с семинаров 201 группы: [https://drive.google.com/drive/folders/1UTssJ_L-xuIIuSwmm-UeMEbAHKjFDAzG?usp=sharing Ссылка]
* Конспекты и записи с семинаров 204 группы: [https://drive.google.com/drive/folders/1JYTyxP9bQQA_XPbd82NUJWiAdHmOiyiq?usp=sharing Ссылка]

Решения старых листков (2015 год):
* Решения листков Шабанова: [https://www.dropbox.com/s/zf88f6cbmmk7zl9/%D0%A8%D0%B0%D0%B1%D0%B0%D0%BD%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A11.pdf?dl=0 Ш1], [https://www.dropbox.com/s/26eqou4bxpugopl/%D0%A8%D0%B0%D0%B1%D0%B0%D0%BD%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A12.pdf?dl=0 Ш2], [https://www.dropbox.com/s/9341jqwy2lw82q2/%D0%A8%D0%B0%D0%B1%D0%B0%D0%BD%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A13.pdf?dl=0 Ш3], [https://www.dropbox.com/s/68lumdqe0kbsdb8/%D0%A8%D0%B0%D0%B1%D0%B0%D0%BD%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A14.pdf?dl=0 Ш4],[https://www.dropbox.com/s/kyohtz0o3jobojs/%D0%A8%D0%B0%D0%B1%D0%B0%D0%BD%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A16.pdf?dl=0 Ш6], [https://www.dropbox.com/s/9m4co264lhedtc9/%D0%A8%D0%B0%D0%B1%D0%B0%D0%BD%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A17.pdf?dl=0 Ш7].

* Решения листков Косова: [https://www.dropbox.com/s/043s6hqgidfp7cz/%D0%9A%D0%BE%D1%81%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A11.pdf?dl=0 К1], [https://www.dropbox.com/s/b1qrfm5hl0bue54/%D0%9A%D0%BE%D1%81%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A12.pdf?dl=0 К2], [https://www.dropbox.com/s/avqwsxm9dsz6oy0/%D0%9A%D0%BE%D1%81%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A13.pdf?dl=0 К3], [https://www.dropbox.com/s/gyn78zc1900g4xp/%D0%9A%D0%BE%D1%81%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A14.pdf?dl=0 К4], [https://www.dropbox.com/s/rfp4xpafv2wjfdf/%D0%9A%D0%BE%D1%81%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A15.pdf?dl=0 К5], [https://www.dropbox.com/s/i8jng2xmhomm1n5/%D0%9A%D0%BE%D1%81%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A16.pdf?dl=0 К6], [https://www.dropbox.com/s/kezdlwgiq7zd3y6/%D0%9A%D0%BE%D1%81%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A17.pdf?dl=0 К7], [https://www.dropbox.com/s/fh6ec85orgi184p/%D0%9A%D0%BE%D1%81%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A18.pdf?dl=0 К8].

== Список рекомендуемой литературы ==
=== Учебники ===
* Феллер В. Введение в теорию вероятностей и её приложения. [https://www.dropbox.com/s/pygqjaxss53d7wa/%D0%A4%D0%B5%D0%BB%D0%BB%D0%B5%D1%80%20%D0%92.%20-%20%D0%92%D0%B2%D0%B5%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5%20%D0%B2%20%D1%82%D0%B5%D0%BE%D1%80%D0%B8%D1%8E%20%D0%B2%D0%B5%D1%80%D0%BE%D1%8F%D1%82%D0%BD%D0%BE%D1%81%D1%82%D0%B5%D0%B9%20%D0%B8%20%D0%B5%D0%B5%20%D0%BF%D1%80%D0%B8%D0%BB%D0%BE%D0%B6%D0%B5%D0%BD%D0%B8%D1%8F.%20%D0%A2%D0%BE%D0%BC%201.djvu?dl=0 Том 1], [https://www.dropbox.com/s/1j5b4goj80psef4/%D0%A4%D0%B5%D0%BB%D0%BB%D0%B5%D1%80%20%D0%92.%20-%20%D0%92%D0%B2%D0%B5%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5%20%D0%B2%20%D1%82%D0%B5%D0%BE%D1%80%D0%B8%D1%8E%20%D0%B2%D0%B5%D1%80%D0%BE%D1%8F%D1%82%D0%BD%D0%BE%D1%81%D1%82%D0%B5%D0%B9%20%D0%B8%20%D0%B5%D0%B5%20%D0%BF%D1%80%D0%B8%D0%BB%D0%BE%D0%B6%D0%B5%D0%BD%D0%B8%D1%8F.%20%D0%A2%D0%BE%D0%BC%202.djvu?dl=0 Том 2].
* Ширяев А.Н. Вероятность. [https://www.dropbox.com/s/95onm1z0l8u3oy1/%D0%A8%D0%B8%D1%80%D1%8F%D0%B5%D0%B2%20%D0%90.%D0%9D.%20-%20%D0%92%D0%B5%D1%80%D0%BE%D1%8F%D1%82%D0%BD%D0%BE%D1%81%D1%82%D1%8C-1.pdf?dl=0 Том 1], [https://www.dropbox.com/s/7max7m8rka3ko06/%D0%A8%D0%B8%D1%80%D1%8F%D0%B5%D0%B2%20%D0%90.%D0%9D.%20-%20%D0%92%D0%B5%D1%80%D0%BE%D1%8F%D1%82%D0%BD%D0%BE%D1%81%D1%82%D1%8C-2.pdf?dl=0 Том 2].

=== Задачники ===
* Севастьянов Б.А., Чистяков В.П., Зубков А.М. Сборник задач по теории вероятностей. [https://www.dropbox.com/s/be3yf4mi918smqh/%D0%97%D1%83%D0%B1%D0%BA%D0%BE%D0%B2%20%D0%90.%D0%9C.%2C%20%D0%A1%D0%B5%D0%B2%D0%B0%D1%81%D1%82%D1%8C%D1%8F%D0%BD%D0%BE%D0%B2%20%D0%91.%D0%90.%2C%20%D0%A7%D0%B8%D1%81%D1%82%D1%8F%D0%BA%D0%BE%D0%B2%20%D0%92.%D0%9F.%20-%20%D0%A1%D0%B1%D0%BE%D1%80%D0%BD%D0%B8%D0%BA%20%D0%B7%D0%B0%D0%B4%D0%B0%D1%87%20%D0%BF%D0%BE%20%D1%82%D0%B5%D0%BE%D1%80%D0%B8%D0%B8%20%D0%B2%D0%B5%D1%80%D0%BE%D1%8F%D1%82%D0%BD%D0%BE%D1%81%D1%82%D0%B5%D0%B9.pdf?dl=0 Ссылка].
* Прохоров А.В., Ушаков В.Г., Ушаков Н.Г. Задачи по теории вероятностей. [https://www.dropbox.com/s/z1yjxmv407ygs0l/%D0%9F%D1%80%D0%BE%D1%85%D0%BE%D1%80%D0%BE%D0%B2%20%D0%90.%D0%92.%2C%20%D0%A3%D1%88%D0%B0%D0%BA%D0%BE%D0%B2%20%D0%92.%D0%93.%2C%20%D0%A3%D1%88%D0%B0%D0%BA%D0%BE%D0%B2%20%D0%9D.%D0%93.%20-%20%D0%97%D0%B0%D0%B4%D0%B0%D1%87%D0%B8%20%D0%BF%D0%BE%20%D1%82%D0%B5%D0%BE%D1%80%D0%B8%D0%B8%20%D0%B2%D0%B5%D1%80%D0%BE%D1%8F%D1%82%D0%BD%D0%BE%D1%81%D1%82%D0%B5%D0%B9.djvu?dl=0 Ссылка].
* Ширяев А.Н. Задачи по теории вероятностей. [https://www.dropbox.com/s/lafej3meebsqk1l/%D0%A8%D0%B8%D1%80%D1%8F%D0%B5%D0%B2%20%D0%90.%D0%9D.%20-%20%D0%97%D0%B0%D0%B4%D0%B0%D1%87%D0%B8%20%D0%BF%D0%BE%20%D1%82%D0%B5%D0%BE%D1%80%D0%B8%D0%B8%20%D0%B2%D0%B5%D1%80%D0%BE%D1%8F%D1%82%D0%BD%D0%BE%D1%81%D1%82%D0%B5%D0%B9.pdf?dl=0 Ссылка].

== Страницы прошлых лет ==

[http://wiki.cs.hse.ru/Теория_вероятностей_2024/25_(пилотный_поток) 2024/2025 учебный год]

[http://wiki.cs.hse.ru/Теория_вероятностей_2023/24_(пилотный_поток) 2023/2024 учебный год]

[http://wiki.cs.hse.ru/Теория_вероятностей_2022/2023_(пилотный_поток) 2022/2023 учебный год]

[http://wiki.cs.hse.ru/Теория_вероятностей_и_математическая_статистика_2021/2022_(пилотный_поток) 2021/2022 учебный год]

[http://wiki.cs.hse.ru/Теория_вероятностей_и_математическая_статистика_2020/2021_(пилотный_поток) 2020/2021 учебный год]

[http://wiki.cs.hse.ru/Теория_вероятностей_и_математическая_статистика_2019/2020_(пилотный_поток) 2019/2020 учебный год]

[http://wiki.cs.hse.ru/Теория_вероятностей_2018/2019_(пилотный_поток) 2018/2019 учебный год]

[http://wiki.cs.hse.ru/Теория_вероятностей_2017/2018_(пилотный_поток) 2017/2018 учебный год]

[http://wiki.cs.hse.ru/Теория_вероятностей_2016/2017_(пилотный_поток) 2016/2017 учебный год, ТВ]

[http://wiki.cs.hse.ru/Математическая_статистика_2016/2017_(пилотный_поток) 2016/2017 учебный год, МС]

Теория вероятностей 2025/26 (пилотный поток)

2025-11-03T19:34:29Z

Rakitinden:

== Преподаватели и учебные ассистенты ==
{| class="wikitable" style="text-align:center"
|-
! Группа !! БПМИ241 !! БПМИ242 !! БПМИ243 !! БПМИ244 !! БПМИ245
|-
|| Лектор ||colspan="5"| [https://www.hse.ru/org/persons/161322763 Шабанов Дмитрий Александрович]
|-
|| Семинарист || [https://t.me/denrakitin23 Ракитин Денис] || [https://t.me/PlatonPromyslov Промыслов Платон Валерьевич] || [https://t.me/Girl_who_math Ряднова Екатерина Михайловна] [mailto:ekaterina.sukhanova@math.msu.ru почта] || Юрьева Голуба Валерьевна || [https://t.me/Girl_who_math Ряднова Екатерина Михайловна] [mailto:ekaterina.sukhanova@math.msu.ru почта]
|-
|| Ассистент || [https://t.me/alegsandyr Александр Климчук] || [https://t.me/Agafonov_Artem Артем Агафонов] || [https://t.me/MeshaZa Михаил Замешаев] || [https://t.me/IlyaSpd Илья Иванов] || [https://t.me/polnuy_perebor_stradaniy Прохор Ларичев]
|}

== Организационные моменты ==
=== Правила игры ===

Оценка за курс складывается из нескольких факторов:

* Домашние задания. В среднем, на каждом семинаре будут выдавать по 2-3 задачи для самостоятельного решения, которые будет нужно письменно сдавать ассистентам;
* "Теоретическая" контрольная работа. Содержит качественные задачи, связанные с материалами лекций;
* "Практическая" контрольная работа. Содержит более вычислительные задачи, связанные с материалами семинаров;
* Два коллоквиума;
* Письменные экзамены после второго и третьего модулей;

В рамках курса предусмотрено две промежуточных аттестации: во втором и третьем модулях. Формула промежуточной оценки после второго модуля:
* О1 = 0.15 * ОТКР + 0.2 * ОДЗ1 + 0.35 * Окол1 + 0.3 * Оэкз1.
В качестве итога после второго модуля выставляется округленная O1.

За третий модуль считается оценка
* O2 = 0.25 * OДЗ2 + 0.4 * OПКР + 0.35 * Oкол2

По оценке за третий модуль считаются накопленная оценка и итоговая оценка:
* Онакоп = 4/7* О1 + 3/7 * О2;
* Оитог = 0.7* Онакоп + 0.3 * Оэкз;

Если округленная накопленная оценка получается 8 и выше, то можно получить автомат и зачесть ее как итоговую.

=== Ведомость с оценками ===

== Материалы ==
=== Лекции ===
Черновик учебника можно найти [https://disk.yandex.ru/d/IWrhIV8colz2sw здесь]. Периодически будет обновляться/дополняться.

=== Семинары ===
Все листки с семинарскими задачами выкладываются [https://disk.yandex.ru/d/OfbteYUHbUbS3g тут].

== Контрольные работы ==
=== Правила игры ===
* На контрольной работе будет 4 задачи.

== Коллоквиумы ==
=== Как проходит ===
* В начале студент вытягивает случайный билет, после чего даётся 30-40 минут на подготовку.
* После ответа на основной вопрос даются два дополнительных вопроса (обычно это какие-то части других билетов или задачи).
* При подготовке ответа использование записей лекций/Интернета/того, что поможет написать билет, запрещено.
* Разбалловка следующая: основной вопрос — 3 балла, допвопросы — по баллу каждый. Оценки ставятся с шагом в полбалла.
* Окол1 и другие — удвоенные оценки за соответствующие коллоквиумы.

== Домашние задания ==
=== Правила игры ===
После каждой лекции будет выдаваться два листка:
* Первый содержит несколько задач, предназначенных для разбора на семинаре.
* Второй содержит две или три задачи, которые задаются на дом.
На выполнение домашней работы даётся две недели, сдаётся только в электронном виде в classroom соответствующей группы до 23:59 включительно.
Принимается '''только ТеХ и красивые сканы работ'''. Ассистент имеет право поставить 0 в случае нечитаемой работы.

* Каждому студенту даётся 5 дней отсрочки на все домашние задания, которые можно потратить как удобно (можно, например, потратить все на одно ДЗ или на три разных). Также есть 3 микроотсрочки на 15 минут. Несданное или сданное слишком поздно (в этом случае оно оценивается нулём баллов) ДЗ не расходует дни отсрочки. После Нового Года Дед Мороз восстанавливает все потраченные отстрочки.

* Также предусмотрен небольшой бонус за ТеХ/Typst. За сдачу затеханного домашнего задания можно получить +0.5/10 к оценке за него (максимум, таким образом, можно получить 10.5/10). Суммарная оценка за домашние задания ограничена 10 баллами.

=== Список ДЗ ===

Список ДЗ можно найти [https://disk.yandex.ru/d/T49C8dMkz6NV8Q тут].

== Старые материалы ==
'''Предупреждение:''' конспекты лекций оформлялись студентами и содержат опечатки. Читайте с осторожностью.
* Конспект по курсу теории вероятностей 2016/2017-го года: [https://www.dropbox.com/s/8qrxp48zozhdpev/Shabanov-Probability-Theory_lectures_remastered.pdf?dl=0 ссылка].

* Конспект по курсу математической статистики 2016/2017-го года: [https://www.dropbox.com/sh/5lxaheg89isd6h9/AABifvMGLQPmLLzHOiqfaTOLa?dl=0&preview=mathematical-statistics_17_2course.pdf ссылка]. На данный момент не очень актуален, ибо в тот год курс математической статистики читался другим преподавателем.

'''Видеозаписи лекций и семинаров (2021-2022 год):''' [https://www.youtube.com/playlist?list=PLEwK9wdS5g0qvYp7HsYVAVuTXD4PXrvES ссылка]

* Конспекты и записи с семинаров 201 группы: [https://drive.google.com/drive/folders/1UTssJ_L-xuIIuSwmm-UeMEbAHKjFDAzG?usp=sharing Ссылка]
* Конспекты и записи с семинаров 204 группы: [https://drive.google.com/drive/folders/1JYTyxP9bQQA_XPbd82NUJWiAdHmOiyiq?usp=sharing Ссылка]

Решения старых листков (2015 год):
* Решения листков Шабанова: [https://www.dropbox.com/s/zf88f6cbmmk7zl9/%D0%A8%D0%B0%D0%B1%D0%B0%D0%BD%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A11.pdf?dl=0 Ш1], [https://www.dropbox.com/s/26eqou4bxpugopl/%D0%A8%D0%B0%D0%B1%D0%B0%D0%BD%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A12.pdf?dl=0 Ш2], [https://www.dropbox.com/s/9341jqwy2lw82q2/%D0%A8%D0%B0%D0%B1%D0%B0%D0%BD%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A13.pdf?dl=0 Ш3], [https://www.dropbox.com/s/68lumdqe0kbsdb8/%D0%A8%D0%B0%D0%B1%D0%B0%D0%BD%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A14.pdf?dl=0 Ш4],[https://www.dropbox.com/s/kyohtz0o3jobojs/%D0%A8%D0%B0%D0%B1%D0%B0%D0%BD%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A16.pdf?dl=0 Ш6], [https://www.dropbox.com/s/9m4co264lhedtc9/%D0%A8%D0%B0%D0%B1%D0%B0%D0%BD%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A17.pdf?dl=0 Ш7].

* Решения листков Косова: [https://www.dropbox.com/s/043s6hqgidfp7cz/%D0%9A%D0%BE%D1%81%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A11.pdf?dl=0 К1], [https://www.dropbox.com/s/b1qrfm5hl0bue54/%D0%9A%D0%BE%D1%81%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A12.pdf?dl=0 К2], [https://www.dropbox.com/s/avqwsxm9dsz6oy0/%D0%9A%D0%BE%D1%81%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A13.pdf?dl=0 К3], [https://www.dropbox.com/s/gyn78zc1900g4xp/%D0%9A%D0%BE%D1%81%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A14.pdf?dl=0 К4], [https://www.dropbox.com/s/rfp4xpafv2wjfdf/%D0%9A%D0%BE%D1%81%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A15.pdf?dl=0 К5], [https://www.dropbox.com/s/i8jng2xmhomm1n5/%D0%9A%D0%BE%D1%81%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A16.pdf?dl=0 К6], [https://www.dropbox.com/s/kezdlwgiq7zd3y6/%D0%9A%D0%BE%D1%81%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A17.pdf?dl=0 К7], [https://www.dropbox.com/s/fh6ec85orgi184p/%D0%9A%D0%BE%D1%81%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A18.pdf?dl=0 К8].

== Список рекомендуемой литературы ==
=== Учебники ===
* Феллер В. Введение в теорию вероятностей и её приложения. [https://www.dropbox.com/s/pygqjaxss53d7wa/%D0%A4%D0%B5%D0%BB%D0%BB%D0%B5%D1%80%20%D0%92.%20-%20%D0%92%D0%B2%D0%B5%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5%20%D0%B2%20%D1%82%D0%B5%D0%BE%D1%80%D0%B8%D1%8E%20%D0%B2%D0%B5%D1%80%D0%BE%D1%8F%D1%82%D0%BD%D0%BE%D1%81%D1%82%D0%B5%D0%B9%20%D0%B8%20%D0%B5%D0%B5%20%D0%BF%D1%80%D0%B8%D0%BB%D0%BE%D0%B6%D0%B5%D0%BD%D0%B8%D1%8F.%20%D0%A2%D0%BE%D0%BC%201.djvu?dl=0 Том 1], [https://www.dropbox.com/s/1j5b4goj80psef4/%D0%A4%D0%B5%D0%BB%D0%BB%D0%B5%D1%80%20%D0%92.%20-%20%D0%92%D0%B2%D0%B5%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5%20%D0%B2%20%D1%82%D0%B5%D0%BE%D1%80%D0%B8%D1%8E%20%D0%B2%D0%B5%D1%80%D0%BE%D1%8F%D1%82%D0%BD%D0%BE%D1%81%D1%82%D0%B5%D0%B9%20%D0%B8%20%D0%B5%D0%B5%20%D0%BF%D1%80%D0%B8%D0%BB%D0%BE%D0%B6%D0%B5%D0%BD%D0%B8%D1%8F.%20%D0%A2%D0%BE%D0%BC%202.djvu?dl=0 Том 2].
* Ширяев А.Н. Вероятность. [https://www.dropbox.com/s/95onm1z0l8u3oy1/%D0%A8%D0%B8%D1%80%D1%8F%D0%B5%D0%B2%20%D0%90.%D0%9D.%20-%20%D0%92%D0%B5%D1%80%D0%BE%D1%8F%D1%82%D0%BD%D0%BE%D1%81%D1%82%D1%8C-1.pdf?dl=0 Том 1], [https://www.dropbox.com/s/7max7m8rka3ko06/%D0%A8%D0%B8%D1%80%D1%8F%D0%B5%D0%B2%20%D0%90.%D0%9D.%20-%20%D0%92%D0%B5%D1%80%D0%BE%D1%8F%D1%82%D0%BD%D0%BE%D1%81%D1%82%D1%8C-2.pdf?dl=0 Том 2].

=== Задачники ===
* Севастьянов Б.А., Чистяков В.П., Зубков А.М. Сборник задач по теории вероятностей. [https://www.dropbox.com/s/be3yf4mi918smqh/%D0%97%D1%83%D0%B1%D0%BA%D0%BE%D0%B2%20%D0%90.%D0%9C.%2C%20%D0%A1%D0%B5%D0%B2%D0%B0%D1%81%D1%82%D1%8C%D1%8F%D0%BD%D0%BE%D0%B2%20%D0%91.%D0%90.%2C%20%D0%A7%D0%B8%D1%81%D1%82%D1%8F%D0%BA%D0%BE%D0%B2%20%D0%92.%D0%9F.%20-%20%D0%A1%D0%B1%D0%BE%D1%80%D0%BD%D0%B8%D0%BA%20%D0%B7%D0%B0%D0%B4%D0%B0%D1%87%20%D0%BF%D0%BE%20%D1%82%D0%B5%D0%BE%D1%80%D0%B8%D0%B8%20%D0%B2%D0%B5%D1%80%D0%BE%D1%8F%D1%82%D0%BD%D0%BE%D1%81%D1%82%D0%B5%D0%B9.pdf?dl=0 Ссылка].
* Прохоров А.В., Ушаков В.Г., Ушаков Н.Г. Задачи по теории вероятностей. [https://www.dropbox.com/s/z1yjxmv407ygs0l/%D0%9F%D1%80%D0%BE%D1%85%D0%BE%D1%80%D0%BE%D0%B2%20%D0%90.%D0%92.%2C%20%D0%A3%D1%88%D0%B0%D0%BA%D0%BE%D0%B2%20%D0%92.%D0%93.%2C%20%D0%A3%D1%88%D0%B0%D0%BA%D0%BE%D0%B2%20%D0%9D.%D0%93.%20-%20%D0%97%D0%B0%D0%B4%D0%B0%D1%87%D0%B8%20%D0%BF%D0%BE%20%D1%82%D0%B5%D0%BE%D1%80%D0%B8%D0%B8%20%D0%B2%D0%B5%D1%80%D0%BE%D1%8F%D1%82%D0%BD%D0%BE%D1%81%D1%82%D0%B5%D0%B9.djvu?dl=0 Ссылка].
* Ширяев А.Н. Задачи по теории вероятностей. [https://www.dropbox.com/s/lafej3meebsqk1l/%D0%A8%D0%B8%D1%80%D1%8F%D0%B5%D0%B2%20%D0%90.%D0%9D.%20-%20%D0%97%D0%B0%D0%B4%D0%B0%D1%87%D0%B8%20%D0%BF%D0%BE%20%D1%82%D0%B5%D0%BE%D1%80%D0%B8%D0%B8%20%D0%B2%D0%B5%D1%80%D0%BE%D1%8F%D1%82%D0%BD%D0%BE%D1%81%D1%82%D0%B5%D0%B9.pdf?dl=0 Ссылка].

== Страницы прошлых лет ==

[http://wiki.cs.hse.ru/Теория_вероятностей_2024/25_(пилотный_поток) 2024/2025 учебный год]

[http://wiki.cs.hse.ru/Теория_вероятностей_2023/24_(пилотный_поток) 2023/2024 учебный год]

[http://wiki.cs.hse.ru/Теория_вероятностей_2022/2023_(пилотный_поток) 2022/2023 учебный год]

[http://wiki.cs.hse.ru/Теория_вероятностей_и_математическая_статистика_2021/2022_(пилотный_поток) 2021/2022 учебный год]

[http://wiki.cs.hse.ru/Теория_вероятностей_и_математическая_статистика_2020/2021_(пилотный_поток) 2020/2021 учебный год]

[http://wiki.cs.hse.ru/Теория_вероятностей_и_математическая_статистика_2019/2020_(пилотный_поток) 2019/2020 учебный год]

[http://wiki.cs.hse.ru/Теория_вероятностей_2018/2019_(пилотный_поток) 2018/2019 учебный год]

[http://wiki.cs.hse.ru/Теория_вероятностей_2017/2018_(пилотный_поток) 2017/2018 учебный год]

[http://wiki.cs.hse.ru/Теория_вероятностей_2016/2017_(пилотный_поток) 2016/2017 учебный год, ТВ]

[http://wiki.cs.hse.ru/Математическая_статистика_2016/2017_(пилотный_поток) 2016/2017 учебный год, МС]

Генеративные модели на основе диффузии 25/26

2025-10-10T20:22:36Z

Rakitinden:

Генеративные модели на основе диффузии 25/26

2025-10-10T20:09:43Z

Rakitinden:

Теория вероятностей 2025/26 (пилотный поток)

2025-10-06T17:38:38Z

Rakitinden:

== Преподаватели и учебные ассистенты ==
{| class="wikitable" style="text-align:center"
|-
! Группа !! БПМИ241 !! БПМИ242 !! БПМИ243 !! БПМИ244 !! БПМИ245
|-
|| Лектор ||colspan="5"| [https://www.hse.ru/org/persons/161322763 Шабанов Дмитрий Александрович]
|-
|| Семинарист || [https://t.me/denrakitin23 Ракитин Денис] || [https://t.me/PlatonPromyslov Промыслов Платон Валерьевич] || [https://t.me/Girl_who_math Ряднова Екатерина Михайловна] [mailto:ekaterina.sukhanova@math.msu.ru почта] || Юрьева Голуба Валерьевна || [https://t.me/Girl_who_math Ряднова Екатерина Михайловна] [mailto:ekaterina.sukhanova@math.msu.ru почта]
|-
|| Ассистент || [https://t.me/alegsandyr Александр Климчук] || [https://t.me/Agafonov_Artem Артем Агафонов] || [https://t.me/MeshaZa Михаил Замешаев] || [https://t.me/IlyaSpd Илья Иванов] || [https://t.me/polnuy_perebor_stradaniy Прохор Ларичев]
|}

== Организационные моменты ==
=== Правила игры ===

=== Ведомость с оценками ===

== Материалы ==
=== Лекции ===
Черновик учебника можно найти [https://disk.yandex.ru/d/IWrhIV8colz2sw здесь]. Периодически будет обновляться/дополняться.

=== Семинары ===
Все листки с семинарскими задачами выкладываются [https://disk.yandex.ru/d/OfbteYUHbUbS3g тут].

== Контрольные работы ==
=== Правила игры ===
* На контрольной работе будет 4 задачи.

== Коллоквиумы ==
=== Как проходит ===
* В начале студент вытягивает случайный билет, после чего даётся 30-40 минут на подготовку.
* После ответа на основной вопрос даются два дополнительных вопроса (обычно это какие-то части других билетов или задачи).
* При подготовке ответа использование записей лекций/Интернета/того, что поможет написать билет, запрещено.
* Разбалловка следующая: основной вопрос — 3 балла, допвопросы — по баллу каждый. Оценки ставятся с шагом в полбалла.
* Окол1 и другие — удвоенные оценки за соответствующие коллоквиумы.

== Домашние задания ==
=== Правила игры ===
После каждой лекции будет выдаваться два листка:
* Первый содержит несколько задач, предназначенных для разбора на семинаре.
* Второй содержит две или три задачи, которые задаются на дом.
На выполнение домашней работы даётся две недели, сдаётся только в электронном виде в classroom соответствующей группы до 23:59 включительно.
Принимается '''только ТеХ и красивые сканы работ'''. Ассистент имеет право поставить 0 в случае нечитаемой работы.

* Каждому студенту даётся 5 дней отсрочки на все домашние задания, которые можно потратить как удобно (можно, например, потратить все на одно ДЗ или на три разных). Также есть 3 микроотсрочки на 15 минут. Несданное или сданное слишком поздно (в этом случае оно оценивается нулём баллов) ДЗ не расходует дни отсрочки. После Нового Года Дед Мороз восстанавливает все потраченные отстрочки.

* Также предусмотрен небольшой бонус за ТеХ/Typst. За сдачу затеханного домашнего задания можно получить +0.5/10 к оценке за него (максимум, таким образом, можно получить 10.5/10). Суммарная оценка за домашние задания ограничена 10 баллами.

=== Список ДЗ ===

Список ДЗ можно найти [https://disk.yandex.ru/d/T49C8dMkz6NV8Q тут].

== Старые материалы ==
'''Предупреждение:''' конспекты лекций оформлялись студентами и содержат опечатки. Читайте с осторожностью.
* Конспект по курсу теории вероятностей 2016/2017-го года: [https://www.dropbox.com/s/8qrxp48zozhdpev/Shabanov-Probability-Theory_lectures_remastered.pdf?dl=0 ссылка].

* Конспект по курсу математической статистики 2016/2017-го года: [https://www.dropbox.com/sh/5lxaheg89isd6h9/AABifvMGLQPmLLzHOiqfaTOLa?dl=0&preview=mathematical-statistics_17_2course.pdf ссылка]. На данный момент не очень актуален, ибо в тот год курс математической статистики читался другим преподавателем.

'''Видеозаписи лекций и семинаров (2021-2022 год):''' [https://www.youtube.com/playlist?list=PLEwK9wdS5g0qvYp7HsYVAVuTXD4PXrvES ссылка]

* Конспекты и записи с семинаров 201 группы: [https://drive.google.com/drive/folders/1UTssJ_L-xuIIuSwmm-UeMEbAHKjFDAzG?usp=sharing Ссылка]
* Конспекты и записи с семинаров 204 группы: [https://drive.google.com/drive/folders/1JYTyxP9bQQA_XPbd82NUJWiAdHmOiyiq?usp=sharing Ссылка]

Решения старых листков (2015 год):
* Решения листков Шабанова: [https://www.dropbox.com/s/zf88f6cbmmk7zl9/%D0%A8%D0%B0%D0%B1%D0%B0%D0%BD%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A11.pdf?dl=0 Ш1], [https://www.dropbox.com/s/26eqou4bxpugopl/%D0%A8%D0%B0%D0%B1%D0%B0%D0%BD%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A12.pdf?dl=0 Ш2], [https://www.dropbox.com/s/9341jqwy2lw82q2/%D0%A8%D0%B0%D0%B1%D0%B0%D0%BD%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A13.pdf?dl=0 Ш3], [https://www.dropbox.com/s/68lumdqe0kbsdb8/%D0%A8%D0%B0%D0%B1%D0%B0%D0%BD%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A14.pdf?dl=0 Ш4],[https://www.dropbox.com/s/kyohtz0o3jobojs/%D0%A8%D0%B0%D0%B1%D0%B0%D0%BD%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A16.pdf?dl=0 Ш6], [https://www.dropbox.com/s/9m4co264lhedtc9/%D0%A8%D0%B0%D0%B1%D0%B0%D0%BD%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A17.pdf?dl=0 Ш7].

* Решения листков Косова: [https://www.dropbox.com/s/043s6hqgidfp7cz/%D0%9A%D0%BE%D1%81%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A11.pdf?dl=0 К1], [https://www.dropbox.com/s/b1qrfm5hl0bue54/%D0%9A%D0%BE%D1%81%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A12.pdf?dl=0 К2], [https://www.dropbox.com/s/avqwsxm9dsz6oy0/%D0%9A%D0%BE%D1%81%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A13.pdf?dl=0 К3], [https://www.dropbox.com/s/gyn78zc1900g4xp/%D0%9A%D0%BE%D1%81%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A14.pdf?dl=0 К4], [https://www.dropbox.com/s/rfp4xpafv2wjfdf/%D0%9A%D0%BE%D1%81%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A15.pdf?dl=0 К5], [https://www.dropbox.com/s/i8jng2xmhomm1n5/%D0%9A%D0%BE%D1%81%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A16.pdf?dl=0 К6], [https://www.dropbox.com/s/kezdlwgiq7zd3y6/%D0%9A%D0%BE%D1%81%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A17.pdf?dl=0 К7], [https://www.dropbox.com/s/fh6ec85orgi184p/%D0%9A%D0%BE%D1%81%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A18.pdf?dl=0 К8].

== Список рекомендуемой литературы ==
=== Учебники ===
* Феллер В. Введение в теорию вероятностей и её приложения. [https://www.dropbox.com/s/pygqjaxss53d7wa/%D0%A4%D0%B5%D0%BB%D0%BB%D0%B5%D1%80%20%D0%92.%20-%20%D0%92%D0%B2%D0%B5%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5%20%D0%B2%20%D1%82%D0%B5%D0%BE%D1%80%D0%B8%D1%8E%20%D0%B2%D0%B5%D1%80%D0%BE%D1%8F%D1%82%D0%BD%D0%BE%D1%81%D1%82%D0%B5%D0%B9%20%D0%B8%20%D0%B5%D0%B5%20%D0%BF%D1%80%D0%B8%D0%BB%D0%BE%D0%B6%D0%B5%D0%BD%D0%B8%D1%8F.%20%D0%A2%D0%BE%D0%BC%201.djvu?dl=0 Том 1], [https://www.dropbox.com/s/1j5b4goj80psef4/%D0%A4%D0%B5%D0%BB%D0%BB%D0%B5%D1%80%20%D0%92.%20-%20%D0%92%D0%B2%D0%B5%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5%20%D0%B2%20%D1%82%D0%B5%D0%BE%D1%80%D0%B8%D1%8E%20%D0%B2%D0%B5%D1%80%D0%BE%D1%8F%D1%82%D0%BD%D0%BE%D1%81%D1%82%D0%B5%D0%B9%20%D0%B8%20%D0%B5%D0%B5%20%D0%BF%D1%80%D0%B8%D0%BB%D0%BE%D0%B6%D0%B5%D0%BD%D0%B8%D1%8F.%20%D0%A2%D0%BE%D0%BC%202.djvu?dl=0 Том 2].
* Ширяев А.Н. Вероятность. [https://www.dropbox.com/s/95onm1z0l8u3oy1/%D0%A8%D0%B8%D1%80%D1%8F%D0%B5%D0%B2%20%D0%90.%D0%9D.%20-%20%D0%92%D0%B5%D1%80%D0%BE%D1%8F%D1%82%D0%BD%D0%BE%D1%81%D1%82%D1%8C-1.pdf?dl=0 Том 1], [https://www.dropbox.com/s/7max7m8rka3ko06/%D0%A8%D0%B8%D1%80%D1%8F%D0%B5%D0%B2%20%D0%90.%D0%9D.%20-%20%D0%92%D0%B5%D1%80%D0%BE%D1%8F%D1%82%D0%BD%D0%BE%D1%81%D1%82%D1%8C-2.pdf?dl=0 Том 2].

=== Задачники ===
* Севастьянов Б.А., Чистяков В.П., Зубков А.М. Сборник задач по теории вероятностей. [https://www.dropbox.com/s/be3yf4mi918smqh/%D0%97%D1%83%D0%B1%D0%BA%D0%BE%D0%B2%20%D0%90.%D0%9C.%2C%20%D0%A1%D0%B5%D0%B2%D0%B0%D1%81%D1%82%D1%8C%D1%8F%D0%BD%D0%BE%D0%B2%20%D0%91.%D0%90.%2C%20%D0%A7%D0%B8%D1%81%D1%82%D1%8F%D0%BA%D0%BE%D0%B2%20%D0%92.%D0%9F.%20-%20%D0%A1%D0%B1%D0%BE%D1%80%D0%BD%D0%B8%D0%BA%20%D0%B7%D0%B0%D0%B4%D0%B0%D1%87%20%D0%BF%D0%BE%20%D1%82%D0%B5%D0%BE%D1%80%D0%B8%D0%B8%20%D0%B2%D0%B5%D1%80%D0%BE%D1%8F%D1%82%D0%BD%D0%BE%D1%81%D1%82%D0%B5%D0%B9.pdf?dl=0 Ссылка].
* Прохоров А.В., Ушаков В.Г., Ушаков Н.Г. Задачи по теории вероятностей. [https://www.dropbox.com/s/z1yjxmv407ygs0l/%D0%9F%D1%80%D0%BE%D1%85%D0%BE%D1%80%D0%BE%D0%B2%20%D0%90.%D0%92.%2C%20%D0%A3%D1%88%D0%B0%D0%BA%D0%BE%D0%B2%20%D0%92.%D0%93.%2C%20%D0%A3%D1%88%D0%B0%D0%BA%D0%BE%D0%B2%20%D0%9D.%D0%93.%20-%20%D0%97%D0%B0%D0%B4%D0%B0%D1%87%D0%B8%20%D0%BF%D0%BE%20%D1%82%D0%B5%D0%BE%D1%80%D0%B8%D0%B8%20%D0%B2%D0%B5%D1%80%D0%BE%D1%8F%D1%82%D0%BD%D0%BE%D1%81%D1%82%D0%B5%D0%B9.djvu?dl=0 Ссылка].
* Ширяев А.Н. Задачи по теории вероятностей. [https://www.dropbox.com/s/lafej3meebsqk1l/%D0%A8%D0%B8%D1%80%D1%8F%D0%B5%D0%B2%20%D0%90.%D0%9D.%20-%20%D0%97%D0%B0%D0%B4%D0%B0%D1%87%D0%B8%20%D0%BF%D0%BE%20%D1%82%D0%B5%D0%BE%D1%80%D0%B8%D0%B8%20%D0%B2%D0%B5%D1%80%D0%BE%D1%8F%D1%82%D0%BD%D0%BE%D1%81%D1%82%D0%B5%D0%B9.pdf?dl=0 Ссылка].

== Страницы прошлых лет ==

[http://wiki.cs.hse.ru/Теория_вероятностей_2024/25_(пилотный_поток) 2024/2025 учебный год]

[http://wiki.cs.hse.ru/Теория_вероятностей_2023/24_(пилотный_поток) 2023/2024 учебный год]

[http://wiki.cs.hse.ru/Теория_вероятностей_2022/2023_(пилотный_поток) 2022/2023 учебный год]

[http://wiki.cs.hse.ru/Теория_вероятностей_и_математическая_статистика_2021/2022_(пилотный_поток) 2021/2022 учебный год]

[http://wiki.cs.hse.ru/Теория_вероятностей_и_математическая_статистика_2020/2021_(пилотный_поток) 2020/2021 учебный год]

[http://wiki.cs.hse.ru/Теория_вероятностей_и_математическая_статистика_2019/2020_(пилотный_поток) 2019/2020 учебный год]

[http://wiki.cs.hse.ru/Теория_вероятностей_2018/2019_(пилотный_поток) 2018/2019 учебный год]

[http://wiki.cs.hse.ru/Теория_вероятностей_2017/2018_(пилотный_поток) 2017/2018 учебный год]

[http://wiki.cs.hse.ru/Теория_вероятностей_2016/2017_(пилотный_поток) 2016/2017 учебный год, ТВ]

[http://wiki.cs.hse.ru/Математическая_статистика_2016/2017_(пилотный_поток) 2016/2017 учебный год, МС]

Теория вероятностей 2025/26 (пилотный поток)

2025-10-05T22:09:07Z

Rakitinden:

== Преподаватели и учебные ассистенты ==
{| class="wikitable" style="text-align:center"
|-
! Группа !! БПМИ241 !! БПМИ242 !! БПМИ243 !! БПМИ244 !! БПМИ245
|-
|| Лектор ||colspan="5"| [https://www.hse.ru/org/persons/161322763 Шабанов Дмитрий Александрович]
|-
|| Семинарист || [https://t.me/denrakitin23 Ракитин Денис] || [https://t.me/PlatonPromyslov Промыслов Платон Валерьевич] || [https://t.me/Girl_who_math Ряднова Екатерина Михайловна] [mailto:ekaterina.sukhanova@math.msu.ru почта] || Юрьева Голуба Валерьевна || [https://t.me/Girl_who_math Ряднова Екатерина Михайловна] [mailto:ekaterina.sukhanova@math.msu.ru почта]
|-
|| Ассистент || [https://t.me/alegsandyr Александр Климчук] || [https://t.me/Agafonov_Artem Артем Агафонов] || [https://t.me/MeshaZa Михаил Замешаев] || [https://t.me/IlyaSpd Илья Иванов] || [https://t.me/polnuy_perebor_stradaniy Прохор Ларичев]
|}

== Организационные моменты ==
=== Правила игры ===

=== Ведомость с оценками ===

== Материалы ==
=== Лекции ===
Черновик учебника можно найти [https://disk.yandex.ru/d/tg1VFfpTM5_bVQ здесь]. Периодически будет обновляться/дополняться.

=== Семинары ===
Все листки с семинарскими задачами выкладываются [https://disk.yandex.ru/d/OfbteYUHbUbS3g тут].

== Контрольные работы ==
=== Правила игры ===
* На контрольной работе будет 4 задачи.

== Коллоквиумы ==
=== Как проходит ===
* В начале студент вытягивает случайный билет, после чего даётся 30-40 минут на подготовку.
* После ответа на основной вопрос даются два дополнительных вопроса (обычно это какие-то части других билетов или задачи).
* При подготовке ответа использование записей лекций/Интернета/того, что поможет написать билет, запрещено.
* Разбалловка следующая: основной вопрос — 3 балла, допвопросы — по баллу каждый. Оценки ставятся с шагом в полбалла.
* Окол1 и другие — удвоенные оценки за соответствующие коллоквиумы.

== Домашние задания ==
=== Правила игры ===
После каждой лекции будет выдаваться два листка:
* Первый содержит несколько задач, предназначенных для разбора на семинаре.
* Второй содержит две или три задачи, которые задаются на дом.
На выполнение домашней работы даётся две недели, сдаётся только в электронном виде в classroom соответствующей группы до 23:59 включительно.
Принимается '''только ТеХ и красивые сканы работ'''. Ассистент имеет право поставить 0 в случае нечитаемой работы.

* Каждому студенту даётся 5 дней отсрочки на все домашние задания, которые можно потратить как удобно (можно, например, потратить все на одно ДЗ или на три разных). Также есть 3 микроотсрочки на 15 минут. Несданное или сданное слишком поздно (в этом случае оно оценивается нулём баллов) ДЗ не расходует дни отсрочки. После Нового Года Дед Мороз восстанавливает все потраченные отстрочки.

* Также предусмотрен небольшой бонус за ТеХ/Typst. За сдачу затеханного домашнего задания можно получить +0.5/10 к оценке за него (максимум, таким образом, можно получить 10.5/10). Суммарная оценка за домашние задания ограничена 10 баллами.

=== Список ДЗ ===

Список ДЗ можно найти [https://disk.yandex.ru/d/T49C8dMkz6NV8Q тут].

== Старые материалы ==
'''Предупреждение:''' конспекты лекций оформлялись студентами и содержат опечатки. Читайте с осторожностью.
* Конспект по курсу теории вероятностей 2016/2017-го года: [https://www.dropbox.com/s/8qrxp48zozhdpev/Shabanov-Probability-Theory_lectures_remastered.pdf?dl=0 ссылка].

* Конспект по курсу математической статистики 2016/2017-го года: [https://www.dropbox.com/sh/5lxaheg89isd6h9/AABifvMGLQPmLLzHOiqfaTOLa?dl=0&preview=mathematical-statistics_17_2course.pdf ссылка]. На данный момент не очень актуален, ибо в тот год курс математической статистики читался другим преподавателем.

'''Видеозаписи лекций и семинаров (2021-2022 год):''' [https://www.youtube.com/playlist?list=PLEwK9wdS5g0qvYp7HsYVAVuTXD4PXrvES ссылка]

* Конспекты и записи с семинаров 201 группы: [https://drive.google.com/drive/folders/1UTssJ_L-xuIIuSwmm-UeMEbAHKjFDAzG?usp=sharing Ссылка]
* Конспекты и записи с семинаров 204 группы: [https://drive.google.com/drive/folders/1JYTyxP9bQQA_XPbd82NUJWiAdHmOiyiq?usp=sharing Ссылка]

Решения старых листков (2015 год):
* Решения листков Шабанова: [https://www.dropbox.com/s/zf88f6cbmmk7zl9/%D0%A8%D0%B0%D0%B1%D0%B0%D0%BD%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A11.pdf?dl=0 Ш1], [https://www.dropbox.com/s/26eqou4bxpugopl/%D0%A8%D0%B0%D0%B1%D0%B0%D0%BD%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A12.pdf?dl=0 Ш2], [https://www.dropbox.com/s/9341jqwy2lw82q2/%D0%A8%D0%B0%D0%B1%D0%B0%D0%BD%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A13.pdf?dl=0 Ш3], [https://www.dropbox.com/s/68lumdqe0kbsdb8/%D0%A8%D0%B0%D0%B1%D0%B0%D0%BD%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A14.pdf?dl=0 Ш4],[https://www.dropbox.com/s/kyohtz0o3jobojs/%D0%A8%D0%B0%D0%B1%D0%B0%D0%BD%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A16.pdf?dl=0 Ш6], [https://www.dropbox.com/s/9m4co264lhedtc9/%D0%A8%D0%B0%D0%B1%D0%B0%D0%BD%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A17.pdf?dl=0 Ш7].

* Решения листков Косова: [https://www.dropbox.com/s/043s6hqgidfp7cz/%D0%9A%D0%BE%D1%81%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A11.pdf?dl=0 К1], [https://www.dropbox.com/s/b1qrfm5hl0bue54/%D0%9A%D0%BE%D1%81%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A12.pdf?dl=0 К2], [https://www.dropbox.com/s/avqwsxm9dsz6oy0/%D0%9A%D0%BE%D1%81%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A13.pdf?dl=0 К3], [https://www.dropbox.com/s/gyn78zc1900g4xp/%D0%9A%D0%BE%D1%81%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A14.pdf?dl=0 К4], [https://www.dropbox.com/s/rfp4xpafv2wjfdf/%D0%9A%D0%BE%D1%81%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A15.pdf?dl=0 К5], [https://www.dropbox.com/s/i8jng2xmhomm1n5/%D0%9A%D0%BE%D1%81%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A16.pdf?dl=0 К6], [https://www.dropbox.com/s/kezdlwgiq7zd3y6/%D0%9A%D0%BE%D1%81%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A17.pdf?dl=0 К7], [https://www.dropbox.com/s/fh6ec85orgi184p/%D0%9A%D0%BE%D1%81%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A18.pdf?dl=0 К8].

== Список рекомендуемой литературы ==
=== Учебники ===
* Феллер В. Введение в теорию вероятностей и её приложения. [https://www.dropbox.com/s/pygqjaxss53d7wa/%D0%A4%D0%B5%D0%BB%D0%BB%D0%B5%D1%80%20%D0%92.%20-%20%D0%92%D0%B2%D0%B5%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5%20%D0%B2%20%D1%82%D0%B5%D0%BE%D1%80%D0%B8%D1%8E%20%D0%B2%D0%B5%D1%80%D0%BE%D1%8F%D1%82%D0%BD%D0%BE%D1%81%D1%82%D0%B5%D0%B9%20%D0%B8%20%D0%B5%D0%B5%20%D0%BF%D1%80%D0%B8%D0%BB%D0%BE%D0%B6%D0%B5%D0%BD%D0%B8%D1%8F.%20%D0%A2%D0%BE%D0%BC%201.djvu?dl=0 Том 1], [https://www.dropbox.com/s/1j5b4goj80psef4/%D0%A4%D0%B5%D0%BB%D0%BB%D0%B5%D1%80%20%D0%92.%20-%20%D0%92%D0%B2%D0%B5%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5%20%D0%B2%20%D1%82%D0%B5%D0%BE%D1%80%D0%B8%D1%8E%20%D0%B2%D0%B5%D1%80%D0%BE%D1%8F%D1%82%D0%BD%D0%BE%D1%81%D1%82%D0%B5%D0%B9%20%D0%B8%20%D0%B5%D0%B5%20%D0%BF%D1%80%D0%B8%D0%BB%D0%BE%D0%B6%D0%B5%D0%BD%D0%B8%D1%8F.%20%D0%A2%D0%BE%D0%BC%202.djvu?dl=0 Том 2].
* Ширяев А.Н. Вероятность. [https://www.dropbox.com/s/95onm1z0l8u3oy1/%D0%A8%D0%B8%D1%80%D1%8F%D0%B5%D0%B2%20%D0%90.%D0%9D.%20-%20%D0%92%D0%B5%D1%80%D0%BE%D1%8F%D1%82%D0%BD%D0%BE%D1%81%D1%82%D1%8C-1.pdf?dl=0 Том 1], [https://www.dropbox.com/s/7max7m8rka3ko06/%D0%A8%D0%B8%D1%80%D1%8F%D0%B5%D0%B2%20%D0%90.%D0%9D.%20-%20%D0%92%D0%B5%D1%80%D0%BE%D1%8F%D1%82%D0%BD%D0%BE%D1%81%D1%82%D1%8C-2.pdf?dl=0 Том 2].

=== Задачники ===
* Севастьянов Б.А., Чистяков В.П., Зубков А.М. Сборник задач по теории вероятностей. [https://www.dropbox.com/s/be3yf4mi918smqh/%D0%97%D1%83%D0%B1%D0%BA%D0%BE%D0%B2%20%D0%90.%D0%9C.%2C%20%D0%A1%D0%B5%D0%B2%D0%B0%D1%81%D1%82%D1%8C%D1%8F%D0%BD%D0%BE%D0%B2%20%D0%91.%D0%90.%2C%20%D0%A7%D0%B8%D1%81%D1%82%D1%8F%D0%BA%D0%BE%D0%B2%20%D0%92.%D0%9F.%20-%20%D0%A1%D0%B1%D0%BE%D1%80%D0%BD%D0%B8%D0%BA%20%D0%B7%D0%B0%D0%B4%D0%B0%D1%87%20%D0%BF%D0%BE%20%D1%82%D0%B5%D0%BE%D1%80%D0%B8%D0%B8%20%D0%B2%D0%B5%D1%80%D0%BE%D1%8F%D1%82%D0%BD%D0%BE%D1%81%D1%82%D0%B5%D0%B9.pdf?dl=0 Ссылка].
* Прохоров А.В., Ушаков В.Г., Ушаков Н.Г. Задачи по теории вероятностей. [https://www.dropbox.com/s/z1yjxmv407ygs0l/%D0%9F%D1%80%D0%BE%D1%85%D0%BE%D1%80%D0%BE%D0%B2%20%D0%90.%D0%92.%2C%20%D0%A3%D1%88%D0%B0%D0%BA%D0%BE%D0%B2%20%D0%92.%D0%93.%2C%20%D0%A3%D1%88%D0%B0%D0%BA%D0%BE%D0%B2%20%D0%9D.%D0%93.%20-%20%D0%97%D0%B0%D0%B4%D0%B0%D1%87%D0%B8%20%D0%BF%D0%BE%20%D1%82%D0%B5%D0%BE%D1%80%D0%B8%D0%B8%20%D0%B2%D0%B5%D1%80%D0%BE%D1%8F%D1%82%D0%BD%D0%BE%D1%81%D1%82%D0%B5%D0%B9.djvu?dl=0 Ссылка].
* Ширяев А.Н. Задачи по теории вероятностей. [https://www.dropbox.com/s/lafej3meebsqk1l/%D0%A8%D0%B8%D1%80%D1%8F%D0%B5%D0%B2%20%D0%90.%D0%9D.%20-%20%D0%97%D0%B0%D0%B4%D0%B0%D1%87%D0%B8%20%D0%BF%D0%BE%20%D1%82%D0%B5%D0%BE%D1%80%D0%B8%D0%B8%20%D0%B2%D0%B5%D1%80%D0%BE%D1%8F%D1%82%D0%BD%D0%BE%D1%81%D1%82%D0%B5%D0%B9.pdf?dl=0 Ссылка].

== Страницы прошлых лет ==

[http://wiki.cs.hse.ru/Теория_вероятностей_2024/25_(пилотный_поток) 2024/2025 учебный год]

[http://wiki.cs.hse.ru/Теория_вероятностей_2023/24_(пилотный_поток) 2023/2024 учебный год]

[http://wiki.cs.hse.ru/Теория_вероятностей_2022/2023_(пилотный_поток) 2022/2023 учебный год]

[http://wiki.cs.hse.ru/Теория_вероятностей_и_математическая_статистика_2021/2022_(пилотный_поток) 2021/2022 учебный год]

[http://wiki.cs.hse.ru/Теория_вероятностей_и_математическая_статистика_2020/2021_(пилотный_поток) 2020/2021 учебный год]

[http://wiki.cs.hse.ru/Теория_вероятностей_и_математическая_статистика_2019/2020_(пилотный_поток) 2019/2020 учебный год]

[http://wiki.cs.hse.ru/Теория_вероятностей_2018/2019_(пилотный_поток) 2018/2019 учебный год]

[http://wiki.cs.hse.ru/Теория_вероятностей_2017/2018_(пилотный_поток) 2017/2018 учебный год]

[http://wiki.cs.hse.ru/Теория_вероятностей_2016/2017_(пилотный_поток) 2016/2017 учебный год, ТВ]

[http://wiki.cs.hse.ru/Математическая_статистика_2016/2017_(пилотный_поток) 2016/2017 учебный год, МС]

Генеративные модели на основе диффузии 25/26

2025-10-01T19:19:35Z

Rakitinden:

Генеративные модели на основе диффузии 25/26

2025-10-01T19:03:35Z

Rakitinden:

Генеративные модели на основе диффузии 25/26

2025-09-28T17:29:02Z

Rakitinden:

Теория вероятностей 2025/26 (пилотный поток)

2025-09-28T16:50:19Z

Rakitinden:

== Преподаватели и учебные ассистенты ==
{| class="wikitable" style="text-align:center"
|-
! Группа !! БПМИ241 !! БПМИ242 !! БПМИ243 !! БПМИ244 !! БПМИ245
|-
|| Лектор ||colspan="5"| [https://www.hse.ru/org/persons/161322763 Шабанов Дмитрий Александрович]
|-
|| Семинарист || [https://t.me/denrakitin23 Ракитин Денис] || Промыслов Платон Валерьевич || [https://t.me/Girl_who_math Ряднова Екатерина Михайловна] [mailto:ekaterina.sukhanova@math.msu.ru почта] || Юрьева Голуба Валерьевна || [https://t.me/Girl_who_math Ряднова Екатерина Михайловна] [mailto:ekaterina.sukhanova@math.msu.ru почта]
|-
|| Ассистент || [https://t.me/alegsandyr Александр Климчук] || [https://t.me/Agafonov_Artem Артем Агафонов] || [https://t.me/MeshaZa Михаил Замешаев] || [https://t.me/IlyaSpd Илья Иванов] || [https://t.me/polnuy_perebor_stradaniy Прохор Ларичев]
|}

== Организационные моменты ==
=== Правила игры ===

=== Ведомость с оценками ===

== Материалы ==
=== Лекции ===
Черновик учебника можно найти [https://disk.yandex.ru/d/tg1VFfpTM5_bVQ здесь]. Периодически будет обновляться/дополняться.

=== Семинары ===
Все листки с семинарскими задачами выкладываются [https://disk.yandex.ru/d/OfbteYUHbUbS3g тут].

== Контрольные работы ==
=== Правила игры ===
* На контрольной работе будет 4 задачи.

== Коллоквиумы ==
=== Как проходит ===
* В начале студент вытягивает случайный билет, после чего даётся 30-40 минут на подготовку.
* После ответа на основной вопрос даются два дополнительных вопроса (обычно это какие-то части других билетов или задачи).
* При подготовке ответа использование записей лекций/Интернета/того, что поможет написать билет, запрещено.
* Разбалловка следующая: основной вопрос — 3 балла, допвопросы — по баллу каждый. Оценки ставятся с шагом в полбалла.
* Окол1 и другие — удвоенные оценки за соответствующие коллоквиумы.

== Домашние задания ==
=== Правила игры ===
После каждой лекции будет выдаваться два листка:
* Первый содержит несколько задач, предназначенных для разбора на семинаре.
* Второй содержит две или три задачи, которые задаются на дом.
На выполнение домашней работы даётся две недели, сдаётся только в электронном виде в classroom соответствующей группы до 23:59 включительно.
Принимается '''только ТеХ и красивые сканы работ'''. Ассистент имеет право поставить 0 в случае нечитаемой работы.

* Каждому студенту даётся 5 дней отсрочки на все домашние задания, которые можно потратить как удобно (можно, например, потратить все на одно ДЗ или на три разных). Также есть 3 микроотсрочки на 15 минут. Несданное или сданное слишком поздно (в этом случае оно оценивается нулём баллов) ДЗ не расходует дни отсрочки. После Нового Года Дед Мороз восстанавливает все потраченные отстрочки.

* Также предусмотрен небольшой бонус за ТеХ/Typst. За сдачу затеханного домашнего задания можно получить +0.5/10 к оценке за него (максимум, таким образом, можно получить 10.5/10). Суммарная оценка за домашние задания ограничена 10 баллами.

=== Список ДЗ ===

Список ДЗ можно найти [https://disk.yandex.ru/d/T49C8dMkz6NV8Q тут].

== Старые материалы ==
'''Предупреждение:''' конспекты лекций оформлялись студентами и содержат опечатки. Читайте с осторожностью.
* Конспект по курсу теории вероятностей 2016/2017-го года: [https://www.dropbox.com/s/8qrxp48zozhdpev/Shabanov-Probability-Theory_lectures_remastered.pdf?dl=0 ссылка].

* Конспект по курсу математической статистики 2016/2017-го года: [https://www.dropbox.com/sh/5lxaheg89isd6h9/AABifvMGLQPmLLzHOiqfaTOLa?dl=0&preview=mathematical-statistics_17_2course.pdf ссылка]. На данный момент не очень актуален, ибо в тот год курс математической статистики читался другим преподавателем.

'''Видеозаписи лекций и семинаров (2021-2022 год):''' [https://www.youtube.com/playlist?list=PLEwK9wdS5g0qvYp7HsYVAVuTXD4PXrvES ссылка]

* Конспекты и записи с семинаров 201 группы: [https://drive.google.com/drive/folders/1UTssJ_L-xuIIuSwmm-UeMEbAHKjFDAzG?usp=sharing Ссылка]
* Конспекты и записи с семинаров 204 группы: [https://drive.google.com/drive/folders/1JYTyxP9bQQA_XPbd82NUJWiAdHmOiyiq?usp=sharing Ссылка]

Решения старых листков (2015 год):
* Решения листков Шабанова: [https://www.dropbox.com/s/zf88f6cbmmk7zl9/%D0%A8%D0%B0%D0%B1%D0%B0%D0%BD%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A11.pdf?dl=0 Ш1], [https://www.dropbox.com/s/26eqou4bxpugopl/%D0%A8%D0%B0%D0%B1%D0%B0%D0%BD%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A12.pdf?dl=0 Ш2], [https://www.dropbox.com/s/9341jqwy2lw82q2/%D0%A8%D0%B0%D0%B1%D0%B0%D0%BD%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A13.pdf?dl=0 Ш3], [https://www.dropbox.com/s/68lumdqe0kbsdb8/%D0%A8%D0%B0%D0%B1%D0%B0%D0%BD%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A14.pdf?dl=0 Ш4],[https://www.dropbox.com/s/kyohtz0o3jobojs/%D0%A8%D0%B0%D0%B1%D0%B0%D0%BD%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A16.pdf?dl=0 Ш6], [https://www.dropbox.com/s/9m4co264lhedtc9/%D0%A8%D0%B0%D0%B1%D0%B0%D0%BD%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A17.pdf?dl=0 Ш7].

* Решения листков Косова: [https://www.dropbox.com/s/043s6hqgidfp7cz/%D0%9A%D0%BE%D1%81%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A11.pdf?dl=0 К1], [https://www.dropbox.com/s/b1qrfm5hl0bue54/%D0%9A%D0%BE%D1%81%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A12.pdf?dl=0 К2], [https://www.dropbox.com/s/avqwsxm9dsz6oy0/%D0%9A%D0%BE%D1%81%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A13.pdf?dl=0 К3], [https://www.dropbox.com/s/gyn78zc1900g4xp/%D0%9A%D0%BE%D1%81%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A14.pdf?dl=0 К4], [https://www.dropbox.com/s/rfp4xpafv2wjfdf/%D0%9A%D0%BE%D1%81%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A15.pdf?dl=0 К5], [https://www.dropbox.com/s/i8jng2xmhomm1n5/%D0%9A%D0%BE%D1%81%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A16.pdf?dl=0 К6], [https://www.dropbox.com/s/kezdlwgiq7zd3y6/%D0%9A%D0%BE%D1%81%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A17.pdf?dl=0 К7], [https://www.dropbox.com/s/fh6ec85orgi184p/%D0%9A%D0%BE%D1%81%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A18.pdf?dl=0 К8].

== Список рекомендуемой литературы ==
=== Учебники ===
* Феллер В. Введение в теорию вероятностей и её приложения. [https://www.dropbox.com/s/pygqjaxss53d7wa/%D0%A4%D0%B5%D0%BB%D0%BB%D0%B5%D1%80%20%D0%92.%20-%20%D0%92%D0%B2%D0%B5%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5%20%D0%B2%20%D1%82%D0%B5%D0%BE%D1%80%D0%B8%D1%8E%20%D0%B2%D0%B5%D1%80%D0%BE%D1%8F%D1%82%D0%BD%D0%BE%D1%81%D1%82%D0%B5%D0%B9%20%D0%B8%20%D0%B5%D0%B5%20%D0%BF%D1%80%D0%B8%D0%BB%D0%BE%D0%B6%D0%B5%D0%BD%D0%B8%D1%8F.%20%D0%A2%D0%BE%D0%BC%201.djvu?dl=0 Том 1], [https://www.dropbox.com/s/1j5b4goj80psef4/%D0%A4%D0%B5%D0%BB%D0%BB%D0%B5%D1%80%20%D0%92.%20-%20%D0%92%D0%B2%D0%B5%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5%20%D0%B2%20%D1%82%D0%B5%D0%BE%D1%80%D0%B8%D1%8E%20%D0%B2%D0%B5%D1%80%D0%BE%D1%8F%D1%82%D0%BD%D0%BE%D1%81%D1%82%D0%B5%D0%B9%20%D0%B8%20%D0%B5%D0%B5%20%D0%BF%D1%80%D0%B8%D0%BB%D0%BE%D0%B6%D0%B5%D0%BD%D0%B8%D1%8F.%20%D0%A2%D0%BE%D0%BC%202.djvu?dl=0 Том 2].
* Ширяев А.Н. Вероятность. [https://www.dropbox.com/s/95onm1z0l8u3oy1/%D0%A8%D0%B8%D1%80%D1%8F%D0%B5%D0%B2%20%D0%90.%D0%9D.%20-%20%D0%92%D0%B5%D1%80%D0%BE%D1%8F%D1%82%D0%BD%D0%BE%D1%81%D1%82%D1%8C-1.pdf?dl=0 Том 1], [https://www.dropbox.com/s/7max7m8rka3ko06/%D0%A8%D0%B8%D1%80%D1%8F%D0%B5%D0%B2%20%D0%90.%D0%9D.%20-%20%D0%92%D0%B5%D1%80%D0%BE%D1%8F%D1%82%D0%BD%D0%BE%D1%81%D1%82%D1%8C-2.pdf?dl=0 Том 2].

=== Задачники ===
* Севастьянов Б.А., Чистяков В.П., Зубков А.М. Сборник задач по теории вероятностей. [https://www.dropbox.com/s/be3yf4mi918smqh/%D0%97%D1%83%D0%B1%D0%BA%D0%BE%D0%B2%20%D0%90.%D0%9C.%2C%20%D0%A1%D0%B5%D0%B2%D0%B0%D1%81%D1%82%D1%8C%D1%8F%D0%BD%D0%BE%D0%B2%20%D0%91.%D0%90.%2C%20%D0%A7%D0%B8%D1%81%D1%82%D1%8F%D0%BA%D0%BE%D0%B2%20%D0%92.%D0%9F.%20-%20%D0%A1%D0%B1%D0%BE%D1%80%D0%BD%D0%B8%D0%BA%20%D0%B7%D0%B0%D0%B4%D0%B0%D1%87%20%D0%BF%D0%BE%20%D1%82%D0%B5%D0%BE%D1%80%D0%B8%D0%B8%20%D0%B2%D0%B5%D1%80%D0%BE%D1%8F%D1%82%D0%BD%D0%BE%D1%81%D1%82%D0%B5%D0%B9.pdf?dl=0 Ссылка].
* Прохоров А.В., Ушаков В.Г., Ушаков Н.Г. Задачи по теории вероятностей. [https://www.dropbox.com/s/z1yjxmv407ygs0l/%D0%9F%D1%80%D0%BE%D1%85%D0%BE%D1%80%D0%BE%D0%B2%20%D0%90.%D0%92.%2C%20%D0%A3%D1%88%D0%B0%D0%BA%D0%BE%D0%B2%20%D0%92.%D0%93.%2C%20%D0%A3%D1%88%D0%B0%D0%BA%D0%BE%D0%B2%20%D0%9D.%D0%93.%20-%20%D0%97%D0%B0%D0%B4%D0%B0%D1%87%D0%B8%20%D0%BF%D0%BE%20%D1%82%D0%B5%D0%BE%D1%80%D0%B8%D0%B8%20%D0%B2%D0%B5%D1%80%D0%BE%D1%8F%D1%82%D0%BD%D0%BE%D1%81%D1%82%D0%B5%D0%B9.djvu?dl=0 Ссылка].
* Ширяев А.Н. Задачи по теории вероятностей. [https://www.dropbox.com/s/lafej3meebsqk1l/%D0%A8%D0%B8%D1%80%D1%8F%D0%B5%D0%B2%20%D0%90.%D0%9D.%20-%20%D0%97%D0%B0%D0%B4%D0%B0%D1%87%D0%B8%20%D0%BF%D0%BE%20%D1%82%D0%B5%D0%BE%D1%80%D0%B8%D0%B8%20%D0%B2%D0%B5%D1%80%D0%BE%D1%8F%D1%82%D0%BD%D0%BE%D1%81%D1%82%D0%B5%D0%B9.pdf?dl=0 Ссылка].

== Страницы прошлых лет ==

[http://wiki.cs.hse.ru/Теория_вероятностей_2024/25_(пилотный_поток) 2024/2025 учебный год]

[http://wiki.cs.hse.ru/Теория_вероятностей_2023/24_(пилотный_поток) 2023/2024 учебный год]

[http://wiki.cs.hse.ru/Теория_вероятностей_2022/2023_(пилотный_поток) 2022/2023 учебный год]

[http://wiki.cs.hse.ru/Теория_вероятностей_и_математическая_статистика_2021/2022_(пилотный_поток) 2021/2022 учебный год]

[http://wiki.cs.hse.ru/Теория_вероятностей_и_математическая_статистика_2020/2021_(пилотный_поток) 2020/2021 учебный год]

[http://wiki.cs.hse.ru/Теория_вероятностей_и_математическая_статистика_2019/2020_(пилотный_поток) 2019/2020 учебный год]

[http://wiki.cs.hse.ru/Теория_вероятностей_2018/2019_(пилотный_поток) 2018/2019 учебный год]

[http://wiki.cs.hse.ru/Теория_вероятностей_2017/2018_(пилотный_поток) 2017/2018 учебный год]

[http://wiki.cs.hse.ru/Теория_вероятностей_2016/2017_(пилотный_поток) 2016/2017 учебный год, ТВ]

[http://wiki.cs.hse.ru/Математическая_статистика_2016/2017_(пилотный_поток) 2016/2017 учебный год, МС]

Теория вероятностей 2025/26 (пилотный поток)

2025-09-28T16:40:27Z

Rakitinden:

== Преподаватели и учебные ассистенты ==
{| class="wikitable" style="text-align:center"
|-
! Группа !! БПМИ241 !! БПМИ242 !! БПМИ243 !! БПМИ244 !! БПМИ245
|-
|| Лектор ||colspan="5"| [https://www.hse.ru/org/persons/161322763 Шабанов Дмитрий Александрович]
|-
|| Семинарист || [https://t.me/denrakitin23 Ракитин Денис] || Промыслов Платон Валерьевич || [https://t.me/Girl_who_math Ряднова Екатерина Михайловна] [mailto:ekaterina.sukhanova@math.msu.ru почта] || Юрьева Голуба Валерьевна || [https://t.me/Girl_who_math Ряднова Екатерина Михайловна] [mailto:ekaterina.sukhanova@math.msu.ru почта]
|-
|| Ассистент || Александр Климчук || Артем Агафонов || Михаил Замешаев || Илья Иванов || Прохор Ларичев
|}

== Организационные моменты ==
=== Правила игры ===

=== Ведомость с оценками ===

== Материалы ==
=== Лекции ===
Черновик учебника можно найти [https://disk.yandex.ru/d/tg1VFfpTM5_bVQ здесь]. Периодически будет обновляться/дополняться.

=== Семинары ===
Все листки с семинарскими задачами выкладываются [https://disk.yandex.ru/d/OfbteYUHbUbS3g тут].

== Контрольные работы ==
=== Правила игры ===
* На контрольной работе будет 4 задачи.

== Коллоквиумы ==
=== Как проходит ===
* В начале студент вытягивает случайный билет, после чего даётся 30-40 минут на подготовку.
* После ответа на основной вопрос даются два дополнительных вопроса (обычно это какие-то части других билетов или задачи).
* При подготовке ответа использование записей лекций/Интернета/того, что поможет написать билет, запрещено.
* Разбалловка следующая: основной вопрос — 3 балла, допвопросы — по баллу каждый. Оценки ставятся с шагом в полбалла.
* Окол1 и другие — удвоенные оценки за соответствующие коллоквиумы.

== Домашние задания ==
=== Правила игры ===
После каждой лекции будет выдаваться два листка:
* Первый содержит несколько задач, предназначенных для разбора на семинаре.
* Второй содержит две или три задачи, которые задаются на дом.
На выполнение домашней работы даётся две недели, сдаётся только в электронном виде в classroom соответствующей группы до 23:59 включительно.
Принимается '''только ТеХ и красивые сканы работ'''. Ассистент имеет право поставить 0 в случае нечитаемой работы.

* Каждому студенту даётся 5 дней отсрочки на все домашние задания, которые можно потратить как удобно (можно, например, потратить все на одно ДЗ или на три разных). Также есть 3 микроотсрочки на 15 минут. Несданное или сданное слишком поздно (в этом случае оно оценивается нулём баллов) ДЗ не расходует дни отсрочки. После Нового Года Дед Мороз восстанавливает все потраченные отстрочки.

* Также предусмотрен небольшой бонус за ТеХ/Typst. За сдачу затеханного домашнего задания можно получить +0.5/10 к оценке за него (максимум, таким образом, можно получить 10.5/10). Суммарная оценка за домашние задания ограничена 10 баллами.

=== Список ДЗ ===

Список ДЗ можно найти [https://disk.yandex.ru/d/T49C8dMkz6NV8Q тут].

== Старые материалы ==
'''Предупреждение:''' конспекты лекций оформлялись студентами и содержат опечатки. Читайте с осторожностью.
* Конспект по курсу теории вероятностей 2016/2017-го года: [https://www.dropbox.com/s/8qrxp48zozhdpev/Shabanov-Probability-Theory_lectures_remastered.pdf?dl=0 ссылка].

* Конспект по курсу математической статистики 2016/2017-го года: [https://www.dropbox.com/sh/5lxaheg89isd6h9/AABifvMGLQPmLLzHOiqfaTOLa?dl=0&preview=mathematical-statistics_17_2course.pdf ссылка]. На данный момент не очень актуален, ибо в тот год курс математической статистики читался другим преподавателем.

'''Видеозаписи лекций и семинаров (2021-2022 год):''' [https://www.youtube.com/playlist?list=PLEwK9wdS5g0qvYp7HsYVAVuTXD4PXrvES ссылка]

* Конспекты и записи с семинаров 201 группы: [https://drive.google.com/drive/folders/1UTssJ_L-xuIIuSwmm-UeMEbAHKjFDAzG?usp=sharing Ссылка]
* Конспекты и записи с семинаров 204 группы: [https://drive.google.com/drive/folders/1JYTyxP9bQQA_XPbd82NUJWiAdHmOiyiq?usp=sharing Ссылка]

Решения старых листков (2015 год):
* Решения листков Шабанова: [https://www.dropbox.com/s/zf88f6cbmmk7zl9/%D0%A8%D0%B0%D0%B1%D0%B0%D0%BD%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A11.pdf?dl=0 Ш1], [https://www.dropbox.com/s/26eqou4bxpugopl/%D0%A8%D0%B0%D0%B1%D0%B0%D0%BD%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A12.pdf?dl=0 Ш2], [https://www.dropbox.com/s/9341jqwy2lw82q2/%D0%A8%D0%B0%D0%B1%D0%B0%D0%BD%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A13.pdf?dl=0 Ш3], [https://www.dropbox.com/s/68lumdqe0kbsdb8/%D0%A8%D0%B0%D0%B1%D0%B0%D0%BD%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A14.pdf?dl=0 Ш4],[https://www.dropbox.com/s/kyohtz0o3jobojs/%D0%A8%D0%B0%D0%B1%D0%B0%D0%BD%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A16.pdf?dl=0 Ш6], [https://www.dropbox.com/s/9m4co264lhedtc9/%D0%A8%D0%B0%D0%B1%D0%B0%D0%BD%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A17.pdf?dl=0 Ш7].

* Решения листков Косова: [https://www.dropbox.com/s/043s6hqgidfp7cz/%D0%9A%D0%BE%D1%81%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A11.pdf?dl=0 К1], [https://www.dropbox.com/s/b1qrfm5hl0bue54/%D0%9A%D0%BE%D1%81%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A12.pdf?dl=0 К2], [https://www.dropbox.com/s/avqwsxm9dsz6oy0/%D0%9A%D0%BE%D1%81%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A13.pdf?dl=0 К3], [https://www.dropbox.com/s/gyn78zc1900g4xp/%D0%9A%D0%BE%D1%81%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A14.pdf?dl=0 К4], [https://www.dropbox.com/s/rfp4xpafv2wjfdf/%D0%9A%D0%BE%D1%81%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A15.pdf?dl=0 К5], [https://www.dropbox.com/s/i8jng2xmhomm1n5/%D0%9A%D0%BE%D1%81%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A16.pdf?dl=0 К6], [https://www.dropbox.com/s/kezdlwgiq7zd3y6/%D0%9A%D0%BE%D1%81%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A17.pdf?dl=0 К7], [https://www.dropbox.com/s/fh6ec85orgi184p/%D0%9A%D0%BE%D1%81%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A18.pdf?dl=0 К8].

== Список рекомендуемой литературы ==
=== Учебники ===
* Феллер В. Введение в теорию вероятностей и её приложения. [https://www.dropbox.com/s/pygqjaxss53d7wa/%D0%A4%D0%B5%D0%BB%D0%BB%D0%B5%D1%80%20%D0%92.%20-%20%D0%92%D0%B2%D0%B5%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5%20%D0%B2%20%D1%82%D0%B5%D0%BE%D1%80%D0%B8%D1%8E%20%D0%B2%D0%B5%D1%80%D0%BE%D1%8F%D1%82%D0%BD%D0%BE%D1%81%D1%82%D0%B5%D0%B9%20%D0%B8%20%D0%B5%D0%B5%20%D0%BF%D1%80%D0%B8%D0%BB%D0%BE%D0%B6%D0%B5%D0%BD%D0%B8%D1%8F.%20%D0%A2%D0%BE%D0%BC%201.djvu?dl=0 Том 1], [https://www.dropbox.com/s/1j5b4goj80psef4/%D0%A4%D0%B5%D0%BB%D0%BB%D0%B5%D1%80%20%D0%92.%20-%20%D0%92%D0%B2%D0%B5%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5%20%D0%B2%20%D1%82%D0%B5%D0%BE%D1%80%D0%B8%D1%8E%20%D0%B2%D0%B5%D1%80%D0%BE%D1%8F%D1%82%D0%BD%D0%BE%D1%81%D1%82%D0%B5%D0%B9%20%D0%B8%20%D0%B5%D0%B5%20%D0%BF%D1%80%D0%B8%D0%BB%D0%BE%D0%B6%D0%B5%D0%BD%D0%B8%D1%8F.%20%D0%A2%D0%BE%D0%BC%202.djvu?dl=0 Том 2].
* Ширяев А.Н. Вероятность. [https://www.dropbox.com/s/95onm1z0l8u3oy1/%D0%A8%D0%B8%D1%80%D1%8F%D0%B5%D0%B2%20%D0%90.%D0%9D.%20-%20%D0%92%D0%B5%D1%80%D0%BE%D1%8F%D1%82%D0%BD%D0%BE%D1%81%D1%82%D1%8C-1.pdf?dl=0 Том 1], [https://www.dropbox.com/s/7max7m8rka3ko06/%D0%A8%D0%B8%D1%80%D1%8F%D0%B5%D0%B2%20%D0%90.%D0%9D.%20-%20%D0%92%D0%B5%D1%80%D0%BE%D1%8F%D1%82%D0%BD%D0%BE%D1%81%D1%82%D1%8C-2.pdf?dl=0 Том 2].

=== Задачники ===
* Севастьянов Б.А., Чистяков В.П., Зубков А.М. Сборник задач по теории вероятностей. [https://www.dropbox.com/s/be3yf4mi918smqh/%D0%97%D1%83%D0%B1%D0%BA%D0%BE%D0%B2%20%D0%90.%D0%9C.%2C%20%D0%A1%D0%B5%D0%B2%D0%B0%D1%81%D1%82%D1%8C%D1%8F%D0%BD%D0%BE%D0%B2%20%D0%91.%D0%90.%2C%20%D0%A7%D0%B8%D1%81%D1%82%D1%8F%D0%BA%D0%BE%D0%B2%20%D0%92.%D0%9F.%20-%20%D0%A1%D0%B1%D0%BE%D1%80%D0%BD%D0%B8%D0%BA%20%D0%B7%D0%B0%D0%B4%D0%B0%D1%87%20%D0%BF%D0%BE%20%D1%82%D0%B5%D0%BE%D1%80%D0%B8%D0%B8%20%D0%B2%D0%B5%D1%80%D0%BE%D1%8F%D1%82%D0%BD%D0%BE%D1%81%D1%82%D0%B5%D0%B9.pdf?dl=0 Ссылка].
* Прохоров А.В., Ушаков В.Г., Ушаков Н.Г. Задачи по теории вероятностей. [https://www.dropbox.com/s/z1yjxmv407ygs0l/%D0%9F%D1%80%D0%BE%D1%85%D0%BE%D1%80%D0%BE%D0%B2%20%D0%90.%D0%92.%2C%20%D0%A3%D1%88%D0%B0%D0%BA%D0%BE%D0%B2%20%D0%92.%D0%93.%2C%20%D0%A3%D1%88%D0%B0%D0%BA%D0%BE%D0%B2%20%D0%9D.%D0%93.%20-%20%D0%97%D0%B0%D0%B4%D0%B0%D1%87%D0%B8%20%D0%BF%D0%BE%20%D1%82%D0%B5%D0%BE%D1%80%D0%B8%D0%B8%20%D0%B2%D0%B5%D1%80%D0%BE%D1%8F%D1%82%D0%BD%D0%BE%D1%81%D1%82%D0%B5%D0%B9.djvu?dl=0 Ссылка].
* Ширяев А.Н. Задачи по теории вероятностей. [https://www.dropbox.com/s/lafej3meebsqk1l/%D0%A8%D0%B8%D1%80%D1%8F%D0%B5%D0%B2%20%D0%90.%D0%9D.%20-%20%D0%97%D0%B0%D0%B4%D0%B0%D1%87%D0%B8%20%D0%BF%D0%BE%20%D1%82%D0%B5%D0%BE%D1%80%D0%B8%D0%B8%20%D0%B2%D0%B5%D1%80%D0%BE%D1%8F%D1%82%D0%BD%D0%BE%D1%81%D1%82%D0%B5%D0%B9.pdf?dl=0 Ссылка].

== Страницы прошлых лет ==

[http://wiki.cs.hse.ru/Теория_вероятностей_2024/25_(пилотный_поток) 2024/2025 учебный год]

[http://wiki.cs.hse.ru/Теория_вероятностей_2023/24_(пилотный_поток) 2023/2024 учебный год]

[http://wiki.cs.hse.ru/Теория_вероятностей_2022/2023_(пилотный_поток) 2022/2023 учебный год]

[http://wiki.cs.hse.ru/Теория_вероятностей_и_математическая_статистика_2021/2022_(пилотный_поток) 2021/2022 учебный год]

[http://wiki.cs.hse.ru/Теория_вероятностей_и_математическая_статистика_2020/2021_(пилотный_поток) 2020/2021 учебный год]

[http://wiki.cs.hse.ru/Теория_вероятностей_и_математическая_статистика_2019/2020_(пилотный_поток) 2019/2020 учебный год]

[http://wiki.cs.hse.ru/Теория_вероятностей_2018/2019_(пилотный_поток) 2018/2019 учебный год]

[http://wiki.cs.hse.ru/Теория_вероятностей_2017/2018_(пилотный_поток) 2017/2018 учебный год]

[http://wiki.cs.hse.ru/Теория_вероятностей_2016/2017_(пилотный_поток) 2016/2017 учебный год, ТВ]

[http://wiki.cs.hse.ru/Математическая_статистика_2016/2017_(пилотный_поток) 2016/2017 учебный год, МС]

Теория вероятностей 2025/26 (пилотный поток)

2025-09-28T16:39:29Z

Rakitinden:

== Преподаватели и учебные ассистенты ==
{| class="wikitable" style="text-align:center"
|-
! Группа !! БПМИ241 !! БПМИ242 !! БПМИ243 !! БПМИ244 !! БПМИ245
|-
|| Лектор ||colspan="5"| [https://www.hse.ru/org/persons/161322763 Шабанов Дмитрий Александрович]
|-
|| Семинарист || [https://t.me/denrakitin23 Ракитин Денис] || Промыслов Платон Валерьевич || [https://t.me/Girl_who_math Ряднова Екатерина Михайловна] [mailto:ekaterina.sukhanova@math.msu.ru почта] || Юрьева Голуба Валерьевна || [https://t.me/Girl_who_math Ряднова Екатерина Михайловна] [mailto:ekaterina.sukhanova@math.msu.ru почта]
|-
|| Ассистент || Александр Климчук || Артем Агафонов || Михаил Замешаев || Илья Иванов || Прохор Ларичев
|}

== Организационные моменты ==
=== Правила игры ===

=== Ведомость с оценками ===

== Материалы ==
=== Лекции ===
Черновик учебника можно найти [https://disk.yandex.ru/d/tg1VFfpTM5_bVQ здесь]. Периодически будет обновляться/дополняться.

=== Семинары ===
Все листки с семинарскими задачами выкладываются [https://disk.yandex.ru/d/OfbteYUHbUbS3g тут].

== Контрольные работы ==
=== Правила игры ===
* На контрольной работе будет 4 задачи.

== Коллоквиумы ==
=== Как проходит ===
* В начале студент вытягивает случайный билет, после чего даётся 30-40 минут на подготовку.
* После ответа на основной вопрос даются два дополнительных вопроса (обычно это какие-то части других билетов или задачи).
* При подготовке ответа использование записей лекций/Интернета/того, что поможет написать билет, запрещено.
* Разбалловка следующая: основной вопрос — 3 балла, допвопросы — по баллу каждый. Оценки ставятся с шагом в полбалла.
* Окол1 и другие — удвоенные оценки за соответствующие коллоквиумы.

== Домашние задания ==
=== Правила игры ===
После каждой лекции будет выдаваться два листка:
* Первый содержит несколько задач, предназначенных для разбора на семинаре.
* Второй содержит две или три задачи, которые задаются на дом.
На выполнение домашней работы даётся две недели, сдаётся только в электронном виде в classroom соответствующей группы до 23:59 включительно.
Принимается '''только ТеХ и красивые сканы работ'''. Ассистент имеет право поставить 0 в случае нечитаемой работы.

* Каждому студенту даётся 5 дней отсрочки на все домашние задания, которые можно потратить как удобно (можно, например, потратить все на одно ДЗ или на три разных). Также есть 3 микроотсрочки на 15 минут. Несданное или сданное слишком поздно (в этом случае оно оценивается нулём баллов) ДЗ не расходует дни отсрочки. После Нового Года Дед Мороз восстанавливает все потраченные отстрочки.

* Также предусмотрен небольшой бонус за ТеХ/Typst. За сдачу затеханного домашнего задания можно получить +0.5/10 к оценке за него (максимум, таким образом, можно получить 10.5/10). Суммарная оценка за домашние задания ограничена 10 баллами.

=== Список ДЗ ===

Список ДЗ можно найти [https://disk.yandex.ru/d/T49C8dMkz6NV8Q тут].

=== Старые материалы ===
'''Предупреждение:''' конспекты лекций оформлялись студентами и содержат опечатки. Читайте с осторожностью.
* Конспект по курсу теории вероятностей 2016/2017-го года: [https://www.dropbox.com/s/8qrxp48zozhdpev/Shabanov-Probability-Theory_lectures_remastered.pdf?dl=0 ссылка].

* Конспект по курсу математической статистики 2016/2017-го года: [https://www.dropbox.com/sh/5lxaheg89isd6h9/AABifvMGLQPmLLzHOiqfaTOLa?dl=0&preview=mathematical-statistics_17_2course.pdf ссылка]. На данный момент не очень актуален, ибо в тот год курс математической статистики читался другим преподавателем.

'''Видеозаписи лекций и семинаров (2021-2022 год):''' [https://www.youtube.com/playlist?list=PLEwK9wdS5g0qvYp7HsYVAVuTXD4PXrvES ссылка]

* Конспекты и записи с семинаров 201 группы: [https://drive.google.com/drive/folders/1UTssJ_L-xuIIuSwmm-UeMEbAHKjFDAzG?usp=sharing Ссылка]
* Конспекты и записи с семинаров 204 группы: [https://drive.google.com/drive/folders/1JYTyxP9bQQA_XPbd82NUJWiAdHmOiyiq?usp=sharing Ссылка]

Решения старых листков (2015 год):
* Решения листков Шабанова: [https://www.dropbox.com/s/zf88f6cbmmk7zl9/%D0%A8%D0%B0%D0%B1%D0%B0%D0%BD%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A11.pdf?dl=0 Ш1], [https://www.dropbox.com/s/26eqou4bxpugopl/%D0%A8%D0%B0%D0%B1%D0%B0%D0%BD%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A12.pdf?dl=0 Ш2], [https://www.dropbox.com/s/9341jqwy2lw82q2/%D0%A8%D0%B0%D0%B1%D0%B0%D0%BD%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A13.pdf?dl=0 Ш3], [https://www.dropbox.com/s/68lumdqe0kbsdb8/%D0%A8%D0%B0%D0%B1%D0%B0%D0%BD%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A14.pdf?dl=0 Ш4],[https://www.dropbox.com/s/kyohtz0o3jobojs/%D0%A8%D0%B0%D0%B1%D0%B0%D0%BD%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A16.pdf?dl=0 Ш6], [https://www.dropbox.com/s/9m4co264lhedtc9/%D0%A8%D0%B0%D0%B1%D0%B0%D0%BD%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A17.pdf?dl=0 Ш7].

* Решения листков Косова: [https://www.dropbox.com/s/043s6hqgidfp7cz/%D0%9A%D0%BE%D1%81%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A11.pdf?dl=0 К1], [https://www.dropbox.com/s/b1qrfm5hl0bue54/%D0%9A%D0%BE%D1%81%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A12.pdf?dl=0 К2], [https://www.dropbox.com/s/avqwsxm9dsz6oy0/%D0%9A%D0%BE%D1%81%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A13.pdf?dl=0 К3], [https://www.dropbox.com/s/gyn78zc1900g4xp/%D0%9A%D0%BE%D1%81%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A14.pdf?dl=0 К4], [https://www.dropbox.com/s/rfp4xpafv2wjfdf/%D0%9A%D0%BE%D1%81%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A15.pdf?dl=0 К5], [https://www.dropbox.com/s/i8jng2xmhomm1n5/%D0%9A%D0%BE%D1%81%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A16.pdf?dl=0 К6], [https://www.dropbox.com/s/kezdlwgiq7zd3y6/%D0%9A%D0%BE%D1%81%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A17.pdf?dl=0 К7], [https://www.dropbox.com/s/fh6ec85orgi184p/%D0%9A%D0%BE%D1%81%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A18.pdf?dl=0 К8].

== Список рекомендуемой литературы ==
=== Учебники ===
* Феллер В. Введение в теорию вероятностей и её приложения. [https://www.dropbox.com/s/pygqjaxss53d7wa/%D0%A4%D0%B5%D0%BB%D0%BB%D0%B5%D1%80%20%D0%92.%20-%20%D0%92%D0%B2%D0%B5%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5%20%D0%B2%20%D1%82%D0%B5%D0%BE%D1%80%D0%B8%D1%8E%20%D0%B2%D0%B5%D1%80%D0%BE%D1%8F%D1%82%D0%BD%D0%BE%D1%81%D1%82%D0%B5%D0%B9%20%D0%B8%20%D0%B5%D0%B5%20%D0%BF%D1%80%D0%B8%D0%BB%D0%BE%D0%B6%D0%B5%D0%BD%D0%B8%D1%8F.%20%D0%A2%D0%BE%D0%BC%201.djvu?dl=0 Том 1], [https://www.dropbox.com/s/1j5b4goj80psef4/%D0%A4%D0%B5%D0%BB%D0%BB%D0%B5%D1%80%20%D0%92.%20-%20%D0%92%D0%B2%D0%B5%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5%20%D0%B2%20%D1%82%D0%B5%D0%BE%D1%80%D0%B8%D1%8E%20%D0%B2%D0%B5%D1%80%D0%BE%D1%8F%D1%82%D0%BD%D0%BE%D1%81%D1%82%D0%B5%D0%B9%20%D0%B8%20%D0%B5%D0%B5%20%D0%BF%D1%80%D0%B8%D0%BB%D0%BE%D0%B6%D0%B5%D0%BD%D0%B8%D1%8F.%20%D0%A2%D0%BE%D0%BC%202.djvu?dl=0 Том 2].
* Ширяев А.Н. Вероятность. [https://www.dropbox.com/s/95onm1z0l8u3oy1/%D0%A8%D0%B8%D1%80%D1%8F%D0%B5%D0%B2%20%D0%90.%D0%9D.%20-%20%D0%92%D0%B5%D1%80%D0%BE%D1%8F%D1%82%D0%BD%D0%BE%D1%81%D1%82%D1%8C-1.pdf?dl=0 Том 1], [https://www.dropbox.com/s/7max7m8rka3ko06/%D0%A8%D0%B8%D1%80%D1%8F%D0%B5%D0%B2%20%D0%90.%D0%9D.%20-%20%D0%92%D0%B5%D1%80%D0%BE%D1%8F%D1%82%D0%BD%D0%BE%D1%81%D1%82%D1%8C-2.pdf?dl=0 Том 2].

=== Задачники ===
* Севастьянов Б.А., Чистяков В.П., Зубков А.М. Сборник задач по теории вероятностей. [https://www.dropbox.com/s/be3yf4mi918smqh/%D0%97%D1%83%D0%B1%D0%BA%D0%BE%D0%B2%20%D0%90.%D0%9C.%2C%20%D0%A1%D0%B5%D0%B2%D0%B0%D1%81%D1%82%D1%8C%D1%8F%D0%BD%D0%BE%D0%B2%20%D0%91.%D0%90.%2C%20%D0%A7%D0%B8%D1%81%D1%82%D1%8F%D0%BA%D0%BE%D0%B2%20%D0%92.%D0%9F.%20-%20%D0%A1%D0%B1%D0%BE%D1%80%D0%BD%D0%B8%D0%BA%20%D0%B7%D0%B0%D0%B4%D0%B0%D1%87%20%D0%BF%D0%BE%20%D1%82%D0%B5%D0%BE%D1%80%D0%B8%D0%B8%20%D0%B2%D0%B5%D1%80%D0%BE%D1%8F%D1%82%D0%BD%D0%BE%D1%81%D1%82%D0%B5%D0%B9.pdf?dl=0 Ссылка].
* Прохоров А.В., Ушаков В.Г., Ушаков Н.Г. Задачи по теории вероятностей. [https://www.dropbox.com/s/z1yjxmv407ygs0l/%D0%9F%D1%80%D0%BE%D1%85%D0%BE%D1%80%D0%BE%D0%B2%20%D0%90.%D0%92.%2C%20%D0%A3%D1%88%D0%B0%D0%BA%D0%BE%D0%B2%20%D0%92.%D0%93.%2C%20%D0%A3%D1%88%D0%B0%D0%BA%D0%BE%D0%B2%20%D0%9D.%D0%93.%20-%20%D0%97%D0%B0%D0%B4%D0%B0%D1%87%D0%B8%20%D0%BF%D0%BE%20%D1%82%D0%B5%D0%BE%D1%80%D0%B8%D0%B8%20%D0%B2%D0%B5%D1%80%D0%BE%D1%8F%D1%82%D0%BD%D0%BE%D1%81%D1%82%D0%B5%D0%B9.djvu?dl=0 Ссылка].
* Ширяев А.Н. Задачи по теории вероятностей. [https://www.dropbox.com/s/lafej3meebsqk1l/%D0%A8%D0%B8%D1%80%D1%8F%D0%B5%D0%B2%20%D0%90.%D0%9D.%20-%20%D0%97%D0%B0%D0%B4%D0%B0%D1%87%D0%B8%20%D0%BF%D0%BE%20%D1%82%D0%B5%D0%BE%D1%80%D0%B8%D0%B8%20%D0%B2%D0%B5%D1%80%D0%BE%D1%8F%D1%82%D0%BD%D0%BE%D1%81%D1%82%D0%B5%D0%B9.pdf?dl=0 Ссылка].

== Страницы прошлых лет ==

[http://wiki.cs.hse.ru/Теория_вероятностей_2024/25_(пилотный_поток) 2024/2025 учебный год]

[http://wiki.cs.hse.ru/Теория_вероятностей_2023/24_(пилотный_поток) 2023/2024 учебный год]

[http://wiki.cs.hse.ru/Теория_вероятностей_2022/2023_(пилотный_поток) 2022/2023 учебный год]

[http://wiki.cs.hse.ru/Теория_вероятностей_и_математическая_статистика_2021/2022_(пилотный_поток) 2021/2022 учебный год]

[http://wiki.cs.hse.ru/Теория_вероятностей_и_математическая_статистика_2020/2021_(пилотный_поток) 2020/2021 учебный год]

[http://wiki.cs.hse.ru/Теория_вероятностей_и_математическая_статистика_2019/2020_(пилотный_поток) 2019/2020 учебный год]

[http://wiki.cs.hse.ru/Теория_вероятностей_2018/2019_(пилотный_поток) 2018/2019 учебный год]

[http://wiki.cs.hse.ru/Теория_вероятностей_2017/2018_(пилотный_поток) 2017/2018 учебный год]

[http://wiki.cs.hse.ru/Теория_вероятностей_2016/2017_(пилотный_поток) 2016/2017 учебный год, ТВ]

[http://wiki.cs.hse.ru/Математическая_статистика_2016/2017_(пилотный_поток) 2016/2017 учебный год, МС]

Wiki ФКН

2025-09-28T16:28:10Z

Rakitinden: добавлена ссылка на теорию вероятностей (ПМИ 2 курс М+)

__NOTOC__
= Учебные курсы факультета компьютерных наук =

{| class="wikitable"
|-
! colspan="2" | <div style="text-align: center;">'''Навигация'''</div>
|-
! [[#bachelors|Курсы бакалавриата ФКН]]
| <div style="text-align:center">[[#AMI|ПМИ]] · [[#SE|ПИ]] · [[#DSBA|ПАД]] · [[#compds|КНАД]] · [[#EDA|ЭАД]] · [[#DRIP|ДРИП]] · [[#electives|майноры и факультативы]]</div>
|-
! colspan="2" | [[#DataCulture|Курсы в рамках проекта Data Culture]] · [[#masters|Курсы магистратуры ФКН]] · [[#other|Курсы других факультетов]] · [[#archive|Архив]]
|}

== Курсы за 2025/26 учебный год ==
{| class="wikitable courses"
|-

! width="21%" | 1 курс !! width="21%" | 2 курс !! width="21%" | 3 курс !! width="21%" | 4 курс !! rowspan="2" | '''майноры и факультативы'''
|-
| colspan="4" style="text-align: center;" | '''ПМИ'''
|-
|

'''М+'''

[[Линейная_алгебра_и_геометрия_на_ПМИ_2025/2026_(пилотный_поток) | Линейная алгебра и геометрия (пилотный поток)]]

[[Математический_анализ_1_2025/26_(пилотный_поток) | Математический анализ-1 (пилотный поток)]]

[[Дискретная математика_на_ПМИ_2025/2026_(пилотный_поток) | Дискретная математика (пилотный поток)]]

'''М'''

[[Линейная_алгебра_и_геометрия_на_ПМИ_2025/2026_(основной_поток) | Линейная алгебра и геометрия (основной поток)]]

[[Математический_анализ_1_2025/26_(основной_поток) | Математический анализ-1 (ПМИ основной поток)]]

[[DM1PMIbase-2025-26 | Дискретная математика (ПМИ основной поток)]]

'''П'''

[[Язык программирования Python 2025/26 (основной поток) ]]

'''П+'''

[[Язык программирования C++ (пилотный поток) ]]
 

||

'''М+'''

[[Математический_Анализ_2_на_ПМИ_2025/26_(пилотный_поток) | Математический анализ 2 (пилотный поток)]]

[[Теория_вероятностей_2025/26_(пилотный_поток) | Теория вероятностей (пилотный поток)]]

'''М'''

[[Теория_вероятностей_на_ПМИ_2025/2026_(основной_поток) | Теория вероятностей (основной поток)]]

[[Математический_анализ_-_2_(основной_поток)_ПМИ_и_ЭАД_2025/2026 | Математический анализ-2 (ПМИ + ЭАД)]]

 

'''П'''

[[Язык_программирования_Python_(углубленный_курс) | Язык программирования Python (углубленный курс)]]
 

[[CAOS-2025/26 | Архитектура компьютеров и операционные системы]]

[[Алгоритмы_и_структуры_данных_2_2025/26 | Алгоритмы и структуры данных 2 2025/26]]

||

[[ PE101-25-26 | Perfomance engineering 101 ]]

[[Функциональное_программирование_2025/2026 | Функциональное программирование]]

[[ Основы_тензорных_вычислений_(2025/26) | Основы тензорных вычислений ]]

[[ Types_25 | Типы в языках программирования ]]

'''ПМИ / МОП'''

[[Машинное_обучение_1_25/26 | Машинное обучение 1]]

[[Математическая_статистика_2_2025/2026 | Математическая статистика 2]]

'''ПМИ / РС'''

[https://docs.google.com/document/d/1sHfi9_m4hx4y0iIgQEueMCr4qokLxh2Bvyzw_MdE2iI/edit?usp=sharing Распределенные системы]

[https://docs.google.com/document/d/1Hqu7iVY0FpYVujjNpIClkIMOQy32YWJpJHZKPSrOtmA/edit?usp=sharing НИС Распределенные системы]

'''ПМИ / ТИ'''

[[ NIS-TCS-25-26 | НИС Теоретическая информатика ]]

 

||

[[ PE101-25-26 | Perfomance engineering 101 ]]

[http://wiki.cs.hse.ru/%D0%93%D0%B5%D0%BD%D0%B5%D1%80%D0%B0%D1%82%D0%B8%D0%B2%D0%BD%D1%8B%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8_%D0%BD%D0%B0_%D0%BE%D1%81%D0%BD%D0%BE%D0%B2%D0%B5_%D0%B4%D0%B8%D1%84%D1%84%D1%83%D0%B7%D0%B8%D0%B8_(25/26) Генеративные модели на основе диффузии 25/26]

[[Большие_языковые_модели_25_26 | Большие языковые модели]]

[[Theory_of_computation_2025 | Theory of computation]]

[[Statistical_learning_theory_2025 | Statistical learning theory]]

'''ПМИ / МОП'''

[http://wiki.cs.hse.ru/%D0%93%D0%BB%D1%83%D0%B1%D0%B8%D0%BD%D0%BD%D0%BE%D0%B5_%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B5_2_2025 Глубинное обучение 2]

'''ПМИ / РС'''

[https://docs.google.com/document/d/1Q2gx-6ugSi9intAW6ZSsLZNrEvl7S5ClyAhn8EjJnRM/edit?usp=sharing НИС Распределенные системы 2]

'''ПМИ / ТИ'''

[[ NIS-TCS-25-26 | НИС Теоретическая информатика ]]

[[ OWF-25-26 | Односторонние функции и их применения ]]

 

| rowspan="11" |


[[Майнор_Биоинформатика_1_год_2025/26|Биоинформатика 1 год 2025/26]]

[[Майнор_Биоинформатика_2_год_2025/26|Биоинформатика 2 год 2025/26]]

[[Введение_в_программирование_25/26|Введение в программирование. Питон 25/26]]

[[Введение_в_базы_данных_25/26|Введение в базы данных 25/26]]

[[Основы_глубинного_обучения_25/26|Основы глубинного обучения 25/26]]

|-
| colspan="4" style="text-align: center;" | '''ПИ'''
|-
|

[[Алгебра_ПИ_2025-2026|Алгебра 25/26]]

[[Дискретная_математика_25/26|Дискретная математика 25/26]]

[[Математический_анализ_25/26|Математический анализ 25/26]]

|
[[НИС_Методы_и_алгоритмы_защиты_информации_25/26|НИС Методы и алгоритмы защиты информации 25/26]]

[[Теория_вероятностей_25/26|Теория вероятностей 25/26]]
|
 

||
 

|-
| colspan="4" style="text-align: center;" | '''ПАД'''
|-
|
'''1st year DSBA 2025/2026'''

[[Calculus 1 DSBA 2025/2026 | Calculus 1 (modules 1-4)]]

[[C++ Programming Language DSBA 2025/2026 | C++ Programming Language (modules 1-3)]]

[[English DSBA 2025/2026 | English Language (modules 1-4)]]

[[LAaG DSBA 2025/2026 | Linear Algebra and Geometry (modules 1-4)]]

[[Discrete Mathematics 1 DSBA 2025/2026 | Discrete Mathematics 1 (modules 1-3)]]

[[Russian History DSBA 2025/2026 | Russian History (modules 1-4)]]

[[Economics DSBA 2025/2026 | Economics (modules 2-3)]]

[[Foundations of Russian Statehood DSBA 2025/2026 | Foundations of Russian Statehood (module 3)]]

[[Algebra DSBA 2025/2026 | Algebra (module 4)]]

[[Algorithms and Data Structures 1 DSBA 2025/2026 | Algorithms and Data Structures 1 (module 4)]]

[[Python for Data Science DSBA 2025/2026 | Python for Data Science (module 4)]]

||
'''2nd year DSBA 2025/2026'''

[[Algorithms and Data Structures DSBA 2025/2026 | Algorithms and Data Structures (modules 1-3)]]

[[Discrete Mathematics 2 DSBA 2025/2026 | Discrete Mathematics 2 (modules 1-2)]]

[[Calculus 2 DSBA 2025/2026 | Calculus 2 (modules 1-2)]]

[[Probability Theory DSBA 2025/2026 | Probability Theory (modules 1-2)]]

[[Introduction to Micro and Macroeconomics DSBA 2025/2026 | Introduction to Micro and Macroeconomics (modules 1-4)]]

[[Computer Architecture and Operating Systems DSBA 2025/2026 | Computer Architecture and Operating Systems (modules 3-4)]]

[[Mathematical Statistics DSBA 2025/2026 | Mathematical Statistics (modules 3-4)]]

[[Machine Learning 1 DSBA 2025/2026 modules 3-4 | Machine Learning 1 (modules 3-4)]]

[[Differential Equations DSBA 2025/2026 | Differential Equations (modules (3-4)]]

'''Minors'''

[[Business and Management in Global Context DSBA 2025/2026 | Business and Management in Global Context (modules 1-4)]]

[[Introduction to Finance DSBA 2025/2026 | Introduction to Finance (modules 1-4)]]

||
'''3rd year DSBA 2025/2026'''

[[Databases DSBA 2025/2026 | Databases (modules 1-2)]]

[[Optimization Methods DSBA 2025/2026 | Optimization Methods (modules 1-2)]]

[[Machine Learning 1 DSBA 2025/2026 | Machine Learning 1 (modules 1-2)]]

[[Stochastic processes and applications DSBA 2025/2026 | Stochastic processes and applications (modules 1-2)]]

[[Time Series Analysis DSBA 2025/2026 | Time Series Analysis (modules 3-4)]]

[[Deep Learning DSBA 2025/2026 | Deep Learning (modules 3-4)]]

'''Minors'''

[[Introduction to Entrepreneurship DSBA 2025/2026 | Introduction to Entrepreneurship (business minor, modules 1-2)]]

[[Information Systems Management DSBA 2025/2026 | Information Systems Management (business minor, modules 3-4)]]

[[Econometrics DSBA 2025/2026 | Elements of Econometrics (finance minor, modules 1-4)]]

'''Specialization Data Science in Business'''

[[Research Seminar "Data Analysis in Business" DSBA 2025/2026 | Research Seminar "Data Analysis in Business“ (modules 1-4)]]

[[Data Analysis in Business DSBA 2025/2026 | Data Analysis in Business (modules 1-2)]]

[[Investment Management for Business DSBA 2025/2026 | Investment Management for Business (modules 3-4)]]

'''Specialization Data Science in Finance'''

[[Research Seminar "Data Science in Financial Economics" DSBA 2025/2026 | Research Seminar "Data Science in Financial Economics" (modules 1-4)]]

[[Financial Mathematics DSBA 2025/2026 | Financial Mathematics (modules 1-2)]]

[[Risk Management in Bank DSBA 2025/2026 | Risk Management in Bank (modules 3-4)]]

'''Specialization Data Analysis in Applied Research'''

[[Research Seminar "Data Science in Applied Research" DSBA 2025/2026 | Research Seminar "Data Science in Applied Research" (modules 1-4)]]

[[Methods of Mathematical Modeling DSBA 2025/2026 | Methods of Mathematical Modeling (modules 1-2)]]

[[Applied Statistics for Machine Learning DSBA 2025/2026 | Applied Statistics for Machine Learning (modules 3-4)]]

'''Electives (modules 3-4)'''

[[Operations Research and Game Theory DSBA 2025/2026 | Operations Research and Game Theory]]

[[Advanced Statistical Methods DSBA 2025/2026 | Advanced Statistical Methods]]

[[Recommender Systems DSBA 2025/2026 | Recommender Systems]]

||
'''4th year DSBA 2025/2026'''

[[Strategy DSBA 2025/2026 | Strategy (modules 1-3)]]

[[Statistical Methods for Market Research DSBA 2025/2026 | Statistical Methods for Market Research (modules 2-3)]]

'''Electives block 1 (modules 1-3)'''

[[Core Management Concepts DSBA 2025/2026 | Core Management Concepts]]

[[Asset Pricing and Financial Markets DSBA 2025/2026 | Asset Pricing and Financial Markets]]

'''Electives block 2 (modules 1-2)'''

[[Introduction to the Study of Language for Computer Scientists DSBA 2025/2026 | Introduction to the Study of Language for Computer Scientists]]

[[Quantitative Finance DSBA 2025/2026 | Quantitative Finance]]

[[Information Security Risk Management DSBA 2025/2026 | Information Security Risk Management]]

[[Generative Models in Machine Learning DSBA 2025/2026 | Generative Models in Machine Learning]]

[[Natural Language Processing DSBA 2025/2026 | Natural Language Processing]]

'''Electives block 3 (module 3)'''

[[Information Systems DSBA 2025/2026 | Information Systems]]

[[Cоmputer Vision DSBA 2025/2026 | Cоmputer Vision]]

'''Research Seminar Electives (modules 1-3)'''

[[Research Seminar "Data Analysis in the Natural Sciences" DSBA 2025/2026 | Research Seminar "Data Analysis in the Natural Sciences"]]

[[Research Seminar "Data Science in Financial Markets" DSBA 2025/2026 | Research Seminar "Data Science in Financial Markets"]]

[[Research Seminar "Data analysis in complex systems" DSBA 2025/2026 | Research Seminar "Data analysis in complex systems"]]

|-
| colspan="4" style="text-align: center;" | '''КНАД'''
|-
|
[[Дискретная_Математика_КНАД_2025/26 | Дискретная математика 2025/26 (КНАД)]]

[[Программирование_на_Python_КНАД_25/26 | Программирование на Python 25/26 (КНАД)]]

[[Линейная алгебра КНАД 25/26]]

[[Математический Анализ КНАД 25/26]]

||
[[Алгебра КНАД 2025/2026 | Алгебра]]

[[Алгоритмы_и_структуры_данных_2_КНАД_25/26 | Алгоритмы и структуры данных-2]]

[[Математический_анализ_2_КНАД_2025/26 | Математический анализ-2 2025/26 (КНАД)]]

[[Теория_вероятностей_КНАД_2025/26 | Теория вероятностей 2025/26 (КНАД)]]
||
 

||
 

|-
| colspan="4" style="text-align: center;" | '''ЭАД'''
|-
|
[[Язык программирования Python 2025/26 (ЭАД) ]]

[[DM1EAD-2025-26 | Дискретная математика 2025/26 (ЭАД)]]

[[Математический_анализ_1_2025/26_(основной_поток)_ЭАД | Математический анализ-1 (ЭАД)]]
||

[[Алгоритмы и структуры данных 2 ЭАД 25/26 | Алгоритмы и структуры данных-2]]

||
 

||
 

|-
| colspan="4" style="text-align: center;" | '''ДРИП'''
|-
|
[[Ddip2529 | Линейная алгебра и геометрия]]

[[DM_DRIP-2025-26 | Дискретная математика 2025/26 (ДРИП)]]

||
[[Теория_вероятностей_ДРИП_25/56 | Теория вероятностей 2025/26 (ДРИП)]]

||
 

||
 

|}

== Курсы в рамках проекта [https://www.hse.ru/dataculture/ Data Culture] ==

{| class="wikitable"
|-
! Осенний семестр !! Весенний семестр
|-
|
|
|}

== Курсы магистратуры ФКН ==
{| class="wikitable"
|-
! Ссылка !! Дисциплина !! Год обучения
|-
| [[ NIS-TCS-25-26 | НИС Теоретическая информатика ]] || НИС ТИ || СКН, 1-2 год
|-
| [[MOTV_2025 | Mathematical foundations of probability theory]] || Math of Machine Learning, MML || 1 year
|}

== Курсы других факультетов ==

{| class="wikitable"
|-
! Дисциплина !! Курс !! Период
|-
|}

== Факультативы ==

{| class="wikitable"
|-
! Дисциплина !! Период
|-
|}

= Архив до 2024/25 учебного года включительно =
[[Wiki ФКН/Архив]]

Теория вероятностей 2025/26 (пилотный поток)

2025-09-28T16:26:23Z

Rakitinden: Новая страница: «== Преподаватели и учебные ассистенты == {| class="wikitable" style="text-align:center" |- ! Группа !! БПМИ241 !! БПМ…»

== Преподаватели и учебные ассистенты ==
{| class="wikitable" style="text-align:center"
|-
! Группа !! БПМИ241 !! БПМИ242 !! БПМИ243 !! БПМИ244 !! БПМИ245
|-
|| Лектор ||colspan="5"| [https://www.hse.ru/org/persons/161322763 Шабанов Дмитрий Александрович]
|-
|| Семинарист || [https://t.me/denrakitin23 Ракитин Денис] || Промыслов Платон Валерьевич || [https://t.me/Girl_who_math Ряднова Екатерина Михайловна] [mailto:ekaterina.sukhanova@math.msu.ru почта] || Юрьева Голуба Валерьевна || [https://t.me/Girl_who_math Ряднова Екатерина Михайловна] [mailto:ekaterina.sukhanova@math.msu.ru почта]
|-
|| Ассистент || Александр Климчук || Артем Агафонов || Михаил Замешаев || Илья Иванов || Прохор Ларичев
|}

== Организационные моменты ==
=== Правила игры ===

=== Ведомость с оценками ===

== Материалы ==
=== Лекции ===
Черновик учебника можно найти [https://disk.yandex.ru/d/tg1VFfpTM5_bVQ здесь]. Периодически будет обновляться/дополняться.

=== Семинары ===
Все листки с семинарскими задачами выкладываются [https://disk.yandex.ru/d/OfbteYUHbUbS3g тут].

== Контрольные работы ==
=== Правила игры ===
* На контрольной работе будет 4 задачи.

== Коллоквиумы ==
=== Как проходит ===
* В начале студент вытягивает случайный билет, после чего даётся 30-40 минут на подготовку.
* После ответа на основной вопрос даются два дополнительных вопроса (обычно это какие-то части других билетов или задачи).
* При подготовке ответа использование записей лекций/Интернета/того, что поможет написать билет, запрещено.
* Разбалловка следующая: основной вопрос — 3 балла, допвопросы — по баллу каждый. Оценки ставятся с шагом в полбалла.
* Окол1 и другие — удвоенные оценки за соответствующие коллоквиумы.

== Домашние задания ==
=== Правила игры ===
После каждой лекции будет выдаваться два листка:
* Первый содержит несколько задач, предназначенных для разбора на семинаре.
* Второй содержит две или три задачи, которые задаются на дом.
На выполнение домашней работы даётся две недели, сдаётся только в электронном виде в classroom соответствующей группы до 23:59 включительно.
Принимается '''только ТеХ и красивые сканы работ'''. Ассистент имеет право поставить 0 в случае нечитаемой работы.

* Каждому студенту даётся 5 дней отсрочки на все домашние задания, которые можно потратить как удобно (можно, например, потратить все на одно ДЗ или на три разных). Также есть 3 микроотсрочки на 15 минут. Несданное или сданное слишком поздно (в этом случае оно оценивается нулём баллов) ДЗ не расходует дни отсрочки. После Нового Года Дед Мороз восстанавливает все потраченные отстрочки.

* Также предусмотрен небольшой бонус за ТеХ/Typst. За сдачу затеханного домашнего задания можно получить +0.5/10 к оценке за него (максимум, таким образом, можно получить 10.5/10). Суммарная оценка за домашние задания ограничена 10 баллами.

=== Список ДЗ ===

Список ДЗ можно найти [https://disk.yandex.ru/d/dp_OzcyD73CyTw тут].

=== Старые материалы ===
'''Предупреждение:''' конспекты лекций оформлялись студентами и содержат опечатки. Читайте с осторожностью.
* Конспект по курсу теории вероятностей 2016/2017-го года: [https://www.dropbox.com/s/8qrxp48zozhdpev/Shabanov-Probability-Theory_lectures_remastered.pdf?dl=0 ссылка].

* Конспект по курсу математической статистики 2016/2017-го года: [https://www.dropbox.com/sh/5lxaheg89isd6h9/AABifvMGLQPmLLzHOiqfaTOLa?dl=0&preview=mathematical-statistics_17_2course.pdf ссылка]. На данный момент не очень актуален, ибо в тот год курс математической статистики читался другим преподавателем.

'''Видеозаписи лекций и семинаров (2021-2022 год):''' [https://www.youtube.com/playlist?list=PLEwK9wdS5g0qvYp7HsYVAVuTXD4PXrvES ссылка]

* Конспекты и записи с семинаров 201 группы: [https://drive.google.com/drive/folders/1UTssJ_L-xuIIuSwmm-UeMEbAHKjFDAzG?usp=sharing Ссылка]
* Конспекты и записи с семинаров 204 группы: [https://drive.google.com/drive/folders/1JYTyxP9bQQA_XPbd82NUJWiAdHmOiyiq?usp=sharing Ссылка]

Решения старых листков (2015 год):
* Решения листков Шабанова: [https://www.dropbox.com/s/zf88f6cbmmk7zl9/%D0%A8%D0%B0%D0%B1%D0%B0%D0%BD%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A11.pdf?dl=0 Ш1], [https://www.dropbox.com/s/26eqou4bxpugopl/%D0%A8%D0%B0%D0%B1%D0%B0%D0%BD%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A12.pdf?dl=0 Ш2], [https://www.dropbox.com/s/9341jqwy2lw82q2/%D0%A8%D0%B0%D0%B1%D0%B0%D0%BD%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A13.pdf?dl=0 Ш3], [https://www.dropbox.com/s/68lumdqe0kbsdb8/%D0%A8%D0%B0%D0%B1%D0%B0%D0%BD%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A14.pdf?dl=0 Ш4],[https://www.dropbox.com/s/kyohtz0o3jobojs/%D0%A8%D0%B0%D0%B1%D0%B0%D0%BD%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A16.pdf?dl=0 Ш6], [https://www.dropbox.com/s/9m4co264lhedtc9/%D0%A8%D0%B0%D0%B1%D0%B0%D0%BD%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A17.pdf?dl=0 Ш7].

* Решения листков Косова: [https://www.dropbox.com/s/043s6hqgidfp7cz/%D0%9A%D0%BE%D1%81%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A11.pdf?dl=0 К1], [https://www.dropbox.com/s/b1qrfm5hl0bue54/%D0%9A%D0%BE%D1%81%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A12.pdf?dl=0 К2], [https://www.dropbox.com/s/avqwsxm9dsz6oy0/%D0%9A%D0%BE%D1%81%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A13.pdf?dl=0 К3], [https://www.dropbox.com/s/gyn78zc1900g4xp/%D0%9A%D0%BE%D1%81%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A14.pdf?dl=0 К4], [https://www.dropbox.com/s/rfp4xpafv2wjfdf/%D0%9A%D0%BE%D1%81%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A15.pdf?dl=0 К5], [https://www.dropbox.com/s/i8jng2xmhomm1n5/%D0%9A%D0%BE%D1%81%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A16.pdf?dl=0 К6], [https://www.dropbox.com/s/kezdlwgiq7zd3y6/%D0%9A%D0%BE%D1%81%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A17.pdf?dl=0 К7], [https://www.dropbox.com/s/fh6ec85orgi184p/%D0%9A%D0%BE%D1%81%D0%BE%D0%B2%D1%89%D0%B8%D0%BD%D0%B0_%D0%A18.pdf?dl=0 К8].

== Список рекомендуемой литературы ==
=== Учебники ===
* Феллер В. Введение в теорию вероятностей и её приложения. [https://www.dropbox.com/s/pygqjaxss53d7wa/%D0%A4%D0%B5%D0%BB%D0%BB%D0%B5%D1%80%20%D0%92.%20-%20%D0%92%D0%B2%D0%B5%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5%20%D0%B2%20%D1%82%D0%B5%D0%BE%D1%80%D0%B8%D1%8E%20%D0%B2%D0%B5%D1%80%D0%BE%D1%8F%D1%82%D0%BD%D0%BE%D1%81%D1%82%D0%B5%D0%B9%20%D0%B8%20%D0%B5%D0%B5%20%D0%BF%D1%80%D0%B8%D0%BB%D0%BE%D0%B6%D0%B5%D0%BD%D0%B8%D1%8F.%20%D0%A2%D0%BE%D0%BC%201.djvu?dl=0 Том 1], [https://www.dropbox.com/s/1j5b4goj80psef4/%D0%A4%D0%B5%D0%BB%D0%BB%D0%B5%D1%80%20%D0%92.%20-%20%D0%92%D0%B2%D0%B5%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5%20%D0%B2%20%D1%82%D0%B5%D0%BE%D1%80%D0%B8%D1%8E%20%D0%B2%D0%B5%D1%80%D0%BE%D1%8F%D1%82%D0%BD%D0%BE%D1%81%D1%82%D0%B5%D0%B9%20%D0%B8%20%D0%B5%D0%B5%20%D0%BF%D1%80%D0%B8%D0%BB%D0%BE%D0%B6%D0%B5%D0%BD%D0%B8%D1%8F.%20%D0%A2%D0%BE%D0%BC%202.djvu?dl=0 Том 2].
* Ширяев А.Н. Вероятность. [https://www.dropbox.com/s/95onm1z0l8u3oy1/%D0%A8%D0%B8%D1%80%D1%8F%D0%B5%D0%B2%20%D0%90.%D0%9D.%20-%20%D0%92%D0%B5%D1%80%D0%BE%D1%8F%D1%82%D0%BD%D0%BE%D1%81%D1%82%D1%8C-1.pdf?dl=0 Том 1], [https://www.dropbox.com/s/7max7m8rka3ko06/%D0%A8%D0%B8%D1%80%D1%8F%D0%B5%D0%B2%20%D0%90.%D0%9D.%20-%20%D0%92%D0%B5%D1%80%D0%BE%D1%8F%D1%82%D0%BD%D0%BE%D1%81%D1%82%D1%8C-2.pdf?dl=0 Том 2].

=== Задачники ===
* Севастьянов Б.А., Чистяков В.П., Зубков А.М. Сборник задач по теории вероятностей. [https://www.dropbox.com/s/be3yf4mi918smqh/%D0%97%D1%83%D0%B1%D0%BA%D0%BE%D0%B2%20%D0%90.%D0%9C.%2C%20%D0%A1%D0%B5%D0%B2%D0%B0%D1%81%D1%82%D1%8C%D1%8F%D0%BD%D0%BE%D0%B2%20%D0%91.%D0%90.%2C%20%D0%A7%D0%B8%D1%81%D1%82%D1%8F%D0%BA%D0%BE%D0%B2%20%D0%92.%D0%9F.%20-%20%D0%A1%D0%B1%D0%BE%D1%80%D0%BD%D0%B8%D0%BA%20%D0%B7%D0%B0%D0%B4%D0%B0%D1%87%20%D0%BF%D0%BE%20%D1%82%D0%B5%D0%BE%D1%80%D0%B8%D0%B8%20%D0%B2%D0%B5%D1%80%D0%BE%D1%8F%D1%82%D0%BD%D0%BE%D1%81%D1%82%D0%B5%D0%B9.pdf?dl=0 Ссылка].
* Прохоров А.В., Ушаков В.Г., Ушаков Н.Г. Задачи по теории вероятностей. [https://www.dropbox.com/s/z1yjxmv407ygs0l/%D0%9F%D1%80%D0%BE%D1%85%D0%BE%D1%80%D0%BE%D0%B2%20%D0%90.%D0%92.%2C%20%D0%A3%D1%88%D0%B0%D0%BA%D0%BE%D0%B2%20%D0%92.%D0%93.%2C%20%D0%A3%D1%88%D0%B0%D0%BA%D0%BE%D0%B2%20%D0%9D.%D0%93.%20-%20%D0%97%D0%B0%D0%B4%D0%B0%D1%87%D0%B8%20%D0%BF%D0%BE%20%D1%82%D0%B5%D0%BE%D1%80%D0%B8%D0%B8%20%D0%B2%D0%B5%D1%80%D0%BE%D1%8F%D1%82%D0%BD%D0%BE%D1%81%D1%82%D0%B5%D0%B9.djvu?dl=0 Ссылка].
* Ширяев А.Н. Задачи по теории вероятностей. [https://www.dropbox.com/s/lafej3meebsqk1l/%D0%A8%D0%B8%D1%80%D1%8F%D0%B5%D0%B2%20%D0%90.%D0%9D.%20-%20%D0%97%D0%B0%D0%B4%D0%B0%D1%87%D0%B8%20%D0%BF%D0%BE%20%D1%82%D0%B5%D0%BE%D1%80%D0%B8%D0%B8%20%D0%B2%D0%B5%D1%80%D0%BE%D1%8F%D1%82%D0%BD%D0%BE%D1%81%D1%82%D0%B5%D0%B9.pdf?dl=0 Ссылка].

== Страницы прошлых лет ==

[http://wiki.cs.hse.ru/Теория_вероятностей_2024/25_(пилотный_поток) 2024/2025 учебный год]

[http://wiki.cs.hse.ru/Теория_вероятностей_2023/24_(пилотный_поток) 2023/2024 учебный год]

[http://wiki.cs.hse.ru/Теория_вероятностей_2022/2023_(пилотный_поток) 2022/2023 учебный год]

[http://wiki.cs.hse.ru/Теория_вероятностей_и_математическая_статистика_2021/2022_(пилотный_поток) 2021/2022 учебный год]

[http://wiki.cs.hse.ru/Теория_вероятностей_и_математическая_статистика_2020/2021_(пилотный_поток) 2020/2021 учебный год]

[http://wiki.cs.hse.ru/Теория_вероятностей_и_математическая_статистика_2019/2020_(пилотный_поток) 2019/2020 учебный год]

[http://wiki.cs.hse.ru/Теория_вероятностей_2018/2019_(пилотный_поток) 2018/2019 учебный год]

[http://wiki.cs.hse.ru/Теория_вероятностей_2017/2018_(пилотный_поток) 2017/2018 учебный год]

[http://wiki.cs.hse.ru/Теория_вероятностей_2016/2017_(пилотный_поток) 2016/2017 учебный год, ТВ]

[http://wiki.cs.hse.ru/Математическая_статистика_2016/2017_(пилотный_поток) 2016/2017 учебный год, МС]

Генеративные модели на основе диффузии 25/26

2025-09-19T15:04:11Z

Rakitinden:

Генеративные модели на основе диффузии 25/26

2025-09-19T15:03:40Z

Rakitinden:

Генеративные модели на основе диффузии 25/26

2025-09-19T14:53:18Z

Rakitinden:

Генеративные модели на основе диффузии 25/26

2025-09-18T18:07:38Z

Rakitinden:

Генеративные модели на основе диффузии 25/26

2025-09-18T18:01:24Z

Rakitinden:

Генеративные модели на основе диффузии 25/26

2025-09-10T17:57:10Z

Rakitinden:

Генеративные модели на основе диффузии 25/26

2025-09-10T17:53:03Z

Rakitinden:

Генеративные модели на основе диффузии 25/26

2025-09-10T16:17:12Z

Rakitinden:

Генеративные модели на основе диффузии 25/26

2025-09-10T16:14:01Z

Rakitinden:

Генеративные модели на основе диффузии 25/26

2025-09-10T16:09:25Z

Rakitinden:

Генеративные модели на основе диффузии 25/26

2025-09-03T17:07:41Z

Rakitinden:

Генеративные модели на основе диффузии 25/26

2025-09-03T15:49:37Z

Rakitinden:

Генеративные модели на основе диффузии 25/26

2025-09-02T13:02:16Z

Rakitinden:

Генеративные модели на основе диффузии 25/26

2025-09-01T16:09:02Z

Rakitinden:

Генеративные модели на основе диффузии 25/26

2025-08-29T19:10:42Z

Rakitinden:

Генеративные модели на основе диффузии 25/26

2025-08-29T19:00:26Z

Rakitinden:

Wiki ФКН

2025-08-29T18:56:40Z

Rakitinden: перенос ссылки на Performance engineering 101 на строчку ниже (было на одной строке с НИС ТИ)

Генеративные модели на основе диффузии 25/26

2025-08-28T18:39:02Z

Rakitinden:

Генеративные модели на основе диффузии (25/26)

2025-08-27T19:18:55Z

Rakitinden: Rakitinden переименовал страницу Генеративные модели на основе диффузии (25/26) в Генеративные модели на основе диффузии 25/26

#перенаправление [[Генеративные модели на основе диффузии 25/26]]

Генеративные модели на основе диффузии 25/26

2025-08-27T19:18:55Z

Wiki ФКН

2025-08-27T19:16:55Z

Rakitinden:

Генеративные модели на основе диффузии 25/26

2025-08-27T19:12:13Z

Rakitinden: Новая страница: «== Общая информация == Курс предназначен для студентов 4 курса ФКН ПМИ, но приглашаются все…»