Wiki - Факультет компьютерных наук - Вклад [ru]

Теория вероятностей 2024/25 (основной поток)

2025-03-22T12:28:37Z

Nmorozov:

= Преподаватели и учебные ассистенты =

{| class="wikitable" style="text-align:center"
|-
! Группа !! БПМИ235 !! БПМИ236 !! БПМИ237 !! БПМИ238 !! БПМИ239 !! БПМИ2310 !! БПМИ2311 !! БПМИ2312
|-
|| Лектор ||colspan="11"| [https://t.me/boris_demeshev Борис Демешев]
|-
|| Семинарист || [https://t.me/boris_demeshev Борис Демешев] || [https://t.me/levensons Илья Левин] || [https://t.me/madn_boi Никита Морозов] || [https://t.me/boris_demeshev Борис Демешев] || [https://t.me/XuMuK_MK Максим Каледин] || [https://t.me/goluba_yurieva Голуба Юрьева] || [https://t.me/Moskchan Вероника Владыкина] || [https://t.me/goluba_yurieva Голуба Юрьева]
|-
|| Ассистент || [https://t.me/nerhneiro Ира Скворцова] || [https://t.me/a_ameli_ig Амелия Алаева] || [https://t.me/htual Алина Бадахова] || [https://t.me/adelyagaraeva Аделя Гараева] || [https://t.me/mabrielka Мария Брель] || [https://t.me/zm_ann Анна Зыкова-Мызина] || [https://t.me/Yanlightv Яна Вежновец] || [https://t.me/nol_erk Кирилл Лавриненко]
|-
|| Ассистент курса ||colspan="11"| [https://t.me/Nick_Volya Никита Волянский]
|}

== Цели и задачи курса ==

侍には目標がなく道しかない [Samurai niwa mokuhyō ga naku michi shikanai]

У самурая нет цели и ничего кроме пути.

Вероятный план:
<div class="mw-collapsible mw-collapsed" style="width:1000px; overflow: hidden;">
1. Дискретное вероятностное пространство. Вероятность, математическое ожидание, теоретическая медиана.
Перестановочные тесты, p-значение для перестановочного теста.
Математическое ожидание = центр масс.

NB: здесь сходу рисуем дерево
NB: здесь нет задач на условную вероятность

!предупреждение об обозначениях случайных величин.
Российская традиция — греческие буквы, американская традиция — заглавные английские буквы.
Наш курс: любые буквы. Причина: теория вероятностей применяется в разных областях, где свои традиции.

NB: Способы вычисления вероятностей и ожиданий:
* полный перебор руками
* примерные вычисления руками
* полный перебор на компьютере
* симуляции на компьютере
* ...

2.
Методы решения задач:
* разложение величины в сумму
* метод первого шага
!идея: позиция в игре имеет цену
* just for fun: метод рычага в геометрии через ожидание
NB: рассказать здесь про комплексную случайную величину
NB: по сути здесь мы уже решаем задачи на марковские цепи не говоря страшных определений
LOTUS.

3. Условная вероятность и условное ожидание.
!идея: зануляем вероятности невозможных событий, а остальные — масштабируем.
формула полной вероятности
!идея: дерево "помнит" формулу полной вероятности
формула Байеса

Независимые события.
Независимые случайные величины.

4.
Методы решения задач:
* производящие функции многих переменных
функция как способ записать множество
HTT vs TTH
ABRACADABRA
!разложение по биномиальной формуле

?: можно здесь успеть функцию производящую моменты

5.
Биномиальное распределение.
Геометрическое и гипергеометрическое распределения.
Отрицательное биномиальное распределение.

6.
Равномерное распределение на множестве в R^n
Функция распределения.
Функция плотности и вероятностная дифференциальная форма.
!пояснение про неудачную традиционную терминологию "непрерывная случайная величина"
величина с функцией плотности, величина с непрерывной функцией распределения.

Квантили, квантильная функция.

7. Характеристики случайных величин и неравенства.
Дисперсия.
Энтропия.
Неравенство Маркова.
Неравенство Чебышёва.
Неравенство Йенсена.

Здесь конец модуля 1 и КР-1!

8. Пуассоновский поток.
Аксиомы пуассоновского потока.
Вывод экспоненциального распределения и пуассоновского распределения из аксиом.
Вывод экспоненциального распределения из предпосылки об отсутсвии памяти.

9. Нормальное распределение.
Нормальное распределение: предпосылки Хершела-Максвелла.
Нормальное распределение: аргументация Гаусса за среднее арифметическое.
Нормальное распределение: предпосылки Лэндона (до уравнения в частных производных).

10. Классические непрерывные распределения.

Гамма-распределение, бета-распределение.
Вывод нормального и экспоненциального распредений как минимизации энтропии.

11. Парные характеристики случайных величин.
Наилучшая линейная аппроксимация.
Ковариация.
Корреляция.
Кросс-энтропия.

Доказательство E(XY) = E(X) E(Y) для дискретных.
Ковариационная матрица и ожидание для случайных векторов.

12. Совместная и условная функция плостности.
Преобразования случайных величин.

13. Функция производящая моменты и характеристическая функция.
Распределение суммы случайного количества случайных величин.
Случайный выбор слагаемых.

14. Финансовые приложения

Оценивание опционов на биномиальном дереве.
Максимизация долгосрочной прибыли, связь с энтропией.
Возможно, индексы Гиттинса.

Здесь конец модуля 2 и КР-2

15. Сигма-алгебры.

Список известных величин как способ описания информации.
Идея условного ожидания как оптимального прогноза.
Сигма-алгебра как способ описания информации.
Измеримость случайной величины относительно сигма-алгебры.
Сигма-алгебра как ОДЗ для вероятности.
Борелевская сигма-алгебра.
Независимые случайные величины второе определение.

16. Условное математическое ожидание.
Условная дисперсия.
Сумма случайного количества случайных величин.

17. Сходимости случайных величин.

Сходимость по вероятности.
Закон больших чисел.
Сходимость почти наверное.
Усилинный закон больших чисел.
Сходимость по распределению.

18. Связь сходимостей.
Лемма Слуцкого.

19. Центральная предельная теорема.
Доказательство через подмену слагаемых.
Доказательство через характеристические функции.

Здесь контрольная.

20. Винеровский процесс
Условные ожидания, инверсия.

21. Байесовский подход к оцениванию параметров

Балансовое уравнение. Идея MCMC.

22. Доказательства свойств меры

23. Алгоритм построения математического ожидания в общем случае.
Лемма Фату.
Теорема о мажорируемой сходимости.
Теорема о монотонной сходимости.

24. Резерв.

Жемчужинки, которые, вероятно, не успеем:

А. Методы решения задач:
подсчёт случаев с помощью леммы Бернсайда и теоремы Пойа о перечислении
(Burnside lemma, PET = Polya Enumeration Theorem)

B. вероятностные доказательства детерминистических теорем

</div>

== Оценивание ==

Оценка за семестр-1 = 0.2 Домашние задания семестра-1 + 0.4 Контрольная-Альфа + 0.4 Экзамен-Бета.

Финальная оценка за курс = 0.5 Оценка за семестр-1 + 0.1 Домашние задания семестра-2 + 0.2 Контрольная-Гамма + 0.2 Экзамен-Дельта.

Каждая оценка (суммарные итоги за домашние задания, контрольные, экзамены) — целое число от 0 до 100.
Для перевода в 10-балльную шкалу промежуточной оценки за семестр-1 и финальной оценки используется деление на 10
с арифметическим округлением. Например, если Максим получил "оценку за семестр-1" 65 баллов, то в ведомость за первый семестр идёт 7, а далее в формуле финальной оценки за курс используется 65.

=== Домашние задания для самураев ===

Домашние задания [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/home_assignments/home_assignments.pdf одним файлом] и [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/blob/main/home_assignments/ отдельными файлами].
Домашние задания имеют равный вес.
В конце каждой лекции (за исключением ближайших к экзамену лекций)
выдается домашнее задание сроком на две недели.
Дедлайн жёсткий, однако студент имеет право просрочить три домашних задания на неделю каждое без штрафа.

Формат сдачи ДЗ: один pdf-файл (решение текстовых задач) и один ipynb-файл (решение компьютерных задач).
В pdf-файл можно поместить аккуратно написанное отсканированное решение, а можно скомпилировать pdf из теха или маркдауна.
Ещё можно вместо pdf-файла написать всё в ipynb.
Бонусов за сдачу домашки в техе нет. Пример [https://www.overleaf.com/read/qmrkwpzvmqbk шаблона].

Обратите внимание: '''время каждого дедлайна — 23:59'''.

=== Ведомость с оценками за ДЗ ===

{| class="wikitable" style="text-align:center"
|-
! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1872081500#gid=1872081500 235] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1374497930#gid=1374497930 236] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1183164252#gid=1183164252 237] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=408179311#gid=408179311 238] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1032422408#gid=1032422408 239] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1603236891#gid=1603236891 2310] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=791330236#gid=791330236 2311] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=23847300#gid=23847300 2312]
|}

[https://docs.google.com/spreadsheets/d/14hD7-SLmAA1omdkhPlt3blRHDHVGTDS8ZgvLWscvMz8/edit?usp=sharing Сводная ведомость всех оценок]

=== Контрольные работы и экзамен ===

Вес каждой задачи будет написан в тексте работы.
Задачи с ненаписанным по случайности весом имеют равный вес.
Для пропущенных по уважительной причине контрольных будет выделен один день для переписывания.
При пропуске дня переписывания, в том числе по уважительным причинам, ещё одного шанса не предоставляется.

<div class="mw-collapsible mw-collapsed" style="width:1000px; overflow: hidden;">

'''Контрольная работа 1''' состоится 2024-11-11 в 16:20, аудитории: R401, R305, R206, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_halloween_demo/exam_halloween_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/midterm/midterm-alpha.pdf условие с критериями и решениями].

'''Резервный день 1''' для пропустивших по уважительной причине состоится 2024-12-02 в 19:40, R405

'''Показ контрольной 1''':

* задачи 1, 2: заочно до 2024-12-08, [https://t.me/Moskchan Вероника]
* задачи 3, 4 [https://t.me/boris_demeshev Борис], очно, четверг, 2024-12-05, 18:10-21:00, G408
* задачи 5, 6 [https://t.me/XuMuK_MK Максим]: очно, четверг, 2024-12-05, 18:10-21:00, G408

'''Экзамен, модуль 2''' состоится '''''2024-12-24 в 10:00''''', аудитории R301, R304, R401, R404, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_winter_demo/exam_winter_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/december/pmi_probab_2024_december.pdf условие].

Если вы не хотите идти на экзамен, то заполните [https://forms.gle/UQzW77RrPvcdahG47 эту форму], чтобы получить ноль при неявке

'''Апелляция экзамена''':

* задачи 1, 2: заочно [https://t.me/goluba_yurieva Голуба], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/december/exam_problem_1-2.pdf решения и критерии 1, 2];
* задачи 3, 4: очно 2025-01-11, аудитория R408, 14:40-17:40 [https://t.me/madn_boi Никита], [https://www.overleaf.com/read/dnhjcdrndqps#42f1ab решения и критерии 3, 4];
* задачи 5, 6: заочно [https://t.me/levensons Илья]

* дедлайн по заочным апелляциям: суббота 23:59

[https://docs.google.com/spreadsheets/d/1mxMCr3IEDy8EPFWGkn3_dsghhPNcZICEw9C9o5ZoZvA/edit?usp=sharing Распределение по аудиториям]

Даты пересдач: 2025-01-28 в 18:10, 2025-02-03 в 18:10 и комиссия 2025-02-11 в 18:10.

* задачи 1, 2: [https://t.me/goluba_yurieva Голуба], задачи 3, 4: [https://t.me/madn_boi Никита], задачи 5, 6: [https://t.me/levensons Илья], апелляция пересдачи 2 до 21:00 2025-02-10.

</div>

'''Контрольная, модуль 3''' состоится 2025-02-22 в 16:20, аудитории R201, R204, R404, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_galileo_demo/exam_galileo_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_galileo/pmi_probab_galileo_exam_2024-2025.pdf условие].

[https://docs.google.com/spreadsheets/d/1LZA-7TDz_yYeVPRx4BpBWJnQKZ7wqPgHDrN-Z0SM68M/edit?usp=sharing Распределение по аудиториям]

'''Контрольная, модуль 3, резервный день''': 2025-03-07, пятница, 18:10, R204, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_galileo/pmi_probab_galileo_exam_2024-2025_retake.pdf условия]

[https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_galileo_sol/pmi_probab_galileo_exam_2024-2025_sol.pdf Комментарии по проверке], показ работ кр3:

* Задачи 1-2, заочно до 23 марта, [https://t.me/PlatonPromyslov Платон]
* Задачи 3-4, заочно до 23 марта, [https://t.me/Moskchan Вероника]
* Задачи 5-6, очно, [https://t.me/madn_boi Никита], понедельник 24 марта, 17:40-19:40 ('''обратите внимание на изменение времени'''), аудитория M203

'''Экзамен, модуль 3''' состоится '''2025-03-28''' в 14:40, аудитории R201, R301, R404, R405, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_delta_demo/exam_delta_demo.pdf демо], условие.

== Учебные материалы ==

[https://github.com/bdemeshev/probability_pro/raw/master/probability_pro.pdf PP]: Листки с задачами к курсу.

[https://github.com/bdemeshev/stochastic_pro/raw/main/stochastic_pro.pdf StoPro]: Stochastic process problems.

[https://github.com/bdemeshev/probability_dna/raw/master/probability_dna.pdf PDNA]: Вероятностная ДНК = вкусные задачи по теории вероятностей.

[https://disk.yandex.ru/d/LZ6d2VZVqYvbDQ Видео-летопись семинаров и лекций] и [https://hse.liferooter.dev/ конспект] от тайного благожелателя (updated 2024-10-23]

[https://disk.yandex.ru/d/IoakBXz_6yygPw Официальные видео]

[https://www.cambridgeinternational.org/Images/344616-list-of-formulae-and-statistical-tables.pdf Cambridge statistical tables]

== Дневник самурая ==

2024-09-02, лекция 1: Определение события. Определение случайной величины. Аксиомы вероятности. Определение математического ожидания для дискретного случая.
Линейность математического ожидания. Математическое ожидание как центр масс. Первое знакомоство с перестановочным тестом и p-значением.

Можно глянуть: главы 2.1 и 7 из [https://arxiv.org/pdf/1411.5279 WTSK], метод рычага [https://mathcircle.berkeley.edu/sites/default/files/archivedocs/2007_2008/lectures/0708lecturespdf/MassPointsBMC07.pdf в геометрии].

2024-09-09, лекция 2: Метод первого шага (вероятность выпадения HTH ранее HHT, ожидаемое количество шагов). Метод разложения случайной величины в сумму. Определение случайного вектора. Использование интерпретации ожидания как центра масс в геометрии. Определение теоретической медианы.

Можно глянуть: глава 2.7.2 из [https://projects.iq.harvard.edu/stat110/home BItP], три стратегии решения задачи за 10 минут [https://www.youtube.com/watch?v=xH89DaEI35w Visually Explained]

2024-09-16, лекция 3: Получение новой информации приводит к пересчёту вероятностей. Определение условной вероятности. Формула полной вероятности. Формула Байеса.
Условное математическое ожидание. Формула полного математического ожидания. Независимость пары событий. Независимость набора событий в совокупности.
Независимость величин: неформальное определение. Критерий независимости произвольных величин. Критерий независимости дискретных величин.

2024-09-23, лекция 4: Доказательство критерия независимости для дискретных случайных величин: из независимости {X=x} и {Y=y} следует независимость {X in A} и {Y in B}. Независимость величин равносильна E(f(X))E(g(Y))=E(f(X)g(Y)) для произвольных f, g. Определение биномиальной, геометрической (как числа неудач до 1го успеха) и отрицательной биномиальной случайной величины. Общая идея за производящими функциями: как из функции, производящей исходы эксперимента, с помощью производных и подстановок выудить индивидуальные вероятности, совместные вероятности, ожидания любой степени E(X^a), E(X^a Y^b). Формальное определение функции, производящей вероятности, и функцию, производящей моменты, для одной случайной величины и пары случайных величин. Метатеорема: все теоремы о дискретных величинах доказываются перестановкой слагаемых. Основные дискретные распределения: биномиальное, геометрическое, отрицательное биномиальное.

2024-09-30, лекция 5: Ещё дискретные законы распределения: гипергеометрическое. Описание закона распределения через равномерное распределение на подмножестве R^n.
Функция плотности как линейная часть вероятности попадания в отрезок. Равномерное распределение на отрезке. Смешанные случайные величины. LOTUS: нахождение ожидания любой функции от случайной величины для величин с функцией плотности и смешанных величин. Функция распределения. Квантильная функция.

2024-10-07, лекция 6: Две геометрии случайных величин и событий: E(XY) как скалярное произведение, Cov(X, Y) как скалярное произведение. Математическое ожидание — проекция в рамках геометрии, задаваемой E(XY). Определение и геометрический смысл дисперсии, стандартного отклонения, ковариации и корреляции. Неравенство Маркова. Неравенство Чебышёва. Неравенство Йенсена: интуитивный смысл.

2024-10-14, лекция 7: Доказательство неравенства Йенсена. Энтропия как минимальное ожидаемое число вопросов для отгадывания и формальное определение. Кросс-энтропия.
Доказательство того, что кросс-энтропия больше либо равна энтропии. Совместная энтропия. Условная энтропия. Формула H(X) + H(Y|X) = H(X, Y) без доказательства.
Вывод плотности экспоненциального распределения из предпосылки отсутствия памяти. Экспоненциальное распределение максимизирует энтропию при заданном ожидании и неотрицательности.

* Cristopher Olah, Visual Information Theory, https://colah.github.io/posts/2015-09-Visual-Information/

* Grand Sanderson, Solving Wordle using information theory, [https://www.youtube.com/watch?v=v68zYyaEmEA youtube].

* Artem Kirsanov, Key equation behind probability, [https://www.youtube.com/watch?v=KHVR587oW8I youtube]. У Артёма кросс-энтропия обозначена H(P, Q), а не CE(P||Q)).

* [https://exuberant-arthropod-be8.notion.site/1-02-09-5e107ea1c4054594b8f37d955db8a2b0 Конспект] аналогичной старой лекции псмо на русском.

* Keith Conrad, [https://kconrad.math.uconn.edu/blurbs/analysis/entropypost.pdf Maximal entropy] distributions.

2024-10-21, лекция 8: Ковариационная матрица и её свойства. Совместная функция плотности. Условная функция плотности. Критерий независимости в терминах функций плотности и распределения.
Связь индивидуальной и совместной функций плотности и функций распределения. Смена плотности при замене переменных: домножение на якобиан и неформально про дифференциальные формы. Формула свёртки.
Разложение совместной плотности для графической модели. Представление произвольной совместной функции распределения с помощью копулы.

* Про дифференциальные формы: [https://www.youtube.com/watch?v=PaWj0WxUxGg&list=PL22w63XsKjqzQZtDZO_9s2HEMRJnaOTX7 videos] by Michael Penn, [https://www.math.purdue.edu/~arapura/preprints/diffforms.pdf short intro] by Dony Arapura

* What is a convolution от [https://www.youtube.com/watch?v=KuXjwB4LzSA 3b1b]

* From graphical models to [https://www.youtube.com/watch?v=yBc01ZeaFxw&list=PLISXH-iEM4JlFsAp7trKCWyxeO3M70QyJ Probabilistic ML]

2024-11-11, лекция 9: Пуассоновский поток: аксиомы. Вывод пуассоновского распределения количества событий и экспоненциального времени между событиями из аксиом.
Сумма независимых пуассоновских потоков — это пуассоновский поток (половина доказательства). Вероятность того, что одна экспоненциальная величина будет меньше другой, независимой.

2024-11-18, лекция 10: Гамма-распределение как сумма нескольких экспоненциальных: вывод плотности через вероятность попадания в малый отрезок.
Обобщение плотности на случай положительного параметра $a$. Гамма-функция. Бета-распределение как отношение гамма-распределений. Бета-функция.

2024-11-25, лекция 11: Вывод нормального распределения из предпосылок Гаусса. Вывод нормального распределения из предпосылок Гершеля — Максвелла.

* Saul Stahl, The [https://www.researchgate.net/publication/255668423_The_Evolution_of_the_Normal_Distribution Evolution] of the Normal Distribution: вывод Гаусса с историей.

* Grand Sanderson, [https://www.youtube.com/watch?v=cy8r7WSuT1I Why pi] is in the normal? вывод Гершеля—Максвелла

* James Stein, [http://www-biba.inrialpes.fr/Jaynes/cc07s.pdf Normal Distribution]: глава про нормальное распределение (Гаусс, Гершель—Максвелл, Лэндон etc)

* William Herschel, [https://music.yandex.com/album/209394/track/2121214 концерт для габоя]

* William Herschel, [https://www.informationphilosopher.com/solutions/scientists/quetelet/Herschel_Quetelet_Probabilities.pdf On the theory of Probabilities]: вывод нормального распределения словами на стр. 189-191

2024-12-02, лекция 12: многомерное нормальное распределение. Функция плотности невырожденного многомерного нормального. Функция производящая моменты для многомерного нормального. Формула Иссерлиса с ненулевыми ожиданиями и доказательством. Условное распределение: вывод условного ожидания и условной дисперсии через разложение величины в сумму независимых.

* [https://stats.stackexchange.com/questions/30588/ альтернативный вывод] условного многомерного нормального распределения
* Хитрый [https://github.com/bdemeshev/lis-isserlis/raw/main/lis-isserlis.pdf лис Иссерлис]

2024-12-09, лекция 13: сходимость по распределению, центральная предельная теорема с доказательством подменой слагаемых.

* Calvin Chin [https://arxiv.org/pdf/2106.00871 CLT proof] by swapping
* [https://bdemeshev.github.io/teaching_notes/clt_by_swapping Пересказ доказательства]

2024-12-16, лекция 14: использование бесконечно малых при нахождении ожиданий, трюк с добавление параметра, трюк с закольцовыванием отрезка при равномерном распределении.

2025-01-13, лекция 15: Неединственность предела по распределению. Неаддитивность предела по распределению. Предел по вероятности. Закон больших чисел в слабой форме (с доказательством при дополнительной предпосылке о конечности дисперсии). Теорема о непрерывном отображении.

2025-01-20, лекция 16: два определение сходимости почти наверное с доказательством эквивалентности. Сходимость в Lp. Из сходимости в Lp при p>=1 следует сходимость по вероятности. Из сходимости почти наверное следует сходимость по вероятностям. Контр-пример к разнице сходимостей почти наверное и по вероятности. Контр-пример к разнице сходимостей в Lp и по вероятности. Усиленный закон больших чисел (без доказательства). Леммы Слуцкого (без доказательства).

2025-01-27, лекция 17: характеристические функции и их свойства. Вывод характеристической функции нормального стандартного распределения через дифференциальное уравнение. Характеристическая функция биномиального распредеделения. Второе доказательство ЦПТ (через характеристические функции).

* [https://web.ma.utexas.edu/users/gordanz/notes/characteristic.pdf Gordan Zitkovic]: characteristic functions
* [https://sas.uwaterloo.ca/~dlmcleis/s901/chapt6.pdf McLeish]: clt proof

2025-02-03, лекция 18: пример последовательности сходящийся по вероятности с ожиданием стремящимся к бесконечности. Критерий Кэлли. Критерий оптимальной остановки Брасса.

* [https://en.wikipedia.org/wiki/Kelly_criterion wikipedia]: Kelly criterion
* [https://projecteuclid.org/journalArticle/Download?urlId=10.1214%2Faop%2F1019160340 Bruss]: sum the odds to one and stop

2025-02-10 лекция 19: Сигма-алгебра порождённая случайной величиной или набором из нескольких случайных величин. Замкнутость относительно счётного количества операций с множествами. Сигма-алгебра. Объединение сигма-алгебр не всегда сигма-алгебра. Пересечение сигма-алгебр всегда сигма-алгебра. Измеримость суммы. Борелевская сигма-алгебра.

2025-02-18, лекция 20: [https://us06web.zoom.us/j/82685613040?pwd=bqJoXGItwNOOWddXj1flfmPmDn6fMQ.1 онлайн, 18:10]: разбор задач про сигма-алгебры для подготовки к контрольной. Условное математическое ожидание относительно сигма-алгебры: интуиция и формальное определение. Пример подсчёта в дискретном случае.

2025-02-24, лекция 21: Условное ожидание и дисперсия относительно сигма-алгебры со свойствами. Условная вероятность.

2025-03-03, лекция 22: Определение фильтрации. Определение момента остановки. Сигма-алгебра на момент остановки. Определение мартингала.
Формулировка теоремы [https://en.wikipedia.org/wiki/Optional_stopping_theorem Дуба об остановке мартингала]. Задача о макаке, печатающей слово "абракадабра".

2025-03-10, лекция 23: Два контр-примера к теореме дуба. Доказали теоремы Дуба для случая ограниченного момента времени. Тождество Вальда: формулировка и доказательство. Определение броуновского движения с явным упоминанием фильтрации и без. Ковариационная функция Cov(Ws, Wt).

2025-03-17, лекция 24: Преобразования винеровского процесса: масштабирование и инверсия. Закон распределения накопленного максимума. Закон распределения момента достижения заданного значения.

2025-03-24, лекция 25:

=== Семинары ===

==== 473 = 235 + 238 ====

2024-09-02, 06, семинар 1: задачи 1.1, 1.6, 3.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-09, 13, семинар 2: задачи 2.1, 2.3, 12.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-16, 20, семинар 3: задачи 7.12 и 7.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-23, 27, семинар 4: как извлечь P(X=3), E(X), E(X^2Y) из функции, производящей список исходов, 28.16 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-30, -10-04, семинар 5: 9.3в, 9.4, 9.7(абвд, кроме дисперсии, аргументы масштабирования и центра масс помимо интегралов), 9.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-10-07, 11, семинар 6: вычисление Cov, Var, Corr по табличке и из функции плотности, нахождение дисперсии для отрицательного биномиального распределения по свойствам.

2024-10-14, 18, семинар 7: вычисление энтропии геометрического распределения. Изменение энтропии при линейном преобразовании для дискретной величины и величины с функцией плотности.
Кросс-энтропия из экспоненциального в равномерное. Условная энтропия для дискретной таблички. Связь энтропии величины с функцией плотности и энтропия дискретной версии этой случайной величины после "огрубления" с малым шагом 1/k.

2024-10-21, -11-01, семинар 8: 16.18, 16.23 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], свёртка двух экспоненциальных величин

2024-11-11, 15, семинар 9: задачи на пуассоновский поток из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-11-18, 22, семинар 10: задачи на бета и гамма-распределение

2024-11-25, 29, семинар 11: задачи на нормальное распределение, 18.1, 18.2, 18.3, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-02, 06, семинар 12: задачи на многомерное нормальное: 24.16аб, 24.17аб, 24.18, 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-09, 13, семинар 13: ЦПТ и нормальное распределение: 20.2, 20.4, 18.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-19, семинар 14: разбор демо

2025-01-13, семинар 15: сходимость по вероятности: 20.1, 20.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-20, 24, семинар 16: связь между сходимостями, 20.11, 20.13 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-27, 31, семинар 17: 28.17, 28.18, 28.21 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-03, 07, семинар 18: 28.20аб, 28.22 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-10, 14, семинар 19: 6.2, 6.3, 6.11, измеримость произведения из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-18, 21, семинар 20: разбор демо

2025-02-24, 28, семинар 21: Условное математическое ожидание и условная дисперсия относительно сигма-алгебры в дискретном случае.
[https://github.com/bdemeshev/stochastic_pro/raw/main/stochastic_pro.pdf StoPro]: 8.22-8.25

2025-03-03, 10, семинар 22: доказали, что сигма алгебра, порождённая моментом остановки, лежит внутри сигма-алгебры событий на момент остановки.
Вероятность достижения границы -а раньше границы +b и среднее время достижения одной из этих границ для классического случайного блуждания.
Преобразование несимметричного случайного блуждание St в мартингал с помощью exp(alpha St).
[https://github.com/bdemeshev/stochastic_pro/raw/main/stochastic_pro.pdf StoPro]: 9.1, 9.3

2025-03-10, 14, семинар 23: решение двух классических задач с помощью мартингалов: [https://en.m.wikipedia.org/wiki/Bertrand%27s_ballot_theorem задача о голосовании], [https://math.dartmouth.edu/~pw/papers/gpdp.ps "следующая карта — красная"].

2025-03-17, 21, семинар 24: нахождение ожиданий и вероятностей E(W5W6 | W4), P(W1 > 0, W2 < 0); проверка мартингальности (Wt), (Wt^2 - t), (exp(aWt - a^2t/2)).

==== 236 ====

2024-09-06, семинар 1: в начале семинара рассмотрели основные понятия и определения для решения задач. Решили задачи 1.1, 1.6, 3.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-13, семинар 2: нашли ожидание случайной величины с геом. распределением. Решили задачи 2.1, 12.6, 12.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-09-20, семинар 3: решили задачи 7.12, 7.4(а), 7.7, 7.13(а) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-09-27, семинар 4: разобрали 7.13, почти разобрали 28.3 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Также рассмотрели один контрпример на независимость(тетраэдр Бернштейна).

2024-10-04, семинар 5: разобрались с определениями, решили 9.3(абв), 9.7(аб) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Решили задачку про три точки на отрезке и найти вероятность получить треугольник. Также вывели формулу для мат. ожидания неотрицательной величины через функцию распределения.

2024-10-14, семинар 6: обсудили дисперсию, ковариацию, коэффициент корреляции и их геометрический смысл. Решили задачу на оценку дисперсии ограниченной величины. посчитали дисперсию геометрического, биномиального. Посчитали дисперсию в задаче о письмах и конвертах.

???, семинар 7: определили энтропию, посчитали примеры для дискретных величин, для линейных преобразований. Доказали, что задача максимизации энтропии с фиксированной дисперсией достигается на нормальном распределении.

???, семинар 8: свертка двух экспоненциальных, 16.18 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

???, семинар 9: задачи на пуассоновский процесс из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

???, семинар 10: разбор кр.

???, семинар 11: разобрали задачи на нормальное распределение 18.1, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Также считали распределение суммы двух независимых нормальных.

==== 237 ====

2024-09-09, семинар 1: задачи 1.1, 2.2 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], вероятность что n ладей не бьют друг друга при случайной расстановке на шахматной доске n на n, матожидание числа треугольников в случайном графе на n вершинах через сумму индикаторов

2024-09-13, семинар 2: задачи 2.1, 2.6, 12.3, 12.6, 12.7 (без дисперсий) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-23, семинар 3: задачи 7.2, 7.13, 7.7, 7.8, плюс начали 7.15b (получили неверный ответ) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-27, семинар 4: дорешали 7.15b с небольшой демонстрацией на питоне, разобрали 28.2 для нечестной монетки плюс посчитали матожидание [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-10-04, семинар 5: задачи 9.1, 9.3абв, 9.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], философия про то почему бОльшая плотность не всегда означает бОльшую вероятность оказаться в окрестности данной точки (плотность может занимать слишком маленький объем)

2024-10-11, семинар 6: вспомнили определения Cov/Var/Corr, посчитали у пары дискретных величин по табличке вероятностей, посчитали дисперсию у биномиального, геометрического, непрерывного равномерного на отрезке.

2024-10-18, семинар 7: вычисление энтропии геометрического распределения; ограниченность энтропии снизу и сверху в дискретном случае; изменение энтропии при линейном преобразовании для дискретной величины и величины с функцией плотности; условная энтропия, KL дивергенция и кросс-энтропия, неотрицательность KL, интерпретация на пальцах с точки зрения теории информации.

2024-11-01, семинар 8: 16.18, 16.23 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], свёртка двух экспоненциальных величин

2024-11-08, семинар 9: решали пробный вариант КР

2024-11-15, семинар 10: 13.1, 13.2, 13.5, 13.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-11-22, семинар 11: разбор КР

2024-11-29, семинар 12: нормальное распределение, 18.1, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-06, семинар 13: многомерное нормальное распределение, изменение среднего и матрицы ковариаций при линейном преобразовании, 24.4а, 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-13, семинар 14: 24.4в из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], сходимости случайных величин, ЗБЧ и ЦПТ, 20.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-21, семинар 15: наследование сходимости, 20.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], плюс доказали предельную теорему Пуассона

2025-01-28, семинар 16: связь между сходимостями, 20.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], лемма Слуцкого, подмена дисперсии на выборочную дисперсию в ЦПТ

2025-02-04, семинар 17: базовые свойства хар функций, хар функция суммы независимых величин, 28.17, 28.20 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-18, семинар 18: вероятностное пространство в общем случае, сигма-алгебры, борелевская сигма-алгебра, сигма-алгебра порожденная случайной величиной, измеримость случайной величины относительно сигма-алгебры, 6.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], задачи на сигма алгебры из пробника КР

2025-02-25, семинар 19: условное матожидание относительно сигма алгебры, условное матожидание и дисперсия относительно случайной величины, закон полного матожидания и закон полной дисперсии, 22.1, 22.3, 22.5абв из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-03-04, семинар 20: показали, что условное матожидание минимизирует среднеквадратичный риск; нашли условное матожидание и условную дисперсию в 22.6 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], нашли E[X | X^2] для симметричного равномерного распределения, нашли E[X_1 | X_1 + ... + X_n] для набора i.i.d. величин, нашли E[Y] и Var(Y) для Y|X имеющего экспоненциальное распределение с параметром X

2025-03-11, семинар 21: мартингалы, момент остановки, теорема Дуба об остановке, задача о разорении игрока для честного и нечестного казино, вероятность выигрыша и вероятность разорения

2025-03-11, семинар 22: матожидание времени до момента остановки в задаче о разорении игрока, теорема Бертрана о выборах

==== 239 ====

2024-09-03, семинар 1: задачи 1.1, 1.4, пытались 1.8 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Ещё успели посчитать вероятность N=k бросков монеты до выпадения первого орла, матожидание N. И ещё сделали то же для количества бросков до выпадения 3 орлов (не в серии).

2024-09-10, семинар 2: доказали формулу включения-исключения, решили несложную задачу, порешали 2.7 задачи типа 12.*

2024-09-17, семинар 3: Решили две прямых задачи на формулу Байеса и формулу полной вероятности (без большого количества вычислений). Решили задачу поиска вероятности неисправного кофе-автомата из 3 при условии, что бросили деньги в 1 и 2 и их зажевало. Ещё нашли вероятность, что мяч будет у игрока 3 после шага 10 (все садятся в круг и на каждом шаге бросают мяч соседу с вероятностью 0.3 и оставляют у себя с вероятностью 0.4).

2024-09-24, семинар 4: Вспомнили про метод первого шага, используя формулу полной вероятности и введя в некотором виде формулу полного матожидания, записали формулу для вероятностей нахождения в состоянии i через произведение переходной матрицы на вектор. Совсем немного начали производящие функции, но решили не считать 31ю производную многочлена.

2024-10-01, семинар 5: Исследуем дискретные случайные величины (Биномиальная, Геометрическая и разные похожие) с использованием техник вычислений моментов через производящую функцию. Задачи на распределения величин, посчитанных по набору величин. Первая большая задача про плотность.

2024-10-08, семинар 6: разминочная про плотность и функцию распределения. Считаем дисперсию, ковариацию и корреляцию по 2x2 таблице и в равномерном распределении на круге и квадрате [-1,1]х[-1,1].

2024-10-15, семинар 7: пара задач про экспоненциальное распределение, расчёты по теории информации(считаем всякое, чтобы привыкнуть).

2024-10-22, семинар 8: письменные источники не сохранились до наших дней. Согласно преданиям, оьсуждали двери и около контрольной. Говорят, ввели пуассоновский процесс.

2024-???, семинар 9: решаем задачи на пуассоновское в разных формах и обсуждаем омалые в порядковых статистиках.

2024-???, семинар 10: учимся интерпретироввть гауссовское, пользоваться таблицами для функции Лапласа, а также немного работать с многомерным гауссовским.

2024-3-12, семинар 11: Копаем во все стороны многомерное гауссовское: считаем вероятности для линейных комбинаций гауссовских, проверяем зависимость, вычисляем условные законы, матожидания и ковариационные матрицы, вспоминаем спектральное разложение и разложение Холецкого.

==== 2311 ====

2024-09-06, семинар 1: вероятностное пространство, вероятность на нем, вероятность события, случайная величина и ее распределение (индикатор события, сумма двух кубиков, число бросаний монетки до первого орла), матожидание случайной величины (индикатор, один кубик, два кубика), линейность матожидания. Задачи на линейность матожидания, в том числе ЕГЭшная задача про турнир, 1.5, 3.5 с допвопросом о матожидании числа совпадений. Разговор о получении события произвольной вероятности монеткой в контексте 1.8

2024-09-13, семинар 2: Повторили матожидание суммы на примере 12.3. Обсудили условную вероятность и формулу полной вероятности, условное матожидание, решили задачи на метод первого шага 2.1, 2.3, 2.7.

2024-09-20, семинар 3: Условная вероятность, формула полной вероятности, формула Байеса: 7.1, классическая задача про болезни и тесты, простейшие задачки на общее понимание, обсуждение двух подходов: вычисления условной вероятности по формуле и составления нового вероятностного пространства и подсчет вероятности в нем. Независимые события (события "пики" и "дама" в обычной колоде и колоде с джокерами), независимые в совокупности события, построили пример попарно независимых, но не независимых в совокупности. Обсудили биномиальное распределение. решили задачу: "в корабле к отсеков, чтобы корабль затонул, нужно поразить 2. Независимо выпускают n ракет, каждая из которых поражает случайный отсек с вероятностью p. Найти вероятность потопления корабля"

2024-09-20, семинар 4: Примеры одинаково распределенных зависимых СВ, независимые СВ. Производящая функция и ее свойства. Посчитали для биномиального производящую функцию и второй момент. Обсудили, что будет меняться в случае функции, производящей моменты. Обсудили функцию, производящую множество исходов, как из нее доставать уже известные функции, как ее искать на примере бросания монетки до выпадания HT

2024-10-11, семинар 5: Составили табличку стандартных дискретных распределений, посчитали матожидание геометрического, обсудили дисперсию и ковариацию и их свойства (в дискретном случае), досчитали дисперсии основных распределений. Обсудили вероятностное пространство в общем случае, понятие СВ в общем случае. Дали определение ФР, посчитали ФР для явно заданной СВ. Дали определение плотности.

2024-10-12, семинар 6: Обсудили свойства ФР, как считать вероятность попадания в промежуток в терминах ФР. Выразили ФР 1/X, cos X. Обсудили как выражается веротяность попадания в множество через плотность. для 1/Х выразили плотность в случае абсолютной непрерывности Х. Обсудили формулу для МО в общем виде через интеграл Стильтьеса и как вычислять МО для функции, разлагающейся в сумму абсолютно нерпрерывной и функции скачков, посчитали МО для пары таких СВ

2024-10-18, семинар 7: Обсудили геометрию, заданную скалярным произведением EXY и cov(X,Y), поиск ортогонального элемента и проекции. Посчитали энтропию и кросс-энтропию в дискретном и непрерывном случаях, посчиали совместную и условную энтропию в дискретном случае (23.2, 23.4, 23.9)

2024-11-01, семинар 9: Совместная плотность и ф.р., подсчет вероятностей, маргинальные плотности, замена переменной через якобиан, свертка, матожидание

2024-11-09, семинар 10: Условная плотность, формула условной вероятности. Задача на восстановление маргинальной плотности по условной. Разбор задач из "Летучей мыши"

2024-11-19, семинар 11: Разбор контрольной работы

2024-11-22, семинар 12: Пуассоновский поток - решали задачки из задачника

2024-11-29, семинар 13: Нормальное распределение - задачи из PP, повторили функцию, порождающую моменты, обсудили ее свойства в абсолютно непрерывном случае

2024-12-06, семинар 14: Многомерное нормальное - обсудили два определения, связь между ними, независимость элементов нормального вектора при нулевой ковариации и почему это неверно для произвольных нормальных. порешали задачи 24.9а, 24.10, 24.17

2024-12-013, семинар 15: ЦПТ, решали задачи из задачника

2025-01-17, семинар 16: Сходимости почти наверное и по вероятности, связь со сходимостью по распределению. Посмотрели стандартные контрпримеры, показали, что если есть сходимость по распределению к константе, то есть и по вероятности. ЗБЧ Чебышева и Хинчина, УЗБЧ Колмогорова, обсудили 20.1 сколько успели.

2025-01-24, семинар 17: Сходимость в L_p, связи между сходимостями. Задача 20.11

2025-01-24, семинар 18: Характеристические функции и их свойства. Посчитали хар функции для равномерного, Бернулли, биномиального, Пуассона, экспоненциального. Показали, чо сумма нормальных нормальна. По функции пытались понять, может ли она быть характеристической и восстанавливали с.в.

==== 2310, 2312 ====

2024-09-06, семинар 1: задача 1.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Определили вероятностное пространство в виде тройки, множество исходов рассматривали конечное и счётное. Решили 3 счётные задачи на комбинаторику про колоды карт и счетные последовательности цифр. Привели геометрическое и аналитическое решения задачи про нахождение предела последовательности вероятностей. В конце нашли математическое ожидание геометрически распределённой случайной величины.

2024-09-13, семинар 2: задача 2.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Задача на упорядоченные и неупорядоченные наборы. Задача про классическое вероятностное пространство и про пространство с неравновероятными исходами. Разобрали парадокс Монти Холла. Ввели понятия условной вероятности и независимых случайных величин. Сформулировали и обсудили идеи доказательств трёх теорем: теорема умножения вероятностей, формула полной вероятности и формула Байеса.

2024-09-20, семинар 3: Решили задачу на определение условной вероятности. Обсудили парадокс теоремы Байеса на примере задачи про редкое заболевание, а также посмотрели простую программу на Python, которая считает вероятность в зависимости от количества проведенных тестов на заболевание. Обсудили условное математическое ожидание, некоторые его свойства и рассмотрели пример с подбрасыванием кубика. В конце решили задачу на парадокс дней рождений.

2024-09-27, семинар 4: Обсудили коллизии хеш-функций и связь с атакой "дней рождений". Определили независимость или зависимость случайных величин в четырёх разных вариантах. Обсудили, что неверно утверждать, что матожидание частного независимых случайных величин равно частному матожиданий, также привели пример использования подобного факта в некоторых статьях. В конце решили задачу на поиск функции производящей исходы, а также нашли E(X), E(Y^2), E(XY) с помощью найденной функции.

2024-10-04, семинар 5: Решили две простые задачи на условную вероятность и на теорему об умножении вероятностей. Обсудили связь дерева событий с условной вероятностью и теоремой об умножении вероятностей. Нашли производящую функцию моментов для геометрически распределенной случайной величины и с помощью нее нашли матожидание. Нашли производящую функцию моментов и матожидание суммы случайного количества н.о.р случайных величин.

2024-10-11, семинар 6: Привели аналогии между дискретными и непрерывными случайными величинами. Нарисовали графики функций от случайных величин. Вспомнили определение и свойства дисперсии. Решили простую задачу на подсчет дисперсии и нашли дисперсию геометрически распределенной случайной величины. Обсудили, когда может быть матожидание и дисперсия бесконечны. Далее вспомнили неравенства Маркова и Чебышева, вывели следствия и решили 3 задачи на применение этих неравенств. Обсудили, что неравенство Маркова может давать как точную оценку, так и очень слабую. Показали, что неотрицательность случайной величины в неравенстве Маркова является существенным условием.

2024-10-11, семинар 7: Повторили понятия энтропии в битах и натах, а также понятие дифференциальной энтропии. Нашли энтропию в схеме Бернулли и энтропии геометрического и экспоненциального распределений. Доказали простую оценку сверху для энтропии случайной величины, имеющей конечный носитель мощности n.

2024-11-1, семинар 8: Разобрали демо-вариант контрольной работы "Тыква".

2024-11-8, семинар 9: Разобрали демо-вариант контрольной работы "Летучая мышь".

2024-11-15, семинар 10: Понятие случайного процесса. Определение пуассоновского процесса, его свойства. Три простые задачи на пуассоновское распределение. Задачи 13.1 и 13.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-11-22, семинар 11: Определения Бета-функции и Гамма-функции. Бета и Гамма распределения, их функции плотности и графики. Нахождение моды случайных величин, имеющих Бета и Гамма распределения. Связь пуассоновского процесса с Гамма распределением. В конце нашли производящую функцию моментов Гамма распределения.

2024-11-29, семинар 12: Задачи 18.1, 18.2 и 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-12-06, семинар 13: Нашли многомерное нормальное распределение по виду функции плотности (константа на экспоненту с квадратичным показателем). С помощью формулы Иссерлиса нашли матожидания произведений различных или одинаковых случайных величин, имеющих многомерное нормальное распределение. Нашли условную вероятность многомерного распределения. Задача 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-12-13, семинар 14: Повторили определение сходимости по распределению и центральную предельную теорему. Решили задачи 20.2 и 20.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

== Источники ==

Источники мудрости, которые я постарался не замутить :)

[https://arxiv.org/pdf/1411.5279 WTSK]: Tim Hesterberg, What Teachers Should Know About the Bootstrap: вкусное и доступное изложение бутстрэпа и перестановочных тестов.

[https://projects.iq.harvard.edu/stat110/home BItP]: Blitzstein, Hwang, Introduction to Probability: учебник, записи лекций, гарвардский курс.

Теория вероятностей 2024/25 (основной поток)

2025-03-19T14:56:03Z

Nmorozov:

= Преподаватели и учебные ассистенты =

{| class="wikitable" style="text-align:center"
|-
! Группа !! БПМИ235 !! БПМИ236 !! БПМИ237 !! БПМИ238 !! БПМИ239 !! БПМИ2310 !! БПМИ2311 !! БПМИ2312
|-
|| Лектор ||colspan="11"| [https://t.me/boris_demeshev Борис Демешев]
|-
|| Семинарист || [https://t.me/boris_demeshev Борис Демешев] || [https://t.me/levensons Илья Левин] || [https://t.me/madn_boi Никита Морозов] || [https://t.me/boris_demeshev Борис Демешев] || [https://t.me/XuMuK_MK Максим Каледин] || [https://t.me/goluba_yurieva Голуба Юрьева] || [https://t.me/Moskchan Вероника Владыкина] || [https://t.me/goluba_yurieva Голуба Юрьева]
|-
|| Ассистент || [https://t.me/nerhneiro Ира Скворцова] || [https://t.me/a_ameli_ig Амелия Алаева] || [https://t.me/htual Алина Бадахова] || [https://t.me/adelyagaraeva Аделя Гараева] || [https://t.me/mabrielka Мария Брель] || [https://t.me/zm_ann Анна Зыкова-Мызина] || [https://t.me/Yanlightv Яна Вежновец] || [https://t.me/nol_erk Кирилл Лавриненко]
|-
|| Ассистент курса ||colspan="11"| [https://t.me/Nick_Volya Никита Волянский]
|}

== Цели и задачи курса ==

侍には目標がなく道しかない [Samurai niwa mokuhyō ga naku michi shikanai]

У самурая нет цели и ничего кроме пути.

Вероятный план:
<div class="mw-collapsible mw-collapsed" style="width:1000px; overflow: hidden;">
1. Дискретное вероятностное пространство. Вероятность, математическое ожидание, теоретическая медиана.
Перестановочные тесты, p-значение для перестановочного теста.
Математическое ожидание = центр масс.

NB: здесь сходу рисуем дерево
NB: здесь нет задач на условную вероятность

!предупреждение об обозначениях случайных величин.
Российская традиция — греческие буквы, американская традиция — заглавные английские буквы.
Наш курс: любые буквы. Причина: теория вероятностей применяется в разных областях, где свои традиции.

NB: Способы вычисления вероятностей и ожиданий:
* полный перебор руками
* примерные вычисления руками
* полный перебор на компьютере
* симуляции на компьютере
* ...

2.
Методы решения задач:
* разложение величины в сумму
* метод первого шага
!идея: позиция в игре имеет цену
* just for fun: метод рычага в геометрии через ожидание
NB: рассказать здесь про комплексную случайную величину
NB: по сути здесь мы уже решаем задачи на марковские цепи не говоря страшных определений
LOTUS.

3. Условная вероятность и условное ожидание.
!идея: зануляем вероятности невозможных событий, а остальные — масштабируем.
формула полной вероятности
!идея: дерево "помнит" формулу полной вероятности
формула Байеса

Независимые события.
Независимые случайные величины.

4.
Методы решения задач:
* производящие функции многих переменных
функция как способ записать множество
HTT vs TTH
ABRACADABRA
!разложение по биномиальной формуле

?: можно здесь успеть функцию производящую моменты

5.
Биномиальное распределение.
Геометрическое и гипергеометрическое распределения.
Отрицательное биномиальное распределение.

6.
Равномерное распределение на множестве в R^n
Функция распределения.
Функция плотности и вероятностная дифференциальная форма.
!пояснение про неудачную традиционную терминологию "непрерывная случайная величина"
величина с функцией плотности, величина с непрерывной функцией распределения.

Квантили, квантильная функция.

7. Характеристики случайных величин и неравенства.
Дисперсия.
Энтропия.
Неравенство Маркова.
Неравенство Чебышёва.
Неравенство Йенсена.

Здесь конец модуля 1 и КР-1!

8. Пуассоновский поток.
Аксиомы пуассоновского потока.
Вывод экспоненциального распределения и пуассоновского распределения из аксиом.
Вывод экспоненциального распределения из предпосылки об отсутсвии памяти.

9. Нормальное распределение.
Нормальное распределение: предпосылки Хершела-Максвелла.
Нормальное распределение: аргументация Гаусса за среднее арифметическое.
Нормальное распределение: предпосылки Лэндона (до уравнения в частных производных).

10. Классические непрерывные распределения.

Гамма-распределение, бета-распределение.
Вывод нормального и экспоненциального распредений как минимизации энтропии.

11. Парные характеристики случайных величин.
Наилучшая линейная аппроксимация.
Ковариация.
Корреляция.
Кросс-энтропия.

Доказательство E(XY) = E(X) E(Y) для дискретных.
Ковариационная матрица и ожидание для случайных векторов.

12. Совместная и условная функция плостности.
Преобразования случайных величин.

13. Функция производящая моменты и характеристическая функция.
Распределение суммы случайного количества случайных величин.
Случайный выбор слагаемых.

14. Финансовые приложения

Оценивание опционов на биномиальном дереве.
Максимизация долгосрочной прибыли, связь с энтропией.
Возможно, индексы Гиттинса.

Здесь конец модуля 2 и КР-2

15. Сигма-алгебры.

Список известных величин как способ описания информации.
Идея условного ожидания как оптимального прогноза.
Сигма-алгебра как способ описания информации.
Измеримость случайной величины относительно сигма-алгебры.
Сигма-алгебра как ОДЗ для вероятности.
Борелевская сигма-алгебра.
Независимые случайные величины второе определение.

16. Условное математическое ожидание.
Условная дисперсия.
Сумма случайного количества случайных величин.

17. Сходимости случайных величин.

Сходимость по вероятности.
Закон больших чисел.
Сходимость почти наверное.
Усилинный закон больших чисел.
Сходимость по распределению.

18. Связь сходимостей.
Лемма Слуцкого.

19. Центральная предельная теорема.
Доказательство через подмену слагаемых.
Доказательство через характеристические функции.

Здесь контрольная.

20. Винеровский процесс
Условные ожидания, инверсия.

21. Байесовский подход к оцениванию параметров

Балансовое уравнение. Идея MCMC.

22. Доказательства свойств меры

23. Алгоритм построения математического ожидания в общем случае.
Лемма Фату.
Теорема о мажорируемой сходимости.
Теорема о монотонной сходимости.

24. Резерв.

Жемчужинки, которые, вероятно, не успеем:

А. Методы решения задач:
подсчёт случаев с помощью леммы Бернсайда и теоремы Пойа о перечислении
(Burnside lemma, PET = Polya Enumeration Theorem)

B. вероятностные доказательства детерминистических теорем

</div>

== Оценивание ==

Оценка за семестр-1 = 0.2 Домашние задания семестра-1 + 0.4 Контрольная-Альфа + 0.4 Экзамен-Бета.

Финальная оценка за курс = 0.5 Оценка за семестр-1 + 0.1 Домашние задания семестра-2 + 0.2 Контрольная-Гамма + 0.2 Экзамен-Дельта.

Каждая оценка (суммарные итоги за домашние задания, контрольные, экзамены) — целое число от 0 до 100.
Для перевода в 10-балльную шкалу промежуточной оценки за семестр-1 и финальной оценки используется деление на 10
с арифметическим округлением. Например, если Максим получил "оценку за семестр-1" 65 баллов, то в ведомость за первый семестр идёт 7, а далее в формуле финальной оценки за курс используется 65.

=== Домашние задания для самураев ===

Домашние задания [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/home_assignments/home_assignments.pdf одним файлом] и [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/blob/main/home_assignments/ отдельными файлами].
Домашние задания имеют равный вес.
В конце каждой лекции (за исключением ближайших к экзамену лекций)
выдается домашнее задание сроком на две недели.
Дедлайн жёсткий, однако студент имеет право просрочить три домашних задания на неделю каждое без штрафа.

Формат сдачи ДЗ: один pdf-файл (решение текстовых задач) и один ipynb-файл (решение компьютерных задач).
В pdf-файл можно поместить аккуратно написанное отсканированное решение, а можно скомпилировать pdf из теха или маркдауна.
Ещё можно вместо pdf-файла написать всё в ipynb.
Бонусов за сдачу домашки в техе нет. Пример [https://www.overleaf.com/read/qmrkwpzvmqbk шаблона].

Обратите внимание: '''время каждого дедлайна — 23:59'''.

=== Ведомость с оценками за ДЗ ===

{| class="wikitable" style="text-align:center"
|-
! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1872081500#gid=1872081500 235] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1374497930#gid=1374497930 236] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1183164252#gid=1183164252 237] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=408179311#gid=408179311 238] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1032422408#gid=1032422408 239] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1603236891#gid=1603236891 2310] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=791330236#gid=791330236 2311] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=23847300#gid=23847300 2312]
|}

[https://docs.google.com/spreadsheets/d/14hD7-SLmAA1omdkhPlt3blRHDHVGTDS8ZgvLWscvMz8/edit?usp=sharing Сводная ведомость всех оценок]

=== Контрольные работы и экзамен ===

Вес каждой задачи будет написан в тексте работы.
Задачи с ненаписанным по случайности весом имеют равный вес.
Для пропущенных по уважительной причине контрольных будет выделен один день для переписывания.
При пропуске дня переписывания, в том числе по уважительным причинам, ещё одного шанса не предоставляется.

<div class="mw-collapsible mw-collapsed" style="width:1000px; overflow: hidden;">

'''Контрольная работа 1''' состоится 2024-11-11 в 16:20, аудитории: R401, R305, R206, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_halloween_demo/exam_halloween_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/midterm/midterm-alpha.pdf условие с критериями и решениями].

'''Резервный день 1''' для пропустивших по уважительной причине состоится 2024-12-02 в 19:40, R405

'''Показ контрольной 1''':

* задачи 1, 2: заочно до 2024-12-08, [https://t.me/Moskchan Вероника]
* задачи 3, 4 [https://t.me/boris_demeshev Борис], очно, четверг, 2024-12-05, 18:10-21:00, G408
* задачи 5, 6 [https://t.me/XuMuK_MK Максим]: очно, четверг, 2024-12-05, 18:10-21:00, G408

'''Экзамен, модуль 2''' состоится '''''2024-12-24 в 10:00''''', аудитории R301, R304, R401, R404, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_winter_demo/exam_winter_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/december/pmi_probab_2024_december.pdf условие].

Если вы не хотите идти на экзамен, то заполните [https://forms.gle/UQzW77RrPvcdahG47 эту форму], чтобы получить ноль при неявке

'''Апелляция экзамена''':

* задачи 1, 2: заочно [https://t.me/goluba_yurieva Голуба], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/december/exam_problem_1-2.pdf решения и критерии 1, 2];
* задачи 3, 4: очно 2025-01-11, аудитория R408, 14:40-17:40 [https://t.me/madn_boi Никита], [https://www.overleaf.com/read/dnhjcdrndqps#42f1ab решения и критерии 3, 4];
* задачи 5, 6: заочно [https://t.me/levensons Илья]

* дедлайн по заочным апелляциям: суббота 23:59

[https://docs.google.com/spreadsheets/d/1mxMCr3IEDy8EPFWGkn3_dsghhPNcZICEw9C9o5ZoZvA/edit?usp=sharing Распределение по аудиториям]

Даты пересдач: 2025-01-28 в 18:10, 2025-02-03 в 18:10 и комиссия 2025-02-11 в 18:10.

* задачи 1, 2: [https://t.me/goluba_yurieva Голуба], задачи 3, 4: [https://t.me/madn_boi Никита], задачи 5, 6: [https://t.me/levensons Илья], апелляция пересдачи 2 до 21:00 2025-02-10.

</div>

'''Контрольная, модуль 3''' состоится 2025-02-22 в 16:20, аудитории R201, R204, R404, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_galileo_demo/exam_galileo_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_galileo/pmi_probab_galileo_exam_2024-2025.pdf условие].

[https://docs.google.com/spreadsheets/d/1LZA-7TDz_yYeVPRx4BpBWJnQKZ7wqPgHDrN-Z0SM68M/edit?usp=sharing Распределение по аудиториям]

'''Контрольная, модуль 3, резервный день''': 2025-03-07, пятница, 18:10, R204, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_galileo/pmi_probab_galileo_exam_2024-2025_retake.pdf условия]

[https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_galileo_sol/pmi_probab_galileo_exam_2024-2025_sol.pdf Комментарии по проверке], показ работ кр3:

* Задачи 1-2, заочно до 23 марта, [https://t.me/PlatonPromyslov Платон]
* Задачи 3-4, заочно до 23 марта, [https://t.me/Moskchan Вероника]
* Задачи 5-6, очно, [https://t.me/madn_boi Никита], понедельник 24 марта, 16:20-19:30, аудитория M203

'''Экзамен, модуль 3''' состоится '''2025-03-28''' в 14:40, аудитории R201, R301, R404, R405, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_delta_demo/exam_delta_demo.pdf демо], условие.

== Учебные материалы ==

[https://github.com/bdemeshev/probability_pro/raw/master/probability_pro.pdf PP]: Листки с задачами к курсу.

[https://github.com/bdemeshev/stochastic_pro/raw/main/stochastic_pro.pdf StoPro]: Stochastic process problems.

[https://github.com/bdemeshev/probability_dna/raw/master/probability_dna.pdf PDNA]: Вероятностная ДНК = вкусные задачи по теории вероятностей.

[https://disk.yandex.ru/d/LZ6d2VZVqYvbDQ Видео-летопись семинаров и лекций] и [https://hse.liferooter.dev/ конспект] от тайного благожелателя (updated 2024-10-23]

[https://disk.yandex.ru/d/IoakBXz_6yygPw Официальные видео]

[https://www.cambridgeinternational.org/Images/344616-list-of-formulae-and-statistical-tables.pdf Cambridge statistical tables]

== Дневник самурая ==

2024-09-02, лекция 1: Определение события. Определение случайной величины. Аксиомы вероятности. Определение математического ожидания для дискретного случая.
Линейность математического ожидания. Математическое ожидание как центр масс. Первое знакомоство с перестановочным тестом и p-значением.

Можно глянуть: главы 2.1 и 7 из [https://arxiv.org/pdf/1411.5279 WTSK], метод рычага [https://mathcircle.berkeley.edu/sites/default/files/archivedocs/2007_2008/lectures/0708lecturespdf/MassPointsBMC07.pdf в геометрии].

2024-09-09, лекция 2: Метод первого шага (вероятность выпадения HTH ранее HHT, ожидаемое количество шагов). Метод разложения случайной величины в сумму. Определение случайного вектора. Использование интерпретации ожидания как центра масс в геометрии. Определение теоретической медианы.

Можно глянуть: глава 2.7.2 из [https://projects.iq.harvard.edu/stat110/home BItP], три стратегии решения задачи за 10 минут [https://www.youtube.com/watch?v=xH89DaEI35w Visually Explained]

2024-09-16, лекция 3: Получение новой информации приводит к пересчёту вероятностей. Определение условной вероятности. Формула полной вероятности. Формула Байеса.
Условное математическое ожидание. Формула полного математического ожидания. Независимость пары событий. Независимость набора событий в совокупности.
Независимость величин: неформальное определение. Критерий независимости произвольных величин. Критерий независимости дискретных величин.

2024-09-23, лекция 4: Доказательство критерия независимости для дискретных случайных величин: из независимости {X=x} и {Y=y} следует независимость {X in A} и {Y in B}. Независимость величин равносильна E(f(X))E(g(Y))=E(f(X)g(Y)) для произвольных f, g. Определение биномиальной, геометрической (как числа неудач до 1го успеха) и отрицательной биномиальной случайной величины. Общая идея за производящими функциями: как из функции, производящей исходы эксперимента, с помощью производных и подстановок выудить индивидуальные вероятности, совместные вероятности, ожидания любой степени E(X^a), E(X^a Y^b). Формальное определение функции, производящей вероятности, и функцию, производящей моменты, для одной случайной величины и пары случайных величин. Метатеорема: все теоремы о дискретных величинах доказываются перестановкой слагаемых. Основные дискретные распределения: биномиальное, геометрическое, отрицательное биномиальное.

2024-09-30, лекция 5: Ещё дискретные законы распределения: гипергеометрическое. Описание закона распределения через равномерное распределение на подмножестве R^n.
Функция плотности как линейная часть вероятности попадания в отрезок. Равномерное распределение на отрезке. Смешанные случайные величины. LOTUS: нахождение ожидания любой функции от случайной величины для величин с функцией плотности и смешанных величин. Функция распределения. Квантильная функция.

2024-10-07, лекция 6: Две геометрии случайных величин и событий: E(XY) как скалярное произведение, Cov(X, Y) как скалярное произведение. Математическое ожидание — проекция в рамках геометрии, задаваемой E(XY). Определение и геометрический смысл дисперсии, стандартного отклонения, ковариации и корреляции. Неравенство Маркова. Неравенство Чебышёва. Неравенство Йенсена: интуитивный смысл.

2024-10-14, лекция 7: Доказательство неравенства Йенсена. Энтропия как минимальное ожидаемое число вопросов для отгадывания и формальное определение. Кросс-энтропия.
Доказательство того, что кросс-энтропия больше либо равна энтропии. Совместная энтропия. Условная энтропия. Формула H(X) + H(Y|X) = H(X, Y) без доказательства.
Вывод плотности экспоненциального распределения из предпосылки отсутствия памяти. Экспоненциальное распределение максимизирует энтропию при заданном ожидании и неотрицательности.

* Cristopher Olah, Visual Information Theory, https://colah.github.io/posts/2015-09-Visual-Information/

* Grand Sanderson, Solving Wordle using information theory, [https://www.youtube.com/watch?v=v68zYyaEmEA youtube].

* Artem Kirsanov, Key equation behind probability, [https://www.youtube.com/watch?v=KHVR587oW8I youtube]. У Артёма кросс-энтропия обозначена H(P, Q), а не CE(P||Q)).

* [https://exuberant-arthropod-be8.notion.site/1-02-09-5e107ea1c4054594b8f37d955db8a2b0 Конспект] аналогичной старой лекции псмо на русском.

* Keith Conrad, [https://kconrad.math.uconn.edu/blurbs/analysis/entropypost.pdf Maximal entropy] distributions.

2024-10-21, лекция 8: Ковариационная матрица и её свойства. Совместная функция плотности. Условная функция плотности. Критерий независимости в терминах функций плотности и распределения.
Связь индивидуальной и совместной функций плотности и функций распределения. Смена плотности при замене переменных: домножение на якобиан и неформально про дифференциальные формы. Формула свёртки.
Разложение совместной плотности для графической модели. Представление произвольной совместной функции распределения с помощью копулы.

* Про дифференциальные формы: [https://www.youtube.com/watch?v=PaWj0WxUxGg&list=PL22w63XsKjqzQZtDZO_9s2HEMRJnaOTX7 videos] by Michael Penn, [https://www.math.purdue.edu/~arapura/preprints/diffforms.pdf short intro] by Dony Arapura

* What is a convolution от [https://www.youtube.com/watch?v=KuXjwB4LzSA 3b1b]

* From graphical models to [https://www.youtube.com/watch?v=yBc01ZeaFxw&list=PLISXH-iEM4JlFsAp7trKCWyxeO3M70QyJ Probabilistic ML]

2024-11-11, лекция 9: Пуассоновский поток: аксиомы. Вывод пуассоновского распределения количества событий и экспоненциального времени между событиями из аксиом.
Сумма независимых пуассоновских потоков — это пуассоновский поток (половина доказательства). Вероятность того, что одна экспоненциальная величина будет меньше другой, независимой.

2024-11-18, лекция 10: Гамма-распределение как сумма нескольких экспоненциальных: вывод плотности через вероятность попадания в малый отрезок.
Обобщение плотности на случай положительного параметра $a$. Гамма-функция. Бета-распределение как отношение гамма-распределений. Бета-функция.

2024-11-25, лекция 11: Вывод нормального распределения из предпосылок Гаусса. Вывод нормального распределения из предпосылок Гершеля — Максвелла.

* Saul Stahl, The [https://www.researchgate.net/publication/255668423_The_Evolution_of_the_Normal_Distribution Evolution] of the Normal Distribution: вывод Гаусса с историей.

* Grand Sanderson, [https://www.youtube.com/watch?v=cy8r7WSuT1I Why pi] is in the normal? вывод Гершеля—Максвелла

* James Stein, [http://www-biba.inrialpes.fr/Jaynes/cc07s.pdf Normal Distribution]: глава про нормальное распределение (Гаусс, Гершель—Максвелл, Лэндон etc)

* William Herschel, [https://music.yandex.com/album/209394/track/2121214 концерт для габоя]

* William Herschel, [https://www.informationphilosopher.com/solutions/scientists/quetelet/Herschel_Quetelet_Probabilities.pdf On the theory of Probabilities]: вывод нормального распределения словами на стр. 189-191

2024-12-02, лекция 12: многомерное нормальное распределение. Функция плотности невырожденного многомерного нормального. Функция производящая моменты для многомерного нормального. Формула Иссерлиса с ненулевыми ожиданиями и доказательством. Условное распределение: вывод условного ожидания и условной дисперсии через разложение величины в сумму независимых.

* [https://stats.stackexchange.com/questions/30588/ альтернативный вывод] условного многомерного нормального распределения
* Хитрый [https://github.com/bdemeshev/lis-isserlis/raw/main/lis-isserlis.pdf лис Иссерлис]

2024-12-09, лекция 13: сходимость по распределению, центральная предельная теорема с доказательством подменой слагаемых.

* Calvin Chin [https://arxiv.org/pdf/2106.00871 CLT proof] by swapping
* [https://bdemeshev.github.io/teaching_notes/clt_by_swapping Пересказ доказательства]

2024-12-16, лекция 14: использование бесконечно малых при нахождении ожиданий, трюк с добавление параметра, трюк с закольцовыванием отрезка при равномерном распределении.

2025-01-13, лекция 15: Неединственность предела по распределению. Неаддитивность предела по распределению. Предел по вероятности. Закон больших чисел в слабой форме (с доказательством при дополнительной предпосылке о конечности дисперсии). Теорема о непрерывном отображении.

2025-01-20, лекция 16: два определение сходимости почти наверное с доказательством эквивалентности. Сходимость в Lp. Из сходимости в Lp при p>=1 следует сходимость по вероятности. Из сходимости почти наверное следует сходимость по вероятностям. Контр-пример к разнице сходимостей почти наверное и по вероятности. Контр-пример к разнице сходимостей в Lp и по вероятности. Усиленный закон больших чисел (без доказательства). Леммы Слуцкого (без доказательства).

2025-01-27, лекция 17: характеристические функции и их свойства. Вывод характеристической функции нормального стандартного распределения через дифференциальное уравнение. Характеристическая функция биномиального распредеделения. Второе доказательство ЦПТ (через характеристические функции).

* [https://web.ma.utexas.edu/users/gordanz/notes/characteristic.pdf Gordan Zitkovic]: characteristic functions
* [https://sas.uwaterloo.ca/~dlmcleis/s901/chapt6.pdf McLeish]: clt proof

2025-02-03, лекция 18: пример последовательности сходящийся по вероятности с ожиданием стремящимся к бесконечности. Критерий Кэлли. Критерий оптимальной остановки Брасса.

* [https://en.wikipedia.org/wiki/Kelly_criterion wikipedia]: Kelly criterion
* [https://projecteuclid.org/journalArticle/Download?urlId=10.1214%2Faop%2F1019160340 Bruss]: sum the odds to one and stop

2025-02-10 лекция 19: Сигма-алгебра порождённая случайной величиной или набором из нескольких случайных величин. Замкнутость относительно счётного количества операций с множествами. Сигма-алгебра. Объединение сигма-алгебр не всегда сигма-алгебра. Пересечение сигма-алгебр всегда сигма-алгебра. Измеримость суммы. Борелевская сигма-алгебра.

2025-02-18, лекция 20: [https://us06web.zoom.us/j/82685613040?pwd=bqJoXGItwNOOWddXj1flfmPmDn6fMQ.1 онлайн, 18:10]: разбор задач про сигма-алгебры для подготовки к контрольной. Условное математическое ожидание относительно сигма-алгебры: интуиция и формальное определение. Пример подсчёта в дискретном случае.

2025-02-24, лекция 21: Условное ожидание и дисперсия относительно сигма-алгебры со свойствами. Условная вероятность.

2025-03-03, лекция 22: Определение фильтрации. Определение момента остановки. Сигма-алгебра на момент остановки. Определение мартингала.
Формулировка теоремы [https://en.wikipedia.org/wiki/Optional_stopping_theorem Дуба об остановке мартингала]. Задача о макаке, печатающей слово "абракадабра".

2025-03-10, лекция 23: Два контр-примера к теореме дуба. Доказали теоремы Дуба для случая ограниченного момента времени. Тождество Вальда: формулировка и доказательство. Определение броуновского движения с явным упоминанием фильтрации и без. Ковариационная функция Cov(Ws, Wt).

2025-03-17, лекция 24: Преобразования винеровского процесса: масштабирование и инверсия. Закон распределения накопленного максимума. Закон распределения момента достижения заданного значения.

2025-03-24, лекция 25:

=== Семинары ===

==== 473 = 235 + 238 ====

2024-09-02, 06, семинар 1: задачи 1.1, 1.6, 3.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-09, 13, семинар 2: задачи 2.1, 2.3, 12.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-16, 20, семинар 3: задачи 7.12 и 7.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-23, 27, семинар 4: как извлечь P(X=3), E(X), E(X^2Y) из функции, производящей список исходов, 28.16 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-30, -10-04, семинар 5: 9.3в, 9.4, 9.7(абвд, кроме дисперсии, аргументы масштабирования и центра масс помимо интегралов), 9.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-10-07, 11, семинар 6: вычисление Cov, Var, Corr по табличке и из функции плотности, нахождение дисперсии для отрицательного биномиального распределения по свойствам.

2024-10-14, 18, семинар 7: вычисление энтропии геометрического распределения. Изменение энтропии при линейном преобразовании для дискретной величины и величины с функцией плотности.
Кросс-энтропия из экспоненциального в равномерное. Условная энтропия для дискретной таблички. Связь энтропии величины с функцией плотности и энтропия дискретной версии этой случайной величины после "огрубления" с малым шагом 1/k.

2024-10-21, -11-01, семинар 8: 16.18, 16.23 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], свёртка двух экспоненциальных величин

2024-11-11, 15, семинар 9: задачи на пуассоновский поток из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-11-18, 22, семинар 10: задачи на бета и гамма-распределение

2024-11-25, 29, семинар 11: задачи на нормальное распределение, 18.1, 18.2, 18.3, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-02, 06, семинар 12: задачи на многомерное нормальное: 24.16аб, 24.17аб, 24.18, 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-09, 13, семинар 13: ЦПТ и нормальное распределение: 20.2, 20.4, 18.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-19, семинар 14: разбор демо

2025-01-13, семинар 15: сходимость по вероятности: 20.1, 20.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-20, 24, семинар 16: связь между сходимостями, 20.11, 20.13 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-27, 31, семинар 17: 28.17, 28.18, 28.21 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-03, 07, семинар 18: 28.20аб, 28.22 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-10, 14, семинар 19: 6.2, 6.3, 6.11, измеримость произведения из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-18, 21, семинар 20: разбор демо

2025-02-24, 28, семинар 21: Условное математическое ожидание и условная дисперсия относительно сигма-алгебры в дискретном случае.
[https://github.com/bdemeshev/stochastic_pro/raw/main/stochastic_pro.pdf StoPro]: 8.22-8.25

2025-03-03, 10, семинар 22: доказали, что сигма алгебра, порождённая моментом остановки, лежит внутри сигма-алгебры событий на момент остановки.
Вероятность достижения границы -а раньше границы +b и среднее время достижения одной из этих границ для классического случайного блуждания.
Преобразование несимметричного случайного блуждание St в мартингал с помощью exp(alpha St).
[https://github.com/bdemeshev/stochastic_pro/raw/main/stochastic_pro.pdf StoPro]: 9.1, 9.3

2025-03-10, 14, семинар 23: решение двух классических задач с помощью мартингалов: [https://en.m.wikipedia.org/wiki/Bertrand%27s_ballot_theorem задача о голосовании], [https://math.dartmouth.edu/~pw/papers/gpdp.ps "следующая карта — красная"].

2025-03-17, 21, семинар 24: нахождение ожиданий и вероятностей E(W5W6 | W4), P(W1 > 0, W2 < 0); проверка мартингальности (Wt), (Wt^2 - t), (exp(aWt - a^2t/2)).

==== 236 ====

2024-09-06, семинар 1: в начале семинара рассмотрели основные понятия и определения для решения задач. Решили задачи 1.1, 1.6, 3.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-13, семинар 2: нашли ожидание случайной величины с геом. распределением. Решили задачи 2.1, 12.6, 12.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-09-20, семинар 3: решили задачи 7.12, 7.4(а), 7.7, 7.13(а) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-09-27, семинар 4: разобрали 7.13, почти разобрали 28.3 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Также рассмотрели один контрпример на независимость(тетраэдр Бернштейна).

2024-10-04, семинар 5: разобрались с определениями, решили 9.3(абв), 9.7(аб) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Решили задачку про три точки на отрезке и найти вероятность получить треугольник. Также вывели формулу для мат. ожидания неотрицательной величины через функцию распределения.

2024-10-14, семинар 6: обсудили дисперсию, ковариацию, коэффициент корреляции и их геометрический смысл. Решили задачу на оценку дисперсии ограниченной величины. посчитали дисперсию геометрического, биномиального. Посчитали дисперсию в задаче о письмах и конвертах.

???, семинар 7: определили энтропию, посчитали примеры для дискретных величин, для линейных преобразований. Доказали, что задача максимизации энтропии с фиксированной дисперсией достигается на нормальном распределении.

???, семинар 8: свертка двух экспоненциальных, 16.18 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

???, семинар 9: задачи на пуассоновский процесс из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

???, семинар 10: разбор кр.

???, семинар 11: разобрали задачи на нормальное распределение 18.1, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Также считали распределение суммы двух независимых нормальных.

==== 237 ====

2024-09-09, семинар 1: задачи 1.1, 2.2 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], вероятность что n ладей не бьют друг друга при случайной расстановке на шахматной доске n на n, матожидание числа треугольников в случайном графе на n вершинах через сумму индикаторов

2024-09-13, семинар 2: задачи 2.1, 2.6, 12.3, 12.6, 12.7 (без дисперсий) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-23, семинар 3: задачи 7.2, 7.13, 7.7, 7.8, плюс начали 7.15b (получили неверный ответ) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-27, семинар 4: дорешали 7.15b с небольшой демонстрацией на питоне, разобрали 28.2 для нечестной монетки плюс посчитали матожидание [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-10-04, семинар 5: задачи 9.1, 9.3абв, 9.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], философия про то почему бОльшая плотность не всегда означает бОльшую вероятность оказаться в окрестности данной точки (плотность может занимать слишком маленький объем)

2024-10-11, семинар 6: вспомнили определения Cov/Var/Corr, посчитали у пары дискретных величин по табличке вероятностей, посчитали дисперсию у биномиального, геометрического, непрерывного равномерного на отрезке.

2024-10-18, семинар 7: вычисление энтропии геометрического распределения; ограниченность энтропии снизу и сверху в дискретном случае; изменение энтропии при линейном преобразовании для дискретной величины и величины с функцией плотности; условная энтропия, KL дивергенция и кросс-энтропия, неотрицательность KL, интерпретация на пальцах с точки зрения теории информации.

2024-11-01, семинар 8: 16.18, 16.23 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], свёртка двух экспоненциальных величин

2024-11-08, семинар 9: решали пробный вариант КР

2024-11-15, семинар 10: 13.1, 13.2, 13.5, 13.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-11-22, семинар 11: разбор КР

2024-11-29, семинар 12: нормальное распределение, 18.1, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-06, семинар 13: многомерное нормальное распределение, изменение среднего и матрицы ковариаций при линейном преобразовании, 24.4а, 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-13, семинар 14: 24.4в из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], сходимости случайных величин, ЗБЧ и ЦПТ, 20.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-21, семинар 15: наследование сходимости, 20.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], плюс доказали предельную теорему Пуассона

2025-01-28, семинар 16: связь между сходимостями, 20.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], лемма Слуцкого, подмена дисперсии на выборочную дисперсию в ЦПТ

2025-02-04, семинар 17: базовые свойства хар функций, хар функция суммы независимых величин, 28.17, 28.20 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-18, семинар 18: вероятностное пространство в общем случае, сигма-алгебры, борелевская сигма-алгебра, сигма-алгебра порожденная случайной величиной, измеримость случайной величины относительно сигма-алгебры, 6.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], задачи на сигма алгебры из пробника КР

2025-02-25, семинар 19: условное матожидание относительно сигма алгебры, условное матожидание и дисперсия относительно случайной величины, закон полного матожидания и закон полной дисперсии, 22.1, 22.3, 22.5абв из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-03-04, семинар 20: показали, что условное матожидание минимизирует среднеквадратичный риск; нашли условное матожидание и условную дисперсию в 22.6 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], нашли E[X | X^2] для симметричного равномерного распределения, нашли E[X_1 | X_1 + ... + X_n] для набора i.i.d. величин, нашли E[Y] и Var(Y) для Y|X имеющего экспоненциальное распределение с параметром X

2025-03-11, семинар 21: мартингалы, момент остановки, теорема Дуба об остановке, задача о разорении игрока для честного и нечестного казино, вероятность выигрыша и вероятность разорения

2025-03-11, семинар 22: матожидание времени до момента остановки в задаче о разорении игрока, теорема Бертрана о выборах

==== 239 ====

2024-09-03, семинар 1: задачи 1.1, 1.4, пытались 1.8 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Ещё успели посчитать вероятность N=k бросков монеты до выпадения первого орла, матожидание N. И ещё сделали то же для количества бросков до выпадения 3 орлов (не в серии).

2024-09-10, семинар 2: доказали формулу включения-исключения, решили несложную задачу, порешали 2.7 задачи типа 12.*

2024-09-17, семинар 3: Решили две прямых задачи на формулу Байеса и формулу полной вероятности (без большого количества вычислений). Решили задачу поиска вероятности неисправного кофе-автомата из 3 при условии, что бросили деньги в 1 и 2 и их зажевало. Ещё нашли вероятность, что мяч будет у игрока 3 после шага 10 (все садятся в круг и на каждом шаге бросают мяч соседу с вероятностью 0.3 и оставляют у себя с вероятностью 0.4).

2024-09-24, семинар 4: Вспомнили про метод первого шага, используя формулу полной вероятности и введя в некотором виде формулу полного матожидания, записали формулу для вероятностей нахождения в состоянии i через произведение переходной матрицы на вектор. Совсем немного начали производящие функции, но решили не считать 31ю производную многочлена.

2024-10-01, семинар 5: Исследуем дискретные случайные величины (Биномиальная, Геометрическая и разные похожие) с использованием техник вычислений моментов через производящую функцию. Задачи на распределения величин, посчитанных по набору величин. Первая большая задача про плотность.

2024-10-08, семинар 6: разминочная про плотность и функцию распределения. Считаем дисперсию, ковариацию и корреляцию по 2x2 таблице и в равномерном распределении на круге и квадрате [-1,1]х[-1,1].

2024-10-15, семинар 7: пара задач про экспоненциальное распределение, расчёты по теории информации(считаем всякое, чтобы привыкнуть).

2024-10-22, семинар 8: письменные источники не сохранились до наших дней. Согласно преданиям, оьсуждали двери и около контрольной. Говорят, ввели пуассоновский процесс.

2024-???, семинар 9: решаем задачи на пуассоновское в разных формах и обсуждаем омалые в порядковых статистиках.

2024-???, семинар 10: учимся интерпретироввть гауссовское, пользоваться таблицами для функции Лапласа, а также немного работать с многомерным гауссовским.

2024-3-12, семинар 11: Копаем во все стороны многомерное гауссовское: считаем вероятности для линейных комбинаций гауссовских, проверяем зависимость, вычисляем условные законы, матожидания и ковариационные матрицы, вспоминаем спектральное разложение и разложение Холецкого.

==== 2311 ====

2024-09-06, семинар 1: вероятностное пространство, вероятность на нем, вероятность события, случайная величина и ее распределение (индикатор события, сумма двух кубиков, число бросаний монетки до первого орла), матожидание случайной величины (индикатор, один кубик, два кубика), линейность матожидания. Задачи на линейность матожидания, в том числе ЕГЭшная задача про турнир, 1.5, 3.5 с допвопросом о матожидании числа совпадений. Разговор о получении события произвольной вероятности монеткой в контексте 1.8

2024-09-13, семинар 2: Повторили матожидание суммы на примере 12.3. Обсудили условную вероятность и формулу полной вероятности, условное матожидание, решили задачи на метод первого шага 2.1, 2.3, 2.7.

2024-09-20, семинар 3: Условная вероятность, формула полной вероятности, формула Байеса: 7.1, классическая задача про болезни и тесты, простейшие задачки на общее понимание, обсуждение двух подходов: вычисления условной вероятности по формуле и составления нового вероятностного пространства и подсчет вероятности в нем. Независимые события (события "пики" и "дама" в обычной колоде и колоде с джокерами), независимые в совокупности события, построили пример попарно независимых, но не независимых в совокупности. Обсудили биномиальное распределение. решили задачу: "в корабле к отсеков, чтобы корабль затонул, нужно поразить 2. Независимо выпускают n ракет, каждая из которых поражает случайный отсек с вероятностью p. Найти вероятность потопления корабля"

2024-09-20, семинар 4: Примеры одинаково распределенных зависимых СВ, независимые СВ. Производящая функция и ее свойства. Посчитали для биномиального производящую функцию и второй момент. Обсудили, что будет меняться в случае функции, производящей моменты. Обсудили функцию, производящую множество исходов, как из нее доставать уже известные функции, как ее искать на примере бросания монетки до выпадания HT

2024-10-11, семинар 5: Составили табличку стандартных дискретных распределений, посчитали матожидание геометрического, обсудили дисперсию и ковариацию и их свойства (в дискретном случае), досчитали дисперсии основных распределений. Обсудили вероятностное пространство в общем случае, понятие СВ в общем случае. Дали определение ФР, посчитали ФР для явно заданной СВ. Дали определение плотности.

2024-10-12, семинар 6: Обсудили свойства ФР, как считать вероятность попадания в промежуток в терминах ФР. Выразили ФР 1/X, cos X. Обсудили как выражается веротяность попадания в множество через плотность. для 1/Х выразили плотность в случае абсолютной непрерывности Х. Обсудили формулу для МО в общем виде через интеграл Стильтьеса и как вычислять МО для функции, разлагающейся в сумму абсолютно нерпрерывной и функции скачков, посчитали МО для пары таких СВ

2024-10-18, семинар 7: Обсудили геометрию, заданную скалярным произведением EXY и cov(X,Y), поиск ортогонального элемента и проекции. Посчитали энтропию и кросс-энтропию в дискретном и непрерывном случаях, посчиали совместную и условную энтропию в дискретном случае (23.2, 23.4, 23.9)

2024-11-01, семинар 9: Совместная плотность и ф.р., подсчет вероятностей, маргинальные плотности, замена переменной через якобиан, свертка, матожидание

2024-11-09, семинар 10: Условная плотность, формула условной вероятности. Задача на восстановление маргинальной плотности по условной. Разбор задач из "Летучей мыши"

2024-11-19, семинар 11: Разбор контрольной работы

2024-11-22, семинар 12: Пуассоновский поток - решали задачки из задачника

2024-11-29, семинар 13: Нормальное распределение - задачи из PP, повторили функцию, порождающую моменты, обсудили ее свойства в абсолютно непрерывном случае

2024-12-06, семинар 14: Многомерное нормальное - обсудили два определения, связь между ними, независимость элементов нормального вектора при нулевой ковариации и почему это неверно для произвольных нормальных. порешали задачи 24.9а, 24.10, 24.17

2024-12-013, семинар 15: ЦПТ, решали задачи из задачника

2025-01-17, семинар 16: Сходимости почти наверное и по вероятности, связь со сходимостью по распределению. Посмотрели стандартные контрпримеры, показали, что если есть сходимость по распределению к константе, то есть и по вероятности. ЗБЧ Чебышева и Хинчина, УЗБЧ Колмогорова, обсудили 20.1 сколько успели.

2025-01-24, семинар 17: Сходимость в L_p, связи между сходимостями. Задача 20.11

2025-01-24, семинар 18: Характеристические функции и их свойства. Посчитали хар функции для равномерного, Бернулли, биномиального, Пуассона, экспоненциального. Показали, чо сумма нормальных нормальна. По функции пытались понять, может ли она быть характеристической и восстанавливали с.в.

==== 2310, 2312 ====

2024-09-06, семинар 1: задача 1.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Определили вероятностное пространство в виде тройки, множество исходов рассматривали конечное и счётное. Решили 3 счётные задачи на комбинаторику про колоды карт и счетные последовательности цифр. Привели геометрическое и аналитическое решения задачи про нахождение предела последовательности вероятностей. В конце нашли математическое ожидание геометрически распределённой случайной величины.

2024-09-13, семинар 2: задача 2.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Задача на упорядоченные и неупорядоченные наборы. Задача про классическое вероятностное пространство и про пространство с неравновероятными исходами. Разобрали парадокс Монти Холла. Ввели понятия условной вероятности и независимых случайных величин. Сформулировали и обсудили идеи доказательств трёх теорем: теорема умножения вероятностей, формула полной вероятности и формула Байеса.

2024-09-20, семинар 3: Решили задачу на определение условной вероятности. Обсудили парадокс теоремы Байеса на примере задачи про редкое заболевание, а также посмотрели простую программу на Python, которая считает вероятность в зависимости от количества проведенных тестов на заболевание. Обсудили условное математическое ожидание, некоторые его свойства и рассмотрели пример с подбрасыванием кубика. В конце решили задачу на парадокс дней рождений.

2024-09-27, семинар 4: Обсудили коллизии хеш-функций и связь с атакой "дней рождений". Определили независимость или зависимость случайных величин в четырёх разных вариантах. Обсудили, что неверно утверждать, что матожидание частного независимых случайных величин равно частному матожиданий, также привели пример использования подобного факта в некоторых статьях. В конце решили задачу на поиск функции производящей исходы, а также нашли E(X), E(Y^2), E(XY) с помощью найденной функции.

2024-10-04, семинар 5: Решили две простые задачи на условную вероятность и на теорему об умножении вероятностей. Обсудили связь дерева событий с условной вероятностью и теоремой об умножении вероятностей. Нашли производящую функцию моментов для геометрически распределенной случайной величины и с помощью нее нашли матожидание. Нашли производящую функцию моментов и матожидание суммы случайного количества н.о.р случайных величин.

2024-10-11, семинар 6: Привели аналогии между дискретными и непрерывными случайными величинами. Нарисовали графики функций от случайных величин. Вспомнили определение и свойства дисперсии. Решили простую задачу на подсчет дисперсии и нашли дисперсию геометрически распределенной случайной величины. Обсудили, когда может быть матожидание и дисперсия бесконечны. Далее вспомнили неравенства Маркова и Чебышева, вывели следствия и решили 3 задачи на применение этих неравенств. Обсудили, что неравенство Маркова может давать как точную оценку, так и очень слабую. Показали, что неотрицательность случайной величины в неравенстве Маркова является существенным условием.

2024-10-11, семинар 7: Повторили понятия энтропии в битах и натах, а также понятие дифференциальной энтропии. Нашли энтропию в схеме Бернулли и энтропии геометрического и экспоненциального распределений. Доказали простую оценку сверху для энтропии случайной величины, имеющей конечный носитель мощности n.

2024-11-1, семинар 8: Разобрали демо-вариант контрольной работы "Тыква".

2024-11-8, семинар 9: Разобрали демо-вариант контрольной работы "Летучая мышь".

2024-11-15, семинар 10: Понятие случайного процесса. Определение пуассоновского процесса, его свойства. Три простые задачи на пуассоновское распределение. Задачи 13.1 и 13.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-11-22, семинар 11: Определения Бета-функции и Гамма-функции. Бета и Гамма распределения, их функции плотности и графики. Нахождение моды случайных величин, имеющих Бета и Гамма распределения. Связь пуассоновского процесса с Гамма распределением. В конце нашли производящую функцию моментов Гамма распределения.

2024-11-29, семинар 12: Задачи 18.1, 18.2 и 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-12-06, семинар 13: Нашли многомерное нормальное распределение по виду функции плотности (константа на экспоненту с квадратичным показателем). С помощью формулы Иссерлиса нашли матожидания произведений различных или одинаковых случайных величин, имеющих многомерное нормальное распределение. Нашли условную вероятность многомерного распределения. Задача 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-12-13, семинар 14: Повторили определение сходимости по распределению и центральную предельную теорему. Решили задачи 20.2 и 20.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

== Источники ==

Источники мудрости, которые я постарался не замутить :)

[https://arxiv.org/pdf/1411.5279 WTSK]: Tim Hesterberg, What Teachers Should Know About the Bootstrap: вкусное и доступное изложение бутстрэпа и перестановочных тестов.

[https://projects.iq.harvard.edu/stat110/home BItP]: Blitzstein, Hwang, Introduction to Probability: учебник, записи лекций, гарвардский курс.

Теория вероятностей 2024/25 (основной поток)

2025-03-11T17:49:37Z

Nmorozov:

= Преподаватели и учебные ассистенты =

{| class="wikitable" style="text-align:center"
|-
! Группа !! БПМИ235 !! БПМИ236 !! БПМИ237 !! БПМИ238 !! БПМИ239 !! БПМИ2310 !! БПМИ2311 !! БПМИ2312
|-
|| Лектор ||colspan="11"| [https://t.me/boris_demeshev Борис Демешев]
|-
|| Семинарист || [https://t.me/boris_demeshev Борис Демешев] || [https://t.me/levensons Илья Левин] || [https://t.me/madn_boi Никита Морозов] || [https://t.me/boris_demeshev Борис Демешев] || [https://t.me/XuMuK_MK Максим Каледин] || [https://t.me/goluba_yurieva Голуба Юрьева] || [https://t.me/Moskchan Вероника Владыкина] || [https://t.me/goluba_yurieva Голуба Юрьева]
|-
|| Ассистент || [https://t.me/nerhneiro Ира Скворцова] || [https://t.me/a_ameli_ig Амелия Алаева] || [https://t.me/htual Алина Бадахова] || [https://t.me/adelyagaraeva Аделя Гараева] || [https://t.me/mabrielka Мария Брель] || [https://t.me/zm_ann Анна Зыкова-Мызина] || [https://t.me/Yanlightv Яна Вежновец] || [https://t.me/nol_erk Кирилл Лавриненко]
|-
|| Ассистент курса ||colspan="11"| [https://t.me/Nick_Volya Никита Волянский]
|}

== Цели и задачи курса ==

侍には目標がなく道しかない [Samurai niwa mokuhyō ga naku michi shikanai]

У самурая нет цели и ничего кроме пути.

Вероятный план:
<div class="mw-collapsible mw-collapsed" style="width:1000px; overflow: hidden;">
1. Дискретное вероятностное пространство. Вероятность, математическое ожидание, теоретическая медиана.
Перестановочные тесты, p-значение для перестановочного теста.
Математическое ожидание = центр масс.

NB: здесь сходу рисуем дерево
NB: здесь нет задач на условную вероятность

!предупреждение об обозначениях случайных величин.
Российская традиция — греческие буквы, американская традиция — заглавные английские буквы.
Наш курс: любые буквы. Причина: теория вероятностей применяется в разных областях, где свои традиции.

NB: Способы вычисления вероятностей и ожиданий:
* полный перебор руками
* примерные вычисления руками
* полный перебор на компьютере
* симуляции на компьютере
* ...

2.
Методы решения задач:
* разложение величины в сумму
* метод первого шага
!идея: позиция в игре имеет цену
* just for fun: метод рычага в геометрии через ожидание
NB: рассказать здесь про комплексную случайную величину
NB: по сути здесь мы уже решаем задачи на марковские цепи не говоря страшных определений
LOTUS.

3. Условная вероятность и условное ожидание.
!идея: зануляем вероятности невозможных событий, а остальные — масштабируем.
формула полной вероятности
!идея: дерево "помнит" формулу полной вероятности
формула Байеса

Независимые события.
Независимые случайные величины.

4.
Методы решения задач:
* производящие функции многих переменных
функция как способ записать множество
HTT vs TTH
ABRACADABRA
!разложение по биномиальной формуле

?: можно здесь успеть функцию производящую моменты

5.
Биномиальное распределение.
Геометрическое и гипергеометрическое распределения.
Отрицательное биномиальное распределение.

6.
Равномерное распределение на множестве в R^n
Функция распределения.
Функция плотности и вероятностная дифференциальная форма.
!пояснение про неудачную традиционную терминологию "непрерывная случайная величина"
величина с функцией плотности, величина с непрерывной функцией распределения.

Квантили, квантильная функция.

7. Характеристики случайных величин и неравенства.
Дисперсия.
Энтропия.
Неравенство Маркова.
Неравенство Чебышёва.
Неравенство Йенсена.

Здесь конец модуля 1 и КР-1!

8. Пуассоновский поток.
Аксиомы пуассоновского потока.
Вывод экспоненциального распределения и пуассоновского распределения из аксиом.
Вывод экспоненциального распределения из предпосылки об отсутсвии памяти.

9. Нормальное распределение.
Нормальное распределение: предпосылки Хершела-Максвелла.
Нормальное распределение: аргументация Гаусса за среднее арифметическое.
Нормальное распределение: предпосылки Лэндона (до уравнения в частных производных).

10. Классические непрерывные распределения.

Гамма-распределение, бета-распределение.
Вывод нормального и экспоненциального распредений как минимизации энтропии.

11. Парные характеристики случайных величин.
Наилучшая линейная аппроксимация.
Ковариация.
Корреляция.
Кросс-энтропия.

Доказательство E(XY) = E(X) E(Y) для дискретных.
Ковариационная матрица и ожидание для случайных векторов.

12. Совместная и условная функция плостности.
Преобразования случайных величин.

13. Функция производящая моменты и характеристическая функция.
Распределение суммы случайного количества случайных величин.
Случайный выбор слагаемых.

14. Финансовые приложения

Оценивание опционов на биномиальном дереве.
Максимизация долгосрочной прибыли, связь с энтропией.
Возможно, индексы Гиттинса.

Здесь конец модуля 2 и КР-2

15. Сигма-алгебры.

Список известных величин как способ описания информации.
Идея условного ожидания как оптимального прогноза.
Сигма-алгебра как способ описания информации.
Измеримость случайной величины относительно сигма-алгебры.
Сигма-алгебра как ОДЗ для вероятности.
Борелевская сигма-алгебра.
Независимые случайные величины второе определение.

16. Условное математическое ожидание.
Условная дисперсия.
Сумма случайного количества случайных величин.

17. Сходимости случайных величин.

Сходимость по вероятности.
Закон больших чисел.
Сходимость почти наверное.
Усилинный закон больших чисел.
Сходимость по распределению.

18. Связь сходимостей.
Лемма Слуцкого.

19. Центральная предельная теорема.
Доказательство через подмену слагаемых.
Доказательство через характеристические функции.

Здесь контрольная.

20. Винеровский процесс
Условные ожидания, инверсия.

21. Байесовский подход к оцениванию параметров

Балансовое уравнение. Идея MCMC.

22. Доказательства свойств меры

23. Алгоритм построения математического ожидания в общем случае.
Лемма Фату.
Теорема о мажорируемой сходимости.
Теорема о монотонной сходимости.

24. Резерв.

Жемчужинки, которые, вероятно, не успеем:

А. Методы решения задач:
подсчёт случаев с помощью леммы Бернсайда и теоремы Пойа о перечислении
(Burnside lemma, PET = Polya Enumeration Theorem)

B. вероятностные доказательства детерминистических теорем

</div>

== Оценивание ==

Оценка за семестр-1 = 0.2 Домашние задания семестра-1 + 0.4 Контрольная-Альфа + 0.4 Экзамен-Бета.

Финальная оценка за курс = 0.5 Оценка за семестр-1 + 0.1 Домашние задания семестра-2 + 0.2 Контрольная-Гамма + 0.2 Экзамен-Дельта.

Каждая оценка (суммарные итоги за домашние задания, контрольные, экзамены) — целое число от 0 до 100.
Для перевода в 10-балльную шкалу промежуточной оценки за семестр-1 и финальной оценки используется деление на 10
с арифметическим округлением. Например, если Максим получил "оценку за семестр-1" 65 баллов, то в ведомость за первый семестр идёт 7, а далее в формуле финальной оценки за курс используется 65.

=== Домашние задания для самураев ===

Домашние задания [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/home_assignments/home_assignments.pdf одним файлом] и [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/blob/main/home_assignments/ отдельными файлами].
Домашние задания имеют равный вес.
В конце каждой лекции (за исключением ближайших к экзамену лекций)
выдается домашнее задание сроком на две недели.
Дедлайн жёсткий, однако студент имеет право просрочить три домашних задания на неделю каждое без штрафа.

Формат сдачи ДЗ: один pdf-файл (решение текстовых задач) и один ipynb-файл (решение компьютерных задач).
В pdf-файл можно поместить аккуратно написанное отсканированное решение, а можно скомпилировать pdf из теха или маркдауна.
Ещё можно вместо pdf-файла написать всё в ipynb.
Бонусов за сдачу домашки в техе нет. Пример [https://www.overleaf.com/read/qmrkwpzvmqbk шаблона].

Обратите внимание: '''время каждого дедлайна — 23:59'''.

=== Ведомость с оценками за ДЗ ===

{| class="wikitable" style="text-align:center"
|-
! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1872081500#gid=1872081500 235] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1374497930#gid=1374497930 236] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1183164252#gid=1183164252 237] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=408179311#gid=408179311 238] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1032422408#gid=1032422408 239] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1603236891#gid=1603236891 2310] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=791330236#gid=791330236 2311] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=23847300#gid=23847300 2312]
|}

[https://docs.google.com/spreadsheets/d/14hD7-SLmAA1omdkhPlt3blRHDHVGTDS8ZgvLWscvMz8/edit?usp=sharing Сводная ведомость всех оценок]

=== Контрольные работы и экзамен ===

Вес каждой задачи будет написан в тексте работы.
Задачи с ненаписанным по случайности весом имеют равный вес.
Для пропущенных по уважительной причине контрольных будет выделен один день для переписывания.
При пропуске дня переписывания, в том числе по уважительным причинам, ещё одного шанса не предоставляется.

<div class="mw-collapsible mw-collapsed" style="width:1000px; overflow: hidden;">

'''Контрольная работа 1''' состоится 2024-11-11 в 16:20, аудитории: R401, R305, R206, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_halloween_demo/exam_halloween_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/midterm/midterm-alpha.pdf условие с критериями и решениями].

'''Резервный день 1''' для пропустивших по уважительной причине состоится 2024-12-02 в 19:40, R405

'''Показ контрольной 1''':

* задачи 1, 2: заочно до 2024-12-08, [https://t.me/Moskchan Вероника]
* задачи 3, 4 [https://t.me/boris_demeshev Борис], очно, четверг, 2024-12-05, 18:10-21:00, G408
* задачи 5, 6 [https://t.me/XuMuK_MK Максим]: очно, четверг, 2024-12-05, 18:10-21:00, G408

'''Экзамен, модуль 2''' состоится '''''2024-12-24 в 10:00''''', аудитории R301, R304, R401, R404, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_winter_demo/exam_winter_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/december/pmi_probab_2024_december.pdf условие].

Если вы не хотите идти на экзамен, то заполните [https://forms.gle/UQzW77RrPvcdahG47 эту форму], чтобы получить ноль при неявке

'''Апелляция экзамена''':

* задачи 1, 2: заочно [https://t.me/goluba_yurieva Голуба], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/december/exam_problem_1-2.pdf решения и критерии 1, 2];
* задачи 3, 4: очно 2025-01-11, аудитория R408, 14:40-17:40 [https://t.me/madn_boi Никита], [https://www.overleaf.com/read/dnhjcdrndqps#42f1ab решения и критерии 3, 4];
* задачи 5, 6: заочно [https://t.me/levensons Илья]

* дедлайн по заочным апелляциям: суббота 23:59

[https://docs.google.com/spreadsheets/d/1mxMCr3IEDy8EPFWGkn3_dsghhPNcZICEw9C9o5ZoZvA/edit?usp=sharing Распределение по аудиториям]

</div>

Даты пересдач: 2025-01-28 в 18:10, 2025-02-03 в 18:10 и комиссия 2025-02-11 в 18:10.

* задачи 1, 2: [https://t.me/goluba_yurieva Голуба], задачи 3, 4: [https://t.me/madn_boi Никита], задачи 5, 6: [https://t.me/levensons Илья], апелляция пересдачи 2 до 21:00 2025-02-10.

'''Контрольная, модуль 3''' состоится 2025-02-22 в 16:20, аудитории R201, R204, R404, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_galileo_demo/exam_galileo_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_galileo/pmi_probab_galileo_exam_2024-2025.pdf условие].

[https://docs.google.com/spreadsheets/d/1LZA-7TDz_yYeVPRx4BpBWJnQKZ7wqPgHDrN-Z0SM68M/edit?usp=sharing Распределение по аудиториям]

'''Контрольная, модуль 3, резервный день''': 2025-03-07, пятница, 18:10, R204

'''Экзамен, модуль 3''' состоится '''2025-03-28''' в 14:40, аудитории R201, R301, R404, R405, демо, условие.

== Учебные материалы ==

[https://github.com/bdemeshev/probability_pro/raw/master/probability_pro.pdf PP]: Листки с задачами к курсу.

[https://github.com/bdemeshev/stochastic_pro/raw/main/stochastic_pro.pdf StoPro]: Stochastic process problems.

[https://github.com/bdemeshev/probability_dna/raw/master/probability_dna.pdf PDNA]: Вероятностная ДНК = вкусные задачи по теории вероятностей.

[https://disk.yandex.ru/d/LZ6d2VZVqYvbDQ Видео-летопись семинаров и лекций] и [https://hse.liferooter.dev/ конспект] от тайного благожелателя (updated 2024-10-23]

[https://disk.yandex.ru/d/IoakBXz_6yygPw Официальные видео]

[https://www.cambridgeinternational.org/Images/344616-list-of-formulae-and-statistical-tables.pdf Cambridge statistical tables]

== Дневник самурая ==

2024-09-02, лекция 1: Определение события. Определение случайной величины. Аксиомы вероятности. Определение математического ожидания для дискретного случая.
Линейность математического ожидания. Математическое ожидание как центр масс. Первое знакомоство с перестановочным тестом и p-значением.

Можно глянуть: главы 2.1 и 7 из [https://arxiv.org/pdf/1411.5279 WTSK], метод рычага [https://mathcircle.berkeley.edu/sites/default/files/archivedocs/2007_2008/lectures/0708lecturespdf/MassPointsBMC07.pdf в геометрии].

2024-09-09, лекция 2: Метод первого шага (вероятность выпадения HTH ранее HHT, ожидаемое количество шагов). Метод разложения случайной величины в сумму. Определение случайного вектора. Использование интерпретации ожидания как центра масс в геометрии. Определение теоретической медианы.

Можно глянуть: глава 2.7.2 из [https://projects.iq.harvard.edu/stat110/home BItP], три стратегии решения задачи за 10 минут [https://www.youtube.com/watch?v=xH89DaEI35w Visually Explained]

2024-09-16, лекция 3: Получение новой информации приводит к пересчёту вероятностей. Определение условной вероятности. Формула полной вероятности. Формула Байеса.
Условное математическое ожидание. Формула полного математического ожидания. Независимость пары событий. Независимость набора событий в совокупности.
Независимость величин: неформальное определение. Критерий независимости произвольных величин. Критерий независимости дискретных величин.

2024-09-23, лекция 4: Доказательство критерия независимости для дискретных случайных величин: из независимости {X=x} и {Y=y} следует независимость {X in A} и {Y in B}. Независимость величин равносильна E(f(X))E(g(Y))=E(f(X)g(Y)) для произвольных f, g. Определение биномиальной, геометрической (как числа неудач до 1го успеха) и отрицательной биномиальной случайной величины. Общая идея за производящими функциями: как из функции, производящей исходы эксперимента, с помощью производных и подстановок выудить индивидуальные вероятности, совместные вероятности, ожидания любой степени E(X^a), E(X^a Y^b). Формальное определение функции, производящей вероятности, и функцию, производящей моменты, для одной случайной величины и пары случайных величин. Метатеорема: все теоремы о дискретных величинах доказываются перестановкой слагаемых. Основные дискретные распределения: биномиальное, геометрическое, отрицательное биномиальное.

2024-09-30, лекция 5: Ещё дискретные законы распределения: гипергеометрическое. Описание закона распределения через равномерное распределение на подмножестве R^n.
Функция плотности как линейная часть вероятности попадания в отрезок. Равномерное распределение на отрезке. Смешанные случайные величины. LOTUS: нахождение ожидания любой функции от случайной величины для величин с функцией плотности и смешанных величин. Функция распределения. Квантильная функция.

2024-10-07, лекция 6: Две геометрии случайных величин и событий: E(XY) как скалярное произведение, Cov(X, Y) как скалярное произведение. Математическое ожидание — проекция в рамках геометрии, задаваемой E(XY). Определение и геометрический смысл дисперсии, стандартного отклонения, ковариации и корреляции. Неравенство Маркова. Неравенство Чебышёва. Неравенство Йенсена: интуитивный смысл.

2024-10-14, лекция 7: Доказательство неравенства Йенсена. Энтропия как минимальное ожидаемое число вопросов для отгадывания и формальное определение. Кросс-энтропия.
Доказательство того, что кросс-энтропия больше либо равна энтропии. Совместная энтропия. Условная энтропия. Формула H(X) + H(Y|X) = H(X, Y) без доказательства.
Вывод плотности экспоненциального распределения из предпосылки отсутствия памяти. Экспоненциальное распределение максимизирует энтропию при заданном ожидании и неотрицательности.

* Cristopher Olah, Visual Information Theory, https://colah.github.io/posts/2015-09-Visual-Information/

* Grand Sanderson, Solving Wordle using information theory, [https://www.youtube.com/watch?v=v68zYyaEmEA youtube].

* Artem Kirsanov, Key equation behind probability, [https://www.youtube.com/watch?v=KHVR587oW8I youtube]. У Артёма кросс-энтропия обозначена H(P, Q), а не CE(P||Q)).

* [https://exuberant-arthropod-be8.notion.site/1-02-09-5e107ea1c4054594b8f37d955db8a2b0 Конспект] аналогичной старой лекции псмо на русском.

* Keith Conrad, [https://kconrad.math.uconn.edu/blurbs/analysis/entropypost.pdf Maximal entropy] distributions.

2024-10-21, лекция 8: Ковариационная матрица и её свойства. Совместная функция плотности. Условная функция плотности. Критерий независимости в терминах функций плотности и распределения.
Связь индивидуальной и совместной функций плотности и функций распределения. Смена плотности при замене переменных: домножение на якобиан и неформально про дифференциальные формы. Формула свёртки.
Разложение совместной плотности для графической модели. Представление произвольной совместной функции распределения с помощью копулы.

* Про дифференциальные формы: [https://www.youtube.com/watch?v=PaWj0WxUxGg&list=PL22w63XsKjqzQZtDZO_9s2HEMRJnaOTX7 videos] by Michael Penn, [https://www.math.purdue.edu/~arapura/preprints/diffforms.pdf short intro] by Dony Arapura

* What is a convolution от [https://www.youtube.com/watch?v=KuXjwB4LzSA 3b1b]

* From graphical models to [https://www.youtube.com/watch?v=yBc01ZeaFxw&list=PLISXH-iEM4JlFsAp7trKCWyxeO3M70QyJ Probabilistic ML]

2024-11-11, лекция 9: Пуассоновский поток: аксиомы. Вывод пуассоновского распределения количества событий и экспоненциального времени между событиями из аксиом.
Сумма независимых пуассоновских потоков — это пуассоновский поток (половина доказательства). Вероятность того, что одна экспоненциальная величина будет меньше другой, независимой.

2024-11-18, лекция 10: Гамма-распределение как сумма нескольких экспоненциальных: вывод плотности через вероятность попадания в малый отрезок.
Обобщение плотности на случай положительного параметра $a$. Гамма-функция. Бета-распределение как отношение гамма-распределений. Бета-функция.

2024-11-25, лекция 11: Вывод нормального распределения из предпосылок Гаусса. Вывод нормального распределения из предпосылок Гершеля — Максвелла.

* Saul Stahl, The [https://www.researchgate.net/publication/255668423_The_Evolution_of_the_Normal_Distribution Evolution] of the Normal Distribution: вывод Гаусса с историей.

* Grand Sanderson, [https://www.youtube.com/watch?v=cy8r7WSuT1I Why pi] is in the normal? вывод Гершеля—Максвелла

* James Stein, [http://www-biba.inrialpes.fr/Jaynes/cc07s.pdf Normal Distribution]: глава про нормальное распределение (Гаусс, Гершель—Максвелл, Лэндон etc)

* William Herschel, [https://music.yandex.com/album/209394/track/2121214 концерт для габоя]

* William Herschel, [https://www.informationphilosopher.com/solutions/scientists/quetelet/Herschel_Quetelet_Probabilities.pdf On the theory of Probabilities]: вывод нормального распределения словами на стр. 189-191

2024-12-02, лекция 12: многомерное нормальное распределение. Функция плотности невырожденного многомерного нормального. Функция производящая моменты для многомерного нормального. Формула Иссерлиса с ненулевыми ожиданиями и доказательством. Условное распределение: вывод условного ожидания и условной дисперсии через разложение величины в сумму независимых.

* [https://stats.stackexchange.com/questions/30588/ альтернативный вывод] условного многомерного нормального распределения
* Хитрый [https://github.com/bdemeshev/lis-isserlis/raw/main/lis-isserlis.pdf лис Иссерлис]

2024-12-09, лекция 13: сходимость по распределению, центральная предельная теорема с доказательством подменой слагаемых.

* Calvin Chin [https://arxiv.org/pdf/2106.00871 CLT proof] by swapping
* [https://bdemeshev.github.io/teaching_notes/clt_by_swapping Пересказ доказательства]

2024-12-16, лекция 14: использование бесконечно малых при нахождении ожиданий, трюк с добавление параметра, трюк с закольцовыванием отрезка при равномерном распределении.

2025-01-13, лекция 15: Неединственность предела по распределению. Неаддитивность предела по распределению. Предел по вероятности. Закон больших чисел в слабой форме (с доказательством при дополнительной предпосылке о конечности дисперсии). Теорема о непрерывном отображении.

2025-01-20, лекция 16: два определение сходимости почти наверное с доказательством эквивалентности. Сходимость в Lp. Из сходимости в Lp при p>=1 следует сходимость по вероятности. Из сходимости почти наверное следует сходимость по вероятностям. Контр-пример к разнице сходимостей почти наверное и по вероятности. Контр-пример к разнице сходимостей в Lp и по вероятности. Усиленный закон больших чисел (без доказательства). Леммы Слуцкого (без доказательства).

2025-01-27, лекция 17: характеристические функции и их свойства. Вывод характеристической функции нормального стандартного распределения через дифференциальное уравнение. Характеристическая функция биномиального распредеделения. Второе доказательство ЦПТ (через характеристические функции).

* [https://web.ma.utexas.edu/users/gordanz/notes/characteristic.pdf Gordan Zitkovic]: characteristic functions
* [https://sas.uwaterloo.ca/~dlmcleis/s901/chapt6.pdf McLeish]: clt proof

2025-02-03, лекция 18: пример последовательности сходящийся по вероятности с ожиданием стремящимся к бесконечности. Критерий Кэлли. Критерий оптимальной остановки Брасса.

* [https://en.wikipedia.org/wiki/Kelly_criterion wikipedia]: Kelly criterion
* [https://projecteuclid.org/journalArticle/Download?urlId=10.1214%2Faop%2F1019160340 Bruss]: sum the odds to one and stop

2025-02-10 лекция 19: Сигма-алгебра порождённая случайной величиной или набором из нескольких случайных величин. Замкнутость относительно счётного количества операций с множествами. Сигма-алгебра. Объединение сигма-алгебр не всегда сигма-алгебра. Пересечение сигма-алгебр всегда сигма-алгебра. Измеримость суммы. Борелевская сигма-алгебра.

2025-02-18, лекция 20: [https://us06web.zoom.us/j/82685613040?pwd=bqJoXGItwNOOWddXj1flfmPmDn6fMQ.1 онлайн, 18:10]: разбор задач про сигма-алгебры для подготовки к контрольной. Условное математическое ожидание относительно сигма-алгебры: интуиция и формальное определение. Пример подсчёта в дискретном случае.

2025-02-24, лекция 21: Условное ожидание и дисперсия относительно сигма-алгебры со свойствами. Условная вероятность.

2025-03-03, лекция 22: Определение фильтрации. Определение момента остановки. Сигма-алгебра на момент остановки. Определение мартингала.
Формулировка теоремы [https://en.wikipedia.org/wiki/Optional_stopping_theorem Дуба об остановке мартингала]. Задача о макаке, печатающей слово "абракадабра".

2025-03-10, лекция 23: Два контр-примера к теореме дуба. Доказали теоремы Дуба для случая ограниченного момента времени. Тождество Вальда: формулировка и доказательство. Определение броуновского движения с явным упоминанием фильтрации и без. Ковариационная функция Cov(Ws, Wt).

2025-03-17, лекция 24: Преобразования винеровского процесса. Модель Блэка Шоулса (как предел дискретной?)

2025-03-24, лекция 25:

=== Семинары ===

==== 473 = 235 + 238 ====

2024-09-02, 06, семинар 1: задачи 1.1, 1.6, 3.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-09, 13, семинар 2: задачи 2.1, 2.3, 12.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-16, 20, семинар 3: задачи 7.12 и 7.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-23, 27, семинар 4: как извлечь P(X=3), E(X), E(X^2Y) из функции, производящей список исходов, 28.16 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-30, -10-04, семинар 5: 9.3в, 9.4, 9.7(абвд, кроме дисперсии, аргументы масштабирования и центра масс помимо интегралов), 9.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-10-07, 11, семинар 6: вычисление Cov, Var, Corr по табличке и из функции плотности, нахождение дисперсии для отрицательного биномиального распределения по свойствам.

2024-10-14, 18, семинар 7: вычисление энтропии геометрического распределения. Изменение энтропии при линейном преобразовании для дискретной величины и величины с функцией плотности.
Кросс-энтропия из экспоненциального в равномерное. Условная энтропия для дискретной таблички. Связь энтропии величины с функцией плотности и энтропия дискретной версии этой случайной величины после "огрубления" с малым шагом 1/k.

2024-10-21, -11-01, семинар 8: 16.18, 16.23 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], свёртка двух экспоненциальных величин

2024-11-11, 15, семинар 9: задачи на пуассоновский поток из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-11-18, 22, семинар 10: задачи на бета и гамма-распределение

2024-11-25, 29, семинар 11: задачи на нормальное распределение, 18.1, 18.2, 18.3, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-02, 06, семинар 12: задачи на многомерное нормальное: 24.16аб, 24.17аб, 24.18, 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-09, 13, семинар 13: ЦПТ и нормальное распределение: 20.2, 20.4, 18.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-19, семинар 14: разбор демо

2025-01-13, семинар 15: сходимость по вероятности: 20.1, 20.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-20, 24, семинар 16: связь между сходимостями, 20.11, 20.13 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-27, 31, семинар 17: 28.17, 28.18, 28.21 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-03, 07, семинар 18: 28.20аб, 28.22 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-10, 14, семинар 19: 6.2, 6.3, 6.11, измеримость произведения из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-18, 21, семинар 20: разбор демо

2025-02-24, 28, семинар 21: Условное математическое ожидание и условная дисперсия относительно сигма-алгебры в дискретном случае.
[https://github.com/bdemeshev/stochastic_pro/raw/main/stochastic_pro.pdf StoPro]: 8.22-8.25

2025-03-03, 10, семинар 22: доказали, что сигма алгебра, порождённая моментом остановки, лежит внутри сигма-алгебры событий на момент остановки.
Вероятность достижения границы -а раньше границы +b и среднее время достижения одной из этих границ для классического случайного блуждания.
Преобразование несимметричного случайного блуждание St в мартингал с помощью exp(alpha St).
[https://github.com/bdemeshev/stochastic_pro/raw/main/stochastic_pro.pdf StoPro]: 9.1, 9.3

2025-03-10, 14, семинар 23: решение двух классических задач с помощью мартингалов: [https://en.m.wikipedia.org/wiki/Bertrand%27s_ballot_theorem задача о голосовании], [https://math.dartmouth.edu/~pw/papers/gpdp.ps "следующая карта — красная"].

==== 236 ====

2024-09-06, семинар 1: в начале семинара рассмотрели основные понятия и определения для решения задач. Решили задачи 1.1, 1.6, 3.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-13, семинар 2: нашли ожидание случайной величины с геом. распределением. Решили задачи 2.1, 12.6, 12.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-09-20, семинар 3: решили задачи 7.12, 7.4(а), 7.7, 7.13(а) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-09-27, семинар 4: разобрали 7.13, почти разобрали 28.3 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Также рассмотрели один контрпример на независимость(тетраэдр Бернштейна).

2024-10-04, семинар 5: разобрались с определениями, решили 9.3(абв), 9.7(аб) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Решили задачку про три точки на отрезке и найти вероятность получить треугольник. Также вывели формулу для мат. ожидания неотрицательной величины через функцию распределения.

2024-10-14, семинар 6: обсудили дисперсию, ковариацию, коэффициент корреляции и их геометрический смысл. Решили задачу на оценку дисперсии ограниченной величины. посчитали дисперсию геометрического, биномиального. Посчитали дисперсию в задаче о письмах и конвертах.

???, семинар 7: определили энтропию, посчитали примеры для дискретных величин, для линейных преобразований. Доказали, что задача максимизации энтропии с фиксированной дисперсией достигается на нормальном распределении.

???, семинар 8: свертка двух экспоненциальных, 16.18 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

???, семинар 9: задачи на пуассоновский процесс из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

???, семинар 10: разбор кр.

???, семинар 11: разобрали задачи на нормальное распределение 18.1, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Также считали распределение суммы двух независимых нормальных.

==== 237 ====

2024-09-09, семинар 1: задачи 1.1, 2.2 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], вероятность что n ладей не бьют друг друга при случайной расстановке на шахматной доске n на n, матожидание числа треугольников в случайном графе на n вершинах через сумму индикаторов

2024-09-13, семинар 2: задачи 2.1, 2.6, 12.3, 12.6, 12.7 (без дисперсий) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-23, семинар 3: задачи 7.2, 7.13, 7.7, 7.8, плюс начали 7.15b (получили неверный ответ) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-27, семинар 4: дорешали 7.15b с небольшой демонстрацией на питоне, разобрали 28.2 для нечестной монетки плюс посчитали матожидание [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-10-04, семинар 5: задачи 9.1, 9.3абв, 9.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], философия про то почему бОльшая плотность не всегда означает бОльшую вероятность оказаться в окрестности данной точки (плотность может занимать слишком маленький объем)

2024-10-11, семинар 6: вспомнили определения Cov/Var/Corr, посчитали у пары дискретных величин по табличке вероятностей, посчитали дисперсию у биномиального, геометрического, непрерывного равномерного на отрезке.

2024-10-18, семинар 7: вычисление энтропии геометрического распределения; ограниченность энтропии снизу и сверху в дискретном случае; изменение энтропии при линейном преобразовании для дискретной величины и величины с функцией плотности; условная энтропия, KL дивергенция и кросс-энтропия, неотрицательность KL, интерпретация на пальцах с точки зрения теории информации.

2024-11-01, семинар 8: 16.18, 16.23 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], свёртка двух экспоненциальных величин

2024-11-08, семинар 9: решали пробный вариант КР

2024-11-15, семинар 10: 13.1, 13.2, 13.5, 13.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-11-22, семинар 11: разбор КР

2024-11-29, семинар 12: нормальное распределение, 18.1, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-06, семинар 13: многомерное нормальное распределение, изменение среднего и матрицы ковариаций при линейном преобразовании, 24.4а, 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-13, семинар 14: 24.4в из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], сходимости случайных величин, ЗБЧ и ЦПТ, 20.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-21, семинар 15: наследование сходимости, 20.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], плюс доказали предельную теорему Пуассона

2025-01-28, семинар 16: связь между сходимостями, 20.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], лемма Слуцкого, подмена дисперсии на выборочную дисперсию в ЦПТ

2025-02-04, семинар 17: базовые свойства хар функций, хар функция суммы независимых величин, 28.17, 28.20 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-18, семинар 18: вероятностное пространство в общем случае, сигма-алгебры, борелевская сигма-алгебра, сигма-алгебра порожденная случайной величиной, измеримость случайной величины относительно сигма-алгебры, 6.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], задачи на сигма алгебры из пробника КР

2025-02-25, семинар 19: условное матожидание относительно сигма алгебры, условное матожидание и дисперсия относительно случайной величины, закон полного матожидания и закон полной дисперсии, 22.1, 22.3, 22.5абв из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-03-04, семинар 20: показали, что условное матожидание минимизирует среднеквадратичный риск; нашли условное матожидание и условную дисперсию в 22.6 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], нашли E[X | X^2] для симметричного равномерного распределения, нашли E[X_1 | X_1 + ... + X_n] для набора i.i.d. величин, нашли E[Y] и Var(Y) для Y|X имеющего экспоненциальное распределение с параметром X

2025-03-11, семинар 21: мартингалы, момент остановки, теорема Дуба об остановке, задача о разорении игрока для честного и нечестного казино, вероятность выигрыша и вероятность разорения

2025-03-11, семинар 22: матожидание времени до момента остановки в задаче о разорении игрока, теорема Бертрана о выборах

==== 239 ====

2024-09-03, семинар 1: задачи 1.1, 1.4, пытались 1.8 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Ещё успели посчитать вероятность N=k бросков монеты до выпадения первого орла, матожидание N. И ещё сделали то же для количества бросков до выпадения 3 орлов (не в серии).

2024-09-10, семинар 2: доказали формулу включения-исключения, решили несложную задачу, порешали 2.7 задачи типа 12.*

2024-09-17, семинар 3: Решили две прямых задачи на формулу Байеса и формулу полной вероятности (без большого количества вычислений). Решили задачу поиска вероятности неисправного кофе-автомата из 3 при условии, что бросили деньги в 1 и 2 и их зажевало. Ещё нашли вероятность, что мяч будет у игрока 3 после шага 10 (все садятся в круг и на каждом шаге бросают мяч соседу с вероятностью 0.3 и оставляют у себя с вероятностью 0.4).

2024-09-24, семинар 4: Вспомнили про метод первого шага, используя формулу полной вероятности и введя в некотором виде формулу полного матожидания, записали формулу для вероятностей нахождения в состоянии i через произведение переходной матрицы на вектор. Совсем немного начали производящие функции, но решили не считать 31ю производную многочлена.

2024-10-01, семинар 5: Исследуем дискретные случайные величины (Биномиальная, Геометрическая и разные похожие) с использованием техник вычислений моментов через производящую функцию. Задачи на распределения величин, посчитанных по набору величин. Первая большая задача про плотность.

2024-10-08, семинар 6: разминочная про плотность и функцию распределения. Считаем дисперсию, ковариацию и корреляцию по 2x2 таблице и в равномерном распределении на круге и квадрате [-1,1]х[-1,1].

2024-10-15, семинар 7: пара задач про экспоненциальное распределение, расчёты по теории информации(считаем всякое, чтобы привыкнуть).

2024-10-22, семинар 8: письменные источники не сохранились до наших дней. Согласно преданиям, оьсуждали двери и около контрольной. Говорят, ввели пуассоновский процесс.

2024-???, семинар 9: решаем задачи на пуассоновское в разных формах и обсуждаем омалые в порядковых статистиках.

2024-???, семинар 10: учимся интерпретироввть гауссовское, пользоваться таблицами для функции Лапласа, а также немного работать с многомерным гауссовским.

2024-3-12, семинар 11: Копаем во все стороны многомерное гауссовское: считаем вероятности для линейных комбинаций гауссовских, проверяем зависимость, вычисляем условные законы, матожидания и ковариационные матрицы, вспоминаем спектральное разложение и разложение Холецкого.

==== 2311 ====

2024-09-06, семинар 1: вероятностное пространство, вероятность на нем, вероятность события, случайная величина и ее распределение (индикатор события, сумма двух кубиков, число бросаний монетки до первого орла), матожидание случайной величины (индикатор, один кубик, два кубика), линейность матожидания. Задачи на линейность матожидания, в том числе ЕГЭшная задача про турнир, 1.5, 3.5 с допвопросом о матожидании числа совпадений. Разговор о получении события произвольной вероятности монеткой в контексте 1.8

2024-09-13, семинар 2: Повторили матожидание суммы на примере 12.3. Обсудили условную вероятность и формулу полной вероятности, условное матожидание, решили задачи на метод первого шага 2.1, 2.3, 2.7.

2024-09-20, семинар 3: Условная вероятность, формула полной вероятности, формула Байеса: 7.1, классическая задача про болезни и тесты, простейшие задачки на общее понимание, обсуждение двух подходов: вычисления условной вероятности по формуле и составления нового вероятностного пространства и подсчет вероятности в нем. Независимые события (события "пики" и "дама" в обычной колоде и колоде с джокерами), независимые в совокупности события, построили пример попарно независимых, но не независимых в совокупности. Обсудили биномиальное распределение. решили задачу: "в корабле к отсеков, чтобы корабль затонул, нужно поразить 2. Независимо выпускают n ракет, каждая из которых поражает случайный отсек с вероятностью p. Найти вероятность потопления корабля"

2024-09-20, семинар 4: Примеры одинаково распределенных зависимых СВ, независимые СВ. Производящая функция и ее свойства. Посчитали для биномиального производящую функцию и второй момент. Обсудили, что будет меняться в случае функции, производящей моменты. Обсудили функцию, производящую множество исходов, как из нее доставать уже известные функции, как ее искать на примере бросания монетки до выпадания HT

2024-10-11, семинар 5: Составили табличку стандартных дискретных распределений, посчитали матожидание геометрического, обсудили дисперсию и ковариацию и их свойства (в дискретном случае), досчитали дисперсии основных распределений. Обсудили вероятностное пространство в общем случае, понятие СВ в общем случае. Дали определение ФР, посчитали ФР для явно заданной СВ. Дали определение плотности.

2024-10-12, семинар 6: Обсудили свойства ФР, как считать вероятность попадания в промежуток в терминах ФР. Выразили ФР 1/X, cos X. Обсудили как выражается веротяность попадания в множество через плотность. для 1/Х выразили плотность в случае абсолютной непрерывности Х. Обсудили формулу для МО в общем виде через интеграл Стильтьеса и как вычислять МО для функции, разлагающейся в сумму абсолютно нерпрерывной и функции скачков, посчитали МО для пары таких СВ

2024-10-18, семинар 7: Обсудили геометрию, заданную скалярным произведением EXY и cov(X,Y), поиск ортогонального элемента и проекции. Посчитали энтропию и кросс-энтропию в дискретном и непрерывном случаях, посчиали совместную и условную энтропию в дискретном случае (23.2, 23.4, 23.9)

2024-11-01, семинар 9: Совместная плотность и ф.р., подсчет вероятностей, маргинальные плотности, замена переменной через якобиан, свертка, матожидание

2024-11-09, семинар 10: Условная плотность, формула условной вероятности. Задача на восстановление маргинальной плотности по условной. Разбор задач из "Летучей мыши"

2024-11-19, семинар 11: Разбор контрольной работы

2024-11-22, семинар 12: Пуассоновский поток - решали задачки из задачника

2024-11-29, семинар 13: Нормальное распределение - задачи из PP, повторили функцию, порождающую моменты, обсудили ее свойства в абсолютно непрерывном случае

2024-12-06, семинар 14: Многомерное нормальное - обсудили два определения, связь между ними, независимость элементов нормального вектора при нулевой ковариации и почему это неверно для произвольных нормальных. порешали задачи 24.9а, 24.10, 24.17

2024-12-013, семинар 15: ЦПТ, решали задачи из задачника

2025-01-17, семинар 16: Сходимости почти наверное и по вероятности, связь со сходимостью по распределению. Посмотрели стандартные контрпримеры, показали, что если есть сходимость по распределению к константе, то есть и по вероятности. ЗБЧ Чебышева и Хинчина, УЗБЧ Колмогорова, обсудили 20.1 сколько успели.

2025-01-24, семинар 17: Сходимость в L_p, связи между сходимостями. Задача 20.11

2025-01-24, семинар 18: Характеристические функции и их свойства. Посчитали хар функции для равномерного, Бернулли, биномиального, Пуассона, экспоненциального. Показали, чо сумма нормальных нормальна. По функции пытались понять, может ли она быть характеристической и восстанавливали с.в.

==== 2310, 2312 ====

2024-09-06, семинар 1: задача 1.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Определили вероятностное пространство в виде тройки, множество исходов рассматривали конечное и счётное. Решили 3 счётные задачи на комбинаторику про колоды карт и счетные последовательности цифр. Привели геометрическое и аналитическое решения задачи про нахождение предела последовательности вероятностей. В конце нашли математическое ожидание геометрически распределённой случайной величины.

2024-09-13, семинар 2: задача 2.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Задача на упорядоченные и неупорядоченные наборы. Задача про классическое вероятностное пространство и про пространство с неравновероятными исходами. Разобрали парадокс Монти Холла. Ввели понятия условной вероятности и независимых случайных величин. Сформулировали и обсудили идеи доказательств трёх теорем: теорема умножения вероятностей, формула полной вероятности и формула Байеса.

2024-09-20, семинар 3: Решили задачу на определение условной вероятности. Обсудили парадокс теоремы Байеса на примере задачи про редкое заболевание, а также посмотрели простую программу на Python, которая считает вероятность в зависимости от количества проведенных тестов на заболевание. Обсудили условное математическое ожидание, некоторые его свойства и рассмотрели пример с подбрасыванием кубика. В конце решили задачу на парадокс дней рождений.

2024-09-27, семинар 4: Обсудили коллизии хеш-функций и связь с атакой "дней рождений". Определили независимость или зависимость случайных величин в четырёх разных вариантах. Обсудили, что неверно утверждать, что матожидание частного независимых случайных величин равно частному матожиданий, также привели пример использования подобного факта в некоторых статьях. В конце решили задачу на поиск функции производящей исходы, а также нашли E(X), E(Y^2), E(XY) с помощью найденной функции.

2024-10-04, семинар 5: Решили две простые задачи на условную вероятность и на теорему об умножении вероятностей. Обсудили связь дерева событий с условной вероятностью и теоремой об умножении вероятностей. Нашли производящую функцию моментов для геометрически распределенной случайной величины и с помощью нее нашли матожидание. Нашли производящую функцию моментов и матожидание суммы случайного количества н.о.р случайных величин.

2024-10-11, семинар 6: Привели аналогии между дискретными и непрерывными случайными величинами. Нарисовали графики функций от случайных величин. Вспомнили определение и свойства дисперсии. Решили простую задачу на подсчет дисперсии и нашли дисперсию геометрически распределенной случайной величины. Обсудили, когда может быть матожидание и дисперсия бесконечны. Далее вспомнили неравенства Маркова и Чебышева, вывели следствия и решили 3 задачи на применение этих неравенств. Обсудили, что неравенство Маркова может давать как точную оценку, так и очень слабую. Показали, что неотрицательность случайной величины в неравенстве Маркова является существенным условием.

2024-10-11, семинар 7: Повторили понятия энтропии в битах и натах, а также понятие дифференциальной энтропии. Нашли энтропию в схеме Бернулли и энтропии геометрического и экспоненциального распределений. Доказали простую оценку сверху для энтропии случайной величины, имеющей конечный носитель мощности n.

2024-11-1, семинар 8: Разобрали демо-вариант контрольной работы "Тыква".

2024-11-8, семинар 9: Разобрали демо-вариант контрольной работы "Летучая мышь".

2024-11-15, семинар 10: Понятие случайного процесса. Определение пуассоновского процесса, его свойства. Три простые задачи на пуассоновское распределение. Задачи 13.1 и 13.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-11-22, семинар 11: Определения Бета-функции и Гамма-функции. Бета и Гамма распределения, их функции плотности и графики. Нахождение моды случайных величин, имеющих Бета и Гамма распределения. Связь пуассоновского процесса с Гамма распределением. В конце нашли производящую функцию моментов Гамма распределения.

2024-11-29, семинар 12: Задачи 18.1, 18.2 и 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-12-06, семинар 13: Нашли многомерное нормальное распределение по виду функции плотности (константа на экспоненту с квадратичным показателем). С помощью формулы Иссерлиса нашли матожидания произведений различных или одинаковых случайных величин, имеющих многомерное нормальное распределение. Нашли условную вероятность многомерного распределения. Задача 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-12-13, семинар 14: Повторили определение сходимости по распределению и центральную предельную теорему. Решили задачи 20.2 и 20.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

== Источники ==

Источники мудрости, которые я постарался не замутить :)

[https://arxiv.org/pdf/1411.5279 WTSK]: Tim Hesterberg, What Teachers Should Know About the Bootstrap: вкусное и доступное изложение бутстрэпа и перестановочных тестов.

[https://projects.iq.harvard.edu/stat110/home BItP]: Blitzstein, Hwang, Introduction to Probability: учебник, записи лекций, гарвардский курс.

Теория вероятностей 2024/25 (основной поток)

2025-03-04T16:14:44Z

Nmorozov:

= Преподаватели и учебные ассистенты =

{| class="wikitable" style="text-align:center"
|-
! Группа !! БПМИ235 !! БПМИ236 !! БПМИ237 !! БПМИ238 !! БПМИ239 !! БПМИ2310 !! БПМИ2311 !! БПМИ2312
|-
|| Лектор ||colspan="11"| [https://t.me/boris_demeshev Борис Демешев]
|-
|| Семинарист || [https://t.me/boris_demeshev Борис Демешев] || [https://t.me/levensons Илья Левин] || [https://t.me/madn_boi Никита Морозов] || [https://t.me/boris_demeshev Борис Демешев] || [https://t.me/XuMuK_MK Максим Каледин] || [https://t.me/goluba_yurieva Голуба Юрьева] || [https://t.me/Moskchan Вероника Владыкина] || [https://t.me/goluba_yurieva Голуба Юрьева]
|-
|| Ассистент || [https://t.me/nerhneiro Ира Скворцова] || [https://t.me/a_ameli_ig Амелия Алаева] || [https://t.me/htual Алина Бадахова] || [https://t.me/adelyagaraeva Аделя Гараева] || [https://t.me/mabrielka Мария Брель] || [https://t.me/zm_ann Анна Зыкова-Мызина] || [https://t.me/Yanlightv Яна Вежновец] || [https://t.me/nol_erk Кирилл Лавриненко]
|-
|| Ассистент курса ||colspan="11"| [https://t.me/Nick_Volya Никита Волянский]
|}

== Цели и задачи курса ==

侍には目標がなく道しかない [Samurai niwa mokuhyō ga naku michi shikanai]

У самурая нет цели и ничего кроме пути.

Вероятный план:
<div class="mw-collapsible mw-collapsed" style="width:1000px; overflow: hidden;">
1. Дискретное вероятностное пространство. Вероятность, математическое ожидание, теоретическая медиана.
Перестановочные тесты, p-значение для перестановочного теста.
Математическое ожидание = центр масс.

NB: здесь сходу рисуем дерево
NB: здесь нет задач на условную вероятность

!предупреждение об обозначениях случайных величин.
Российская традиция — греческие буквы, американская традиция — заглавные английские буквы.
Наш курс: любые буквы. Причина: теория вероятностей применяется в разных областях, где свои традиции.

NB: Способы вычисления вероятностей и ожиданий:
* полный перебор руками
* примерные вычисления руками
* полный перебор на компьютере
* симуляции на компьютере
* ...

2.
Методы решения задач:
* разложение величины в сумму
* метод первого шага
!идея: позиция в игре имеет цену
* just for fun: метод рычага в геометрии через ожидание
NB: рассказать здесь про комплексную случайную величину
NB: по сути здесь мы уже решаем задачи на марковские цепи не говоря страшных определений
LOTUS.

3. Условная вероятность и условное ожидание.
!идея: зануляем вероятности невозможных событий, а остальные — масштабируем.
формула полной вероятности
!идея: дерево "помнит" формулу полной вероятности
формула Байеса

Независимые события.
Независимые случайные величины.

4.
Методы решения задач:
* производящие функции многих переменных
функция как способ записать множество
HTT vs TTH
ABRACADABRA
!разложение по биномиальной формуле

?: можно здесь успеть функцию производящую моменты

5.
Биномиальное распределение.
Геометрическое и гипергеометрическое распределения.
Отрицательное биномиальное распределение.

6.
Равномерное распределение на множестве в R^n
Функция распределения.
Функция плотности и вероятностная дифференциальная форма.
!пояснение про неудачную традиционную терминологию "непрерывная случайная величина"
величина с функцией плотности, величина с непрерывной функцией распределения.

Квантили, квантильная функция.

7. Характеристики случайных величин и неравенства.
Дисперсия.
Энтропия.
Неравенство Маркова.
Неравенство Чебышёва.
Неравенство Йенсена.

Здесь конец модуля 1 и КР-1!

8. Пуассоновский поток.
Аксиомы пуассоновского потока.
Вывод экспоненциального распределения и пуассоновского распределения из аксиом.
Вывод экспоненциального распределения из предпосылки об отсутсвии памяти.

9. Нормальное распределение.
Нормальное распределение: предпосылки Хершела-Максвелла.
Нормальное распределение: аргументация Гаусса за среднее арифметическое.
Нормальное распределение: предпосылки Лэндона (до уравнения в частных производных).

10. Классические непрерывные распределения.

Гамма-распределение, бета-распределение.
Вывод нормального и экспоненциального распредений как минимизации энтропии.

11. Парные характеристики случайных величин.
Наилучшая линейная аппроксимация.
Ковариация.
Корреляция.
Кросс-энтропия.

Доказательство E(XY) = E(X) E(Y) для дискретных.
Ковариационная матрица и ожидание для случайных векторов.

12. Совместная и условная функция плостности.
Преобразования случайных величин.

13. Функция производящая моменты и характеристическая функция.
Распределение суммы случайного количества случайных величин.
Случайный выбор слагаемых.

14. Финансовые приложения

Оценивание опционов на биномиальном дереве.
Максимизация долгосрочной прибыли, связь с энтропией.
Возможно, индексы Гиттинса.

Здесь конец модуля 2 и КР-2

15. Сигма-алгебры.

Список известных величин как способ описания информации.
Идея условного ожидания как оптимального прогноза.
Сигма-алгебра как способ описания информации.
Измеримость случайной величины относительно сигма-алгебры.
Сигма-алгебра как ОДЗ для вероятности.
Борелевская сигма-алгебра.
Независимые случайные величины второе определение.

16. Условное математическое ожидание.
Условная дисперсия.
Сумма случайного количества случайных величин.

17. Сходимости случайных величин.

Сходимость по вероятности.
Закон больших чисел.
Сходимость почти наверное.
Усилинный закон больших чисел.
Сходимость по распределению.

18. Связь сходимостей.
Лемма Слуцкого.

19. Центральная предельная теорема.
Доказательство через подмену слагаемых.
Доказательство через характеристические функции.

Здесь контрольная.

20. Винеровский процесс
Условные ожидания, инверсия.

21. Байесовский подход к оцениванию параметров

Балансовое уравнение. Идея MCMC.

22. Доказательства свойств меры

23. Алгоритм построения математического ожидания в общем случае.
Лемма Фату.
Теорема о мажорируемой сходимости.
Теорема о монотонной сходимости.

24. Резерв.

Жемчужинки, которые, вероятно, не успеем:

А. Методы решения задач:
подсчёт случаев с помощью леммы Бернсайда и теоремы Пойа о перечислении
(Burnside lemma, PET = Polya Enumeration Theorem)

B. вероятностные доказательства детерминистических теорем

</div>

== Оценивание ==

Оценка за семестр-1 = 0.2 Домашние задания семестра-1 + 0.4 Контрольная-Альфа + 0.4 Экзамен-Бета.

Финальная оценка за курс = 0.5 Оценка за семестр-1 + 0.1 Домашние задания семестра-2 + 0.2 Контрольная-Гамма + 0.2 Экзамен-Дельта.

Каждая оценка (суммарные итоги за домашние задания, контрольные, экзамены) — целое число от 0 до 100.
Для перевода в 10-балльную шкалу промежуточной оценки за семестр-1 и финальной оценки используется деление на 10
с арифметическим округлением. Например, если Максим получил "оценку за семестр-1" 65 баллов, то в ведомость за первый семестр идёт 7, а далее в формуле финальной оценки за курс используется 65.

=== Домашние задания для самураев ===

Домашние задания [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/home_assignments/home_assignments.pdf одним файлом] и [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/blob/main/home_assignments/ отдельными файлами].
Домашние задания имеют равный вес.
В конце каждой лекции (за исключением ближайших к экзамену лекций)
выдается домашнее задание сроком на две недели.
Дедлайн жёсткий, однако студент имеет право просрочить три домашних задания на неделю каждое без штрафа.

Формат сдачи ДЗ: один pdf-файл (решение текстовых задач) и один ipynb-файл (решение компьютерных задач).
В pdf-файл можно поместить аккуратно написанное отсканированное решение, а можно скомпилировать pdf из теха или маркдауна.
Ещё можно вместо pdf-файла написать всё в ipynb.
Бонусов за сдачу домашки в техе нет. Пример [https://www.overleaf.com/read/qmrkwpzvmqbk шаблона].

Обратите внимание: '''время каждого дедлайна — 23:59'''.

=== Ведомость с оценками за ДЗ ===

{| class="wikitable" style="text-align:center"
|-
! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1872081500#gid=1872081500 235] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1374497930#gid=1374497930 236] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1183164252#gid=1183164252 237] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=408179311#gid=408179311 238] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1032422408#gid=1032422408 239] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1603236891#gid=1603236891 2310] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=791330236#gid=791330236 2311] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=23847300#gid=23847300 2312]
|}

[https://docs.google.com/spreadsheets/d/14hD7-SLmAA1omdkhPlt3blRHDHVGTDS8ZgvLWscvMz8/edit?usp=sharing Сводная ведомость всех оценок]

=== Контрольные работы и экзамен ===

Вес каждой задачи будет написан в тексте работы.
Задачи с ненаписанным по случайности весом имеют равный вес.
Для пропущенных по уважительной причине контрольных будет выделен один день для переписывания.
При пропуске дня переписывания, в том числе по уважительным причинам, ещё одного шанса не предоставляется.

<div class="mw-collapsible mw-collapsed" style="width:1000px; overflow: hidden;">

'''Контрольная работа 1''' состоится 2024-11-11 в 16:20, аудитории: R401, R305, R206, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_halloween_demo/exam_halloween_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/midterm/midterm-alpha.pdf условие с критериями и решениями].

'''Резервный день 1''' для пропустивших по уважительной причине состоится 2024-12-02 в 19:40, R405

'''Показ контрольной 1''':

* задачи 1, 2: заочно до 2024-12-08, [https://t.me/Moskchan Вероника]
* задачи 3, 4 [https://t.me/boris_demeshev Борис], очно, четверг, 2024-12-05, 18:10-21:00, G408
* задачи 5, 6 [https://t.me/XuMuK_MK Максим]: очно, четверг, 2024-12-05, 18:10-21:00, G408

'''Экзамен, модуль 2''' состоится '''''2024-12-24 в 10:00''''', аудитории R301, R304, R401, R404, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_winter_demo/exam_winter_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/december/pmi_probab_2024_december.pdf условие].

Если вы не хотите идти на экзамен, то заполните [https://forms.gle/UQzW77RrPvcdahG47 эту форму], чтобы получить ноль при неявке

'''Апелляция экзамена''':

* задачи 1, 2: заочно [https://t.me/goluba_yurieva Голуба], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/december/exam_problem_1-2.pdf решения и критерии 1, 2];
* задачи 3, 4: очно 2025-01-11, аудитория R408, 14:40-17:40 [https://t.me/madn_boi Никита], [https://www.overleaf.com/read/dnhjcdrndqps#42f1ab решения и критерии 3, 4];
* задачи 5, 6: заочно [https://t.me/levensons Илья]

* дедлайн по заочным апелляциям: суббота 23:59

[https://docs.google.com/spreadsheets/d/1mxMCr3IEDy8EPFWGkn3_dsghhPNcZICEw9C9o5ZoZvA/edit?usp=sharing Распределение по аудиториям]

</div>

Даты пересдач: 2025-01-28 в 18:10, 2025-02-03 в 18:10 и комиссия 2025-02-11 в 18:10.

* задачи 1, 2: [https://t.me/goluba_yurieva Голуба], задачи 3, 4: [https://t.me/madn_boi Никита], задачи 5, 6: [https://t.me/levensons Илья], апелляция пересдачи 2 до 21:00 2025-02-10.

'''Контрольная, модуль 3''' состоится 2025-02-22 в 16:20, аудитории R201, R204, R404, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_galileo_demo/exam_galileo_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_galileo/pmi_probab_galileo_exam_2024-2025.pdf условие].

[https://docs.google.com/spreadsheets/d/1LZA-7TDz_yYeVPRx4BpBWJnQKZ7wqPgHDrN-Z0SM68M/edit?usp=sharing Распределение по аудиториям]

'''Контрольная, модуль 3, резервный день''': 2025-03-07, пятница, 18:10, G503

'''Экзамен, модуль 3''' состоится 2025-03-26 в 14:40, аудитории R301, R404, R405, R503, демо, условие.

== Учебные материалы ==

[https://github.com/bdemeshev/probability_pro/raw/master/probability_pro.pdf PP]: Листки с задачами к курсу.

[https://github.com/bdemeshev/probability_dna/raw/master/probability_dna.pdf PDNA]: Вероятностная ДНК = вкусные задачи по теории вероятностей.

[https://disk.yandex.ru/d/LZ6d2VZVqYvbDQ Видео-летопись семинаров и лекций] и [https://hse.liferooter.dev/ конспект] от тайного благожелателя (updated 2024-10-23]

[https://disk.yandex.ru/d/IoakBXz_6yygPw Официальные видео]

[https://www.cambridgeinternational.org/Images/344616-list-of-formulae-and-statistical-tables.pdf Cambridge statistical tables]

== Дневник самурая ==

2024-09-02, лекция 1: Определение события. Определение случайной величины. Аксиомы вероятности. Определение математического ожидания для дискретного случая.
Линейность математического ожидания. Математическое ожидание как центр масс. Первое знакомоство с перестановочным тестом и p-значением.

Можно глянуть: главы 2.1 и 7 из [https://arxiv.org/pdf/1411.5279 WTSK], метод рычага [https://mathcircle.berkeley.edu/sites/default/files/archivedocs/2007_2008/lectures/0708lecturespdf/MassPointsBMC07.pdf в геометрии].

2024-09-09, лекция 2: Метод первого шага (вероятность выпадения HTH ранее HHT, ожидаемое количество шагов). Метод разложения случайной величины в сумму. Определение случайного вектора. Использование интерпретации ожидания как центра масс в геометрии. Определение теоретической медианы.

Можно глянуть: глава 2.7.2 из [https://projects.iq.harvard.edu/stat110/home BItP], три стратегии решения задачи за 10 минут [https://www.youtube.com/watch?v=xH89DaEI35w Visually Explained]

2024-09-16, лекция 3: Получение новой информации приводит к пересчёту вероятностей. Определение условной вероятности. Формула полной вероятности. Формула Байеса.
Условное математическое ожидание. Формула полного математического ожидания. Независимость пары событий. Независимость набора событий в совокупности.
Независимость величин: неформальное определение. Критерий независимости произвольных величин. Критерий независимости дискретных величин.

2024-09-23, лекция 4: Доказательство критерия независимости для дискретных случайных величин: из независимости {X=x} и {Y=y} следует независимость {X in A} и {Y in B}. Независимость величин равносильна E(f(X))E(g(Y))=E(f(X)g(Y)) для произвольных f, g. Определение биномиальной, геометрической (как числа неудач до 1го успеха) и отрицательной биномиальной случайной величины. Общая идея за производящими функциями: как из функции, производящей исходы эксперимента, с помощью производных и подстановок выудить индивидуальные вероятности, совместные вероятности, ожидания любой степени E(X^a), E(X^a Y^b). Формальное определение функции, производящей вероятности, и функцию, производящей моменты, для одной случайной величины и пары случайных величин. Метатеорема: все теоремы о дискретных величинах доказываются перестановкой слагаемых. Основные дискретные распределения: биномиальное, геометрическое, отрицательное биномиальное.

2024-09-30, лекция 5: Ещё дискретные законы распределения: гипергеометрическое. Описание закона распределения через равномерное распределение на подмножестве R^n.
Функция плотности как линейная часть вероятности попадания в отрезок. Равномерное распределение на отрезке. Смешанные случайные величины. LOTUS: нахождение ожидания любой функции от случайной величины для величин с функцией плотности и смешанных величин. Функция распределения. Квантильная функция.

2024-10-07, лекция 6: Две геометрии случайных величин и событий: E(XY) как скалярное произведение, Cov(X, Y) как скалярное произведение. Математическое ожидание — проекция в рамках геометрии, задаваемой E(XY). Определение и геометрический смысл дисперсии, стандартного отклонения, ковариации и корреляции. Неравенство Маркова. Неравенство Чебышёва. Неравенство Йенсена: интуитивный смысл.

2024-10-14, лекция 7: Доказательство неравенства Йенсена. Энтропия как минимальное ожидаемое число вопросов для отгадывания и формальное определение. Кросс-энтропия.
Доказательство того, что кросс-энтропия больше либо равна энтропии. Совместная энтропия. Условная энтропия. Формула H(X) + H(Y|X) = H(X, Y) без доказательства.
Вывод плотности экспоненциального распределения из предпосылки отсутствия памяти. Экспоненциальное распределение максимизирует энтропию при заданном ожидании и неотрицательности.

* Cristopher Olah, Visual Information Theory, https://colah.github.io/posts/2015-09-Visual-Information/

* Grand Sanderson, Solving Wordle using information theory, [https://www.youtube.com/watch?v=v68zYyaEmEA youtube].

* Artem Kirsanov, Key equation behind probability, [https://www.youtube.com/watch?v=KHVR587oW8I youtube]. У Артёма кросс-энтропия обозначена H(P, Q), а не CE(P||Q)).

* [https://exuberant-arthropod-be8.notion.site/1-02-09-5e107ea1c4054594b8f37d955db8a2b0 Конспект] аналогичной старой лекции псмо на русском.

* Keith Conrad, [https://kconrad.math.uconn.edu/blurbs/analysis/entropypost.pdf Maximal entropy] distributions.

2024-10-21, лекция 8: Ковариационная матрица и её свойства. Совместная функция плотности. Условная функция плотности. Критерий независимости в терминах функций плотности и распределения.
Связь индивидуальной и совместной функций плотности и функций распределения. Смена плотности при замене переменных: домножение на якобиан и неформально про дифференциальные формы. Формула свёртки.
Разложение совместной плотности для графической модели. Представление произвольной совместной функции распределения с помощью копулы.

* Про дифференциальные формы: [https://www.youtube.com/watch?v=PaWj0WxUxGg&list=PL22w63XsKjqzQZtDZO_9s2HEMRJnaOTX7 videos] by Michael Penn, [https://www.math.purdue.edu/~arapura/preprints/diffforms.pdf short intro] by Dony Arapura

* What is a convolution от [https://www.youtube.com/watch?v=KuXjwB4LzSA 3b1b]

* From graphical models to [https://www.youtube.com/watch?v=yBc01ZeaFxw&list=PLISXH-iEM4JlFsAp7trKCWyxeO3M70QyJ Probabilistic ML]

2024-11-11, лекция 9: Пуассоновский поток: аксиомы. Вывод пуассоновского распределения количества событий и экспоненциального времени между событиями из аксиом.
Сумма независимых пуассоновских потоков — это пуассоновский поток (половина доказательства). Вероятность того, что одна экспоненциальная величина будет меньше другой, независимой.

2024-11-18, лекция 10: Гамма-распределение как сумма нескольких экспоненциальных: вывод плотности через вероятность попадания в малый отрезок.
Обобщение плотности на случай положительного параметра $a$. Гамма-функция. Бета-распределение как отношение гамма-распределений. Бета-функция.

2024-11-25, лекция 11: Вывод нормального распределения из предпосылок Гаусса. Вывод нормального распределения из предпосылок Гершеля — Максвелла.

* Saul Stahl, The [https://www.researchgate.net/publication/255668423_The_Evolution_of_the_Normal_Distribution Evolution] of the Normal Distribution: вывод Гаусса с историей.

* Grand Sanderson, [https://www.youtube.com/watch?v=cy8r7WSuT1I Why pi] is in the normal? вывод Гершеля—Максвелла

* James Stein, [http://www-biba.inrialpes.fr/Jaynes/cc07s.pdf Normal Distribution]: глава про нормальное распределение (Гаусс, Гершель—Максвелл, Лэндон etc)

* William Herschel, [https://music.yandex.com/album/209394/track/2121214 концерт для габоя]

* William Herschel, [https://www.informationphilosopher.com/solutions/scientists/quetelet/Herschel_Quetelet_Probabilities.pdf On the theory of Probabilities]: вывод нормального распределения словами на стр. 189-191

2024-12-02, лекция 12: многомерное нормальное распределение. Функция плотности невырожденного многомерного нормального. Функция производящая моменты для многомерного нормального. Формула Иссерлиса с ненулевыми ожиданиями и доказательством. Условное распределение: вывод условного ожидания и условной дисперсии через разложение величины в сумму независимых.

* [https://stats.stackexchange.com/questions/30588/ альтернативный вывод] условного многомерного нормального распределения
* Хитрый [https://github.com/bdemeshev/lis-isserlis/raw/main/lis-isserlis.pdf лис Иссерлис]

2024-12-09, лекция 13: сходимость по распределению, центральная предельная теорема с доказательством подменой слагаемых.

* Calvin Chin [https://arxiv.org/pdf/2106.00871 CLT proof] by swapping
* [https://bdemeshev.github.io/teaching_notes/clt_by_swapping Пересказ доказательства]

2024-12-16, лекция 14: использование бесконечно малых при нахождении ожиданий, трюк с добавление параметра, трюк с закольцовыванием отрезка при равномерном распределении.

2025-01-13, лекция 15: Неединственность предела по распределению. Неаддитивность предела по распределению. Предел по вероятности. Закон больших чисел в слабой форме (с доказательством при дополнительной предпосылке о конечности дисперсии). Теорема о непрерывном отображении.

2025-01-20, лекция 16: два определение сходимости почти наверное с доказательством эквивалентности. Сходимость в Lp. Из сходимости в Lp при p>=1 следует сходимость по вероятности. Из сходимости почти наверное следует сходимость по вероятностям. Контр-пример к разнице сходимостей почти наверное и по вероятности. Контр-пример к разнице сходимостей в Lp и по вероятности. Усиленный закон больших чисел (без доказательства). Леммы Слуцкого (без доказательства).

2025-01-27, лекция 17: характеристические функции и их свойства. Вывод характеристической функции нормального стандартного распределения через дифференциальное уравнение. Характеристическая функция биномиального распредеделения. Второе доказательство ЦПТ (через характеристические функции).

* [https://web.ma.utexas.edu/users/gordanz/notes/characteristic.pdf Gordan Zitkovic]: characteristic functions
* [https://sas.uwaterloo.ca/~dlmcleis/s901/chapt6.pdf McLeish]: clt proof

2025-02-03, лекция 18: пример последовательности сходящийся по вероятности с ожиданием стремящимся к бесконечности. Критерий Кэлли. Критерий оптимальной остановки Брасса.

* [https://en.wikipedia.org/wiki/Kelly_criterion wikipedia]: Kelly criterion
* [https://projecteuclid.org/journalArticle/Download?urlId=10.1214%2Faop%2F1019160340 Bruss]: sum the odds to one and stop

2025-02-10 лекция 19: Сигма-алгебра порождённая случайной величиной или набором из нескольких случайных величин. Замкнутость относительно счётного количества операций с множествами. Сигма-алгебра. Объединение сигма-алгебр не всегда сигма-алгебра. Пересечение сигма-алгебр всегда сигма-алгебра. Измеримость суммы. Борелевская сигма-алгебра.

2025-02-18, лекция 20: [https://us06web.zoom.us/j/82685613040?pwd=bqJoXGItwNOOWddXj1flfmPmDn6fMQ.1 онлайн, 18:10]

=== Семинары ===

==== 473 = 235 + 238 ====

2024-09-02, 06, семинар 1: задачи 1.1, 1.6, 3.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-09, 13, семинар 2: задачи 2.1, 2.3, 12.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-16, 20, семинар 3: задачи 7.12 и 7.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-23, 27, семинар 4: как извлечь P(X=3), E(X), E(X^2Y) из функции, производящей список исходов, 28.16 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-30, -10-04, семинар 5: 9.3в, 9.4, 9.7(абвд, кроме дисперсии, аргументы масштабирования и центра масс помимо интегралов), 9.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-10-07, 11, семинар 6: вычисление Cov, Var, Corr по табличке и из функции плотности, нахождение дисперсии для отрицательного биномиального распределения по свойствам.

2024-10-14, 18, семинар 7: вычисление энтропии геометрического распределения. Изменение энтропии при линейном преобразовании для дискретной величины и величины с функцией плотности.
Кросс-энтропия из экспоненциального в равномерное. Условная энтропия для дискретной таблички. Связь энтропии величины с функцией плотности и энтропия дискретной версии этой случайной величины после "огрубления" с малым шагом 1/k.

2024-10-21, -11-01, семинар 8: 16.18, 16.23 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], свёртка двух экспоненциальных величин

2024-11-11, 15, семинар 9: задачи на пуассоновский поток из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-11-18, 22, семинар 10: задачи на бета и гамма-распределение

2024-11-25, 29, семинар 11: задачи на нормальное распределение, 18.1, 18.2, 18.3, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-02, 06, семинар 12: задачи на многомерное нормальное: 24.16аб, 24.17аб, 24.18, 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-09, 13, семинар 13: ЦПТ и нормальное распределение: 20.2, 20.4, 18.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-19, семинар 14: разбор демо

2025-01-13, семинар 15: сходимость по вероятности: 20.1, 20.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-20, 24, семинар 16: связь между сходимостями, 20.11, 20.13 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-27, 31, семинар 17: 28.17, 28.18, 28.21 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-03, 07, семинар 18: 28.20аб, 28.22 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-10, 17, семинар 19: 6.2, 6.3, 6.11, измеримость произведения из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

==== 236 ====

2024-09-06, семинар 1: в начале семинара рассмотрели основные понятия и определения для решения задач. Решили задачи 1.1, 1.6, 3.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-13, семинар 2: нашли ожидание случайной величины с геом. распределением. Решили задачи 2.1, 12.6, 12.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-09-20, семинар 3: решили задачи 7.12, 7.4(а), 7.7, 7.13(а) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-09-27, семинар 4: разобрали 7.13, почти разобрали 28.3 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Также рассмотрели один контрпример на независимость(тетраэдр Бернштейна).

2024-10-04, семинар 5: разобрались с определениями, решили 9.3(абв), 9.7(аб) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Решили задачку про три точки на отрезке и найти вероятность получить треугольник. Также вывели формулу для мат. ожидания неотрицательной величины через функцию распределения.

2024-10-14, семинар 6: обсудили дисперсию, ковариацию, коэффициент корреляции и их геометрический смысл. Решили задачу на оценку дисперсии ограниченной величины. посчитали дисперсию геометрического, биномиального. Посчитали дисперсию в задаче о письмах и конвертах.

???, семинар 7: определили энтропию, посчитали примеры для дискретных величин, для линейных преобразований. Доказали, что задача максимизации энтропии с фиксированной дисперсией достигается на нормальном распределении.

???, семинар 8: свертка двух экспоненциальных, 16.18 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

???, семинар 9: задачи на пуассоновский процесс из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

???, семинар 10: разбор кр.

???, семинар 11: разобрали задачи на нормальное распределение 18.1, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Также считали распределение суммы двух независимых нормальных.

==== 237 ====

2024-09-09, семинар 1: задачи 1.1, 2.2 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], вероятность что n ладей не бьют друг друга при случайной расстановке на шахматной доске n на n, матожидание числа треугольников в случайном графе на n вершинах через сумму индикаторов

2024-09-13, семинар 2: задачи 2.1, 2.6, 12.3, 12.6, 12.7 (без дисперсий) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-23, семинар 3: задачи 7.2, 7.13, 7.7, 7.8, плюс начали 7.15b (получили неверный ответ) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-27, семинар 4: дорешали 7.15b с небольшой демонстрацией на питоне, разобрали 28.2 для нечестной монетки плюс посчитали матожидание [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-10-04, семинар 5: задачи 9.1, 9.3абв, 9.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], философия про то почему бОльшая плотность не всегда означает бОльшую вероятность оказаться в окрестности данной точки (плотность может занимать слишком маленький объем)

2024-10-11, семинар 6: вспомнили определения Cov/Var/Corr, посчитали у пары дискретных величин по табличке вероятностей, посчитали дисперсию у биномиального, геометрического, непрерывного равномерного на отрезке.

2024-10-18, семинар 7: вычисление энтропии геометрического распределения; ограниченность энтропии снизу и сверху в дискретном случае; изменение энтропии при линейном преобразовании для дискретной величины и величины с функцией плотности; условная энтропия, KL дивергенция и кросс-энтропия, неотрицательность KL, интерпретация на пальцах с точки зрения теории информации.

2024-11-01, семинар 8: 16.18, 16.23 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], свёртка двух экспоненциальных величин

2024-11-08, семинар 9: решали пробный вариант КР

2024-11-15, семинар 10: 13.1, 13.2, 13.5, 13.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-11-22, семинар 11: разбор КР

2024-11-29, семинар 12: нормальное распределение, 18.1, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-06, семинар 13: многомерное нормальное распределение, изменение среднего и матрицы ковариаций при линейном преобразовании, 24.4а, 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-13, семинар 14: 24.4в из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], сходимости случайных величин, ЗБЧ и ЦПТ, 20.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-21, семинар 15: наследование сходимости, 20.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], плюс доказали предельную теорему Пуассона

2025-01-28, семинар 16: связь между сходимостями, 20.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], лемма Слуцкого, подмена дисперсии на выборочную дисперсию в ЦПТ

2025-02-04, семинар 17: базовые свойства хар функций, хар функция суммы независимых величин, 28.17, 28.20 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-18, семинар 18: вероятностное пространство в общем случае, сигма-алгебры, борелевская сигма-алгебра, сигма-алгебра порожденная случайной величиной, измеримость случайной величины относительно сигма-алгебры, 6.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], задачи на сигма алгебры из пробника КР

2025-02-25, семинар 19: условное матожидание относительно сигма алгебры, условное матожидание и дисперсия относительно случайной величины, закон полного матожидания и закон полной дисперсии, 22.1, 22.3, 22.5абв из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-03-04, семинар 20: показали, что условное матожидание минимизирует среднеквадратичный риск; нашли условное матожидание и условную дисперсию в 22.6 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], нашли E[X | X^2] для симметричного равномерного распределения, нашли E[X_1 | X_1 + ... + X_n] для набора i.i.d. величин, нашли E[Y] и Var(Y) для Y|X имеющего экспоненциальное распределение с параметром X

==== 239 ====

2024-09-03, семинар 1: задачи 1.1, 1.4, пытались 1.8 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Ещё успели посчитать вероятность N=k бросков монеты до выпадения первого орла, матожидание N. И ещё сделали то же для количества бросков до выпадения 3 орлов (не в серии).

2024-09-10, семинар 2: доказали формулу включения-исключения, решили несложную задачу, порешали 2.7 задачи типа 12.*

2024-09-17, семинар 3: Решили две прямых задачи на формулу Байеса и формулу полной вероятности (без большого количества вычислений). Решили задачу поиска вероятности неисправного кофе-автомата из 3 при условии, что бросили деньги в 1 и 2 и их зажевало. Ещё нашли вероятность, что мяч будет у игрока 3 после шага 10 (все садятся в круг и на каждом шаге бросают мяч соседу с вероятностью 0.3 и оставляют у себя с вероятностью 0.4).

2024-09-24, семинар 4: Вспомнили про метод первого шага, используя формулу полной вероятности и введя в некотором виде формулу полного матожидания, записали формулу для вероятностей нахождения в состоянии i через произведение переходной матрицы на вектор. Совсем немного начали производящие функции, но решили не считать 31ю производную многочлена.

2024-10-01, семинар 5: Исследуем дискретные случайные величины (Биномиальная, Геометрическая и разные похожие) с использованием техник вычислений моментов через производящую функцию. Задачи на распределения величин, посчитанных по набору величин. Первая большая задача про плотность.

2024-10-08, семинар 6: разминочная про плотность и функцию распределения. Считаем дисперсию, ковариацию и корреляцию по 2x2 таблице и в равномерном распределении на круге и квадрате [-1,1]х[-1,1].

2024-10-15, семинар 7: пара задач про экспоненциальное распределение, расчёты по теории информации(считаем всякое, чтобы привыкнуть).

2024-10-22, семинар 8: письменные источники не сохранились до наших дней. Согласно преданиям, оьсуждали двери и около контрольной. Говорят, ввели пуассоновский процесс.

2024-???, семинар 9: решаем задачи на пуассоновское в разных формах и обсуждаем омалые в порядковых статистиках.

2024-???, семинар 10: учимся интерпретироввть гауссовское, пользоваться таблицами для функции Лапласа, а также немного работать с многомерным гауссовским.

2024-3-12, семинар 11: Копаем во все стороны многомерное гауссовское: считаем вероятности для линейных комбинаций гауссовских, проверяем зависимость, вычисляем условные законы, матожидания и ковариационные матрицы, вспоминаем спектральное разложение и разложение Холецкого.

==== 2311 ====

2024-09-06, семинар 1: вероятностное пространство, вероятность на нем, вероятность события, случайная величина и ее распределение (индикатор события, сумма двух кубиков, число бросаний монетки до первого орла), матожидание случайной величины (индикатор, один кубик, два кубика), линейность матожидания. Задачи на линейность матожидания, в том числе ЕГЭшная задача про турнир, 1.5, 3.5 с допвопросом о матожидании числа совпадений. Разговор о получении события произвольной вероятности монеткой в контексте 1.8

2024-09-13, семинар 2: Повторили матожидание суммы на примере 12.3. Обсудили условную вероятность и формулу полной вероятности, условное матожидание, решили задачи на метод первого шага 2.1, 2.3, 2.7.

2024-09-20, семинар 3: Условная вероятность, формула полной вероятности, формула Байеса: 7.1, классическая задача про болезни и тесты, простейшие задачки на общее понимание, обсуждение двух подходов: вычисления условной вероятности по формуле и составления нового вероятностного пространства и подсчет вероятности в нем. Независимые события (события "пики" и "дама" в обычной колоде и колоде с джокерами), независимые в совокупности события, построили пример попарно независимых, но не независимых в совокупности. Обсудили биномиальное распределение. решили задачу: "в корабле к отсеков, чтобы корабль затонул, нужно поразить 2. Независимо выпускают n ракет, каждая из которых поражает случайный отсек с вероятностью p. Найти вероятность потопления корабля"

2024-09-20, семинар 4: Примеры одинаково распределенных зависимых СВ, независимые СВ. Производящая функция и ее свойства. Посчитали для биномиального производящую функцию и второй момент. Обсудили, что будет меняться в случае функции, производящей моменты. Обсудили функцию, производящую множество исходов, как из нее доставать уже известные функции, как ее искать на примере бросания монетки до выпадания HT

2024-10-11, семинар 5: Составили табличку стандартных дискретных распределений, посчитали матожидание геометрического, обсудили дисперсию и ковариацию и их свойства (в дискретном случае), досчитали дисперсии основных распределений. Обсудили вероятностное пространство в общем случае, понятие СВ в общем случае. Дали определение ФР, посчитали ФР для явно заданной СВ. Дали определение плотности.

2024-10-12, семинар 6: Обсудили свойства ФР, как считать вероятность попадания в промежуток в терминах ФР. Выразили ФР 1/X, cos X. Обсудили как выражается веротяность попадания в множество через плотность. для 1/Х выразили плотность в случае абсолютной непрерывности Х. Обсудили формулу для МО в общем виде через интеграл Стильтьеса и как вычислять МО для функции, разлагающейся в сумму абсолютно нерпрерывной и функции скачков, посчитали МО для пары таких СВ

2024-10-18, семинар 7: Обсудили геометрию, заданную скалярным произведением EXY и cov(X,Y), поиск ортогонального элемента и проекции. Посчитали энтропию и кросс-энтропию в дискретном и непрерывном случаях, посчиали совместную и условную энтропию в дискретном случае (23.2, 23.4, 23.9)

2024-11-01, семинар 9: Совместная плотность и ф.р., подсчет вероятностей, маргинальные плотности, замена переменной через якобиан, свертка, матожидание

2024-11-09, семинар 10: Условная плотность, формула условной вероятности. Задача на восстановление маргинальной плотности по условной. Разбор задач из "Летучей мыши"

2024-11-19, семинар 11: Разбор контрольной работы

2024-11-22, семинар 12: Пуассоновский поток - решали задачки из задачника

2024-11-29, семинар 13: Нормальное распределение - задачи из PP, повторили функцию, порождающую моменты, обсудили ее свойства в абсолютно непрерывном случае

2024-12-06, семинар 14: Многомерное нормальное - обсудили два определения, связь между ними, независимость элементов нормального вектора при нулевой ковариации и почему это неверно для произвольных нормальных. порешали задачи 24.9а, 24.10, 24.17

2024-12-013, семинар 15: ЦПТ, решали задачи из задачника

2025-01-17, семинар 16: Сходимости почти наверное и по вероятности, связь со сходимостью по распределению. Посмотрели стандартные контрпримеры, показали, что если есть сходимость по распределению к константе, то есть и по вероятности. ЗБЧ Чебышева и Хинчина, УЗБЧ Колмогорова, обсудили 20.1 сколько успели.

2025-01-24, семинар 17: Сходимость в L_p, связи между сходимостями. Задача 20.11

2025-01-24, семинар 18: Характеристические функции и их свойства. Посчитали хар функции для равномерного, Бернулли, биномиального, Пуассона, экспоненциального. Показали, чо сумма нормальных нормальна. По функции пытались понять, может ли она быть характеристической и восстанавливали с.в.

==== 2310, 2312 ====

2024-09-06, семинар 1: задача 1.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Определили вероятностное пространство в виде тройки, множество исходов рассматривали конечное и счётное. Решили 3 счётные задачи на комбинаторику про колоды карт и счетные последовательности цифр. Привели геометрическое и аналитическое решения задачи про нахождение предела последовательности вероятностей. В конце нашли математическое ожидание геометрически распределённой случайной величины.

2024-09-13, семинар 2: задача 2.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Задача на упорядоченные и неупорядоченные наборы. Задача про классическое вероятностное пространство и про пространство с неравновероятными исходами. Разобрали парадокс Монти Холла. Ввели понятия условной вероятности и независимых случайных величин. Сформулировали и обсудили идеи доказательств трёх теорем: теорема умножения вероятностей, формула полной вероятности и формула Байеса.

2024-09-20, семинар 3: Решили задачу на определение условной вероятности. Обсудили парадокс теоремы Байеса на примере задачи про редкое заболевание, а также посмотрели простую программу на Python, которая считает вероятность в зависимости от количества проведенных тестов на заболевание. Обсудили условное математическое ожидание, некоторые его свойства и рассмотрели пример с подбрасыванием кубика. В конце решили задачу на парадокс дней рождений.

2024-09-27, семинар 4: Обсудили коллизии хеш-функций и связь с атакой "дней рождений". Определили независимость или зависимость случайных величин в четырёх разных вариантах. Обсудили, что неверно утверждать, что матожидание частного независимых случайных величин равно частному матожиданий, также привели пример использования подобного факта в некоторых статьях. В конце решили задачу на поиск функции производящей исходы, а также нашли E(X), E(Y^2), E(XY) с помощью найденной функции.

2024-10-04, семинар 5: Решили две простые задачи на условную вероятность и на теорему об умножении вероятностей. Обсудили связь дерева событий с условной вероятностью и теоремой об умножении вероятностей. Нашли производящую функцию моментов для геометрически распределенной случайной величины и с помощью нее нашли матожидание. Нашли производящую функцию моментов и матожидание суммы случайного количества н.о.р случайных величин.

2024-10-11, семинар 6: Привели аналогии между дискретными и непрерывными случайными величинами. Нарисовали графики функций от случайных величин. Вспомнили определение и свойства дисперсии. Решили простую задачу на подсчет дисперсии и нашли дисперсию геометрически распределенной случайной величины. Обсудили, когда может быть матожидание и дисперсия бесконечны. Далее вспомнили неравенства Маркова и Чебышева, вывели следствия и решили 3 задачи на применение этих неравенств. Обсудили, что неравенство Маркова может давать как точную оценку, так и очень слабую. Показали, что неотрицательность случайной величины в неравенстве Маркова является существенным условием.

2024-10-11, семинар 7: Повторили понятия энтропии в битах и натах, а также понятие дифференциальной энтропии. Нашли энтропию в схеме Бернулли и энтропии геометрического и экспоненциального распределений. Доказали простую оценку сверху для энтропии случайной величины, имеющей конечный носитель мощности n.

2024-11-1, семинар 8: Разобрали демо-вариант контрольной работы "Тыква".

2024-11-8, семинар 9: Разобрали демо-вариант контрольной работы "Летучая мышь".

2024-11-15, семинар 10: Понятие случайного процесса. Определение пуассоновского процесса, его свойства. Три простые задачи на пуассоновское распределение. Задачи 13.1 и 13.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-11-22, семинар 11: Определения Бета-функции и Гамма-функции. Бета и Гамма распределения, их функции плотности и графики. Нахождение моды случайных величин, имеющих Бета и Гамма распределения. Связь пуассоновского процесса с Гамма распределением. В конце нашли производящую функцию моментов Гамма распределения.

2024-11-29, семинар 12: Задачи 18.1, 18.2 и 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-12-06, семинар 13: Нашли многомерное нормальное распределение по виду функции плотности (константа на экспоненту с квадратичным показателем). С помощью формулы Иссерлиса нашли матожидания произведений различных или одинаковых случайных величин, имеющих многомерное нормальное распределение. Нашли условную вероятность многомерного распределения. Задача 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-12-13, семинар 14: Повторили определение сходимости по распределению и центральную предельную теорему. Решили задачи 20.2 и 20.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

== Источники ==

Источники мудрости, которые я постарался не замутить :)

[https://arxiv.org/pdf/1411.5279 WTSK]: Tim Hesterberg, What Teachers Should Know About the Bootstrap: вкусное и доступное изложение бутстрэпа и перестановочных тестов.

[https://projects.iq.harvard.edu/stat110/home BItP]: Blitzstein, Hwang, Introduction to Probability: учебник, записи лекций, гарвардский курс.

Теория вероятностей 2024/25 (основной поток)

2025-02-26T00:40:30Z

Nmorozov:

= Преподаватели и учебные ассистенты =

{| class="wikitable" style="text-align:center"
|-
! Группа !! БПМИ235 !! БПМИ236 !! БПМИ237 !! БПМИ238 !! БПМИ239 !! БПМИ2310 !! БПМИ2311 !! БПМИ2312
|-
|| Лектор ||colspan="11"| [https://t.me/boris_demeshev Борис Демешев]
|-
|| Семинарист || [https://t.me/boris_demeshev Борис Демешев] || [https://t.me/levensons Илья Левин] || [https://t.me/madn_boi Никита Морозов] || [https://t.me/boris_demeshev Борис Демешев] || [https://t.me/XuMuK_MK Максим Каледин] || [https://t.me/goluba_yurieva Голуба Юрьева] || [https://t.me/Moskchan Вероника Владыкина] || [https://t.me/goluba_yurieva Голуба Юрьева]
|-
|| Ассистент || [https://t.me/nerhneiro Ира Скворцова] || [https://t.me/a_ameli_ig Амелия Алаева] || [https://t.me/htual Алина Бадахова] || [https://t.me/adelyagaraeva Аделя Гараева] || [https://t.me/mabrielka Мария Брель] || [https://t.me/zm_ann Анна Зыкова-Мызина] || [https://t.me/Yanlightv Яна Вежновец] || [https://t.me/nol_erk Кирилл Лавриненко]
|-
|| Ассистент курса ||colspan="11"| [https://t.me/Nick_Volya Никита Волянский]
|}

== Цели и задачи курса ==

侍には目標がなく道しかない [Samurai niwa mokuhyō ga naku michi shikanai]

У самурая нет цели и ничего кроме пути.

Вероятный план:
<div class="mw-collapsible mw-collapsed" style="width:1000px; overflow: hidden;">
1. Дискретное вероятностное пространство. Вероятность, математическое ожидание, теоретическая медиана.
Перестановочные тесты, p-значение для перестановочного теста.
Математическое ожидание = центр масс.

NB: здесь сходу рисуем дерево
NB: здесь нет задач на условную вероятность

!предупреждение об обозначениях случайных величин.
Российская традиция — греческие буквы, американская традиция — заглавные английские буквы.
Наш курс: любые буквы. Причина: теория вероятностей применяется в разных областях, где свои традиции.

NB: Способы вычисления вероятностей и ожиданий:
* полный перебор руками
* примерные вычисления руками
* полный перебор на компьютере
* симуляции на компьютере
* ...

2.
Методы решения задач:
* разложение величины в сумму
* метод первого шага
!идея: позиция в игре имеет цену
* just for fun: метод рычага в геометрии через ожидание
NB: рассказать здесь про комплексную случайную величину
NB: по сути здесь мы уже решаем задачи на марковские цепи не говоря страшных определений
LOTUS.

3. Условная вероятность и условное ожидание.
!идея: зануляем вероятности невозможных событий, а остальные — масштабируем.
формула полной вероятности
!идея: дерево "помнит" формулу полной вероятности
формула Байеса

Независимые события.
Независимые случайные величины.

4.
Методы решения задач:
* производящие функции многих переменных
функция как способ записать множество
HTT vs TTH
ABRACADABRA
!разложение по биномиальной формуле

?: можно здесь успеть функцию производящую моменты

5.
Биномиальное распределение.
Геометрическое и гипергеометрическое распределения.
Отрицательное биномиальное распределение.

6.
Равномерное распределение на множестве в R^n
Функция распределения.
Функция плотности и вероятностная дифференциальная форма.
!пояснение про неудачную традиционную терминологию "непрерывная случайная величина"
величина с функцией плотности, величина с непрерывной функцией распределения.

Квантили, квантильная функция.

7. Характеристики случайных величин и неравенства.
Дисперсия.
Энтропия.
Неравенство Маркова.
Неравенство Чебышёва.
Неравенство Йенсена.

Здесь конец модуля 1 и КР-1!

8. Пуассоновский поток.
Аксиомы пуассоновского потока.
Вывод экспоненциального распределения и пуассоновского распределения из аксиом.
Вывод экспоненциального распределения из предпосылки об отсутсвии памяти.

9. Нормальное распределение.
Нормальное распределение: предпосылки Хершела-Максвелла.
Нормальное распределение: аргументация Гаусса за среднее арифметическое.
Нормальное распределение: предпосылки Лэндона (до уравнения в частных производных).

10. Классические непрерывные распределения.

Гамма-распределение, бета-распределение.
Вывод нормального и экспоненциального распредений как минимизации энтропии.

11. Парные характеристики случайных величин.
Наилучшая линейная аппроксимация.
Ковариация.
Корреляция.
Кросс-энтропия.

Доказательство E(XY) = E(X) E(Y) для дискретных.
Ковариационная матрица и ожидание для случайных векторов.

12. Совместная и условная функция плостности.
Преобразования случайных величин.

13. Функция производящая моменты и характеристическая функция.
Распределение суммы случайного количества случайных величин.
Случайный выбор слагаемых.

14. Финансовые приложения

Оценивание опционов на биномиальном дереве.
Максимизация долгосрочной прибыли, связь с энтропией.
Возможно, индексы Гиттинса.

Здесь конец модуля 2 и КР-2

15. Сигма-алгебры.

Список известных величин как способ описания информации.
Идея условного ожидания как оптимального прогноза.
Сигма-алгебра как способ описания информации.
Измеримость случайной величины относительно сигма-алгебры.
Сигма-алгебра как ОДЗ для вероятности.
Борелевская сигма-алгебра.
Независимые случайные величины второе определение.

16. Условное математическое ожидание.
Условная дисперсия.
Сумма случайного количества случайных величин.

17. Сходимости случайных величин.

Сходимость по вероятности.
Закон больших чисел.
Сходимость почти наверное.
Усилинный закон больших чисел.
Сходимость по распределению.

18. Связь сходимостей.
Лемма Слуцкого.

19. Центральная предельная теорема.
Доказательство через подмену слагаемых.
Доказательство через характеристические функции.

Здесь контрольная.

20. Винеровский процесс
Условные ожидания, инверсия.

21. Байесовский подход к оцениванию параметров

Балансовое уравнение. Идея MCMC.

22. Доказательства свойств меры

23. Алгоритм построения математического ожидания в общем случае.
Лемма Фату.
Теорема о мажорируемой сходимости.
Теорема о монотонной сходимости.

24. Резерв.

Жемчужинки, которые, вероятно, не успеем:

А. Методы решения задач:
подсчёт случаев с помощью леммы Бернсайда и теоремы Пойа о перечислении
(Burnside lemma, PET = Polya Enumeration Theorem)

B. вероятностные доказательства детерминистических теорем

</div>

== Оценивание ==

Оценка за семестр-1 = 0.2 Домашние задания семестра-1 + 0.4 Контрольная-Альфа + 0.4 Экзамен-Бета.

Финальная оценка за курс = 0.5 Оценка за семестр-1 + 0.1 Домашние задания семестра-2 + 0.2 Контрольная-Гамма + 0.2 Экзамен-Дельта.

Каждая оценка (суммарные итоги за домашние задания, контрольные, экзамены) — целое число от 0 до 100.
Для перевода в 10-балльную шкалу промежуточной оценки за семестр-1 и финальной оценки используется деление на 10
с арифметическим округлением. Например, если Максим получил "оценку за семестр-1" 65 баллов, то в ведомость за первый семестр идёт 7, а далее в формуле финальной оценки за курс используется 65.

=== Домашние задания для самураев ===

Домашние задания [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/home_assignments/home_assignments.pdf одним файлом] и [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/blob/main/home_assignments/ отдельными файлами].
Домашние задания имеют равный вес.
В конце каждой лекции (за исключением ближайших к экзамену лекций)
выдается домашнее задание сроком на две недели.
Дедлайн жёсткий, однако студент имеет право просрочить три домашних задания на неделю каждое без штрафа.

Формат сдачи ДЗ: один pdf-файл (решение текстовых задач) и один ipynb-файл (решение компьютерных задач).
В pdf-файл можно поместить аккуратно написанное отсканированное решение, а можно скомпилировать pdf из теха или маркдауна.
Ещё можно вместо pdf-файла написать всё в ipynb.
Бонусов за сдачу домашки в техе нет. Пример [https://www.overleaf.com/read/qmrkwpzvmqbk шаблона].

Обратите внимание: '''время каждого дедлайна — 23:59'''.

=== Ведомость с оценками за ДЗ ===

{| class="wikitable" style="text-align:center"
|-
! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1872081500#gid=1872081500 235] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1374497930#gid=1374497930 236] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1183164252#gid=1183164252 237] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=408179311#gid=408179311 238] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1032422408#gid=1032422408 239] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1603236891#gid=1603236891 2310] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=791330236#gid=791330236 2311] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=23847300#gid=23847300 2312]
|}

[https://docs.google.com/spreadsheets/d/14hD7-SLmAA1omdkhPlt3blRHDHVGTDS8ZgvLWscvMz8/edit?usp=sharing Сводная ведомость всех оценок]

=== Контрольные работы и экзамен ===

Вес каждой задачи будет написан в тексте работы.
Задачи с ненаписанным по случайности весом имеют равный вес.
Для пропущенных по уважительной причине контрольных будет выделен один день для переписывания.
При пропуске дня переписывания, в том числе по уважительным причинам, ещё одного шанса не предоставляется.

<div class="mw-collapsible mw-collapsed" style="width:1000px; overflow: hidden;">

'''Контрольная работа 1''' состоится 2024-11-11 в 16:20, аудитории: R401, R305, R206, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_halloween_demo/exam_halloween_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/midterm/midterm-alpha.pdf условие с критериями и решениями].

'''Резервный день 1''' для пропустивших по уважительной причине состоится 2024-12-02 в 19:40, R405

'''Показ контрольной 1''':

* задачи 1, 2: заочно до 2024-12-08, [https://t.me/Moskchan Вероника]
* задачи 3, 4 [https://t.me/boris_demeshev Борис], очно, четверг, 2024-12-05, 18:10-21:00, G408
* задачи 5, 6 [https://t.me/XuMuK_MK Максим]: очно, четверг, 2024-12-05, 18:10-21:00, G408

'''Экзамен, модуль 2''' состоится '''''2024-12-24 в 10:00''''', аудитории R301, R304, R401, R404, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_winter_demo/exam_winter_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/december/pmi_probab_2024_december.pdf условие].

Если вы не хотите идти на экзамен, то заполните [https://forms.gle/UQzW77RrPvcdahG47 эту форму], чтобы получить ноль при неявке

'''Апелляция экзамена''':

* задачи 1, 2: заочно [https://t.me/goluba_yurieva Голуба], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/december/exam_problem_1-2.pdf решения и критерии 1, 2];
* задачи 3, 4: очно 2025-01-11, аудитория R408, 14:40-17:40 [https://t.me/madn_boi Никита], [https://www.overleaf.com/read/dnhjcdrndqps#42f1ab решения и критерии 3, 4];
* задачи 5, 6: заочно [https://t.me/levensons Илья]

* дедлайн по заочным апелляциям: суббота 23:59

[https://docs.google.com/spreadsheets/d/1mxMCr3IEDy8EPFWGkn3_dsghhPNcZICEw9C9o5ZoZvA/edit?usp=sharing Распределение по аудиториям]

</div>

Даты пересдач: 2025-01-28 в 18:10, 2025-02-03 в 18:10 и комиссия 2025-02-11 в 18:10.

* задачи 1, 2: [https://t.me/goluba_yurieva Голуба], задачи 3, 4: [https://t.me/madn_boi Никита], задачи 5, 6: [https://t.me/levensons Илья], апелляция пересдачи 2 до 21:00 2025-02-10.

'''Контрольная, модуль 3''' состоится 2025-02-22 в 16:20, аудитории R201, R204, R404, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_galileo_demo/exam_galileo_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_galileo/pmi_probab_galileo_exam_2024-2025.pdf условие].

[https://docs.google.com/spreadsheets/d/1LZA-7TDz_yYeVPRx4BpBWJnQKZ7wqPgHDrN-Z0SM68M/edit?usp=sharing Распределение по аудиториям]

'''Контрольная, модуль 3, резервный день''': 2025-03-07, пятница, 18:10, G503

'''Экзамен, модуль 3''' состоится 2025-03-26 в 14:40, аудитории R301, R404, R405, R503, демо, условие.

== Учебные материалы ==

[https://github.com/bdemeshev/probability_pro/raw/master/probability_pro.pdf PP]: Листки с задачами к курсу.

[https://github.com/bdemeshev/probability_dna/raw/master/probability_dna.pdf PDNA]: Вероятностная ДНК = вкусные задачи по теории вероятностей.

[https://disk.yandex.ru/d/LZ6d2VZVqYvbDQ Видео-летопись семинаров и лекций] и [https://hse.liferooter.dev/ конспект] от тайного благожелателя (updated 2024-10-23]

[https://disk.yandex.ru/d/IoakBXz_6yygPw Официальные видео]

[https://www.cambridgeinternational.org/Images/344616-list-of-formulae-and-statistical-tables.pdf Cambridge statistical tables]

== Дневник самурая ==

2024-09-02, лекция 1: Определение события. Определение случайной величины. Аксиомы вероятности. Определение математического ожидания для дискретного случая.
Линейность математического ожидания. Математическое ожидание как центр масс. Первое знакомоство с перестановочным тестом и p-значением.

Можно глянуть: главы 2.1 и 7 из [https://arxiv.org/pdf/1411.5279 WTSK], метод рычага [https://mathcircle.berkeley.edu/sites/default/files/archivedocs/2007_2008/lectures/0708lecturespdf/MassPointsBMC07.pdf в геометрии].

2024-09-09, лекция 2: Метод первого шага (вероятность выпадения HTH ранее HHT, ожидаемое количество шагов). Метод разложения случайной величины в сумму. Определение случайного вектора. Использование интерпретации ожидания как центра масс в геометрии. Определение теоретической медианы.

Можно глянуть: глава 2.7.2 из [https://projects.iq.harvard.edu/stat110/home BItP], три стратегии решения задачи за 10 минут [https://www.youtube.com/watch?v=xH89DaEI35w Visually Explained]

2024-09-16, лекция 3: Получение новой информации приводит к пересчёту вероятностей. Определение условной вероятности. Формула полной вероятности. Формула Байеса.
Условное математическое ожидание. Формула полного математического ожидания. Независимость пары событий. Независимость набора событий в совокупности.
Независимость величин: неформальное определение. Критерий независимости произвольных величин. Критерий независимости дискретных величин.

2024-09-23, лекция 4: Доказательство критерия независимости для дискретных случайных величин: из независимости {X=x} и {Y=y} следует независимость {X in A} и {Y in B}. Независимость величин равносильна E(f(X))E(g(Y))=E(f(X)g(Y)) для произвольных f, g. Определение биномиальной, геометрической (как числа неудач до 1го успеха) и отрицательной биномиальной случайной величины. Общая идея за производящими функциями: как из функции, производящей исходы эксперимента, с помощью производных и подстановок выудить индивидуальные вероятности, совместные вероятности, ожидания любой степени E(X^a), E(X^a Y^b). Формальное определение функции, производящей вероятности, и функцию, производящей моменты, для одной случайной величины и пары случайных величин. Метатеорема: все теоремы о дискретных величинах доказываются перестановкой слагаемых. Основные дискретные распределения: биномиальное, геометрическое, отрицательное биномиальное.

2024-09-30, лекция 5: Ещё дискретные законы распределения: гипергеометрическое. Описание закона распределения через равномерное распределение на подмножестве R^n.
Функция плотности как линейная часть вероятности попадания в отрезок. Равномерное распределение на отрезке. Смешанные случайные величины. LOTUS: нахождение ожидания любой функции от случайной величины для величин с функцией плотности и смешанных величин. Функция распределения. Квантильная функция.

2024-10-07, лекция 6: Две геометрии случайных величин и событий: E(XY) как скалярное произведение, Cov(X, Y) как скалярное произведение. Математическое ожидание — проекция в рамках геометрии, задаваемой E(XY). Определение и геометрический смысл дисперсии, стандартного отклонения, ковариации и корреляции. Неравенство Маркова. Неравенство Чебышёва. Неравенство Йенсена: интуитивный смысл.

2024-10-14, лекция 7: Доказательство неравенства Йенсена. Энтропия как минимальное ожидаемое число вопросов для отгадывания и формальное определение. Кросс-энтропия.
Доказательство того, что кросс-энтропия больше либо равна энтропии. Совместная энтропия. Условная энтропия. Формула H(X) + H(Y|X) = H(X, Y) без доказательства.
Вывод плотности экспоненциального распределения из предпосылки отсутствия памяти. Экспоненциальное распределение максимизирует энтропию при заданном ожидании и неотрицательности.

* Cristopher Olah, Visual Information Theory, https://colah.github.io/posts/2015-09-Visual-Information/

* Grand Sanderson, Solving Wordle using information theory, [https://www.youtube.com/watch?v=v68zYyaEmEA youtube].

* Artem Kirsanov, Key equation behind probability, [https://www.youtube.com/watch?v=KHVR587oW8I youtube]. У Артёма кросс-энтропия обозначена H(P, Q), а не CE(P||Q)).

* [https://exuberant-arthropod-be8.notion.site/1-02-09-5e107ea1c4054594b8f37d955db8a2b0 Конспект] аналогичной старой лекции псмо на русском.

* Keith Conrad, [https://kconrad.math.uconn.edu/blurbs/analysis/entropypost.pdf Maximal entropy] distributions.

2024-10-21, лекция 8: Ковариационная матрица и её свойства. Совместная функция плотности. Условная функция плотности. Критерий независимости в терминах функций плотности и распределения.
Связь индивидуальной и совместной функций плотности и функций распределения. Смена плотности при замене переменных: домножение на якобиан и неформально про дифференциальные формы. Формула свёртки.
Разложение совместной плотности для графической модели. Представление произвольной совместной функции распределения с помощью копулы.

* Про дифференциальные формы: [https://www.youtube.com/watch?v=PaWj0WxUxGg&list=PL22w63XsKjqzQZtDZO_9s2HEMRJnaOTX7 videos] by Michael Penn, [https://www.math.purdue.edu/~arapura/preprints/diffforms.pdf short intro] by Dony Arapura

* What is a convolution от [https://www.youtube.com/watch?v=KuXjwB4LzSA 3b1b]

* From graphical models to [https://www.youtube.com/watch?v=yBc01ZeaFxw&list=PLISXH-iEM4JlFsAp7trKCWyxeO3M70QyJ Probabilistic ML]

2024-11-11, лекция 9: Пуассоновский поток: аксиомы. Вывод пуассоновского распределения количества событий и экспоненциального времени между событиями из аксиом.
Сумма независимых пуассоновских потоков — это пуассоновский поток (половина доказательства). Вероятность того, что одна экспоненциальная величина будет меньше другой, независимой.

2024-11-18, лекция 10: Гамма-распределение как сумма нескольких экспоненциальных: вывод плотности через вероятность попадания в малый отрезок.
Обобщение плотности на случай положительного параметра $a$. Гамма-функция. Бета-распределение как отношение гамма-распределений. Бета-функция.

2024-11-25, лекция 11: Вывод нормального распределения из предпосылок Гаусса. Вывод нормального распределения из предпосылок Гершеля — Максвелла.

* Saul Stahl, The [https://www.researchgate.net/publication/255668423_The_Evolution_of_the_Normal_Distribution Evolution] of the Normal Distribution: вывод Гаусса с историей.

* Grand Sanderson, [https://www.youtube.com/watch?v=cy8r7WSuT1I Why pi] is in the normal? вывод Гершеля—Максвелла

* James Stein, [http://www-biba.inrialpes.fr/Jaynes/cc07s.pdf Normal Distribution]: глава про нормальное распределение (Гаусс, Гершель—Максвелл, Лэндон etc)

* William Herschel, [https://music.yandex.com/album/209394/track/2121214 концерт для габоя]

* William Herschel, [https://www.informationphilosopher.com/solutions/scientists/quetelet/Herschel_Quetelet_Probabilities.pdf On the theory of Probabilities]: вывод нормального распределения словами на стр. 189-191

2024-12-02, лекция 12: многомерное нормальное распределение. Функция плотности невырожденного многомерного нормального. Функция производящая моменты для многомерного нормального. Формула Иссерлиса с ненулевыми ожиданиями и доказательством. Условное распределение: вывод условного ожидания и условной дисперсии через разложение величины в сумму независимых.

* [https://stats.stackexchange.com/questions/30588/ альтернативный вывод] условного многомерного нормального распределения
* Хитрый [https://github.com/bdemeshev/lis-isserlis/raw/main/lis-isserlis.pdf лис Иссерлис]

2024-12-09, лекция 13: сходимость по распределению, центральная предельная теорема с доказательством подменой слагаемых.

* Calvin Chin [https://arxiv.org/pdf/2106.00871 CLT proof] by swapping
* [https://bdemeshev.github.io/teaching_notes/clt_by_swapping Пересказ доказательства]

2024-12-16, лекция 14: использование бесконечно малых при нахождении ожиданий, трюк с добавление параметра, трюк с закольцовыванием отрезка при равномерном распределении.

2025-01-13, лекция 15: Неединственность предела по распределению. Неаддитивность предела по распределению. Предел по вероятности. Закон больших чисел в слабой форме (с доказательством при дополнительной предпосылке о конечности дисперсии). Теорема о непрерывном отображении.

2025-01-20, лекция 16: два определение сходимости почти наверное с доказательством эквивалентности. Сходимость в Lp. Из сходимости в Lp при p>=1 следует сходимость по вероятности. Из сходимости почти наверное следует сходимость по вероятностям. Контр-пример к разнице сходимостей почти наверное и по вероятности. Контр-пример к разнице сходимостей в Lp и по вероятности. Усиленный закон больших чисел (без доказательства). Леммы Слуцкого (без доказательства).

2025-01-27, лекция 17: характеристические функции и их свойства. Вывод характеристической функции нормального стандартного распределения через дифференциальное уравнение. Характеристическая функция биномиального распредеделения. Второе доказательство ЦПТ (через характеристические функции).

* [https://web.ma.utexas.edu/users/gordanz/notes/characteristic.pdf Gordan Zitkovic]: characteristic functions
* [https://sas.uwaterloo.ca/~dlmcleis/s901/chapt6.pdf McLeish]: clt proof

2025-02-03, лекция 18: пример последовательности сходящийся по вероятности с ожиданием стремящимся к бесконечности. Критерий Кэлли. Критерий оптимальной остановки Брасса.

* [https://en.wikipedia.org/wiki/Kelly_criterion wikipedia]: Kelly criterion
* [https://projecteuclid.org/journalArticle/Download?urlId=10.1214%2Faop%2F1019160340 Bruss]: sum the odds to one and stop

2025-02-10 лекция 19: Сигма-алгебра порождённая случайной величиной или набором из нескольких случайных величин. Замкнутость относительно счётного количества операций с множествами. Сигма-алгебра. Объединение сигма-алгебр не всегда сигма-алгебра. Пересечение сигма-алгебр всегда сигма-алгебра. Измеримость суммы. Борелевская сигма-алгебра.

2025-02-18, лекция 20: [https://us06web.zoom.us/j/82685613040?pwd=bqJoXGItwNOOWddXj1flfmPmDn6fMQ.1 онлайн, 18:10]

=== Семинары ===

==== 473 = 235 + 238 ====

2024-09-02, 06, семинар 1: задачи 1.1, 1.6, 3.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-09, 13, семинар 2: задачи 2.1, 2.3, 12.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-16, 20, семинар 3: задачи 7.12 и 7.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-23, 27, семинар 4: как извлечь P(X=3), E(X), E(X^2Y) из функции, производящей список исходов, 28.16 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-30, -10-04, семинар 5: 9.3в, 9.4, 9.7(абвд, кроме дисперсии, аргументы масштабирования и центра масс помимо интегралов), 9.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-10-07, 11, семинар 6: вычисление Cov, Var, Corr по табличке и из функции плотности, нахождение дисперсии для отрицательного биномиального распределения по свойствам.

2024-10-14, 18, семинар 7: вычисление энтропии геометрического распределения. Изменение энтропии при линейном преобразовании для дискретной величины и величины с функцией плотности.
Кросс-энтропия из экспоненциального в равномерное. Условная энтропия для дискретной таблички. Связь энтропии величины с функцией плотности и энтропия дискретной версии этой случайной величины после "огрубления" с малым шагом 1/k.

2024-10-21, -11-01, семинар 8: 16.18, 16.23 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], свёртка двух экспоненциальных величин

2024-11-11, 15, семинар 9: задачи на пуассоновский поток из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-11-18, 22, семинар 10: задачи на бета и гамма-распределение

2024-11-25, 29, семинар 11: задачи на нормальное распределение, 18.1, 18.2, 18.3, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-02, 06, семинар 12: задачи на многомерное нормальное: 24.16аб, 24.17аб, 24.18, 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-09, 13, семинар 13: ЦПТ и нормальное распределение: 20.2, 20.4, 18.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-19, семинар 14: разбор демо

2025-01-13, семинар 15: сходимость по вероятности: 20.1, 20.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-20, 24, семинар 16: связь между сходимостями, 20.11, 20.13 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-27, 31, семинар 17: 28.17, 28.18, 28.21 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-03, 07, семинар 18: 28.20аб, 28.22 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-10, 17, семинар 19: 6.2, 6.3, 6.11, измеримость произведения из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

==== 236 ====

2024-09-06, семинар 1: в начале семинара рассмотрели основные понятия и определения для решения задач. Решили задачи 1.1, 1.6, 3.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-13, семинар 2: нашли ожидание случайной величины с геом. распределением. Решили задачи 2.1, 12.6, 12.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-09-20, семинар 3: решили задачи 7.12, 7.4(а), 7.7, 7.13(а) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-09-27, семинар 4: разобрали 7.13, почти разобрали 28.3 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Также рассмотрели один контрпример на независимость(тетраэдр Бернштейна).

2024-10-04, семинар 5: разобрались с определениями, решили 9.3(абв), 9.7(аб) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Решили задачку про три точки на отрезке и найти вероятность получить треугольник. Также вывели формулу для мат. ожидания неотрицательной величины через функцию распределения.

2024-10-14, семинар 6: обсудили дисперсию, ковариацию, коэффициент корреляции и их геометрический смысл. Решили задачу на оценку дисперсии ограниченной величины. посчитали дисперсию геометрического, биномиального. Посчитали дисперсию в задаче о письмах и конвертах.

???, семинар 7: определили энтропию, посчитали примеры для дискретных величин, для линейных преобразований. Доказали, что задача максимизации энтропии с фиксированной дисперсией достигается на нормальном распределении.

???, семинар 8: свертка двух экспоненциальных, 16.18 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

???, семинар 9: задачи на пуассоновский процесс из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

???, семинар 10: разбор кр.

???, семинар 11: разобрали задачи на нормальное распределение 18.1, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Также считали распределение суммы двух независимых нормальных.

==== 237 ====

2024-09-09, семинар 1: задачи 1.1, 2.2 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], вероятность что n ладей не бьют друг друга при случайной расстановке на шахматной доске n на n, матожидание числа треугольников в случайном графе на n вершинах через сумму индикаторов

2024-09-13, семинар 2: задачи 2.1, 2.6, 12.3, 12.6, 12.7 (без дисперсий) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-23, семинар 3: задачи 7.2, 7.13, 7.7, 7.8, плюс начали 7.15b (получили неверный ответ) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-27, семинар 4: дорешали 7.15b с небольшой демонстрацией на питоне, разобрали 28.2 для нечестной монетки плюс посчитали матожидание [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-10-04, семинар 5: задачи 9.1, 9.3абв, 9.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], философия про то почему бОльшая плотность не всегда означает бОльшую вероятность оказаться в окрестности данной точки (плотность может занимать слишком маленький объем)

2024-10-11, семинар 6: вспомнили определения Cov/Var/Corr, посчитали у пары дискретных величин по табличке вероятностей, посчитали дисперсию у биномиального, геометрического, непрерывного равномерного на отрезке.

2024-10-18, семинар 7: вычисление энтропии геометрического распределения; ограниченность энтропии снизу и сверху в дискретном случае; изменение энтропии при линейном преобразовании для дискретной величины и величины с функцией плотности; условная энтропия, KL дивергенция и кросс-энтропия, неотрицательность KL, интерпретация на пальцах с точки зрения теории информации.

2024-11-01, семинар 8: 16.18, 16.23 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], свёртка двух экспоненциальных величин

2024-11-08, семинар 9: решали пробный вариант КР

2024-11-15, семинар 10: 13.1, 13.2, 13.5, 13.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-11-22, семинар 11: разбор КР

2024-11-29, семинар 12: нормальное распределение, 18.1, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-06, семинар 13: многомерное нормальное распределение, изменение среднего и матрицы ковариаций при линейном преобразовании, 24.4а, 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-13, семинар 14: 24.4в из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], сходимости случайных величин, ЗБЧ и ЦПТ, 20.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-21, семинар 15: наследование сходимости, 20.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], плюс доказали предельную теорему Пуассона

2025-01-28, семинар 16: связь между сходимостями, 20.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], лемма Слуцкого, подмена дисперсии на выборочную дисперсию в ЦПТ

2025-02-04, семинар 17: базовые свойства хар функций, хар функция суммы независимых величин, 28.17, 28.20 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-18, семинар 18: вероятностное пространство в общем случае, сигма-алгебры, борелевская сигма-алгебра, сигма-алгебра порожденная случайной величиной, измеримость случайной величины относительно сигма-алгебры, 6.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], задачи на сигма алгебры из пробника КР

2025-02-25, семинар 19: условное матожидание относительно сигма алгебры, условное матожидание и дисперсия относительно случайной величины, закон полного матожидания и закон полной дисперсии, 22.1, 22.3, 22.5абв из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

==== 239 ====

2024-09-03, семинар 1: задачи 1.1, 1.4, пытались 1.8 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Ещё успели посчитать вероятность N=k бросков монеты до выпадения первого орла, матожидание N. И ещё сделали то же для количества бросков до выпадения 3 орлов (не в серии).

2024-09-10, семинар 2: доказали формулу включения-исключения, решили несложную задачу, порешали 2.7 задачи типа 12.*

2024-09-17, семинар 3: Решили две прямых задачи на формулу Байеса и формулу полной вероятности (без большого количества вычислений). Решили задачу поиска вероятности неисправного кофе-автомата из 3 при условии, что бросили деньги в 1 и 2 и их зажевало. Ещё нашли вероятность, что мяч будет у игрока 3 после шага 10 (все садятся в круг и на каждом шаге бросают мяч соседу с вероятностью 0.3 и оставляют у себя с вероятностью 0.4).

2024-09-24, семинар 4: Вспомнили про метод первого шага, используя формулу полной вероятности и введя в некотором виде формулу полного матожидания, записали формулу для вероятностей нахождения в состоянии i через произведение переходной матрицы на вектор. Совсем немного начали производящие функции, но решили не считать 31ю производную многочлена.

2024-10-01, семинар 5: Исследуем дискретные случайные величины (Биномиальная, Геометрическая и разные похожие) с использованием техник вычислений моментов через производящую функцию. Задачи на распределения величин, посчитанных по набору величин. Первая большая задача про плотность.

2024-10-08, семинар 6: разминочная про плотность и функцию распределения. Считаем дисперсию, ковариацию и корреляцию по 2x2 таблице и в равномерном распределении на круге и квадрате [-1,1]х[-1,1].

2024-10-15, семинар 7: пара задач про экспоненциальное распределение, расчёты по теории информации(считаем всякое, чтобы привыкнуть).

2024-10-22, семинар 8: письменные источники не сохранились до наших дней. Согласно преданиям, оьсуждали двери и около контрольной. Говорят, ввели пуассоновский процесс.

2024-???, семинар 9: решаем задачи на пуассоновское в разных формах и обсуждаем омалые в порядковых статистиках.

2024-???, семинар 10: учимся интерпретироввть гауссовское, пользоваться таблицами для функции Лапласа, а также немного работать с многомерным гауссовским.

2024-3-12, семинар 11: Копаем во все стороны многомерное гауссовское: считаем вероятности для линейных комбинаций гауссовских, проверяем зависимость, вычисляем условные законы, матожидания и ковариационные матрицы, вспоминаем спектральное разложение и разложение Холецкого.

==== 2311 ====

2024-09-06, семинар 1: вероятностное пространство, вероятность на нем, вероятность события, случайная величина и ее распределение (индикатор события, сумма двух кубиков, число бросаний монетки до первого орла), матожидание случайной величины (индикатор, один кубик, два кубика), линейность матожидания. Задачи на линейность матожидания, в том числе ЕГЭшная задача про турнир, 1.5, 3.5 с допвопросом о матожидании числа совпадений. Разговор о получении события произвольной вероятности монеткой в контексте 1.8

2024-09-13, семинар 2: Повторили матожидание суммы на примере 12.3. Обсудили условную вероятность и формулу полной вероятности, условное матожидание, решили задачи на метод первого шага 2.1, 2.3, 2.7.

2024-09-20, семинар 3: Условная вероятность, формула полной вероятности, формула Байеса: 7.1, классическая задача про болезни и тесты, простейшие задачки на общее понимание, обсуждение двух подходов: вычисления условной вероятности по формуле и составления нового вероятностного пространства и подсчет вероятности в нем. Независимые события (события "пики" и "дама" в обычной колоде и колоде с джокерами), независимые в совокупности события, построили пример попарно независимых, но не независимых в совокупности. Обсудили биномиальное распределение. решили задачу: "в корабле к отсеков, чтобы корабль затонул, нужно поразить 2. Независимо выпускают n ракет, каждая из которых поражает случайный отсек с вероятностью p. Найти вероятность потопления корабля"

2024-09-20, семинар 4: Примеры одинаково распределенных зависимых СВ, независимые СВ. Производящая функция и ее свойства. Посчитали для биномиального производящую функцию и второй момент. Обсудили, что будет меняться в случае функции, производящей моменты. Обсудили функцию, производящую множество исходов, как из нее доставать уже известные функции, как ее искать на примере бросания монетки до выпадания HT

2024-10-11, семинар 5: Составили табличку стандартных дискретных распределений, посчитали матожидание геометрического, обсудили дисперсию и ковариацию и их свойства (в дискретном случае), досчитали дисперсии основных распределений. Обсудили вероятностное пространство в общем случае, понятие СВ в общем случае. Дали определение ФР, посчитали ФР для явно заданной СВ. Дали определение плотности.

2024-10-12, семинар 6: Обсудили свойства ФР, как считать вероятность попадания в промежуток в терминах ФР. Выразили ФР 1/X, cos X. Обсудили как выражается веротяность попадания в множество через плотность. для 1/Х выразили плотность в случае абсолютной непрерывности Х. Обсудили формулу для МО в общем виде через интеграл Стильтьеса и как вычислять МО для функции, разлагающейся в сумму абсолютно нерпрерывной и функции скачков, посчитали МО для пары таких СВ

2024-10-18, семинар 7: Обсудили геометрию, заданную скалярным произведением EXY и cov(X,Y), поиск ортогонального элемента и проекции. Посчитали энтропию и кросс-энтропию в дискретном и непрерывном случаях, посчиали совместную и условную энтропию в дискретном случае (23.2, 23.4, 23.9)

2024-11-01, семинар 9: Совместная плотность и ф.р., подсчет вероятностей, маргинальные плотности, замена переменной через якобиан, свертка, матожидание

2024-11-09, семинар 10: Условная плотность, формула условной вероятности. Задача на восстановление маргинальной плотности по условной. Разбор задач из "Летучей мыши"

2024-11-19, семинар 11: Разбор контрольной работы

2024-11-22, семинар 12: Пуассоновский поток - решали задачки из задачника

2024-11-29, семинар 13: Нормальное распределение - задачи из PP, повторили функцию, порождающую моменты, обсудили ее свойства в абсолютно непрерывном случае

2024-12-06, семинар 14: Многомерное нормальное - обсудили два определения, связь между ними, независимость элементов нормального вектора при нулевой ковариации и почему это неверно для произвольных нормальных. порешали задачи 24.9а, 24.10, 24.17

2024-12-013, семинар 15: ЦПТ, решали задачи из задачника

2025-01-17, семинар 16: Сходимости почти наверное и по вероятности, связь со сходимостью по распределению. Посмотрели стандартные контрпримеры, показали, что если есть сходимость по распределению к константе, то есть и по вероятности. ЗБЧ Чебышева и Хинчина, УЗБЧ Колмогорова, обсудили 20.1 сколько успели.

2025-01-24, семинар 17: Сходимость в L_p, связи между сходимостями. Задача 20.11

2025-01-24, семинар 18: Характеристические функции и их свойства. Посчитали хар функции для равномерного, Бернулли, биномиального, Пуассона, экспоненциального. Показали, чо сумма нормальных нормальна. По функции пытались понять, может ли она быть характеристической и восстанавливали с.в.

==== 2310, 2312 ====

2024-09-06, семинар 1: задача 1.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Определили вероятностное пространство в виде тройки, множество исходов рассматривали конечное и счётное. Решили 3 счётные задачи на комбинаторику про колоды карт и счетные последовательности цифр. Привели геометрическое и аналитическое решения задачи про нахождение предела последовательности вероятностей. В конце нашли математическое ожидание геометрически распределённой случайной величины.

2024-09-13, семинар 2: задача 2.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Задача на упорядоченные и неупорядоченные наборы. Задача про классическое вероятностное пространство и про пространство с неравновероятными исходами. Разобрали парадокс Монти Холла. Ввели понятия условной вероятности и независимых случайных величин. Сформулировали и обсудили идеи доказательств трёх теорем: теорема умножения вероятностей, формула полной вероятности и формула Байеса.

2024-09-20, семинар 3: Решили задачу на определение условной вероятности. Обсудили парадокс теоремы Байеса на примере задачи про редкое заболевание, а также посмотрели простую программу на Python, которая считает вероятность в зависимости от количества проведенных тестов на заболевание. Обсудили условное математическое ожидание, некоторые его свойства и рассмотрели пример с подбрасыванием кубика. В конце решили задачу на парадокс дней рождений.

2024-09-27, семинар 4: Обсудили коллизии хеш-функций и связь с атакой "дней рождений". Определили независимость или зависимость случайных величин в четырёх разных вариантах. Обсудили, что неверно утверждать, что матожидание частного независимых случайных величин равно частному матожиданий, также привели пример использования подобного факта в некоторых статьях. В конце решили задачу на поиск функции производящей исходы, а также нашли E(X), E(Y^2), E(XY) с помощью найденной функции.

2024-10-04, семинар 5: Решили две простые задачи на условную вероятность и на теорему об умножении вероятностей. Обсудили связь дерева событий с условной вероятностью и теоремой об умножении вероятностей. Нашли производящую функцию моментов для геометрически распределенной случайной величины и с помощью нее нашли матожидание. Нашли производящую функцию моментов и матожидание суммы случайного количества н.о.р случайных величин.

2024-10-11, семинар 6: Привели аналогии между дискретными и непрерывными случайными величинами. Нарисовали графики функций от случайных величин. Вспомнили определение и свойства дисперсии. Решили простую задачу на подсчет дисперсии и нашли дисперсию геометрически распределенной случайной величины. Обсудили, когда может быть матожидание и дисперсия бесконечны. Далее вспомнили неравенства Маркова и Чебышева, вывели следствия и решили 3 задачи на применение этих неравенств. Обсудили, что неравенство Маркова может давать как точную оценку, так и очень слабую. Показали, что неотрицательность случайной величины в неравенстве Маркова является существенным условием.

2024-10-11, семинар 7: Повторили понятия энтропии в битах и натах, а также понятие дифференциальной энтропии. Нашли энтропию в схеме Бернулли и энтропии геометрического и экспоненциального распределений. Доказали простую оценку сверху для энтропии случайной величины, имеющей конечный носитель мощности n.

2024-11-1, семинар 8: Разобрали демо-вариант контрольной работы "Тыква".

2024-11-8, семинар 9: Разобрали демо-вариант контрольной работы "Летучая мышь".

2024-11-15, семинар 10: Понятие случайного процесса. Определение пуассоновского процесса, его свойства. Три простые задачи на пуассоновское распределение. Задачи 13.1 и 13.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-11-22, семинар 11: Определения Бета-функции и Гамма-функции. Бета и Гамма распределения, их функции плотности и графики. Нахождение моды случайных величин, имеющих Бета и Гамма распределения. Связь пуассоновского процесса с Гамма распределением. В конце нашли производящую функцию моментов Гамма распределения.

2024-11-29, семинар 12: Задачи 18.1, 18.2 и 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-12-06, семинар 13: Нашли многомерное нормальное распределение по виду функции плотности (константа на экспоненту с квадратичным показателем). С помощью формулы Иссерлиса нашли матожидания произведений различных или одинаковых случайных величин, имеющих многомерное нормальное распределение. Нашли условную вероятность многомерного распределения. Задача 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-12-13, семинар 14: Повторили определение сходимости по распределению и центральную предельную теорему. Решили задачи 20.2 и 20.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

== Источники ==

Источники мудрости, которые я постарался не замутить :)

[https://arxiv.org/pdf/1411.5279 WTSK]: Tim Hesterberg, What Teachers Should Know About the Bootstrap: вкусное и доступное изложение бутстрэпа и перестановочных тестов.

[https://projects.iq.harvard.edu/stat110/home BItP]: Blitzstein, Hwang, Introduction to Probability: учебник, записи лекций, гарвардский курс.

Теория вероятностей 2024/25 (основной поток)

2025-02-04T16:30:09Z

Nmorozov:

= Преподаватели и учебные ассистенты =

{| class="wikitable" style="text-align:center"
|-
! Группа !! БПМИ235 !! БПМИ236 !! БПМИ237 !! БПМИ238 !! БПМИ239 !! БПМИ2310 !! БПМИ2311 !! БПМИ2312
|-
|| Лектор ||colspan="11"| [https://t.me/boris_demeshev Борис Демешев]
|-
|| Семинарист || [https://t.me/boris_demeshev Борис Демешев] || [https://t.me/levensons Илья Левин] || [https://t.me/madn_boi Никита Морозов] || [https://t.me/boris_demeshev Борис Демешев] || [https://t.me/XuMuK_MK Максим Каледин] || [https://t.me/goluba_yurieva Голуба Юрьева] || [https://t.me/Moskchan Вероника Владыкина] || [https://t.me/goluba_yurieva Голуба Юрьева]
|-
|| Ассистент || [https://t.me/nerhneiro Ира Скворцова] || [https://t.me/a_ameli_ig Амелия Алаева] || [https://t.me/htual Алина Бадахова] || [https://t.me/adelyagaraeva Аделя Гараева] || [https://t.me/mabrielka Мария Брель] || [https://t.me/zm_ann Анна Зыкова-Мызина] || [https://t.me/Yanlightv Яна Вежновец] || [https://t.me/nol_erk Кирилл Лавриненко]
|-
|| Ассистент курса ||colspan="11"| [https://t.me/Nick_Volya Никита Волянский]
|}

== Цели и задачи курса ==

侍には目標がなく道しかない [Samurai niwa mokuhyō ga naku michi shikanai]

У самурая нет цели и ничего кроме пути.

Вероятный план:
<div class="mw-collapsible mw-collapsed" style="width:1000px; overflow: hidden;">
1. Дискретное вероятностное пространство. Вероятность, математическое ожидание, теоретическая медиана.
Перестановочные тесты, p-значение для перестановочного теста.
Математическое ожидание = центр масс.

NB: здесь сходу рисуем дерево
NB: здесь нет задач на условную вероятность

!предупреждение об обозначениях случайных величин.
Российская традиция — греческие буквы, американская традиция — заглавные английские буквы.
Наш курс: любые буквы. Причина: теория вероятностей применяется в разных областях, где свои традиции.

NB: Способы вычисления вероятностей и ожиданий:
* полный перебор руками
* примерные вычисления руками
* полный перебор на компьютере
* симуляции на компьютере
* ...

2.
Методы решения задач:
* разложение величины в сумму
* метод первого шага
!идея: позиция в игре имеет цену
* just for fun: метод рычага в геометрии через ожидание
NB: рассказать здесь про комплексную случайную величину
NB: по сути здесь мы уже решаем задачи на марковские цепи не говоря страшных определений
LOTUS.

3. Условная вероятность и условное ожидание.
!идея: зануляем вероятности невозможных событий, а остальные — масштабируем.
формула полной вероятности
!идея: дерево "помнит" формулу полной вероятности
формула Байеса

Независимые события.
Независимые случайные величины.

4.
Методы решения задач:
* производящие функции многих переменных
функция как способ записать множество
HTT vs TTH
ABRACADABRA
!разложение по биномиальной формуле

?: можно здесь успеть функцию производящую моменты

5.
Биномиальное распределение.
Геометрическое и гипергеометрическое распределения.
Отрицательное биномиальное распределение.

6.
Равномерное распределение на множестве в R^n
Функция распределения.
Функция плотности и вероятностная дифференциальная форма.
!пояснение про неудачную традиционную терминологию "непрерывная случайная величина"
величина с функцией плотности, величина с непрерывной функцией распределения.

Квантили, квантильная функция.

7. Характеристики случайных величин и неравенства.
Дисперсия.
Энтропия.
Неравенство Маркова.
Неравенство Чебышёва.
Неравенство Йенсена.

Здесь конец модуля 1 и КР-1!

8. Пуассоновский поток.
Аксиомы пуассоновского потока.
Вывод экспоненциального распределения и пуассоновского распределения из аксиом.
Вывод экспоненциального распределения из предпосылки об отсутсвии памяти.

9. Нормальное распределение.
Нормальное распределение: предпосылки Хершела-Максвелла.
Нормальное распределение: аргументация Гаусса за среднее арифметическое.
Нормальное распределение: предпосылки Лэндона (до уравнения в частных производных).

10. Классические непрерывные распределения.

Гамма-распределение, бета-распределение.
Вывод нормального и экспоненциального распредений как минимизации энтропии.

11. Парные характеристики случайных величин.
Наилучшая линейная аппроксимация.
Ковариация.
Корреляция.
Кросс-энтропия.

Доказательство E(XY) = E(X) E(Y) для дискретных.
Ковариационная матрица и ожидание для случайных векторов.

12. Совместная и условная функция плостности.
Преобразования случайных величин.

13. Функция производящая моменты и характеристическая функция.
Распределение суммы случайного количества случайных величин.
Случайный выбор слагаемых.

14. Финансовые приложения

Оценивание опционов на биномиальном дереве.
Максимизация долгосрочной прибыли, связь с энтропией.
Возможно, индексы Гиттинса.

Здесь конец модуля 2 и КР-2

15. Сигма-алгебры.

Список известных величин как способ описания информации.
Идея условного ожидания как оптимального прогноза.
Сигма-алгебра как способ описания информации.
Измеримость случайной величины относительно сигма-алгебры.
Сигма-алгебра как ОДЗ для вероятности.
Борелевская сигма-алгебра.
Независимые случайные величины второе определение.

16. Условное математическое ожидание.
Условная дисперсия.
Сумма случайного количества случайных величин.

17. Сходимости случайных величин.

Сходимость по вероятности.
Закон больших чисел.
Сходимость почти наверное.
Усилинный закон больших чисел.
Сходимость по распределению.

18. Связь сходимостей.
Лемма Слуцкого.

19. Центральная предельная теорема.
Доказательство через подмену слагаемых.
Доказательство через характеристические функции.

Здесь контрольная.

20. Винеровский процесс
Условные ожидания, инверсия.

21. Байесовский подход к оцениванию параметров

Балансовое уравнение. Идея MCMC.

22. Доказательства свойств меры

23. Алгоритм построения математического ожидания в общем случае.
Лемма Фату.
Теорема о мажорируемой сходимости.
Теорема о монотонной сходимости.

24. Резерв.

Жемчужинки, которые, вероятно, не успеем:

А. Методы решения задач:
подсчёт случаев с помощью леммы Бернсайда и теоремы Пойа о перечислении
(Burnside lemma, PET = Polya Enumeration Theorem)

B. вероятностные доказательства детерминистических теорем

</div>

== Оценивание ==

Оценка за семестр-1 = 0.2 Домашние задания семестра-1 + 0.4 Контрольная-Альфа + 0.4 Экзамен-Бета.

Финальная оценка за курс = 0.5 Оценка за семестр-1 + 0.1 Домашние задания семестра-2 + 0.2 Контрольная-Гамма + 0.2 Экзамен-Дельта.

Каждая оценка (суммарные итоги за домашние задания, контрольные, экзамены) — целое число от 0 до 100.
Для перевода в 10-балльную шкалу промежуточной оценки за семестр-1 и финальной оценки используется деление на 10
с арифметическим округлением. Например, если Максим получил "оценку за семестр-1" 65 баллов, то в ведомость за первый семестр идёт 7, а далее в формуле финальной оценки за курс используется 65.

=== Домашние задания для самураев ===

Домашние задания [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/home_assignments/home_assignments.pdf одним файлом] и [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/blob/main/home_assignments/ отдельными файлами].
Домашние задания имеют равный вес.
В конце каждой лекции (за исключением ближайших к экзамену лекций)
выдается домашнее задание сроком на две недели.
Дедлайн жёсткий, однако студент имеет право просрочить три домашних задания на неделю каждое без штрафа.

Формат сдачи ДЗ: один pdf-файл (решение текстовых задач) и один ipynb-файл (решение компьютерных задач).
В pdf-файл можно поместить аккуратно написанное отсканированное решение, а можно скомпилировать pdf из теха или маркдауна.
Ещё можно вместо pdf-файла написать всё в ipynb.
Бонусов за сдачу домашки в техе нет. Пример [https://www.overleaf.com/read/qmrkwpzvmqbk шаблона].

Обратите внимание: '''время каждого дедлайна — 23:59'''.

=== Ведомость с оценками за ДЗ ===

{| class="wikitable" style="text-align:center"
|-
! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1872081500#gid=1872081500 235] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1374497930#gid=1374497930 236] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1183164252#gid=1183164252 237] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=408179311#gid=408179311 238] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1032422408#gid=1032422408 239] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1603236891#gid=1603236891 2310] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=791330236#gid=791330236 2311] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=23847300#gid=23847300 2312]
|}

[https://docs.google.com/spreadsheets/d/14hD7-SLmAA1omdkhPlt3blRHDHVGTDS8ZgvLWscvMz8/edit?usp=sharing Оценки за кр1]

=== Контрольные работы и экзамен ===

Вес каждой задачи будет написан в тексте работы.
Задачи с ненаписанным по случайности весом имеют равный вес.
Для пропущенных по уважительной причине контрольных будет выделен один день для переписывания.
При пропуске дня переписывания, в том числе по уважительным причинам, ещё одного шанса не предоставляется.

<div class="mw-collapsible mw-collapsed" style="width:1000px; overflow: hidden;">

'''Контрольная работа 1''' состоится 2024-11-11 в 16:20, аудитории: R401, R305, R206, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_halloween_demo/exam_halloween_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/midterm/midterm-alpha.pdf условие с критериями и решениями].

'''Резервный день 1''' для пропустивших по уважительной причине состоится 2024-12-02 в 19:40, R405

'''Показ контрольной 1''':

* задачи 1, 2: заочно до 2024-12-08, [https://t.me/Moskchan Вероника]
* задачи 3, 4 [https://t.me/boris_demeshev Борис], очно, четверг, 2024-12-05, 18:10-21:00, G408
* задачи 5, 6 [https://t.me/XuMuK_MK Максим]: очно, четверг, 2024-12-05, 18:10-21:00, G408

'''Экзамен, модуль 2''' состоится '''''2024-12-24 в 10:00''''', аудитории R301, R304, R401, R404, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_winter_demo/exam_winter_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/december/pmi_probab_2024_december.pdf условие].

Если вы не хотите идти на экзамен, то заполните [https://forms.gle/UQzW77RrPvcdahG47 эту форму], чтобы получить ноль при неявке

'''Апелляция экзамена''':

* задачи 1, 2: заочно [https://t.me/goluba_yurieva Голуба], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/december/exam_problem_1-2.pdf решения и критерии 1, 2];
* задачи 3, 4: очно 2025-01-11, аудитория R408, 14:40-17:40 [https://t.me/madn_boi Никита], [https://www.overleaf.com/read/dnhjcdrndqps#42f1ab решения и критерии 3, 4];
* задачи 5, 6: заочно [https://t.me/levensons Илья]

* дедлайн по заочным апелляциям: суббота 23:59

[https://docs.google.com/spreadsheets/d/1mxMCr3IEDy8EPFWGkn3_dsghhPNcZICEw9C9o5ZoZvA/edit?usp=sharing Распределение по аудиториям]

</div>

Даты пересдач: 2025-01-28 в 18:10, 2025-02-03 в 18:10 и комиссия 2025-02-11 в 18:10.

'''Контрольная, модуль 3''' состоится 2025-02-чч в чч, аудитории ччччч, демо, условие.

'''Экзамен, модуль 3''' состоится 2025-03-26 в 14:40, аудитории R301, R404, R405, R503, демо, условие.

== Учебные материалы ==

[https://github.com/bdemeshev/probability_pro/raw/master/probability_pro.pdf PP]: Листки с задачами к курсу.

[https://github.com/bdemeshev/probability_dna/raw/master/probability_dna.pdf PDNA]: Вероятностная ДНК = вкусные задачи по теории вероятностей.

[https://disk.yandex.ru/d/LZ6d2VZVqYvbDQ Видео-летопись семинаров и лекций] и [https://hse.liferooter.dev/ конспект] от тайного благожелателя (updated 2024-10-23]

[https://disk.yandex.ru/d/IoakBXz_6yygPw Официальные видео]

[https://www.cambridgeinternational.org/Images/344616-list-of-formulae-and-statistical-tables.pdf Cambridge statistical tables]

== Дневник самурая ==

2024-09-02, лекция 1: Определение события. Определение случайной величины. Аксиомы вероятности. Определение математического ожидания для дискретного случая.
Линейность математического ожидания. Математическое ожидание как центр масс. Первое знакомоство с перестановочным тестом и p-значением.

Можно глянуть: главы 2.1 и 7 из [https://arxiv.org/pdf/1411.5279 WTSK], метод рычага [https://mathcircle.berkeley.edu/sites/default/files/archivedocs/2007_2008/lectures/0708lecturespdf/MassPointsBMC07.pdf в геометрии].

2024-09-09, лекция 2: Метод первого шага (вероятность выпадения HTH ранее HHT, ожидаемое количество шагов). Метод разложения случайной величины в сумму. Определение случайного вектора. Использование интерпретации ожидания как центра масс в геометрии. Определение теоретической медианы.

Можно глянуть: глава 2.7.2 из [https://projects.iq.harvard.edu/stat110/home BItP], три стратегии решения задачи за 10 минут [https://www.youtube.com/watch?v=xH89DaEI35w Visually Explained]

2024-09-16, лекция 3: Получение новой информации приводит к пересчёту вероятностей. Определение условной вероятности. Формула полной вероятности. Формула Байеса.
Условное математическое ожидание. Формула полного математического ожидания. Независимость пары событий. Независимость набора событий в совокупности.
Независимость величин: неформальное определение. Критерий независимости произвольных величин. Критерий независимости дискретных величин.

2024-09-23, лекция 4: Доказательство критерия независимости для дискретных случайных величин: из независимости {X=x} и {Y=y} следует независимость {X in A} и {Y in B}. Независимость величин равносильна E(f(X))E(g(Y))=E(f(X)g(Y)) для произвольных f, g. Определение биномиальной, геометрической (как числа неудач до 1го успеха) и отрицательной биномиальной случайной величины. Общая идея за производящими функциями: как из функции, производящей исходы эксперимента, с помощью производных и подстановок выудить индивидуальные вероятности, совместные вероятности, ожидания любой степени E(X^a), E(X^a Y^b). Формальное определение функции, производящей вероятности, и функцию, производящей моменты, для одной случайной величины и пары случайных величин. Метатеорема: все теоремы о дискретных величинах доказываются перестановкой слагаемых. Основные дискретные распределения: биномиальное, геометрическое, отрицательное биномиальное.

2024-09-30, лекция 5: Ещё дискретные законы распределения: гипергеометрическое. Описание закона распределения через равномерное распределение на подмножестве R^n.
Функция плотности как линейная часть вероятности попадания в отрезок. Равномерное распределение на отрезке. Смешанные случайные величины. LOTUS: нахождение ожидания любой функции от случайной величины для величин с функцией плотности и смешанных величин. Функция распределения. Квантильная функция.

2024-10-07, лекция 6: Две геометрии случайных величин и событий: E(XY) как скалярное произведение, Cov(X, Y) как скалярное произведение. Математическое ожидание — проекция в рамках геометрии, задаваемой E(XY). Определение и геометрический смысл дисперсии, стандартного отклонения, ковариации и корреляции. Неравенство Маркова. Неравенство Чебышёва. Неравенство Йенсена: интуитивный смысл.

2024-10-14, лекция 7: Доказательство неравенства Йенсена. Энтропия как минимальное ожидаемое число вопросов для отгадывания и формальное определение. Кросс-энтропия.
Доказательство того, что кросс-энтропия больше либо равна энтропии. Совместная энтропия. Условная энтропия. Формула H(X) + H(Y|X) = H(X, Y) без доказательства.
Вывод плотности экспоненциального распределения из предпосылки отсутствия памяти. Экспоненциальное распределение максимизирует энтропию при заданном ожидании и неотрицательности.

* Cristopher Olah, Visual Information Theory, https://colah.github.io/posts/2015-09-Visual-Information/

* Grand Sanderson, Solving Wordle using information theory, [https://www.youtube.com/watch?v=v68zYyaEmEA youtube].

* Artem Kirsanov, Key equation behind probability, [https://www.youtube.com/watch?v=KHVR587oW8I youtube]. У Артёма кросс-энтропия обозначена H(P, Q), а не CE(P||Q)).

* [https://exuberant-arthropod-be8.notion.site/1-02-09-5e107ea1c4054594b8f37d955db8a2b0 Конспект] аналогичной старой лекции псмо на русском.

* Keith Conrad, [https://kconrad.math.uconn.edu/blurbs/analysis/entropypost.pdf Maximal entropy] distributions.

2024-10-21, лекция 8: Ковариационная матрица и её свойства. Совместная функция плотности. Условная функция плотности. Критерий независимости в терминах функций плотности и распределения.
Связь индивидуальной и совместной функций плотности и функций распределения. Смена плотности при замене переменных: домножение на якобиан и неформально про дифференциальные формы. Формула свёртки.
Разложение совместной плотности для графической модели. Представление произвольной совместной функции распределения с помощью копулы.

* Про дифференциальные формы: [https://www.youtube.com/watch?v=PaWj0WxUxGg&list=PL22w63XsKjqzQZtDZO_9s2HEMRJnaOTX7 videos] by Michael Penn, [https://www.math.purdue.edu/~arapura/preprints/diffforms.pdf short intro] by Dony Arapura

* What is a convolution от [https://www.youtube.com/watch?v=KuXjwB4LzSA 3b1b]

* From graphical models to [https://www.youtube.com/watch?v=yBc01ZeaFxw&list=PLISXH-iEM4JlFsAp7trKCWyxeO3M70QyJ Probabilistic ML]

2024-11-11, лекция 9: Пуассоновский поток: аксиомы. Вывод пуассоновского распределения количества событий и экспоненциального времени между событиями из аксиом.
Сумма независимых пуассоновских потоков — это пуассоновский поток (половина доказательства). Вероятность того, что одна экспоненциальная величина будет меньше другой, независимой.

2024-11-18, лекция 10: Гамма-распределение как сумма нескольких экспоненциальных: вывод плотности через вероятность попадания в малый отрезок.
Обобщение плотности на случай положительного параметра $a$. Гамма-функция. Бета-распределение как отношение гамма-распределений. Бета-функция.

2024-11-25, лекция 11: Вывод нормального распределения из предпосылок Гаусса. Вывод нормального распределения из предпосылок Гершеля — Максвелла.

* Saul Stahl, The [https://www.researchgate.net/publication/255668423_The_Evolution_of_the_Normal_Distribution Evolution] of the Normal Distribution: вывод Гаусса с историей.

* Grand Sanderson, [https://www.youtube.com/watch?v=cy8r7WSuT1I Why pi] is in the normal? вывод Гершеля—Максвелла

* James Stein, [http://www-biba.inrialpes.fr/Jaynes/cc07s.pdf Normal Distribution]: глава про нормальное распределение (Гаусс, Гершель—Максвелл, Лэндон etc)

* William Herschel, [https://music.yandex.com/album/209394/track/2121214 концерт для габоя]

* William Herschel, [https://www.informationphilosopher.com/solutions/scientists/quetelet/Herschel_Quetelet_Probabilities.pdf On the theory of Probabilities]: вывод нормального распределения словами на стр. 189-191

2024-12-02, лекция 12: многомерное нормальное распределение. Функция плотности невырожденного многомерного нормального. Функция производящая моменты для многомерного нормального. Формула Иссерлиса с ненулевыми ожиданиями и доказательством. Условное распределение: вывод условного ожидания и условной дисперсии через разложение величины в сумму независимых.

* [https://stats.stackexchange.com/questions/30588/ альтернативный вывод] условного многомерного нормального распределения
* Хитрый [https://github.com/bdemeshev/lis-isserlis/raw/main/lis-isserlis.pdf лис Иссерлис]

2024-12-09, лекция 13: сходимость по распределению, центральная предельная теорема с доказательством подменой слагаемых.

* Calvin Chin [https://arxiv.org/pdf/2106.00871 CLT proof] by swapping
* [https://bdemeshev.github.io/teaching_notes/clt_by_swapping Пересказ доказательства]

2024-12-16, лекция 14: использование бесконечно малых при нахождении ожиданий, трюк с добавление параметра, трюк с закольцовыванием отрезка при равномерном распределении.

2025-01-13, лекция 15: Неединственность предела по распределению. Неаддитивность предела по распределению. Предел по вероятности. Закон больших чисел в слабой форме (с доказательством при дополнительной предпосылке о конечности дисперсии). Теорема о непрерывном отображении.

2025-01-20, лекция 16: два определение сходимости почти наверное с доказательством эквивалентности. Сходимость в Lp. Из сходимости в Lp при p>=1 следует сходимость по вероятности. Из сходимости почти наверное следует сходимость по вероятностям. Контр-пример к разнице сходимостей почти наверное и по вероятности. Контр-пример к разнице сходимостей в Lp и по вероятности. Усиленный закон больших чисел (без доказательства). Леммы Слуцкого (без доказательства).

2025-01-27, лекция 17: характеристические функции и их свойства. Вывод характеристической функции нормального стандартного распределения через дифференциальное уравнение. Характеристическая функция биномиального распредеделения. Второе доказательство ЦПТ (через характеристические функции).

* [https://web.ma.utexas.edu/users/gordanz/notes/characteristic.pdf Gordan Zitkovic]: characteristic functions
* [https://sas.uwaterloo.ca/~dlmcleis/s901/chapt6.pdf McLeish]: clt proof

2025-02-03, лекция 18: пример последовательности сходящийся по вероятности с ожиданием стремящимся к бесконечности. Критерий Кэлли. Критерий оптимальной остановки Брасса.

* [https://en.wikipedia.org/wiki/Kelly_criterion wikipedia]: Kelly criterion
* [https://projecteuclid.org/journalArticle/Download?urlId=10.1214%2Faop%2F1019160340 Bruss]: sum the odds to one and stop

=== Семинары ===

==== 473 = 235 + 238 ====

2024-09-02, 06, семинар 1: задачи 1.1, 1.6, 3.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-09, 13, семинар 2: задачи 2.1, 2.3, 12.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-16, 20, семинар 3: задачи 7.12 и 7.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-23, 27, семинар 4: как извлечь P(X=3), E(X), E(X^2Y) из функции, производящей список исходов, 28.16 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-30, -10-04, семинар 5: 9.3в, 9.4, 9.7(абвд, кроме дисперсии, аргументы масштабирования и центра масс помимо интегралов), 9.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-10-07, 11, семинар 6: вычисление Cov, Var, Corr по табличке и из функции плотности, нахождение дисперсии для отрицательного биномиального распределения по свойствам.

2024-10-14, 18, семинар 7: вычисление энтропии геометрического распределения. Изменение энтропии при линейном преобразовании для дискретной величины и величины с функцией плотности.
Кросс-энтропия из экспоненциального в равномерное. Условная энтропия для дискретной таблички. Связь энтропии величины с функцией плотности и энтропия дискретной версии этой случайной величины после "огрубления" с малым шагом 1/k.

2024-10-21, -11-01, семинар 8: 16.18, 16.23 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], свёртка двух экспоненциальных величин

2024-11-11, 15, семинар 9: задачи на пуассоновский поток из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-11-18, 22, семинар 10: задачи на бета и гамма-распределение

2024-11-25, 29, семинар 11: задачи на нормальное распределение, 18.1, 18.2, 18.3, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-02, 06, семинар 12: задачи на многомерное нормальное: 24.16аб, 24.17аб, 24.18, 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-09, 13, семинар 13: ЦПТ и нормальное распределение: 20.2, 20.4, 18.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-19, семинар 14: разбор демо

2025-01-13, семинар 15: сходимость по вероятности: 20.1, 20.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-20, 24, семинар 16: связь между сходимостями, 20.11, 20.13 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-27, 31, семинар 17: 28.17, 28.18, 28.21 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-03, 07, семинар 18: 28.20аб, 28.22 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

==== 236 ====

2024-09-06, семинар 1: в начале семинара рассмотрели основные понятия и определения для решения задач. Решили задачи 1.1, 1.6, 3.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-13, семинар 2: нашли ожидание случайной величины с геом. распределением. Решили задачи 2.1, 12.6, 12.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-09-20, семинар 3: решили задачи 7.12, 7.4(а), 7.7, 7.13(а) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-09-27, семинар 4: разобрали 7.13, почти разобрали 28.3 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Также рассмотрели один контрпример на независимость(тетраэдр Бернштейна).

2024-10-04, семинар 5: разобрались с определениями, решили 9.3(абв), 9.7(аб) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Решили задачку про три точки на отрезке и найти вероятность получить треугольник. Также вывели формулу для мат. ожидания неотрицательной величины через функцию распределения.

2024-10-14, семинар 6: обсудили дисперсию, ковариацию, коэффициент корреляции и их геометрический смысл. Решили задачу на оценку дисперсии ограниченной величины. посчитали дисперсию геометрического, биномиального. Посчитали дисперсию в задаче о письмах и конвертах.

???, семинар 7: определили энтропию, посчитали примеры для дискретных величин, для линейных преобразований. Доказали, что задача максимизации энтропии с фиксированной дисперсией достигается на нормальном распределении.

???, семинар 8: свертка двух экспоненциальных, 16.18 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

???, семинар 9: задачи на пуассоновский процесс из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

???, семинар 10: разбор кр.

???, семинар 11: разобрали задачи на нормальное распределение 18.1, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Также считали распределение суммы двух независимых нормальных.

==== 237 ====

2024-09-09, семинар 1: задачи 1.1, 2.2 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], вероятность что n ладей не бьют друг друга при случайной расстановке на шахматной доске n на n, матожидание числа треугольников в случайном графе на n вершинах через сумму индикаторов

2024-09-13, семинар 2: задачи 2.1, 2.6, 12.3, 12.6, 12.7 (без дисперсий) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-23, семинар 3: задачи 7.2, 7.13, 7.7, 7.8, плюс начали 7.15b (получили неверный ответ) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-27, семинар 4: дорешали 7.15b с небольшой демонстрацией на питоне, разобрали 28.2 для нечестной монетки плюс посчитали матожидание [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-10-04, семинар 5: задачи 9.1, 9.3абв, 9.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], философия про то почему бОльшая плотность не всегда означает бОльшую вероятность оказаться в окрестности данной точки (плотность может занимать слишком маленький объем)

2024-10-11, семинар 6: вспомнили определения Cov/Var/Corr, посчитали у пары дискретных величин по табличке вероятностей, посчитали дисперсию у биномиального, геометрического, непрерывного равномерного на отрезке.

2024-10-18, семинар 7: вычисление энтропии геометрического распределения; ограниченность энтропии снизу и сверху в дискретном случае; изменение энтропии при линейном преобразовании для дискретной величины и величины с функцией плотности; условная энтропия, KL дивергенция и кросс-энтропия, неотрицательность KL, интерпретация на пальцах с точки зрения теории информации.

2024-11-01, семинар 8: 16.18, 16.23 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], свёртка двух экспоненциальных величин

2024-11-08, семинар 9: решали пробный вариант КР

2024-11-15, семинар 10: 13.1, 13.2, 13.5, 13.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-11-22, семинар 11: разбор КР

2024-11-29, семинар 12: нормальное распределение, 18.1, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-06, семинар 13: многомерное нормальное распределение, изменение среднего и матрицы ковариаций при линейном преобразовании, 24.4а, 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-13, семинар 14: 24.4в из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], сходимости случайных величин, ЗБЧ и ЦПТ, 20.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-21, семинар 15: наследование сходимости, 20.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], плюс доказали предельную теорему Пуассона

2025-01-28, семинар 16: связь между сходимостями, 20.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], лемма Слуцкого, подмена дисперсии на выборочную дисперсию в ЦПТ

2025-02-04, семинар 17: базовые свойства хар функций, хар функция суммы независимых величин, 28.17, 28.20 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

==== 239 ====

2024-09-03, семинар 1: задачи 1.1, 1.4, пытались 1.8 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Ещё успели посчитать вероятность N=k бросков монеты до выпадения первого орла, матожидание N. И ещё сделали то же для количества бросков до выпадения 3 орлов (не в серии).

2024-09-10, семинар 2: доказали формулу включения-исключения, решили несложную задачу, порешали 2.7 задачи типа 12.*

2024-09-17, семинар 3: Решили две прямых задачи на формулу Байеса и формулу полной вероятности (без большого количества вычислений). Решили задачу поиска вероятности неисправного кофе-автомата из 3 при условии, что бросили деньги в 1 и 2 и их зажевало. Ещё нашли вероятность, что мяч будет у игрока 3 после шага 10 (все садятся в круг и на каждом шаге бросают мяч соседу с вероятностью 0.3 и оставляют у себя с вероятностью 0.4).

2024-09-24, семинар 4: Вспомнили про метод первого шага, используя формулу полной вероятности и введя в некотором виде формулу полного матожидания, записали формулу для вероятностей нахождения в состоянии i через произведение переходной матрицы на вектор. Совсем немного начали производящие функции, но решили не считать 31ю производную многочлена.

2024-10-01, семинар 5: Исследуем дискретные случайные величины (Биномиальная, Геометрическая и разные похожие) с использованием техник вычислений моментов через производящую функцию. Задачи на распределения величин, посчитанных по набору величин. Первая большая задача про плотность.

2024-10-08, семинар 6: разминочная про плотность и функцию распределения. Считаем дисперсию, ковариацию и корреляцию по 2x2 таблице и в равномерном распределении на круге и квадрате [-1,1]х[-1,1].

2024-10-15, семинар 7: пара задач про экспоненциальное распределение, расчёты по теории информации(считаем всякое, чтобы привыкнуть).

2024-10-22, семинар 8: письменные источники не сохранились до наших дней. Согласно преданиям, оьсуждали двери и около контрольной. Говорят, ввели пуассоновский процесс.

2024-???, семинар 9: решаем задачи на пуассоновское в разных формах и обсуждаем омалые в порядковых статистиках.

2024-???, семинар 10: учимся интерпретироввть гауссовское, пользоваться таблицами для функции Лапласа, а также немного работать с многомерным гауссовским.

2024-3-12, семинар 11: Копаем во все стороны многомерное гауссовское: считаем вероятности для линейных комбинаций гауссовских, проверяем зависимость, вычисляем условные законы, матожидания и ковариационные матрицы, вспоминаем спектральное разложение и разложение Холецкого.

==== 2311 ====

2024-09-06, семинар 1: вероятностное пространство, вероятность на нем, вероятность события, случайная величина и ее распределение (индикатор события, сумма двух кубиков, число бросаний монетки до первого орла), матожидание случайной величины (индикатор, один кубик, два кубика), линейность матожидания. Задачи на линейность матожидания, в том числе ЕГЭшная задача про турнир, 1.5, 3.5 с допвопросом о матожидании числа совпадений. Разговор о получении события произвольной вероятности монеткой в контексте 1.8

2024-09-13, семинар 2: Повторили матожидание суммы на примере 12.3. Обсудили условную вероятность и формулу полной вероятности, условное матожидание, решили задачи на метод первого шага 2.1, 2.3, 2.7.

2024-09-20, семинар 3: Условная вероятность, формула полной вероятности, формула Байеса: 7.1, классическая задача про болезни и тесты, простейшие задачки на общее понимание, обсуждение двух подходов: вычисления условной вероятности по формуле и составления нового вероятностного пространства и подсчет вероятности в нем. Независимые события (события "пики" и "дама" в обычной колоде и колоде с джокерами), независимые в совокупности события, построили пример попарно независимых, но не независимых в совокупности. Обсудили биномиальное распределение. решили задачу: "в корабле к отсеков, чтобы корабль затонул, нужно поразить 2. Независимо выпускают n ракет, каждая из которых поражает случайный отсек с вероятностью p. Найти вероятность потопления корабля"

2024-09-20, семинар 4: Примеры одинаково распределенных зависимых СВ, независимые СВ. Производящая функция и ее свойства. Посчитали для биномиального производящую функцию и второй момент. Обсудили, что будет меняться в случае функции, производящей моменты. Обсудили функцию, производящую множество исходов, как из нее доставать уже известные функции, как ее искать на примере бросания монетки до выпадания HT

2024-10-11, семинар 5: Составили табличку стандартных дискретных распределений, посчитали матожидание геометрического, обсудили дисперсию и ковариацию и их свойства (в дискретном случае), досчитали дисперсии основных распределений. Обсудили вероятностное пространство в общем случае, понятие СВ в общем случае. Дали определение ФР, посчитали ФР для явно заданной СВ. Дали определение плотности.

2024-10-12, семинар 6: Обсудили свойства ФР, как считать вероятность попадания в промежуток в терминах ФР. Выразили ФР 1/X, cos X. Обсудили как выражается веротяность попадания в множество через плотность. для 1/Х выразили плотность в случае абсолютной непрерывности Х. Обсудили формулу для МО в общем виде через интеграл Стильтьеса и как вычислять МО для функции, разлагающейся в сумму абсолютно нерпрерывной и функции скачков, посчитали МО для пары таких СВ

2024-10-18, семинар 7: Обсудили геометрию, заданную скалярным произведением EXY и cov(X,Y), поиск ортогонального элемента и проекции. Посчитали энтропию и кросс-энтропию в дискретном и непрерывном случаях, посчиали совместную и условную энтропию в дискретном случае (23.2, 23.4, 23.9)

2024-11-01, семинар 9: Совместная плотность и ф.р., подсчет вероятностей, маргинальные плотности, замена переменной через якобиан, свертка, матожидание

2024-11-09, семинар 10: Условная плотность, формула условной вероятности. Задача на восстановление маргинальной плотности по условной. Разбор задач из "Летучей мыши"

2024-11-19, семинар 11: Разбор контрольной работы

2024-11-22, семинар 12: Пуассоновский поток - решали задачки из задачника

2024-11-29, семинар 13: Нормальное распределение - задачи из PP, повторили функцию, порождающую моменты, обсудили ее свойства в абсолютно непрерывном случае

2024-12-06, семинар 14: Многомерное нормальное - обсудили два определения, связь между ними, независимость элементов нормального вектора при нулевой ковариации и почему это неверно для произвольных нормальных. порешали задачи 24.9а, 24.10, 24.17

2024-12-013, семинар 15: ЦПТ, решали задачи из задачника

2025-01-17, семинар 16: Сходимости почти наверное и по вероятности, связь со сходимостью по распределению. Посмотрели стандартные контрпримеры, показали, что если есть сходимость по распределению к константе, то есть и по вероятности. ЗБЧ Чебышева и Хинчина, УЗБЧ Колмогорова, обсудили 20.1 сколько успели.

2025-01-24, семинар 17: Сходимость в L_p, связи между сходимостями. Задача 20.11

==== 2310, 2312 ====

2024-09-06, семинар 1: задача 1.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Определили вероятностное пространство в виде тройки, множество исходов рассматривали конечное и счётное. Решили 3 счётные задачи на комбинаторику про колоды карт и счетные последовательности цифр. Привели геометрическое и аналитическое решения задачи про нахождение предела последовательности вероятностей. В конце нашли математическое ожидание геометрически распределённой случайной величины.

2024-09-13, семинар 2: задача 2.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Задача на упорядоченные и неупорядоченные наборы. Задача про классическое вероятностное пространство и про пространство с неравновероятными исходами. Разобрали парадокс Монти Холла. Ввели понятия условной вероятности и независимых случайных величин. Сформулировали и обсудили идеи доказательств трёх теорем: теорема умножения вероятностей, формула полной вероятности и формула Байеса.

2024-09-20, семинар 3: Решили задачу на определение условной вероятности. Обсудили парадокс теоремы Байеса на примере задачи про редкое заболевание, а также посмотрели простую программу на Python, которая считает вероятность в зависимости от количества проведенных тестов на заболевание. Обсудили условное математическое ожидание, некоторые его свойства и рассмотрели пример с подбрасыванием кубика. В конце решили задачу на парадокс дней рождений.

2024-09-27, семинар 4: Обсудили коллизии хеш-функций и связь с атакой "дней рождений". Определили независимость или зависимость случайных величин в четырёх разных вариантах. Обсудили, что неверно утверждать, что матожидание частного независимых случайных величин равно частному матожиданий, также привели пример использования подобного факта в некоторых статьях. В конце решили задачу на поиск функции производящей исходы, а также нашли E(X), E(Y^2), E(XY) с помощью найденной функции.

2024-10-04, семинар 5: Решили две простые задачи на условную вероятность и на теорему об умножении вероятностей. Обсудили связь дерева событий с условной вероятностью и теоремой об умножении вероятностей. Нашли производящую функцию моментов для геометрически распределенной случайной величины и с помощью нее нашли матожидание. Нашли производящую функцию моментов и матожидание суммы случайного количества н.о.р случайных величин.

2024-10-11, семинар 6: Привели аналогии между дискретными и непрерывными случайными величинами. Нарисовали графики функций от случайных величин. Вспомнили определение и свойства дисперсии. Решили простую задачу на подсчет дисперсии и нашли дисперсию геометрически распределенной случайной величины. Обсудили, когда может быть матожидание и дисперсия бесконечны. Далее вспомнили неравенства Маркова и Чебышева, вывели следствия и решили 3 задачи на применение этих неравенств. Обсудили, что неравенство Маркова может давать как точную оценку, так и очень слабую. Показали, что неотрицательность случайной величины в неравенстве Маркова является существенным условием.

2024-10-11, семинар 7: Повторили понятия энтропии в битах и натах, а также понятие дифференциальной энтропии. Нашли энтропию в схеме Бернулли и энтропии геометрического и экспоненциального распределений. Доказали простую оценку сверху для энтропии случайной величины, имеющей конечный носитель мощности n.

2024-11-1, семинар 8: Разобрали демо-вариант контрольной работы "Тыква".

2024-11-8, семинар 9: Разобрали демо-вариант контрольной работы "Летучая мышь".

2024-11-15, семинар 10: Понятие случайного процесса. Определение пуассоновского процесса, его свойства. Три простые задачи на пуассоновское распределение. Задачи 13.1 и 13.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-11-22, семинар 11: Определения Бета-функции и Гамма-функции. Бета и Гамма распределения, их функции плотности и графики. Нахождение моды случайных величин, имеющих Бета и Гамма распределения. Связь пуассоновского процесса с Гамма распределением. В конце нашли производящую функцию моментов Гамма распределения.

2024-11-29, семинар 12: Задачи 18.1, 18.2 и 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-12-06, семинар 13: Нашли многомерное нормальное распределение по виду функции плотности (константа на экспоненту с квадратичным показателем). С помощью формулы Иссерлиса нашли матожидания произведений различных или одинаковых случайных величин, имеющих многомерное нормальное распределение. Нашли условную вероятность многомерного распределения. Задача 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-12-13, семинар 14: Повторили определение сходимости по распределению и центральную предельную теорему. Решили задачи 20.2 и 20.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

== Источники ==

Источники мудрости, которые я постарался не замутить :)

[https://arxiv.org/pdf/1411.5279 WTSK]: Tim Hesterberg, What Teachers Should Know About the Bootstrap: вкусное и доступное изложение бутстрэпа и перестановочных тестов.

[https://projects.iq.harvard.edu/stat110/home BItP]: Blitzstein, Hwang, Introduction to Probability: учебник, записи лекций, гарвардский курс.

Теория вероятностей 2024/25 (основной поток)

2025-02-02T16:41:06Z

Nmorozov:

= Преподаватели и учебные ассистенты =

{| class="wikitable" style="text-align:center"
|-
! Группа !! БПМИ235 !! БПМИ236 !! БПМИ237 !! БПМИ238 !! БПМИ239 !! БПМИ2310 !! БПМИ2311 !! БПМИ2312
|-
|| Лектор ||colspan="11"| [https://t.me/boris_demeshev Борис Демешев]
|-
|| Семинарист || [https://t.me/boris_demeshev Борис Демешев] || [https://t.me/levensons Илья Левин] || [https://t.me/madn_boi Никита Морозов] || [https://t.me/boris_demeshev Борис Демешев] || [https://t.me/XuMuK_MK Максим Каледин] || [https://t.me/goluba_yurieva Голуба Юрьева] || [https://t.me/Moskchan Вероника Владыкина] || [https://t.me/goluba_yurieva Голуба Юрьева]
|-
|| Ассистент || [https://t.me/nerhneiro Ира Скворцова] || [https://t.me/a_ameli_ig Амелия Алаева] || [https://t.me/htual Алина Бадахова] || [https://t.me/adelyagaraeva Аделя Гараева] || [https://t.me/mabrielka Мария Брель] || [https://t.me/zm_ann Анна Зыкова-Мызина] || [https://t.me/Yanlightv Яна Вежновец] || [https://t.me/nol_erk Кирилл Лавриненко]
|-
|| Ассистент курса ||colspan="11"| [https://t.me/Nick_Volya Никита Волянский]
|}

== Цели и задачи курса ==

侍には目標がなく道しかない [Samurai niwa mokuhyō ga naku michi shikanai]

У самурая нет цели и ничего кроме пути.

Вероятный план:
<div class="mw-collapsible mw-collapsed" style="width:1000px; overflow: hidden;">
1. Дискретное вероятностное пространство. Вероятность, математическое ожидание, теоретическая медиана.
Перестановочные тесты, p-значение для перестановочного теста.
Математическое ожидание = центр масс.

NB: здесь сходу рисуем дерево
NB: здесь нет задач на условную вероятность

!предупреждение об обозначениях случайных величин.
Российская традиция — греческие буквы, американская традиция — заглавные английские буквы.
Наш курс: любые буквы. Причина: теория вероятностей применяется в разных областях, где свои традиции.

NB: Способы вычисления вероятностей и ожиданий:
* полный перебор руками
* примерные вычисления руками
* полный перебор на компьютере
* симуляции на компьютере
* ...

2.
Методы решения задач:
* разложение величины в сумму
* метод первого шага
!идея: позиция в игре имеет цену
* just for fun: метод рычага в геометрии через ожидание
NB: рассказать здесь про комплексную случайную величину
NB: по сути здесь мы уже решаем задачи на марковские цепи не говоря страшных определений
LOTUS.

3. Условная вероятность и условное ожидание.
!идея: зануляем вероятности невозможных событий, а остальные — масштабируем.
формула полной вероятности
!идея: дерево "помнит" формулу полной вероятности
формула Байеса

Независимые события.
Независимые случайные величины.

4.
Методы решения задач:
* производящие функции многих переменных
функция как способ записать множество
HTT vs TTH
ABRACADABRA
!разложение по биномиальной формуле

?: можно здесь успеть функцию производящую моменты

5.
Биномиальное распределение.
Геометрическое и гипергеометрическое распределения.
Отрицательное биномиальное распределение.

6.
Равномерное распределение на множестве в R^n
Функция распределения.
Функция плотности и вероятностная дифференциальная форма.
!пояснение про неудачную традиционную терминологию "непрерывная случайная величина"
величина с функцией плотности, величина с непрерывной функцией распределения.

Квантили, квантильная функция.

7. Характеристики случайных величин и неравенства.
Дисперсия.
Энтропия.
Неравенство Маркова.
Неравенство Чебышёва.
Неравенство Йенсена.

Здесь конец модуля 1 и КР-1!

8. Пуассоновский поток.
Аксиомы пуассоновского потока.
Вывод экспоненциального распределения и пуассоновского распределения из аксиом.
Вывод экспоненциального распределения из предпосылки об отсутсвии памяти.

9. Нормальное распределение.
Нормальное распределение: предпосылки Хершела-Максвелла.
Нормальное распределение: аргументация Гаусса за среднее арифметическое.
Нормальное распределение: предпосылки Лэндона (до уравнения в частных производных).

10. Классические непрерывные распределения.

Гамма-распределение, бета-распределение.
Вывод нормального и экспоненциального распредений как минимизации энтропии.

11. Парные характеристики случайных величин.
Наилучшая линейная аппроксимация.
Ковариация.
Корреляция.
Кросс-энтропия.

Доказательство E(XY) = E(X) E(Y) для дискретных.
Ковариационная матрица и ожидание для случайных векторов.

12. Совместная и условная функция плостности.
Преобразования случайных величин.

13. Функция производящая моменты и характеристическая функция.
Распределение суммы случайного количества случайных величин.
Случайный выбор слагаемых.

14. Финансовые приложения

Оценивание опционов на биномиальном дереве.
Максимизация долгосрочной прибыли, связь с энтропией.
Возможно, индексы Гиттинса.

Здесь конец модуля 2 и КР-2

15. Сигма-алгебры.

Список известных величин как способ описания информации.
Идея условного ожидания как оптимального прогноза.
Сигма-алгебра как способ описания информации.
Измеримость случайной величины относительно сигма-алгебры.
Сигма-алгебра как ОДЗ для вероятности.
Борелевская сигма-алгебра.
Независимые случайные величины второе определение.

16. Условное математическое ожидание.
Условная дисперсия.
Сумма случайного количества случайных величин.

17. Сходимости случайных величин.

Сходимость по вероятности.
Закон больших чисел.
Сходимость почти наверное.
Усилинный закон больших чисел.
Сходимость по распределению.

18. Связь сходимостей.
Лемма Слуцкого.

19. Центральная предельная теорема.
Доказательство через подмену слагаемых.
Доказательство через характеристические функции.

Здесь контрольная.

20. Винеровский процесс
Условные ожидания, инверсия.

21. Байесовский подход к оцениванию параметров

Балансовое уравнение. Идея MCMC.

22. Доказательства свойств меры

23. Алгоритм построения математического ожидания в общем случае.
Лемма Фату.
Теорема о мажорируемой сходимости.
Теорема о монотонной сходимости.

24. Резерв.

Жемчужинки, которые, вероятно, не успеем:

А. Методы решения задач:
подсчёт случаев с помощью леммы Бернсайда и теоремы Пойа о перечислении
(Burnside lemma, PET = Polya Enumeration Theorem)

B. вероятностные доказательства детерминистических теорем

</div>

== Оценивание ==

Оценка за семестр-1 = 0.2 Домашние задания семестра-1 + 0.4 Контрольная-Альфа + 0.4 Экзамен-Бета.

Финальная оценка за курс = 0.5 Оценка за семестр-1 + 0.1 Домашние задания семестра-2 + 0.2 Контрольная-Гамма + 0.2 Экзамен-Дельта.

Каждая оценка (суммарные итоги за домашние задания, контрольные, экзамены) — целое число от 0 до 100.
Для перевода в 10-балльную шкалу промежуточной оценки за семестр-1 и финальной оценки используется деление на 10
с арифметическим округлением. Например, если Максим получил "оценку за семестр-1" 65 баллов, то в ведомость за первый семестр идёт 7, а далее в формуле финальной оценки за курс используется 65.

=== Домашние задания для самураев ===

Домашние задания [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/home_assignments/home_assignments.pdf одним файлом] и [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/blob/main/home_assignments/ отдельными файлами].
Домашние задания имеют равный вес.
В конце каждой лекции (за исключением ближайших к экзамену лекций)
выдается домашнее задание сроком на две недели.
Дедлайн жёсткий, однако студент имеет право просрочить три домашних задания на неделю каждое без штрафа.

Формат сдачи ДЗ: один pdf-файл (решение текстовых задач) и один ipynb-файл (решение компьютерных задач).
В pdf-файл можно поместить аккуратно написанное отсканированное решение, а можно скомпилировать pdf из теха или маркдауна.
Ещё можно вместо pdf-файла написать всё в ipynb.
Бонусов за сдачу домашки в техе нет. Пример [https://www.overleaf.com/read/qmrkwpzvmqbk шаблона].

Обратите внимание: '''время каждого дедлайна — 23:59'''.

=== Ведомость с оценками за ДЗ ===

{| class="wikitable" style="text-align:center"
|-
! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1872081500#gid=1872081500 235] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1374497930#gid=1374497930 236] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1183164252#gid=1183164252 237] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=408179311#gid=408179311 238] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1032422408#gid=1032422408 239] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1603236891#gid=1603236891 2310] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=791330236#gid=791330236 2311] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=23847300#gid=23847300 2312]
|}

[https://docs.google.com/spreadsheets/d/14hD7-SLmAA1omdkhPlt3blRHDHVGTDS8ZgvLWscvMz8/edit?usp=sharing Оценки за кр1]

=== Контрольные работы и экзамен ===

Вес каждой задачи будет написан в тексте работы.
Задачи с ненаписанным по случайности весом имеют равный вес.
Для пропущенных по уважительной причине контрольных будет выделен один день для переписывания.
При пропуске дня переписывания, в том числе по уважительным причинам, ещё одного шанса не предоставляется.

<div class="mw-collapsible mw-collapsed" style="width:1000px; overflow: hidden;">

'''Контрольная работа 1''' состоится 2024-11-11 в 16:20, аудитории: R401, R305, R206, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_halloween_demo/exam_halloween_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/midterm/midterm-alpha.pdf условие с критериями и решениями].

'''Резервный день 1''' для пропустивших по уважительной причине состоится 2024-12-02 в 19:40, R405

'''Показ контрольной 1''':

* задачи 1, 2: заочно до 2024-12-08, [https://t.me/Moskchan Вероника]
* задачи 3, 4 [https://t.me/boris_demeshev Борис], очно, четверг, 2024-12-05, 18:10-21:00, G408
* задачи 5, 6 [https://t.me/XuMuK_MK Максим]: очно, четверг, 2024-12-05, 18:10-21:00, G408

'''Экзамен, модуль 2''' состоится '''''2024-12-24 в 10:00''''', аудитории R301, R304, R401, R404, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_winter_demo/exam_winter_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/december/pmi_probab_2024_december.pdf условие].

Если вы не хотите идти на экзамен, то заполните [https://forms.gle/UQzW77RrPvcdahG47 эту форму], чтобы получить ноль при неявке

'''Апелляция экзамена''':

* задачи 1, 2: заочно [https://t.me/goluba_yurieva Голуба], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/december/exam_problem_1-2.pdf решения и критерии 1, 2];
* задачи 3, 4: очно 2025-01-11, аудитория R408, 14:40-17:40 [https://t.me/madn_boi Никита], [https://www.overleaf.com/read/dnhjcdrndqps#42f1ab решения и критерии 3, 4];
* задачи 5, 6: заочно [https://t.me/levensons Илья]

* дедлайн по заочным апелляциям: суббота 23:59

[https://docs.google.com/spreadsheets/d/1mxMCr3IEDy8EPFWGkn3_dsghhPNcZICEw9C9o5ZoZvA/edit?usp=sharing Распределение по аудиториям]

</div>

Даты пересдач: 2025-01-28 в 18:10, 2025-02-03 в 18:10 и комиссия 2025-02-11 в 18:10.

'''Контрольная, модуль 3''' состоится 2025-02-чч в чч, аудитории ччччч, демо, условие.

'''Экзамен, модуль 3''' состоится 2025-03-26 в 14:40, аудитории R301, R404, R405, R503, демо, условие.

== Учебные материалы ==

[https://github.com/bdemeshev/probability_pro/raw/master/probability_pro.pdf PP]: Листки с задачами к курсу.

[https://github.com/bdemeshev/probability_dna/raw/master/probability_dna.pdf PDNA]: Вероятностная ДНК = вкусные задачи по теории вероятностей.

[https://disk.yandex.ru/d/LZ6d2VZVqYvbDQ Видео-летопись семинаров и лекций] и [https://hse.liferooter.dev/ конспект] от тайного благожелателя (updated 2024-10-23]

[https://disk.yandex.ru/d/IoakBXz_6yygPw Официальные видео]

[https://www.cambridgeinternational.org/Images/344616-list-of-formulae-and-statistical-tables.pdf Cambridge statistical tables]

== Дневник самурая ==

2024-09-02, лекция 1: Определение события. Определение случайной величины. Аксиомы вероятности. Определение математического ожидания для дискретного случая.
Линейность математического ожидания. Математическое ожидание как центр масс. Первое знакомоство с перестановочным тестом и p-значением.

Можно глянуть: главы 2.1 и 7 из [https://arxiv.org/pdf/1411.5279 WTSK], метод рычага [https://mathcircle.berkeley.edu/sites/default/files/archivedocs/2007_2008/lectures/0708lecturespdf/MassPointsBMC07.pdf в геометрии].

2024-09-09, лекция 2: Метод первого шага (вероятность выпадения HTH ранее HHT, ожидаемое количество шагов). Метод разложения случайной величины в сумму. Определение случайного вектора. Использование интерпретации ожидания как центра масс в геометрии. Определение теоретической медианы.

Можно глянуть: глава 2.7.2 из [https://projects.iq.harvard.edu/stat110/home BItP], три стратегии решения задачи за 10 минут [https://www.youtube.com/watch?v=xH89DaEI35w Visually Explained]

2024-09-16, лекция 3: Получение новой информации приводит к пересчёту вероятностей. Определение условной вероятности. Формула полной вероятности. Формула Байеса.
Условное математическое ожидание. Формула полного математического ожидания. Независимость пары событий. Независимость набора событий в совокупности.
Независимость величин: неформальное определение. Критерий независимости произвольных величин. Критерий независимости дискретных величин.

2024-09-23, лекция 4: Доказательство критерия независимости для дискретных случайных величин: из независимости {X=x} и {Y=y} следует независимость {X in A} и {Y in B}. Независимость величин равносильна E(f(X))E(g(Y))=E(f(X)g(Y)) для произвольных f, g. Определение биномиальной, геометрической (как числа неудач до 1го успеха) и отрицательной биномиальной случайной величины. Общая идея за производящими функциями: как из функции, производящей исходы эксперимента, с помощью производных и подстановок выудить индивидуальные вероятности, совместные вероятности, ожидания любой степени E(X^a), E(X^a Y^b). Формальное определение функции, производящей вероятности, и функцию, производящей моменты, для одной случайной величины и пары случайных величин. Метатеорема: все теоремы о дискретных величинах доказываются перестановкой слагаемых. Основные дискретные распределения: биномиальное, геометрическое, отрицательное биномиальное.

2024-09-30, лекция 5: Ещё дискретные законы распределения: гипергеометрическое. Описание закона распределения через равномерное распределение на подмножестве R^n.
Функция плотности как линейная часть вероятности попадания в отрезок. Равномерное распределение на отрезке. Смешанные случайные величины. LOTUS: нахождение ожидания любой функции от случайной величины для величин с функцией плотности и смешанных величин. Функция распределения. Квантильная функция.

2024-10-07, лекция 6: Две геометрии случайных величин и событий: E(XY) как скалярное произведение, Cov(X, Y) как скалярное произведение. Математическое ожидание — проекция в рамках геометрии, задаваемой E(XY). Определение и геометрический смысл дисперсии, стандартного отклонения, ковариации и корреляции. Неравенство Маркова. Неравенство Чебышёва. Неравенство Йенсена: интуитивный смысл.

2024-10-14, лекция 7: Доказательство неравенства Йенсена. Энтропия как минимальное ожидаемое число вопросов для отгадывания и формальное определение. Кросс-энтропия.
Доказательство того, что кросс-энтропия больше либо равна энтропии. Совместная энтропия. Условная энтропия. Формула H(X) + H(Y|X) = H(X, Y) без доказательства.
Вывод плотности экспоненциального распределения из предпосылки отсутствия памяти. Экспоненциальное распределение максимизирует энтропию при заданном ожидании и неотрицательности.

* Cristopher Olah, Visual Information Theory, https://colah.github.io/posts/2015-09-Visual-Information/

* Grand Sanderson, Solving Wordle using information theory, [https://www.youtube.com/watch?v=v68zYyaEmEA youtube].

* Artem Kirsanov, Key equation behind probability, [https://www.youtube.com/watch?v=KHVR587oW8I youtube]. У Артёма кросс-энтропия обозначена H(P, Q), а не CE(P||Q)).

* [https://exuberant-arthropod-be8.notion.site/1-02-09-5e107ea1c4054594b8f37d955db8a2b0 Конспект] аналогичной старой лекции псмо на русском.

* Keith Conrad, [https://kconrad.math.uconn.edu/blurbs/analysis/entropypost.pdf Maximal entropy] distributions.

2024-10-21, лекция 8: Ковариационная матрица и её свойства. Совместная функция плотности. Условная функция плотности. Критерий независимости в терминах функций плотности и распределения.
Связь индивидуальной и совместной функций плотности и функций распределения. Смена плотности при замене переменных: домножение на якобиан и неформально про дифференциальные формы. Формула свёртки.
Разложение совместной плотности для графической модели. Представление произвольной совместной функции распределения с помощью копулы.

* Про дифференциальные формы: [https://www.youtube.com/watch?v=PaWj0WxUxGg&list=PL22w63XsKjqzQZtDZO_9s2HEMRJnaOTX7 videos] by Michael Penn, [https://www.math.purdue.edu/~arapura/preprints/diffforms.pdf short intro] by Dony Arapura

* What is a convolution от [https://www.youtube.com/watch?v=KuXjwB4LzSA 3b1b]

* From graphical models to [https://www.youtube.com/watch?v=yBc01ZeaFxw&list=PLISXH-iEM4JlFsAp7trKCWyxeO3M70QyJ Probabilistic ML]

2024-11-11, лекция 9: Пуассоновский поток: аксиомы. Вывод пуассоновского распределения количества событий и экспоненциального времени между событиями из аксиом.
Сумма независимых пуассоновских потоков — это пуассоновский поток (половина доказательства). Вероятность того, что одна экспоненциальная величина будет меньше другой, независимой.

2024-11-18, лекция 10: Гамма-распределение как сумма нескольких экспоненциальных: вывод плотности через вероятность попадания в малый отрезок.
Обобщение плотности на случай положительного параметра $a$. Гамма-функция. Бета-распределение как отношение гамма-распределений. Бета-функция.

2024-11-25, лекция 11: Вывод нормального распределения из предпосылок Гаусса. Вывод нормального распределения из предпосылок Гершеля — Максвелла.

* Saul Stahl, The [https://www.researchgate.net/publication/255668423_The_Evolution_of_the_Normal_Distribution Evolution] of the Normal Distribution: вывод Гаусса с историей.

* Grand Sanderson, [https://www.youtube.com/watch?v=cy8r7WSuT1I Why pi] is in the normal? вывод Гершеля—Максвелла

* James Stein, [http://www-biba.inrialpes.fr/Jaynes/cc07s.pdf Normal Distribution]: глава про нормальное распределение (Гаусс, Гершель—Максвелл, Лэндон etc)

* William Herschel, [https://music.yandex.com/album/209394/track/2121214 концерт для габоя]

* William Herschel, [https://www.informationphilosopher.com/solutions/scientists/quetelet/Herschel_Quetelet_Probabilities.pdf On the theory of Probabilities]: вывод нормального распределения словами на стр. 189-191

2024-12-02, лекция 12: многомерное нормальное распределение. Функция плотности невырожденного многомерного нормального. Функция производящая моменты для многомерного нормального. Формула Иссерлиса с ненулевыми ожиданиями и доказательством. Условное распределение: вывод условного ожидания и условной дисперсии через разложение величины в сумму независимых.

* [https://stats.stackexchange.com/questions/30588/ альтернативный вывод] условного многомерного нормального распределения
* Хитрый [https://github.com/bdemeshev/lis-isserlis/raw/main/lis-isserlis.pdf лис Иссерлис]

2024-12-09, лекция 13: сходимость по распределению, центральная предельная теорема с доказательством подменой слагаемых.

* Calvin Chin [https://arxiv.org/pdf/2106.00871 CLT proof] by swapping
* [https://bdemeshev.github.io/teaching_notes/clt_by_swapping Пересказ доказательства]

2024-12-16, лекция 14: использование бесконечно малых при нахождении ожиданий, трюк с добавление параметра, трюк с закольцовыванием отрезка при равномерном распределении.

2025-01-13, лекция 15: Неединственность предела по распределению. Неаддитивность предела по распределению. Предел по вероятности. Закон больших чисел в слабой форме (с доказательством при дополнительной предпосылке о конечности дисперсии). Теорема о непрерывном отображении.

2025-01-20, лекция 16: два определение сходимости почти наверное с доказательством эквивалентности. Сходимость в Lp. Из сходимости в Lp при p>=1 следует сходимость по вероятности. Из сходимости почти наверное следует сходимость по вероятностям. Контр-пример к разнице сходимостей почти наверное и по вероятности. Контр-пример к разнице сходимостей в Lp и по вероятности. Усиленный закон больших чисел (без доказательства). Леммы Слуцкого (без доказательства).

=== Семинары ===

==== 473 = 235 + 238 ====

2024-09-02, 06, семинар 1: задачи 1.1, 1.6, 3.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-09, 13, семинар 2: задачи 2.1, 2.3, 12.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-16, 20, семинар 3: задачи 7.12 и 7.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-23, 27, семинар 4: как извлечь P(X=3), E(X), E(X^2Y) из функции, производящей список исходов, 28.16 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-30, -10-04, семинар 5: 9.3в, 9.4, 9.7(абвд, кроме дисперсии, аргументы масштабирования и центра масс помимо интегралов), 9.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-10-07, 11, семинар 6: вычисление Cov, Var, Corr по табличке и из функции плотности, нахождение дисперсии для отрицательного биномиального распределения по свойствам.

2024-10-14, 18, семинар 7: вычисление энтропии геометрического распределения. Изменение энтропии при линейном преобразовании для дискретной величины и величины с функцией плотности.
Кросс-энтропия из экспоненциального в равномерное. Условная энтропия для дискретной таблички. Связь энтропии величины с функцией плотности и энтропия дискретной версии этой случайной величины после "огрубления" с малым шагом 1/k.

2024-10-21, -11-01, семинар 8: 16.18, 16.23 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], свёртка двух экспоненциальных величин

2024-11-11, 15, семинар 9: задачи на пуассоновский поток из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-11-18, 22, семинар 10: задачи на бета и гамма-распределение

2024-11-25, 29, семинар 11: задачи на нормальное распределение, 18.1, 18.2, 18.3, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-02, 06, семинар 12: задачи на многомерное нормальное: 24.16аб, 24.17аб, 24.18, 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-09, 13, семинар 13: ЦПТ и нормальное распределение: 20.2, 20.4, 18.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-19, семинар 14: разбор демо

2025-01-13, семинар 15: сходимость по вероятности: 20.1, 20.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-20, семинар 16: связь между сходимостями, 20.11, 20.13 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

==== 236 ====

2024-09-06, семинар 1: в начале семинара рассмотрели основные понятия и определения для решения задач. Решили задачи 1.1, 1.6, 3.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-13, семинар 2: нашли ожидание случайной величины с геом. распределением. Решили задачи 2.1, 12.6, 12.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-09-20, семинар 3: решили задачи 7.12, 7.4(а), 7.7, 7.13(а) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-09-27, семинар 4: разобрали 7.13, почти разобрали 28.3 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Также рассмотрели один контрпример на независимость(тетраэдр Бернштейна).

2024-10-04, семинар 5: разобрались с определениями, решили 9.3(абв), 9.7(аб) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Решили задачку про три точки на отрезке и найти вероятность получить треугольник. Также вывели формулу для мат. ожидания неотрицательной величины через функцию распределения.

2024-10-14, семинар 6: обсудили дисперсию, ковариацию, коэффициент корреляции и их геометрический смысл. Решили задачу на оценку дисперсии ограниченной величины. посчитали дисперсию геометрического, биномиального. Посчитали дисперсию в задаче о письмах и конвертах.

???, семинар 7: определили энтропию, посчитали примеры для дискретных величин, для линейных преобразований. Доказали, что задача максимизации энтропии с фиксированной дисперсией достигается на нормальном распределении.

???, семинар 8: свертка двух экспоненциальных, 16.18 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

???, семинар 9: задачи на пуассоновский процесс из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

???, семинар 10: разбор кр.

???, семинар 11: разобрали задачи на нормальное распределение 18.1, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Также считали распределение суммы двух независимых нормальных.

==== 237 ====

2024-09-09, семинар 1: задачи 1.1, 2.2 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], вероятность что n ладей не бьют друг друга при случайной расстановке на шахматной доске n на n, матожидание числа треугольников в случайном графе на n вершинах через сумму индикаторов

2024-09-13, семинар 2: задачи 2.1, 2.6, 12.3, 12.6, 12.7 (без дисперсий) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-23, семинар 3: задачи 7.2, 7.13, 7.7, 7.8, плюс начали 7.15b (получили неверный ответ) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-27, семинар 4: дорешали 7.15b с небольшой демонстрацией на питоне, разобрали 28.2 для нечестной монетки плюс посчитали матожидание [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-10-04, семинар 5: задачи 9.1, 9.3абв, 9.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], философия про то почему бОльшая плотность не всегда означает бОльшую вероятность оказаться в окрестности данной точки (плотность может занимать слишком маленький объем)

2024-10-11, семинар 6: вспомнили определения Cov/Var/Corr, посчитали у пары дискретных величин по табличке вероятностей, посчитали дисперсию у биномиального, геометрического, непрерывного равномерного на отрезке.

2024-10-18, семинар 7: вычисление энтропии геометрического распределения; ограниченность энтропии снизу и сверху в дискретном случае; изменение энтропии при линейном преобразовании для дискретной величины и величины с функцией плотности; условная энтропия, KL дивергенция и кросс-энтропия, неотрицательность KL, интерпретация на пальцах с точки зрения теории информации.

2024-11-01, семинар 8: 16.18, 16.23 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], свёртка двух экспоненциальных величин

2024-11-08, семинар 9: решали пробный вариант КР

2024-11-15, семинар 10: 13.1, 13.2, 13.5, 13.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-11-22, семинар 11: разбор КР

2024-11-29, семинар 12: нормальное распределение, 18.1, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-06, семинар 13: многомерное нормальное распределение, изменение среднего и матрицы ковариаций при линейном преобразовании, 24.4а, 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-13, семинар 14: 24.4в из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], сходимости случайных величин, ЗБЧ и ЦПТ, 20.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-21, семинар 15: наследование сходимости, 20.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], плюс доказали предельную теорему Пуассона

2025-01-28, семинар 16: связь между сходимостями, 20.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], лемма Слуцкого, подмена дисперсии на выборочную дисперсию в ЦПТ

==== 239 ====

2024-09-03, семинар 1: задачи 1.1, 1.4, пытались 1.8 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Ещё успели посчитать вероятность N=k бросков монеты до выпадения первого орла, матожидание N. И ещё сделали то же для количества бросков до выпадения 3 орлов (не в серии).

2024-09-10, семинар 2: доказали формулу включения-исключения, решили несложную задачу, порешали 2.7 задачи типа 12.*

2024-09-17, семинар 3: Решили две прямых задачи на формулу Байеса и формулу полной вероятности (без большого количества вычислений). Решили задачу поиска вероятности неисправного кофе-автомата из 3 при условии, что бросили деньги в 1 и 2 и их зажевало. Ещё нашли вероятность, что мяч будет у игрока 3 после шага 10 (все садятся в круг и на каждом шаге бросают мяч соседу с вероятностью 0.3 и оставляют у себя с вероятностью 0.4).

2024-09-24, семинар 4: Вспомнили про метод первого шага, используя формулу полной вероятности и введя в некотором виде формулу полного матожидания, записали формулу для вероятностей нахождения в состоянии i через произведение переходной матрицы на вектор. Совсем немного начали производящие функции, но решили не считать 31ю производную многочлена.

2024-10-01, семинар 5: Исследуем дискретные случайные величины (Биномиальная, Геометрическая и разные похожие) с использованием техник вычислений моментов через производящую функцию. Задачи на распределения величин, посчитанных по набору величин. Первая большая задача про плотность.

2024-10-08, семинар 6: разминочная про плотность и функцию распределения. Считаем дисперсию, ковариацию и корреляцию по 2x2 таблице и в равномерном распределении на круге и квадрате [-1,1]х[-1,1].

2024-10-15, семинар 7: пара задач про экспоненциальное распределение, расчёты по теории информации(считаем всякое, чтобы привыкнуть).

2024-10-22, семинар 8: письменные источники не сохранились до наших дней. Согласно преданиям, оьсуждали двери и около контрольной. Говорят, ввели пуассоновский процесс.

2024-???, семинар 9: решаем задачи на пуассоновское в разных формах и обсуждаем омалые в порядковых статистиках.

2024-???, семинар 10: учимся интерпретироввть гауссовское, пользоваться таблицами для функции Лапласа, а также немного работать с многомерным гауссовским.

2024-3-12, семинар 11: Копаем во все стороны многомерное гауссовское: считаем вероятности для линейных комбинаций гауссовских, проверяем зависимость, вычисляем условные законы, матожидания и ковариационные матрицы, вспоминаем спектральное разложение и разложение Холецкого.

==== 2311 ====

2024-09-06, семинар 1: вероятностное пространство, вероятность на нем, вероятность события, случайная величина и ее распределение (индикатор события, сумма двух кубиков, число бросаний монетки до первого орла), матожидание случайной величины (индикатор, один кубик, два кубика), линейность матожидания. Задачи на линейность матожидания, в том числе ЕГЭшная задача про турнир, 1.5, 3.5 с допвопросом о матожидании числа совпадений. Разговор о получении события произвольной вероятности монеткой в контексте 1.8

2024-09-13, семинар 2: Повторили матожидание суммы на примере 12.3. Обсудили условную вероятность и формулу полной вероятности, условное матожидание, решили задачи на метод первого шага 2.1, 2.3, 2.7.

2024-09-20, семинар 3: Условная вероятность, формула полной вероятности, формула Байеса: 7.1, классическая задача про болезни и тесты, простейшие задачки на общее понимание, обсуждение двух подходов: вычисления условной вероятности по формуле и составления нового вероятностного пространства и подсчет вероятности в нем. Независимые события (события "пики" и "дама" в обычной колоде и колоде с джокерами), независимые в совокупности события, построили пример попарно независимых, но не независимых в совокупности. Обсудили биномиальное распределение. решили задачу: "в корабле к отсеков, чтобы корабль затонул, нужно поразить 2. Независимо выпускают n ракет, каждая из которых поражает случайный отсек с вероятностью p. Найти вероятность потопления корабля"

2024-09-20, семинар 4: Примеры одинаково распределенных зависимых СВ, независимые СВ. Производящая функция и ее свойства. Посчитали для биномиального производящую функцию и второй момент. Обсудили, что будет меняться в случае функции, производящей моменты. Обсудили функцию, производящую множество исходов, как из нее доставать уже известные функции, как ее искать на примере бросания монетки до выпадания HT

2024-10-11, семинар 5: Составили табличку стандартных дискретных распределений, посчитали матожидание геометрического, обсудили дисперсию и ковариацию и их свойства (в дискретном случае), досчитали дисперсии основных распределений. Обсудили вероятностное пространство в общем случае, понятие СВ в общем случае. Дали определение ФР, посчитали ФР для явно заданной СВ. Дали определение плотности.

2024-10-12, семинар 6: Обсудили свойства ФР, как считать вероятность попадания в промежуток в терминах ФР. Выразили ФР 1/X, cos X. Обсудили как выражается веротяность попадания в множество через плотность. для 1/Х выразили плотность в случае абсолютной непрерывности Х. Обсудили формулу для МО в общем виде через интеграл Стильтьеса и как вычислять МО для функции, разлагающейся в сумму абсолютно нерпрерывной и функции скачков, посчитали МО для пары таких СВ

2024-10-18, семинар 7: Обсудили геометрию, заданную скалярным произведением EXY и cov(X,Y), поиск ортогонального элемента и проекции. Посчитали энтропию и кросс-энтропию в дискретном и непрерывном случаях, посчиали совместную и условную энтропию в дискретном случае (23.2, 23.4, 23.9)

2024-11-01, семинар 9: Совместная плотность и ф.р., подсчет вероятностей, маргинальные плотности, замена переменной через якобиан, свертка, матожидание

2024-11-09, семинар 10: Условная плотность, формула условной вероятности. Задача на восстановление маргинальной плотности по условной. Разбор задач из "Летучей мыши"

2024-11-19, семинар 11: Разбор контрольной работы

2024-11-22, семинар 12: Пуассоновский поток - решали задачки из задачника

2024-11-29, семинар 13: Нормальное распределение - задачи из PP, повторили функцию, порождающую моменты, обсудили ее свойства в абсолютно непрерывном случае

2024-12-06, семинар 14: Многомерное нормальное - обсудили два определения, связь между ними, независимость элементов нормального вектора при нулевой ковариации и почему это неверно для произвольных нормальных. порешали задачи 24.9а, 24.10, 24.17

2024-12-013, семинар 15: ЦПТ, решали задачи из задачника

2025-01-17, семинар 16: Сходимости почти наверное и по вероятности, связь со сходимостью по распределению. Посмотрели стандартные контрпримеры, показали, что если есть сходимость по распределению к константе, то есть и по вероятности. ЗБЧ Чебышева и Хинчина, УЗБЧ Колмогорова, обсудили 20.1 сколько успели.

2025-01-24, семинар 17: Сходимость в L_p, связи между сходимостями. Задача 20.11

==== 2310, 2312 ====

2024-09-06, семинар 1: задача 1.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Определили вероятностное пространство в виде тройки, множество исходов рассматривали конечное и счётное. Решили 3 счётные задачи на комбинаторику про колоды карт и счетные последовательности цифр. Привели геометрическое и аналитическое решения задачи про нахождение предела последовательности вероятностей. В конце нашли математическое ожидание геометрически распределённой случайной величины.

2024-09-13, семинар 2: задача 2.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Задача на упорядоченные и неупорядоченные наборы. Задача про классическое вероятностное пространство и про пространство с неравновероятными исходами. Разобрали парадокс Монти Холла. Ввели понятия условной вероятности и независимых случайных величин. Сформулировали и обсудили идеи доказательств трёх теорем: теорема умножения вероятностей, формула полной вероятности и формула Байеса.

2024-09-20, семинар 3: Решили задачу на определение условной вероятности. Обсудили парадокс теоремы Байеса на примере задачи про редкое заболевание, а также посмотрели простую программу на Python, которая считает вероятность в зависимости от количества проведенных тестов на заболевание. Обсудили условное математическое ожидание, некоторые его свойства и рассмотрели пример с подбрасыванием кубика. В конце решили задачу на парадокс дней рождений.

2024-09-27, семинар 4: Обсудили коллизии хеш-функций и связь с атакой "дней рождений". Определили независимость или зависимость случайных величин в четырёх разных вариантах. Обсудили, что неверно утверждать, что матожидание частного независимых случайных величин равно частному матожиданий, также привели пример использования подобного факта в некоторых статьях. В конце решили задачу на поиск функции производящей исходы, а также нашли E(X), E(Y^2), E(XY) с помощью найденной функции.

2024-10-04, семинар 5: Решили две простые задачи на условную вероятность и на теорему об умножении вероятностей. Обсудили связь дерева событий с условной вероятностью и теоремой об умножении вероятностей. Нашли производящую функцию моментов для геометрически распределенной случайной величины и с помощью нее нашли матожидание. Нашли производящую функцию моментов и матожидание суммы случайного количества н.о.р случайных величин.

2024-10-11, семинар 6: Привели аналогии между дискретными и непрерывными случайными величинами. Нарисовали графики функций от случайных величин. Вспомнили определение и свойства дисперсии. Решили простую задачу на подсчет дисперсии и нашли дисперсию геометрически распределенной случайной величины. Обсудили, когда может быть матожидание и дисперсия бесконечны. Далее вспомнили неравенства Маркова и Чебышева, вывели следствия и решили 3 задачи на применение этих неравенств. Обсудили, что неравенство Маркова может давать как точную оценку, так и очень слабую. Показали, что неотрицательность случайной величины в неравенстве Маркова является существенным условием.

2024-10-11, семинар 7: Повторили понятия энтропии в битах и натах, а также понятие дифференциальной энтропии. Нашли энтропию в схеме Бернулли и энтропии геометрического и экспоненциального распределений. Доказали простую оценку сверху для энтропии случайной величины, имеющей конечный носитель мощности n.

2024-11-1, семинар 8: Разобрали демо-вариант контрольной работы "Тыква".

2024-11-8, семинар 9: Разобрали демо-вариант контрольной работы "Летучая мышь".

2024-11-15, семинар 10: Понятие случайного процесса. Определение пуассоновского процесса, его свойства. Три простые задачи на пуассоновское распределение. Задачи 13.1 и 13.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-11-22, семинар 11: Определения Бета-функции и Гамма-функции. Бета и Гамма распределения, их функции плотности и графики. Нахождение моды случайных величин, имеющих Бета и Гамма распределения. Связь пуассоновского процесса с Гамма распределением. В конце нашли производящую функцию моментов Гамма распределения.

2024-11-29, семинар 12: Задачи 18.1, 18.2 и 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-12-06, семинар 13: Нашли многомерное нормальное распределение по виду функции плотности (константа на экспоненту с квадратичным показателем). С помощью формулы Иссерлиса нашли матожидания произведений различных или одинаковых случайных величин, имеющих многомерное нормальное распределение. Нашли условную вероятность многомерного распределения. Задача 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-12-13, семинар 14: Повторили определение сходимости по распределению и центральную предельную теорему. Решили задачи 20.2 и 20.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

== Источники ==

Источники мудрости, которые я постарался не замутить :)

[https://arxiv.org/pdf/1411.5279 WTSK]: Tim Hesterberg, What Teachers Should Know About the Bootstrap: вкусное и доступное изложение бутстрэпа и перестановочных тестов.

[https://projects.iq.harvard.edu/stat110/home BItP]: Blitzstein, Hwang, Introduction to Probability: учебник, записи лекций, гарвардский курс.

Теория вероятностей 2024/25 (основной поток)

2025-01-11T16:14:17Z

Nmorozov:

= Преподаватели и учебные ассистенты =

{| class="wikitable" style="text-align:center"
|-
! Группа !! БПМИ235 !! БПМИ236 !! БПМИ237 !! БПМИ238 !! БПМИ239 !! БПМИ2310 !! БПМИ2311 !! БПМИ2312
|-
|| Лектор ||colspan="11"| [https://t.me/boris_demeshev Борис Демешев]
|-
|| Семинарист || [https://t.me/boris_demeshev Борис Демешев] || [https://t.me/levensons Илья Левин] || [https://t.me/madn_boi Никита Морозов] || [https://t.me/boris_demeshev Борис Демешев] || [https://t.me/XuMuK_MK Максим Каледин] || [https://t.me/goluba_yurieva Голуба Юрьева] || [https://t.me/Moskchan Вероника Владыкина] || [https://t.me/goluba_yurieva Голуба Юрьева]
|-
|| Ассистент || [https://t.me/nerhneiro Ира Скворцова] || [https://t.me/a_ameli_ig Амелия Алаева] || [https://t.me/htual Алина Бадахова] || [https://t.me/adelyagaraeva Аделя Гараева] || [https://t.me/mabrielka Мария Брель] || [https://t.me/zm_ann Анна Зыкова-Мызина] || [https://t.me/Yanlightv Яна Вежновец] || [https://t.me/nol_erk Кирилл Лавриненко]
|-
|| Ассистент курса ||colspan="11"| [https://t.me/Nick_Volya Никита Волянский]
|}

== Цели и задачи курса ==

侍には目標がなく道しかない [Samurai niwa mokuhyō ga naku michi shikanai]

У самурая нет цели и ничего кроме пути.

Вероятный план:
<div class="mw-collapsible mw-collapsed" style="width:1000px; overflow: hidden;">
1. Дискретное вероятностное пространство. Вероятность, математическое ожидание, теоретическая медиана.
Перестановочные тесты, p-значение для перестановочного теста.
Математическое ожидание = центр масс.

NB: здесь сходу рисуем дерево
NB: здесь нет задач на условную вероятность

!предупреждение об обозначениях случайных величин.
Российская традиция — греческие буквы, американская традиция — заглавные английские буквы.
Наш курс: любые буквы. Причина: теория вероятностей применяется в разных областях, где свои традиции.

NB: Способы вычисления вероятностей и ожиданий:
* полный перебор руками
* примерные вычисления руками
* полный перебор на компьютере
* симуляции на компьютере
* ...

2.
Методы решения задач:
* разложение величины в сумму
* метод первого шага
!идея: позиция в игре имеет цену
* just for fun: метод рычага в геометрии через ожидание
NB: рассказать здесь про комплексную случайную величину
NB: по сути здесь мы уже решаем задачи на марковские цепи не говоря страшных определений
LOTUS.

3. Условная вероятность и условное ожидание.
!идея: зануляем вероятности невозможных событий, а остальные — масштабируем.
формула полной вероятности
!идея: дерево "помнит" формулу полной вероятности
формула Байеса

Независимые события.
Независимые случайные величины.

4.
Методы решения задач:
* производящие функции многих переменных
функция как способ записать множество
HTT vs TTH
ABRACADABRA
!разложение по биномиальной формуле

?: можно здесь успеть функцию производящую моменты

5.
Биномиальное распределение.
Геометрическое и гипергеометрическое распределения.
Отрицательное биномиальное распределение.

6.
Равномерное распределение на множестве в R^n
Функция распределения.
Функция плотности и вероятностная дифференциальная форма.
!пояснение про неудачную традиционную терминологию "непрерывная случайная величина"
величина с функцией плотности, величина с непрерывной функцией распределения.

Квантили, квантильная функция.

7. Характеристики случайных величин и неравенства.
Дисперсия.
Энтропия.
Неравенство Маркова.
Неравенство Чебышёва.
Неравенство Йенсена.

Здесь конец модуля 1 и КР-1!

8. Пуассоновский поток.
Аксиомы пуассоновского потока.
Вывод экспоненциального распределения и пуассоновского распределения из аксиом.
Вывод экспоненциального распределения из предпосылки об отсутсвии памяти.

9. Нормальное распределение.
Нормальное распределение: предпосылки Хершела-Максвелла.
Нормальное распределение: аргументация Гаусса за среднее арифметическое.
Нормальное распределение: предпосылки Лэндона (до уравнения в частных производных).

10. Классические непрерывные распределения.

Гамма-распределение, бета-распределение.
Вывод нормального и экспоненциального распредений как минимизации энтропии.

11. Парные характеристики случайных величин.
Наилучшая линейная аппроксимация.
Ковариация.
Корреляция.
Кросс-энтропия.

Доказательство E(XY) = E(X) E(Y) для дискретных.
Ковариационная матрица и ожидание для случайных векторов.

12. Совместная и условная функция плостности.
Преобразования случайных величин.

13. Функция производящая моменты и характеристическая функция.
Распределение суммы случайного количества случайных величин.
Случайный выбор слагаемых.

14. Финансовые приложения

Оценивание опционов на биномиальном дереве.
Максимизация долгосрочной прибыли, связь с энтропией.
Возможно, индексы Гиттинса.

Здесь конец модуля 2 и КР-2

15. Сигма-алгебры.

Список известных величин как способ описания информации.
Идея условного ожидания как оптимального прогноза.
Сигма-алгебра как способ описания информации.
Измеримость случайной величины относительно сигма-алгебры.
Сигма-алгебра как ОДЗ для вероятности.
Борелевская сигма-алгебра.
Независимые случайные величины второе определение.

16. Условное математическое ожидание.
Условная дисперсия.
Сумма случайного количества случайных величин.

17. Сходимости случайных величин.

Сходимость по вероятности.
Закон больших чисел.
Сходимость почти наверное.
Усилинный закон больших чисел.
Сходимость по распределению.

18. Связь сходимостей.
Лемма Слуцкого.

19. Центральная предельная теорема.
Доказательство через подмену слагаемых.
Доказательство через характеристические функции.

Здесь контрольная.

20. Винеровский процесс
Условные ожидания, инверсия.

21. Байесовский подход к оцениванию параметров

Балансовое уравнение. Идея MCMC.

22. Доказательства свойств меры

23. Алгоритм построения математического ожидания в общем случае.
Лемма Фату.
Теорема о мажорируемой сходимости.
Теорема о монотонной сходимости.

24. Резерв.

Жемчужинки, которые, вероятно, не успеем:

А. Методы решения задач:
подсчёт случаев с помощью леммы Бернсайда и теоремы Пойа о перечислении
(Burnside lemma, PET = Polya Enumeration Theorem)

B. вероятностные доказательства детерминистических теорем

</div>

== Оценивание ==

Оценка за семестр-1 = 0.2 Домашние задания семестра-1 + 0.4 Контрольная-Альфа + 0.4 Экзамен-Бета.

Финальная оценка за курс = 0.5 Оценка за семестр-1 + 0.1 Домашние задания семестра-2 + 0.2 Контрольная-Гамма + 0.2 Экзамен-Дельта.

Каждая оценка (суммарные итоги за домашние задания, контрольные, экзамены) — целое число от 0 до 100.
Для перевода в 10-балльную шкалу промежуточной оценки за семестр-1 и финальной оценки используется деление на 10
с арифметическим округлением. Например, если Максим получил "оценку за семестр-1" 65 баллов, то в ведомость за первый семестр идёт 7, а далее в формуле финальной оценки за курс используется 65.

=== Домашние задания для самураев ===

Домашние задания [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/home_assignments/home_assignments.pdf одним файлом] и [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/blob/main/home_assignments/ отдельными файлами].
Домашние задания имеют равный вес.
В конце каждой лекции (за исключением ближайших к экзамену лекций)
выдается домашнее задание сроком на две недели.
Дедлайн жёсткий, однако студент имеет право просрочить три домашних задания на неделю каждое без штрафа.

Формат сдачи ДЗ: один pdf-файл (решение текстовых задач) и один ipynb-файл (решение компьютерных задач).
В pdf-файл можно поместить аккуратно написанное отсканированное решение, а можно скомпилировать pdf из теха или маркдауна.
Ещё можно вместо pdf-файла написать всё в ipynb.
Бонусов за сдачу домашки в техе нет. Пример [https://www.overleaf.com/read/qmrkwpzvmqbk шаблона].

Обратите внимание: '''время каждого дедлайна — 23:59'''.

=== Ведомость с оценками за ДЗ ===

{| class="wikitable" style="text-align:center"
|-
! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1872081500#gid=1872081500 235] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1374497930#gid=1374497930 236] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1183164252#gid=1183164252 237] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=408179311#gid=408179311 238] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1032422408#gid=1032422408 239] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1603236891#gid=1603236891 2310] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=791330236#gid=791330236 2311] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=23847300#gid=23847300 2312]
|}

[https://docs.google.com/spreadsheets/d/14hD7-SLmAA1omdkhPlt3blRHDHVGTDS8ZgvLWscvMz8/edit?usp=sharing Оценки за кр1]

=== Контрольные работы и экзамен ===

Вес каждой задачи будет написан в тексте работы.
Задачи с ненаписанным по случайности весом имеют равный вес.
Для пропущенных по уважительной причине контрольных будет выделен один день для переписывания.
При пропуске дня переписывания, в том числе по уважительным причинам, ещё одного шанса не предоставляется.

'''Контрольная работа 1''' состоится 2024-11-11 в 16:20, аудитории: R401, R305, R206, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_halloween_demo/exam_halloween_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/midterm/midterm-alpha.pdf условие с критериями и решениями].

'''Резервный день 1''' для пропустивших по уважительной причине состоится 2024-12-02 в 19:40, R405

'''Показ контрольной 1''':

* задачи 1, 2: заочно до 2024-12-08, [https://t.me/Moskchan Вероника]
* задачи 3, 4 [https://t.me/boris_demeshev Борис], очно, четверг, 2024-12-05, 18:10-21:00, G408
* задачи 5, 6 [https://t.me/XuMuK_MK Максим]: очно, четверг, 2024-12-05, 18:10-21:00, G408

'''Экзамен, модуль 2''' состоится '''''2024-12-24 в 10:00''''', аудитории R301, R304, R401, R404, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_winter_demo/exam_winter_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/december/pmi_probab_2024_december.pdf условие].

Если вы не хотите идти на экзамен, то заполните [https://forms.gle/UQzW77RrPvcdahG47 эту форму], чтобы получить ноль при неявке

'''Апелляция экзамена''':

* задачи 1, 2: заочно [https://t.me/goluba_yurieva Голуба], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/december/exam_problem_1-2.pdf решения и критерии 1, 2];
* задачи 3, 4: очно 2025-01-11, аудитория R408, 14:40-17:40 [https://t.me/madn_boi Никита], [https://www.overleaf.com/read/dnhjcdrndqps#42f1ab решения и критерии 3, 4];
* задачи 5, 6: заочно [https://t.me/levensons Илья]

* дедлайн по заочным апелляциям: суббота 23:59

[https://docs.google.com/spreadsheets/d/1mxMCr3IEDy8EPFWGkn3_dsghhPNcZICEw9C9o5ZoZvA/edit?usp=sharing Распределение по аудиториям]

'''Экзамен, модуль 3''' состоится 2025-03-26 в 14:40, аудитории R301, R404, R405, R503, демо, условие.

== Учебные материалы ==

[https://github.com/bdemeshev/probability_pro/raw/master/probability_pro.pdf PP]: Листки с задачами к курсу.

[https://github.com/bdemeshev/probability_dna/raw/master/probability_dna.pdf PDNA]: Вероятностная ДНК = вкусные задачи по теории вероятностей.

[https://disk.yandex.ru/d/LZ6d2VZVqYvbDQ Видео-летопись семинаров и лекций] и [https://hse.liferooter.dev/ конспект] от тайного благожелателя (updated 2024-10-23]

[https://disk.yandex.ru/d/IoakBXz_6yygPw Официальные видео]

[https://www.cambridgeinternational.org/Images/344616-list-of-formulae-and-statistical-tables.pdf Cambridge statistical tables]

== Дневник самурая ==

2024-09-02, лекция 1: Определение события. Определение случайной величины. Аксиомы вероятности. Определение математического ожидания для дискретного случая.
Линейность математического ожидания. Математическое ожидание как центр масс. Первое знакомоство с перестановочным тестом и p-значением.

Можно глянуть: главы 2.1 и 7 из [https://arxiv.org/pdf/1411.5279 WTSK], метод рычага [https://mathcircle.berkeley.edu/sites/default/files/archivedocs/2007_2008/lectures/0708lecturespdf/MassPointsBMC07.pdf в геометрии].

2024-09-09, лекция 2: Метод первого шага (вероятность выпадения HTH ранее HHT, ожидаемое количество шагов). Метод разложения случайной величины в сумму. Определение случайного вектора. Использование интерпретации ожидания как центра масс в геометрии. Определение теоретической медианы.

Можно глянуть: глава 2.7.2 из [https://projects.iq.harvard.edu/stat110/home BItP], три стратегии решения задачи за 10 минут [https://www.youtube.com/watch?v=xH89DaEI35w Visually Explained]

2024-09-16, лекция 3: Получение новой информации приводит к пересчёту вероятностей. Определение условной вероятности. Формула полной вероятности. Формула Байеса.
Условное математическое ожидание. Формула полного математического ожидания. Независимость пары событий. Независимость набора событий в совокупности.
Независимость величин: неформальное определение. Критерий независимости произвольных величин. Критерий независимости дискретных величин.

2024-09-23, лекция 4: Доказательство критерия независимости для дискретных случайных величин: из независимости {X=x} и {Y=y} следует независимость {X in A} и {Y in B}. Независимость величин равносильна E(f(X))E(g(Y))=E(f(X)g(Y)) для произвольных f, g. Определение биномиальной, геометрической (как числа неудач до 1го успеха) и отрицательной биномиальной случайной величины. Общая идея за производящими функциями: как из функции, производящей исходы эксперимента, с помощью производных и подстановок выудить индивидуальные вероятности, совместные вероятности, ожидания любой степени E(X^a), E(X^a Y^b). Формальное определение функции, производящей вероятности, и функцию, производящей моменты, для одной случайной величины и пары случайных величин. Метатеорема: все теоремы о дискретных величинах доказываются перестановкой слагаемых. Основные дискретные распределения: биномиальное, геометрическое, отрицательное биномиальное.

2024-09-30, лекция 5: Ещё дискретные законы распределения: гипергеометрическое. Описание закона распределения через равномерное распределение на подмножестве R^n.
Функция плотности как линейная часть вероятности попадания в отрезок. Равномерное распределение на отрезке. Смешанные случайные величины. LOTUS: нахождение ожидания любой функции от случайной величины для величин с функцией плотности и смешанных величин. Функция распределения. Квантильная функция.

2024-10-07, лекция 6: Две геометрии случайных величин и событий: E(XY) как скалярное произведение, Cov(X, Y) как скалярное произведение. Математическое ожидание — проекция в рамках геометрии, задаваемой E(XY). Определение и геометрический смысл дисперсии, стандартного отклонения, ковариации и корреляции. Неравенство Маркова. Неравенство Чебышёва. Неравенство Йенсена: интуитивный смысл.

2024-10-14, лекция 7: Доказательство неравенства Йенсена. Энтропия как минимальное ожидаемое число вопросов для отгадывания и формальное определение. Кросс-энтропия.
Доказательство того, что кросс-энтропия больше либо равна энтропии. Совместная энтропия. Условная энтропия. Формула H(X) + H(Y|X) = H(X, Y) без доказательства.
Вывод плотности экспоненциального распределения из предпосылки отсутствия памяти. Экспоненциальное распределение максимизирует энтропию при заданном ожидании и неотрицательности.

* Cristopher Olah, Visual Information Theory, https://colah.github.io/posts/2015-09-Visual-Information/

* Grand Sanderson, Solving Wordle using information theory, [https://www.youtube.com/watch?v=v68zYyaEmEA youtube].

* Artem Kirsanov, Key equation behind probability, [https://www.youtube.com/watch?v=KHVR587oW8I youtube]. У Артёма кросс-энтропия обозначена H(P, Q), а не CE(P||Q)).

* [https://exuberant-arthropod-be8.notion.site/1-02-09-5e107ea1c4054594b8f37d955db8a2b0 Конспект] аналогичной старой лекции псмо на русском.

* Keith Conrad, [https://kconrad.math.uconn.edu/blurbs/analysis/entropypost.pdf Maximal entropy] distributions.

2024-10-21, лекция 8: Ковариационная матрица и её свойства. Совместная функция плотности. Условная функция плотности. Критерий независимости в терминах функций плотности и распределения.
Связь индивидуальной и совместной функций плотности и функций распределения. Смена плотности при замене переменных: домножение на якобиан и неформально про дифференциальные формы. Формула свёртки.
Разложение совместной плотности для графической модели. Представление произвольной совместной функции распределения с помощью копулы.

* Про дифференциальные формы: [https://www.youtube.com/watch?v=PaWj0WxUxGg&list=PL22w63XsKjqzQZtDZO_9s2HEMRJnaOTX7 videos] by Michael Penn, [https://www.math.purdue.edu/~arapura/preprints/diffforms.pdf short intro] by Dony Arapura

* What is a convolution от [https://www.youtube.com/watch?v=KuXjwB4LzSA 3b1b]

* From graphical models to [https://www.youtube.com/watch?v=yBc01ZeaFxw&list=PLISXH-iEM4JlFsAp7trKCWyxeO3M70QyJ Probabilistic ML]

2024-11-11, лекция 9: Пуассоновский поток: аксиомы. Вывод пуассоновского распределения количества событий и экспоненциального времени между событиями из аксиом.
Сумма независимых пуассоновских потоков — это пуассоновский поток (половина доказательства). Вероятность того, что одна экспоненциальная величина будет меньше другой, независимой.

2024-11-18, лекция 10: Гамма-распределение как сумма нескольких экспоненциальных: вывод плотности через вероятность попадания в малый отрезок.
Обобщение плотности на случай положительного параметра $a$. Гамма-функция. Бета-распределение как отношение гамма-распределений. Бета-функция.

2024-11-25, лекция 11: Вывод нормального распределения из предпосылок Гаусса. Вывод нормального распределения из предпосылок Гершеля — Максвелла.

* Saul Stahl, The [https://www.researchgate.net/publication/255668423_The_Evolution_of_the_Normal_Distribution Evolution] of the Normal Distribution: вывод Гаусса с историей.

* Grand Sanderson, [https://www.youtube.com/watch?v=cy8r7WSuT1I Why pi] is in the normal? вывод Гершеля—Максвелла

* James Stein, [http://www-biba.inrialpes.fr/Jaynes/cc07s.pdf Normal Distribution]: глава про нормальное распределение (Гаусс, Гершель—Максвелл, Лэндон etc)

* William Herschel, [https://music.yandex.com/album/209394/track/2121214 концерт для габоя]

* William Herschel, [https://www.informationphilosopher.com/solutions/scientists/quetelet/Herschel_Quetelet_Probabilities.pdf On the theory of Probabilities]: вывод нормального распределения словами на стр. 189-191

2024-12-02, лекция 12: многомерное нормальное распределение. Функция плотности невырожденного многомерного нормального. Функция производящая моменты для многомерного нормального. Формула Иссерлиса с ненулевыми ожиданиями и доказательством. Условное распределение: вывод условного ожидания и условной дисперсии через разложение величины в сумму независимых.

* [https://stats.stackexchange.com/questions/30588/ альтернативный вывод] условного многомерного нормального распределения
* Хитрый [https://github.com/bdemeshev/lis-isserlis/raw/main/lis-isserlis.pdf лис Иссерлис]

2024-12-09, лекция 13: сходимость по распределению, центральная предельная теорема с доказательством подменой слагаемых.

* Calvin Chin [https://arxiv.org/pdf/2106.00871 CLT proof] by swapping
* [https://bdemeshev.github.io/teaching_notes/clt_by_swapping Пересказ доказательства]

=== Семинары ===

==== 473 = 235 + 238 ====

2024-09-02, 06, семинар 1: задачи 1.1, 1.6, 3.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-09, 13, семинар 2: задачи 2.1, 2.3, 12.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-16, 20, семинар 3: задачи 7.12 и 7.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-23, 27, семинар 4: как извлечь P(X=3), E(X), E(X^2Y) из функции, производящей список исходов, 28.16 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-30, -10-04, семинар 5: 9.3в, 9.4, 9.7(абвд, кроме дисперсии, аргументы масштабирования и центра масс помимо интегралов), 9.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-10-07, 11, семинар 6: вычисление Cov, Var, Corr по табличке и из функции плотности, нахождение дисперсии для отрицательного биномиального распределения по свойствам.

2024-10-14, 18, семинар 7: вычисление энтропии геометрического распределения. Изменение энтропии при линейном преобразовании для дискретной величины и величины с функцией плотности.
Кросс-энтропия из экспоненциального в равномерное. Условная энтропия для дискретной таблички. Связь энтропии величины с функцией плотности и энтропия дискретной версии этой случайной величины после "огрубления" с малым шагом 1/k.

2024-10-21, -11-01, семинар 8: 16.18, 16.23 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], свёртка двух экспоненциальных величин

2024-11-11, 15, семинар 9: задачи на пуассоновский поток из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-11-18, 22, семинар 10: задачи на бета и гамма-распределение

2024-11-25, 29, семинар 11: задачи на нормальное распределение, 18.1, 18.2, 18.3, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-02, 06, семинар 12: задачи на многомерное нормальное: 24.16аб, 24.17аб, 24.18, 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-09, 13, семинар 13: ЦПТ и нормальное распределение: 20.2, 20.4, 18.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

==== 236 ====

2024-09-06, семинар 1: в начале семинара рассмотрели основные понятия и определения для решения задач. Решили задачи 1.1, 1.6, 3.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-13, семинар 2: нашли ожидание случайной величины с геом. распределением. Решили задачи 2.1, 12.6, 12.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-09-20, семинар 3: решили задачи 7.12, 7.4(а), 7.7, 7.13(а) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-09-27, семинар 4: разобрали 7.13, почти разобрали 28.3 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Также рассмотрели один контрпример на независимость(тетраэдр Бернштейна).

2024-10-04, семинар 5: разобрались с определениями, решили 9.3(абв), 9.7(аб) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Решили задачку про три точки на отрезке и найти вероятность получить треугольник. Также вывели формулу для мат. ожидания неотрицательной величины через функцию распределения.

2024-10-14, семинар 6: обсудили дисперсию, ковариацию, коэффициент корреляции и их геометрический смысл. Решили задачу на оценку дисперсии ограниченной величины. посчитали дисперсию геометрического, биномиального. Посчитали дисперсию в задаче о письмах и конвертах.

???, семинар 7: определили энтропию, посчитали примеры для дискретных величин, для линейных преобразований. Доказали, что задача максимизации энтропии с фиксированной дисперсией достигается на нормальном распределении.

???, семинар 8: свертка двух экспоненциальных, 16.18 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

???, семинар 9: задачи на пуассоновский процесс из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

???, семинар 10: разбор кр.

???, семинар 11: разобрали задачи на нормальное распределение 18.1, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Также считали распределение суммы двух независимых нормальных.

==== 237 ====

2024-09-09, семинар 1: задачи 1.1, 2.2 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], вероятность что n ладей не бьют друг друга при случайной расстановке на шахматной доске n на n, матожидание числа треугольников в случайном графе на n вершинах через сумму индикаторов

2024-09-13, семинар 2: задачи 2.1, 2.6, 12.3, 12.6, 12.7 (без дисперсий) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-23, семинар 3: задачи 7.2, 7.13, 7.7, 7.8, плюс начали 7.15b (получили неверный ответ) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-27, семинар 4: дорешали 7.15b с небольшой демонстрацией на питоне, разобрали 28.2 для нечестной монетки плюс посчитали матожидание [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-10-04, семинар 5: задачи 9.1, 9.3абв, 9.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], философия про то почему бОльшая плотность не всегда означает бОльшую вероятность оказаться в окрестности данной точки (плотность может занимать слишком маленький объем)

2024-10-11, семинар 6: вспомнили определения Cov/Var/Corr, посчитали у пары дискретных величин по табличке вероятностей, посчитали дисперсию у биномиального, геометрического, непрерывного равномерного на отрезке.

2024-10-18, семинар 7: вычисление энтропии геометрического распределения; ограниченность энтропии снизу и сверху в дискретном случае; изменение энтропии при линейном преобразовании для дискретной величины и величины с функцией плотности; условная энтропия, KL дивергенция и кросс-энтропия, неотрицательность KL, интерпретация на пальцах с точки зрения теории информации.

2024-11-01, семинар 8: 16.18, 16.23 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], свёртка двух экспоненциальных величин

2024-11-08, семинар 9: решали пробный вариант КР

2024-11-15, семинар 10: 13.1, 13.2, 13.5, 13.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-11-22, семинар 11: разбор КР

2024-11-29, семинар 12: нормальное распределение, 18.1, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-06, семинар 13: многомерное нормальное распределение, изменение среднего и матрицы ковариаций при линейном преобразовании, 24.4а, 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-13, семинар 14: 24.4в из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], сходимости случайных величин, ЗБЧ и ЦПТ, 20.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

==== 239 ====

2024-09-03, семинар 1: задачи 1.1, 1.4, пытались 1.8 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Ещё успели посчитать вероятность N=k бросков монеты до выпадения первого орла, матожидание N. И ещё сделали то же для количества бросков до выпадения 3 орлов (не в серии).

2024-09-10, семинар 2: доказали формулу включения-исключения, решили несложную задачу, порешали 2.7 задачи типа 12.*

2024-09-17, семинар 3: Решили две прямых задачи на формулу Байеса и формулу полной вероятности (без большого количества вычислений). Решили задачу поиска вероятности неисправного кофе-автомата из 3 при условии, что бросили деньги в 1 и 2 и их зажевало. Ещё нашли вероятность, что мяч будет у игрока 3 после шага 10 (все садятся в круг и на каждом шаге бросают мяч соседу с вероятностью 0.3 и оставляют у себя с вероятностью 0.4).

2024-09-24, семинар 4: Вспомнили про метод первого шага, используя формулу полной вероятности и введя в некотором виде формулу полного матожидания, записали формулу для вероятностей нахождения в состоянии i через произведение переходной матрицы на вектор. Совсем немного начали производящие функции, но решили не считать 31ю производную многочлена.

2024-10-01, семинар 5: Исследуем дискретные случайные величины (Биномиальная, Геометрическая и разные похожие) с использованием техник вычислений моментов через производящую функцию. Задачи на распределения величин, посчитанных по набору величин. Первая большая задача про плотность.

2024-10-08, семинар 6: разминочная про плотность и функцию распределения. Считаем дисперсию, ковариацию и корреляцию по 2x2 таблице и в равномерном распределении на круге и квадрате [-1,1]х[-1,1].

2024-10-15, семинар 7: пара задач про экспоненциальное распределение, расчёты по теории информации(считаем всякое, чтобы привыкнуть).

2024-10-22, семинар 8: письменные источники не сохранились до наших дней. Согласно преданиям, оьсуждали двери и около контрольной. Говорят, ввели пуассоновский процесс.

2024-???, семинар 9: решаем задачи на пуассоновское в разных формах и обсуждаем омалые в порядковых статистиках.

2024-???, семинар 10: учимся интерпретироввть гауссовское, пользоваться таблицами для функции Лапласа, а также немного работать с многомерным гауссовским.

2024-3-12, семинар 11: Копаем во все стороны многомерное гауссовское: считаем вероятности для линейных комбинаций гауссовских, проверяем зависимость, вычисляем условные законы, матожидания и ковариационные матрицы, вспоминаем спектральное разложение и разложение Холецкого.

==== 2311 ====

2024-09-06, семинар 1: вероятностное пространство, вероятность на нем, вероятность события, случайная величина и ее распределение (индикатор события, сумма двух кубиков, число бросаний монетки до первого орла), матожидание случайной величины (индикатор, один кубик, два кубика), линейность матожидания. Задачи на линейность матожидания, в том числе ЕГЭшная задача про турнир, 1.5, 3.5 с допвопросом о матожидании числа совпадений. Разговор о получении события произвольной вероятности монеткой в контексте 1.8

2024-09-13, семинар 2: Повторили матожидание суммы на примере 12.3. Обсудили условную вероятность и формулу полной вероятности, условное матожидание, решили задачи на метод первого шага 2.1, 2.3, 2.7.

2024-09-20, семинар 3: Условная вероятность, формула полной вероятности, формула Байеса: 7.1, классическая задача про болезни и тесты, простейшие задачки на общее понимание, обсуждение двух подходов: вычисления условной вероятности по формуле и составления нового вероятностного пространства и подсчет вероятности в нем. Независимые события (события "пики" и "дама" в обычной колоде и колоде с джокерами), независимые в совокупности события, построили пример попарно независимых, но не независимых в совокупности. Обсудили биномиальное распределение. решили задачу: "в корабле к отсеков, чтобы корабль затонул, нужно поразить 2. Независимо выпускают n ракет, каждая из которых поражает случайный отсек с вероятностью p. Найти вероятность потопления корабля"

2024-09-20, семинар 4: Примеры одинаково распределенных зависимых СВ, независимые СВ. Производящая функция и ее свойства. Посчитали для биномиального производящую функцию и второй момент. Обсудили, что будет меняться в случае функции, производящей моменты. Обсудили функцию, производящую множество исходов, как из нее доставать уже известные функции, как ее искать на примере бросания монетки до выпадания HT

2024-10-11, семинар 5: Составили табличку стандартных дискретных распределений, посчитали матожидание геометрического, обсудили дисперсию и ковариацию и их свойства (в дискретном случае), досчитали дисперсии основных распределений. Обсудили вероятностное пространство в общем случае, понятие СВ в общем случае. Дали определение ФР, посчитали ФР для явно заданной СВ. Дали определение плотности.

2024-10-12, семинар 6: Обсудили свойства ФР, как считать вероятность попадания в промежуток в терминах ФР. Выразили ФР 1/X, cos X. Обсудили как выражается веротяность попадания в множество через плотность. для 1/Х выразили плотность в случае абсолютной непрерывности Х. Обсудили формулу для МО в общем виде через интеграл Стильтьеса и как вычислять МО для функции, разлагающейся в сумму абсолютно нерпрерывной и функции скачков, посчитали МО для пары таких СВ

2024-10-18, семинар 7: Обсудили геометрию, заданную скалярным произведением EXY и cov(X,Y), поиск ортогонального элемента и проекции. Посчитали энтропию и кросс-энтропию в дискретном и непрерывном случаях, посчиали совместную и условную энтропию в дискретном случае (23.2, 23.4, 23.9)

2024-11-01, семинар 9: Совместная плотность и ф.р., подсчет вероятностей, маргинальные плотности, замена переменной через якобиан, свертка, матожидание

2024-11-09, семинар 10: Условная плотность, формула условной вероятности. Задача на восстановление маргинальной плотности по условной. Разбор задач из "Летучей мыши"

2024-11-19, семинар 11: Разбор контрольной работы

2024-11-22, семинар 12: Пуассоновский поток - решали задачки из задачника

2024-11-29, семинар 13: Нормальное распределение - задачи из PP, повторили функцию, порождающую моменты, обсудили ее свойства в абсолютно непрерывном случае

2024-12-06, семинар 14: Многомерное нормальное - обсудили два определения, связь между ними, независимость элементов нормального вектора при нулевой ковариации и почему это неверно для произвольных нормальных. порешали задачи 24.9а, 24.10, 24.17

==== 2310, 2312 ====

2024-09-06, семинар 1: задача 1.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Определили вероятностное пространство в виде тройки, множество исходов рассматривали конечное и счётное. Решили 3 счётные задачи на комбинаторику про колоды карт и счетные последовательности цифр. Привели геометрическое и аналитическое решения задачи про нахождение предела последовательности вероятностей. В конце нашли математическое ожидание геометрически распределённой случайной величины.

2024-09-13, семинар 2: задача 2.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Задача на упорядоченные и неупорядоченные наборы. Задача про классическое вероятностное пространство и про пространство с неравновероятными исходами. Разобрали парадокс Монти Холла. Ввели понятия условной вероятности и независимых случайных величин. Сформулировали и обсудили идеи доказательств трёх теорем: теорема умножения вероятностей, формула полной вероятности и формула Байеса.

2024-09-20, семинар 3: Решили задачу на определение условной вероятности. Обсудили парадокс теоремы Байеса на примере задачи про редкое заболевание, а также посмотрели простую программу на Python, которая считает вероятность в зависимости от количества проведенных тестов на заболевание. Обсудили условное математическое ожидание, некоторые его свойства и рассмотрели пример с подбрасыванием кубика. В конце решили задачу на парадокс дней рождений.

2024-09-27, семинар 4: Обсудили коллизии хеш-функций и связь с атакой "дней рождений". Определили независимость или зависимость случайных величин в четырёх разных вариантах. Обсудили, что неверно утверждать, что матожидание частного независимых случайных величин равно частному матожиданий, также привели пример использования подобного факта в некоторых статьях. В конце решили задачу на поиск функции производящей исходы, а также нашли E(X), E(Y^2), E(XY) с помощью найденной функции.

2024-10-04, семинар 5: Решили две простые задачи на условную вероятность и на теорему об умножении вероятностей. Обсудили связь дерева событий с условной вероятностью и теоремой об умножении вероятностей. Нашли производящую функцию моментов для геометрически распределенной случайной величины и с помощью нее нашли матожидание. Нашли производящую функцию моментов и матожидание суммы случайного количества н.о.р случайных величин.

2024-10-11, семинар 6: Привели аналогии между дискретными и непрерывными случайными величинами. Нарисовали графики функций от случайных величин. Вспомнили определение и свойства дисперсии. Решили простую задачу на подсчет дисперсии и нашли дисперсию геометрически распределенной случайной величины. Обсудили, когда может быть матожидание и дисперсия бесконечны. Далее вспомнили неравенства Маркова и Чебышева, вывели следствия и решили 3 задачи на применение этих неравенств. Обсудили, что неравенство Маркова может давать как точную оценку, так и очень слабую. Показали, что неотрицательность случайной величины в неравенстве Маркова является существенным условием.

2024-10-11, семинар 7: Повторили понятия энтропии в битах и натах, а также понятие дифференциальной энтропии. Нашли энтропию в схеме Бернулли и энтропии геометрического и экспоненциального распределений. Доказали простую оценку сверху для энтропии случайной величины, имеющей конечный носитель мощности n.

2024-11-1, семинар 8: Разобрали демо-вариант контрольной работы "Тыква".

2024-11-8, семинар 9: Разобрали демо-вариант контрольной работы "Летучая мышь".

2024-11-15, семинар 10: Понятие случайного процесса. Определение пуассоновского процесса, его свойства. Три простые задачи на пуассоновское распределение. Задачи 13.1 и 13.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-11-22, семинар 11: Определения Бета-функции и Гамма-функции. Бета и Гамма распределения, их функции плотности и графики. Нахождение моды случайных величин, имеющих Бета и Гамма распределения. Связь пуассоновского процесса с Гамма распределением. В конце нашли производящую функцию моментов Гамма распределения.

2024-11-29, семинар 12: Задачи 18.1, 18.2 и 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-12-06, семинар 13: Нашли многомерное нормальное распределение по виду функции плотности (константа на экспоненту с квадратичным показателем). С помощью формулы Иссерлиса нашли матожидания произведений различных или одинаковых случайных величин, имеющих многомерное нормальное распределение. Нашли условную вероятность многомерного распределения. Задача 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-12-13, семинар 14: Повторили определение сходимости по распределению и центральную предельную теорему. Решили задачи 20.2 и 20.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

== Источники ==

Источники мудрости, которые я постарался не замутить :)

[https://arxiv.org/pdf/1411.5279 WTSK]: Tim Hesterberg, What Teachers Should Know About the Bootstrap: вкусное и доступное изложение бутстрэпа и перестановочных тестов.

[https://projects.iq.harvard.edu/stat110/home BItP]: Blitzstein, Hwang, Introduction to Probability: учебник, записи лекций, гарвардский курс.

Теория вероятностей 2024/25 (основной поток)

2025-01-10T16:24:25Z

Nmorozov:

= Преподаватели и учебные ассистенты =

{| class="wikitable" style="text-align:center"
|-
! Группа !! БПМИ235 !! БПМИ236 !! БПМИ237 !! БПМИ238 !! БПМИ239 !! БПМИ2310 !! БПМИ2311 !! БПМИ2312
|-
|| Лектор ||colspan="11"| [https://t.me/boris_demeshev Борис Демешев]
|-
|| Семинарист || [https://t.me/boris_demeshev Борис Демешев] || [https://t.me/levensons Илья Левин] || [https://t.me/madn_boi Никита Морозов] || [https://t.me/boris_demeshev Борис Демешев] || [https://t.me/XuMuK_MK Максим Каледин] || [https://t.me/goluba_yurieva Голуба Юрьева] || [https://t.me/Moskchan Вероника Владыкина] || [https://t.me/goluba_yurieva Голуба Юрьева]
|-
|| Ассистент || [https://t.me/nerhneiro Ира Скворцова] || [https://t.me/a_ameli_ig Амелия Алаева] || [https://t.me/htual Алина Бадахова] || [https://t.me/adelyagaraeva Аделя Гараева] || [https://t.me/mabrielka Мария Брель] || [https://t.me/zm_ann Анна Зыкова-Мызина] || [https://t.me/Yanlightv Яна Вежновец] || [https://t.me/nol_erk Кирилл Лавриненко]
|-
|| Ассистент курса ||colspan="11"| [https://t.me/Nick_Volya Никита Волянский]
|}

== Цели и задачи курса ==

侍には目標がなく道しかない [Samurai niwa mokuhyō ga naku michi shikanai]

У самурая нет цели и ничего кроме пути.

Вероятный план:
<div class="mw-collapsible mw-collapsed" style="width:1000px; overflow: hidden;">
1. Дискретное вероятностное пространство. Вероятность, математическое ожидание, теоретическая медиана.
Перестановочные тесты, p-значение для перестановочного теста.
Математическое ожидание = центр масс.

NB: здесь сходу рисуем дерево
NB: здесь нет задач на условную вероятность

!предупреждение об обозначениях случайных величин.
Российская традиция — греческие буквы, американская традиция — заглавные английские буквы.
Наш курс: любые буквы. Причина: теория вероятностей применяется в разных областях, где свои традиции.

NB: Способы вычисления вероятностей и ожиданий:
* полный перебор руками
* примерные вычисления руками
* полный перебор на компьютере
* симуляции на компьютере
* ...

2.
Методы решения задач:
* разложение величины в сумму
* метод первого шага
!идея: позиция в игре имеет цену
* just for fun: метод рычага в геометрии через ожидание
NB: рассказать здесь про комплексную случайную величину
NB: по сути здесь мы уже решаем задачи на марковские цепи не говоря страшных определений
LOTUS.

3. Условная вероятность и условное ожидание.
!идея: зануляем вероятности невозможных событий, а остальные — масштабируем.
формула полной вероятности
!идея: дерево "помнит" формулу полной вероятности
формула Байеса

Независимые события.
Независимые случайные величины.

4.
Методы решения задач:
* производящие функции многих переменных
функция как способ записать множество
HTT vs TTH
ABRACADABRA
!разложение по биномиальной формуле

?: можно здесь успеть функцию производящую моменты

5.
Биномиальное распределение.
Геометрическое и гипергеометрическое распределения.
Отрицательное биномиальное распределение.

6.
Равномерное распределение на множестве в R^n
Функция распределения.
Функция плотности и вероятностная дифференциальная форма.
!пояснение про неудачную традиционную терминологию "непрерывная случайная величина"
величина с функцией плотности, величина с непрерывной функцией распределения.

Квантили, квантильная функция.

7. Характеристики случайных величин и неравенства.
Дисперсия.
Энтропия.
Неравенство Маркова.
Неравенство Чебышёва.
Неравенство Йенсена.

Здесь конец модуля 1 и КР-1!

8. Пуассоновский поток.
Аксиомы пуассоновского потока.
Вывод экспоненциального распределения и пуассоновского распределения из аксиом.
Вывод экспоненциального распределения из предпосылки об отсутсвии памяти.

9. Нормальное распределение.
Нормальное распределение: предпосылки Хершела-Максвелла.
Нормальное распределение: аргументация Гаусса за среднее арифметическое.
Нормальное распределение: предпосылки Лэндона (до уравнения в частных производных).

10. Классические непрерывные распределения.

Гамма-распределение, бета-распределение.
Вывод нормального и экспоненциального распредений как минимизации энтропии.

11. Парные характеристики случайных величин.
Наилучшая линейная аппроксимация.
Ковариация.
Корреляция.
Кросс-энтропия.

Доказательство E(XY) = E(X) E(Y) для дискретных.
Ковариационная матрица и ожидание для случайных векторов.

12. Совместная и условная функция плостности.
Преобразования случайных величин.

13. Функция производящая моменты и характеристическая функция.
Распределение суммы случайного количества случайных величин.
Случайный выбор слагаемых.

14. Финансовые приложения

Оценивание опционов на биномиальном дереве.
Максимизация долгосрочной прибыли, связь с энтропией.
Возможно, индексы Гиттинса.

Здесь конец модуля 2 и КР-2

15. Сигма-алгебры.

Список известных величин как способ описания информации.
Идея условного ожидания как оптимального прогноза.
Сигма-алгебра как способ описания информации.
Измеримость случайной величины относительно сигма-алгебры.
Сигма-алгебра как ОДЗ для вероятности.
Борелевская сигма-алгебра.
Независимые случайные величины второе определение.

16. Условное математическое ожидание.
Условная дисперсия.
Сумма случайного количества случайных величин.

17. Сходимости случайных величин.

Сходимость по вероятности.
Закон больших чисел.
Сходимость почти наверное.
Усилинный закон больших чисел.
Сходимость по распределению.

18. Связь сходимостей.
Лемма Слуцкого.

19. Центральная предельная теорема.
Доказательство через подмену слагаемых.
Доказательство через характеристические функции.

Здесь контрольная.

20. Винеровский процесс
Условные ожидания, инверсия.

21. Байесовский подход к оцениванию параметров

Балансовое уравнение. Идея MCMC.

22. Доказательства свойств меры

23. Алгоритм построения математического ожидания в общем случае.
Лемма Фату.
Теорема о мажорируемой сходимости.
Теорема о монотонной сходимости.

24. Резерв.

Жемчужинки, которые, вероятно, не успеем:

А. Методы решения задач:
подсчёт случаев с помощью леммы Бернсайда и теоремы Пойа о перечислении
(Burnside lemma, PET = Polya Enumeration Theorem)

B. вероятностные доказательства детерминистических теорем

</div>

== Оценивание ==

Оценка за семестр-1 = 0.2 Домашние задания семестра-1 + 0.4 Контрольная-Альфа + 0.4 Экзамен-Бета.

Финальная оценка за курс = 0.5 Оценка за семестр-1 + 0.1 Домашние задания семестра-2 + 0.2 Контрольная-Гамма + 0.2 Экзамен-Дельта.

Каждая оценка (суммарные итоги за домашние задания, контрольные, экзамены) — целое число от 0 до 100.
Для перевода в 10-балльную шкалу промежуточной оценки за семестр-1 и финальной оценки используется деление на 10
с арифметическим округлением. Например, если Максим получил "оценку за семестр-1" 65 баллов, то в ведомость за первый семестр идёт 7, а далее в формуле финальной оценки за курс используется 65.

=== Домашние задания для самураев ===

Домашние задания [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/home_assignments/home_assignments.pdf одним файлом] и [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/blob/main/home_assignments/ отдельными файлами].
Домашние задания имеют равный вес.
В конце каждой лекции (за исключением ближайших к экзамену лекций)
выдается домашнее задание сроком на две недели.
Дедлайн жёсткий, однако студент имеет право просрочить три домашних задания на неделю каждое без штрафа.

Формат сдачи ДЗ: один pdf-файл (решение текстовых задач) и один ipynb-файл (решение компьютерных задач).
В pdf-файл можно поместить аккуратно написанное отсканированное решение, а можно скомпилировать pdf из теха или маркдауна.
Ещё можно вместо pdf-файла написать всё в ipynb.
Бонусов за сдачу домашки в техе нет. Пример [https://www.overleaf.com/read/qmrkwpzvmqbk шаблона].

Обратите внимание: '''время каждого дедлайна — 23:59'''.

=== Ведомость с оценками за ДЗ ===

{| class="wikitable" style="text-align:center"
|-
! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1872081500#gid=1872081500 235] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1374497930#gid=1374497930 236] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1183164252#gid=1183164252 237] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=408179311#gid=408179311 238] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1032422408#gid=1032422408 239] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1603236891#gid=1603236891 2310] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=791330236#gid=791330236 2311] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=23847300#gid=23847300 2312]
|}

[https://docs.google.com/spreadsheets/d/14hD7-SLmAA1omdkhPlt3blRHDHVGTDS8ZgvLWscvMz8/edit?usp=sharing Оценки за кр1]

=== Контрольные работы и экзамен ===

Вес каждой задачи будет написан в тексте работы.
Задачи с ненаписанным по случайности весом имеют равный вес.
Для пропущенных по уважительной причине контрольных будет выделен один день для переписывания.
При пропуске дня переписывания, в том числе по уважительным причинам, ещё одного шанса не предоставляется.

'''Контрольная работа 1''' состоится 2024-11-11 в 16:20, аудитории: R401, R305, R206, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_halloween_demo/exam_halloween_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/midterm/midterm-alpha.pdf условие с критериями и решениями].

'''Резервный день 1''' для пропустивших по уважительной причине состоится 2024-12-02 в 19:40, R405

'''Показ контрольной 1''':

* задачи 1, 2: заочно до 2024-12-08, [https://t.me/Moskchan Вероника]
* задачи 3, 4 [https://t.me/boris_demeshev Борис], очно, четверг, 2024-12-05, 18:10-21:00, G408
* задачи 5, 6 [https://t.me/XuMuK_MK Максим]: очно, четверг, 2024-12-05, 18:10-21:00, G408

'''Экзамен, модуль 2''' состоится '''''2024-12-24 в 10:00''''', аудитории R301, R304, R401, R404, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_winter_demo/exam_winter_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/december/pmi_probab_2024_december.pdf условие].

Если вы не хотите идти на экзамен, то заполните [https://forms.gle/UQzW77RrPvcdahG47 эту форму], чтобы получить ноль при неявке

'''Апелляция экзамена''':

* задачи 1, 2: заочно [https://t.me/goluba_yurieva Голуба], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/december/exam_problem_1-2.pdf решения и критерии 1, 2];
* задачи 3, 4: очно в субботу 2025-01-11, аудитория R408 14:40-17:40 [https://t.me/madn_boi Никита], [https://www.overleaf.com/read/dnhjcdrndqps#42f1ab решения и критерии 3, 4];
* задачи 5, 6: заочно [https://t.me/levensons Илья]

* дедлайн по заочным апелляциям: суббота 23:59

[https://docs.google.com/spreadsheets/d/1mxMCr3IEDy8EPFWGkn3_dsghhPNcZICEw9C9o5ZoZvA/edit?usp=sharing Распределение по аудиториям]

'''Экзамен, модуль 3''' состоится 2025-03-26 в 14:40, аудитории R301, R404, R405, R503, демо, условие.

== Учебные материалы ==

[https://github.com/bdemeshev/probability_pro/raw/master/probability_pro.pdf PP]: Листки с задачами к курсу.

[https://github.com/bdemeshev/probability_dna/raw/master/probability_dna.pdf PDNA]: Вероятностная ДНК = вкусные задачи по теории вероятностей.

[https://disk.yandex.ru/d/LZ6d2VZVqYvbDQ Видео-летопись семинаров и лекций] и [https://hse.liferooter.dev/ конспект] от тайного благожелателя (updated 2024-10-23]

[https://disk.yandex.ru/d/IoakBXz_6yygPw Официальные видео]

[https://www.cambridgeinternational.org/Images/344616-list-of-formulae-and-statistical-tables.pdf Cambridge statistical tables]

== Дневник самурая ==

2024-09-02, лекция 1: Определение события. Определение случайной величины. Аксиомы вероятности. Определение математического ожидания для дискретного случая.
Линейность математического ожидания. Математическое ожидание как центр масс. Первое знакомоство с перестановочным тестом и p-значением.

Можно глянуть: главы 2.1 и 7 из [https://arxiv.org/pdf/1411.5279 WTSK], метод рычага [https://mathcircle.berkeley.edu/sites/default/files/archivedocs/2007_2008/lectures/0708lecturespdf/MassPointsBMC07.pdf в геометрии].

2024-09-09, лекция 2: Метод первого шага (вероятность выпадения HTH ранее HHT, ожидаемое количество шагов). Метод разложения случайной величины в сумму. Определение случайного вектора. Использование интерпретации ожидания как центра масс в геометрии. Определение теоретической медианы.

Можно глянуть: глава 2.7.2 из [https://projects.iq.harvard.edu/stat110/home BItP], три стратегии решения задачи за 10 минут [https://www.youtube.com/watch?v=xH89DaEI35w Visually Explained]

2024-09-16, лекция 3: Получение новой информации приводит к пересчёту вероятностей. Определение условной вероятности. Формула полной вероятности. Формула Байеса.
Условное математическое ожидание. Формула полного математического ожидания. Независимость пары событий. Независимость набора событий в совокупности.
Независимость величин: неформальное определение. Критерий независимости произвольных величин. Критерий независимости дискретных величин.

2024-09-23, лекция 4: Доказательство критерия независимости для дискретных случайных величин: из независимости {X=x} и {Y=y} следует независимость {X in A} и {Y in B}. Независимость величин равносильна E(f(X))E(g(Y))=E(f(X)g(Y)) для произвольных f, g. Определение биномиальной, геометрической (как числа неудач до 1го успеха) и отрицательной биномиальной случайной величины. Общая идея за производящими функциями: как из функции, производящей исходы эксперимента, с помощью производных и подстановок выудить индивидуальные вероятности, совместные вероятности, ожидания любой степени E(X^a), E(X^a Y^b). Формальное определение функции, производящей вероятности, и функцию, производящей моменты, для одной случайной величины и пары случайных величин. Метатеорема: все теоремы о дискретных величинах доказываются перестановкой слагаемых. Основные дискретные распределения: биномиальное, геометрическое, отрицательное биномиальное.

2024-09-30, лекция 5: Ещё дискретные законы распределения: гипергеометрическое. Описание закона распределения через равномерное распределение на подмножестве R^n.
Функция плотности как линейная часть вероятности попадания в отрезок. Равномерное распределение на отрезке. Смешанные случайные величины. LOTUS: нахождение ожидания любой функции от случайной величины для величин с функцией плотности и смешанных величин. Функция распределения. Квантильная функция.

2024-10-07, лекция 6: Две геометрии случайных величин и событий: E(XY) как скалярное произведение, Cov(X, Y) как скалярное произведение. Математическое ожидание — проекция в рамках геометрии, задаваемой E(XY). Определение и геометрический смысл дисперсии, стандартного отклонения, ковариации и корреляции. Неравенство Маркова. Неравенство Чебышёва. Неравенство Йенсена: интуитивный смысл.

2024-10-14, лекция 7: Доказательство неравенства Йенсена. Энтропия как минимальное ожидаемое число вопросов для отгадывания и формальное определение. Кросс-энтропия.
Доказательство того, что кросс-энтропия больше либо равна энтропии. Совместная энтропия. Условная энтропия. Формула H(X) + H(Y|X) = H(X, Y) без доказательства.
Вывод плотности экспоненциального распределения из предпосылки отсутствия памяти. Экспоненциальное распределение максимизирует энтропию при заданном ожидании и неотрицательности.

* Cristopher Olah, Visual Information Theory, https://colah.github.io/posts/2015-09-Visual-Information/

* Grand Sanderson, Solving Wordle using information theory, [https://www.youtube.com/watch?v=v68zYyaEmEA youtube].

* Artem Kirsanov, Key equation behind probability, [https://www.youtube.com/watch?v=KHVR587oW8I youtube]. У Артёма кросс-энтропия обозначена H(P, Q), а не CE(P||Q)).

* [https://exuberant-arthropod-be8.notion.site/1-02-09-5e107ea1c4054594b8f37d955db8a2b0 Конспект] аналогичной старой лекции псмо на русском.

* Keith Conrad, [https://kconrad.math.uconn.edu/blurbs/analysis/entropypost.pdf Maximal entropy] distributions.

2024-10-21, лекция 8: Ковариационная матрица и её свойства. Совместная функция плотности. Условная функция плотности. Критерий независимости в терминах функций плотности и распределения.
Связь индивидуальной и совместной функций плотности и функций распределения. Смена плотности при замене переменных: домножение на якобиан и неформально про дифференциальные формы. Формула свёртки.
Разложение совместной плотности для графической модели. Представление произвольной совместной функции распределения с помощью копулы.

* Про дифференциальные формы: [https://www.youtube.com/watch?v=PaWj0WxUxGg&list=PL22w63XsKjqzQZtDZO_9s2HEMRJnaOTX7 videos] by Michael Penn, [https://www.math.purdue.edu/~arapura/preprints/diffforms.pdf short intro] by Dony Arapura

* What is a convolution от [https://www.youtube.com/watch?v=KuXjwB4LzSA 3b1b]

* From graphical models to [https://www.youtube.com/watch?v=yBc01ZeaFxw&list=PLISXH-iEM4JlFsAp7trKCWyxeO3M70QyJ Probabilistic ML]

2024-11-11, лекция 9: Пуассоновский поток: аксиомы. Вывод пуассоновского распределения количества событий и экспоненциального времени между событиями из аксиом.
Сумма независимых пуассоновских потоков — это пуассоновский поток (половина доказательства). Вероятность того, что одна экспоненциальная величина будет меньше другой, независимой.

2024-11-18, лекция 10: Гамма-распределение как сумма нескольких экспоненциальных: вывод плотности через вероятность попадания в малый отрезок.
Обобщение плотности на случай положительного параметра $a$. Гамма-функция. Бета-распределение как отношение гамма-распределений. Бета-функция.

2024-11-25, лекция 11: Вывод нормального распределения из предпосылок Гаусса. Вывод нормального распределения из предпосылок Гершеля — Максвелла.

* Saul Stahl, The [https://www.researchgate.net/publication/255668423_The_Evolution_of_the_Normal_Distribution Evolution] of the Normal Distribution: вывод Гаусса с историей.

* Grand Sanderson, [https://www.youtube.com/watch?v=cy8r7WSuT1I Why pi] is in the normal? вывод Гершеля—Максвелла

* James Stein, [http://www-biba.inrialpes.fr/Jaynes/cc07s.pdf Normal Distribution]: глава про нормальное распределение (Гаусс, Гершель—Максвелл, Лэндон etc)

* William Herschel, [https://music.yandex.com/album/209394/track/2121214 концерт для габоя]

* William Herschel, [https://www.informationphilosopher.com/solutions/scientists/quetelet/Herschel_Quetelet_Probabilities.pdf On the theory of Probabilities]: вывод нормального распределения словами на стр. 189-191

2024-12-02, лекция 12: многомерное нормальное распределение. Функция плотности невырожденного многомерного нормального. Функция производящая моменты для многомерного нормального. Формула Иссерлиса с ненулевыми ожиданиями и доказательством. Условное распределение: вывод условного ожидания и условной дисперсии через разложение величины в сумму независимых.

* [https://stats.stackexchange.com/questions/30588/ альтернативный вывод] условного многомерного нормального распределения
* Хитрый [https://github.com/bdemeshev/lis-isserlis/raw/main/lis-isserlis.pdf лис Иссерлис]

2024-12-09, лекция 13: сходимость по распределению, центральная предельная теорема с доказательством подменой слагаемых.

* Calvin Chin [https://arxiv.org/pdf/2106.00871 CLT proof] by swapping
* [https://bdemeshev.github.io/teaching_notes/clt_by_swapping Пересказ доказательства]

=== Семинары ===

==== 473 = 235 + 238 ====

2024-09-02, 06, семинар 1: задачи 1.1, 1.6, 3.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-09, 13, семинар 2: задачи 2.1, 2.3, 12.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-16, 20, семинар 3: задачи 7.12 и 7.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-23, 27, семинар 4: как извлечь P(X=3), E(X), E(X^2Y) из функции, производящей список исходов, 28.16 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-30, -10-04, семинар 5: 9.3в, 9.4, 9.7(абвд, кроме дисперсии, аргументы масштабирования и центра масс помимо интегралов), 9.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-10-07, 11, семинар 6: вычисление Cov, Var, Corr по табличке и из функции плотности, нахождение дисперсии для отрицательного биномиального распределения по свойствам.

2024-10-14, 18, семинар 7: вычисление энтропии геометрического распределения. Изменение энтропии при линейном преобразовании для дискретной величины и величины с функцией плотности.
Кросс-энтропия из экспоненциального в равномерное. Условная энтропия для дискретной таблички. Связь энтропии величины с функцией плотности и энтропия дискретной версии этой случайной величины после "огрубления" с малым шагом 1/k.

2024-10-21, -11-01, семинар 8: 16.18, 16.23 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], свёртка двух экспоненциальных величин

2024-11-11, 15, семинар 9: задачи на пуассоновский поток из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-11-18, 22, семинар 10: задачи на бета и гамма-распределение

2024-11-25, 29, семинар 11: задачи на нормальное распределение, 18.1, 18.2, 18.3, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-02, 06, семинар 12: задачи на многомерное нормальное: 24.16аб, 24.17аб, 24.18, 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-09, 13, семинар 13: ЦПТ и нормальное распределение: 20.2, 20.4, 18.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

==== 236 ====

2024-09-06, семинар 1: в начале семинара рассмотрели основные понятия и определения для решения задач. Решили задачи 1.1, 1.6, 3.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-13, семинар 2: нашли ожидание случайной величины с геом. распределением. Решили задачи 2.1, 12.6, 12.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-09-20, семинар 3: решили задачи 7.12, 7.4(а), 7.7, 7.13(а) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-09-27, семинар 4: разобрали 7.13, почти разобрали 28.3 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Также рассмотрели один контрпример на независимость(тетраэдр Бернштейна).

2024-10-04, семинар 5: разобрались с определениями, решили 9.3(абв), 9.7(аб) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Решили задачку про три точки на отрезке и найти вероятность получить треугольник. Также вывели формулу для мат. ожидания неотрицательной величины через функцию распределения.

2024-10-14, семинар 6: обсудили дисперсию, ковариацию, коэффициент корреляции и их геометрический смысл. Решили задачу на оценку дисперсии ограниченной величины. посчитали дисперсию геометрического, биномиального. Посчитали дисперсию в задаче о письмах и конвертах.

???, семинар 7: определили энтропию, посчитали примеры для дискретных величин, для линейных преобразований. Доказали, что задача максимизации энтропии с фиксированной дисперсией достигается на нормальном распределении.

???, семинар 8: свертка двух экспоненциальных, 16.18 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

???, семинар 9: задачи на пуассоновский процесс из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

???, семинар 10: разбор кр.

???, семинар 11: разобрали задачи на нормальное распределение 18.1, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Также считали распределение суммы двух независимых нормальных.

==== 237 ====

2024-09-09, семинар 1: задачи 1.1, 2.2 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], вероятность что n ладей не бьют друг друга при случайной расстановке на шахматной доске n на n, матожидание числа треугольников в случайном графе на n вершинах через сумму индикаторов

2024-09-13, семинар 2: задачи 2.1, 2.6, 12.3, 12.6, 12.7 (без дисперсий) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-23, семинар 3: задачи 7.2, 7.13, 7.7, 7.8, плюс начали 7.15b (получили неверный ответ) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-27, семинар 4: дорешали 7.15b с небольшой демонстрацией на питоне, разобрали 28.2 для нечестной монетки плюс посчитали матожидание [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-10-04, семинар 5: задачи 9.1, 9.3абв, 9.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], философия про то почему бОльшая плотность не всегда означает бОльшую вероятность оказаться в окрестности данной точки (плотность может занимать слишком маленький объем)

2024-10-11, семинар 6: вспомнили определения Cov/Var/Corr, посчитали у пары дискретных величин по табличке вероятностей, посчитали дисперсию у биномиального, геометрического, непрерывного равномерного на отрезке.

2024-10-18, семинар 7: вычисление энтропии геометрического распределения; ограниченность энтропии снизу и сверху в дискретном случае; изменение энтропии при линейном преобразовании для дискретной величины и величины с функцией плотности; условная энтропия, KL дивергенция и кросс-энтропия, неотрицательность KL, интерпретация на пальцах с точки зрения теории информации.

2024-11-01, семинар 8: 16.18, 16.23 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], свёртка двух экспоненциальных величин

2024-11-08, семинар 9: решали пробный вариант КР

2024-11-15, семинар 10: 13.1, 13.2, 13.5, 13.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-11-22, семинар 11: разбор КР

2024-11-29, семинар 12: нормальное распределение, 18.1, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-06, семинар 13: многомерное нормальное распределение, изменение среднего и матрицы ковариаций при линейном преобразовании, 24.4а, 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-13, семинар 14: 24.4в из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], сходимости случайных величин, ЗБЧ и ЦПТ, 20.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

==== 239 ====

2024-09-03, семинар 1: задачи 1.1, 1.4, пытались 1.8 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Ещё успели посчитать вероятность N=k бросков монеты до выпадения первого орла, матожидание N. И ещё сделали то же для количества бросков до выпадения 3 орлов (не в серии).

2024-09-10, семинар 2: доказали формулу включения-исключения, решили несложную задачу, порешали 2.7 задачи типа 12.*

2024-09-17, семинар 3: Решили две прямых задачи на формулу Байеса и формулу полной вероятности (без большого количества вычислений). Решили задачу поиска вероятности неисправного кофе-автомата из 3 при условии, что бросили деньги в 1 и 2 и их зажевало. Ещё нашли вероятность, что мяч будет у игрока 3 после шага 10 (все садятся в круг и на каждом шаге бросают мяч соседу с вероятностью 0.3 и оставляют у себя с вероятностью 0.4).

2024-09-24, семинар 4: Вспомнили про метод первого шага, используя формулу полной вероятности и введя в некотором виде формулу полного матожидания, записали формулу для вероятностей нахождения в состоянии i через произведение переходной матрицы на вектор. Совсем немного начали производящие функции, но решили не считать 31ю производную многочлена.

2024-10-01, семинар 5: Исследуем дискретные случайные величины (Биномиальная, Геометрическая и разные похожие) с использованием техник вычислений моментов через производящую функцию. Задачи на распределения величин, посчитанных по набору величин. Первая большая задача про плотность.

2024-10-08, семинар 6: разминочная про плотность и функцию распределения. Считаем дисперсию, ковариацию и корреляцию по 2x2 таблице и в равномерном распределении на круге и квадрате [-1,1]х[-1,1].

2024-10-15, семинар 7: пара задач про экспоненциальное распределение, расчёты по теории информации(считаем всякое, чтобы привыкнуть).

2024-10-22, семинар 8: письменные источники не сохранились до наших дней. Согласно преданиям, оьсуждали двери и около контрольной. Говорят, ввели пуассоновский процесс.

2024-???, семинар 9: решаем задачи на пуассоновское в разных формах и обсуждаем омалые в порядковых статистиках.

2024-???, семинар 10: учимся интерпретироввть гауссовское, пользоваться таблицами для функции Лапласа, а также немного работать с многомерным гауссовским.

2024-3-12, семинар 11: Копаем во все стороны многомерное гауссовское: считаем вероятности для линейных комбинаций гауссовских, проверяем зависимость, вычисляем условные законы, матожидания и ковариационные матрицы, вспоминаем спектральное разложение и разложение Холецкого.

==== 2311 ====

2024-09-06, семинар 1: вероятностное пространство, вероятность на нем, вероятность события, случайная величина и ее распределение (индикатор события, сумма двух кубиков, число бросаний монетки до первого орла), матожидание случайной величины (индикатор, один кубик, два кубика), линейность матожидания. Задачи на линейность матожидания, в том числе ЕГЭшная задача про турнир, 1.5, 3.5 с допвопросом о матожидании числа совпадений. Разговор о получении события произвольной вероятности монеткой в контексте 1.8

2024-09-13, семинар 2: Повторили матожидание суммы на примере 12.3. Обсудили условную вероятность и формулу полной вероятности, условное матожидание, решили задачи на метод первого шага 2.1, 2.3, 2.7.

2024-09-20, семинар 3: Условная вероятность, формула полной вероятности, формула Байеса: 7.1, классическая задача про болезни и тесты, простейшие задачки на общее понимание, обсуждение двух подходов: вычисления условной вероятности по формуле и составления нового вероятностного пространства и подсчет вероятности в нем. Независимые события (события "пики" и "дама" в обычной колоде и колоде с джокерами), независимые в совокупности события, построили пример попарно независимых, но не независимых в совокупности. Обсудили биномиальное распределение. решили задачу: "в корабле к отсеков, чтобы корабль затонул, нужно поразить 2. Независимо выпускают n ракет, каждая из которых поражает случайный отсек с вероятностью p. Найти вероятность потопления корабля"

2024-09-20, семинар 4: Примеры одинаково распределенных зависимых СВ, независимые СВ. Производящая функция и ее свойства. Посчитали для биномиального производящую функцию и второй момент. Обсудили, что будет меняться в случае функции, производящей моменты. Обсудили функцию, производящую множество исходов, как из нее доставать уже известные функции, как ее искать на примере бросания монетки до выпадания HT

2024-10-11, семинар 5: Составили табличку стандартных дискретных распределений, посчитали матожидание геометрического, обсудили дисперсию и ковариацию и их свойства (в дискретном случае), досчитали дисперсии основных распределений. Обсудили вероятностное пространство в общем случае, понятие СВ в общем случае. Дали определение ФР, посчитали ФР для явно заданной СВ. Дали определение плотности.

2024-10-12, семинар 6: Обсудили свойства ФР, как считать вероятность попадания в промежуток в терминах ФР. Выразили ФР 1/X, cos X. Обсудили как выражается веротяность попадания в множество через плотность. для 1/Х выразили плотность в случае абсолютной непрерывности Х. Обсудили формулу для МО в общем виде через интеграл Стильтьеса и как вычислять МО для функции, разлагающейся в сумму абсолютно нерпрерывной и функции скачков, посчитали МО для пары таких СВ

2024-10-18, семинар 7: Обсудили геометрию, заданную скалярным произведением EXY и cov(X,Y), поиск ортогонального элемента и проекции. Посчитали энтропию и кросс-энтропию в дискретном и непрерывном случаях, посчиали совместную и условную энтропию в дискретном случае (23.2, 23.4, 23.9)

2024-11-01, семинар 9: Совместная плотность и ф.р., подсчет вероятностей, маргинальные плотности, замена переменной через якобиан, свертка, матожидание

2024-11-09, семинар 10: Условная плотность, формула условной вероятности. Задача на восстановление маргинальной плотности по условной. Разбор задач из "Летучей мыши"

2024-11-19, семинар 11: Разбор контрольной работы

2024-11-22, семинар 12: Пуассоновский поток - решали задачки из задачника

2024-11-29, семинар 13: Нормальное распределение - задачи из PP, повторили функцию, порождающую моменты, обсудили ее свойства в абсолютно непрерывном случае

2024-12-06, семинар 14: Многомерное нормальное - обсудили два определения, связь между ними, независимость элементов нормального вектора при нулевой ковариации и почему это неверно для произвольных нормальных. порешали задачи 24.9а, 24.10, 24.17

==== 2310, 2312 ====

2024-09-06, семинар 1: задача 1.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Определили вероятностное пространство в виде тройки, множество исходов рассматривали конечное и счётное. Решили 3 счётные задачи на комбинаторику про колоды карт и счетные последовательности цифр. Привели геометрическое и аналитическое решения задачи про нахождение предела последовательности вероятностей. В конце нашли математическое ожидание геометрически распределённой случайной величины.

2024-09-13, семинар 2: задача 2.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Задача на упорядоченные и неупорядоченные наборы. Задача про классическое вероятностное пространство и про пространство с неравновероятными исходами. Разобрали парадокс Монти Холла. Ввели понятия условной вероятности и независимых случайных величин. Сформулировали и обсудили идеи доказательств трёх теорем: теорема умножения вероятностей, формула полной вероятности и формула Байеса.

2024-09-20, семинар 3: Решили задачу на определение условной вероятности. Обсудили парадокс теоремы Байеса на примере задачи про редкое заболевание, а также посмотрели простую программу на Python, которая считает вероятность в зависимости от количества проведенных тестов на заболевание. Обсудили условное математическое ожидание, некоторые его свойства и рассмотрели пример с подбрасыванием кубика. В конце решили задачу на парадокс дней рождений.

2024-09-27, семинар 4: Обсудили коллизии хеш-функций и связь с атакой "дней рождений". Определили независимость или зависимость случайных величин в четырёх разных вариантах. Обсудили, что неверно утверждать, что матожидание частного независимых случайных величин равно частному матожиданий, также привели пример использования подобного факта в некоторых статьях. В конце решили задачу на поиск функции производящей исходы, а также нашли E(X), E(Y^2), E(XY) с помощью найденной функции.

2024-10-04, семинар 5: Решили две простые задачи на условную вероятность и на теорему об умножении вероятностей. Обсудили связь дерева событий с условной вероятностью и теоремой об умножении вероятностей. Нашли производящую функцию моментов для геометрически распределенной случайной величины и с помощью нее нашли матожидание. Нашли производящую функцию моментов и матожидание суммы случайного количества н.о.р случайных величин.

2024-10-11, семинар 6: Привели аналогии между дискретными и непрерывными случайными величинами. Нарисовали графики функций от случайных величин. Вспомнили определение и свойства дисперсии. Решили простую задачу на подсчет дисперсии и нашли дисперсию геометрически распределенной случайной величины. Обсудили, когда может быть матожидание и дисперсия бесконечны. Далее вспомнили неравенства Маркова и Чебышева, вывели следствия и решили 3 задачи на применение этих неравенств. Обсудили, что неравенство Маркова может давать как точную оценку, так и очень слабую. Показали, что неотрицательность случайной величины в неравенстве Маркова является существенным условием.

2024-10-11, семинар 7: Повторили понятия энтропии в битах и натах, а также понятие дифференциальной энтропии. Нашли энтропию в схеме Бернулли и энтропии геометрического и экспоненциального распределений. Доказали простую оценку сверху для энтропии случайной величины, имеющей конечный носитель мощности n.

2024-11-1, семинар 8: Разобрали демо-вариант контрольной работы "Тыква".

2024-11-8, семинар 9: Разобрали демо-вариант контрольной работы "Летучая мышь".

2024-11-15, семинар 10: Понятие случайного процесса. Определение пуассоновского процесса, его свойства. Три простые задачи на пуассоновское распределение. Задачи 13.1 и 13.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-11-22, семинар 11: Определения Бета-функции и Гамма-функции. Бета и Гамма распределения, их функции плотности и графики. Нахождение моды случайных величин, имеющих Бета и Гамма распределения. Связь пуассоновского процесса с Гамма распределением. В конце нашли производящую функцию моментов Гамма распределения.

2024-11-29, семинар 12: Задачи 18.1, 18.2 и 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-12-06, семинар 13: Нашли многомерное нормальное распределение по виду функции плотности (константа на экспоненту с квадратичным показателем). С помощью формулы Иссерлиса нашли матожидания произведений различных или одинаковых случайных величин, имеющих многомерное нормальное распределение. Нашли условную вероятность многомерного распределения. Задача 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-12-13, семинар 14: Повторили определение сходимости по распределению и центральную предельную теорему. Решили задачи 20.2 и 20.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

== Источники ==

Источники мудрости, которые я постарался не замутить :)

[https://arxiv.org/pdf/1411.5279 WTSK]: Tim Hesterberg, What Teachers Should Know About the Bootstrap: вкусное и доступное изложение бутстрэпа и перестановочных тестов.

[https://projects.iq.harvard.edu/stat110/home BItP]: Blitzstein, Hwang, Introduction to Probability: учебник, записи лекций, гарвардский курс.

Теория вероятностей 2024/25 (основной поток)

2025-01-10T11:58:38Z

Nmorozov:

= Преподаватели и учебные ассистенты =

{| class="wikitable" style="text-align:center"
|-
! Группа !! БПМИ235 !! БПМИ236 !! БПМИ237 !! БПМИ238 !! БПМИ239 !! БПМИ2310 !! БПМИ2311 !! БПМИ2312
|-
|| Лектор ||colspan="11"| [https://t.me/boris_demeshev Борис Демешев]
|-
|| Семинарист || [https://t.me/boris_demeshev Борис Демешев] || [https://t.me/levensons Илья Левин] || [https://t.me/madn_boi Никита Морозов] || [https://t.me/boris_demeshev Борис Демешев] || [https://t.me/XuMuK_MK Максим Каледин] || [https://t.me/goluba_yurieva Голуба Юрьева] || [https://t.me/Moskchan Вероника Владыкина] || [https://t.me/goluba_yurieva Голуба Юрьева]
|-
|| Ассистент || [https://t.me/nerhneiro Ира Скворцова] || [https://t.me/a_ameli_ig Амелия Алаева] || [https://t.me/htual Алина Бадахова] || [https://t.me/adelyagaraeva Аделя Гараева] || [https://t.me/mabrielka Мария Брель] || [https://t.me/zm_ann Анна Зыкова-Мызина] || [https://t.me/Yanlightv Яна Вежновец] || [https://t.me/nol_erk Кирилл Лавриненко]
|-
|| Ассистент курса ||colspan="11"| [https://t.me/Nick_Volya Никита Волянский]
|}

== Цели и задачи курса ==

侍には目標がなく道しかない [Samurai niwa mokuhyō ga naku michi shikanai]

У самурая нет цели и ничего кроме пути.

Вероятный план:
<div class="mw-collapsible mw-collapsed" style="width:1000px; overflow: hidden;">
1. Дискретное вероятностное пространство. Вероятность, математическое ожидание, теоретическая медиана.
Перестановочные тесты, p-значение для перестановочного теста.
Математическое ожидание = центр масс.

NB: здесь сходу рисуем дерево
NB: здесь нет задач на условную вероятность

!предупреждение об обозначениях случайных величин.
Российская традиция — греческие буквы, американская традиция — заглавные английские буквы.
Наш курс: любые буквы. Причина: теория вероятностей применяется в разных областях, где свои традиции.

NB: Способы вычисления вероятностей и ожиданий:
* полный перебор руками
* примерные вычисления руками
* полный перебор на компьютере
* симуляции на компьютере
* ...

2.
Методы решения задач:
* разложение величины в сумму
* метод первого шага
!идея: позиция в игре имеет цену
* just for fun: метод рычага в геометрии через ожидание
NB: рассказать здесь про комплексную случайную величину
NB: по сути здесь мы уже решаем задачи на марковские цепи не говоря страшных определений
LOTUS.

3. Условная вероятность и условное ожидание.
!идея: зануляем вероятности невозможных событий, а остальные — масштабируем.
формула полной вероятности
!идея: дерево "помнит" формулу полной вероятности
формула Байеса

Независимые события.
Независимые случайные величины.

4.
Методы решения задач:
* производящие функции многих переменных
функция как способ записать множество
HTT vs TTH
ABRACADABRA
!разложение по биномиальной формуле

?: можно здесь успеть функцию производящую моменты

5.
Биномиальное распределение.
Геометрическое и гипергеометрическое распределения.
Отрицательное биномиальное распределение.

6.
Равномерное распределение на множестве в R^n
Функция распределения.
Функция плотности и вероятностная дифференциальная форма.
!пояснение про неудачную традиционную терминологию "непрерывная случайная величина"
величина с функцией плотности, величина с непрерывной функцией распределения.

Квантили, квантильная функция.

7. Характеристики случайных величин и неравенства.
Дисперсия.
Энтропия.
Неравенство Маркова.
Неравенство Чебышёва.
Неравенство Йенсена.

Здесь конец модуля 1 и КР-1!

8. Пуассоновский поток.
Аксиомы пуассоновского потока.
Вывод экспоненциального распределения и пуассоновского распределения из аксиом.
Вывод экспоненциального распределения из предпосылки об отсутсвии памяти.

9. Нормальное распределение.
Нормальное распределение: предпосылки Хершела-Максвелла.
Нормальное распределение: аргументация Гаусса за среднее арифметическое.
Нормальное распределение: предпосылки Лэндона (до уравнения в частных производных).

10. Классические непрерывные распределения.

Гамма-распределение, бета-распределение.
Вывод нормального и экспоненциального распредений как минимизации энтропии.

11. Парные характеристики случайных величин.
Наилучшая линейная аппроксимация.
Ковариация.
Корреляция.
Кросс-энтропия.

Доказательство E(XY) = E(X) E(Y) для дискретных.
Ковариационная матрица и ожидание для случайных векторов.

12. Совместная и условная функция плостности.
Преобразования случайных величин.

13. Функция производящая моменты и характеристическая функция.
Распределение суммы случайного количества случайных величин.
Случайный выбор слагаемых.

14. Финансовые приложения

Оценивание опционов на биномиальном дереве.
Максимизация долгосрочной прибыли, связь с энтропией.
Возможно, индексы Гиттинса.

Здесь конец модуля 2 и КР-2

15. Сигма-алгебры.

Список известных величин как способ описания информации.
Идея условного ожидания как оптимального прогноза.
Сигма-алгебра как способ описания информации.
Измеримость случайной величины относительно сигма-алгебры.
Сигма-алгебра как ОДЗ для вероятности.
Борелевская сигма-алгебра.
Независимые случайные величины второе определение.

16. Условное математическое ожидание.
Условная дисперсия.
Сумма случайного количества случайных величин.

17. Сходимости случайных величин.

Сходимость по вероятности.
Закон больших чисел.
Сходимость почти наверное.
Усилинный закон больших чисел.
Сходимость по распределению.

18. Связь сходимостей.
Лемма Слуцкого.

19. Центральная предельная теорема.
Доказательство через подмену слагаемых.
Доказательство через характеристические функции.

Здесь контрольная.

20. Винеровский процесс
Условные ожидания, инверсия.

21. Байесовский подход к оцениванию параметров

Балансовое уравнение. Идея MCMC.

22. Доказательства свойств меры

23. Алгоритм построения математического ожидания в общем случае.
Лемма Фату.
Теорема о мажорируемой сходимости.
Теорема о монотонной сходимости.

24. Резерв.

Жемчужинки, которые, вероятно, не успеем:

А. Методы решения задач:
подсчёт случаев с помощью леммы Бернсайда и теоремы Пойа о перечислении
(Burnside lemma, PET = Polya Enumeration Theorem)

B. вероятностные доказательства детерминистических теорем

</div>

== Оценивание ==

Оценка за семестр-1 = 0.2 Домашние задания семестра-1 + 0.4 Контрольная-Альфа + 0.4 Экзамен-Бета.

Финальная оценка за курс = 0.5 Оценка за семестр-1 + 0.1 Домашние задания семестра-2 + 0.2 Контрольная-Гамма + 0.2 Экзамен-Дельта.

Каждая оценка (суммарные итоги за домашние задания, контрольные, экзамены) — целое число от 0 до 100.
Для перевода в 10-балльную шкалу промежуточной оценки за семестр-1 и финальной оценки используется деление на 10
с арифметическим округлением. Например, если Максим получил "оценку за семестр-1" 65 баллов, то в ведомость за первый семестр идёт 7, а далее в формуле финальной оценки за курс используется 65.

=== Домашние задания для самураев ===

Домашние задания [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/home_assignments/home_assignments.pdf одним файлом] и [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/blob/main/home_assignments/ отдельными файлами].
Домашние задания имеют равный вес.
В конце каждой лекции (за исключением ближайших к экзамену лекций)
выдается домашнее задание сроком на две недели.
Дедлайн жёсткий, однако студент имеет право просрочить три домашних задания на неделю каждое без штрафа.

Формат сдачи ДЗ: один pdf-файл (решение текстовых задач) и один ipynb-файл (решение компьютерных задач).
В pdf-файл можно поместить аккуратно написанное отсканированное решение, а можно скомпилировать pdf из теха или маркдауна.
Ещё можно вместо pdf-файла написать всё в ipynb.
Бонусов за сдачу домашки в техе нет. Пример [https://www.overleaf.com/read/qmrkwpzvmqbk шаблона].

Обратите внимание: '''время каждого дедлайна — 23:59'''.

=== Ведомость с оценками за ДЗ ===

{| class="wikitable" style="text-align:center"
|-
! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1872081500#gid=1872081500 235] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1374497930#gid=1374497930 236] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1183164252#gid=1183164252 237] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=408179311#gid=408179311 238] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1032422408#gid=1032422408 239] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1603236891#gid=1603236891 2310] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=791330236#gid=791330236 2311] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=23847300#gid=23847300 2312]
|}

[https://docs.google.com/spreadsheets/d/14hD7-SLmAA1omdkhPlt3blRHDHVGTDS8ZgvLWscvMz8/edit?usp=sharing Оценки за кр1]

=== Контрольные работы и экзамен ===

Вес каждой задачи будет написан в тексте работы.
Задачи с ненаписанным по случайности весом имеют равный вес.
Для пропущенных по уважительной причине контрольных будет выделен один день для переписывания.
При пропуске дня переписывания, в том числе по уважительным причинам, ещё одного шанса не предоставляется.

'''Контрольная работа 1''' состоится 2024-11-11 в 16:20, аудитории: R401, R305, R206, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_halloween_demo/exam_halloween_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/midterm/midterm-alpha.pdf условие с критериями и решениями].

'''Резервный день 1''' для пропустивших по уважительной причине состоится 2024-12-02 в 19:40, R405

'''Показ контрольной 1''':

* задачи 1, 2: заочно до 2024-12-08, [https://t.me/Moskchan Вероника]
* задачи 3, 4 [https://t.me/boris_demeshev Борис], очно, четверг, 2024-12-05, 18:10-21:00, G408
* задачи 5, 6 [https://t.me/XuMuK_MK Максим]: очно, четверг, 2024-12-05, 18:10-21:00, G408

'''Экзамен, модуль 2''' состоится '''''2024-12-24 в 10:00''''', аудитории R301, R304, R401, R404, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_winter_demo/exam_winter_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/december/pmi_probab_2024_december.pdf условие].

Если вы не хотите идти на экзамен, то заполните [https://forms.gle/UQzW77RrPvcdahG47 эту форму], чтобы получить ноль при неявке

'''Апелляция экзамена''':

* задачи 1, 2: заочно [https://t.me/goluba_yurieva Голуба], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/december/exam_problem_1-2.pdf решения и критерии 1, 2];
* задачи 3, 4: очно в субботу 14:40-17:40 [https://t.me/madn_boi Никита], [https://www.overleaf.com/read/dnhjcdrndqps#42f1ab решения и критерии 3, 4];
* задачи 5, 6: заочно [https://t.me/levensons Илья]

* дедлайн по заочным апелляциям: суббота 23:59

[https://docs.google.com/spreadsheets/d/1mxMCr3IEDy8EPFWGkn3_dsghhPNcZICEw9C9o5ZoZvA/edit?usp=sharing Распределение по аудиториям]

'''Экзамен, модуль 3''' состоится 2025-03-26 в 14:40, аудитории R301, R404, R405, R503, демо, условие.

== Учебные материалы ==

[https://github.com/bdemeshev/probability_pro/raw/master/probability_pro.pdf PP]: Листки с задачами к курсу.

[https://github.com/bdemeshev/probability_dna/raw/master/probability_dna.pdf PDNA]: Вероятностная ДНК = вкусные задачи по теории вероятностей.

[https://disk.yandex.ru/d/LZ6d2VZVqYvbDQ Видео-летопись семинаров и лекций] и [https://hse.liferooter.dev/ конспект] от тайного благожелателя (updated 2024-10-23]

[https://disk.yandex.ru/d/IoakBXz_6yygPw Официальные видео]

[https://www.cambridgeinternational.org/Images/344616-list-of-formulae-and-statistical-tables.pdf Cambridge statistical tables]

== Дневник самурая ==

2024-09-02, лекция 1: Определение события. Определение случайной величины. Аксиомы вероятности. Определение математического ожидания для дискретного случая.
Линейность математического ожидания. Математическое ожидание как центр масс. Первое знакомоство с перестановочным тестом и p-значением.

Можно глянуть: главы 2.1 и 7 из [https://arxiv.org/pdf/1411.5279 WTSK], метод рычага [https://mathcircle.berkeley.edu/sites/default/files/archivedocs/2007_2008/lectures/0708lecturespdf/MassPointsBMC07.pdf в геометрии].

2024-09-09, лекция 2: Метод первого шага (вероятность выпадения HTH ранее HHT, ожидаемое количество шагов). Метод разложения случайной величины в сумму. Определение случайного вектора. Использование интерпретации ожидания как центра масс в геометрии. Определение теоретической медианы.

Можно глянуть: глава 2.7.2 из [https://projects.iq.harvard.edu/stat110/home BItP], три стратегии решения задачи за 10 минут [https://www.youtube.com/watch?v=xH89DaEI35w Visually Explained]

2024-09-16, лекция 3: Получение новой информации приводит к пересчёту вероятностей. Определение условной вероятности. Формула полной вероятности. Формула Байеса.
Условное математическое ожидание. Формула полного математического ожидания. Независимость пары событий. Независимость набора событий в совокупности.
Независимость величин: неформальное определение. Критерий независимости произвольных величин. Критерий независимости дискретных величин.

2024-09-23, лекция 4: Доказательство критерия независимости для дискретных случайных величин: из независимости {X=x} и {Y=y} следует независимость {X in A} и {Y in B}. Независимость величин равносильна E(f(X))E(g(Y))=E(f(X)g(Y)) для произвольных f, g. Определение биномиальной, геометрической (как числа неудач до 1го успеха) и отрицательной биномиальной случайной величины. Общая идея за производящими функциями: как из функции, производящей исходы эксперимента, с помощью производных и подстановок выудить индивидуальные вероятности, совместные вероятности, ожидания любой степени E(X^a), E(X^a Y^b). Формальное определение функции, производящей вероятности, и функцию, производящей моменты, для одной случайной величины и пары случайных величин. Метатеорема: все теоремы о дискретных величинах доказываются перестановкой слагаемых. Основные дискретные распределения: биномиальное, геометрическое, отрицательное биномиальное.

2024-09-30, лекция 5: Ещё дискретные законы распределения: гипергеометрическое. Описание закона распределения через равномерное распределение на подмножестве R^n.
Функция плотности как линейная часть вероятности попадания в отрезок. Равномерное распределение на отрезке. Смешанные случайные величины. LOTUS: нахождение ожидания любой функции от случайной величины для величин с функцией плотности и смешанных величин. Функция распределения. Квантильная функция.

2024-10-07, лекция 6: Две геометрии случайных величин и событий: E(XY) как скалярное произведение, Cov(X, Y) как скалярное произведение. Математическое ожидание — проекция в рамках геометрии, задаваемой E(XY). Определение и геометрический смысл дисперсии, стандартного отклонения, ковариации и корреляции. Неравенство Маркова. Неравенство Чебышёва. Неравенство Йенсена: интуитивный смысл.

2024-10-14, лекция 7: Доказательство неравенства Йенсена. Энтропия как минимальное ожидаемое число вопросов для отгадывания и формальное определение. Кросс-энтропия.
Доказательство того, что кросс-энтропия больше либо равна энтропии. Совместная энтропия. Условная энтропия. Формула H(X) + H(Y|X) = H(X, Y) без доказательства.
Вывод плотности экспоненциального распределения из предпосылки отсутствия памяти. Экспоненциальное распределение максимизирует энтропию при заданном ожидании и неотрицательности.

* Cristopher Olah, Visual Information Theory, https://colah.github.io/posts/2015-09-Visual-Information/

* Grand Sanderson, Solving Wordle using information theory, [https://www.youtube.com/watch?v=v68zYyaEmEA youtube].

* Artem Kirsanov, Key equation behind probability, [https://www.youtube.com/watch?v=KHVR587oW8I youtube]. У Артёма кросс-энтропия обозначена H(P, Q), а не CE(P||Q)).

* [https://exuberant-arthropod-be8.notion.site/1-02-09-5e107ea1c4054594b8f37d955db8a2b0 Конспект] аналогичной старой лекции псмо на русском.

* Keith Conrad, [https://kconrad.math.uconn.edu/blurbs/analysis/entropypost.pdf Maximal entropy] distributions.

2024-10-21, лекция 8: Ковариационная матрица и её свойства. Совместная функция плотности. Условная функция плотности. Критерий независимости в терминах функций плотности и распределения.
Связь индивидуальной и совместной функций плотности и функций распределения. Смена плотности при замене переменных: домножение на якобиан и неформально про дифференциальные формы. Формула свёртки.
Разложение совместной плотности для графической модели. Представление произвольной совместной функции распределения с помощью копулы.

* Про дифференциальные формы: [https://www.youtube.com/watch?v=PaWj0WxUxGg&list=PL22w63XsKjqzQZtDZO_9s2HEMRJnaOTX7 videos] by Michael Penn, [https://www.math.purdue.edu/~arapura/preprints/diffforms.pdf short intro] by Dony Arapura

* What is a convolution от [https://www.youtube.com/watch?v=KuXjwB4LzSA 3b1b]

* From graphical models to [https://www.youtube.com/watch?v=yBc01ZeaFxw&list=PLISXH-iEM4JlFsAp7trKCWyxeO3M70QyJ Probabilistic ML]

2024-11-11, лекция 9: Пуассоновский поток: аксиомы. Вывод пуассоновского распределения количества событий и экспоненциального времени между событиями из аксиом.
Сумма независимых пуассоновских потоков — это пуассоновский поток (половина доказательства). Вероятность того, что одна экспоненциальная величина будет меньше другой, независимой.

2024-11-18, лекция 10: Гамма-распределение как сумма нескольких экспоненциальных: вывод плотности через вероятность попадания в малый отрезок.
Обобщение плотности на случай положительного параметра $a$. Гамма-функция. Бета-распределение как отношение гамма-распределений. Бета-функция.

2024-11-25, лекция 11: Вывод нормального распределения из предпосылок Гаусса. Вывод нормального распределения из предпосылок Гершеля — Максвелла.

* Saul Stahl, The [https://www.researchgate.net/publication/255668423_The_Evolution_of_the_Normal_Distribution Evolution] of the Normal Distribution: вывод Гаусса с историей.

* Grand Sanderson, [https://www.youtube.com/watch?v=cy8r7WSuT1I Why pi] is in the normal? вывод Гершеля—Максвелла

* James Stein, [http://www-biba.inrialpes.fr/Jaynes/cc07s.pdf Normal Distribution]: глава про нормальное распределение (Гаусс, Гершель—Максвелл, Лэндон etc)

* William Herschel, [https://music.yandex.com/album/209394/track/2121214 концерт для габоя]

* William Herschel, [https://www.informationphilosopher.com/solutions/scientists/quetelet/Herschel_Quetelet_Probabilities.pdf On the theory of Probabilities]: вывод нормального распределения словами на стр. 189-191

2024-12-02, лекция 12: многомерное нормальное распределение. Функция плотности невырожденного многомерного нормального. Функция производящая моменты для многомерного нормального. Формула Иссерлиса с ненулевыми ожиданиями и доказательством. Условное распределение: вывод условного ожидания и условной дисперсии через разложение величины в сумму независимых.

* [https://stats.stackexchange.com/questions/30588/ альтернативный вывод] условного многомерного нормального распределения
* Хитрый [https://github.com/bdemeshev/lis-isserlis/raw/main/lis-isserlis.pdf лис Иссерлис]

2024-12-09, лекция 13: сходимость по распределению, центральная предельная теорема с доказательством подменой слагаемых.

* Calvin Chin [https://arxiv.org/pdf/2106.00871 CLT proof] by swapping
* [https://bdemeshev.github.io/teaching_notes/clt_by_swapping Пересказ доказательства]

=== Семинары ===

==== 473 = 235 + 238 ====

2024-09-02, 06, семинар 1: задачи 1.1, 1.6, 3.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-09, 13, семинар 2: задачи 2.1, 2.3, 12.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-16, 20, семинар 3: задачи 7.12 и 7.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-23, 27, семинар 4: как извлечь P(X=3), E(X), E(X^2Y) из функции, производящей список исходов, 28.16 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-30, -10-04, семинар 5: 9.3в, 9.4, 9.7(абвд, кроме дисперсии, аргументы масштабирования и центра масс помимо интегралов), 9.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-10-07, 11, семинар 6: вычисление Cov, Var, Corr по табличке и из функции плотности, нахождение дисперсии для отрицательного биномиального распределения по свойствам.

2024-10-14, 18, семинар 7: вычисление энтропии геометрического распределения. Изменение энтропии при линейном преобразовании для дискретной величины и величины с функцией плотности.
Кросс-энтропия из экспоненциального в равномерное. Условная энтропия для дискретной таблички. Связь энтропии величины с функцией плотности и энтропия дискретной версии этой случайной величины после "огрубления" с малым шагом 1/k.

2024-10-21, -11-01, семинар 8: 16.18, 16.23 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], свёртка двух экспоненциальных величин

2024-11-11, 15, семинар 9: задачи на пуассоновский поток из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-11-18, 22, семинар 10: задачи на бета и гамма-распределение

2024-11-25, 29, семинар 11: задачи на нормальное распределение, 18.1, 18.2, 18.3, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-02, 06, семинар 12: задачи на многомерное нормальное: 24.16аб, 24.17аб, 24.18, 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-09, 13, семинар 13: ЦПТ и нормальное распределение: 20.2, 20.4, 18.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

==== 236 ====

2024-09-06, семинар 1: в начале семинара рассмотрели основные понятия и определения для решения задач. Решили задачи 1.1, 1.6, 3.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-13, семинар 2: нашли ожидание случайной величины с геом. распределением. Решили задачи 2.1, 12.6, 12.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-09-20, семинар 3: решили задачи 7.12, 7.4(а), 7.7, 7.13(а) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-09-27, семинар 4: разобрали 7.13, почти разобрали 28.3 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Также рассмотрели один контрпример на независимость(тетраэдр Бернштейна).

2024-10-04, семинар 5: разобрались с определениями, решили 9.3(абв), 9.7(аб) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Решили задачку про три точки на отрезке и найти вероятность получить треугольник. Также вывели формулу для мат. ожидания неотрицательной величины через функцию распределения.

2024-10-14, семинар 6: обсудили дисперсию, ковариацию, коэффициент корреляции и их геометрический смысл. Решили задачу на оценку дисперсии ограниченной величины. посчитали дисперсию геометрического, биномиального. Посчитали дисперсию в задаче о письмах и конвертах.

???, семинар 7: определили энтропию, посчитали примеры для дискретных величин, для линейных преобразований. Доказали, что задача максимизации энтропии с фиксированной дисперсией достигается на нормальном распределении.

???, семинар 8: свертка двух экспоненциальных, 16.18 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

???, семинар 9: задачи на пуассоновский процесс из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

???, семинар 10: разбор кр.

???, семинар 11: разобрали задачи на нормальное распределение 18.1, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Также считали распределение суммы двух независимых нормальных.

==== 237 ====

2024-09-09, семинар 1: задачи 1.1, 2.2 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], вероятность что n ладей не бьют друг друга при случайной расстановке на шахматной доске n на n, матожидание числа треугольников в случайном графе на n вершинах через сумму индикаторов

2024-09-13, семинар 2: задачи 2.1, 2.6, 12.3, 12.6, 12.7 (без дисперсий) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-23, семинар 3: задачи 7.2, 7.13, 7.7, 7.8, плюс начали 7.15b (получили неверный ответ) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-27, семинар 4: дорешали 7.15b с небольшой демонстрацией на питоне, разобрали 28.2 для нечестной монетки плюс посчитали матожидание [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-10-04, семинар 5: задачи 9.1, 9.3абв, 9.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], философия про то почему бОльшая плотность не всегда означает бОльшую вероятность оказаться в окрестности данной точки (плотность может занимать слишком маленький объем)

2024-10-11, семинар 6: вспомнили определения Cov/Var/Corr, посчитали у пары дискретных величин по табличке вероятностей, посчитали дисперсию у биномиального, геометрического, непрерывного равномерного на отрезке.

2024-10-18, семинар 7: вычисление энтропии геометрического распределения; ограниченность энтропии снизу и сверху в дискретном случае; изменение энтропии при линейном преобразовании для дискретной величины и величины с функцией плотности; условная энтропия, KL дивергенция и кросс-энтропия, неотрицательность KL, интерпретация на пальцах с точки зрения теории информации.

2024-11-01, семинар 8: 16.18, 16.23 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], свёртка двух экспоненциальных величин

2024-11-08, семинар 9: решали пробный вариант КР

2024-11-15, семинар 10: 13.1, 13.2, 13.5, 13.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-11-22, семинар 11: разбор КР

2024-11-29, семинар 12: нормальное распределение, 18.1, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-06, семинар 13: многомерное нормальное распределение, изменение среднего и матрицы ковариаций при линейном преобразовании, 24.4а, 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-13, семинар 14: 24.4в из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], сходимости случайных величин, ЗБЧ и ЦПТ, 20.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

==== 239 ====

2024-09-03, семинар 1: задачи 1.1, 1.4, пытались 1.8 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Ещё успели посчитать вероятность N=k бросков монеты до выпадения первого орла, матожидание N. И ещё сделали то же для количества бросков до выпадения 3 орлов (не в серии).

2024-09-10, семинар 2: доказали формулу включения-исключения, решили несложную задачу, порешали 2.7 задачи типа 12.*

2024-09-17, семинар 3: Решили две прямых задачи на формулу Байеса и формулу полной вероятности (без большого количества вычислений). Решили задачу поиска вероятности неисправного кофе-автомата из 3 при условии, что бросили деньги в 1 и 2 и их зажевало. Ещё нашли вероятность, что мяч будет у игрока 3 после шага 10 (все садятся в круг и на каждом шаге бросают мяч соседу с вероятностью 0.3 и оставляют у себя с вероятностью 0.4).

2024-09-24, семинар 4: Вспомнили про метод первого шага, используя формулу полной вероятности и введя в некотором виде формулу полного матожидания, записали формулу для вероятностей нахождения в состоянии i через произведение переходной матрицы на вектор. Совсем немного начали производящие функции, но решили не считать 31ю производную многочлена.

2024-10-01, семинар 5: Исследуем дискретные случайные величины (Биномиальная, Геометрическая и разные похожие) с использованием техник вычислений моментов через производящую функцию. Задачи на распределения величин, посчитанных по набору величин. Первая большая задача про плотность.

2024-10-08, семинар 6: разминочная про плотность и функцию распределения. Считаем дисперсию, ковариацию и корреляцию по 2x2 таблице и в равномерном распределении на круге и квадрате [-1,1]х[-1,1].

2024-10-15, семинар 7: пара задач про экспоненциальное распределение, расчёты по теории информации(считаем всякое, чтобы привыкнуть).

2024-10-22, семинар 8: письменные источники не сохранились до наших дней. Согласно преданиям, оьсуждали двери и около контрольной. Говорят, ввели пуассоновский процесс.

2024-???, семинар 9: решаем задачи на пуассоновское в разных формах и обсуждаем омалые в порядковых статистиках.

2024-???, семинар 10: учимся интерпретироввть гауссовское, пользоваться таблицами для функции Лапласа, а также немного работать с многомерным гауссовским.

2024-3-12, семинар 11: Копаем во все стороны многомерное гауссовское: считаем вероятности для линейных комбинаций гауссовских, проверяем зависимость, вычисляем условные законы, матожидания и ковариационные матрицы, вспоминаем спектральное разложение и разложение Холецкого.

==== 2311 ====

2024-09-06, семинар 1: вероятностное пространство, вероятность на нем, вероятность события, случайная величина и ее распределение (индикатор события, сумма двух кубиков, число бросаний монетки до первого орла), матожидание случайной величины (индикатор, один кубик, два кубика), линейность матожидания. Задачи на линейность матожидания, в том числе ЕГЭшная задача про турнир, 1.5, 3.5 с допвопросом о матожидании числа совпадений. Разговор о получении события произвольной вероятности монеткой в контексте 1.8

2024-09-13, семинар 2: Повторили матожидание суммы на примере 12.3. Обсудили условную вероятность и формулу полной вероятности, условное матожидание, решили задачи на метод первого шага 2.1, 2.3, 2.7.

2024-09-20, семинар 3: Условная вероятность, формула полной вероятности, формула Байеса: 7.1, классическая задача про болезни и тесты, простейшие задачки на общее понимание, обсуждение двух подходов: вычисления условной вероятности по формуле и составления нового вероятностного пространства и подсчет вероятности в нем. Независимые события (события "пики" и "дама" в обычной колоде и колоде с джокерами), независимые в совокупности события, построили пример попарно независимых, но не независимых в совокупности. Обсудили биномиальное распределение. решили задачу: "в корабле к отсеков, чтобы корабль затонул, нужно поразить 2. Независимо выпускают n ракет, каждая из которых поражает случайный отсек с вероятностью p. Найти вероятность потопления корабля"

2024-09-20, семинар 4: Примеры одинаково распределенных зависимых СВ, независимые СВ. Производящая функция и ее свойства. Посчитали для биномиального производящую функцию и второй момент. Обсудили, что будет меняться в случае функции, производящей моменты. Обсудили функцию, производящую множество исходов, как из нее доставать уже известные функции, как ее искать на примере бросания монетки до выпадания HT

2024-10-11, семинар 5: Составили табличку стандартных дискретных распределений, посчитали матожидание геометрического, обсудили дисперсию и ковариацию и их свойства (в дискретном случае), досчитали дисперсии основных распределений. Обсудили вероятностное пространство в общем случае, понятие СВ в общем случае. Дали определение ФР, посчитали ФР для явно заданной СВ. Дали определение плотности.

2024-10-12, семинар 6: Обсудили свойства ФР, как считать вероятность попадания в промежуток в терминах ФР. Выразили ФР 1/X, cos X. Обсудили как выражается веротяность попадания в множество через плотность. для 1/Х выразили плотность в случае абсолютной непрерывности Х. Обсудили формулу для МО в общем виде через интеграл Стильтьеса и как вычислять МО для функции, разлагающейся в сумму абсолютно нерпрерывной и функции скачков, посчитали МО для пары таких СВ

2024-10-18, семинар 7: Обсудили геометрию, заданную скалярным произведением EXY и cov(X,Y), поиск ортогонального элемента и проекции. Посчитали энтропию и кросс-энтропию в дискретном и непрерывном случаях, посчиали совместную и условную энтропию в дискретном случае (23.2, 23.4, 23.9)

2024-11-01, семинар 9: Совместная плотность и ф.р., подсчет вероятностей, маргинальные плотности, замена переменной через якобиан, свертка, матожидание

2024-11-09, семинар 10: Условная плотность, формула условной вероятности. Задача на восстановление маргинальной плотности по условной. Разбор задач из "Летучей мыши"

2024-11-19, семинар 11: Разбор контрольной работы

2024-11-22, семинар 12: Пуассоновский поток - решали задачки из задачника

2024-11-29, семинар 13: Нормальное распределение - задачи из PP, повторили функцию, порождающую моменты, обсудили ее свойства в абсолютно непрерывном случае

2024-12-06, семинар 14: Многомерное нормальное - обсудили два определения, связь между ними, независимость элементов нормального вектора при нулевой ковариации и почему это неверно для произвольных нормальных. порешали задачи 24.9а, 24.10, 24.17

==== 2310, 2312 ====

2024-09-06, семинар 1: задача 1.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Определили вероятностное пространство в виде тройки, множество исходов рассматривали конечное и счётное. Решили 3 счётные задачи на комбинаторику про колоды карт и счетные последовательности цифр. Привели геометрическое и аналитическое решения задачи про нахождение предела последовательности вероятностей. В конце нашли математическое ожидание геометрически распределённой случайной величины.

2024-09-13, семинар 2: задача 2.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Задача на упорядоченные и неупорядоченные наборы. Задача про классическое вероятностное пространство и про пространство с неравновероятными исходами. Разобрали парадокс Монти Холла. Ввели понятия условной вероятности и независимых случайных величин. Сформулировали и обсудили идеи доказательств трёх теорем: теорема умножения вероятностей, формула полной вероятности и формула Байеса.

2024-09-20, семинар 3: Решили задачу на определение условной вероятности. Обсудили парадокс теоремы Байеса на примере задачи про редкое заболевание, а также посмотрели простую программу на Python, которая считает вероятность в зависимости от количества проведенных тестов на заболевание. Обсудили условное математическое ожидание, некоторые его свойства и рассмотрели пример с подбрасыванием кубика. В конце решили задачу на парадокс дней рождений.

2024-09-27, семинар 4: Обсудили коллизии хеш-функций и связь с атакой "дней рождений". Определили независимость или зависимость случайных величин в четырёх разных вариантах. Обсудили, что неверно утверждать, что матожидание частного независимых случайных величин равно частному матожиданий, также привели пример использования подобного факта в некоторых статьях. В конце решили задачу на поиск функции производящей исходы, а также нашли E(X), E(Y^2), E(XY) с помощью найденной функции.

2024-10-04, семинар 5: Решили две простые задачи на условную вероятность и на теорему об умножении вероятностей. Обсудили связь дерева событий с условной вероятностью и теоремой об умножении вероятностей. Нашли производящую функцию моментов для геометрически распределенной случайной величины и с помощью нее нашли матожидание. Нашли производящую функцию моментов и матожидание суммы случайного количества н.о.р случайных величин.

2024-10-11, семинар 6: Привели аналогии между дискретными и непрерывными случайными величинами. Нарисовали графики функций от случайных величин. Вспомнили определение и свойства дисперсии. Решили простую задачу на подсчет дисперсии и нашли дисперсию геометрически распределенной случайной величины. Обсудили, когда может быть матожидание и дисперсия бесконечны. Далее вспомнили неравенства Маркова и Чебышева, вывели следствия и решили 3 задачи на применение этих неравенств. Обсудили, что неравенство Маркова может давать как точную оценку, так и очень слабую. Показали, что неотрицательность случайной величины в неравенстве Маркова является существенным условием.

2024-10-11, семинар 7: Повторили понятия энтропии в битах и натах, а также понятие дифференциальной энтропии. Нашли энтропию в схеме Бернулли и энтропии геометрического и экспоненциального распределений. Доказали простую оценку сверху для энтропии случайной величины, имеющей конечный носитель мощности n.

2024-11-1, семинар 8: Разобрали демо-вариант контрольной работы "Тыква".

2024-11-8, семинар 9: Разобрали демо-вариант контрольной работы "Летучая мышь".

2024-11-15, семинар 10: Понятие случайного процесса. Определение пуассоновского процесса, его свойства. Три простые задачи на пуассоновское распределение. Задачи 13.1 и 13.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-11-22, семинар 11: Определения Бета-функции и Гамма-функции. Бета и Гамма распределения, их функции плотности и графики. Нахождение моды случайных величин, имеющих Бета и Гамма распределения. Связь пуассоновского процесса с Гамма распределением. В конце нашли производящую функцию моментов Гамма распределения.

2024-11-29, семинар 12: Задачи 18.1, 18.2 и 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-12-06, семинар 13: Нашли многомерное нормальное распределение по виду функции плотности (константа на экспоненту с квадратичным показателем). С помощью формулы Иссерлиса нашли матожидания произведений различных или одинаковых случайных величин, имеющих многомерное нормальное распределение. Нашли условную вероятность многомерного распределения. Задача 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-12-13, семинар 14: Повторили определение сходимости по распределению и центральную предельную теорему. Решили задачи 20.2 и 20.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

== Источники ==

Источники мудрости, которые я постарался не замутить :)

[https://arxiv.org/pdf/1411.5279 WTSK]: Tim Hesterberg, What Teachers Should Know About the Bootstrap: вкусное и доступное изложение бутстрэпа и перестановочных тестов.

[https://projects.iq.harvard.edu/stat110/home BItP]: Blitzstein, Hwang, Introduction to Probability: учебник, записи лекций, гарвардский курс.

Теория вероятностей 2024/25 (основной поток)

2025-01-10T00:51:49Z

Nmorozov:

= Преподаватели и учебные ассистенты =

{| class="wikitable" style="text-align:center"
|-
! Группа !! БПМИ235 !! БПМИ236 !! БПМИ237 !! БПМИ238 !! БПМИ239 !! БПМИ2310 !! БПМИ2311 !! БПМИ2312
|-
|| Лектор ||colspan="11"| [https://t.me/boris_demeshev Борис Демешев]
|-
|| Семинарист || [https://t.me/boris_demeshev Борис Демешев] || [https://t.me/levensons Илья Левин] || [https://t.me/madn_boi Никита Морозов] || [https://t.me/boris_demeshev Борис Демешев] || [https://t.me/XuMuK_MK Максим Каледин] || [https://t.me/goluba_yurieva Голуба Юрьева] || [https://t.me/Moskchan Вероника Владыкина] || [https://t.me/goluba_yurieva Голуба Юрьева]
|-
|| Ассистент || [https://t.me/nerhneiro Ира Скворцова] || [https://t.me/a_ameli_ig Амелия Алаева] || [https://t.me/htual Алина Бадахова] || [https://t.me/adelyagaraeva Аделя Гараева] || [https://t.me/mabrielka Мария Брель] || [https://t.me/zm_ann Анна Зыкова-Мызина] || [https://t.me/Yanlightv Яна Вежновец] || [https://t.me/nol_erk Кирилл Лавриненко]
|-
|| Ассистент курса ||colspan="11"| [https://t.me/Nick_Volya Никита Волянский]
|}

== Цели и задачи курса ==

侍には目標がなく道しかない [Samurai niwa mokuhyō ga naku michi shikanai]

У самурая нет цели и ничего кроме пути.

Вероятный план:
<div class="mw-collapsible mw-collapsed" style="width:1000px; overflow: hidden;">
1. Дискретное вероятностное пространство. Вероятность, математическое ожидание, теоретическая медиана.
Перестановочные тесты, p-значение для перестановочного теста.
Математическое ожидание = центр масс.

NB: здесь сходу рисуем дерево
NB: здесь нет задач на условную вероятность

!предупреждение об обозначениях случайных величин.
Российская традиция — греческие буквы, американская традиция — заглавные английские буквы.
Наш курс: любые буквы. Причина: теория вероятностей применяется в разных областях, где свои традиции.

NB: Способы вычисления вероятностей и ожиданий:
* полный перебор руками
* примерные вычисления руками
* полный перебор на компьютере
* симуляции на компьютере
* ...

2.
Методы решения задач:
* разложение величины в сумму
* метод первого шага
!идея: позиция в игре имеет цену
* just for fun: метод рычага в геометрии через ожидание
NB: рассказать здесь про комплексную случайную величину
NB: по сути здесь мы уже решаем задачи на марковские цепи не говоря страшных определений
LOTUS.

3. Условная вероятность и условное ожидание.
!идея: зануляем вероятности невозможных событий, а остальные — масштабируем.
формула полной вероятности
!идея: дерево "помнит" формулу полной вероятности
формула Байеса

Независимые события.
Независимые случайные величины.

4.
Методы решения задач:
* производящие функции многих переменных
функция как способ записать множество
HTT vs TTH
ABRACADABRA
!разложение по биномиальной формуле

?: можно здесь успеть функцию производящую моменты

5.
Биномиальное распределение.
Геометрическое и гипергеометрическое распределения.
Отрицательное биномиальное распределение.

6.
Равномерное распределение на множестве в R^n
Функция распределения.
Функция плотности и вероятностная дифференциальная форма.
!пояснение про неудачную традиционную терминологию "непрерывная случайная величина"
величина с функцией плотности, величина с непрерывной функцией распределения.

Квантили, квантильная функция.

7. Характеристики случайных величин и неравенства.
Дисперсия.
Энтропия.
Неравенство Маркова.
Неравенство Чебышёва.
Неравенство Йенсена.

Здесь конец модуля 1 и КР-1!

8. Пуассоновский поток.
Аксиомы пуассоновского потока.
Вывод экспоненциального распределения и пуассоновского распределения из аксиом.
Вывод экспоненциального распределения из предпосылки об отсутсвии памяти.

9. Нормальное распределение.
Нормальное распределение: предпосылки Хершела-Максвелла.
Нормальное распределение: аргументация Гаусса за среднее арифметическое.
Нормальное распределение: предпосылки Лэндона (до уравнения в частных производных).

10. Классические непрерывные распределения.

Гамма-распределение, бета-распределение.
Вывод нормального и экспоненциального распредений как минимизации энтропии.

11. Парные характеристики случайных величин.
Наилучшая линейная аппроксимация.
Ковариация.
Корреляция.
Кросс-энтропия.

Доказательство E(XY) = E(X) E(Y) для дискретных.
Ковариационная матрица и ожидание для случайных векторов.

12. Совместная и условная функция плостности.
Преобразования случайных величин.

13. Функция производящая моменты и характеристическая функция.
Распределение суммы случайного количества случайных величин.
Случайный выбор слагаемых.

14. Финансовые приложения

Оценивание опционов на биномиальном дереве.
Максимизация долгосрочной прибыли, связь с энтропией.
Возможно, индексы Гиттинса.

Здесь конец модуля 2 и КР-2

15. Сигма-алгебры.

Список известных величин как способ описания информации.
Идея условного ожидания как оптимального прогноза.
Сигма-алгебра как способ описания информации.
Измеримость случайной величины относительно сигма-алгебры.
Сигма-алгебра как ОДЗ для вероятности.
Борелевская сигма-алгебра.
Независимые случайные величины второе определение.

16. Условное математическое ожидание.
Условная дисперсия.
Сумма случайного количества случайных величин.

17. Сходимости случайных величин.

Сходимость по вероятности.
Закон больших чисел.
Сходимость почти наверное.
Усилинный закон больших чисел.
Сходимость по распределению.

18. Связь сходимостей.
Лемма Слуцкого.

19. Центральная предельная теорема.
Доказательство через подмену слагаемых.
Доказательство через характеристические функции.

Здесь контрольная.

20. Винеровский процесс
Условные ожидания, инверсия.

21. Байесовский подход к оцениванию параметров

Балансовое уравнение. Идея MCMC.

22. Доказательства свойств меры

23. Алгоритм построения математического ожидания в общем случае.
Лемма Фату.
Теорема о мажорируемой сходимости.
Теорема о монотонной сходимости.

24. Резерв.

Жемчужинки, которые, вероятно, не успеем:

А. Методы решения задач:
подсчёт случаев с помощью леммы Бернсайда и теоремы Пойа о перечислении
(Burnside lemma, PET = Polya Enumeration Theorem)

B. вероятностные доказательства детерминистических теорем

</div>

== Оценивание ==

Оценка за семестр-1 = 0.2 Домашние задания семестра-1 + 0.4 Контрольная-Альфа + 0.4 Экзамен-Бета.

Финальная оценка за курс = 0.5 Оценка за семестр-1 + 0.1 Домашние задания семестра-2 + 0.2 Контрольная-Гамма + 0.2 Экзамен-Дельта.

Каждая оценка (суммарные итоги за домашние задания, контрольные, экзамены) — целое число от 0 до 100.
Для перевода в 10-балльную шкалу промежуточной оценки за семестр-1 и финальной оценки используется деление на 10
с арифметическим округлением. Например, если Максим получил "оценку за семестр-1" 65 баллов, то в ведомость за первый семестр идёт 7, а далее в формуле финальной оценки за курс используется 65.

=== Домашние задания для самураев ===

Домашние задания [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/home_assignments/home_assignments.pdf одним файлом] и [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/blob/main/home_assignments/ отдельными файлами].
Домашние задания имеют равный вес.
В конце каждой лекции (за исключением ближайших к экзамену лекций)
выдается домашнее задание сроком на две недели.
Дедлайн жёсткий, однако студент имеет право просрочить три домашних задания на неделю каждое без штрафа.

Формат сдачи ДЗ: один pdf-файл (решение текстовых задач) и один ipynb-файл (решение компьютерных задач).
В pdf-файл можно поместить аккуратно написанное отсканированное решение, а можно скомпилировать pdf из теха или маркдауна.
Ещё можно вместо pdf-файла написать всё в ipynb.
Бонусов за сдачу домашки в техе нет. Пример [https://www.overleaf.com/read/qmrkwpzvmqbk шаблона].

Обратите внимание: '''время каждого дедлайна — 23:59'''.

=== Ведомость с оценками за ДЗ ===

{| class="wikitable" style="text-align:center"
|-
! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1872081500#gid=1872081500 235] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1374497930#gid=1374497930 236] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1183164252#gid=1183164252 237] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=408179311#gid=408179311 238] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1032422408#gid=1032422408 239] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1603236891#gid=1603236891 2310] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=791330236#gid=791330236 2311] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=23847300#gid=23847300 2312]
|}

[https://docs.google.com/spreadsheets/d/14hD7-SLmAA1omdkhPlt3blRHDHVGTDS8ZgvLWscvMz8/edit?usp=sharing Оценки за кр1]

=== Контрольные работы и экзамен ===

Вес каждой задачи будет написан в тексте работы.
Задачи с ненаписанным по случайности весом имеют равный вес.
Для пропущенных по уважительной причине контрольных будет выделен один день для переписывания.
При пропуске дня переписывания, в том числе по уважительным причинам, ещё одного шанса не предоставляется.

'''Контрольная работа 1''' состоится 2024-11-11 в 16:20, аудитории: R401, R305, R206, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_halloween_demo/exam_halloween_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/midterm/midterm-alpha.pdf условие с критериями и решениями].

'''Резервный день 1''' для пропустивших по уважительной причине состоится 2024-12-02 в 19:40, R405

'''Показ контрольной 1''':

* задачи 1, 2: заочно до 2024-12-08, [https://t.me/Moskchan Вероника]
* задачи 3, 4 [https://t.me/boris_demeshev Борис], очно, четверг, 2024-12-05, 18:10-21:00, G408
* задачи 5, 6 [https://t.me/XuMuK_MK Максим]: очно, четверг, 2024-12-05, 18:10-21:00, G408

'''Экзамен, модуль 2''' состоится '''''2024-12-24 в 10:00''''', аудитории R301, R304, R401, R404, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_winter_demo/exam_winter_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/december/pmi_probab_2024_december.pdf условие].

Если вы не хотите идти на экзамен, то заполните [https://forms.gle/UQzW77RrPvcdahG47 эту форму], чтобы получить ноль при неявке

'''Апелляция экзамена''':

* задачи 1, 2: заочно [https://t.me/goluba_yurieva Голуба], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/december/exam_problem_1-2.pdf критерии 1, 2];
* задачи 3, 4: очно в субботу 14:40-17:40 [https://t.me/madn_boi Никита];
* задачи 5, 6: заочно [https://t.me/levensons Илья]

* дедлайн по заочным апелляциям: суббота 23:59

[https://docs.google.com/spreadsheets/d/1mxMCr3IEDy8EPFWGkn3_dsghhPNcZICEw9C9o5ZoZvA/edit?usp=sharing Распределение по аудиториям]

'''Экзамен, модуль 3''' состоится 2025-03-26 в 14:40, аудитории R301, R404, R405, R503, демо, условие.

== Учебные материалы ==

[https://github.com/bdemeshev/probability_pro/raw/master/probability_pro.pdf PP]: Листки с задачами к курсу.

[https://github.com/bdemeshev/probability_dna/raw/master/probability_dna.pdf PDNA]: Вероятностная ДНК = вкусные задачи по теории вероятностей.

[https://disk.yandex.ru/d/LZ6d2VZVqYvbDQ Видео-летопись семинаров и лекций] и [https://hse.liferooter.dev/ конспект] от тайного благожелателя (updated 2024-10-23]

[https://disk.yandex.ru/d/IoakBXz_6yygPw Официальные видео]

[https://www.cambridgeinternational.org/Images/344616-list-of-formulae-and-statistical-tables.pdf Cambridge statistical tables]

== Дневник самурая ==

2024-09-02, лекция 1: Определение события. Определение случайной величины. Аксиомы вероятности. Определение математического ожидания для дискретного случая.
Линейность математического ожидания. Математическое ожидание как центр масс. Первое знакомоство с перестановочным тестом и p-значением.

Можно глянуть: главы 2.1 и 7 из [https://arxiv.org/pdf/1411.5279 WTSK], метод рычага [https://mathcircle.berkeley.edu/sites/default/files/archivedocs/2007_2008/lectures/0708lecturespdf/MassPointsBMC07.pdf в геометрии].

2024-09-09, лекция 2: Метод первого шага (вероятность выпадения HTH ранее HHT, ожидаемое количество шагов). Метод разложения случайной величины в сумму. Определение случайного вектора. Использование интерпретации ожидания как центра масс в геометрии. Определение теоретической медианы.

Можно глянуть: глава 2.7.2 из [https://projects.iq.harvard.edu/stat110/home BItP], три стратегии решения задачи за 10 минут [https://www.youtube.com/watch?v=xH89DaEI35w Visually Explained]

2024-09-16, лекция 3: Получение новой информации приводит к пересчёту вероятностей. Определение условной вероятности. Формула полной вероятности. Формула Байеса.
Условное математическое ожидание. Формула полного математического ожидания. Независимость пары событий. Независимость набора событий в совокупности.
Независимость величин: неформальное определение. Критерий независимости произвольных величин. Критерий независимости дискретных величин.

2024-09-23, лекция 4: Доказательство критерия независимости для дискретных случайных величин: из независимости {X=x} и {Y=y} следует независимость {X in A} и {Y in B}. Независимость величин равносильна E(f(X))E(g(Y))=E(f(X)g(Y)) для произвольных f, g. Определение биномиальной, геометрической (как числа неудач до 1го успеха) и отрицательной биномиальной случайной величины. Общая идея за производящими функциями: как из функции, производящей исходы эксперимента, с помощью производных и подстановок выудить индивидуальные вероятности, совместные вероятности, ожидания любой степени E(X^a), E(X^a Y^b). Формальное определение функции, производящей вероятности, и функцию, производящей моменты, для одной случайной величины и пары случайных величин. Метатеорема: все теоремы о дискретных величинах доказываются перестановкой слагаемых. Основные дискретные распределения: биномиальное, геометрическое, отрицательное биномиальное.

2024-09-30, лекция 5: Ещё дискретные законы распределения: гипергеометрическое. Описание закона распределения через равномерное распределение на подмножестве R^n.
Функция плотности как линейная часть вероятности попадания в отрезок. Равномерное распределение на отрезке. Смешанные случайные величины. LOTUS: нахождение ожидания любой функции от случайной величины для величин с функцией плотности и смешанных величин. Функция распределения. Квантильная функция.

2024-10-07, лекция 6: Две геометрии случайных величин и событий: E(XY) как скалярное произведение, Cov(X, Y) как скалярное произведение. Математическое ожидание — проекция в рамках геометрии, задаваемой E(XY). Определение и геометрический смысл дисперсии, стандартного отклонения, ковариации и корреляции. Неравенство Маркова. Неравенство Чебышёва. Неравенство Йенсена: интуитивный смысл.

2024-10-14, лекция 7: Доказательство неравенства Йенсена. Энтропия как минимальное ожидаемое число вопросов для отгадывания и формальное определение. Кросс-энтропия.
Доказательство того, что кросс-энтропия больше либо равна энтропии. Совместная энтропия. Условная энтропия. Формула H(X) + H(Y|X) = H(X, Y) без доказательства.
Вывод плотности экспоненциального распределения из предпосылки отсутствия памяти. Экспоненциальное распределение максимизирует энтропию при заданном ожидании и неотрицательности.

* Cristopher Olah, Visual Information Theory, https://colah.github.io/posts/2015-09-Visual-Information/

* Grand Sanderson, Solving Wordle using information theory, [https://www.youtube.com/watch?v=v68zYyaEmEA youtube].

* Artem Kirsanov, Key equation behind probability, [https://www.youtube.com/watch?v=KHVR587oW8I youtube]. У Артёма кросс-энтропия обозначена H(P, Q), а не CE(P||Q)).

* [https://exuberant-arthropod-be8.notion.site/1-02-09-5e107ea1c4054594b8f37d955db8a2b0 Конспект] аналогичной старой лекции псмо на русском.

* Keith Conrad, [https://kconrad.math.uconn.edu/blurbs/analysis/entropypost.pdf Maximal entropy] distributions.

2024-10-21, лекция 8: Ковариационная матрица и её свойства. Совместная функция плотности. Условная функция плотности. Критерий независимости в терминах функций плотности и распределения.
Связь индивидуальной и совместной функций плотности и функций распределения. Смена плотности при замене переменных: домножение на якобиан и неформально про дифференциальные формы. Формула свёртки.
Разложение совместной плотности для графической модели. Представление произвольной совместной функции распределения с помощью копулы.

* Про дифференциальные формы: [https://www.youtube.com/watch?v=PaWj0WxUxGg&list=PL22w63XsKjqzQZtDZO_9s2HEMRJnaOTX7 videos] by Michael Penn, [https://www.math.purdue.edu/~arapura/preprints/diffforms.pdf short intro] by Dony Arapura

* What is a convolution от [https://www.youtube.com/watch?v=KuXjwB4LzSA 3b1b]

* From graphical models to [https://www.youtube.com/watch?v=yBc01ZeaFxw&list=PLISXH-iEM4JlFsAp7trKCWyxeO3M70QyJ Probabilistic ML]

2024-11-11, лекция 9: Пуассоновский поток: аксиомы. Вывод пуассоновского распределения количества событий и экспоненциального времени между событиями из аксиом.
Сумма независимых пуассоновских потоков — это пуассоновский поток (половина доказательства). Вероятность того, что одна экспоненциальная величина будет меньше другой, независимой.

2024-11-18, лекция 10: Гамма-распределение как сумма нескольких экспоненциальных: вывод плотности через вероятность попадания в малый отрезок.
Обобщение плотности на случай положительного параметра $a$. Гамма-функция. Бета-распределение как отношение гамма-распределений. Бета-функция.

2024-11-25, лекция 11: Вывод нормального распределения из предпосылок Гаусса. Вывод нормального распределения из предпосылок Гершеля — Максвелла.

* Saul Stahl, The [https://www.researchgate.net/publication/255668423_The_Evolution_of_the_Normal_Distribution Evolution] of the Normal Distribution: вывод Гаусса с историей.

* Grand Sanderson, [https://www.youtube.com/watch?v=cy8r7WSuT1I Why pi] is in the normal? вывод Гершеля—Максвелла

* James Stein, [http://www-biba.inrialpes.fr/Jaynes/cc07s.pdf Normal Distribution]: глава про нормальное распределение (Гаусс, Гершель—Максвелл, Лэндон etc)

* William Herschel, [https://music.yandex.com/album/209394/track/2121214 концерт для габоя]

* William Herschel, [https://www.informationphilosopher.com/solutions/scientists/quetelet/Herschel_Quetelet_Probabilities.pdf On the theory of Probabilities]: вывод нормального распределения словами на стр. 189-191

2024-12-02, лекция 12: многомерное нормальное распределение. Функция плотности невырожденного многомерного нормального. Функция производящая моменты для многомерного нормального. Формула Иссерлиса с ненулевыми ожиданиями и доказательством. Условное распределение: вывод условного ожидания и условной дисперсии через разложение величины в сумму независимых.

* [https://stats.stackexchange.com/questions/30588/ альтернативный вывод] условного многомерного нормального распределения
* Хитрый [https://github.com/bdemeshev/lis-isserlis/raw/main/lis-isserlis.pdf лис Иссерлис]

2024-12-09, лекция 13: сходимость по распределению, центральная предельная теорема с доказательством подменой слагаемых.

* Calvin Chin [https://arxiv.org/pdf/2106.00871 CLT proof] by swapping
* [https://bdemeshev.github.io/teaching_notes/clt_by_swapping Пересказ доказательства]

=== Семинары ===

==== 473 = 235 + 238 ====

2024-09-02, 06, семинар 1: задачи 1.1, 1.6, 3.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-09, 13, семинар 2: задачи 2.1, 2.3, 12.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-16, 20, семинар 3: задачи 7.12 и 7.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-23, 27, семинар 4: как извлечь P(X=3), E(X), E(X^2Y) из функции, производящей список исходов, 28.16 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-30, -10-04, семинар 5: 9.3в, 9.4, 9.7(абвд, кроме дисперсии, аргументы масштабирования и центра масс помимо интегралов), 9.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-10-07, 11, семинар 6: вычисление Cov, Var, Corr по табличке и из функции плотности, нахождение дисперсии для отрицательного биномиального распределения по свойствам.

2024-10-14, 18, семинар 7: вычисление энтропии геометрического распределения. Изменение энтропии при линейном преобразовании для дискретной величины и величины с функцией плотности.
Кросс-энтропия из экспоненциального в равномерное. Условная энтропия для дискретной таблички. Связь энтропии величины с функцией плотности и энтропия дискретной версии этой случайной величины после "огрубления" с малым шагом 1/k.

2024-10-21, -11-01, семинар 8: 16.18, 16.23 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], свёртка двух экспоненциальных величин

2024-11-11, 15, семинар 9: задачи на пуассоновский поток из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-11-18, 22, семинар 10: задачи на бета и гамма-распределение

2024-11-25, 29, семинар 11: задачи на нормальное распределение, 18.1, 18.2, 18.3, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-02, 06, семинар 12: задачи на многомерное нормальное: 24.16аб, 24.17аб, 24.18, 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-09, 13, семинар 13: ЦПТ и нормальное распределение: 20.2, 20.4, 18.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

==== 236 ====

2024-09-06, семинар 1: в начале семинара рассмотрели основные понятия и определения для решения задач. Решили задачи 1.1, 1.6, 3.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-13, семинар 2: нашли ожидание случайной величины с геом. распределением. Решили задачи 2.1, 12.6, 12.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-09-20, семинар 3: решили задачи 7.12, 7.4(а), 7.7, 7.13(а) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-09-27, семинар 4: разобрали 7.13, почти разобрали 28.3 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Также рассмотрели один контрпример на независимость(тетраэдр Бернштейна).

2024-10-04, семинар 5: разобрались с определениями, решили 9.3(абв), 9.7(аб) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Решили задачку про три точки на отрезке и найти вероятность получить треугольник. Также вывели формулу для мат. ожидания неотрицательной величины через функцию распределения.

2024-10-14, семинар 6: обсудили дисперсию, ковариацию, коэффициент корреляции и их геометрический смысл. Решили задачу на оценку дисперсии ограниченной величины. посчитали дисперсию геометрического, биномиального. Посчитали дисперсию в задаче о письмах и конвертах.

???, семинар 7: определили энтропию, посчитали примеры для дискретных величин, для линейных преобразований. Доказали, что задача максимизации энтропии с фиксированной дисперсией достигается на нормальном распределении.

???, семинар 8: свертка двух экспоненциальных, 16.18 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

???, семинар 9: задачи на пуассоновский процесс из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

???, семинар 10: разбор кр.

???, семинар 11: разобрали задачи на нормальное распределение 18.1, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Также считали распределение суммы двух независимых нормальных.

==== 237 ====

2024-09-09, семинар 1: задачи 1.1, 2.2 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], вероятность что n ладей не бьют друг друга при случайной расстановке на шахматной доске n на n, матожидание числа треугольников в случайном графе на n вершинах через сумму индикаторов

2024-09-13, семинар 2: задачи 2.1, 2.6, 12.3, 12.6, 12.7 (без дисперсий) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-23, семинар 3: задачи 7.2, 7.13, 7.7, 7.8, плюс начали 7.15b (получили неверный ответ) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-27, семинар 4: дорешали 7.15b с небольшой демонстрацией на питоне, разобрали 28.2 для нечестной монетки плюс посчитали матожидание [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-10-04, семинар 5: задачи 9.1, 9.3абв, 9.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], философия про то почему бОльшая плотность не всегда означает бОльшую вероятность оказаться в окрестности данной точки (плотность может занимать слишком маленький объем)

2024-10-11, семинар 6: вспомнили определения Cov/Var/Corr, посчитали у пары дискретных величин по табличке вероятностей, посчитали дисперсию у биномиального, геометрического, непрерывного равномерного на отрезке.

2024-10-18, семинар 7: вычисление энтропии геометрического распределения; ограниченность энтропии снизу и сверху в дискретном случае; изменение энтропии при линейном преобразовании для дискретной величины и величины с функцией плотности; условная энтропия, KL дивергенция и кросс-энтропия, неотрицательность KL, интерпретация на пальцах с точки зрения теории информации.

2024-11-01, семинар 8: 16.18, 16.23 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], свёртка двух экспоненциальных величин

2024-11-08, семинар 9: решали пробный вариант КР

2024-11-15, семинар 10: 13.1, 13.2, 13.5, 13.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-11-22, семинар 11: разбор КР

2024-11-29, семинар 12: нормальное распределение, 18.1, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-06, семинар 13: многомерное нормальное распределение, изменение среднего и матрицы ковариаций при линейном преобразовании, 24.4а, 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-13, семинар 14: 24.4в из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], сходимости случайных величин, ЗБЧ и ЦПТ, 20.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

==== 239 ====

2024-09-03, семинар 1: задачи 1.1, 1.4, пытались 1.8 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Ещё успели посчитать вероятность N=k бросков монеты до выпадения первого орла, матожидание N. И ещё сделали то же для количества бросков до выпадения 3 орлов (не в серии).

2024-09-10, семинар 2: доказали формулу включения-исключения, решили несложную задачу, порешали 2.7 задачи типа 12.*

2024-09-17, семинар 3: Решили две прямых задачи на формулу Байеса и формулу полной вероятности (без большого количества вычислений). Решили задачу поиска вероятности неисправного кофе-автомата из 3 при условии, что бросили деньги в 1 и 2 и их зажевало. Ещё нашли вероятность, что мяч будет у игрока 3 после шага 10 (все садятся в круг и на каждом шаге бросают мяч соседу с вероятностью 0.3 и оставляют у себя с вероятностью 0.4).

2024-09-24, семинар 4: Вспомнили про метод первого шага, используя формулу полной вероятности и введя в некотором виде формулу полного матожидания, записали формулу для вероятностей нахождения в состоянии i через произведение переходной матрицы на вектор. Совсем немного начали производящие функции, но решили не считать 31ю производную многочлена.

2024-10-01, семинар 5: Исследуем дискретные случайные величины (Биномиальная, Геометрическая и разные похожие) с использованием техник вычислений моментов через производящую функцию. Задачи на распределения величин, посчитанных по набору величин. Первая большая задача про плотность.

2024-10-08, семинар 6: разминочная про плотность и функцию распределения. Считаем дисперсию, ковариацию и корреляцию по 2x2 таблице и в равномерном распределении на круге и квадрате [-1,1]х[-1,1].

2024-10-15, семинар 7: пара задач про экспоненциальное распределение, расчёты по теории информации(считаем всякое, чтобы привыкнуть).

2024-10-22, семинар 8: письменные источники не сохранились до наших дней. Согласно преданиям, оьсуждали двери и около контрольной. Говорят, ввели пуассоновский процесс.

2024-???, семинар 9: решаем задачи на пуассоновское в разных формах и обсуждаем омалые в порядковых статистиках.

2024-???, семинар 10: учимся интерпретироввть гауссовское, пользоваться таблицами для функции Лапласа, а также немного работать с многомерным гауссовским.

2024-3-12, семинар 11: Копаем во все стороны многомерное гауссовское: считаем вероятности для линейных комбинаций гауссовских, проверяем зависимость, вычисляем условные законы, матожидания и ковариационные матрицы, вспоминаем спектральное разложение и разложение Холецкого.

==== 2311 ====

2024-09-06, семинар 1: вероятностное пространство, вероятность на нем, вероятность события, случайная величина и ее распределение (индикатор события, сумма двух кубиков, число бросаний монетки до первого орла), матожидание случайной величины (индикатор, один кубик, два кубика), линейность матожидания. Задачи на линейность матожидания, в том числе ЕГЭшная задача про турнир, 1.5, 3.5 с допвопросом о матожидании числа совпадений. Разговор о получении события произвольной вероятности монеткой в контексте 1.8

2024-09-13, семинар 2: Повторили матожидание суммы на примере 12.3. Обсудили условную вероятность и формулу полной вероятности, условное матожидание, решили задачи на метод первого шага 2.1, 2.3, 2.7.

2024-09-20, семинар 3: Условная вероятность, формула полной вероятности, формула Байеса: 7.1, классическая задача про болезни и тесты, простейшие задачки на общее понимание, обсуждение двух подходов: вычисления условной вероятности по формуле и составления нового вероятностного пространства и подсчет вероятности в нем. Независимые события (события "пики" и "дама" в обычной колоде и колоде с джокерами), независимые в совокупности события, построили пример попарно независимых, но не независимых в совокупности. Обсудили биномиальное распределение. решили задачу: "в корабле к отсеков, чтобы корабль затонул, нужно поразить 2. Независимо выпускают n ракет, каждая из которых поражает случайный отсек с вероятностью p. Найти вероятность потопления корабля"

2024-09-20, семинар 4: Примеры одинаково распределенных зависимых СВ, независимые СВ. Производящая функция и ее свойства. Посчитали для биномиального производящую функцию и второй момент. Обсудили, что будет меняться в случае функции, производящей моменты. Обсудили функцию, производящую множество исходов, как из нее доставать уже известные функции, как ее искать на примере бросания монетки до выпадания HT

2024-10-11, семинар 5: Составили табличку стандартных дискретных распределений, посчитали матожидание геометрического, обсудили дисперсию и ковариацию и их свойства (в дискретном случае), досчитали дисперсии основных распределений. Обсудили вероятностное пространство в общем случае, понятие СВ в общем случае. Дали определение ФР, посчитали ФР для явно заданной СВ. Дали определение плотности.

2024-10-12, семинар 6: Обсудили свойства ФР, как считать вероятность попадания в промежуток в терминах ФР. Выразили ФР 1/X, cos X. Обсудили как выражается веротяность попадания в множество через плотность. для 1/Х выразили плотность в случае абсолютной непрерывности Х. Обсудили формулу для МО в общем виде через интеграл Стильтьеса и как вычислять МО для функции, разлагающейся в сумму абсолютно нерпрерывной и функции скачков, посчитали МО для пары таких СВ

2024-10-18, семинар 7: Обсудили геометрию, заданную скалярным произведением EXY и cov(X,Y), поиск ортогонального элемента и проекции. Посчитали энтропию и кросс-энтропию в дискретном и непрерывном случаях, посчиали совместную и условную энтропию в дискретном случае (23.2, 23.4, 23.9)

2024-11-01, семинар 9: Совместная плотность и ф.р., подсчет вероятностей, маргинальные плотности, замена переменной через якобиан, свертка, матожидание

2024-11-09, семинар 10: Условная плотность, формула условной вероятности. Задача на восстановление маргинальной плотности по условной. Разбор задач из "Летучей мыши"

2024-11-19, семинар 11: Разбор контрольной работы

2024-11-22, семинар 12: Пуассоновский поток - решали задачки из задачника

2024-11-29, семинар 13: Нормальное распределение - задачи из PP, повторили функцию, порождающую моменты, обсудили ее свойства в абсолютно непрерывном случае

2024-12-06, семинар 14: Многомерное нормальное - обсудили два определения, связь между ними, независимость элементов нормального вектора при нулевой ковариации и почему это неверно для произвольных нормальных. порешали задачи 24.9а, 24.10, 24.17

==== 2310, 2312 ====

2024-09-06, семинар 1: задача 1.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Определили вероятностное пространство в виде тройки, множество исходов рассматривали конечное и счётное. Решили 3 счётные задачи на комбинаторику про колоды карт и счетные последовательности цифр. Привели геометрическое и аналитическое решения задачи про нахождение предела последовательности вероятностей. В конце нашли математическое ожидание геометрически распределённой случайной величины.

2024-09-13, семинар 2: задача 2.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Задача на упорядоченные и неупорядоченные наборы. Задача про классическое вероятностное пространство и про пространство с неравновероятными исходами. Разобрали парадокс Монти Холла. Ввели понятия условной вероятности и независимых случайных величин. Сформулировали и обсудили идеи доказательств трёх теорем: теорема умножения вероятностей, формула полной вероятности и формула Байеса.

2024-09-20, семинар 3: Решили задачу на определение условной вероятности. Обсудили парадокс теоремы Байеса на примере задачи про редкое заболевание, а также посмотрели простую программу на Python, которая считает вероятность в зависимости от количества проведенных тестов на заболевание. Обсудили условное математическое ожидание, некоторые его свойства и рассмотрели пример с подбрасыванием кубика. В конце решили задачу на парадокс дней рождений.

2024-09-27, семинар 4: Обсудили коллизии хеш-функций и связь с атакой "дней рождений". Определили независимость или зависимость случайных величин в четырёх разных вариантах. Обсудили, что неверно утверждать, что матожидание частного независимых случайных величин равно частному матожиданий, также привели пример использования подобного факта в некоторых статьях. В конце решили задачу на поиск функции производящей исходы, а также нашли E(X), E(Y^2), E(XY) с помощью найденной функции.

2024-10-04, семинар 5: Решили две простые задачи на условную вероятность и на теорему об умножении вероятностей. Обсудили связь дерева событий с условной вероятностью и теоремой об умножении вероятностей. Нашли производящую функцию моментов для геометрически распределенной случайной величины и с помощью нее нашли матожидание. Нашли производящую функцию моментов и матожидание суммы случайного количества н.о.р случайных величин.

2024-10-11, семинар 6: Привели аналогии между дискретными и непрерывными случайными величинами. Нарисовали графики функций от случайных величин. Вспомнили определение и свойства дисперсии. Решили простую задачу на подсчет дисперсии и нашли дисперсию геометрически распределенной случайной величины. Обсудили, когда может быть матожидание и дисперсия бесконечны. Далее вспомнили неравенства Маркова и Чебышева, вывели следствия и решили 3 задачи на применение этих неравенств. Обсудили, что неравенство Маркова может давать как точную оценку, так и очень слабую. Показали, что неотрицательность случайной величины в неравенстве Маркова является существенным условием.

2024-10-11, семинар 7: Повторили понятия энтропии в битах и натах, а также понятие дифференциальной энтропии. Нашли энтропию в схеме Бернулли и энтропии геометрического и экспоненциального распределений. Доказали простую оценку сверху для энтропии случайной величины, имеющей конечный носитель мощности n.

2024-11-1, семинар 8: Разобрали демо-вариант контрольной работы "Тыква".

2024-11-8, семинар 9: Разобрали демо-вариант контрольной работы "Летучая мышь".

2024-11-15, семинар 10: Понятие случайного процесса. Определение пуассоновского процесса, его свойства. Три простые задачи на пуассоновское распределение. Задачи 13.1 и 13.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-11-22, семинар 11: Определения Бета-функции и Гамма-функции. Бета и Гамма распределения, их функции плотности и графики. Нахождение моды случайных величин, имеющих Бета и Гамма распределения. Связь пуассоновского процесса с Гамма распределением. В конце нашли производящую функцию моментов Гамма распределения.

2024-11-29, семинар 12: Задачи 18.1, 18.2 и 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-12-06, семинар 13: Нашли многомерное нормальное распределение по виду функции плотности (константа на экспоненту с квадратичным показателем). С помощью формулы Иссерлиса нашли матожидания произведений различных или одинаковых случайных величин, имеющих многомерное нормальное распределение. Нашли условную вероятность многомерного распределения. Задача 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-12-13, семинар 14: Повторили определение сходимости по распределению и центральную предельную теорему. Решили задачи 20.2 и 20.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

== Источники ==

Источники мудрости, которые я постарался не замутить :)

[https://arxiv.org/pdf/1411.5279 WTSK]: Tim Hesterberg, What Teachers Should Know About the Bootstrap: вкусное и доступное изложение бутстрэпа и перестановочных тестов.

[https://projects.iq.harvard.edu/stat110/home BItP]: Blitzstein, Hwang, Introduction to Probability: учебник, записи лекций, гарвардский курс.

Теория вероятностей 2024/25 (основной поток)

2024-12-21T22:40:44Z

Nmorozov:

= Преподаватели и учебные ассистенты =

{| class="wikitable" style="text-align:center"
|-
! Группа !! БПМИ235 !! БПМИ236 !! БПМИ237 !! БПМИ238 !! БПМИ239 !! БПМИ2310 !! БПМИ2311 !! БПМИ2312
|-
|| Лектор ||colspan="11"| [https://t.me/boris_demeshev Борис Демешев]
|-
|| Семинарист || [https://t.me/boris_demeshev Борис Демешев] || [https://t.me/levensons Илья Левин] || [https://t.me/madn_boi Никита Морозов] || [https://t.me/boris_demeshev Борис Демешев] || [https://t.me/XuMuK_MK Максим Каледин] || [https://t.me/goluba_yurieva Голуба Юрьева] || [https://t.me/Moskchan Вероника Владыкина] || [https://t.me/goluba_yurieva Голуба Юрьева]
|-
|| Ассистент || [https://t.me/nerhneiro Ира Скворцова] || [https://t.me/a_ameli_ig Амелия Алаева] || [https://t.me/htual Алина Бадахова] || [https://t.me/adelyagaraeva Аделя Гараева] || [https://t.me/mabrielka Мария Брель] || [https://t.me/zm_ann Анна Зыкова-Мызина] || [https://t.me/Yanlightv Яна Вежновец] || [https://t.me/nol_erk Кирилл Лавриненко]
|-
|| Ассистент курса ||colspan="11"| [https://t.me/Nick_Volya Никита Волянский]
|}

== Цели и задачи курса ==

侍には目標がなく道しかない [Samurai niwa mokuhyō ga naku michi shikanai]

У самурая нет цели и ничего кроме пути.

Вероятный план:
<div class="mw-collapsible mw-collapsed" style="width:1000px; overflow: hidden;">
1. Дискретное вероятностное пространство. Вероятность, математическое ожидание, теоретическая медиана.
Перестановочные тесты, p-значение для перестановочного теста.
Математическое ожидание = центр масс.

NB: здесь сходу рисуем дерево
NB: здесь нет задач на условную вероятность

!предупреждение об обозначениях случайных величин.
Российская традиция — греческие буквы, американская традиция — заглавные английские буквы.
Наш курс: любые буквы. Причина: теория вероятностей применяется в разных областях, где свои традиции.

NB: Способы вычисления вероятностей и ожиданий:
* полный перебор руками
* примерные вычисления руками
* полный перебор на компьютере
* симуляции на компьютере
* ...

2.
Методы решения задач:
* разложение величины в сумму
* метод первого шага
!идея: позиция в игре имеет цену
* just for fun: метод рычага в геометрии через ожидание
NB: рассказать здесь про комплексную случайную величину
NB: по сути здесь мы уже решаем задачи на марковские цепи не говоря страшных определений
LOTUS.

3. Условная вероятность и условное ожидание.
!идея: зануляем вероятности невозможных событий, а остальные — масштабируем.
формула полной вероятности
!идея: дерево "помнит" формулу полной вероятности
формула Байеса

Независимые события.
Независимые случайные величины.

4.
Методы решения задач:
* производящие функции многих переменных
функция как способ записать множество
HTT vs TTH
ABRACADABRA
!разложение по биномиальной формуле

?: можно здесь успеть функцию производящую моменты

5.
Биномиальное распределение.
Геометрическое и гипергеометрическое распределения.
Отрицательное биномиальное распределение.

6.
Равномерное распределение на множестве в R^n
Функция распределения.
Функция плотности и вероятностная дифференциальная форма.
!пояснение про неудачную традиционную терминологию "непрерывная случайная величина"
величина с функцией плотности, величина с непрерывной функцией распределения.

Квантили, квантильная функция.

7. Характеристики случайных величин и неравенства.
Дисперсия.
Энтропия.
Неравенство Маркова.
Неравенство Чебышёва.
Неравенство Йенсена.

Здесь конец модуля 1 и КР-1!

8. Пуассоновский поток.
Аксиомы пуассоновского потока.
Вывод экспоненциального распределения и пуассоновского распределения из аксиом.
Вывод экспоненциального распределения из предпосылки об отсутсвии памяти.

9. Нормальное распределение.
Нормальное распределение: предпосылки Хершела-Максвелла.
Нормальное распределение: аргументация Гаусса за среднее арифметическое.
Нормальное распределение: предпосылки Лэндона (до уравнения в частных производных).

10. Классические непрерывные распределения.

Гамма-распределение, бета-распределение.
Вывод нормального и экспоненциального распредений как минимизации энтропии.

11. Парные характеристики случайных величин.
Наилучшая линейная аппроксимация.
Ковариация.
Корреляция.
Кросс-энтропия.

Доказательство E(XY) = E(X) E(Y) для дискретных.
Ковариационная матрица и ожидание для случайных векторов.

12. Совместная и условная функция плостности.
Преобразования случайных величин.

13. Функция производящая моменты и характеристическая функция.
Распределение суммы случайного количества случайных величин.
Случайный выбор слагаемых.

14. Финансовые приложения

Оценивание опционов на биномиальном дереве.
Максимизация долгосрочной прибыли, связь с энтропией.
Возможно, индексы Гиттинса.

Здесь конец модуля 2 и КР-2

15. Сигма-алгебры.

Список известных величин как способ описания информации.
Идея условного ожидания как оптимального прогноза.
Сигма-алгебра как способ описания информации.
Измеримость случайной величины относительно сигма-алгебры.
Сигма-алгебра как ОДЗ для вероятности.
Борелевская сигма-алгебра.
Независимые случайные величины второе определение.

16. Условное математическое ожидание.
Условная дисперсия.
Сумма случайного количества случайных величин.

17. Сходимости случайных величин.

Сходимость по вероятности.
Закон больших чисел.
Сходимость почти наверное.
Усилинный закон больших чисел.
Сходимость по распределению.

18. Связь сходимостей.
Лемма Слуцкого.

19. Центральная предельная теорема.
Доказательство через подмену слагаемых.
Доказательство через характеристические функции.

Здесь контрольная.

20. Винеровский процесс
Условные ожидания, инверсия.

21. Байесовский подход к оцениванию параметров

Балансовое уравнение. Идея MCMC.

22. Доказательства свойств меры

23. Алгоритм построения математического ожидания в общем случае.
Лемма Фату.
Теорема о мажорируемой сходимости.
Теорема о монотонной сходимости.

24. Резерв.

Жемчужинки, которые, вероятно, не успеем:

А. Методы решения задач:
подсчёт случаев с помощью леммы Бернсайда и теоремы Пойа о перечислении
(Burnside lemma, PET = Polya Enumeration Theorem)

B. вероятностные доказательства детерминистических теорем

</div>

== Оценивание ==

Оценка за семестр-1 = 0.2 Домашние задания семестра-1 + 0.4 Контрольная-Альфа + 0.4 Экзамен-Бета.

Финальная оценка за курс = 0.5 Оценка за семестр-1 + 0.1 Домашние задания семестра-2 + 0.2 Контрольная-Гамма + 0.2 Экзамен-Дельта.

Каждая оценка (суммарные итоги за домашние задания, контрольные, экзамены) — целое число от 0 до 100.
Для перевода в 10-балльную шкалу промежуточной оценки за семестр-1 и финальной оценки используется деление на 10
с арифметическим округлением. Например, если Максим получил "оценку за семестр-1" 65 баллов, то в ведомость за первый семестр идёт 7, а далее в формуле финальной оценки за курс используется 65.

=== Домашние задания для самураев ===

Домашние задания [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/home_assignments/home_assignments.pdf одним файлом] и [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/blob/main/home_assignments/ отдельными файлами].
Домашние задания имеют равный вес.
В конце каждой лекции (за исключением ближайших к экзамену лекций)
выдается домашнее задание сроком на две недели.
Дедлайн жёсткий, однако студент имеет право просрочить три домашних задания на неделю каждое без штрафа.

Формат сдачи ДЗ: один pdf-файл (решение текстовых задач) и один ipynb-файл (решение компьютерных задач).
В pdf-файл можно поместить аккуратно написанное отсканированное решение, а можно скомпилировать pdf из теха или маркдауна.
Ещё можно вместо pdf-файла написать всё в ipynb.
Бонусов за сдачу домашки в техе нет. Пример [https://www.overleaf.com/read/qmrkwpzvmqbk шаблона].

Обратите внимание: '''время каждого дедлайна — 23:59'''.

=== Ведомость с оценками за ДЗ ===

{| class="wikitable" style="text-align:center"
|-
! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1872081500#gid=1872081500 235] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1374497930#gid=1374497930 236] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1183164252#gid=1183164252 237] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=408179311#gid=408179311 238] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1032422408#gid=1032422408 239] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1603236891#gid=1603236891 2310] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=791330236#gid=791330236 2311] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=23847300#gid=23847300 2312]
|}

[https://docs.google.com/spreadsheets/d/14hD7-SLmAA1omdkhPlt3blRHDHVGTDS8ZgvLWscvMz8/edit?usp=sharing Оценки за кр1]

=== Контрольные работы и экзамен ===

Вес каждой задачи будет написан в тексте работы.
Задачи с ненаписанным по случайности весом имеют равный вес.
Для пропущенных по уважительной причине контрольных будет выделен один день для переписывания.
При пропуске дня переписывания, в том числе по уважительным причинам, ещё одного шанса не предоставляется.

'''Контрольная работа 1''' состоится 2024-11-11 в 16:20, аудитории: R401, R305, R206, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_halloween_demo/exam_halloween_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/midterm/midterm-alpha.pdf условие с критериями и решениями].

'''Резервный день 1''' для пропустивших по уважительной причине состоится 2024-12-02 в 19:40, R405

'''Показ контрольной 1''':

* задачи 3, 4 [https://t.me/boris_demeshev Борис], 5, 6 [https://t.me/XuMuK_MK Максим]: очно, четверг, 2024-12-05, 18:10-21:00, G408
* задачи 1, 2: заочно до 2024-12-08, [https://t.me/Moskchan Вероника]

'''Экзамен, модуль 2''' состоится 2024-12-24 в 9:30, аудитории R301, R304, R401, R404, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_winter_demo/exam_winter_demo.pdf демо], условие.

'''Экзамен, модуль 3''' состоится 2025-03-26 в 14:40, аудитории R301, R404, R405, R503, демо, условие.

== Учебные материалы ==

[https://github.com/bdemeshev/probability_pro/raw/master/probability_pro.pdf PP]: Листки с задачами к курсу.

[https://github.com/bdemeshev/probability_dna/raw/master/probability_dna.pdf PDNA]: Вероятностная ДНК = вкусные задачи по теории вероятностей.

[https://disk.yandex.ru/d/LZ6d2VZVqYvbDQ Видео-летопись семинаров и лекций] и [https://hse.liferooter.dev/ конспект] от тайного благожелателя (updated 2024-10-23]

[https://disk.yandex.ru/d/IoakBXz_6yygPw Официальные видео]

[https://www.cambridgeinternational.org/Images/344616-list-of-formulae-and-statistical-tables.pdf Cambridge statistical tables]

== Дневник самурая ==

2024-09-02, лекция 1: Определение события. Определение случайной величины. Аксиомы вероятности. Определение математического ожидания для дискретного случая.
Линейность математического ожидания. Математическое ожидание как центр масс. Первое знакомоство с перестановочным тестом и p-значением.

Можно глянуть: главы 2.1 и 7 из [https://arxiv.org/pdf/1411.5279 WTSK], метод рычага [https://mathcircle.berkeley.edu/sites/default/files/archivedocs/2007_2008/lectures/0708lecturespdf/MassPointsBMC07.pdf в геометрии].

2024-09-09, лекция 2: Метод первого шага (вероятность выпадения HTH ранее HHT, ожидаемое количество шагов). Метод разложения случайной величины в сумму. Определение случайного вектора. Использование интерпретации ожидания как центра масс в геометрии. Определение теоретической медианы.

Можно глянуть: глава 2.7.2 из [https://projects.iq.harvard.edu/stat110/home BItP], три стратегии решения задачи за 10 минут [https://www.youtube.com/watch?v=xH89DaEI35w Visually Explained]

2024-09-16, лекция 3: Получение новой информации приводит к пересчёту вероятностей. Определение условной вероятности. Формула полной вероятности. Формула Байеса.
Условное математическое ожидание. Формула полного математического ожидания. Независимость пары событий. Независимость набора событий в совокупности.
Независимость величин: неформальное определение. Критерий независимости произвольных величин. Критерий независимости дискретных величин.

2024-09-23, лекция 4: Доказательство критерия независимости для дискретных случайных величин: из независимости {X=x} и {Y=y} следует независимость {X in A} и {Y in B}. Независимость величин равносильна E(f(X))E(g(Y))=E(f(X)g(Y)) для произвольных f, g. Определение биномиальной, геометрической (как числа неудач до 1го успеха) и отрицательной биномиальной случайной величины. Общая идея за производящими функциями: как из функции, производящей исходы эксперимента, с помощью производных и подстановок выудить индивидуальные вероятности, совместные вероятности, ожидания любой степени E(X^a), E(X^a Y^b). Формальное определение функции, производящей вероятности, и функцию, производящей моменты, для одной случайной величины и пары случайных величин. Метатеорема: все теоремы о дискретных величинах доказываются перестановкой слагаемых. Основные дискретные распределения: биномиальное, геометрическое, отрицательное биномиальное.

2024-09-30, лекция 5: Ещё дискретные законы распределения: гипергеометрическое. Описание закона распределения через равномерное распределение на подмножестве R^n.
Функция плотности как линейная часть вероятности попадания в отрезок. Равномерное распределение на отрезке. Смешанные случайные величины. LOTUS: нахождение ожидания любой функции от случайной величины для величин с функцией плотности и смешанных величин. Функция распределения. Квантильная функция.

2024-10-07, лекция 6: Две геометрии случайных величин и событий: E(XY) как скалярное произведение, Cov(X, Y) как скалярное произведение. Математическое ожидание — проекция в рамках геометрии, задаваемой E(XY). Определение и геометрический смысл дисперсии, стандартного отклонения, ковариации и корреляции. Неравенство Маркова. Неравенство Чебышёва. Неравенство Йенсена: интуитивный смысл.

2024-10-14, лекция 7: Доказательство неравенства Йенсена. Энтропия как минимальное ожидаемое число вопросов для отгадывания и формальное определение. Кросс-энтропия.
Доказательство того, что кросс-энтропия больше либо равна энтропии. Совместная энтропия. Условная энтропия. Формула H(X) + H(Y|X) = H(X, Y) без доказательства.
Вывод плотности экспоненциального распределения из предпосылки отсутствия памяти. Экспоненциальное распределение максимизирует энтропию при заданном ожидании и неотрицательности.

* Cristopher Olah, Visual Information Theory, https://colah.github.io/posts/2015-09-Visual-Information/

* Grand Sanderson, Solving Wordle using information theory, [https://www.youtube.com/watch?v=v68zYyaEmEA youtube].

* Artem Kirsanov, Key equation behind probability, [https://www.youtube.com/watch?v=KHVR587oW8I youtube]. У Артёма кросс-энтропия обозначена H(P, Q), а не CE(P||Q)).

* [https://exuberant-arthropod-be8.notion.site/1-02-09-5e107ea1c4054594b8f37d955db8a2b0 Конспект] аналогичной старой лекции псмо на русском.

* Keith Conrad, [https://kconrad.math.uconn.edu/blurbs/analysis/entropypost.pdf Maximal entropy] distributions.

2024-10-21, лекция 8: Ковариационная матрица и её свойства. Совместная функция плотности. Условная функция плотности. Критерий независимости в терминах функций плотности и распределения.
Связь индивидуальной и совместной функций плотности и функций распределения. Смена плотности при замене переменных: домножение на якобиан и неформально про дифференциальные формы. Формула свёртки.
Разложение совместной плотности для графической модели. Представление произвольной совместной функции распределения с помощью копулы.

* Про дифференциальные формы: [https://www.youtube.com/watch?v=PaWj0WxUxGg&list=PL22w63XsKjqzQZtDZO_9s2HEMRJnaOTX7 videos] by Michael Penn, [https://www.math.purdue.edu/~arapura/preprints/diffforms.pdf short intro] by Dony Arapura

* What is a convolution от [https://www.youtube.com/watch?v=KuXjwB4LzSA 3b1b]

* From graphical models to [https://www.youtube.com/watch?v=yBc01ZeaFxw&list=PLISXH-iEM4JlFsAp7trKCWyxeO3M70QyJ Probabilistic ML]

2024-11-11, лекция 9: Пуассоновский поток: аксиомы. Вывод пуассоновского распределения количества событий и экспоненциального времени между событиями из аксиом.
Сумма независимых пуассоновских потоков — это пуассоновский поток (половина доказательства). Вероятность того, что одна экспоненциальная величина будет меньше другой, независимой.

2024-11-18, лекция 10: Гамма-распределение как сумма нескольких экспоненциальных: вывод плотности через вероятность попадания в малый отрезок.
Обобщение плотности на случай положительного параметра $a$. Гамма-функция. Бета-распределение как отношение гамма-распределений. Бета-функция.

2024-11-25, лекция 11: Вывод нормального распределения из предпосылок Гаусса. Вывод нормального распределения из предпосылок Гершеля — Максвелла.

* Saul Stahl, The [https://www.researchgate.net/publication/255668423_The_Evolution_of_the_Normal_Distribution Evolution] of the Normal Distribution: вывод Гаусса с историей.

* Grand Sanderson, [https://www.youtube.com/watch?v=cy8r7WSuT1I Why pi] is in the normal? вывод Гершеля—Максвелла

* James Stein, [http://www-biba.inrialpes.fr/Jaynes/cc07s.pdf Normal Distribution]: глава про нормальное распределение (Гаусс, Гершель—Максвелл, Лэндон etc)

* William Herschel, [https://music.yandex.com/album/209394/track/2121214 концерт для габоя]

* William Herschel, [https://www.informationphilosopher.com/solutions/scientists/quetelet/Herschel_Quetelet_Probabilities.pdf On the theory of Probabilities]: вывод нормального распределения словами на стр. 189-191

2024-12-02, лекция 12: многомерное нормальное распределение. Функция плотности невырожденного многомерного нормального. Функция производящая моменты для многомерного нормального. Формула Иссерлиса с ненулевыми ожиданиями и доказательством. Условное распределение: вывод условного ожидания и условной дисперсии через разложение величины в сумму независимых.

* [https://stats.stackexchange.com/questions/30588/ альтернативный вывод] условного многомерного нормального распределения
* Хитрый [https://github.com/bdemeshev/lis-isserlis/raw/main/lis-isserlis.pdf лис Иссерлис]

2024-12-09, лекция 13: сходимость по распределению, центральная предельная теорема с доказательством подменой слагаемых.

* Calvin Chin [https://arxiv.org/pdf/2106.00871 CLT proof] by swapping
* [https://bdemeshev.github.io/teaching_notes/clt_by_swapping Пересказ доказательства]

=== Семинары ===

==== 473 = 235 + 238 ====

2024-09-02, 06, семинар 1: задачи 1.1, 1.6, 3.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-09, 13, семинар 2: задачи 2.1, 2.3, 12.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-16, 20, семинар 3: задачи 7.12 и 7.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-23, 27, семинар 4: как извлечь P(X=3), E(X), E(X^2Y) из функции, производящей список исходов, 28.16 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-30, -10-04, семинар 5: 9.3в, 9.4, 9.7(абвд, кроме дисперсии, аргументы масштабирования и центра масс помимо интегралов), 9.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-10-07, 11, семинар 6: вычисление Cov, Var, Corr по табличке и из функции плотности, нахождение дисперсии для отрицательного биномиального распределения по свойствам.

2024-10-14, 18, семинар 7: вычисление энтропии геометрического распределения. Изменение энтропии при линейном преобразовании для дискретной величины и величины с функцией плотности.
Кросс-энтропия из экспоненциального в равномерное. Условная энтропия для дискретной таблички. Связь энтропии величины с функцией плотности и энтропия дискретной версии этой случайной величины после "огрубления" с малым шагом 1/k.

2024-10-21, -11-01, семинар 8: 16.18, 16.23 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], свёртка двух экспоненциальных величин

2024-11-11, 15, семинар 9: задачи на пуассоновский поток из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-11-18, 22, семинар 10: задачи на бета и гамма-распределение

2024-11-25, 29, семинар 11: задачи на нормальное распределение, 18.1, 18.2, 18.3, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-02, 06, семинар 12: задачи на многомерное нормальное: 24.16аб, 24.17аб, 24.18, 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-09, 13, семинар 13: ЦПТ и нормальное распределение: 20.2, 20.4, 18.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

==== 236 ====

2024-09-06, семинар 1: в начале семинара рассмотрели основные понятия и определения для решения задач. Решили задачи 1.1, 1.6, 3.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-13, семинар 2: нашли ожидание случайной величины с геом. распределением. Решили задачи 2.1, 12.6, 12.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-09-20, семинар 3: решили задачи 7.12, 7.4(а), 7.7, 7.13(а) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-09-27, семинар 4: разобрали 7.13, почти разобрали 28.3 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Также рассмотрели один контрпример на независимость(тетраэдр Бернштейна).

2024-10-04, семинар 5: разобрались с определениями, решили 9.3(абв), 9.7(аб) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Решили задачку про три точки на отрезке и найти вероятность получить треугольник. Также вывели формулу для мат. ожидания неотрицательной величины через функцию распределения.

2024-10-14, семинар 6: обсудили дисперсию, ковариацию, коэффициент корреляции и их геометрический смысл. Решили задачу на оценку дисперсии ограниченной величины. посчитали дисперсию геометрического, биномиального. Посчитали дисперсию в задаче о письмах и конвертах.

???, семинар 7: определили энтропию, посчитали примеры для дискретных величин, для линейных преобразований. Доказали, что задача максимизации энтропии с фиксированной дисперсией достигается на нормальном распределении.

???, семинар 8: свертка двух экспоненциальных, 16.18 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

???, семинар 9: задачи на пуассоновский процесс из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

???, семинар 10: разбор кр.

???, семинар 11: разобрали задачи на нормальное распределение 18.1, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Также считали распределение суммы двух независимых нормальных.

==== 237 ====

2024-09-09, семинар 1: задачи 1.1, 2.2 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], вероятность что n ладей не бьют друг друга при случайной расстановке на шахматной доске n на n, матожидание числа треугольников в случайном графе на n вершинах через сумму индикаторов

2024-09-13, семинар 2: задачи 2.1, 2.6, 12.3, 12.6, 12.7 (без дисперсий) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-23, семинар 3: задачи 7.2, 7.13, 7.7, 7.8, плюс начали 7.15b (получили неверный ответ) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-27, семинар 4: дорешали 7.15b с небольшой демонстрацией на питоне, разобрали 28.2 для нечестной монетки плюс посчитали матожидание [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-10-04, семинар 5: задачи 9.1, 9.3абв, 9.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], философия про то почему бОльшая плотность не всегда означает бОльшую вероятность оказаться в окрестности данной точки (плотность может занимать слишком маленький объем)

2024-10-11, семинар 6: вспомнили определения Cov/Var/Corr, посчитали у пары дискретных величин по табличке вероятностей, посчитали дисперсию у биномиального, геометрического, непрерывного равномерного на отрезке.

2024-10-18, семинар 7: вычисление энтропии геометрического распределения; ограниченность энтропии снизу и сверху в дискретном случае; изменение энтропии при линейном преобразовании для дискретной величины и величины с функцией плотности; условная энтропия, KL дивергенция и кросс-энтропия, неотрицательность KL, интерпретация на пальцах с точки зрения теории информации.

2024-11-01, семинар 8: 16.18, 16.23 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], свёртка двух экспоненциальных величин

2024-11-08, семинар 9: решали пробный вариант КР

2024-11-15, семинар 10: 13.1, 13.2, 13.5, 13.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-11-22, семинар 11: разбор КР

2024-11-29, семинар 12: нормальное распределение, 18.1, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-06, семинар 13: многомерное нормальное распределение, изменение среднего и матрицы ковариаций при линейном преобразовании, 24.4а, 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-13, семинар 14: 24.4в из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], сходимости случайных величин, ЗБЧ и ЦПТ, 20.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

==== 239 ====

2024-09-03, семинар 1: задачи 1.1, 1.4, пытались 1.8 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Ещё успели посчитать вероятность N=k бросков монеты до выпадения первого орла, матожидание N. И ещё сделали то же для количества бросков до выпадения 3 орлов (не в серии).

2024-09-10, семинар 2: доказали формулу включения-исключения, решили несложную задачу, порешали 2.7 задачи типа 12.*

2024-09-17, семинар 3: Решили две прямых задачи на формулу Байеса и формулу полной вероятности (без большого количества вычислений). Решили задачу поиска вероятности неисправного кофе-автомата из 3 при условии, что бросили деньги в 1 и 2 и их зажевало. Ещё нашли вероятность, что мяч будет у игрока 3 после шага 10 (все садятся в круг и на каждом шаге бросают мяч соседу с вероятностью 0.3 и оставляют у себя с вероятностью 0.4).

2024-09-24, семинар 4: Вспомнили про метод первого шага, используя формулу полной вероятности и введя в некотором виде формулу полного матожидания, записали формулу для вероятностей нахождения в состоянии i через произведение переходной матрицы на вектор. Совсем немного начали производящие функции, но решили не считать 31ю производную многочлена.

2024-10-01, семинар 5: Исследуем дискретные случайные величины (Биномиальная, Геометрическая и разные похожие) с использованием техник вычислений моментов через производящую функцию. Задачи на распределения величин, посчитанных по набору величин. Первая большая задача про плотность.

2024-10-08, семинар 6: разминочная про плотность и функцию распределения. Считаем дисперсию, ковариацию и корреляцию по 2x2 таблице и в равномерном распределении на круге и квадрате [-1,1]х[-1,1].

2024-10-15, семинар 7: пара задач про экспоненциальное распределение, расчёты по теории информации(считаем всякое, чтобы привыкнуть).

2024-10-22, семинар 8: письменные источники не сохранились до наших дней. Согласно преданиям, оьсуждали двери и около контрольной. Говорят, ввели пуассоновский процесс.

2024-???, семинар 9: решаем задачи на пуассоновское в разных формах и обсуждаем омалые в порядковых статистиках.

2024-???, семинар 10: учимся интерпретироввть гауссовское, пользоваться таблицами для функции Лапласа, а также немного работать с многомерным гауссовским.

2024-3-12, семинар 11: Копаем во все стороны многомерное гауссовское: считаем вероятности для линейных комбинаций гауссовских, проверяем зависимость, вычисляем условные законы, матожидания и ковариационные матрицы, вспоминаем спектральное разложение и разложение Холецкого.

==== 2311 ====

2024-09-06, семинар 1: вероятностное пространство, вероятность на нем, вероятность события, случайная величина и ее распределение (индикатор события, сумма двух кубиков, число бросаний монетки до первого орла), матожидание случайной величины (индикатор, один кубик, два кубика), линейность матожидания. Задачи на линейность матожидания, в том числе ЕГЭшная задача про турнир, 1.5, 3.5 с допвопросом о матожидании числа совпадений. Разговор о получении события произвольной вероятности монеткой в контексте 1.8

2024-09-13, семинар 2: Повторили матожидание суммы на примере 12.3. Обсудили условную вероятность и формулу полной вероятности, условное матожидание, решили задачи на метод первого шага 2.1, 2.3, 2.7.

2024-09-20, семинар 3: Условная вероятность, формула полной вероятности, формула Байеса: 7.1, классическая задача про болезни и тесты, простейшие задачки на общее понимание, обсуждение двух подходов: вычисления условной вероятности по формуле и составления нового вероятностного пространства и подсчет вероятности в нем. Независимые события (события "пики" и "дама" в обычной колоде и колоде с джокерами), независимые в совокупности события, построили пример попарно независимых, но не независимых в совокупности. Обсудили биномиальное распределение. решили задачу: "в корабле к отсеков, чтобы корабль затонул, нужно поразить 2. Независимо выпускают n ракет, каждая из которых поражает случайный отсек с вероятностью p. Найти вероятность потопления корабля"

2024-09-20, семинар 4: Примеры одинаково распределенных зависимых СВ, независимые СВ. Производящая функция и ее свойства. Посчитали для биномиального производящую функцию и второй момент. Обсудили, что будет меняться в случае функции, производящей моменты. Обсудили функцию, производящую множество исходов, как из нее доставать уже известные функции, как ее искать на примере бросания монетки до выпадания HT

2024-10-11, семинар 5: Составили табличку стандартных дискретных распределений, посчитали матожидание геометрического, обсудили дисперсию и ковариацию и их свойства (в дискретном случае), досчитали дисперсии основных распределений. Обсудили вероятностное пространство в общем случае, понятие СВ в общем случае. Дали определение ФР, посчитали ФР для явно заданной СВ. Дали определение плотности.

2024-10-12, семинар 6: Обсудили свойства ФР, как считать вероятность попадания в промежуток в терминах ФР. Выразили ФР 1/X, cos X. Обсудили как выражается веротяность попадания в множество через плотность. для 1/Х выразили плотность в случае абсолютной непрерывности Х. Обсудили формулу для МО в общем виде через интеграл Стильтьеса и как вычислять МО для функции, разлагающейся в сумму абсолютно нерпрерывной и функции скачков, посчитали МО для пары таких СВ

2024-10-18, семинар 7: Обсудили геометрию, заданную скалярным произведением EXY и cov(X,Y), поиск ортогонального элемента и проекции. Посчитали энтропию и кросс-энтропию в дискретном и непрерывном случаях, посчиали совместную и условную энтропию в дискретном случае (23.2, 23.4, 23.9)

2024-11-01, семинар 9: Совместная плотность и ф.р., подсчет вероятностей, маргинальные плотности, замена переменной через якобиан, свертка, матожидание

2024-11-09, семинар 10: Условная плотность, формула условной вероятности. Задача на восстановление маргинальной плотности по условной. Разбор задач из "Летучей мыши"

2024-11-19, семинар 11: Разбор контрольной работы

2024-11-22, семинар 12: Пуассоновский поток - решали задачки из задачника

2024-11-29, семинар 13: Нормальное распределение - задачи из PP, повторили функцию, порождающую моменты, обсудили ее свойства в абсолютно непрерывном случае

2024-12-06, семинар 14: Многомерное нормальное - обсудили два определения, связь между ними, независимость элементов нормального вектора при нулевой ковариации и почему это неверно для произвольных нормальных. порешали задачи 24.9а, 24.10, 24.17

==== 2310, 2312 ====

2024-09-06, семинар 1: задача 1.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Определили вероятностное пространство в виде тройки, множество исходов рассматривали конечное и счётное. Решили 3 счётные задачи на комбинаторику про колоды карт и счетные последовательности цифр. Привели геометрическое и аналитическое решения задачи про нахождение предела последовательности вероятностей. В конце нашли математическое ожидание геометрически распределённой случайной величины.

2024-09-13, семинар 2: задача 2.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Задача на упорядоченные и неупорядоченные наборы. Задача про классическое вероятностное пространство и про пространство с неравновероятными исходами. Разобрали парадокс Монти Холла. Ввели понятия условной вероятности и независимых случайных величин. Сформулировали и обсудили идеи доказательств трёх теорем: теорема умножения вероятностей, формула полной вероятности и формула Байеса.

2024-09-20, семинар 3: Решили задачу на определение условной вероятности. Обсудили парадокс теоремы Байеса на примере задачи про редкое заболевание, а также посмотрели простую программу на Python, которая считает вероятность в зависимости от количества проведенных тестов на заболевание. Обсудили условное математическое ожидание, некоторые его свойства и рассмотрели пример с подбрасыванием кубика. В конце решили задачу на парадокс дней рождений.

2024-09-27, семинар 4: Обсудили коллизии хеш-функций и связь с атакой "дней рождений". Определили независимость или зависимость случайных величин в четырёх разных вариантах. Обсудили, что неверно утверждать, что матожидание частного независимых случайных величин равно частному матожиданий, также привели пример использования подобного факта в некоторых статьях. В конце решили задачу на поиск функции производящей исходы, а также нашли E(X), E(Y^2), E(XY) с помощью найденной функции.

2024-10-04, семинар 5: Решили две простые задачи на условную вероятность и на теорему об умножении вероятностей. Обсудили связь дерева событий с условной вероятностью и теоремой об умножении вероятностей. Нашли производящую функцию моментов для геометрически распределенной случайной величины и с помощью нее нашли матожидание. Нашли производящую функцию моментов и матожидание суммы случайного количества н.о.р случайных величин.

2024-10-11, семинар 6: Привели аналогии между дискретными и непрерывными случайными величинами. Нарисовали графики функций от случайных величин. Вспомнили определение и свойства дисперсии. Решили простую задачу на подсчет дисперсии и нашли дисперсию геометрически распределенной случайной величины. Обсудили, когда может быть матожидание и дисперсия бесконечны. Далее вспомнили неравенства Маркова и Чебышева, вывели следствия и решили 3 задачи на применение этих неравенств. Обсудили, что неравенство Маркова может давать как точную оценку, так и очень слабую. Показали, что неотрицательность случайной величины в неравенстве Маркова является существенным условием.

2024-10-11, семинар 7: Повторили понятия энтропии в битах и натах, а также понятие дифференциальной энтропии. Нашли энтропию в схеме Бернулли и энтропии геометрического и экспоненциального распределений. Доказали простую оценку сверху для энтропии случайной величины, имеющей конечный носитель мощности n.

2024-11-1, семинар 8: Разобрали демо-вариант контрольной работы "Тыква".

2024-11-8, семинар 9: Разобрали демо-вариант контрольной работы "Летучая мышь".

2024-11-15, семинар 10: Понятие случайного процесса. Определение пуассоновского процесса, его свойства. Три простые задачи на пуассоновское распределение. Задачи 13.1 и 13.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-11-22, семинар 11: Определения Бета-функции и Гамма-функции. Бета и Гамма распределения, их функции плотности и графики. Нахождение моды случайных величин, имеющих Бета и Гамма распределения. Связь пуассоновского процесса с Гамма распределением. В конце нашли производящую функцию моментов Гамма распределения.

2024-11-29, семинар 12: Задачи 18.1, 18.2 и 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-12-06, семинар 13: Нашли многомерное нормальное распределение по виду функции плотности (константа на экспоненту с квадратичным показателем). С помощью формулы Иссерлиса нашли матожидания произведений различных или одинаковых случайных величин, имеющих многомерное нормальное распределение. Нашли условную вероятность многомерного распределения. Задача 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-12-13, семинар 14: Повторили определение сходимости по распределению и центральную предельную теорему. Решили задачи 20.2 и 20.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

== Источники ==

Источники мудрости, которые я постарался не замутить :)

[https://arxiv.org/pdf/1411.5279 WTSK]: Tim Hesterberg, What Teachers Should Know About the Bootstrap: вкусное и доступное изложение бутстрэпа и перестановочных тестов.

[https://projects.iq.harvard.edu/stat110/home BItP]: Blitzstein, Hwang, Introduction to Probability: учебник, записи лекций, гарвардский курс.

Теория вероятностей 2024/25 (основной поток)

2024-12-06T23:10:40Z

Nmorozov:

= Преподаватели и учебные ассистенты =

{| class="wikitable" style="text-align:center"
|-
! Группа !! БПМИ235 !! БПМИ236 !! БПМИ237 !! БПМИ238 !! БПМИ239 !! БПМИ2310 !! БПМИ2311 !! БПМИ2312
|-
|| Лектор ||colspan="11"| [https://t.me/boris_demeshev Борис Демешев]
|-
|| Семинарист || [https://t.me/boris_demeshev Борис Демешев] || [https://t.me/levensons Илья Левин] || [https://t.me/madn_boi Никита Морозов] || [https://t.me/boris_demeshev Борис Демешев] || [https://t.me/XuMuK_MK Максим Каледин] || [https://t.me/goluba_yurieva Голуба Юрьева] || [https://t.me/Moskchan Вероника Владыкина] || [https://t.me/goluba_yurieva Голуба Юрьева]
|-
|| Ассистент || [https://t.me/nerhneiro Ира Скворцова] || [https://t.me/a_ameli_ig Амелия Алаева] || [https://t.me/htual Алина Бадахова] || [https://t.me/adelyagaraeva Аделя Гараева] || [https://t.me/mabrielka Мария Брель] || [https://t.me/zm_ann Анна Зыкова-Мызина] || [https://t.me/Yanlightv Яна Вежновец] || [https://t.me/nol_erk Кирилл Лавриненко]
|-
|| Ассистент курса ||colspan="11"| [https://t.me/Nick_Volya Никита Волянский]
|}

== Цели и задачи курса ==

侍には目標がなく道しかない [Samurai niwa mokuhyō ga naku michi shikanai]

У самурая нет цели и ничего кроме пути.

Вероятный план:
<div class="mw-collapsible mw-collapsed" style="width:1000px; overflow: hidden;">
1. Дискретное вероятностное пространство. Вероятность, математическое ожидание, теоретическая медиана.
Перестановочные тесты, p-значение для перестановочного теста.
Математическое ожидание = центр масс.

NB: здесь сходу рисуем дерево
NB: здесь нет задач на условную вероятность

!предупреждение об обозначениях случайных величин.
Российская традиция — греческие буквы, американская традиция — заглавные английские буквы.
Наш курс: любые буквы. Причина: теория вероятностей применяется в разных областях, где свои традиции.

NB: Способы вычисления вероятностей и ожиданий:
* полный перебор руками
* примерные вычисления руками
* полный перебор на компьютере
* симуляции на компьютере
* ...

2.
Методы решения задач:
* разложение величины в сумму
* метод первого шага
!идея: позиция в игре имеет цену
* just for fun: метод рычага в геометрии через ожидание
NB: рассказать здесь про комплексную случайную величину
NB: по сути здесь мы уже решаем задачи на марковские цепи не говоря страшных определений
LOTUS.

3. Условная вероятность и условное ожидание.
!идея: зануляем вероятности невозможных событий, а остальные — масштабируем.
формула полной вероятности
!идея: дерево "помнит" формулу полной вероятности
формула Байеса

Независимые события.
Независимые случайные величины.

4.
Методы решения задач:
* производящие функции многих переменных
функция как способ записать множество
HTT vs TTH
ABRACADABRA
!разложение по биномиальной формуле

?: можно здесь успеть функцию производящую моменты

5.
Биномиальное распределение.
Геометрическое и гипергеометрическое распределения.
Отрицательное биномиальное распределение.

6.
Равномерное распределение на множестве в R^n
Функция распределения.
Функция плотности и вероятностная дифференциальная форма.
!пояснение про неудачную традиционную терминологию "непрерывная случайная величина"
величина с функцией плотности, величина с непрерывной функцией распределения.

Квантили, квантильная функция.

7. Характеристики случайных величин и неравенства.
Дисперсия.
Энтропия.
Неравенство Маркова.
Неравенство Чебышёва.
Неравенство Йенсена.

Здесь конец модуля 1 и КР-1!

8. Пуассоновский поток.
Аксиомы пуассоновского потока.
Вывод экспоненциального распределения и пуассоновского распределения из аксиом.
Вывод экспоненциального распределения из предпосылки об отсутсвии памяти.

9. Нормальное распределение.
Нормальное распределение: предпосылки Хершела-Максвелла.
Нормальное распределение: аргументация Гаусса за среднее арифметическое.
Нормальное распределение: предпосылки Лэндона (до уравнения в частных производных).

10. Классические непрерывные распределения.

Гамма-распределение, бета-распределение.
Вывод нормального и экспоненциального распредений как минимизации энтропии.

11. Парные характеристики случайных величин.
Наилучшая линейная аппроксимация.
Ковариация.
Корреляция.
Кросс-энтропия.

Доказательство E(XY) = E(X) E(Y) для дискретных.
Ковариационная матрица и ожидание для случайных векторов.

12. Совместная и условная функция плостности.
Преобразования случайных величин.

13. Функция производящая моменты и характеристическая функция.
Распределение суммы случайного количества случайных величин.
Случайный выбор слагаемых.

14. Финансовые приложения

Оценивание опционов на биномиальном дереве.
Максимизация долгосрочной прибыли, связь с энтропией.
Возможно, индексы Гиттинса.

Здесь конец модуля 2 и КР-2

15. Сигма-алгебры.

Список известных величин как способ описания информации.
Идея условного ожидания как оптимального прогноза.
Сигма-алгебра как способ описания информации.
Измеримость случайной величины относительно сигма-алгебры.
Сигма-алгебра как ОДЗ для вероятности.
Борелевская сигма-алгебра.
Независимые случайные величины второе определение.

16. Условное математическое ожидание.
Условная дисперсия.
Сумма случайного количества случайных величин.

17. Сходимости случайных величин.

Сходимость по вероятности.
Закон больших чисел.
Сходимость почти наверное.
Усилинный закон больших чисел.
Сходимость по распределению.

18. Связь сходимостей.
Лемма Слуцкого.

19. Центральная предельная теорема.
Доказательство через подмену слагаемых.
Доказательство через характеристические функции.

Здесь контрольная.

20. Винеровский процесс
Условные ожидания, инверсия.

21. Байесовский подход к оцениванию параметров

Балансовое уравнение. Идея MCMC.

22. Доказательства свойств меры

23. Алгоритм построения математического ожидания в общем случае.
Лемма Фату.
Теорема о мажорируемой сходимости.
Теорема о монотонной сходимости.

24. Резерв.

Жемчужинки, которые, вероятно, не успеем:

А. Методы решения задач:
подсчёт случаев с помощью леммы Бернсайда и теоремы Пойа о перечислении
(Burnside lemma, PET = Polya Enumeration Theorem)

B. вероятностные доказательства детерминистических теорем

</div>

== Оценивание ==

Оценка за семестр-1 = 0.2 Домашние задания семестра-1 + 0.4 Контрольная-Альфа + 0.4 Экзамен-Бета.

Финальная оценка за курс = 0.5 Оценка за семестр-1 + 0.1 Домашние задания семестра-2 + 0.2 Контрольная-Гамма + 0.2 Экзамен-Дельта.

Каждая оценка (суммарные итоги за домашние задания, контрольные, экзамены) — целое число от 0 до 100.
Для перевода в 10-балльную шкалу промежуточной оценки за семестр-1 и финальной оценки используется деление на 10
с арифметическим округлением. Например, если Максим получил "оценку за семестр-1" 65 баллов, то в ведомость за первый семестр идёт 7, а далее в формуле финальной оценки за курс используется 65.

=== Домашние задания для самураев ===

Домашние задания [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/home_assignments/home_assignments.pdf одним файлом] и [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/blob/main/home_assignments/ отдельными файлами].
Домашние задания имеют равный вес.
В конце каждой лекции (за исключением ближайших к экзамену лекций)
выдается домашнее задание сроком на две недели.
Дедлайн жёсткий, однако студент имеет право просрочить три домашних задания на неделю каждое без штрафа.

Формат сдачи ДЗ: один pdf-файл (решение текстовых задач) и один ipynb-файл (решение компьютерных задач).
В pdf-файл можно поместить аккуратно написанное отсканированное решение, а можно скомпилировать pdf из теха или маркдауна.
Ещё можно вместо pdf-файла написать всё в ipynb.
Бонусов за сдачу домашки в техе нет. Пример [https://www.overleaf.com/read/qmrkwpzvmqbk шаблона].

Обратите внимание: '''время каждого дедлайна — 23:59'''.

=== Ведомость с оценками за ДЗ ===

{| class="wikitable" style="text-align:center"
|-
! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1872081500#gid=1872081500 235] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1374497930#gid=1374497930 236] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1183164252#gid=1183164252 237] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=408179311#gid=408179311 238] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1032422408#gid=1032422408 239] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1603236891#gid=1603236891 2310] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=791330236#gid=791330236 2311] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=23847300#gid=23847300 2312]
|}

[https://docs.google.com/spreadsheets/d/14hD7-SLmAA1omdkhPlt3blRHDHVGTDS8ZgvLWscvMz8/edit?usp=sharing Оценки за кр1]

=== Контрольные работы и экзамен ===

Вес каждой задачи будет написан в тексте работы.
Задачи с ненаписанным по случайности весом имеют равный вес.
Для пропущенных по уважительной причине контрольных будет выделен один день для переписывания.
При пропуске дня переписывания, в том числе по уважительным причинам, ещё одного шанса не предоставляется.

'''Контрольная работа 1''' состоится 2024-11-11 в 16:20, аудитории: R401, R305, R206, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_halloween_demo/exam_halloween_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/midterm/midterm-alpha.pdf условие с критериями и решениями].

'''Резервный день 1''' для пропустивших по уважительной причине состоится 2024-12-02 в 19:40, R405

'''Показ контрольной 1''':

* задачи 3, 4 [https://t.me/boris_demeshev Борис], 5, 6 [https://t.me/XuMuK_MK Максим]: очно, четверг, 2024-12-05, 18:10-21:00, G408
* задачи 1, 2: заочно до 2024-12-08, [https://t.me/Moskchan Вероника]

'''Экзамен, модуль 2''' состоится 2024-12-24 в 9:30, аудитории R301, R304, R401, R404, демо, условие.

'''Экзамен, модуль 3''' состоится 2025-03-26 в 14:40, аудитории R301, R404, R405, R503, демо, условие.

== Учебные материалы ==

[https://github.com/bdemeshev/probability_pro/raw/master/probability_pro.pdf PP]: Листки с задачами к курсу.

[https://github.com/bdemeshev/probability_dna/raw/master/probability_dna.pdf PDNA]: Вероятностная ДНК = вкусные задачи по теории вероятностей.

[https://disk.yandex.ru/d/LZ6d2VZVqYvbDQ Видео-летопись семинаров и лекций] и [https://hse.liferooter.dev/ конспект] от тайного благожелателя (updated 2024-10-23]

[https://disk.yandex.ru/d/IoakBXz_6yygPw Официальные видео]

[https://www.cambridgeinternational.org/Images/344616-list-of-formulae-and-statistical-tables.pdf Cambridge statistical tables]

== Дневник самурая ==

2024-09-02, лекция 1: Определение события. Определение случайной величины. Аксиомы вероятности. Определение математического ожидания для дискретного случая.
Линейность математического ожидания. Математическое ожидание как центр масс. Первое знакомоство с перестановочным тестом и p-значением.

Можно глянуть: главы 2.1 и 7 из [https://arxiv.org/pdf/1411.5279 WTSK], метод рычага [https://mathcircle.berkeley.edu/sites/default/files/archivedocs/2007_2008/lectures/0708lecturespdf/MassPointsBMC07.pdf в геометрии].

2024-09-09, лекция 2: Метод первого шага (вероятность выпадения HTH ранее HHT, ожидаемое количество шагов). Метод разложения случайной величины в сумму. Определение случайного вектора. Использование интерпретации ожидания как центра масс в геометрии. Определение теоретической медианы.

Можно глянуть: глава 2.7.2 из [https://projects.iq.harvard.edu/stat110/home BItP], три стратегии решения задачи за 10 минут [https://www.youtube.com/watch?v=xH89DaEI35w Visually Explained]

2024-09-16, лекция 3: Получение новой информации приводит к пересчёту вероятностей. Определение условной вероятности. Формула полной вероятности. Формула Байеса.
Условное математическое ожидание. Формула полного математического ожидания. Независимость пары событий. Независимость набора событий в совокупности.
Независимость величин: неформальное определение. Критерий независимости произвольных величин. Критерий независимости дискретных величин.

2024-09-23, лекция 4: Доказательство критерия независимости для дискретных случайных величин: из независимости {X=x} и {Y=y} следует независимость {X in A} и {Y in B}. Независимость величин равносильна E(f(X))E(g(Y))=E(f(X)g(Y)) для произвольных f, g. Определение биномиальной, геометрической (как числа неудач до 1го успеха) и отрицательной биномиальной случайной величины. Общая идея за производящими функциями: как из функции, производящей исходы эксперимента, с помощью производных и подстановок выудить индивидуальные вероятности, совместные вероятности, ожидания любой степени E(X^a), E(X^a Y^b). Формальное определение функции, производящей вероятности, и функцию, производящей моменты, для одной случайной величины и пары случайных величин. Метатеорема: все теоремы о дискретных величинах доказываются перестановкой слагаемых. Основные дискретные распределения: биномиальное, геометрическое, отрицательное биномиальное.

2024-09-30, лекция 5: Ещё дискретные законы распределения: гипергеометрическое. Описание закона распределения через равномерное распределение на подмножестве R^n.
Функция плотности как линейная часть вероятности попадания в отрезок. Равномерное распределение на отрезке. Смешанные случайные величины. LOTUS: нахождение ожидания любой функции от случайной величины для величин с функцией плотности и смешанных величин. Функция распределения. Квантильная функция.

2024-10-07, лекция 6: Две геометрии случайных величин и событий: E(XY) как скалярное произведение, Cov(X, Y) как скалярное произведение. Математическое ожидание — проекция в рамках геометрии, задаваемой E(XY). Определение и геометрический смысл дисперсии, стандартного отклонения, ковариации и корреляции. Неравенство Маркова. Неравенство Чебышёва. Неравенство Йенсена: интуитивный смысл.

2024-10-14, лекция 7: Доказательство неравенства Йенсена. Энтропия как минимальное ожидаемое число вопросов для отгадывания и формальное определение. Кросс-энтропия.
Доказательство того, что кросс-энтропия больше либо равна энтропии. Совместная энтропия. Условная энтропия. Формула H(X) + H(Y|X) = H(X, Y) без доказательства.
Вывод плотности экспоненциального распределения из предпосылки отсутствия памяти. Экспоненциальное распределение максимизирует энтропию при заданном ожидании и неотрицательности.

* Cristopher Olah, Visual Information Theory, https://colah.github.io/posts/2015-09-Visual-Information/

* Grand Sanderson, Solving Wordle using information theory, [https://www.youtube.com/watch?v=v68zYyaEmEA youtube].

* Artem Kirsanov, Key equation behind probability, [https://www.youtube.com/watch?v=KHVR587oW8I youtube]. У Артёма кросс-энтропия обозначена H(P, Q), а не CE(P||Q)).

* [https://exuberant-arthropod-be8.notion.site/1-02-09-5e107ea1c4054594b8f37d955db8a2b0 Конспект] аналогичной старой лекции псмо на русском.

* Keith Conrad, [https://kconrad.math.uconn.edu/blurbs/analysis/entropypost.pdf Maximal entropy] distributions.

2024-10-21, лекция 8: Ковариационная матрица и её свойства. Совместная функция плотности. Условная функция плотности. Критерий независимости в терминах функций плотности и распределения.
Связь индивидуальной и совместной функций плотности и функций распределения. Смена плотности при замене переменных: домножение на якобиан и неформально про дифференциальные формы. Формула свёртки.
Разложение совместной плотности для графической модели. Представление произвольной совместной функции распределения с помощью копулы.

* Про дифференциальные формы: [https://www.youtube.com/watch?v=PaWj0WxUxGg&list=PL22w63XsKjqzQZtDZO_9s2HEMRJnaOTX7 videos] by Michael Penn, [https://www.math.purdue.edu/~arapura/preprints/diffforms.pdf short intro] by Dony Arapura

* What is a convolution от [https://www.youtube.com/watch?v=KuXjwB4LzSA 3b1b]

* From graphical models to [https://www.youtube.com/watch?v=yBc01ZeaFxw&list=PLISXH-iEM4JlFsAp7trKCWyxeO3M70QyJ Probabilistic ML]

2024-11-11, лекция 9: Пуассоновский поток: аксиомы. Вывод пуассоновского распределения количества событий и экспоненциального времени между событиями из аксиом.
Сумма независимых пуассоновских потоков — это пуассоновский поток (половина доказательства). Вероятность того, что одна экспоненциальная величина будет меньше другой, независимой.

2024-11-18, лекция 10: Гамма-распределение как сумма нескольких экспоненциальных: вывод плотности через вероятность попадания в малый отрезок.
Обобщение плотности на случай положительного параметра $a$. Гамма-функция. Бета-распределение как отношение гамма-распределений. Бета-функция.

2024-11-25, лекция 11: Вывод нормального распределения из предпосылок Гаусса. Вывод нормального распределения из предпосылок Гершеля — Максвелла.

* Saul Stahl, The [https://www.researchgate.net/publication/255668423_The_Evolution_of_the_Normal_Distribution Evolution] of the Normal Distribution: вывод Гаусса с историей.

* Grand Sanderson, [https://www.youtube.com/watch?v=cy8r7WSuT1I Why pi] is in the normal? вывод Гершеля—Максвелла

* James Stein, [http://www-biba.inrialpes.fr/Jaynes/cc07s.pdf Normal Distribution]: глава про нормальное распределение (Гаусс, Гершель—Максвелл, Лэндон etc)

* William Herschel, [https://music.yandex.com/album/209394/track/2121214 концерт для габоя]

* William Herschel, [https://www.informationphilosopher.com/solutions/scientists/quetelet/Herschel_Quetelet_Probabilities.pdf On the theory of Probabilities]: вывод нормального распределения словами на стр. 189-191

2024-12-02, лекция 12: многомерное нормальное распределение. Функция плотности невырожденного многомерного нормального. Функция производящая моменты для многомерного нормального. Формула Иссерлиса с ненулевыми ожиданиями и доказательством. Условное распределение: вывод условного ожидания и условной дисперсии через разложение величины в сумму независимых.

* [https://stats.stackexchange.com/questions/30588/ альтернативный вывод] условного многомерного нормального распределения
* Хитрый [https://github.com/bdemeshev/lis-isserlis/raw/main/lis-isserlis.pdf лис Иссерлис]

=== Семинары ===

==== 473 = 235 + 238 ====

2024-09-02, 06, семинар 1: задачи 1.1, 1.6, 3.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-09, 13, семинар 2: задачи 2.1, 2.3, 12.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-16, 20, семинар 3: задачи 7.12 и 7.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-23, 27, семинар 4: как извлечь P(X=3), E(X), E(X^2Y) из функции, производящей список исходов, 28.16 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-30, -10-04, семинар 5: 9.3в, 9.4, 9.7(абвд, кроме дисперсии, аргументы масштабирования и центра масс помимо интегралов), 9.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-10-07, 11, семинар 6: вычисление Cov, Var, Corr по табличке и из функции плотности, нахождение дисперсии для отрицательного биномиального распределения по свойствам.

2024-10-14, 18, семинар 7: вычисление энтропии геометрического распределения. Изменение энтропии при линейном преобразовании для дискретной величины и величины с функцией плотности.
Кросс-энтропия из экспоненциального в равномерное. Условная энтропия для дискретной таблички. Связь энтропии величины с функцией плотности и энтропия дискретной версии этой случайной величины после "огрубления" с малым шагом 1/k.

2024-10-21, -11-01, семинар 8: 16.18, 16.23 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], свёртка двух экспоненциальных величин

2024-11-11, 15, семинар 9: задачи на пуассоновский поток из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-11-18, 22, семинар 10: задачи на бета и гамма-распределение

2024-11-25, 29, семинар 11: задачи на нормальное распределение, 18.1, 18.2, 18.3, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-02, 06, семинар 12: задачи на многомерное нормальное: 24.16аб, 24.17аб, 24.18, 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

==== 236 ====

2024-09-06, семинар 1: в начале семинара рассмотрели основные понятия и определения для решения задач. Решили задачи 1.1, 1.6, 3.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-13, семинар 2: нашли ожидание случайной величины с геом. распределением. Решили задачи 2.1, 12.6, 12.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-09-20, семинар 3: решили задачи 7.12, 7.4(а), 7.7, 7.13(а) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-09-27, семинар 4: разобрали 7.13, почти разобрали 28.3 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Также рассмотрели один контрпример на независимость(тетраэдр Бернштейна).

2024-10-04, семинар 5: разобрались с определениями, решили 9.3(абв), 9.7(аб) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Решили задачку про три точки на отрезке и найти вероятность получить треугольник. Также вывели формулу для мат. ожидания неотрицательной величины через функцию распределения.

2024-10-14, семинар 6: обсудили дисперсию, ковариацию, коэффициент корреляции и их геометрический смысл. Решили задачу на оценку дисперсии ограниченной величины. посчитали дисперсию геометрического, биномиального. Посчитали дисперсию в задаче о письмах и конвертах.

???, семинар 7: определили энтропию, посчитали примеры для дискретных величин, для линейных преобразований. Доказали, что задача максимизации энтропии с фиксированной дисперсией достигается на нормальном распределении.

???, семинар 8: свертка двух экспоненциальных, 16.18 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

???, семинар 9: задачи на пуассоновский процесс из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

???, семинар 10: разбор кр.

???, семинар 11: разобрали задачи на нормальное распределение 18.1, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Также считали распределение суммы двух независимых нормальных.

==== 237 ====

2024-09-09, семинар 1: задачи 1.1, 2.2 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], вероятность что n ладей не бьют друг друга при случайной расстановке на шахматной доске n на n, матожидание числа треугольников в случайном графе на n вершинах через сумму индикаторов

2024-09-13, семинар 2: задачи 2.1, 2.6, 12.3, 12.6, 12.7 (без дисперсий) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-23, семинар 3: задачи 7.2, 7.13, 7.7, 7.8, плюс начали 7.15b (получили неверный ответ) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-27, семинар 4: дорешали 7.15b с небольшой демонстрацией на питоне, разобрали 28.2 для нечестной монетки плюс посчитали матожидание [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-10-04, семинар 5: задачи 9.1, 9.3абв, 9.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], философия про то почему бОльшая плотность не всегда означает бОльшую вероятность оказаться в окрестности данной точки (плотность может занимать слишком маленький объем)

2024-10-11, семинар 6: вспомнили определения Cov/Var/Corr, посчитали у пары дискретных величин по табличке вероятностей, посчитали дисперсию у биномиального, геометрического, непрерывного равномерного на отрезке.

2024-10-18, семинар 7: вычисление энтропии геометрического распределения; ограниченность энтропии снизу и сверху в дискретном случае; изменение энтропии при линейном преобразовании для дискретной величины и величины с функцией плотности; условная энтропия, KL дивергенция и кросс-энтропия, неотрицательность KL, интерпретация на пальцах с точки зрения теории информации.

2024-11-01, семинар 8: 16.18, 16.23 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], свёртка двух экспоненциальных величин

2024-11-08, семинар 9: решали пробный вариант КР

2024-11-15, семинар 10: 13.1, 13.2, 13.5, 13.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-11-22, семинар 11: разбор КР

2024-11-29, семинар 12: нормальное распределение, 18.1, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-06, семинар 13: многомерное нормальное распределение, изменение среднего и матрицы ковариаций при линейном преобразовании, 24.4а, 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

==== 239 ====

2024-09-03, семинар 1: задачи 1.1, 1.4, пытались 1.8 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Ещё успели посчитать вероятность N=k бросков монеты до выпадения первого орла, матожидание N. И ещё сделали то же для количества бросков до выпадения 3 орлов (не в серии).

2024-09-10, семинар 2: доказали формулу включения-исключения, решили несложную задачу, порешали 2.7 задачи типа 12.*

2024-09-17, семинар 3: Решили две прямых задачи на формулу Байеса и формулу полной вероятности (без большого количества вычислений). Решили задачу поиска вероятности неисправного кофе-автомата из 3 при условии, что бросили деньги в 1 и 2 и их зажевало. Ещё нашли вероятность, что мяч будет у игрока 3 после шага 10 (все садятся в круг и на каждом шаге бросают мяч соседу с вероятностью 0.3 и оставляют у себя с вероятностью 0.4).

2024-09-24, семинар 4: Вспомнили про метод первого шага, используя формулу полной вероятности и введя в некотором виде формулу полного матожидания, записали формулу для вероятностей нахождения в состоянии i через произведение переходной матрицы на вектор. Совсем немного начали производящие функции, но решили не считать 31ю производную многочлена.

2024-10-01, семинар 5: Исследуем дискретные случайные величины (Биномиальная, Геометрическая и разные похожие) с использованием техник вычислений моментов через производящую функцию. Задачи на распределения величин, посчитанных по набору величин. Первая большая задача про плотность.

2024-10-08, семинар 6: разминочная про плотность и функцию распределения. Считаем дисперсию, ковариацию и корреляцию по 2x2 таблице и в равномерном распределении на круге и квадрате [-1,1]х[-1,1].

2024-10-15, семинар 7: пара задач про экспоненциальное распределение, расчёты по теории информации(считаем всякое, чтобы привыкнуть).

2024-10-22, семинар 8: письменные источники не сохранились до наших дней. Согласно преданиям, оьсуждали двери и около контрольной. Говорят, ввели пуассоновский процесс.

2024-???, семинар 9: решаем задачи на пуассоновское в разных формах и обсуждаем омалые в порядковых статистиках.

2024-???, семинар 10: учимся интерпретироввть гауссовское, пользоваться таблицами для функции Лапласа, а также немного работать с многомерным гауссовским.

2024-3-12, семинар 11: Копаем во все стороны многомерное гауссовское: считаем вероятности для линейных комбинаций гауссовских, проверяем зависимость, вычисляем условные законы, матожидания и ковариационные матрицы, вспоминаем спектральное разложение и разложение Холецкого.

==== 2311 ====

2024-09-06, семинар 1: вероятностное пространство, вероятность на нем, вероятность события, случайная величина и ее распределение (индикатор события, сумма двух кубиков, число бросаний монетки до первого орла), матожидание случайной величины (индикатор, один кубик, два кубика), линейность матожидания. Задачи на линейность матожидания, в том числе ЕГЭшная задача про турнир, 1.5, 3.5 с допвопросом о матожидании числа совпадений. Разговор о получении события произвольной вероятности монеткой в контексте 1.8

2024-09-13, семинар 2: Повторили матожидание суммы на примере 12.3. Обсудили условную вероятность и формулу полной вероятности, условное матожидание, решили задачи на метод первого шага 2.1, 2.3, 2.7.

2024-09-20, семинар 3: Условная вероятность, формула полной вероятности, формула Байеса: 7.1, классическая задача про болезни и тесты, простейшие задачки на общее понимание, обсуждение двух подходов: вычисления условной вероятности по формуле и составления нового вероятностного пространства и подсчет вероятности в нем. Независимые события (события "пики" и "дама" в обычной колоде и колоде с джокерами), независимые в совокупности события, построили пример попарно независимых, но не независимых в совокупности. Обсудили биномиальное распределение. решили задачу: "в корабле к отсеков, чтобы корабль затонул, нужно поразить 2. Независимо выпускают n ракет, каждая из которых поражает случайный отсек с вероятностью p. Найти вероятность потопления корабля"

2024-09-20, семинар 4: Примеры одинаково распределенных зависимых СВ, независимые СВ. Производящая функция и ее свойства. Посчитали для биномиального производящую функцию и второй момент. Обсудили, что будет меняться в случае функции, производящей моменты. Обсудили функцию, производящую множество исходов, как из нее доставать уже известные функции, как ее искать на примере бросания монетки до выпадания HT

2024-10-11, семинар 5: Составили табличку стандартных дискретных распределений, посчитали матожидание геометрического, обсудили дисперсию и ковариацию и их свойства (в дискретном случае), досчитали дисперсии основных распределений. Обсудили вероятностное пространство в общем случае, понятие СВ в общем случае. Дали определение ФР, посчитали ФР для явно заданной СВ. Дали определение плотности.

2024-10-12, семинар 6: Обсудили свойства ФР, как считать вероятность попадания в промежуток в терминах ФР. Выразили ФР 1/X, cos X. Обсудили как выражается веротяность попадания в множество через плотность. для 1/Х выразили плотность в случае абсолютной непрерывности Х. Обсудили формулу для МО в общем виде через интеграл Стильтьеса и как вычислять МО для функции, разлагающейся в сумму абсолютно нерпрерывной и функции скачков, посчитали МО для пары таких СВ

2024-10-18, семинар 7: Обсудили геометрию, заданную скалярным произведением EXY и cov(X,Y), поиск ортогонального элемента и проекции. Посчитали энтропию и кросс-энтропию в дискретном и непрерывном случаях, посчиали совместную и условную энтропию в дискретном случае (23.2, 23.4, 23.9)

2024-11-01, семинар 9: Совместная плотность и ф.р., подсчет вероятностей, маргинальные плотности, замена переменной через якобиан, свертка, матожидание

2024-11-09, семинар 10: Условная плотность, формула условной вероятности. Задача на восстановление маргинальной плотности по условной. Разбор задач из "Летучей мыши"

2024-11-19, семинар 11: Разбор контрольной работы

2024-11-22, семинар 12: Пуассоновский поток - решали задачки из задачника

2024-11-29, семинар 13: Нормальное распределение - задачи из PP, повторили функцию, порождающую моменты, обсудили ее свойства в абсолютно непрерывном случае

==== 2310, 2312 ====

2024-09-06, семинар 1: задача 1.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Определили вероятностное пространство в виде тройки, множество исходов рассматривали конечное и счётное. Решили 3 счётные задачи на комбинаторику про колоды карт и счетные последовательности цифр. Привели геометрическое и аналитическое решения задачи про нахождение предела последовательности вероятностей. В конце нашли математическое ожидание геометрически распределённой случайной величины.

2024-09-13, семинар 2: задача 2.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Задача на упорядоченные и неупорядоченные наборы. Задача про классическое вероятностное пространство и про пространство с неравновероятными исходами. Разобрали парадокс Монти Холла. Ввели понятия условной вероятности и независимых случайных величин. Сформулировали и обсудили идеи доказательств трёх теорем: теорема умножения вероятностей, формула полной вероятности и формула Байеса.

2024-09-20, семинар 3: Решили задачу на определение условной вероятности. Обсудили парадокс теоремы Байеса на примере задачи про редкое заболевание, а также посмотрели простую программу на Python, которая считает вероятность в зависимости от количества проведенных тестов на заболевание. Обсудили условное математическое ожидание, некоторые его свойства и рассмотрели пример с подбрасыванием кубика. В конце решили задачу на парадокс дней рождений.

2024-09-27, семинар 4: Обсудили коллизии хеш-функций и связь с атакой "дней рождений". Определили независимость или зависимость случайных величин в четырёх разных вариантах. Обсудили, что неверно утверждать, что матожидание частного независимых случайных величин равно частному матожиданий, также привели пример использования подобного факта в некоторых статьях. В конце решили задачу на поиск функции производящей исходы, а также нашли E(X), E(Y^2), E(XY) с помощью найденной функции.

2024-10-04, семинар 5: Решили две простые задачи на условную вероятность и на теорему об умножении вероятностей. Обсудили связь дерева событий с условной вероятностью и теоремой об умножении вероятностей. Нашли производящую функцию моментов для геометрически распределенной случайной величины и с помощью нее нашли матожидание. Нашли производящую функцию моментов и матожидание суммы случайного количества н.о.р случайных величин.

2024-10-11, семинар 6: Привели аналогии между дискретными и непрерывными случайными величинами. Нарисовали графики функций от случайных величин. Вспомнили определение и свойства дисперсии. Решили простую задачу на подсчет дисперсии и нашли дисперсию геометрически распределенной случайной величины. Обсудили, когда может быть матожидание и дисперсия бесконечны. Далее вспомнили неравенства Маркова и Чебышева, вывели следствия и решили 3 задачи на применение этих неравенств. Обсудили, что неравенство Маркова может давать как точную оценку, так и очень слабую. Показали, что неотрицательность случайной величины в неравенстве Маркова является существенным условием.

2024-10-11, семинар 7: Повторили понятия энтропии в битах и натах, а также понятие дифференциальной энтропии. Нашли энтропию в схеме Бернулли и энтропии геометрического и экспоненциального распределений. Доказали простую оценку сверху для энтропии случайной величины, имеющей конечный носитель мощности n.

2024-11-1, семинар 8: Разобрали демо-вариант контрольной работы "Тыква".

2024-11-8, семинар 9: Разобрали демо-вариант контрольной работы "Летучая мышь".

2024-11-15, семинар 10: Понятие случайного процесса. Определение пуассоновского процесса, его свойства. Три простые задачи на пуассоновское распределение. Задачи 13.1 и 13.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-11-22, семинар 11: Определения Бета-функции и Гамма-функции. Бета и Гамма распределения, их функции плотности и графики. Нахождение моды случайных величин, имеющих Бета и Гамма распределения. Связь пуассоновского процесса с Гамма распределением. В конце нашли производящую функцию моментов Гамма распределения.

== Источники ==

Источники мудрости, которые я постарался не замутить :)

[https://arxiv.org/pdf/1411.5279 WTSK]: Tim Hesterberg, What Teachers Should Know About the Bootstrap: вкусное и доступное изложение бутстрэпа и перестановочных тестов.

[https://projects.iq.harvard.edu/stat110/home BItP]: Blitzstein, Hwang, Introduction to Probability: учебник, записи лекций, гарвардский курс.

Теория вероятностей 2024/25 (основной поток)

2024-11-22T09:08:03Z

Nmorozov:

Теория вероятностей 2024/25 (основной поток)

2024-11-08T15:28:35Z

Nmorozov:

Теория вероятностей 2024/25 (основной поток)

2024-10-20T19:45:40Z

Nmorozov:

Теория вероятностей 2024/25 (основной поток)

2024-10-11T15:33:04Z

Nmorozov:

Теория вероятностей 2024/25 (основной поток)

2024-10-04T15:21:39Z

Nmorozov:

Теория вероятностей 2024/25 (основной поток)

2024-10-03T22:32:38Z

Nmorozov:

Теория вероятностей 2024/25 (основной поток)

2024-09-23T15:07:07Z

Nmorozov:

Теория вероятностей 2024/25 (основной поток)

2024-09-14T12:15:51Z

Nmorozov:

== Цели и задачи курса ==

侍には目標がなく道しかない [Samurai niwa mokuhyō ga naku michi shikanai]

У самурая нет цели и ничего кроме пути.

Вероятный план:
<div class="mw-collapsible mw-collapsed" style="width:1000px; overflow: hidden;">
1. Дискретное вероятностное пространство. Вероятность, математическое ожидание, теоретическая медиана.
Перестановочные тесты, p-значение для перестановочного теста.
Математическое ожидание = центр масс.

NB: здесь сходу рисуем дерево
NB: здесь нет задач на условную вероятность

!предупреждение об обозначениях случайных величин.
Российская традиция — греческие буквы, американская традиция — заглавные английские буквы.
Наш курс: любые буквы. Причина: теория вероятностей применяется в разных областях, где свои традиции.

NB: Способы вычисления вероятностей и ожиданий:
* полный перебор руками
* примерные вычисления руками
* полный перебор на компьютере
* симуляции на компьютере
* ...

2.
Методы решения задач:
* разложение величины в сумму
* метод первого шага
!идея: позиция в игре имеет цену
* just for fun: метод рычага в геометрии через ожидание
NB: рассказать здесь про комплексную случайную величину
NB: по сути здесь мы уже решаем задачи на марковские цепи не говоря страшных определений
LOTUS.

3. Условная вероятность и условное ожидание.
!идея: зануляем вероятности невозможных событий, а остальные — масштабируем.
формула полной вероятности
!идея: дерево "помнит" формулу полной вероятности
формула Байеса

Независимые события.
Независимые случайные величины.

4.
Методы решения задач:
* производящие функции многих переменных
функция как способ записать множество
HTT vs TTH
ABRACADABRA
!разложение по биномиальной формуле

?: можно здесь успеть функцию производящую моменты

5.
Биномиальное распределение.
Геометрическое и гипергеометрическое распределения.
Отрицательное биномиальное распределение.

6.
Равномерное распределение на множестве в R^n
Функция распределения.
Функция плотности и вероятностная дифференциальная форма.
!пояснение про неудачную традиционную терминологию "непрерывная случайная величина"
величина с функцией плотности, величина с непрерывной функцией распределения.

Квантили, квантильная функция.

7. Характеристики случайных величин и неравенства.
Дисперсия.
Энтропия.
Неравенство Маркова.
Неравенство Чебышёва.
Неравенство Йенсена.

Здесь конец модуля 1 и КР-1!

8. Пуассоновский поток.
Аксиомы пуассоновского потока.
Вывод экспоненциального распределения и пуассоновского распределения из аксиом.
Вывод экспоненциального распределения из предпосылки об отсутсвии памяти.

9. Нормальное распределение.
Нормальное распределение: предпосылки Хершела-Максвелла.
Нормальное распределение: аргументация Гаусса за среднее арифметическое.
Нормальное распределение: предпосылки Лэндона (до уравнения в частных производных).

10. Классические непрерывные распределения.

Гамма-распределение, бета-распределение.
Вывод нормального и экспоненциального распредений как минимизации энтропии.

11. Парные характеристики случайных величин.
Наилучшая линейная аппроксимация.
Ковариация.
Корреляция.
Кросс-энтропия.

Доказательство E(XY) = E(X) E(Y) для дискретных.
Ковариационная матрица и ожидание для случайных векторов.

12. Совместная и условная функция плостности.
Преобразования случайных величин.

13. Функция производящая моменты и характеристическая функция.
Распределение суммы случайного количества случайных величин.
Случайный выбор слагаемых.

14. Финансовые приложения

Оценивание опционов на биномиальном дереве.
Максимизация долгосрочной прибыли, связь с энтропией.
Возможно, индексы Гиттинса.

Здесь конец модуля 2 и КР-2

15. Сигма-алгебры.

Список известных величин как способ описания информации.
Идея условного ожидания как оптимального прогноза.
Сигма-алгебра как способ описания информации.
Измеримость случайной величины относительно сигма-алгебры.
Сигма-алгебра как ОДЗ для вероятности.
Борелевская сигма-алгебра.
Независимые случайные величины второе определение.

16. Условное математическое ожидание.
Условная дисперсия.
Сумма случайного количества случайных величин.

17. Сходимости случайных величин.

Сходимость по вероятности.
Закон больших чисел.
Сходимость почти наверное.
Усилинный закон больших чисел.
Сходимость по распределению.

18. Связь сходимостей.
Лемма Слуцкого.

19. Центральная предельная теорема.
Доказательство через подмену слагаемых.
Доказательство через характеристические функции.

Здесь контрольная.

20. Винеровский процесс
Условные ожидания, инверсия.

21. Байесовский подход к оцениванию параметров

Балансовое уравнение. Идея MCMC.

22. Доказательства свойств меры

23. Алгоритм построения математического ожидания в общем случае.
Лемма Фату.
Теорема о мажорируемой сходимости.
Теорема о монотонной сходимости.

24. Резерв.

Жемчужинки, которые, вероятно, не успеем:

А. Методы решения задач:
подсчёт случаев с помощью леммы Бернсайда и теоремы Пойа о перечислении
(Burnside lemma, PET = Polya Enumeration Theorem)

B. вероятностные доказательства детерминистических теорем

</div>

== Оценивание ==

Оценка за семестр-1 = 0.2 Домашние задания семестра-1 + 0.4 Контрольная-Альфа + 0.4 Экзамен-Бета.

Финальная оценка за курс = 0.5 Оценка за семестр-1 + 0.1 Домашние задания семестра-2 + 0.2 Контрольная-Гамма + 0.2 Экзамен-Дельта.

Каждая оценка (суммарные итоги за домашние задания, контрольные, экзамены) — целое число от 0 до 100.
Для перевода в 10-балльную шкалу промежуточной оценки за семестр-1 и финальной оценки используется деление на 10
с арифметическим округлением.

=== Домашние задания для самураев ===

[https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/home_assignments/home_assignments.pdf Домашние задания] имеют равный вес.
В конце каждой лекции (за исключением ближайших к экзамену лекций)
выдается домашнее задание сроком на две недели.
Дедлайн жёсткий, однако студент имеет право просрочить три домашних задания на неделю каждое без штрафа.

Формат сдачи ДЗ: один pdf-файл (решение текстовых задач) и один ipynb-файл (решение компьютерных задач).
В pdf-файл можно поместить аккуратно написанное отсканированное решение, а можно скомпилировать pdf из теха или маркдауна.
Ещё можно вместо pdf-файла написать всё в ipynb.
Бонусов за сдачу домашки в техе нет. Пример [https://www.overleaf.com/read/qmrkwpzvmqbk шаблона].

Обратите внимание: '''время каждого дедлайна — 21:00'''.

=== Контрольные работы и экзамен ===

Вес каждой задачи будет написан в тексте работы.
Задачи с ненаписанным по случайности весом имеют равный вес.
Для пропущенных по уважительной причине контрольных будет выделен один день для переписывания.
При пропуске дня переписывания, в том числе по уважительным причинам, ещё одного шанса не предоставляется.

== Учебные материалы ==

[https://github.com/bdemeshev/probability_pro/raw/master/probability_pro.pdf PP]: Листки с задачами к курсу.

[https://github.com/bdemeshev/probability_dna/raw/master/probability_dna.pdf PDNA]: Вероятностная ДНК = вкусные задачи по теории вероятностей.

[https://disk.yandex.ru/d/I4wgH17k__F3Yw/1%20%D1%81%D0%B5%D0%BC%D0%B5%D1%81%D1%82%D1%80/1%20%D0%BC%D0%BE%D0%B4%D1%83%D0%BB%D1%8C Летопись семинаров и лекций от тайного благожелателя]

== Дневник самурая ==

2024-09-02, лекция 1: Определение события. Определение случайной величины. Аксиомы вероятности. Определение математического ожидания для дискретного случая.
Линейность математического ожидания. Первое знакомоство с перестановочным тестом и p-значением.

Можно глянуть: главы 2.1 и 7 из [https://arxiv.org/pdf/1411.5279 WTSK]

2024-09-02, лекция 2: Метод первого шага (вероятность выпадения HTH ранее HHT, ожидаемое количество шагов). Метод разложения случайной величины в сумму. Определение случайного вектора. Использование интерпретации ожидания как центра масс в геометрии. Определение теоретической медианы.

Можно глянуть: глава 2.7.2 из [https://projects.iq.harvard.edu/stat110/home BItP], три стратегии решения задачи за 10 минут [https://www.youtube.com/watch?v=xH89DaEI35w Visually Explained]

=== Семинары ===

==== 473 = 235 + 238 ====

2024-09-02, 06, семинар 1: задачи 1.1, 1.6, 3.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-09, 13, семинар 2: задачи 2.1, 2.3, 12.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

==== 236 ====

2024-09-06, семинар 1: в начале семинара рассмотрели основные понятия и определения для решения задач. Решили задачи 1.1, 1.6, 3.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-13, семинар 2: нашли ожидание случайной величины с геом. распределением. Решили задачи 2.1, 12.6, 12.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

==== 237 ====

2024-09-09, семинар 1: задачи 1.1, 2.2 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], вероятность что n ладей не бьют друг друга при случайной расстановке на шахматной доске n на n, матожидание числа треугольников в случайном графе на n вершинах через сумму индикаторов

2024-09-13, семинар 2: задачи 2.1, 2.6, 12.3, 12.6, 12.7 (без дисперсий) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

==== 239 ====

2024-09-03, семинар 1: задачи 1.1, 1.4, пытались 1.8 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Ещё успели посчитать вероятность N=k бросков монеты до выпадения первого орла, матожидание N. И ещё сделали то же для количества бросков до выпадения 3 орлов (не в серии).

2024-09-10, семинар 2: доказали формулу включения-исключения, решили несложную задачу, порешали 2.7 задачи типа 12.*

==== 2311 ====

2024-09-06, семинар 1: вероятностное пространство, вероятность на нем, вероятность события, случайная величина и ее распределение (индикатор события, сумма двух кубиков, число бросаний монетки до первого орла), матожидание случайной величины (индикатор, один кубик, два кубика), линейность матожидания. Задачи на линейность матожидания, в том числе ЕГЭшная задача про турнир, 1.5, 3.5 с допвопросом о матожидании числа совпадений. Разговор о получении события произвольной вероятности монеткой в контексте 1.8

==== 2310, 2312 ====

2024-09-06, семинар 1: задача 1.1 из РР. Определили вероятностное пространство в виде тройки, множество исходов рассматривали конечное и счётное. Решили 3 счётные задачи на комбинаторику про колоды карт и счетные последовательности цифр. Привели геометрическое и аналитическое решения задачи про нахождение предела последовательности вероятностей. В конце нашли математическое ожидание геометрически распределённой случайной величины.

== Источники ==

Источники мудрости, которые я постарался не замутить :)

[https://arxiv.org/pdf/1411.5279 WTSK]: Tim Hesterberg, What Teachers Should Know About the Bootstrap: вкусное и доступное изложение бутстрэпа и перестановочных тестов.

[https://projects.iq.harvard.edu/stat110/home BItP]: Blitzstein, Hwang, Introduction to Probability: учебник, записи лекций, гарвардский курс.

Машинное обучение 1

2024-09-12T13:24:18Z

Nmorozov:

Теория вероятностей 2024/25 (основной поток)

2024-09-09T15:07:18Z

Nmorozov:

== О курсе ==

== Цели и задачи курса ==

侍には目標がなく道しかない [Samurai niwa mokuhyō ga naku michi shikanai]

У самурая нет цели и ничего кроме пути.

== Оценивание ==

Оценка за семестр-1 = 0.2 Домашние задания семестра-1 + 0.4 Контрольная-Альфа + 0.4 Экзамен-Бета.

Финальная оценка за курс = 0.5 Оценка за семестр-1 + 0.1 Домашние задания семестра-2 + 0.2 Контрольная-Гамма + 0.2 Экзамен-Дельта.

Каждая оценка (суммарные итоги за домашние задания, контрольные, экзамены) — целое число от 0 до 100.
Для перевода в 10-балльную шкалу промежуточной оценки за семестр-1 и финальной оценки используется деление на 10
с арифметическим округлением.

=== Домашние задания для самураев ===

[https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/home_assignments/home_assignments.pdf Домашние задания] имеют равный вес.
В конце каждой лекции (за исключением ближайших к экзамену лекций)
выдается домашнее задание сроком на две недели.
Дедлайн жёсткий, однако студент имеет право просрочить три домашних задания на неделю каждое без штрафа.

Формат сдачи ДЗ: один pdf-файл (решение текстовых задач) и один ipynb-файл (решение компьютерных задач).
В pdf-файл можно поместить аккуратно написанное отсканированное решение, а можно скомпилировать pdf из теха или маркдауна.
Ещё можно вместо pdf-файла написать всё в ipynb.
Бонусов за сдачу домашки в техе нет. Пример [https://www.overleaf.com/read/qmrkwpzvmqbk шаблона].

Обратите внимание: '''время каждого дедлайна — 21:00'''.

=== Контрольные работы и экзамен ===

Вес каждой задачи будет написан в тексте работы.
Задачи с ненаписанным по случайности весом имеют равный вес.
Для пропущенных по уважительной причине контрольных будет выделен один день для переписывания.
При пропуске дня переписывания, в том числе по уважительным причинам, ещё одного шанса не предоставляется.

== Учебные материалы ==

[https://github.com/bdemeshev/probability_pro/raw/master/probability_pro.pdf Листки к семинарам Бориса Демешева]

[https://github.com/bdemeshev/probability_dna/raw/master/probability_dna.pdf Вкусные задачи по теории вероятностей]

[https://disk.yandex.ru/d/I4wgH17k__F3Yw/1%20%D1%81%D0%B5%D0%BC%D0%B5%D1%81%D1%82%D1%80/1%20%D0%BC%D0%BE%D0%B4%D1%83%D0%BB%D1%8C Летопись семинаров и лекций от тайного благожелателя]

== Дневник самурая ==

2024-09-02, лекция 1: Определение события. Определение случайной величины. Аксиомы вероятности. Определение математического ожидания для дискретного случая.
Линейность математического ожидания. Первое знакомоство с перестановочным тестом и p-значением.

Можно глянуть: главы 2.1 и 7 из [https://arxiv.org/pdf/1411.5279 WTSK]

=== Семинары ===

==== 473 = 235 + 238 ====

2024-09-02, 06, семинар 1: задачи 1.1, 1.6, 3.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf pdf]

==== 237 ====

2024-09-09, семинар 1: задачи 1.1, 2.2 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf pdf], вероятность что n ладей не бьют друг друга при случайной расстановке на шахматной доске n на n, матожидание числа треугольников в случайном графе на n вершинах через сумму индикаторов

==== 239 ====

2024-09-03, семинар 1: задачи 1.1, 1.4, пытались 1.8 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf pdf]. Ещё успели посчитать вероятность N=k бросков монеты до выпадения первого орла, матожидание N. И ещё сделали то же для количества бросков до выпадения 3 орлов (не в серии).

==== 2311 ====

2024-09-06, семинар 1: вероятностное пространство, вероятность на нем, вероятность события, случайная величина и ее распределение (индикатор события, сумма двух кубиков, число бросаний монетки до первого орла), матожидание случайной величины (индикатор, один кубик, два кубика), линейность матожидания. Задачи на линейность матожидания, в том числе ЕГЭшная задача про турнир, 1.5, 3.5 с допвопросом о матожидании числа совпадений. Разговор о получении события произвольной вероятности монеткой в контексте 1.8

== Источники ==

Источники мудрости, которые я постарался не замутить :)

[https://arxiv.org/pdf/1411.5279 WTSK]: Tim Hesterberg, What Teachers Should Know About the Bootstrap: вкусное и доступное изложение бутстрэпа и перестановочных тестов.

Теория вероятностей 2024/25 (основной поток)

2024-09-09T15:03:48Z

Nmorozov:

== О курсе ==

== Цели и задачи курса ==

侍には目標がなく道しかない [Samurai niwa mokuhyō ga naku michi shikanai]

У самурая нет цели и ничего кроме пути.

== Оценивание ==

Оценка за семестр-1 = 0.2 Домашние задания семестра-1 + 0.4 Контрольная-Альфа + 0.4 Экзамен-Бета.

Финальная оценка за курс = 0.5 Оценка за семестр-1 + 0.1 Домашние задания семестра-2 + 0.2 Контрольная-Гамма + 0.2 Экзамен-Дельта.

Каждая оценка (суммарные итоги за домашние задания, контрольные, экзамены) — целое число от 0 до 100.
Для перевода в 10-балльную шкалу промежуточной оценки за семестр-1 и финальной оценки используется деление на 10
с арифметическим округлением.

=== Домашние задания для самураев ===

[https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/home_assignments/home_assignments.pdf Домашние задания] имеют равный вес.
В конце каждой лекции (за исключением ближайших к экзамену лекций)
выдается домашнее задание сроком на две недели.
Дедлайн жёсткий, однако студент имеет право просрочить три домашних задания на неделю каждое без штрафа.

Формат сдачи ДЗ: один pdf-файл (решение текстовых задач) и один ipynb-файл (решение компьютерных задач).
В pdf-файл можно поместить аккуратно написанное отсканированное решение, а можно скомпилировать pdf из теха или маркдауна.
Ещё можно вместо pdf-файла написать всё в ipynb.
Бонусов за сдачу домашки в техе нет. Пример [https://www.overleaf.com/read/qmrkwpzvmqbk шаблона].

Обратите внимание: '''время каждого дедлайна — 21:00'''.

=== Контрольные работы и экзамен ===

Вес каждой задачи будет написан в тексте работы.
Задачи с ненаписанным по случайности весом имеют равный вес.
Для пропущенных по уважительной причине контрольных будет выделен один день для переписывания.
При пропуске дня переписывания, в том числе по уважительным причинам, ещё одного шанса не предоставляется.

== Учебные материалы ==

[https://github.com/bdemeshev/probability_pro/raw/master/probability_pro.pdf Листки к семинарам Бориса Демешева]

[https://github.com/bdemeshev/probability_dna/raw/master/probability_dna.pdf Вкусные задачи по теории вероятностей]

[https://disk.yandex.ru/d/I4wgH17k__F3Yw/1%20%D1%81%D0%B5%D0%BC%D0%B5%D1%81%D1%82%D1%80/1%20%D0%BC%D0%BE%D0%B4%D1%83%D0%BB%D1%8C Летопись семинаров и лекций от тайного благожелателя]

== Дневник самурая ==

2024-09-02, лекция 1: Определение события. Определение случайной величины. Аксиомы вероятности. Определение математического ожидания для дискретного случая.
Линейность математического ожидания. Первое знакомоство с перестановочным тестом и p-значением.

Можно глянуть: главы 2.1 и 7 из [https://arxiv.org/pdf/1411.5279 WTSK]

=== Семинары ===

==== 473 = 235 + 238 ====

2024-09-02, 06, семинар 1: задачи 1.1, 1.6, 3.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf pdf]

==== 237 ====

2024-09-09, семинар 1: задачи 1.1, 2.2, вероятность что n ладей не бьют друг друга при случайной расстановке на шахматное доске n на n, матожидание числа треугольников в случайном графе на n вершинах

==== 239 ====

2024-09-03, семинар 1: задачи 1.1, 1.4, пытались 1.8 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf pdf]. Ещё успели посчитать вероятность N=k бросков монеты до выпадения первого орла, матожидание N. И ещё сделали то же для количества бросков до выпадения 3 орлов (не в серии).

==== 2311 ====

2024-09-06, семинар 1: вероятностное пространство, вероятность на нем, вероятность события, случайная величина и ее распределение (индикатор события, сумма двух кубиков, число бросаний монетки до первого орла), матожидание случайной величины (индикатор, один кубик, два кубика), линейность матожидания. Задачи на линейность матожидания, в том числе ЕГЭшная задача про турнир, 1.5, 3.5 с допвопросом о матожидании числа совпадений. Разговор о получении события произвольной вероятности монеткой в контексте 1.8

== Источники ==

Источники мудрости, которые я постарался не замутить :)

[https://arxiv.org/pdf/1411.5279 WTSK]: Tim Hesterberg, What Teachers Should Know About the Bootstrap: вкусное и доступное изложение бутстрэпа и перестановочных тестов.

Теория вероятностей 2024/25 (основной поток)

2024-09-09T15:03:29Z

Nmorozov:

== О курсе ==

== Цели и задачи курса ==

侍には目標がなく道しかない [Samurai niwa mokuhyō ga naku michi shikanai]

У самурая нет цели и ничего кроме пути.

== Оценивание ==

Оценка за семестр-1 = 0.2 Домашние задания семестра-1 + 0.4 Контрольная-Альфа + 0.4 Экзамен-Бета.

Финальная оценка за курс = 0.5 Оценка за семестр-1 + 0.1 Домашние задания семестра-2 + 0.2 Контрольная-Гамма + 0.2 Экзамен-Дельта.

Каждая оценка (суммарные итоги за домашние задания, контрольные, экзамены) — целое число от 0 до 100.
Для перевода в 10-балльную шкалу промежуточной оценки за семестр-1 и финальной оценки используется деление на 10
с арифметическим округлением.

=== Домашние задания для самураев ===

[https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/home_assignments/home_assignments.pdf Домашние задания] имеют равный вес.
В конце каждой лекции (за исключением ближайших к экзамену лекций)
выдается домашнее задание сроком на две недели.
Дедлайн жёсткий, однако студент имеет право просрочить три домашних задания на неделю каждое без штрафа.

Формат сдачи ДЗ: один pdf-файл (решение текстовых задач) и один ipynb-файл (решение компьютерных задач).
В pdf-файл можно поместить аккуратно написанное отсканированное решение, а можно скомпилировать pdf из теха или маркдауна.
Ещё можно вместо pdf-файла написать всё в ipynb.
Бонусов за сдачу домашки в техе нет. Пример [https://www.overleaf.com/read/qmrkwpzvmqbk шаблона].

Обратите внимание: '''время каждого дедлайна — 21:00'''.

=== Контрольные работы и экзамен ===

Вес каждой задачи будет написан в тексте работы.
Задачи с ненаписанным по случайности весом имеют равный вес.
Для пропущенных по уважительной причине контрольных будет выделен один день для переписывания.
При пропуске дня переписывания, в том числе по уважительным причинам, ещё одного шанса не предоставляется.

== Учебные материалы ==

[https://github.com/bdemeshev/probability_pro/raw/master/probability_pro.pdf Листки к семинарам Бориса Демешева]

[https://github.com/bdemeshev/probability_dna/raw/master/probability_dna.pdf Вкусные задачи по теории вероятностей]

[https://disk.yandex.ru/d/I4wgH17k__F3Yw/1%20%D1%81%D0%B5%D0%BC%D0%B5%D1%81%D1%82%D1%80/1%20%D0%BC%D0%BE%D0%B4%D1%83%D0%BB%D1%8C Летопись семинаров и лекций от тайного благожелателя]

== Дневник самурая ==

2024-09-02, лекция 1: Определение события. Определение случайной величины. Аксиомы вероятности. Определение математического ожидания для дискретного случая.
Линейность математического ожидания. Первое знакомоство с перестановочным тестом и p-значением.

Можно глянуть: главы 2.1 и 7 из [https://arxiv.org/pdf/1411.5279 WTSK]

=== Семинары ===

==== 473 = 235 + 238 ====

2024-09-02, 06, семинар 1: задачи 1.1, 1.6, 3.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf pdf]

==== 237 ====

2024-09-03, семинар 1: задачи 1.1, 2.2, вероятность что n ладей не бьют друг друга при случайной расстановке на шахматное доске n на n, матожидание числа треугольников в случайном графе на n вершинах

==== 239 ====

2024-09-03, семинар 1: задачи 1.1, 1.4, пытались 1.8 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf pdf]. Ещё успели посчитать вероятность N=k бросков монеты до выпадения первого орла, матожидание N. И ещё сделали то же для количества бросков до выпадения 3 орлов (не в серии).

==== 2311 ====

2024-09-06, семинар 1: вероятностное пространство, вероятность на нем, вероятность события, случайная величина и ее распределение (индикатор события, сумма двух кубиков, число бросаний монетки до первого орла), матожидание случайной величины (индикатор, один кубик, два кубика), линейность матожидания. Задачи на линейность матожидания, в том числе ЕГЭшная задача про турнир, 1.5, 3.5 с допвопросом о матожидании числа совпадений. Разговор о получении события произвольной вероятности монеткой в контексте 1.8

== Источники ==

Источники мудрости, которые я постарался не замутить :)

[https://arxiv.org/pdf/1411.5279 WTSK]: Tim Hesterberg, What Teachers Should Know About the Bootstrap: вкусное и доступное изложение бутстрэпа и перестановочных тестов.

Машинное обучение 1/2023 2024

2024-08-29T17:09:10Z

Nmorozov:

== О курсе ==

[[Файл:ML_surfaces.png|280px|borderless|left]]

Курс читается для студентов 3-го курса [https://cs.hse.ru/ami ПМИ ФКН ВШЭ] в 1-2 модулях.

Проводится с 2016 года.

'''Лектор:''' [http://www.hse.ru/staff/esokolov Соколов Евгений Андреевич]

=== Полезные ссылки ===

[https://www.hse.ru/edu/courses/646510131 Карточка курса и программа]

[https://github.com/esokolov/ml-course-hse Репозиторий с материалами на GitHub]

[https://www.youtube.com/watch?v=OBG6EUSRC9g&list=PLEqoHzpnmTfDwuwrFHWVHdr1-qJsfqCUX Видеозаписи лекций 18/19 года]

Почта для сдачи домашних заданий (на самом деле задания сдаются в AnyTask, но если он не работает, то присылайте на почту): hse.cs.ml+<номер группы>@gmail.com (например, hse.cs.ml+171@gmail.com)

Канал в telegram для объявлений: https://t.me/+8Q3FOPazf-kwOWM6

Чат в telegram для обсуждений (предназначение чата до конца не ясно, вопросы может быть правильнее задавать в чатах групп): https://t.me/+068EETxxsvYxM2Qy

Ссылка на курс в Anytask: [https://anytask.org/course/1062 Ссылка]

[https://docs.google.com/spreadsheets/d/1SXEMnqS2aKEeZsAEKPk6Lxxmxm1DHONWmofufe0jvmg/edit?usp=sharing Таблица с оценками]

Оставить отзыв на курс: [https://goo.gl/forms/5CddG0gc75VZvqi52 форма]

'''Вопросы''' по курсу можно задавать в телеграм лектору (esokolov@) или семинаристу.
Вопросы по материалам лекций/семинаров и по заданиям лучше всего задавать на [https://github.com/esokolov/ml-course-hse/discussions форуме].

=== Семинары ===

{| class="wikitable"
|-
! Группа !! Преподаватель !! Ссылка на чат в телеграме !! Код инвайта на энитаск
|-
| 211 (МОП) || [https://www.hse.ru/org/persons/225560347 Морозов Никита Витальевич] || || 9SD8UZw
|-
| 212 (МОП) || [https://www.hse.ru/staff/esokolov Соколов Евгений Андреевич] || || p7xUNm6
|-
| 213 (МОП) || [Еленик Константин] || || BQJIqvE
|-
| 214 (ТИ) + 217 (АПР) || [Сендерович Александра] || https://t.me/+KZTbPhO6JR9hZjRi || 5QBsIpt
|-
| 215 (РС) || [Орлов Александр] || https://t.me/+Nwx3IQMQiE82NzQy || H4L7odY
|-
| 216 (РС) || [https://www.hse.ru/org/persons/225544191 Коган Александра] || https://t.me/+d0dSIctKNRg1MzUy || dgZTdtM
|-
| 218 (АДИС) || [Ульянкин Филипп] || || DMyEAZA
|-
| 2110 (ПР) || [Иванов Семен] || || NkV8Do3
|-
| ФЭН1 || [Багиров Гейдар] || || ZdRjV35
|-
| ФЭН2 || [Баранов Михаил] || || ev5RYXy
|-
| КНАД || [Косакин Даниил] || https://t.me/+Z4WfCB778mI0ZjI6 || AxaC2TP
|}

=== Ассистенты ===

{| class="wikitable"
|-
! Группа !! Ассистент
|-
| 211 (МОП) || [https://t.me/TheDullestPageOnTelegram Петренко Максим], [https://t.me/tutugarin Ершов Иван]
|-
| 212 (МОП) || [https://t.me/mishlen25 Исаков Михаил], [https://t.me/kemmeritocracy Кеммер Анастасия]
|-
| 213 (МОП) || [https://t.me/kvdmitrieva Дмитриева Екатерина], [https://t.me/@mdeil007 Данил Иванов]
|-
| 214 (ТИ) + 217 (АПР) || [https://t.me/rey_arzhan Аржанцев Андрей], [https://t.me/artem_babak Бабак Артем Юрьевич]
|-
| 215 (РС) || [https://t.me/aiziks Максутова Айза]
|-
| 216 (РС) || [https://t.me/afnastya Афанасьева Анастасия]
|-
| 218 (АДИС) || [https://t.me/elineii Костромина Алина], [https://t.me/dogfew Перепелкин Владимир]
|-
| 2110 (ПР) || [https://t.me/cocosinca Неудачина Ева]
|-
| ФЭН1 || [https://t.me/jeembogod Березовский Валерий], [https://t.me/amsilevich Силевич Артем]
|-
| ФЭН2 || [https://t.me/manukyan077 Манукян Айк]
|-
| КНАД || [https://t.me/pauchara0 Петров Олег]
|}

=== Правила выставления оценок ===

В курсе предусмотрено несколько форм контроля знания:
* Самостоятельные работы на семинарах, проверяющие знание основных фактов с лекций и семинаров
* Практические домашние работы на Python
* Письменная контрольная работа
* Письменный экзамен

Итоговая оценка вычисляется на основе оценки за работу в семестре и оценки за экзамен:

Итог = Округление(0.15 * ПР + 0.4 * ДЗ + 0.15 * КР + 0.3 * Э)

ПР — средняя оценка за самостоятельные работы на семинарах

ДЗ — средняя оценка за практические домашние работы на Python

КР — оценка за контрольную работу

Э — оценка за экзамен

Округление арифметическое.

=== Правила сдачи заданий ===

За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются. Даже при опоздании на одну секунду. Сдавайте заранее.

Два раза студент может сдать домашнее задание после мягкого дедлайна (но до жёсткого) без штрафов.

При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.

Использовать генеративные модели (ChatGPT, GitHub Copilot и прочие) можно. Но если вы их применяете, то обязательно нужно сделать следующее:

1. Указывать, какие части ДЗ выполнены с использованием генеративных моделей.

2. Добавить в конец вашего решения небольшой раздел с рефлексией, где вы описываете, как подбирали промпты, какие заметили преимущества и недостатки генеративных моделей при выполнении данного ДЗ.

Также мы в любом случае оставляем за собой право пригласить студента для защиты своего ДЗ, если заподозрим плагиат.

При наличии уважительной причины пропущенную проверочную можно написать позднее, а дедлайн по домашнему заданию может быть перенесён. Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.

== Лекции ==

Ко всем конспектам на GitHub есть исходники. Исправления и дополнения всячески приветствуются!

'''Лекция 1''' (8 сентября). Введение в машинное обучение. Основные термины, постановки задач и примеры применения. [[https://github.com/esokolov/ml-course-hse/blob/master/2023-fall/lecture-notes/lecture01-intro.pdf Конспект]] [[https://youtu.be/n_2_eq6Y-c8 Запись лекции]]

'''Лекция 2''' (15 сентября). Линейная регрессия. [[https://github.com/esokolov/ml-course-hse/blob/master/2023-fall/lecture-notes/lecture02-linregr.pdf Конспект]] [[https://youtu.be/n69ER7RJLys Запись лекции]]

'''Лекция 3''' (22 сентября). Обобщающая способность, градиентные методы. [[https://github.com/esokolov/ml-course-hse/blob/master/2023-fall/lecture-notes/lecture03-linregr.pdf Конспект]] [[https://youtu.be/43sSNZPHBxI Запись лекции]]

'''Лекция 4''' (29 сентября). Модификации градиентного спуска, регуляризация. [[https://github.com/esokolov/ml-course-hse/blob/master/2023-fall/lecture-notes/lecture04-linregr.pdf Конспект]] [[https://youtu.be/AJYcKzlFg1A Запись лекции]]

'''Лекция 5''' (6 октября). Регуляризация, разреженные модели, линейная классификация. [[https://github.com/esokolov/ml-course-hse/blob/master/2023-fall/lecture-notes/lecture05-linclass.pdf Конспект]] [[https://youtu.be/TXZsyWq_WKo Запись лекции]]

'''Лекция 6''' (13 октября). Метрики качества классификации. [[https://github.com/esokolov/ml-course-hse/blob/master/2023-fall/lecture-notes/lecture06-linclass.pdf Конспект]] [[https://youtu.be/jNebp1-XxMw Запись лекции]]

'''Лекция 7''' (20 октября). Логистическая регрессия. [[https://github.com/esokolov/ml-course-hse/blob/master/2023-fall/lecture-notes/lecture06-linclass.pdf Конспект]] [[https://www.youtube.com/watch?v=6FAXXihxbRQ Запись лекции]]

'''Лекция 8''' (27 октября). SVM, многоклассовая классификация. [[https://github.com/esokolov/ml-course-hse/blob/master/2023-fall/lecture-notes/lecture07-linclass.pdf Конспект]] [[https://www.youtube.com/watch?v=lTmBBppJGmM Запись лекции]]

'''Лекция 9''' (3 ноября). Решающие деревья. [[https://github.com/esokolov/ml-course-hse/blob/master/2023-fall/lecture-notes/lecture08-trees.pdf Конспект]] [[https://youtu.be/5wvbnQbRS-E Запись лекции]]

'''Лекция 10''' (10 ноября). Решающие деревья, разложение ошибки на смещение и разброс. [[https://github.com/esokolov/ml-course-hse/blob/master/2023-fall/lecture-notes/lecture09-ensembles.pdf Конспект]] [[https://youtu.be/MUSQhD9TLUw Запись лекции]]

'''Лекция 11''' (17 ноября). Бэггинг, градиентный бустинг. [[https://github.com/esokolov/ml-course-hse/blob/master/2023-fall/lecture-notes/lecture10-ensembles.pdf Конспект]] [[https://youtu.be/UxWTb1XDh4c Запись лекции]]

'''Лекция 12''' (24 ноября). Градиентный бустинг. [[https://github.com/esokolov/ml-course-hse/blob/master/2023-fall/lecture-notes/lecture11-ensembles.pdf Конспект]] [[https://www.youtube.com/watch?v=pDxkheswP0w Запись лекции]]

'''Лекция 13''' (15 декабря). Градиентный бустинг. [[https://github.com/esokolov/ml-course-hse/blob/master/2023-fall/lecture-notes/lecture11-ensembles.pdf Конспект]] [[https://youtu.be/zfJ_GFeLGJc Запись лекции]]

== Семинары ==

'''Семинар 1'''. pandas. [[https://github.com/esokolov/ml-course-hse/blob/master/2022-fall/seminars/sem01-pandas.ipynb Ноутбук]]

'''Семинар 2'''. sklearn и линейная регрессия. [[https://github.com/esokolov/ml-course-hse/blob/master/2022-fall/seminars/sem02-sklearn-linregr.ipynb Ноутбук]]

'''Семинар 3'''. Матрично-векторное диффернцирование. [[https://github.com/esokolov/ml-course-hse/blob/master/2022-fall/seminars/sem03-vector-diff.pdf Конспект]]

'''Семинар 4'''. Работа с данными и признаками. [[https://github.com/esokolov/ml-course-hse/blob/master/2022-fall/seminars/sem04-features.ipynb Ноутбук]]

'''Семинар 5'''. Метрики классификации. [[https://github.com/esokolov/ml-course-hse/blob/master/2022-fall/seminars/sem05-linclass-metrics.pdf Конспект]]

'''Семинар 6'''. Калибровка вероятностей. [[https://github.com/esokolov/ml-course-hse/blob/master/2022-fall/seminars/sem06-calibration.ipynb Ноутбук]][[https://github.com/esokolov/ml-course-hse/blob/master/2022-fall/seminars/sem06-probs-quantile.pdf Конспект]]

'''Семинар 7'''. Решающие деревья. [[https://github.com/esokolov/ml-course-hse/blob/master/2022-fall/seminars/sem07-trees.ipynb Ноутбук]][[https://github.com/esokolov/ml-course-hse/blob/master/2022-fall/seminars/sem07-trees.pdf Конспект]]

'''Семинар 8'''. Разложение ошибки на смещение и разброс. [[https://github.com/esokolov/ml-course-hse/blob/master/2022-fall/seminars/sem08-bvd.pdf Конспект]]

'''Семинар 9'''. Градиентный бустинг. [[https://github.com/esokolov/ml-course-hse/blob/master/2022-fall/seminars/sem09-gbm-part1.pdf Конспект]]

'''Семинар 10'''. Виды градиентного бустинга: XGB, LightGBM, CatBoost. [[https://github.com/esokolov/ml-course-hse/blob/master/2022-fall/seminars/sem10-gbm.pdf Конспект]]

'''Семинар 11'''. Кластеризация. [[https://github.com/esokolov/ml-course-hse/blob/master/2022-fall/seminars/sem11_clustering.ipynb Ноутбук]]

'''Семинар 12'''. Методы понижения размерности: PCE, tSNE. [[https://github.com/esokolov/ml-course-hse/blob/master/2022-fall/seminars/sem12-pca.pdf Конспект]][[https://github.com/esokolov/ml-course-hse/blob/master/2022-fall/seminars/sem12_pca_tsne.ipynb Ноутбук]]

== Практические задания ==

'''Задание 1.''' Pandas и распределение студентов ПМИ по элективам.

Мягкий дедлайн: 23:59 02.10.2023

Жесткий дедлайн: 23:59 06.10.2023

[[https://github.com/esokolov/ml-course-hse/blob/master/2023-fall/homeworks-practice/homework-practice-01-pandas.ipynb Ноутбук с заданием]]

'''Задание 2.''' Exploratory Data Analysis и линейная регрессия.

Мягкий дедлайн: 23:59 18.10.2023

Жесткий дедлайн: 23:59 22.10.2023

[[https://github.com/esokolov/ml-course-hse/blob/master/2023-fall/homeworks-practice/homework-practice-02-linregr.ipynb Ноутбук с заданием]]

'''Задание 3.''' Градиентный спуск и линейная регрессия.

Мягкий дедлайн: 23:59 08.11.2023

Жесткий дедлайн: 23:59 12.11.2023

[[https://github.com/esokolov/ml-course-hse/tree/master/2023-fall/homeworks-practice/homework-practice-03-gd Файлы]]

'''Задание 4.''' Классификация и калибровка вероятностей.

Мягкий дедлайн: 23:59 22.11.2023

Жесткий дедлайн: 23:59 26.11.2023

[[https://github.com/esokolov/ml-course-hse/blob/master/2023-fall/homeworks-practice/homework-practice-04-linclass.ipynb Ноутбук с заданием]]

'''Задание 5.''' Решающие деревья.

Мягкий дедлайн: 23:59 12.12.2023

Жесткий дедлайн: 23:59 14.12.2023

[[https://github.com/esokolov/ml-course-hse/tree/master/2023-fall/homeworks-practice/homework-practice-05-trees Файлы]]

== Теоретические домашние задания ==

'''Теоретическое ДЗ 1.''' Линейные модели. [[https://github.com/esokolov/ml-course-hse/blob/master/2023-fall/homeworks-theory/homework-theory-01-linear-models.pdf Задания]]

'''Теоретическое ДЗ 2.''' Матрично-векторное дифференцирование и градиентный спуск. [[https://github.com/esokolov/ml-course-hse/blob/master/2023-fall/homeworks-theory/homework-theory-02-derivatives.pdf Задания]]

'''Теоретическое ДЗ 3.1.''' SVM и логистическая регрессия. [[https://github.com/esokolov/ml-course-hse/blob/master/2023-fall/homeworks-theory/homework-theory-03_part1-logreg-svm.pdf Задания]]

'''Теоретическое ДЗ 3.2.''' Метрики классификации. [[https://github.com/esokolov/ml-course-hse/blob/master/2023-fall/homeworks-theory/homework-theory-03_part2-clf-metrics.pdf Задания]]

== Бонусы за соревнования ==

За успешное участие в соревнованиях по анализу данных могут быть выставлены бонусные баллы, которые можно прибавить к оценке за любое практическое или теоретическое домашнее задание, а также за самостоятельную работу. Под успешным участием понимается попадание в топ-10% мест; если соревнование особо сложное и крупное, может рассматриваться и попадание в топ-20% мест. Конкретное число баллов определяется преподавателями и зависит от сложности соревнования и занятого места. За одно соревнование можно получить не более 5 баллов. Для получения оценки необходимо предоставить краткий отчёт о решении задачи.

== Контрольная работа ==

Контрольная работа состоится 8 декабря на лекции (в 11:10). Продолжительность — 80 минут.

[https://docs.google.com/document/d/1tVLi0Dbkh-PHTvZR4Nn57oJi0Lt6tkkWCaRL32SoQls/edit?usp=sharing Вопросы для подготовки]

[https://github.com/esokolov/ml-course-hse/blob/master/2020-fall/midterm-fall-2020-example.pdf Нулевой вариант]

[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/kr/kr2021-var0.pdf Нулевой вариант с майнора ИАД (попроще, но всё равно полезно прорешать)]

== Экзамен ==

== Полезные материалы ==
===Книги===
* [https://academy.yandex.ru/handbook/ml Учебник по машинному обучению от ШАД]
* Hastie T., Tibshirani R, Friedman J. The Elements of Statistical Learning (2nd edition). Springer, 2009.
* Bishop C. M. Pattern Recognition and Machine Learning. Springer, 2006.
* Mohri M., Rostamizadeh A., Talwalkar A. Foundations of Machine Learning. MIT Press, 2012.
* Murphy K. Machine Learning: A Probabilistic Perspective. MIT Press, 2012.
* Mohammed J. Zaki, Wagner Meira Jr. Data Mining and Analysis. Fundamental Concepts and Algorithms. Cambridge University Press, 2014.
* Willi Richert, Luis Pedro Coelho. Building Machine Learning Systems with Python. Packt Publishing, 2013.

===Курсы по машинному обучению и анализу данных===
* [http://www.machinelearning.ru/wiki/index.php?title=Машинное_обучение_%28курс_лекций%2C_К.В.Воронцов%29 Курс по машинному обучению К.В. Воронцова]
* [https://yandexdataschool.ru/edu-process/courses/machine-learning Видеозаписи лекций курса Школы Анализа Данных, К.В. Воронцов]
* [https://www.coursera.org/specializations/machine-learning-from-statistics-to-neural-networks Coursera: Машинное обучение от статистики до нейросетей (специализация)]
* [https://www.coursera.org/specializations/machine-learning-data-analysis Coursera: Машинное обучение и анализ данных (специализация)]
* [https://www.coursera.org/learn/introduction-machine-learning Coursera: Введение в машинное обучение, К.В. Воронцов]
* [https://openedu.ru/course/hse/INTRML/ Введение в машинное обучение (онлайн-курс НИУ ВШЭ)]

== Страницы предыдущих лет ==
[[Машинное_обучение_1/2022_2023 | 2022/2023 учебный год]]

[[Машинное_обучение_1/2021_2022 | 2021/2022 учебный год]]

[[Машинное_обучение_1/2020_2021 | 2020/2021 учебный год]]

[[Машинное_обучение_1/2019_2020 | 2019/2020 учебный год]]

[[Машинное_обучение_1/2018_2019 | 2018/2019 учебный год]]

[[Машинное_обучение_1/2017_2018 | 2017/2018 учебный год]]

[[Машинное_обучение_1/2016_2017 | 2016/2017 учебный год]]

Глубинное обучение 1 23/24

2023-09-21T10:54:18Z

Nmorozov: Добавлена ссылка

== О курсе ==

Это страничка курсов 2023-2024 года (1-3 модуль 3 курса ПМИ):
* '''Глубинное обучение 1''' (для групп МОП: 211-213)
* '''Введение в глубинное обучение''' (группы 214 (ТИ), 217 (АПР) и 218 (АДИС)).

Курс посвящен глубинному обучению – самой активно развивающейся области машинного обучения. Слушатели курса узнают, какие задачи машинного обучения можно решать с помощью нейронных сетей и какие виды нейронных сетей находят свои применения на сегодняшний день. Курс имеет явную практическую направленность, студентам предлагаются задания на обучение нейронных сетей на фреймворке PyTorch языка программирования Python. В курсе обзорно, но достаточно для ознакомления разбираются задачи на изображения и тексты.

=== Цели освоения курса ===
# Знать принцип работы и уметь обучать следующие виды нейронных сетей: полносвязные, сверточные, рекуррентные, трансформеры.
# Владение фреймворком PyTorch для обучения нейронных сетей.
# Понимание различных задач, которые решаются с применением глубинного обучения.
# Умение обрабатывать данные и составлять пайплайны для обучения нейронных сетей.

== Полезные ссылки ==

* Репозиторий курса: https://github.com/isadrtdinov/intro-to-dl-hse

* Таблица с оценками: https://docs.google.com/spreadsheets/d/1D0m5CFlj6CJPUhYPTsCAhD-euPCV31iZGDnib08SGuI/edit?usp=sharing

* Чат с обсуждением (МОП): +NO2tyNRZtYUyOGRi (добавить после хттпс://т.ме/)

* Чат с обсуждением (не МОП): TBA (добавить после хтппс://т.ме/)

== Преподаватели и ассистенты ==

Лекции (МОП); кому писать, если кажется, что все пропало: [https://t.me/isadrtdinov Ильдус Садртдинов]

{| class="wikitable"
|-
! Группа !! Семинарист !! Ассистенты !! Инвайт в anytask
|-
| 211 || [https://www.hse.ru/org/persons/225560347 Морозов Никита Витальевич] || TBA || TBA
|-
| 212 || TBA || TBA || TBA
|-
| 213 || TBA || TBA || TBA
|-
| ВвГО-1 || TBA || TBA || TBA
|-
| ВвГО-2 || TBA || TBA || TBA
|}

== Формулы оценок ==

=== МОП ===

''Итог'' = ''Округление''(0.3 * БДЗ + 0.25 * МДЗ + 0.15 ПР + 0.3 * Э)

* БДЗ - оценка за большие домашние задания
* МДЗ - оценка за маленькие домашние задания
* ПР - оценка за проверочные работы (проводятся на семинарах)
* Э - оценка за экзамен

Округление арифметическое. Определим накопленную оценку как ''Накоп'' = ''Округление''((0.3 * БДЗ + 0.25 МДЗ + 0.15 * ПР) / 0.7). Если Накоп >= 8, то студент может получить ''Накоп'' в качестве итоговой оценки, не приходя на экзамен.

'''Формат экзамена''': письменный, в аудитории, материалами пользоваться не разрешается, 2 часа.

'''Формат пересдачи''': накопленная оценка сохраняется, формат аналогичен экзамену.

=== Не МОП ===

''Итог'' = ''Округление''(0.7 * МДЗ + 0.3 * ПР)

* МДЗ - оценка за маленькие домашние задания
* ПР - оценка за проверочные работы (проводятся на семинарах)

Округление арифметическое.

'''Формат экзамена''': экзамен не предусмотрен.

'''Формат пересдачи''': досдача МДЗ.

== Лекции ==

=== МОП ===

=== Не МОП ===

== Семинары ==

=== МОП ===

=== Не МОП ===

== Маленькие домашние задания ==

=== МОП ===

=== Не МОП ===

== Большие домашние задания ==

== Теоретические домашние задания ==

Машинное обучение 1/2023 2024

2023-09-12T08:14:48Z

Nmorozov: Добавлена ссылка

Машинное обучение 1/2023 2024

2023-09-08T17:46:32Z

Nmorozov: Добавлена ссылка

Машинное обучение 1/2023 2024

2022-09-04T18:02:29Z

Nmorozov:

== О курсе ==

[[Файл:ML_surfaces.png|280px|borderless|left]]

Курс читается для студентов 3-го курса [https://cs.hse.ru/ami ПМИ ФКН ВШЭ] в 1-2 модулях.

Проводится с 2016 года.

'''Лектор:''' [http://www.hse.ru/staff/esokolov Соколов Евгений Андреевич]

Лекции проходят по пятницам, 11:10 - 12:30, в zoom (https://us06web.zoom.us/j/89165579433?pwd=Y1poSzZjZzN0TEFFTjdLQkxqRUxDZz09).

=== Полезные ссылки ===

[https://www.hse.ru/edu/courses/646510131 Карточка курса и программа]

[https://github.com/esokolov/ml-course-hse Репозиторий с материалами на GitHub]

[https://www.youtube.com/watch?v=OBG6EUSRC9g&list=PLEqoHzpnmTfDwuwrFHWVHdr1-qJsfqCUX Видеозаписи лекций 18/19 года]

Почта для сдачи домашних заданий (на самом деле задания сдаются в AnyTask, но если он не работает, то присылайте на почту): hse.cs.ml+<номер группы>@gmail.com (например, hse.cs.ml+171@gmail.com)

Канал в telegram для объявлений: https://t.me/+oI2qh44oQj82MDEy

Чат в telegram для обсуждений (предназначение чата до конца не ясно, вопросы может быть правильнее задавать в чатах групп): https://t.me/+3BLmxzv63VM0OGMy

Ссылка на курс в Anytask: https://anytask.org/course/???

[https://docs.google.com/spreadsheets/d/1Z-9POgE6dTwtw5lLWf4PmHLux116zh4LCnpk-o0MKhE/edit?usp=sharing Таблица с оценками]

Оставить отзыв на курс: [https://goo.gl/forms/5CddG0gc75VZvqi52 форма]

'''Вопросы''' по курсу можно задавать в телеграм лектору (esokolov@) или семинаристу.
Вопросы по материалам лекций/семинаров и по заданиям лучше всего задавать на [https://github.com/esokolov/ml-course-hse/discussions форуме].

=== Семинары ===

{| class="wikitable"
|-
! Группа !! Преподаватель
|-
| 201 (МОП) ||
|-
| 202 (МОП) || [https://www.hse.ru/staff/esokolov Соколов Евгений Андреевич]
|-
| 203 (МОП) || [https://t.me/Birshert Биршерт Алексей Дмитриевич]
|-
| 204 (ТИ) || [https://t.me/madn_boi Морозов Никита Витальевич]
|-
| 205 (РС) ||
|-
| 206 (РС) ||
|-
| 207 (АПР) ||
|-
| 208 (АДИС) ||
|-
| 209 (МИ) ||
|-
| 2010 (ПР) || [https://t.me/artiloid Щербинин Артем Андреевич]
|-
| ФЭН ||
|}

=== Ассистенты ===

{| class="wikitable"
|-
! Группа !! Ассистент
|-
| 201 (МОП) ||
|-
| 202 (МОП) || [https://t.me/pauchara0 Олег Петров], [https://t.me/fdrose Максим Абрахам]
|-
| 203 (МОП) || [https://t.me/Nikita_Ki33elev Никита Киселев]
|-
| 204 (ТИ) ||
|-
| 205 (РС) ||
|-
| 206 (РС) ||
|-
| 207 (АПР) || [https://t.me/ipomeya31 Александр Плахин], [https://t.me/leksious Алексей Панков]
|-
| 208 (АДИС) ||
|-
| 209 (МИ) ||
|-
| 2010 (ПР) || [https://t.me/zhan2pac Жанту Жуматаев]
|-
| ФЭН || [https://t.me/territhing Сергей Пилипенко], [https://t.me/grandananas Антон Макаров]
|}

=== Правила выставления оценок ===

В курсе предусмотрено несколько форм контроля знания:
* Самостоятельные работы на семинарах, проверяющие знание основных фактов с лекций и семинаров
* Практические домашние работы на Python
* Письменная контрольная работа
* Письменный экзамен

Итоговая оценка вычисляется на основе оценки за работу в семестре и оценки за экзамен:

Итог = Округление(0.15 * ПР + 0.4 * ДЗ + 0.15 * КР + 0.3 * Э)

ПР — средняя оценка за самостоятельные работы на семинарах

ДЗ — средняя оценка за практические домашние работы на Python

КР — оценка за контрольную работу

Э — оценка за экзамен

Округление арифметическое.

=== Правила сдачи заданий ===

За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются. Даже при опоздании на одну секунду. Сдавайте заранее.

Два раза студент может сдать домашнее задание после мягкого дедлайна (но до жёсткого) без штрафов.

При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.

При наличии уважительной причины пропущенную проверочную можно написать позднее, а дедлайн по домашнему заданию может быть перенесён. Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.

== Лекции ==

Ко всем конспектам на GitHub есть исходники. Исправления и дополнения всячески приветствуются!

'''Лекция 1''' (2 сентября). Введение в машинное обучение. Основные термины, постановки задач и примеры применения. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/lecture-notes/lecture01-intro.pdf Конспект]] [[https://youtu.be/-tz5KDMKd4E Запись лекции]]

== Семинары ==

== Практические задания ==

==Теоретические домашние задания==

== Соревнования ==

===Правила участия и оценивания===
В соревновании по анализу данных вам предлагается по имеющимся данным решить некоторую задачу, оптимизируя указанную метрику, и отправить ответы для заданного тестового множества. Максимальное количество посылок в сутки ограничено (как правило, разрешается сделать 2 посылки), ближе к концу соревнования вам будем необходимо выбрать 2 посылки, которые вы считаете лучшими. Тестовые данные делятся на публичные и приватные в некотором соотношении, на основе которых строятся публичный и приватный лидерборды соответственно, при этом публичный лидерборд доступен в течение всего соревнования, а приватный строится после его окончания для выбранных вами посылок.

В лидербордах каждого из соревнований присутствуют несколько базовых решений (бейзлайнов), каждое из которых соответствует определённой оценке. Например, для получения оценки не ниже 8 баллов необходимо, чтобы ваше решение на '''приватном''' лидерборде оказалось лучше соответствующего бейзлайна. Далее для студента, преодолевшего бейзлайн на N_1 баллов, но не преодолевшего бейзлайн на N_2 балла, итоговая оценка за соревнование рассчитывается по равномерной сетке среди всех таких студентов в зависимости от места в приватном лидерборде среди них; если быть точными, то по следующей формуле:

N_2 - (N_2 - N_1) * i / M,

где M — количество студентов (из всех студентов, изучающих курс), преодолевших бейзлайн на N_1 баллов, но не преодолевших бейзлайн на N_2 балла;

i — место (начиная с 1) студента в приватном лидерборде среди всех таких студентов.

Единственное исключение из формулы — студенты, преодолевшие самый сильный бейзлайн, получают прибавку 1/M к своей оценке.

Чтобы вас не пропустили при проверке решений соревнования, '''необходимо''' использовать следующий формат для имени команды (вкладка Team):

«[ПМИ] Имя Фамилия номер_группы»

В течение 3 суток после окончания соревнования в соответствующее задание на anytask необходимо прислать код, воспроизводящий ответы для посылки, фигурирующей в приватном лидерборде. При оформлении кода предполагайте, что данные лежат рядом с ним в папке data, а в результате выполнения кода ответы должны быть записаны в файл solution-N-Username.csv, где N — номер соревнования, Username — ваша фамилия. У нас должна быть возможность запустить код и получить те же ответы, что и в вашей посылке, — в частности, это означает, что:

1. Если вы отправляете файл *.py, мы будем запускать его при помощи команды python *.py в вышеуказанном предположении о местонахождении данных.

2. Если вы отправляете ноутбук *.ipynb, мы последовательно запустим все ячейки ноутбука и будем ожидать в результате его работы формирование файла с ответами.

3. Если вы отправляете код с использованием другого языка программирования, в том же письме направьте нам инструкцию по его запуску с тем, чтобы получить тот же файл с ответами.

В случае отсутствия кода, воспроизводящего результат, в установленный срок студенту выставляется 0 в качестве оценки за соревнование. Студенты, попавшие в топ-3 согласно приватному лидерборду, смогут получить бонусные баллы, если в течение недели после окончания соревнования сдадут в anytask отчет о получении решения, фигурирующего в приватном лидерборде. Если не оговорено иное, использовать любые внешние данные в соревнованиях '''запрещено'''. Под внешними данными понимаются размеченные данные, где разметка имеет прямое отношение к решаемой задаче. Грубо говоря, сборник текстов с википедии не считается внешними данными.

В некоторых соревнованиях данные взяты из завершившегося соревнования на Kaggle.
Категорически запрещено использовать данные из оригинального соревнования для восстановления целевой переменной на тестовой выборке.

== Бонусы за соревнования ==

За успешное участие в соревнованиях по анализу данных могут быть выставлены бонусные баллы, которые можно прибавить к оценке за любое практическое или теоретическое домашнее задание, а также за самостоятельную работу. Под успешным участием понимается попадание в топ-10% мест; если соревнование особо сложное и крупное, может рассматриваться и попадание в топ-20% мест. Конкретное число баллов определяется преподавателями и зависит от сложности соревнования и занятого места. За одно соревнование можно получить не более 5 баллов. Для получения оценки необходимо предоставить краткий отчёт о решении задачи.

== Контрольная работа ==

== Экзамен ==

== Полезные материалы ==
===Книги===
* Hastie T., Tibshirani R, Friedman J. The Elements of Statistical Learning (2nd edition). Springer, 2009.
* Bishop C. M. Pattern Recognition and Machine Learning. Springer, 2006.
* Mohri M., Rostamizadeh A., Talwalkar A. Foundations of Machine Learning. MIT Press, 2012.
* Murphy K. Machine Learning: A Probabilistic Perspective. MIT Press, 2012.
* Mohammed J. Zaki, Wagner Meira Jr. Data Mining and Analysis. Fundamental Concepts and Algorithms. Cambridge University Press, 2014.
* Willi Richert, Luis Pedro Coelho. Building Machine Learning Systems with Python. Packt Publishing, 2013.

===Курсы по машинному обучению и анализу данных===
* [http://www.machinelearning.ru/wiki/index.php?title=Машинное_обучение_%28курс_лекций%2C_К.В.Воронцов%29 Курс по машинному обучению К.В. Воронцова]
* [https://yandexdataschool.ru/edu-process/courses/machine-learning Видеозаписи лекций курса Школы Анализа Данных, К.В. Воронцов]
* [https://www.coursera.org/specializations/machine-learning-from-statistics-to-neural-networks Coursera: Машинное обучение от статистики до нейросетей (специализация)]
* [https://www.coursera.org/specializations/machine-learning-data-analysis Coursera: Машинное обучение и анализ данных (специализация)]
* [https://www.coursera.org/learn/introduction-machine-learning Coursera: Введение в машинное обучение, К.В. Воронцов]
* [https://openedu.ru/course/hse/INTRML/ Введение в машинное обучение (онлайн-курс НИУ ВШЭ)]

== Страницы предыдущих лет ==

[[Машинное_обучение_1/2021_2022 | 2021/2022 учебный год]]

[[Машинное_обучение_1/2020_2021 | 2020/2021 учебный год]]

[[Машинное_обучение_1/2019_2020 | 2019/2020 учебный год]]

[[Машинное_обучение_1/2018_2019 | 2018/2019 учебный год]]

[[Машинное_обучение_1/2017_2018 | 2017/2018 учебный год]]

[[Машинное_обучение_1/2016_2017 | 2016/2017 учебный год]]

Машинное обучение 1/2023 2024

2021-09-07T21:45:50Z

Nmorozov:

== О курсе ==

[[Файл:ML_surfaces.png|280px|borderless|left]]

Курс читается для студентов 3-го курса [https://cs.hse.ru/ami ПМИ ФКН ВШЭ] в 1-2 модулях.

Проводится с 2016 года.

'''Лектор:''' [http://www.hse.ru/staff/esokolov Соколов Евгений Андреевич]

Лекции проходят по пятницам, 11:10 - 12:30, в zoom (https://zoom.us/j/98499384799?pwd=OC9GcFd5QlJkZlA5Uk85SHNVTGxSdz09).

=== Полезные ссылки ===

[https://www.hse.ru/ba/ami/courses/450802413.html Карточка курса и программа]

[https://github.com/esokolov/ml-course-hse Репозиторий с материалами на GitHub]

[https://www.youtube.com/watch?v=OBG6EUSRC9g&list=PLEqoHzpnmTfDwuwrFHWVHdr1-qJsfqCUX Видеозаписи лекций 18/19 года]

Почта для сдачи домашних заданий (на самом деле задания сдаются в AnyTask, но если он не работает, то присылайте на почту): hse.cs.ml+<номер группы>@gmail.com (например, hse.cs.ml+171@gmail.com)

Канал в telegram для объявлений: https://t.me/joinchat/G2T6pB1CgF82NTMy

Чат в telegram для обсуждений (предназначение чата до конца не ясно, вопросы может быть правильнее задавать в чатах групп): https://t.me/joinchat/NRpKJ09prtRlMTli

Ссылка на курс в Anytask: https://anytask.org/course/??

[https://docs.google.com/spreadsheets/d/1_qMPqgcJZEJaiXZpMbjKM0trw_aGkkulrZG7Lq7kjU8/edit?usp=sharing Таблица с оценками]

Оставить отзыв на курс: [https://goo.gl/forms/5CddG0gc75VZvqi52 форма]

'''Вопросы''' по курсу можно задавать в телеграм лектору (esokolov@) или семинаристу.
Вопросы по материалам лекций/семинаров и по заданиям лучше всего задавать на [https://github.com/esokolov/ml-course-hse/discussions форуме].

=== Семинары ===

{| class="wikitable"
|-
! Группа !! Преподаватель
|-
| 191 (МОП) || Хрушков Павел Вадимович
|-
| 192 (МОП) || [https://www.hse.ru/staff/esokolov Соколов Евгений Андреевич]
|-
| 193 (МОП) || [https://www.hse.ru/org/persons/208522505 Садртдинов Ильдус Рустемович]
|-
| 194 (АДИС)|| [https://www.hse.ru/staff/atsvigun Цвигун Аким Олегович]
|-
| 195 (РС) || Каюмов Эмиль Марселевич
|-
| 196 (РС) || Шабалин Александр Михайлович
|-
| 197 (АПР) || [https://www.hse.ru/org/persons/160961881 Глазкова Екатерина Васильевна]
|-
| 198 (ТИ) || [https://www.hse.ru/org/persons/218009880 Ульянкин Филипп] [https://t.me/ppilif @ppilif]
|-
| 199 (МИ) || [https://www.hse.ru/org/persons/160995848/ Семенкин Антон Александрович]
|-
| 1910 (ПР) || [https://www.hse.ru/org/persons/208488544 Биршерт Алексей Дмитриевич]
|-
| ФЭН || [https://www.hse.ru/org/persons/190889495 Зехов Матвей Сергеевич]
|-
| Пермь (БИ) || [https://www.hse.ru/org/persons/343120018 Собянин Кирилл Валентинович]
|-
| Пермь (ПИ) || [https://www.hse.ru/org/persons/343120018 Собянин Кирилл Валентинович]
|}

=== Консультации ===

{| class="wikitable"
|-
! Учебные ассистенты
|-
| [https://t.me/treacker Евгений Шабалин - 191]
|-
| [https://t.me/madn_boi Никита Морозов - 192]
|-
| [https://t.me/artiloid Щербинин Артём - 193]
|-
| [https://t.me/sibsonya Сибагатова Софья - 193]
|-
| [https://t.me/khaykingleb Хайкин Глеб - 194]
|-
| [https://t.me/sol_arch Никита Андреев - 195]
|-
| [https://t.me/sabinadayanova Сабина Даянова - 195]
|-
| [https://t.me/ainmukh Айнур Мухамбетова - 196]
|-
| [https://t.me/daviddramb Драмбян Давид - 198]
|-
| [https://t.me/fdrose Абрахам Максим - 199]
|-
| [https://t.me/naumovanast Наумова Настя - 1910]
|-
| [https://t.me/horror_in_black Коган Саша - 197]
|-
| [https://t.me/lena_rus_21 Русакова Елена]
|}

=== Правила выставления оценок ===

В курсе предусмотрено несколько форм контроля знания:
* Самостоятельные работы на семинарах, проверяющие знание основных фактов с лекций и семинаров
* Практические домашние работы на Python
* Письменная контрольная работа
* Письменный экзамен

Итоговая оценка вычисляется на основе оценки за работу в семестре и оценки за экзамен:

Итог = Округление(0.15 * ПР + 0.4 * ДЗ + 0.15 * КР + 0.3 * Э)

ПР — средняя оценка за самостоятельные работы на семинарах

ДЗ — средняя оценка за практические домашние работы на Python

КР — оценка за контрольную работу

Э — оценка за экзамен

Округление арифметическое.

=== Правила сдачи заданий ===

За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются. Даже при опоздании на одну секунду. Сдавайте заранее. Есть исключение: в течение семестра каждый студент может не более 2 раз сдать задание после жёсткого дедлайна — в этом случае за каждый день просрочки продолжает вычитаться по одному баллу (если не оговорено иное).

При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.

При наличии уважительной причины пропущенную проверочную можно написать позднее, а дедлайн по домашнему заданию может быть перенесён. Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.

== Лекции ==

Ко всем конспектам на GitHub есть исходники. Исправления и дополнения всячески приветствуются!

'''Лекция 1''' (3 сентября). Введение в машинное обучение. Основные термины, постановки задач и примеры применения. [[https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/lecture-notes/lecture01-intro.pdf Конспект]] [[https://youtu.be/HLg4EpeqZP0 Запись лекции]]

== Семинары ==

== Практические задания ==

==Теоретические домашние задания==

Теоретические ДЗ не проверяются, но задачи из них могут войти в проверочные работы на семинарах.

== Соревнования ==

===Правила участия и оценивания===
В соревновании по анализу данных вам предлагается по имеющимся данным решить некоторую задачу, оптимизируя указанную метрику, и отправить ответы для заданного тестового множества. Максимальное количество посылок в сутки ограничено (как правило, разрешается сделать 2 посылки), ближе к концу соревнования вам будем необходимо выбрать 2 посылки, которые вы считаете лучшими. Тестовые данные делятся на публичные и приватные в некотором соотношении, на основе которых строятся публичный и приватный лидерборды соответственно, при этом публичный лидерборд доступен в течение всего соревнования, а приватный строится после его окончания для выбранных вами посылок.

В лидербордах каждого из соревнований присутствуют несколько базовых решений (бейзлайнов), каждое из которых соответствует определённой оценке. Например, для получения оценки не ниже 8 баллов необходимо, чтобы ваше решение на '''приватном''' лидерборде оказалось лучше соответствующего бейзлайна. Далее для студента, преодолевшего бейзлайн на N_1 баллов, но не преодолевшего бейзлайн на N_2 балла, итоговая оценка за соревнование рассчитывается по равномерной сетке среди всех таких студентов в зависимости от места в приватном лидерборде среди них; если быть точными, то по следующей формуле:

N_2 - (N_2 - N_1) * i / M,

где M — количество студентов (из всех студентов, изучающих курс), преодолевших бейзлайн на N_1 баллов, но не преодолевших бейзлайн на N_2 балла;

i — место (начиная с 1) студента в приватном лидерборде среди всех таких студентов.

Единственное исключение из формулы — студенты, преодолевшие самый сильный бейзлайн, получают прибавку 1/M к своей оценке.

Чтобы вас не пропустили при проверке решений соревнования, '''необходимо''' использовать следующий формат для имени команды (вкладка Team):

«[ПМИ] Имя Фамилия номер_группы»

В течение 3 суток после окончания соревнования в соответствующее задание на anytask необходимо прислать код, воспроизводящий ответы для посылки, фигурирующей в приватном лидерборде. При оформлении кода предполагайте, что данные лежат рядом с ним в папке data, а в результате выполнения кода ответы должны быть записаны в файл solution-N-Username.csv, где N — номер соревнования, Username — ваша фамилия. У нас должна быть возможность запустить код и получить те же ответы, что и в вашей посылке, — в частности, это означает, что:

1. Если вы отправляете файл *.py, мы будем запускать его при помощи команды python *.py в вышеуказанном предположении о местонахождении данных.

2. Если вы отправляете ноутбук *.ipynb, мы последовательно запустим все ячейки ноутбука и будем ожидать в результате его работы формирование файла с ответами.

3. Если вы отправляете код с использованием другого языка программирования, в том же письме направьте нам инструкцию по его запуску с тем, чтобы получить тот же файл с ответами.

В случае отсутствия кода, воспроизводящего результат, в установленный срок студенту выставляется 0 в качестве оценки за соревнование. Студенты, попавшие в топ-3 согласно приватному лидерборду, смогут получить бонусные баллы, если в течение недели после окончания соревнования сдадут в anytask отчет о получении решения, фигурирующего в приватном лидерборде. Если не оговорено иное, использовать любые внешние данные в соревнованиях '''запрещено'''. Под внешними данными понимаются размеченные данные, где разметка имеет прямое отношение к решаемой задаче. Грубо говоря, сборник текстов с википедии не считается внешними данными.

В некоторых соревнованиях данные взяты из завершившегося соревнования на Kaggle.
Категорически запрещено использовать данные из оригинального соревнования для восстановления целевой переменной на тестовой выборке.

=== Соревнование 1 ===

== Бонусы за соревнования ==

За успешное участие в соревнованиях по анализу данных могут быть выставлены бонусные баллы, которые можно прибавить к оценке за любое практическое или теоретическое домашнее задание, а также за самостоятельную работу. Под успешным участием понимается попадание в топ-10% мест; если соревнование особо сложное и крупное, может рассматриваться и попадание в топ-20% мест. Конкретное число баллов определяется преподавателями и зависит от сложности соревнования и занятого места. За одно соревнование можно получить не более 5 баллов. Для получения оценки необходимо предоставить краткий отчёт о решении задачи.

== Контрольная работа ==

== Экзамен ==

== Полезные материалы ==
===Книги===
* Hastie T., Tibshirani R, Friedman J. The Elements of Statistical Learning (2nd edition). Springer, 2009.
* Bishop C. M. Pattern Recognition and Machine Learning. Springer, 2006.
* Mohri M., Rostamizadeh A., Talwalkar A. Foundations of Machine Learning. MIT Press, 2012.
* Murphy K. Machine Learning: A Probabilistic Perspective. MIT Press, 2012.
* Mohammed J. Zaki, Wagner Meira Jr. Data Mining and Analysis. Fundamental Concepts and Algorithms. Cambridge University Press, 2014.
* Willi Richert, Luis Pedro Coelho. Building Machine Learning Systems with Python. Packt Publishing, 2013.

===Курсы по машинному обучению и анализу данных===
* [http://www.machinelearning.ru/wiki/index.php?title=Машинное_обучение_%28курс_лекций%2C_К.В.Воронцов%29 Курс по машинному обучению К.В. Воронцова]
* [https://yandexdataschool.ru/edu-process/courses/machine-learning Видеозаписи лекций курса Школы Анализа Данных, К.В. Воронцов]
* [https://www.coursera.org/specializations/machine-learning-from-statistics-to-neural-networks Coursera: Машинное обучение от статистики до нейросетей (специализация)]
* [https://www.coursera.org/specializations/machine-learning-data-analysis Coursera: Машинное обучение и анализ данных (специализация)]
* [https://www.coursera.org/learn/introduction-machine-learning Coursera: Введение в машинное обучение, К.В. Воронцов]
* [https://openedu.ru/course/hse/INTRML/ Введение в машинное обучение (онлайн-курс НИУ ВШЭ)]

== Страницы предыдущих лет ==

[[Машинное_обучение_1/2020_2021 | 2020/2021 учебный год]]

[[Машинное_обучение_1/2019_2020 | 2019/2020 учебный год]]

[[Машинное_обучение_1/2018_2019 | 2018/2019 учебный год]]

[[Машинное_обучение_1/2017_2018 | 2017/2018 учебный год]]

[[Машинное_обучение_1/2016_2017 | 2016/2017 учебный год]]

Алгебра на ПМИ 2020/2021 (основной поток)

2021-04-09T11:45:21Z

Nmorozov:

Telegram-канал: [https://t.me/joinchat/1iz-LkYA2PsxN2Iy ссылка]

= Преподаватели и учебные ассистенты =

{| class="wikitable" style="text-align:center"
|-
! Группа !! БПМИ203 !! БПМИ205 !! БПМИ206 !! БПМИ207 !! БПМИ208 !! БПМИ209 !! БПМИ2010 !! БПМИ2011 !! БПМИ2012
|-
|| Лектор ||colspan="9"| [http://www.hse.ru/org/persons/112929840 Роман Авдеев]
|-
|| Семинарист || [http://www.hse.ru/org/persons/209508745 Дима Трушин] || [http://www.hse.ru/org/persons/112929840 Роман Авдеев] || [http://www.hse.ru/org/persons/65856498 Михаил Федоров] || [http://www.hse.ru/org/persons/63679989 Сергей Гайфуллин] || [http://www.hse.ru/org/persons/112929840 Роман Авдеев] || [http://www.hse.ru/org/persons/224876117 Антон Шафаревич] || [http://www.hse.ru/org/persons/304055991 Юлия Зайцева] || [https://www.hse.ru/org/persons/314158003 Михаил Хрыстик] || [http://www.hse.ru/org/persons/310667694 Артём Максаев]
|-
|| Ассистент || [https://t.me/madn_boi Никита Морозов] || [https://t.me/maxgromovoy Максимилиан Громовой] || [https://t.me/vslvskyy Юлия Василевская] || [https://t.me/dlzxr_yr Елизавета Руденко] || [https://t.me/cdraugr Володя Кузнецов] || [https://t.me/Ir4kgl Ира Голобородько] || Владимир Смурыгин || Арина Голубицкая || Ваге Оганнисян
|}

= Расписание консультаций =

{| class="wikitable"
|-
! !! Преподаватель/ассистент !! понедельник !! вторник !! среда !! четверг !! пятница
|-
| <center>1</center> || Роман Авдеев || || || || ||
|-
| <center>2</center> || Дима Трушин || || || || ||
|-
| <center>3</center> || Михаил Федоров || || || || ||
|-
| <center>4</center> || Сергей Гайфуллин || || || 17:30-18:30 :[https://us02web.zoom.us/j/87083297650?pwd=V3VDTlI0dmlSUnpwcy9Ocnh3QmRsQT09] || ||
|-
| <center>5</center> || Антон Шафаревич || || || || ||
|-
| <center>6</center> || Юлия Зайцева || || || || ||
|-
| <center>7</center> || Михаил Хрыстик || || || || ||
|-
| <center>8</center> || Артём Максаев || || || || ||
|-
| <center>9</center> || Никита Морозов || style="text-align:center;" colspan="5" | По договорённости, пишите в [https://t.me/madn_boi тг]
|-
| <center>10</center> || Максимилиан Громовой || || || || ||
|-
| <center>11</center> || Юлия Василевская || style="text-align:center;" colspan="5" | По договорённости, пишите в [https://t.me/vslvskyy тг]
|-
| <center>12</center> || Елизавета Руденко || style="text-align:center;" colspan="5" | По договорённости, пишите в [https://t.me/dlzxr_yr тг]
|-
| <center>13</center> || Володя Кузнецов || style="text-align:center;" colspan="5" | По договорённости, пишите в лс.
|-
| <center>14</center> || Ирина Голобородько || || || || ||
|-
| <center>15</center> || Владимир Смурыгин || || || || ||
|-
| <center>16</center> || Арина Голубицкая || || || || ||
|-
| <center>17</center> || Ваге Оганнисян || || || || ||
|}

= Порядок формирования оценок =

Итоговая оценка вычисляется следующим образом:

O<sub>итоговая</sub> = 0,3 * О<sub>дз</sub> + 0,2*О<sub>к/р</sub> + 0,5*О<sub>экз</sub>.

Округление производится только для итоговой оценки. Способ округления — арифметический.

= Краткое содержание лекций =

'''Лекция 1''' (7.04.2021) [[https://www.youtube.com/watch?v=ih3mkBwy_Zw '''видеозапись'''], [https://www.dropbox.com/s/79zhh8qzdqfvlkh/A_20-21_osn_Lecture01.svg?dl=0 '''снимок доски'''], [https://www.dropbox.com/s/de3iwuv5vowf8t7/A_Lec01_2021-04-07.pdf?dl=0 '''слайды''']]. Бинарные операции. Полугруппы, моноиды, группы, коммутативные (абелевы) группы. Порядок группы. Примеры групп. Подгруппы. Описание всех подгрупп в группе целых чисел по сложению. Циклические подгруппы. Порядок элемента группы. Связь между порядком элемента и порядком порождаемой им циклической подгруппы. Циклические группы. Левые смежные классы группы по подгруппе.

[https://www.dropbox.com/s/vlt0r9ui9s0jvfv/A_20-21_Groups.pdf?dl=0 '''Конспект, включающий в себя содержание лекции 1''']

= Листки с задачами =

Листок с задачами к лекции N содержит в себе N-е домашнее задание.

[https://www.dropbox.com/s/n8412mxoc7m6h0o/A_20-21_Stream2_Problems01.pdf?dl=0 '''Задачи к лекции 1''']

= Контрольная работа =

= Экзамен =

Формат экзамена: устный, по билетам

= Ведомости текущего контроля =

{| class="wikitable" style="text-align:center"
|-
! [https://docs.google.com/spreadsheets/d/18Xuc1kmXHrZnjUovMsHHkpMokykGTqBTu5Pulvrahx0/edit#gid=1697515667 203] !! [https://docs.google.com/spreadsheets/d/18Xuc1kmXHrZnjUovMsHHkpMokykGTqBTu5Pulvrahx0/edit#gid=816668604 205] !! [https://docs.google.com/spreadsheets/d/18Xuc1kmXHrZnjUovMsHHkpMokykGTqBTu5Pulvrahx0/edit#gid=458782119 206] !! [https://docs.google.com/spreadsheets/d/18Xuc1kmXHrZnjUovMsHHkpMokykGTqBTu5Pulvrahx0/edit#gid=1181982027 207] !! [https://docs.google.com/spreadsheets/d/18Xuc1kmXHrZnjUovMsHHkpMokykGTqBTu5Pulvrahx0/edit#gid=2074432488 208] !! [https://docs.google.com/spreadsheets/d/18Xuc1kmXHrZnjUovMsHHkpMokykGTqBTu5Pulvrahx0/edit#gid=1003272547 209] !! [https://docs.google.com/spreadsheets/d/18Xuc1kmXHrZnjUovMsHHkpMokykGTqBTu5Pulvrahx0/edit#gid=658286564 2010] !! [https://docs.google.com/spreadsheets/d/18Xuc1kmXHrZnjUovMsHHkpMokykGTqBTu5Pulvrahx0/edit#gid=834516625 2011] !! [https://docs.google.com/spreadsheets/d/18Xuc1kmXHrZnjUovMsHHkpMokykGTqBTu5Pulvrahx0/edit#gid=1692194870 2012]
|}

= Литература =

* Э.Б. Винберг. Курс алгебры. М.: Факториал Пресс, 2002.
* А.И. Кострикин. Введение в алгебру. Основы алгебры. М.: Наука. Физматлит, 1994.
* А.И. Кострикин. Введение в алгебру. Основные структуры алгебры. М.: Наука. Физматлит, 2000.
* Сборник задач по алгебре под редакцией А.Н. Кострикина. Новое издание. М.: МЦНМО, 2009.
* Р. Лидл, Г. Нидеррайтер. Конечные поля (2 тома). М.: Мир, 1988.
* И.В. Аржанцев. Базисы Грёбнера и системы алгебраических уравнений. М.: МЦНМО, 2003.

Алгебра на ПМИ 2020/2021 (основной поток)

2021-04-02T22:03:36Z

Nmorozov: Добавлены контакты

Telegram-канал: [https://t.me/joinchat/1iz-LkYA2PsxN2Iy ссылка]

= Преподаватели и учебные ассистенты =

{| class="wikitable" style="text-align:center"
|-
! Группа !! БПМИ203 !! БПМИ205 !! БПМИ206 !! БПМИ207 !! БПМИ208 !! БПМИ209 !! БПМИ2010 !! БПМИ2011 !! БПМИ2012
|-
|| Лектор ||colspan="9"| [http://www.hse.ru/org/persons/112929840 Роман Авдеев]
|-
|| Семинарист || [http://www.hse.ru/org/persons/209508745 Дима Трушин] || [http://www.hse.ru/org/persons/112929840 Роман Авдеев] || [http://www.hse.ru/org/persons/65856498 Михаил Федоров] || [http://www.hse.ru/org/persons/63679989 Сергей Гайфуллин] || [http://www.hse.ru/org/persons/112929840 Роман Авдеев] || [http://www.hse.ru/org/persons/224876117 Антон Шафаревич] || [http://www.hse.ru/org/persons/304055991 Юлия Зайцева] || [https://www.hse.ru/org/persons/314158003 Михаил Хрыстик] || [http://www.hse.ru/org/persons/310667694 Артём Максаев]
|-
|| Ассистент || Никита Морозов || Максимилиан Громовой || [https://t.me/vslvskyy Юлия Василевская] || Елизавета Руденко || [https://t.me/cdraugr Володя Кузнецов] || Ирина Голобородько || Владимир Смурыгин || Арина Голубицкая || Ваге Оганнисян
|}

= Расписание консультаций =

{| class="wikitable"
|-
! !! Преподаватель/ассистент !! понедельник !! вторник !! среда !! четверг !! пятница
|-
| <center>1</center> || Роман Авдеев || || || || ||
|-
| <center>2</center> || Дима Трушин || || || || ||
|-
| <center>3</center> || Михаил Федоров || || || || ||
|-
| <center>4</center> || Сергей Гайфуллин || || || || ||
|-
| <center>5</center> || Антон Шафаревич || || || || ||
|-
| <center>6</center> || Юлия Зайцева || || || || ||
|-
| <center>7</center> || Михаил Хрыстик || || || || ||
|-
| <center>8</center> || Артём Максаев || || || || ||
|-
| <center>9</center> || Никита Морозов || style="text-align:center;" colspan="5" | По договорённости, пишите в [https://t.me/madn_boi тг]
|-
| <center>10</center> || Максимилиан Громовой || || || || ||
|-
| <center>11</center> || Юлия Василевская || style="text-align:center;" colspan="5" | По договорённости, пишите в [https://t.me/vslvskyy тг]
|-
| <center>12</center> || Елизавета Руденко || || || || ||
|-
| <center>13</center> || Володя Кузнецов || style="text-align:center;" colspan="5" | По договорённости, пишите в лс.
|-
| <center>14</center> || Ирина Голобородько || || || || ||
|-
| <center>15</center> || Владимир Смурыгин || || || || ||
|-
| <center>16</center> || Арина Голубицкая || || || || ||
|-
| <center>17</center> || Ваге Оганнисян || || || || ||
|}

= Порядок формирования оценок =

Итоговая оценка вычисляется следующим образом:

O<sub>итоговая</sub> = 0,3 * О<sub>дз</sub> + 0,2*О<sub>к/р</sub> + 0,5*О<sub>экз</sub>.

Округление производится только для итоговой оценки. Способ округления — арифметический.

= Краткое содержание лекций =

= Листки с задачами =

Листок с задачами к лекции N содержит в себе N-е домашнее задание.

= Контрольная работа =

= Экзамен =

Формат экзамена: устный, по билетам

= Ведомости текущего контроля =

{| class="wikitable" style="text-align:center"
|-
! [https://docs.google.com/spreadsheets/d/18Xuc1kmXHrZnjUovMsHHkpMokykGTqBTu5Pulvrahx0/edit#gid=1697515667 203] !! [https://docs.google.com/spreadsheets/d/18Xuc1kmXHrZnjUovMsHHkpMokykGTqBTu5Pulvrahx0/edit#gid=816668604 205] !! [https://docs.google.com/spreadsheets/d/18Xuc1kmXHrZnjUovMsHHkpMokykGTqBTu5Pulvrahx0/edit#gid=458782119 206] !! [https://docs.google.com/spreadsheets/d/18Xuc1kmXHrZnjUovMsHHkpMokykGTqBTu5Pulvrahx0/edit#gid=1181982027 207] !! [https://docs.google.com/spreadsheets/d/18Xuc1kmXHrZnjUovMsHHkpMokykGTqBTu5Pulvrahx0/edit#gid=2074432488 208] !! [https://docs.google.com/spreadsheets/d/18Xuc1kmXHrZnjUovMsHHkpMokykGTqBTu5Pulvrahx0/edit#gid=1003272547 209] !! [https://docs.google.com/spreadsheets/d/18Xuc1kmXHrZnjUovMsHHkpMokykGTqBTu5Pulvrahx0/edit#gid=658286564 2010] !! [https://docs.google.com/spreadsheets/d/18Xuc1kmXHrZnjUovMsHHkpMokykGTqBTu5Pulvrahx0/edit#gid=834516625 2011] !! [https://docs.google.com/spreadsheets/d/18Xuc1kmXHrZnjUovMsHHkpMokykGTqBTu5Pulvrahx0/edit#gid=1692194870 2012]
|}

= Литература =

* Э.Б. Винберг. Курс алгебры. М.: Факториал Пресс, 2002.
* А.И. Кострикин. Введение в алгебру. Основы алгебры. М.: Наука. Физматлит, 1994.
* А.И. Кострикин. Введение в алгебру. Основные структуры алгебры. М.: Наука. Физматлит, 2000.
* Сборник задач по алгебре под редакцией А.Н. Кострикина. Новое издание. М.: МЦНМО, 2009.
* Р. Лидл, Г. Нидеррайтер. Конечные поля (2 тома). М.: Мир, 1988.
* И.В. Аржанцев. Базисы Грёбнера и системы алгебраических уравнений. М.: МЦНМО, 2003.