Wiki - Факультет компьютерных наук - Вклад [ru]

Математическая статистика 25/26

2026-01-22T00:07:11Z

Bdemeshev: /* Преподаватели и учебные ассистенты */

== Преподаватели и учебные ассистенты ==

{| class="wikitable" style="text-align:center"
|-
! Группы !! БПИ241 !! [https://t.me/+6UFjwH2hNlkyZGNi БПИ242] !! БПИ243 !! БПИ244 !! БПИ245 !! БПИ246!! БПИ247 !! БПИ248 !! БПИ249
|-
|| Лектор ||colspan="9"| [mailto:ssemakov@hse.ru Семаков Сергей Львович]

|-
|| Семинарист || [mailto:ssemakov@hse.ru Семаков Сергей Львович] || [https://t.me/boris_demeshev Демешев Борис Борисович] || [mailto:gzhukova@hse.ru Жукова Галина Николаевна] || [mailto:abulychev@hse.ru Булычев Александр Викторович] || [mailto:abulychev@hse.ru Булычев Александр Викторович] || [mailto:shaikhelislamov@hse.ru Шайхелисламов Данил Салаватович] || [mailto:gzhukova@hse.ru Жукова Галина Николаевна] || [mailto:gzhukova@hse.ru Жукова Галина Николаевна] || [mailto:gzhukova@hse.ru Жукова Галина Николаевна]
|-
|| Ассистенты || [https://t.me/aimelechka Пекерская Даниэла] || [https://t.me/wttrmanya Языкова Мария] || [https://t.me/matveipasynkov Матвей Пасынков] || [https://t.me/vilina4ka Ольховская Вилина] || [https://t.me/Voiakin_07 Воякин Кирилл] || [https://t.me/anechka_shv Шварева Анна] || [https://t.me/Nk_cell_nk Сериков Артем] || [https://t.me/ifdeifde Фролов Иван ] || [https://t.me/ifdeifde Фролов Иван]

|}

== Содержание лекций ==
Лекция 1: https://disk.360.yandex.ru/i/fEGbKPO1I_LPjg

== Домашние задания ==

== Контрольная работа ==

== Коллоквиум ==

== Экзамен ==

== Программа курса ==
1 Задачи математической статистики. Генеральная и выборочная
совокупности, числовые характеристики выборки, гистограмма.

2 Эмпирическая функция распределения и её свойства.

3 Точечные оценки неизвестных параметров распределений. Свойства
несмещённости, эффективности и состоятельности точечных оценок.

4 Точечные оценки неизвестного математического ожидания (выборочное
среднее) и неизвестной дисперсии (выборочная дисперсия) и их
свойства.

5 Метод моментов нахождения точечных оценок и примеры его
использования.

6 Метод максимального правдоподобия нахождения точечных оценок и
примеры его использования.

7 Неравенство Рао-Крамера. Информация Фишера.

8 Интервальная оценка неизвестных параметров распределения, понятие
доверительного интервала и доверительной вероятности (надёжности)
оценки.

9 Интервальные оценки неизвестного математического ожидания
нормального распределения а) при известной дисперсии, б) при
неизвестной дисперсии. Интервальные оценки неизвестной дисперсии
нормального распределения.

10.Проверка статистических гипотез об определённых значениях
неизвестных параметров распределений.

11.Проверка статистических гипотез о виде неизвестного закона
распределения.

12.Линейная регрессия и метод наименьших квадратов.

13.Начальное представление о случайных процессах.

== Критерии оценки ==
Формула оценки: посещаемость и активность на семинарах (5 баллов),
четыре домашних задания по 4 балла за каждое (т. е. всего 16 баллов),
практическое задание (5 баллов), контрольная работа (19 баллов), коллоквиум
(20 баллов), экзамен (35 баллов).

== Литература ==

1 Гнеденко Б. В. Курс теории вероятностей. М.: Наука, 1988.1

2 Колмогоров А. Н. Основные понятия теории вероятностей. М.: Наука,
1974.1

3 Феллер В. Введение в теорию вероятностей и её приложения, в 2-х
томах. М.: Мир, 1984.1

4 Розанов Ю. А. Теория вероятностей, случайные процессы и
математическая статистика. М.: Наука, 1985.1

5 Прохоров Ю. В., Прохоров А. В. Курс лекций по теории вероятностей и
математической статистике. М.: МЦНМО, 2019

6 Ивченко Г. И., Медведев Ю. И. Математическая статистика. М.: Высшая
школа, 1984.1

7 Семаков С. Л. Элементы теории вероятностей и случайных процессов.
М.: Физматлит, 2011

8 Боровков А. А. Математическая статистика. М.: Физматлит, 2007

9 Беляев Ю. К., Носко В. П. Основные понятия и задачи математической
статистики. М.: МГУ, 1998

10 Семаков С.Л. Выбросы случайных процессов. М.: Наука, 2005

'''''Примечание 1.''''' ''Может быть использовано любое более позднее издание книги, выпущенное, в том
числе, и другим издательством.''

Icef-scalc-2025-fall

2025-11-06T13:01:07Z

Bdemeshev: Новая страница: «[https://github.com/bdemeshev/icef_stochastic_exams/raw/main/matek2_collection.pdf Past exams collection] [... home assignments (soon!)] [https://e.pcloud.link/…»

[https://github.com/bdemeshev/icef_stochastic_exams/raw/main/matek2_collection.pdf Past exams collection]

[... home assignments (soon!)]

[https://e.pcloud.link/publink/show?code=kZbnLxZRbpecJJEllyOBF5MteH5GpEAme07 Video recordings: fall 2024]

[https://github.com/bdemeshev/icef_stochastic_2024_2025/tree/main/course_notes Course notes: fall 2024] by Sofia Sobina

Lecturer: Boris Demeshev

Assistant: Ivan Gordeev

Grading:

Final grade = Stochastic calculus home assignment * 0.05 + December Exam * 0.35 + First module grade * 0.6

Schedule:

Week 1. Sigma algebras, conditional expected value.

Week 2. Conditional variance, martingales, stopping times.

Week 3. Doob's theorem, ABRACADABRA, Wiener process.

Week 4. Stochastic integral: intuition.

Week 5. Stochastic integral: properties, Ito's lemma.

Week 6. Option pricing: binomial, Black and Scholes model.

Week 7. QA.

Sources of wisdom:

Brzezniak, Zastawniak, Basic [https://ia803404.us.archive.org/17/items/0264-pdf-basic-stochastic-processes-a-course-through-exercises-z.-brzezniak-t.-z/0264%20pdf%20Basic%20Stochastic%20Processes%20-%20A%20Course%20Through%20Exercises%20-%20Z.%20Brzezniak%2C%20T.%20Zastawniak%20%28Springer%2C%202002%29%20WW.pdf Stochastic Processes]

Steven Shreve, Stochastic Calculus for Finance: [https://files.owenoertell.com/textbooks/finance/stochCal2-shreve.pdf volume II] and [https://files.owenoertell.com/textbooks/finance/stochCal1-shreve.pdf volume I]

Michael Steele, [https://ia801209.us.archive.org/22/items/derivatives_books/Stochastic%20Calculus%20_%20Financial%20Applications%20-%20J.%20M.%20Steele.pdf Stochastic Calculus] with Financial Applications

Past iterations of the course:

[http://wiki.cs.hse.ru/Icef-scalc-2023-fall Wiki 2024 fall]

[http://wiki.cs.hse.ru/Icef-scalc-2023-fall Wiki 2023 fall]

[http://wiki.cs.hse.ru/Icef-scalc-2022-fall Wiki 2022 fall]

Wiki ФКН

2025-11-06T12:58:31Z

Bdemeshev:

__NOTOC__
= Учебные курсы факультета компьютерных наук =

{| class="wikitable"
|-
! colspan="2" | <div style="text-align: center;">'''Навигация'''</div>
|-
! [[#bachelors|Курсы бакалавриата ФКН]]
| <div style="text-align:center">[[#AMI|ПМИ]] · [[#SE|ПИ]] · [[#DSBA|ПАД]] · [[#compds|КНАД]] · [[#EDA|ЭАД]] · [[#DRIP|ДРИП]] · [[#electives|майноры и факультативы]]</div>
|-
! colspan="2" | [[#DataCulture|Курсы в рамках проекта Data Culture]] · [[#masters|Курсы магистратуры ФКН]] · [[#other|Курсы других факультетов]] · [[#archive|Архив]]
|}

== <span id="bachelors">Курсы за 2025/26 учебный год</span> ==
{| class="wikitable courses"
|-

! width="21%" | 1 курс !! width="21%" | 2 курс !! width="21%" | 3 курс !! width="21%" | 4 курс !! rowspan="2" | '''<span id="electives">майноры и факультативы</span>'''
|-
| colspan="4" style="text-align: center;" | '''<span id="AMI">ПМИ</span>'''
|-
|

'''М+'''

[[Линейная_алгебра_и_геометрия_на_ПМИ_2025/2026_(пилотный_поток) | Линейная алгебра и геометрия (пилотный поток)]]

[[Математический_анализ_1_2025/26_(пилотный_поток) | Математический анализ-1 (пилотный поток)]]

[[Дискретная математика_на_ПМИ_2025/2026_(пилотный_поток) | Дискретная математика (пилотный поток)]]

'''М'''

[[Линейная_алгебра_и_геометрия_на_ПМИ_2025/2026_(основной_поток) | Линейная алгебра и геометрия (основной поток)]]

[[Математический_анализ_1_2025/26_(основной_поток) | Математический анализ-1 (ПМИ основной поток)]]

[[DM1PMIbase-2025-26 | Дискретная математика (ПМИ основной поток)]]

'''П'''

[[Язык программирования Python 2025/26 (основной поток) ]]

[[Алгоритмы и структуры данных 1 (основной поток) (2 модуль) 2025/2026]]

'''П+'''

[[Язык программирования C++ (пилотный поток) ]]

[[Алгоритмы и структуры данных пилотный поток 2025/2026 | Алгоритмы и структуры данных (пилотный поток)]]

||

'''М+'''

[[Математический_Анализ_2_на_ПМИ_2025/26_(пилотный_поток) | Математический анализ 2 (пилотный поток)]]

[[Теория_вероятностей_2025/26_(пилотный_поток) | Теория вероятностей (пилотный поток)]]

'''М'''

[[Теория_вероятностей_на_ПМИ_2025/2026_(основной_поток) | Теория вероятностей (основной поток)]]

[[Математический_анализ_-_2_(основной_поток)_ПМИ_и_ЭАД_2025/2026 | Математический анализ-2 (ПМИ + ЭАД)]]

 

'''П'''

[[Язык_программирования_Python_(углубленный_курс) | Язык программирования Python (углубленный курс)]]
 

[[CAOS-2025/26 | Архитектура компьютеров и операционные системы]]

[[Алгоритмы_и_структуры_данных_2_2025/26 | Алгоритмы и структуры данных 2 2025/26]]

||

[[ PE101-25-26 | Performance engineering 101 ]]

[[Функциональное_программирование_2025/2026 | Функциональное программирование]]

[[ Основы_тензорных_вычислений_(2025/26) | Основы тензорных вычислений ]]

[[Глубинное обучение 1 25/26 | Введение в глубинное обучение]]

[[ Types_25 | Типы в языках программирования ]]

[[ Безопасность_компьютерных_систем_25/26 | Безопасность компьютерных систем ]]

'''ПМИ / МОП'''

[[Машинное_обучение_1_25/26 | Машинное обучение 1]]

[[Математическая_статистика_2_2025/2026 | Математическая статистика 2]]

[[ML_Research_Seminar_1 | НИС Машинное Обучение и Приложения 1]]

'''ПМИ / РС'''

[https://docs.google.com/document/d/1sHfi9_m4hx4y0iIgQEueMCr4qokLxh2Bvyzw_MdE2iI/edit?usp=sharing Распределенные системы]

[https://docs.google.com/document/d/1Hqu7iVY0FpYVujjNpIClkIMOQy32YWJpJHZKPSrOtmA/edit?usp=sharing НИС Распределенные системы]

'''ПМИ / ТИ'''

[[ NIS-TCS-25-26 | НИС Теоретическая информатика ]]

 

||

[[ PE101-25-26 | Performance engineering 101 ]]

[http://wiki.cs.hse.ru/%D0%93%D0%B5%D0%BD%D0%B5%D1%80%D0%B0%D1%82%D0%B8%D0%B2%D0%BD%D1%8B%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8_%D0%BD%D0%B0_%D0%BE%D1%81%D0%BD%D0%BE%D0%B2%D0%B5_%D0%B4%D0%B8%D1%84%D1%84%D1%83%D0%B7%D0%B8%D0%B8_(25/26) Генеративные модели на основе диффузии 25/26]

[[Большие_языковые_модели_25_26 | Большие языковые модели]]

[[Theory_of_computation_2025 | Theory of computation]]

[[Statistical_learning_theory_2025 | Statistical learning theory]]

'''ПМИ / МОП'''

[http://wiki.cs.hse.ru/%D0%93%D0%BB%D1%83%D0%B1%D0%B8%D0%BD%D0%BD%D0%BE%D0%B5_%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B5_2_2025 Глубинное обучение 2]

[[ML_Research_Seminar_2 | НИС Машинное Обучение и Приложения 2]]

'''ПМИ / РС'''

[https://docs.google.com/document/d/1Q2gx-6ugSi9intAW6ZSsLZNrEvl7S5ClyAhn8EjJnRM/edit?usp=sharing НИС Распределенные системы 2]

'''ПМИ / ТИ'''

[[ NIS-TCS-25-26 | НИС Теоретическая информатика ]]

[[ OWF-25-26 | Односторонние функции и их применения ]]

 

| rowspan="11" |


[[Майнор_Биоинформатика_1_год_2025/26|Биоинформатика 1 год 2025/26]]

[[Майнор_Биоинформатика_2_год_2025/26|Биоинформатика 2 год 2025/26]]

[[Введение_в_программирование_25/26|Введение в программирование. Питон 25/26]]

[[Введение_в_базы_данных_25/26|Введение в базы данных 25/26]]

[[Основы_глубинного_обучения_25/26|Основы глубинного обучения 25/26]]

[[Kolmogorov_complexity_fall2025|Introduction to Kolmogorov complexity]]

|-
| colspan="4" style="text-align: center;" | '''<span id="SE">ПИ</span>'''
|-
|

[[Алгебра_ПИ_2025-2026|Алгебра 25/26]]

[[Дискретная_математика_25/26|Дискретная математика 25/26]]

[[Математический_анализ_25/26|Математический анализ 25/26]]

|
[[НИС_Методы_и_алгоритмы_защиты_информации_25/26|НИС Методы и алгоритмы защиты информации 25/26]]

[[Теория_вероятностей_25/26|Теория вероятностей 25/26]]
|
 

||
 

|-
| colspan="4" style="text-align: center;" | '''<span id="DSBA">ПАД</span>'''
|-
|
'''1st year DSBA 2025/2026'''

[[Calculus 1 DSBA 2025/2026 | Calculus 1 (modules 1-4)]]

[[C++ Programming Language DSBA 2025/2026 | C++ Programming Language (modules 1-3)]]

[[English DSBA 2025/2026 | English Language (modules 1-4)]]

[[LAaG DSBA 2025/2026 | Linear Algebra and Geometry (modules 1-4)]]

[[Discrete Mathematics 1 DSBA 2025/2026 | Discrete Mathematics 1 (modules 1-3)]]

[[Russian History DSBA 2025/2026 | Russian History (modules 1-4)]]

[[Economics DSBA 2025/2026 | Economics (modules 2-3)]]

[[Foundations of Russian Statehood DSBA 2025/2026 | Foundations of Russian Statehood (module 3)]]

[[Algebra DSBA 2025/2026 | Algebra (module 4)]]

[[Algorithms and Data Structures 1 DSBA 2025/2026 | Algorithms and Data Structures 1 (module 4)]]

[[Python for Data Science DSBA 2025/2026 | Python for Data Science (module 4)]]

||
'''2nd year DSBA 2025/2026'''

[[Algorithms and Data Structures DSBA 2025/2026 | Algorithms and Data Structures (modules 1-3)]]

[[Discrete Mathematics 2 DSBA 2025/2026 | Discrete Mathematics 2 (modules 1-2)]]

[[Calculus 2 DSBA 2025/2026 | Calculus 2 (modules 1-2)]]

[[Probability Theory DSBA 2025/2026 | Probability Theory (modules 1-2)]]

[[Introduction to Micro and Macroeconomics DSBA 2025/2026 | Introduction to Micro and Macroeconomics (modules 1-4)]]

[[Computer Architecture and Operating Systems DSBA 2025/2026 | Computer Architecture and Operating Systems (modules 3-4)]]

[[Mathematical Statistics DSBA 2025/2026 | Mathematical Statistics (modules 3-4)]]

[[Machine Learning 1 DSBA 2025/2026 modules 3-4 | Machine Learning 1 (modules 3-4)]]

[[Differential Equations DSBA 2025/2026 | Differential Equations (modules (3-4)]]

'''Minors'''

[[Business and Management in Global Context DSBA 2025/2026 | Business and Management in Global Context (modules 1-4)]]

[[Introduction to Finance DSBA 2025/2026 | Introduction to Finance (modules 1-4)]]

||
'''3rd year DSBA 2025/2026'''

[[Databases DSBA 2025/2026 | Databases (modules 1-2)]]

[[Optimization Methods DSBA 2025/2026 | Optimization Methods (modules 1-2)]]

[[Machine Learning 1 DSBA 2025/2026 | Machine Learning 1 (modules 1-2)]]

[[Stochastic processes and applications DSBA 2025/2026 | Stochastic processes and applications (modules 1-2)]]

[[Time Series Analysis DSBA 2025/2026 | Time Series Analysis (modules 3-4)]]

[[Deep Learning DSBA 2025/2026 | Deep Learning (modules 3-4)]]

'''Minors'''

[[Introduction to Entrepreneurship DSBA 2025/2026 | Introduction to Entrepreneurship (business minor, modules 1-2)]]

[[Information Systems Management DSBA 2025/2026 | Information Systems Management (business minor, modules 3-4)]]

[[Econometrics DSBA 2025/2026 | Elements of Econometrics (finance minor, modules 1-4)]]

'''Specialization Data Science in Business'''

[[Research Seminar "Data Analysis in Business" DSBA 2025/2026 | Research Seminar "Data Analysis in Business“ (modules 1-4)]]

[[Data Analysis in Business DSBA 2025/2026 | Data Analysis in Business (modules 1-2)]]

[[Investment Management for Business DSBA 2025/2026 | Investment Management for Business (modules 3-4)]]

'''Specialization Data Science in Finance'''

[[Research Seminar "Data Science in Financial Economics" DSBA 2025/2026 | Research Seminar "Data Science in Financial Economics" (modules 1-4)]]

[[Financial Mathematics DSBA 2025/2026 | Financial Mathematics (modules 1-2)]]

[[Risk Management in Bank DSBA 2025/2026 | Risk Management in Bank (modules 3-4)]]

'''Specialization Data Analysis in Applied Research'''

[[Research Seminar "Data Science in Applied Research" DSBA 2025/2026 | Research Seminar "Data Science in Applied Research" (modules 1-4)]]

[[Methods of Mathematical Modeling DSBA 2025/2026 | Methods of Mathematical Modeling (modules 1-2)]]

[[Applied Statistics for Machine Learning DSBA 2025/2026 | Applied Statistics for Machine Learning (modules 3-4)]]

'''Electives (modules 3-4)'''

[[Operations Research and Game Theory DSBA 2025/2026 | Operations Research and Game Theory]]

[[Advanced Statistical Methods DSBA 2025/2026 | Advanced Statistical Methods]]

[[Recommender Systems DSBA 2025/2026 | Recommender Systems]]

||
'''4th year DSBA 2025/2026'''

[[Strategy DSBA 2025/2026 | Strategy (modules 1-3)]]

[[Statistical Methods for Market Research DSBA 2025/2026 | Statistical Methods for Market Research (modules 2-3)]]

'''Electives block 1 (modules 1-3)'''

[[Core Management Concepts DSBA 2025/2026 | Core Management Concepts]]

[[Asset Pricing and Financial Markets DSBA 2025/2026 | Asset Pricing and Financial Markets]]

'''Electives block 2 (modules 1-2)'''

[[Introduction to the Study of Language for Computer Scientists DSBA 2025/2026 | Introduction to the Study of Language for Computer Scientists]]

[[Quantitative Finance DSBA 2025/2026 | Quantitative Finance]]

[[Information Security Risk Management DSBA 2025/2026 | Information Security Risk Management]]

[[Generative Models in Machine Learning DSBA 2025/2026 | Generative Models in Machine Learning]]

[[Natural Language Processing DSBA 2025/2026 | Natural Language Processing]]

'''Electives block 3 (module 3)'''

[[Information Systems DSBA 2025/2026 | Information Systems]]

[[Cоmputer Vision DSBA 2025/2026 | Cоmputer Vision]]

'''Research Seminar Electives (modules 1-3)'''

[[Research Seminar "Data Analysis in the Natural Sciences" DSBA 2025/2026 | Research Seminar "Data Analysis in the Natural Sciences"]]

[[Research Seminar "Data Science in Financial Markets" DSBA 2025/2026 | Research Seminar "Data Science in Financial Markets"]]

[[Research Seminar "Data analysis in complex systems" DSBA 2025/2026 | Research Seminar "Data analysis in complex systems"]]

|-
| colspan="4" style="text-align: center;" | '''<span id="compds">КНАД</span>'''
|-
|
[[Дискретная_Математика_КНАД_2025/26 | Дискретная математика 2025/26 (КНАД)]]

[[Программирование_на_Python_КНАД_25/26 | Программирование на Python 25/26 (КНАД)]]

[[Линейная алгебра КНАД 25/26]]

[[Математический Анализ КНАД 25/26]]

||
[[Алгебра КНАД 2025/2026 | Алгебра]]

[[Алгоритмы_и_структуры_данных_2_КНАД_25/26 | Алгоритмы и структуры данных-2]]

[[Математический_анализ_2_КНАД_2025/26 | Математический анализ-2 2025/26 (КНАД)]]

[[Теория_вероятностей_КНАД_2025/26 | Теория вероятностей 2025/26 (КНАД)]]
||
 

||
 

|-
| colspan="4" style="text-align: center;" | '''<span id="EDA">ЭАД</span>'''
|-
|
[[Язык программирования Python 2025/26 (ЭАД) ]]

[[DM1EAD-2025-26 | Дискретная математика 2025/26 (ЭАД)]]

[[Математический_анализ_1_2025/26_(основной_поток)_ЭАД | Математический анализ-1 (ЭАД)]]
||

[[Алгоритмы и структуры данных 2 ЭАД 25/26 | Алгоритмы и структуры данных-2]]

||
 

||
 

|-
| colspan="4" style="text-align: center;" | '''<span id="DRIP">ДРИП</span>'''
|-
|
[[Ddip2529 | Линейная алгебра и геометрия]]

[[DM_DRIP-2025-26 | Дискретная математика 2025/26 (ДРИП)]]

||
[[Теория_вероятностей_ДРИП_25/56 | Теория вероятностей 2025/26 (ДРИП)]]

||
 

||
 

|}

== <span id="DataCulture">Курсы в рамках проекта [https://www.hse.ru/dataculture/ Data Culture]</span> ==

{| class="wikitable"
|-
! Осенний семестр !! Весенний семестр
|-
|
|
|}

== <span id="masters">Курсы магистратуры ФКН</span> ==
{| class="wikitable"
|-
! Ссылка !! Дисциплина !! Год обучения
|-
| [[ NIS-TCS-25-26 | НИС Теоретическая информатика ]] || НИС ТИ || СКН, 1-2 год
|-
| [[MOTV_2025 | Mathematical foundations of probability theory]] || Math of Machine Learning, MML || 1 year
|-
| [[MC_2025 | Markov Chains]] || Math of Machine Learning, MML || 1 year
|}

== <span id="other">Курсы других факультетов</span> ==

{| class="wikitable"
|-
! Дисциплина !! Курс !! Период
|-
| [[icef-scalc-2025-fall|Stochastic Calculus Fall 2025]] ||icef, master 1 year || 2 module
|-
|}

== Факультативы ==

{| class="wikitable"
|-
! Дисциплина !! Период
|-
| [[Аналитическая_теория_чисел:_приложения_комплексного_анализа_25/26 | Аналитическая теория чисел: приложения комплексного анализа 25/26]] || 1-2 модуль
|-
|}

= Архив до 2024/25 учебного года включительно =
[[Wiki ФКН/Архив]]

Wiki ФКН

2025-11-06T12:57:57Z

Bdemeshev:

__NOTOC__
= Учебные курсы факультета компьютерных наук =

{| class="wikitable"
|-
! colspan="2" | <div style="text-align: center;">'''Навигация'''</div>
|-
! [[#bachelors|Курсы бакалавриата ФКН]]
| <div style="text-align:center">[[#AMI|ПМИ]] · [[#SE|ПИ]] · [[#DSBA|ПАД]] · [[#compds|КНАД]] · [[#EDA|ЭАД]] · [[#DRIP|ДРИП]] · [[#electives|майноры и факультативы]]</div>
|-
! colspan="2" | [[#DataCulture|Курсы в рамках проекта Data Culture]] · [[#masters|Курсы магистратуры ФКН]] · [[#other|Курсы других факультетов]] · [[#archive|Архив]]
|}

== <span id="bachelors">Курсы за 2025/26 учебный год</span> ==
{| class="wikitable courses"
|-

! width="21%" | 1 курс !! width="21%" | 2 курс !! width="21%" | 3 курс !! width="21%" | 4 курс !! rowspan="2" | '''<span id="electives">майноры и факультативы</span>'''
|-
| colspan="4" style="text-align: center;" | '''<span id="AMI">ПМИ</span>'''
|-
|

'''М+'''

[[Линейная_алгебра_и_геометрия_на_ПМИ_2025/2026_(пилотный_поток) | Линейная алгебра и геометрия (пилотный поток)]]

[[Математический_анализ_1_2025/26_(пилотный_поток) | Математический анализ-1 (пилотный поток)]]

[[Дискретная математика_на_ПМИ_2025/2026_(пилотный_поток) | Дискретная математика (пилотный поток)]]

'''М'''

[[Линейная_алгебра_и_геометрия_на_ПМИ_2025/2026_(основной_поток) | Линейная алгебра и геометрия (основной поток)]]

[[Математический_анализ_1_2025/26_(основной_поток) | Математический анализ-1 (ПМИ основной поток)]]

[[DM1PMIbase-2025-26 | Дискретная математика (ПМИ основной поток)]]

'''П'''

[[Язык программирования Python 2025/26 (основной поток) ]]

[[Алгоритмы и структуры данных 1 (основной поток) (2 модуль) 2025/2026]]

'''П+'''

[[Язык программирования C++ (пилотный поток) ]]

[[Алгоритмы и структуры данных пилотный поток 2025/2026 | Алгоритмы и структуры данных (пилотный поток)]]

||

'''М+'''

[[Математический_Анализ_2_на_ПМИ_2025/26_(пилотный_поток) | Математический анализ 2 (пилотный поток)]]

[[Теория_вероятностей_2025/26_(пилотный_поток) | Теория вероятностей (пилотный поток)]]

'''М'''

[[Теория_вероятностей_на_ПМИ_2025/2026_(основной_поток) | Теория вероятностей (основной поток)]]

[[Математический_анализ_-_2_(основной_поток)_ПМИ_и_ЭАД_2025/2026 | Математический анализ-2 (ПМИ + ЭАД)]]

 

'''П'''

[[Язык_программирования_Python_(углубленный_курс) | Язык программирования Python (углубленный курс)]]
 

[[CAOS-2025/26 | Архитектура компьютеров и операционные системы]]

[[Алгоритмы_и_структуры_данных_2_2025/26 | Алгоритмы и структуры данных 2 2025/26]]

||

[[ PE101-25-26 | Performance engineering 101 ]]

[[Функциональное_программирование_2025/2026 | Функциональное программирование]]

[[ Основы_тензорных_вычислений_(2025/26) | Основы тензорных вычислений ]]

[[Глубинное обучение 1 25/26 | Введение в глубинное обучение]]

[[ Types_25 | Типы в языках программирования ]]

[[ Безопасность_компьютерных_систем_25/26 | Безопасность компьютерных систем ]]

'''ПМИ / МОП'''

[[Машинное_обучение_1_25/26 | Машинное обучение 1]]

[[Математическая_статистика_2_2025/2026 | Математическая статистика 2]]

[[ML_Research_Seminar_1 | НИС Машинное Обучение и Приложения 1]]

'''ПМИ / РС'''

[https://docs.google.com/document/d/1sHfi9_m4hx4y0iIgQEueMCr4qokLxh2Bvyzw_MdE2iI/edit?usp=sharing Распределенные системы]

[https://docs.google.com/document/d/1Hqu7iVY0FpYVujjNpIClkIMOQy32YWJpJHZKPSrOtmA/edit?usp=sharing НИС Распределенные системы]

'''ПМИ / ТИ'''

[[ NIS-TCS-25-26 | НИС Теоретическая информатика ]]

 

||

[[ PE101-25-26 | Performance engineering 101 ]]

[http://wiki.cs.hse.ru/%D0%93%D0%B5%D0%BD%D0%B5%D1%80%D0%B0%D1%82%D0%B8%D0%B2%D0%BD%D1%8B%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8_%D0%BD%D0%B0_%D0%BE%D1%81%D0%BD%D0%BE%D0%B2%D0%B5_%D0%B4%D0%B8%D1%84%D1%84%D1%83%D0%B7%D0%B8%D0%B8_(25/26) Генеративные модели на основе диффузии 25/26]

[[Большие_языковые_модели_25_26 | Большие языковые модели]]

[[Theory_of_computation_2025 | Theory of computation]]

[[Statistical_learning_theory_2025 | Statistical learning theory]]

'''ПМИ / МОП'''

[http://wiki.cs.hse.ru/%D0%93%D0%BB%D1%83%D0%B1%D0%B8%D0%BD%D0%BD%D0%BE%D0%B5_%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B5_2_2025 Глубинное обучение 2]

[[ML_Research_Seminar_2 | НИС Машинное Обучение и Приложения 2]]

'''ПМИ / РС'''

[https://docs.google.com/document/d/1Q2gx-6ugSi9intAW6ZSsLZNrEvl7S5ClyAhn8EjJnRM/edit?usp=sharing НИС Распределенные системы 2]

'''ПМИ / ТИ'''

[[ NIS-TCS-25-26 | НИС Теоретическая информатика ]]

[[ OWF-25-26 | Односторонние функции и их применения ]]

 

| rowspan="11" |


[[Майнор_Биоинформатика_1_год_2025/26|Биоинформатика 1 год 2025/26]]

[[Майнор_Биоинформатика_2_год_2025/26|Биоинформатика 2 год 2025/26]]

[[Введение_в_программирование_25/26|Введение в программирование. Питон 25/26]]

[[Введение_в_базы_данных_25/26|Введение в базы данных 25/26]]

[[Основы_глубинного_обучения_25/26|Основы глубинного обучения 25/26]]

[[Kolmogorov_complexity_fall2025|Introduction to Kolmogorov complexity]]

|-
| colspan="4" style="text-align: center;" | '''<span id="SE">ПИ</span>'''
|-
|

[[Алгебра_ПИ_2025-2026|Алгебра 25/26]]

[[Дискретная_математика_25/26|Дискретная математика 25/26]]

[[Математический_анализ_25/26|Математический анализ 25/26]]

|
[[НИС_Методы_и_алгоритмы_защиты_информации_25/26|НИС Методы и алгоритмы защиты информации 25/26]]

[[Теория_вероятностей_25/26|Теория вероятностей 25/26]]
|
 

||
 

|-
| colspan="4" style="text-align: center;" | '''<span id="DSBA">ПАД</span>'''
|-
|
'''1st year DSBA 2025/2026'''

[[Calculus 1 DSBA 2025/2026 | Calculus 1 (modules 1-4)]]

[[C++ Programming Language DSBA 2025/2026 | C++ Programming Language (modules 1-3)]]

[[English DSBA 2025/2026 | English Language (modules 1-4)]]

[[LAaG DSBA 2025/2026 | Linear Algebra and Geometry (modules 1-4)]]

[[Discrete Mathematics 1 DSBA 2025/2026 | Discrete Mathematics 1 (modules 1-3)]]

[[Russian History DSBA 2025/2026 | Russian History (modules 1-4)]]

[[Economics DSBA 2025/2026 | Economics (modules 2-3)]]

[[Foundations of Russian Statehood DSBA 2025/2026 | Foundations of Russian Statehood (module 3)]]

[[Algebra DSBA 2025/2026 | Algebra (module 4)]]

[[Algorithms and Data Structures 1 DSBA 2025/2026 | Algorithms and Data Structures 1 (module 4)]]

[[Python for Data Science DSBA 2025/2026 | Python for Data Science (module 4)]]

||
'''2nd year DSBA 2025/2026'''

[[Algorithms and Data Structures DSBA 2025/2026 | Algorithms and Data Structures (modules 1-3)]]

[[Discrete Mathematics 2 DSBA 2025/2026 | Discrete Mathematics 2 (modules 1-2)]]

[[Calculus 2 DSBA 2025/2026 | Calculus 2 (modules 1-2)]]

[[Probability Theory DSBA 2025/2026 | Probability Theory (modules 1-2)]]

[[Introduction to Micro and Macroeconomics DSBA 2025/2026 | Introduction to Micro and Macroeconomics (modules 1-4)]]

[[Computer Architecture and Operating Systems DSBA 2025/2026 | Computer Architecture and Operating Systems (modules 3-4)]]

[[Mathematical Statistics DSBA 2025/2026 | Mathematical Statistics (modules 3-4)]]

[[Machine Learning 1 DSBA 2025/2026 modules 3-4 | Machine Learning 1 (modules 3-4)]]

[[Differential Equations DSBA 2025/2026 | Differential Equations (modules (3-4)]]

'''Minors'''

[[Business and Management in Global Context DSBA 2025/2026 | Business and Management in Global Context (modules 1-4)]]

[[Introduction to Finance DSBA 2025/2026 | Introduction to Finance (modules 1-4)]]

||
'''3rd year DSBA 2025/2026'''

[[Databases DSBA 2025/2026 | Databases (modules 1-2)]]

[[Optimization Methods DSBA 2025/2026 | Optimization Methods (modules 1-2)]]

[[Machine Learning 1 DSBA 2025/2026 | Machine Learning 1 (modules 1-2)]]

[[Stochastic processes and applications DSBA 2025/2026 | Stochastic processes and applications (modules 1-2)]]

[[Time Series Analysis DSBA 2025/2026 | Time Series Analysis (modules 3-4)]]

[[Deep Learning DSBA 2025/2026 | Deep Learning (modules 3-4)]]

'''Minors'''

[[Introduction to Entrepreneurship DSBA 2025/2026 | Introduction to Entrepreneurship (business minor, modules 1-2)]]

[[Information Systems Management DSBA 2025/2026 | Information Systems Management (business minor, modules 3-4)]]

[[Econometrics DSBA 2025/2026 | Elements of Econometrics (finance minor, modules 1-4)]]

'''Specialization Data Science in Business'''

[[Research Seminar "Data Analysis in Business" DSBA 2025/2026 | Research Seminar "Data Analysis in Business“ (modules 1-4)]]

[[Data Analysis in Business DSBA 2025/2026 | Data Analysis in Business (modules 1-2)]]

[[Investment Management for Business DSBA 2025/2026 | Investment Management for Business (modules 3-4)]]

'''Specialization Data Science in Finance'''

[[Research Seminar "Data Science in Financial Economics" DSBA 2025/2026 | Research Seminar "Data Science in Financial Economics" (modules 1-4)]]

[[Financial Mathematics DSBA 2025/2026 | Financial Mathematics (modules 1-2)]]

[[Risk Management in Bank DSBA 2025/2026 | Risk Management in Bank (modules 3-4)]]

'''Specialization Data Analysis in Applied Research'''

[[Research Seminar "Data Science in Applied Research" DSBA 2025/2026 | Research Seminar "Data Science in Applied Research" (modules 1-4)]]

[[Methods of Mathematical Modeling DSBA 2025/2026 | Methods of Mathematical Modeling (modules 1-2)]]

[[Applied Statistics for Machine Learning DSBA 2025/2026 | Applied Statistics for Machine Learning (modules 3-4)]]

'''Electives (modules 3-4)'''

[[Operations Research and Game Theory DSBA 2025/2026 | Operations Research and Game Theory]]

[[Advanced Statistical Methods DSBA 2025/2026 | Advanced Statistical Methods]]

[[Recommender Systems DSBA 2025/2026 | Recommender Systems]]

||
'''4th year DSBA 2025/2026'''

[[Strategy DSBA 2025/2026 | Strategy (modules 1-3)]]

[[Statistical Methods for Market Research DSBA 2025/2026 | Statistical Methods for Market Research (modules 2-3)]]

'''Electives block 1 (modules 1-3)'''

[[Core Management Concepts DSBA 2025/2026 | Core Management Concepts]]

[[Asset Pricing and Financial Markets DSBA 2025/2026 | Asset Pricing and Financial Markets]]

'''Electives block 2 (modules 1-2)'''

[[Introduction to the Study of Language for Computer Scientists DSBA 2025/2026 | Introduction to the Study of Language for Computer Scientists]]

[[Quantitative Finance DSBA 2025/2026 | Quantitative Finance]]

[[Information Security Risk Management DSBA 2025/2026 | Information Security Risk Management]]

[[Generative Models in Machine Learning DSBA 2025/2026 | Generative Models in Machine Learning]]

[[Natural Language Processing DSBA 2025/2026 | Natural Language Processing]]

'''Electives block 3 (module 3)'''

[[Information Systems DSBA 2025/2026 | Information Systems]]

[[Cоmputer Vision DSBA 2025/2026 | Cоmputer Vision]]

'''Research Seminar Electives (modules 1-3)'''

[[Research Seminar "Data Analysis in the Natural Sciences" DSBA 2025/2026 | Research Seminar "Data Analysis in the Natural Sciences"]]

[[Research Seminar "Data Science in Financial Markets" DSBA 2025/2026 | Research Seminar "Data Science in Financial Markets"]]

[[Research Seminar "Data analysis in complex systems" DSBA 2025/2026 | Research Seminar "Data analysis in complex systems"]]

|-
| colspan="4" style="text-align: center;" | '''<span id="compds">КНАД</span>'''
|-
|
[[Дискретная_Математика_КНАД_2025/26 | Дискретная математика 2025/26 (КНАД)]]

[[Программирование_на_Python_КНАД_25/26 | Программирование на Python 25/26 (КНАД)]]

[[Линейная алгебра КНАД 25/26]]

[[Математический Анализ КНАД 25/26]]

||
[[Алгебра КНАД 2025/2026 | Алгебра]]

[[Алгоритмы_и_структуры_данных_2_КНАД_25/26 | Алгоритмы и структуры данных-2]]

[[Математический_анализ_2_КНАД_2025/26 | Математический анализ-2 2025/26 (КНАД)]]

[[Теория_вероятностей_КНАД_2025/26 | Теория вероятностей 2025/26 (КНАД)]]
||
 

||
 

|-
| colspan="4" style="text-align: center;" | '''<span id="EDA">ЭАД</span>'''
|-
|
[[Язык программирования Python 2025/26 (ЭАД) ]]

[[DM1EAD-2025-26 | Дискретная математика 2025/26 (ЭАД)]]

[[Математический_анализ_1_2025/26_(основной_поток)_ЭАД | Математический анализ-1 (ЭАД)]]
||

[[Алгоритмы и структуры данных 2 ЭАД 25/26 | Алгоритмы и структуры данных-2]]

||
 

||
 

|-
| colspan="4" style="text-align: center;" | '''<span id="DRIP">ДРИП</span>'''
|-
|
[[Ddip2529 | Линейная алгебра и геометрия]]

[[DM_DRIP-2025-26 | Дискретная математика 2025/26 (ДРИП)]]

||
[[Теория_вероятностей_ДРИП_25/56 | Теория вероятностей 2025/26 (ДРИП)]]

||
 

||
 

|}

== <span id="DataCulture">Курсы в рамках проекта [https://www.hse.ru/dataculture/ Data Culture]</span> ==

{| class="wikitable"
|-
! Осенний семестр !! Весенний семестр
|-
|
|
|}

== <span id="masters">Курсы магистратуры ФКН</span> ==
{| class="wikitable"
|-
! Ссылка !! Дисциплина !! Год обучения
|-
| [[ NIS-TCS-25-26 | НИС Теоретическая информатика ]] || НИС ТИ || СКН, 1-2 год
|-
| [[MOTV_2025 | Mathematical foundations of probability theory]] || Math of Machine Learning, MML || 1 year
|-
| [[MC_2025 | Markov Chains]] || Math of Machine Learning, MML || 1 year
|}

== <span id="other">Курсы других факультетов</span> ==

{| class="wikitable"
|-
! Дисциплина !! Курс !! Период
|-
| [[icef-scalc-2024-fall|Stochastic Calculus Fall 2025]] ||icef, master 1 year || 2 module
|-
|}

== Факультативы ==

{| class="wikitable"
|-
! Дисциплина !! Период
|-
| [[Аналитическая_теория_чисел:_приложения_комплексного_анализа_25/26 | Аналитическая теория чисел: приложения комплексного анализа 25/26]] || 1-2 модуль
|-
|}

= Архив до 2024/25 учебного года включительно =
[[Wiki ФКН/Архив]]

Stochastic processes and applications DSBA 2025/2026

2025-09-02T14:58:13Z

Bdemeshev:

=== Course goals ===

侍には目標がなく道しかない [Samurai niwa mokuhyō ga naku michi shikanai]

A samurai has no goal, only a path.

Course [https://github.com/bdemeshev/hse_panda_metrics_2024_2025/raw/main/whitepaper.pdf whitepaper]

Telegram [https://t.me/+1Ig_jZc8RYc5Mjgy chat] (не берёт на парковке)

Hand made [https://e.pcloud.link/publink/show?code=kZj5BOZAb8qNTSGI6LiGLeLWvMd4LMu4hsk videos with love]!

=== Home assignments, exams and grading ===

Stochastic Processes = 0.35 Halloween Exam + 0.40 Ded Moroz Exam + 0.25 Home Assignments

[https://github.com/bdemeshev/hse_panda_stochastic_2025_fall/raw/main/home_assignments/home_assignments.pdf Home assignments!]

Almost surely every week a new home assignment will be published. You are not required to hand in the HA, but next class will include a quiz with one or two problems extremely similar to the HA. Once during the course HA will be in the form of a computer assisted project. At the end of the course you have 5 honey pots: a right to rewrite 5 missed or badly written quizzes.

[https://github.com/bdemeshev/tssp_exams/raw/main/tssp_exams.pdf Past exams]

[https://github.com/bdemeshev/stochastic_pro/raw/main/stochastic_pro.pdf Exercise collection]

== Samurai diary: Stochastic Process ==

2025-09-02, lecture 1: Rules of the game, definition of a Markov chain, Chapman-Kolmogorov equations, calculation of n-step transition probabilities, failed attempt to discuss first step analysis. Check 1.1-2.1 from [https://www.statslab.cam.ac.uk/~rrw1/markov/M.pdf Mchains]

=== Classes ===

2025-09-06, class 1:

== Sources of Wisdom ==

[https://github.com/bdemeshev/stochastic_pro/raw/main/stochastic_pro.pdf StoPro]: Problems in Stochastic Processes

[https://projects.iq.harvard.edu/stat110/home In2Pro]: Blitstein, Hwang, Introduction to probability.

[https://www.statslab.cam.ac.uk/~rrw1/markov/M.pdf Mchains] Cambridge lectures on Markov chains.

[https://aditya-sengupta.github.io/expository/markovtex.pdf MarkovTex]: Representing Markov Chains in Latex.

[https://www.stat.berkeley.edu/~aldous/150/takis_exercises.pdf Takis]: Takis Konstantinopulos, One hundred solved exercises on Markov chains.

[https://courses.cit.cornell.edu/econ620/reviewm6.pdf Convergence modes] review from Cornell university

[https://www.ee.iitb.ac.in/~sarva/courses/EE325/2014/Slides/ConvergenceOfRVs.pdf Convergence modes]: Saravan Vijayakumaran, convergence modes with examples

[https://staff.fnwi.uva.nl/p.j.c.spreij/onderwijs/master/aadtimeseries2010.pdf ts2010]: Aad van der Vaart, Time Series course with hardcore math

Past course iterations: [http://wiki.cs.hse.ru/Tssp-2024-25 2024-2025], [http://wiki.cs.hse.ru/Tssp-2023-24 2023-2024], [http://wiki.cs.hse.ru/Tssp-2022-23 2022-2023], [http://wiki.cs.hse.ru/Time_Series_and_Stochastic_Processes_ada_21_22 2021-2022], [http://wiki.cs.hse.ru/Time_Series_and_Stochastic_Processes_ada_20_21 2020-2021].

Stochastic processes and applications DSBA 2025/2026

2025-09-02T14:56:17Z

Bdemeshev:

=== Course goals ===

侍には目標がなく道しかない [Samurai niwa mokuhyō ga naku michi shikanai]

A samurai has no goal, only a path.

Course [https://github.com/bdemeshev/hse_panda_metrics_2024_2025/raw/main/whitepaper.pdf whitepaper]

Telegram [https://t.me/+1Ig_jZc8RYc5Mjgy chat] (не берёт на парковке)

Hand made [https://e.pcloud.link/publink/show?code=kZj5BOZAb8qNTSGI6LiGLeLWvMd4LMu4hsk videos with love]!

=== Home assignments, exams and grading ===

Stochastic Processes = 0.35 Halloween Exam + 0.40 Ded Moroz Exam + 0.25 Home Assignments

[https://github.com/bdemeshev/hse_panda_stochastic_2025_fall/raw/main/home_assignments/home_assignments.pdf Home assignments!]

Almost surely every week a new home assignment will be published. You are not required to hand in the HA, but next class will include a quiz with one or two problems extremely similar to the HA. Once during the HA will be in the form of a computer assisted project. At the end of the course you have 5 honey pots: a right to rewrite 5 missed or badly written quizzes.

[https://github.com/bdemeshev/tssp_exams/raw/main/tssp_exams.pdf Past exams]

[https://github.com/bdemeshev/stochastic_pro/raw/main/stochastic_pro.pdf Exercise collection]

== Samurai diary: Stochastic Process ==

2025-09-02, lecture 1: Rules of the game, definition of a Markov chain, Chapman-Kolmogorov equations, calculation of n-step transition probabilities, failed attempt to discuss first step analysis. Check 1.1-2.1 from [https://www.statslab.cam.ac.uk/~rrw1/markov/M.pdf Mchains]

=== Classes ===

2025-09-06, class 1:

== Sources of Wisdom ==

[https://github.com/bdemeshev/stochastic_pro/raw/main/stochastic_pro.pdf StoPro]: Problems in Stochastic Processes

[https://projects.iq.harvard.edu/stat110/home In2Pro]: Blitstein, Hwang, Introduction to probability.

[https://www.statslab.cam.ac.uk/~rrw1/markov/M.pdf Mchains] Cambridge lectures on Markov chains.

[https://aditya-sengupta.github.io/expository/markovtex.pdf MarkovTex]: Representing Markov Chains in Latex.

[https://www.stat.berkeley.edu/~aldous/150/takis_exercises.pdf Takis]: Takis Konstantinopulos, One hundred solved exercises on Markov chains.

[https://courses.cit.cornell.edu/econ620/reviewm6.pdf Convergence modes] review from Cornell university

[https://www.ee.iitb.ac.in/~sarva/courses/EE325/2014/Slides/ConvergenceOfRVs.pdf Convergence modes]: Saravan Vijayakumaran, convergence modes with examples

[https://staff.fnwi.uva.nl/p.j.c.spreij/onderwijs/master/aadtimeseries2010.pdf ts2010]: Aad van der Vaart, Time Series course with hardcore math

Past course iterations: [http://wiki.cs.hse.ru/Tssp-2024-25 2024-2025], [http://wiki.cs.hse.ru/Tssp-2023-24 2023-2024], [http://wiki.cs.hse.ru/Tssp-2022-23 2022-2023], [http://wiki.cs.hse.ru/Time_Series_and_Stochastic_Processes_ada_21_22 2021-2022], [http://wiki.cs.hse.ru/Time_Series_and_Stochastic_Processes_ada_20_21 2020-2021].

Stochastic processes and applications DSBA 2025/2026

2025-09-02T14:19:58Z

Bdemeshev:

=== Course goals ===

侍には目標がなく道しかない [Samurai niwa mokuhyō ga naku michi shikanai]

A samurai has no goal, only a path.

Course [https://github.com/bdemeshev/hse_panda_metrics_2024_2025/raw/main/whitepaper.pdf whitepaper]

Telegram [https://t.me/+1Ig_jZc8RYc5Mjgy chat] (не берёт на парковке)

Hand made [https://e.pcloud.link/publink/show?code=kZj5BOZAb8qNTSGI6LiGLeLWvMd4LMu4hsk videos with love]!

=== Home assignments, exams and grading ===

Stochastic Processes = 0.35 Halloween Exam + 0.40 Ded Moroz Exam + 0.25 Home Assignments

[... Home assignments :)]

Almost surely every week a new home assignment will be published. You are not required to hand in the HA, but next class will include a quiz with one or two problems extremely similar to the HA. Once during the HA will be in the form of a computer assisted project. At the end of the course you have 5 honey pots: a right to rewrite 5 missed or badly written quizzes.

[https://github.com/bdemeshev/tssp_exams/raw/main/tssp_exams.pdf Past exams]

[https://github.com/bdemeshev/stochastic_pro/raw/main/stochastic_pro.pdf Exercise collection]

== Samurai diary: Stochastic Process ==

2025-09-02, lecture 1: Rules of the game, definition of a Markov chain, Chapman-Kolmogorov equations, calculation of n-step transition probabilities, failed attempt to discuss first step analysis. Check 1.1-2.1 from [https://www.statslab.cam.ac.uk/~rrw1/markov/M.pdf Mchains]

=== Classes ===

2025-09-06, class 1:

== Sources of Wisdom ==

[https://github.com/bdemeshev/stochastic_pro/raw/main/stochastic_pro.pdf StoPro]: Problems in Stochastic Processes

[https://projects.iq.harvard.edu/stat110/home In2Pro]: Blitstein, Hwang, Introduction to probability.

[https://www.statslab.cam.ac.uk/~rrw1/markov/M.pdf Mchains] Cambridge lectures on Markov chains.

[https://aditya-sengupta.github.io/expository/markovtex.pdf MarkovTex]: Representing Markov Chains in Latex.

[https://www.stat.berkeley.edu/~aldous/150/takis_exercises.pdf Takis]: Takis Konstantinopulos, One hundred solved exercises on Markov chains.

[https://courses.cit.cornell.edu/econ620/reviewm6.pdf Convergence modes] review from Cornell university

[https://www.ee.iitb.ac.in/~sarva/courses/EE325/2014/Slides/ConvergenceOfRVs.pdf Convergence modes]: Saravan Vijayakumaran, convergence modes with examples

[https://staff.fnwi.uva.nl/p.j.c.spreij/onderwijs/master/aadtimeseries2010.pdf ts2010]: Aad van der Vaart, Time Series course with hardcore math

Past course iterations: [http://wiki.cs.hse.ru/Tssp-2024-25 2024-2025], [http://wiki.cs.hse.ru/Tssp-2023-24 2023-2024], [http://wiki.cs.hse.ru/Tssp-2022-23 2022-2023], [http://wiki.cs.hse.ru/Time_Series_and_Stochastic_Processes_ada_21_22 2021-2022], [http://wiki.cs.hse.ru/Time_Series_and_Stochastic_Processes_ada_20_21 2020-2021].

Stochastic processes and applications DSBA 2025/2026

2025-09-02T14:06:59Z

Bdemeshev:

=== Course goals ===

侍には目標がなく道しかない [Samurai niwa mokuhyō ga naku michi shikanai]

A samurai has no goal, only a path.

Course [https://github.com/bdemeshev/hse_panda_metrics_2024_2025/raw/main/whitepaper.pdf whitepaper]

Telegram [https://t.me/+1Ig_jZc8RYc5Mjgy chat] (не берёт на парковке)

=== Home assignments, exams and grading ===

Stochastic Processes = 0.35 Halloween Exam + 0.40 Ded Moroz Exam + 0.25 Home Assignments

[... Home assignments :)]

[https://github.com/bdemeshev/tssp_exams/raw/main/tssp_exams.pdf Past exams]

[https://github.com/bdemeshev/stochastic_pro/raw/main/stochastic_pro.pdf Exercise collection]

== Samurai diary: Stochastic Process ==

2025-09-02, lecture 1: Rules of the game, definition of a Markov chain, Chapman-Kolmogorov equations, calculation of n-step transition probabilities, failed attempt to discuss first step analysis. Check 1.1-2.1 from

=== Classes ===

2025-09-06, class 1:

== Sources of Wisdom ==

[https://github.com/bdemeshev/stochastic_pro/raw/main/stochastic_pro.pdf StoPro]: Problems in Stochastic Processes

[https://projects.iq.harvard.edu/stat110/home In2Pro]: Blitstein, Hwang, Introduction to probability.

[https://www.statslab.cam.ac.uk/~rrw1/markov/M.pdf Mchains] Cambridge lectures on Markov chains.

[https://aditya-sengupta.github.io/expository/markovtex.pdf MarkovTex]: Representing Markov Chains in Latex.

[https://www.stat.berkeley.edu/~aldous/150/takis_exercises.pdf Takis]: Takis Konstantinopulos, One hundred solved exercises on Markov chains.

[https://courses.cit.cornell.edu/econ620/reviewm6.pdf Convergence modes] review from Cornell university

[https://www.ee.iitb.ac.in/~sarva/courses/EE325/2014/Slides/ConvergenceOfRVs.pdf Convergence modes]: Saravan Vijayakumaran, convergence modes with examples

[https://staff.fnwi.uva.nl/p.j.c.spreij/onderwijs/master/aadtimeseries2010.pdf ts2010]: Aad van der Vaart, Time Series course with hardcore math

Past course iterations: [http://wiki.cs.hse.ru/Tssp-2024-25 2024-2025], [http://wiki.cs.hse.ru/Tssp-2023-24 2023-2024], [http://wiki.cs.hse.ru/Tssp-2022-23 2022-2023], [http://wiki.cs.hse.ru/Time_Series_and_Stochastic_Processes_ada_21_22 2021-2022], [http://wiki.cs.hse.ru/Time_Series_and_Stochastic_Processes_ada_20_21 2020-2021].

Stochastic processes and applications DSBA 2025/2026

2025-09-02T08:34:38Z

Bdemeshev: Новая страница: «=== Course goals === 侍には目標がなく道しかない [Samurai niwa mokuhyō ga naku michi shikanai] A samurai has no goal, only a path. Course [https:/…»

=== Course goals ===

侍には目標がなく道しかない [Samurai niwa mokuhyō ga naku michi shikanai]

A samurai has no goal, only a path.

Course [https://github.com/bdemeshev/hse_panda_metrics_2024_2025/raw/main/whitepaper.pdf whitepaper]

Telegram [https://t.me/+1Ig_jZc8RYc5Mjgy chat] (не берёт на парковке)

=== Home assignments, exams and grading ===

Stochastic Processes = 0.35 Halloween Exam + 0.40 Ded Moroz Exam + 0.25 Home Assignments

[... Home assignments :)]

[https://github.com/bdemeshev/tssp_exams/raw/main/tssp_exams.pdf Past exams]

[https://github.com/bdemeshev/stochastic_pro/raw/main/stochastic_pro.pdf Exercise collection]

== Samurai diary: Stochastic Process ==

2025-09-02, lecture 1:

=== Classes ===

2025-09-06, class 1:

== Sources of Wisdom ==

[https://github.com/bdemeshev/stochastic_pro/raw/main/stochastic_pro.pdf StoPro]: Problems in Stochastic Processes

[https://projects.iq.harvard.edu/stat110/home In2Pro]: Blitstein, Hwang, Introduction to probability.

[https://www.statslab.cam.ac.uk/~rrw1/markov/M.pdf Mchains] Cambridge lectures on Markov chains.

[https://aditya-sengupta.github.io/expository/markovtex.pdf MarkovTex]: Representing Markov Chains in Latex.

[https://www.stat.berkeley.edu/~aldous/150/takis_exercises.pdf Takis]: Takis Konstantinopulos, One hundred solved exercises on Markov chains.

[https://courses.cit.cornell.edu/econ620/reviewm6.pdf Convergence modes] review from Cornell university

[https://www.ee.iitb.ac.in/~sarva/courses/EE325/2014/Slides/ConvergenceOfRVs.pdf Convergence modes]: Saravan Vijayakumaran, convergence modes with examples

[https://staff.fnwi.uva.nl/p.j.c.spreij/onderwijs/master/aadtimeseries2010.pdf ts2010]: Aad van der Vaart, Time Series course with hardcore math

Past course iterations: [http://wiki.cs.hse.ru/Tssp-2024-25 2024-2025], [http://wiki.cs.hse.ru/Tssp-2023-24 2023-2024], [http://wiki.cs.hse.ru/Tssp-2022-23 2022-2023], [http://wiki.cs.hse.ru/Time_Series_and_Stochastic_Processes_ada_21_22 2021-2022], [http://wiki.cs.hse.ru/Time_Series_and_Stochastic_Processes_ada_20_21 2020-2021].

Математическая статистика КНАД 24/25

2025-06-23T21:16:39Z

Bdemeshev:

== О курсе ==

== Цели и задачи курса ==

侍には目標がなく道しかない [Samurai niwa mokuhyō ga naku michi shikanai]

У самурая нет цели и ничего кроме пути.

== Оценивание ==

Итоговая оценка за курс = 0.2 Домашние задания + 0.25 Контрольная-1 + 0.25 Контрольная-2 + 0.3 Экзамен

Каждая оценка (суммарный итог за домашние задания, контрольные, экзамен) — целое число от 0 до 100.
Для перевода в 10-балльную шкалу итоговой оценки используется деление на 10 с арифметическим округлением.

=== Домашние задания для самураев ===

Домашние задания [https://github.com/bdemeshev/hse_knad_statistics_2024_2025/raw/main/home_assignments/home_assignments.pdf одним файлом] и [https://github.com/bdemeshev/hse_knad_statistics_2024_2025/tree/main/home_assignments папочкой].
Домашние задания имеют равный вес. В конце каждой лекции (за исключением ближайших к экзамену лекций)
выдается домашнее задание сроком на две недели.
Дедлайн жёсткий, однако студент имеет право просрочить два домашних задания на неделю каждое без штрафа.

Формат сдачи ДЗ: один pdf-файл (решение текстовых задач) и один ipynb-файл (решение компьютерных задач).
В pdf-файл можно поместить аккуратно написанное отсканированное решение, а можно скомпилировать pdf из теха или маркдауна.
Ещё можно вместо pdf-файла написать всё в ipynb.
Бонусов за сдачу домашки в техе нет. Пример [https://www.overleaf.com/read/qmrkwpzvmqbk шаблона].

Обратите внимание: '''время каждого дедлайна — 23:59'''.

=== Контрольные работы и экзамен ===

Вес каждой задачи будет написан в тексте работы.
Задачи с ненаписанным по случайности весом имеют равный вес.
При пропуске первой контрольной работы по уважительной причине будет предложен день для переписывания.
При пропуске второй контрольной работы по уважительной причине её вес переносится на экзамен.
При пропуске дня переписывания, в том числе по уважительным причинам, ещё одного шанса не предоставляется.
Если написаны обе контрольные, то будет предложена оценка-автомат [0-8], при согласии на автомат на экзамен можно не приходить.

'''Контрольная-1:''' 2025-04-01, 18:10

'''Контрольная-2:''' 2025-05-12 (предварительно), 18:10

'''Экзамен'''

== Учебные материалы ==

[https://github.com/bdemeshev/statistics_pro/raw/master/statistics_pro.pdf SP]: Листки с задачами к курсу.

[https://github.com/bdemeshev/probability_dna/raw/master/probability_dna.pdf PDNA]: Вероятностная ДНК = вкусные задачи по теории вероятностей.

[https://t.me/+aOpRz6o7KBg5OGQy группа в телеграм]

[https://github.com/bdemeshev/hse_knad_statistics_2024_2025/tree/main/handwritten_notes Рукописи] лекций и семинаров

== Дневник самурая ==

2025-01-14, лекция 1: метод моментов, метод максимального правдоподобия: идея и примеры задач

Почитать: LWAS, 9.1, 9.2, 9.3

2025-01-21, лекция 2: байесовский подход, априорное и апостериорное распределение

2025-01-28, лекция 3: свойства оценок, несмещённость оценки, эффективность оценки в классе по MSE, разложение MSE в сумму, состоятельность последовательности оценок

2025-02-04, лекция 4: Байесовский подход. Интервал наивысшей плотности. Симметричный по вероятности интервал. Классический подход. Точный доверительный интервал. Асимптотический доверительный интервал. Дельта-метод. Лемма Слуцкого.

2025-02-11, лекция 5: Построение асимптотического доверительного интервала с помощью дельта-метода и ЦПТ. Лог-функция правдоподобия.
Ожидание производной лог-правдоподобия равно нулю. Теоретическая информация Фишера. Три формулы для информации Фишера. Оценка информации Фишера с помощью матрицы Гессе. Асимптотический доверительный интервал с помощью оценки информации Фишера.

2025-02-18, лекция 6: Ковариации любой оценки и производной лог-правдоподобия. Граница Крамера-Рао. Граница достигается, если и только если оценка линейно зависит от производной лог-правдоподобия. Определение достаточной статистики. Теорема Неймана-Фишера о факторизации.

2025-02-25, лекция 7: Распределения связанные с проекцией нормального вектора. Аксиоматика Гершеля-Максвелла для нормального распределения. Хи-квадрат распределение как квадрат длины проекции на d-мерное подпространство. Распределение Стьюдента. Распределение Фишера.

2025-03-04, лекция 8: Классические доверительные интервалы. Для вероятности: классический интервал Вальда и интервал Вильсона (с решением квадратного неравенства). Для математического ожидания: случай большого числа наблюдений и случай нормально-распределенных наблюдений. Интервал для дисперсии для нормально-распределённых наблюдений.

2025-03-11, лекция 9: Доверительный интервал для отношения дисперсий при нормальном распределении наблюдений. Доверительный интервал для разницы ожиданий: при большом размере выборок, при нормальных выборках с равной дисперсией.

2025-03-18, лекция 10: подготовка к контрольной.

2025-03-24, лекция 11: Тестирование гипотез. Размер теста, критическая область, уровень значимости. Проверка гипотезы через построение доверительного интервала.

2025-04-08, лекция 12: Хи-квадрат тест Пирсона на соответствие закона распределения заданному. P-значение как пороговый уровень значимости. P-значение как вероятность пронаблюдать значение статистики больше заданного при повторении эксперимента.

2025-04-15, лекция 13: Хи-квадрат тест Пирсона на независимость признаков. Переход от непрерывных наблюдений к дискретным рангам. Ранговая корреляция.

2025-04-22, лекция 14: Непараметрические тесты. Тест знаков. Тест Манна-Уитни. Тестов знаковым рангов Уилкоксона.

2025-04-29, лекция 15: Выборочная функция распределения. Построение доверительного интервала для квантиля. Три типа интервалов: доверительные, прогнозные (предсказательные) и толерантные.

2025-05-13, лекция 16: Тест отношения правдоподобия (LR). Тест Вальда (Wald). Тест множителей Лагранжа (LM).

2025-05-20, лекция 17: Множественное тестирование гипотез. FWER. Метод Шидака. Метод Бонферонни. Метод Холма-Бонферонни. FDR. Метод Беньямини-Хохберга.

2025-05-27, лекция 18: Бутстрэп. Наивный Бутстрэп. Оценивание неизвестной дисперсии оценки параметра. Построение доверительного интервала для параметра. Бутстрэп t-статистики. Бутстрэп в бутстрэпе.

2025-06-03, лекция 19: Пример с равномерным распределением, когда бутстрэп не работает. Схема доказательства (неформально).

2025-06-17, лекция 20: MDE (минимальный детектируемый эффект). Критерий Неймана-Пирсона с доказательством.

=== Семинары ===

2025-01-14, семинар 1: метод моментов, метод максимального правдоподобия, угловой случай в методе максимального правдоподобия

2025-01-21, семинар 2: вывод апостериорного распределения, нахождение апостериорного ожидания и апостериорной моды

2025-01-28, семинар 3: проверка несмещённости, напоминание о неравенстве Йенсена, проверка состоятельности, пример доказательства эффективности в классе линейных несмещённых оценок

2025-02-04, семинар 4: Построение доверительного интервала для оценки метода моментов с помощью дельта-метода и ЦПТ.

2025-02-11, семинар 5: Использование свойств лог-правдоподобия для нахождения ожидания и дисперсии. Асимптотический доверительный интервал для метода максимального правдоподобия через оценку информации Фишера. Пример нерегулярной функции правдоподобия.

2025-02-18, семинар 6: Проверка несмещённости, состоятельности, достижения оценкой границы Крамера-Рао. Нахождение достаточной статистики.

2025-02-25, семинар 7: Примеры величин, имеющих хи-квадрат распределение, распределение Стьюдента и Фишера. Нахождение функции плотности хи-квадрат распределение с одной степенью свободы. Примеры связи между хи-квадрат, t-распрелением и F-распределением.

2025-03-04, семинар 8: Пример построения доверительных интервалов Вильсона и Вальда для вероятности. Построение доверительного интервала для разности долей независимых выборок. Построение доверительного интервала для разницы долей довольных и недовольных клиентов.

2025-03-11, семинар 9: Доверительный интервал Уэлча. Примеры нахождения доверительного интервала для разности ожиданий.

== Источники ==

Источники мудрости, которые я постарался не замутить :)

LWAS, Larry Wasserman, All of Statistics

[https://arxiv.org/pdf/1411.5279 WTSK]: Tim Hesterberg, What Teachers Should Know About the Bootstrap: вкусное и доступное изложение бутстрэпа и перестановочных тестов.

[https://projects.iq.harvard.edu/stat110/home BItP]: Blitzstein, Hwang, Introduction to Probability: учебник, записи лекций, гарвардский курс.

Математическая статистика КНАД 24/25

2025-06-23T21:16:07Z

Bdemeshev:

== О курсе ==

== Цели и задачи курса ==

侍には目標がなく道しかない [Samurai niwa mokuhyō ga naku michi shikanai]

У самурая нет цели и ничего кроме пути.

== Оценивание ==

Итоговая оценка за курс = 0.2 Домашние задания + 0.25 Контрольная-1 + 0.25 Контрольная-2 + 0.3 Экзамен

Каждая оценка (суммарный итог за домашние задания, контрольные, экзамен) — целое число от 0 до 100.
Для перевода в 10-балльную шкалу итоговой оценки используется деление на 10 с арифметическим округлением.

=== Домашние задания для самураев ===

Домашние задания [https://github.com/bdemeshev/hse_knad_statistics_2024_2025/raw/main/home_assignments/home_assignments.pdf одним файлом] и [https://github.com/bdemeshev/hse_knad_statistics_2024_2025/tree/main/home_assignments папочкой].
Домашние задания имеют равный вес. В конце каждой лекции (за исключением ближайших к экзамену лекций)
выдается домашнее задание сроком на две недели.
Дедлайн жёсткий, однако студент имеет право просрочить два домашних задания на неделю каждое без штрафа.

Формат сдачи ДЗ: один pdf-файл (решение текстовых задач) и один ipynb-файл (решение компьютерных задач).
В pdf-файл можно поместить аккуратно написанное отсканированное решение, а можно скомпилировать pdf из теха или маркдауна.
Ещё можно вместо pdf-файла написать всё в ipynb.
Бонусов за сдачу домашки в техе нет. Пример [https://www.overleaf.com/read/qmrkwpzvmqbk шаблона].

Обратите внимание: '''время каждого дедлайна — 23:59'''.

=== Контрольные работы и экзамен ===

Вес каждой задачи будет написан в тексте работы.
Задачи с ненаписанным по случайности весом имеют равный вес.
При пропуске первой контрольной работы по уважительной причине будет предложен день для переписывания.
При пропуске второй контрольной работы по уважительной причине её вес переносится на экзамен.
При пропуске дня переписывания, в том числе по уважительным причинам, ещё одного шанса не предоставляется.
Если написаны обе контрольные, то будет предложена оценка-автомат [0-8], при согласии на автомат на экзамен можно не приходить.

'''Контрольная-1:''' 2025-04-01, 18:10

'''Контрольная-2:''' 2025-05-12 (предварительно), 18:10

'''Экзамен'''

== Учебные материалы ==

[https://github.com/bdemeshev/statistics_pro/raw/master/statistics_pro.pdf SP]: Листки с задачами к курсу.

[https://github.com/bdemeshev/probability_dna/raw/master/probability_dna.pdf PDNA]: Вероятностная ДНК = вкусные задачи по теории вероятностей.

[https://t.me/+aOpRz6o7KBg5OGQy группа в телеграм]

[https://github.com/bdemeshev/hse_knad_statistics_2024_2025/tree/main/handwritten_notes Рукописи] лекций и семинаров

== Дневник самурая ==

2025-01-14, лекция 1: метод моментов, метод максимального правдоподобия: идея и примеры задач

Почитать: LWAS, 9.1, 9.2, 9.3

2025-01-21, лекция 2: байесовский подход, априорное и апостериорное распределение

2025-01-28, лекция 3: свойства оценок, несмещённость оценки, эффективность оценки в классе по MSE, разложение MSE в сумму, состоятельность последовательности оценок

2025-02-04, лекция 4: Байесовский подход. Интервал наивысшей плотности. Симметричный по вероятности интервал. Классический подход. Точный доверительный интервал. Асимптотический доверительный интервал. Дельта-метод. Лемма Слуцкого.

2025-02-11, лекция 5: Построение асимптотического доверительного интервала с помощью дельта-метода и ЦПТ. Лог-функция правдоподобия.
Ожидание производной лог-правдоподобия равно нулю. Теоретическая информация Фишера. Три формулы для информации Фишера. Оценка информации Фишера с помощью матрицы Гессе. Асимптотический доверительный интервал с помощью оценки информации Фишера.

2025-02-18, лекция 6: Ковариации любой оценки и производной лог-правдоподобия. Граница Крамера-Рао. Граница достигается, если и только если оценка линейно зависит от производной лог-правдоподобия. Определение достаточной статистики. Теорема Неймана-Фишера о факторизации.

2025-02-25, лекция 7: Распределения связанные с проекцией нормального вектора. Аксиоматика Гершеля-Максвелла для нормального распределения. Хи-квадрат распределение как квадрат длины проекции на d-мерное подпространство. Распределение Стьюдента. Распределение Фишера.

2025-03-04, лекция 8: Классические доверительные интервалы. Для вероятности: классический интервал Вальда и интервал Вильсона (с решением квадратного неравенства). Для математического ожидания: случай большого числа наблюдений и случай нормально-распределенных наблюдений. Интервал для дисперсии для нормально-распределённых наблюдений.

2025-03-11, лекция 9: Доверительный интервал для отношения дисперсий при нормальном распределении наблюдений. Доверительный интервал для разницы ожиданий: при большом размере выборок, при нормальных выборках с равной дисперсией.

2025-03-18, лекция 10: подготовка к контрольной.

2025-03-24, лекция 11: Тестирование гипотез. Размер теста, критическая область, уровень значимости. Проверка гипотезы через построение доверительного интервала.

2025-04-08, лекция 12: Хи-квадрат тест Пирсона на соответствие закона распределения заданному. P-значение как пороговый уровень значимости. P-значение как вероятность пронаблюдать значение статистики больше заданного при повторении эксперимента.

2025-04-15, лекция 13: Хи-квадрат тест Пирсона на независимость признаков. Переход от непрерывных наблюдений к дискретным рангам. Ранговая корреляция.

2025-04-22, лекция 14: Непараметрические тесты. Тест знаков. Тест Манна-Уитни. Тестов знаковым рангов Уилкоксона.

2025-04-29, лекция 15: Выборочная функция распределения. Построение доверительного интервала для квантиля. Три типа интервалов: доверительные, прогнозные (предсказательные) и толерантные.

2025-05-13, лекция 16: Тест отношения правдоподобия (LR). Тест Вальда (Wald). Тест множителей Лагранжа (LM).

2025-05-20, лекция 17: Множественное тестирование гипотез. FWER. Метод Шидака. Метод Бонферонни. Метод Холма-Бонферонни. FDR. Метод Беньямини-Хохберга.

2025-05-27, лекция 18: Бутстрэп. Наивный Бутстрэп. Оценивание неизвестной дисперсии оценки параметра. Построение доверительного интервала для параметра. Бутстрэп t-статистики. Бутстрэп в бутстрэпе.

2025-06-, лекция 19: Пример с равномерным распределением, когда бутстрэп не работает. Схема доказательства (неформально).

2025-06-, лекция 20: MDE (минимальный детектируемый эффект). Критерий Неймана-Пирсона с доказательством.

=== Семинары ===

2025-01-14, семинар 1: метод моментов, метод максимального правдоподобия, угловой случай в методе максимального правдоподобия

2025-01-21, семинар 2: вывод апостериорного распределения, нахождение апостериорного ожидания и апостериорной моды

2025-01-28, семинар 3: проверка несмещённости, напоминание о неравенстве Йенсена, проверка состоятельности, пример доказательства эффективности в классе линейных несмещённых оценок

2025-02-04, семинар 4: Построение доверительного интервала для оценки метода моментов с помощью дельта-метода и ЦПТ.

2025-02-11, семинар 5: Использование свойств лог-правдоподобия для нахождения ожидания и дисперсии. Асимптотический доверительный интервал для метода максимального правдоподобия через оценку информации Фишера. Пример нерегулярной функции правдоподобия.

2025-02-18, семинар 6: Проверка несмещённости, состоятельности, достижения оценкой границы Крамера-Рао. Нахождение достаточной статистики.

2025-02-25, семинар 7: Примеры величин, имеющих хи-квадрат распределение, распределение Стьюдента и Фишера. Нахождение функции плотности хи-квадрат распределение с одной степенью свободы. Примеры связи между хи-квадрат, t-распрелением и F-распределением.

2025-03-04, семинар 8: Пример построения доверительных интервалов Вильсона и Вальда для вероятности. Построение доверительного интервала для разности долей независимых выборок. Построение доверительного интервала для разницы долей довольных и недовольных клиентов.

2025-03-11, семинар 9: Доверительный интервал Уэлча. Примеры нахождения доверительного интервала для разности ожиданий.

== Источники ==

Источники мудрости, которые я постарался не замутить :)

LWAS, Larry Wasserman, All of Statistics

[https://arxiv.org/pdf/1411.5279 WTSK]: Tim Hesterberg, What Teachers Should Know About the Bootstrap: вкусное и доступное изложение бутстрэпа и перестановочных тестов.

[https://projects.iq.harvard.edu/stat110/home BItP]: Blitzstein, Hwang, Introduction to Probability: учебник, записи лекций, гарвардский курс.

Теория вероятностей 2024/25 (основной поток)

2025-04-06T15:27:29Z

Bdemeshev: /* Контрольные работы и экзамен */

= Преподаватели и учебные ассистенты =

{| class="wikitable" style="text-align:center"
|-
! Группа !! БПМИ235 !! БПМИ236 !! БПМИ237 !! БПМИ238 !! БПМИ239 !! БПМИ2310 !! БПМИ2311 !! БПМИ2312
|-
|| Лектор ||colspan="11"| [https://t.me/boris_demeshev Борис Демешев]
|-
|| Семинарист || [https://t.me/boris_demeshev Борис Демешев] || [https://t.me/levensons Илья Левин] || [https://t.me/madn_boi Никита Морозов] || [https://t.me/boris_demeshev Борис Демешев] || [https://t.me/XuMuK_MK Максим Каледин] || [https://t.me/goluba_yurieva Голуба Юрьева] || [https://t.me/Moskchan Вероника Владыкина] || [https://t.me/goluba_yurieva Голуба Юрьева]
|-
|| Ассистент || [https://t.me/nerhneiro Ира Скворцова] || [https://t.me/a_ameli_ig Амелия Алаева] || [https://t.me/htual Алина Бадахова] || [https://t.me/adelyagaraeva Аделя Гараева] || [https://t.me/mabrielka Мария Брель] || [https://t.me/zm_ann Анна Зыкова-Мызина] || [https://t.me/Yanlightv Яна Вежновец] || [https://t.me/nol_erk Кирилл Лавриненко]
|-
|| Ассистент курса ||colspan="11"| [https://t.me/Nick_Volya Никита Волянский]
|}

== Цели и задачи курса ==

侍には目標がなく道しかない [Samurai niwa mokuhyō ga naku michi shikanai]

У самурая нет цели и ничего кроме пути.

Вероятный план:
<div class="mw-collapsible mw-collapsed" style="width:1000px; overflow: hidden;">
1. Дискретное вероятностное пространство. Вероятность, математическое ожидание, теоретическая медиана.
Перестановочные тесты, p-значение для перестановочного теста.
Математическое ожидание = центр масс.

NB: здесь сходу рисуем дерево
NB: здесь нет задач на условную вероятность

!предупреждение об обозначениях случайных величин.
Российская традиция — греческие буквы, американская традиция — заглавные английские буквы.
Наш курс: любые буквы. Причина: теория вероятностей применяется в разных областях, где свои традиции.

NB: Способы вычисления вероятностей и ожиданий:
* полный перебор руками
* примерные вычисления руками
* полный перебор на компьютере
* симуляции на компьютере
* ...

2.
Методы решения задач:
* разложение величины в сумму
* метод первого шага
!идея: позиция в игре имеет цену
* just for fun: метод рычага в геометрии через ожидание
NB: рассказать здесь про комплексную случайную величину
NB: по сути здесь мы уже решаем задачи на марковские цепи не говоря страшных определений
LOTUS.

3. Условная вероятность и условное ожидание.
!идея: зануляем вероятности невозможных событий, а остальные — масштабируем.
формула полной вероятности
!идея: дерево "помнит" формулу полной вероятности
формула Байеса

Независимые события.
Независимые случайные величины.

4.
Методы решения задач:
* производящие функции многих переменных
функция как способ записать множество
HTT vs TTH
ABRACADABRA
!разложение по биномиальной формуле

?: можно здесь успеть функцию производящую моменты

5.
Биномиальное распределение.
Геометрическое и гипергеометрическое распределения.
Отрицательное биномиальное распределение.

6.
Равномерное распределение на множестве в R^n
Функция распределения.
Функция плотности и вероятностная дифференциальная форма.
!пояснение про неудачную традиционную терминологию "непрерывная случайная величина"
величина с функцией плотности, величина с непрерывной функцией распределения.

Квантили, квантильная функция.

7. Характеристики случайных величин и неравенства.
Дисперсия.
Энтропия.
Неравенство Маркова.
Неравенство Чебышёва.
Неравенство Йенсена.

Здесь конец модуля 1 и КР-1!

8. Пуассоновский поток.
Аксиомы пуассоновского потока.
Вывод экспоненциального распределения и пуассоновского распределения из аксиом.
Вывод экспоненциального распределения из предпосылки об отсутсвии памяти.

9. Нормальное распределение.
Нормальное распределение: предпосылки Хершела-Максвелла.
Нормальное распределение: аргументация Гаусса за среднее арифметическое.
Нормальное распределение: предпосылки Лэндона (до уравнения в частных производных).

10. Классические непрерывные распределения.

Гамма-распределение, бета-распределение.
Вывод нормального и экспоненциального распредений как минимизации энтропии.

11. Парные характеристики случайных величин.
Наилучшая линейная аппроксимация.
Ковариация.
Корреляция.
Кросс-энтропия.

Доказательство E(XY) = E(X) E(Y) для дискретных.
Ковариационная матрица и ожидание для случайных векторов.

12. Совместная и условная функция плостности.
Преобразования случайных величин.

13. Функция производящая моменты и характеристическая функция.
Распределение суммы случайного количества случайных величин.
Случайный выбор слагаемых.

14. Финансовые приложения

Оценивание опционов на биномиальном дереве.
Максимизация долгосрочной прибыли, связь с энтропией.
Возможно, индексы Гиттинса.

Здесь конец модуля 2 и КР-2

15. Сигма-алгебры.

Список известных величин как способ описания информации.
Идея условного ожидания как оптимального прогноза.
Сигма-алгебра как способ описания информации.
Измеримость случайной величины относительно сигма-алгебры.
Сигма-алгебра как ОДЗ для вероятности.
Борелевская сигма-алгебра.
Независимые случайные величины второе определение.

16. Условное математическое ожидание.
Условная дисперсия.
Сумма случайного количества случайных величин.

17. Сходимости случайных величин.

Сходимость по вероятности.
Закон больших чисел.
Сходимость почти наверное.
Усилинный закон больших чисел.
Сходимость по распределению.

18. Связь сходимостей.
Лемма Слуцкого.

19. Центральная предельная теорема.
Доказательство через подмену слагаемых.
Доказательство через характеристические функции.

Здесь контрольная.

20. Винеровский процесс
Условные ожидания, инверсия.

21. Байесовский подход к оцениванию параметров

Балансовое уравнение. Идея MCMC.

22. Доказательства свойств меры

23. Алгоритм построения математического ожидания в общем случае.
Лемма Фату.
Теорема о мажорируемой сходимости.
Теорема о монотонной сходимости.

24. Резерв.

Жемчужинки, которые, вероятно, не успеем:

А. Методы решения задач:
подсчёт случаев с помощью леммы Бернсайда и теоремы Пойа о перечислении
(Burnside lemma, PET = Polya Enumeration Theorem)

B. вероятностные доказательства детерминистических теорем

</div>

== Оценивание ==

Оценка за семестр-1 = 0.2 Домашние задания семестра-1 + 0.4 Контрольная-Альфа + 0.4 Экзамен-Бета.

Финальная оценка за курс = 0.5 Оценка за семестр-1 + 0.1 Домашние задания семестра-2 + 0.2 Контрольная-Гамма + 0.2 Экзамен-Дельта.

Каждая оценка (суммарные итоги за домашние задания, контрольные, экзамены) — целое число от 0 до 100.
Для перевода в 10-балльную шкалу промежуточной оценки за семестр-1 и финальной оценки используется деление на 10
с арифметическим округлением. Например, если Максим получил "оценку за семестр-1" 65 баллов, то в ведомость за первый семестр идёт 7, а далее в формуле финальной оценки за курс используется 65.

=== Домашние задания для самураев ===

Домашние задания [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/home_assignments/home_assignments.pdf одним файлом] и [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/blob/main/home_assignments/ отдельными файлами].
Домашние задания имеют равный вес.
В конце каждой лекции (за исключением ближайших к экзамену лекций)
выдается домашнее задание сроком на две недели.
Дедлайн жёсткий, однако студент имеет право просрочить три домашних задания на неделю каждое без штрафа.

Формат сдачи ДЗ: один pdf-файл (решение текстовых задач) и один ipynb-файл (решение компьютерных задач).
В pdf-файл можно поместить аккуратно написанное отсканированное решение, а можно скомпилировать pdf из теха или маркдауна.
Ещё можно вместо pdf-файла написать всё в ipynb.
Бонусов за сдачу домашки в техе нет. Пример [https://www.overleaf.com/read/qmrkwpzvmqbk шаблона].

Обратите внимание: '''время каждого дедлайна — 23:59'''.

=== Ведомость с оценками за ДЗ ===

{| class="wikitable" style="text-align:center"
|-
! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1872081500#gid=1872081500 235] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1374497930#gid=1374497930 236] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1183164252#gid=1183164252 237] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=408179311#gid=408179311 238] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1032422408#gid=1032422408 239] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1603236891#gid=1603236891 2310] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=791330236#gid=791330236 2311] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=23847300#gid=23847300 2312]
|}

[https://docs.google.com/spreadsheets/d/14hD7-SLmAA1omdkhPlt3blRHDHVGTDS8ZgvLWscvMz8/edit?usp=sharing Сводная ведомость всех оценок]

=== Контрольные работы и экзамен ===

Вес каждой задачи будет написан в тексте работы.
Задачи с ненаписанным по случайности весом имеют равный вес.
Для пропущенных по уважительной причине контрольных будет выделен один день для переписывания.
При пропуске дня переписывания, в том числе по уважительным причинам, ещё одного шанса не предоставляется.

<div class="mw-collapsible mw-collapsed" style="width:1000px; overflow: hidden;">

'''Контрольная работа 1''' состоится 2024-11-11 в 16:20, аудитории: R401, R305, R206, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_halloween_demo/exam_halloween_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/midterm/midterm-alpha.pdf условие с критериями и решениями].

'''Резервный день 1''' для пропустивших по уважительной причине состоится 2024-12-02 в 19:40, R405

'''Показ контрольной 1''':

* задачи 1, 2: заочно до 2024-12-08, [https://t.me/Moskchan Вероника]
* задачи 3, 4 [https://t.me/boris_demeshev Борис], очно, четверг, 2024-12-05, 18:10-21:00, G408
* задачи 5, 6 [https://t.me/XuMuK_MK Максим]: очно, четверг, 2024-12-05, 18:10-21:00, G408

'''Экзамен, модуль 2''' состоится '''''2024-12-24 в 10:00''''', аудитории R301, R304, R401, R404, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_winter_demo/exam_winter_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/december/pmi_probab_2024_december.pdf условие].

Если вы не хотите идти на экзамен, то заполните [https://forms.gle/UQzW77RrPvcdahG47 эту форму], чтобы получить ноль при неявке

'''Апелляция экзамена''':

* задачи 1, 2: заочно [https://t.me/goluba_yurieva Голуба], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/december/exam_problem_1-2.pdf решения и критерии 1, 2];
* задачи 3, 4: очно 2025-01-11, аудитория R408, 14:40-17:40 [https://t.me/madn_boi Никита], [https://www.overleaf.com/read/dnhjcdrndqps#42f1ab решения и критерии 3, 4];
* задачи 5, 6: заочно [https://t.me/levensons Илья]

* дедлайн по заочным апелляциям: суббота 23:59

[https://docs.google.com/spreadsheets/d/1mxMCr3IEDy8EPFWGkn3_dsghhPNcZICEw9C9o5ZoZvA/edit?usp=sharing Распределение по аудиториям]

Даты пересдач: 2025-01-28 в 18:10, 2025-02-03 в 18:10 и комиссия 2025-02-11 в 18:10.

* задачи 1, 2: [https://t.me/goluba_yurieva Голуба], задачи 3, 4: [https://t.me/madn_boi Никита], задачи 5, 6: [https://t.me/levensons Илья], апелляция пересдачи 2 до 21:00 2025-02-10.

'''Контрольная, модуль 3''' состоится 2025-02-22 в 16:20, аудитории R201, R204, R404, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_galileo_demo/exam_galileo_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_galileo/pmi_probab_galileo_exam_2024-2025.pdf условие].

[https://docs.google.com/spreadsheets/d/1LZA-7TDz_yYeVPRx4BpBWJnQKZ7wqPgHDrN-Z0SM68M/edit?usp=sharing Распределение по аудиториям]

'''Контрольная, модуль 3, резервный день''': 2025-03-07, пятница, 18:10, R204, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_galileo/pmi_probab_galileo_exam_2024-2025_retake.pdf условия]

[https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_galileo_sol/pmi_probab_galileo_exam_2024-2025_sol.pdf Комментарии по проверке], показ работ кр3:

* Задачи 1-2, заочно до 23 марта, [https://t.me/PlatonPromyslov Платон]
* Задачи 3-4, заочно до 23 марта, [https://t.me/Moskchan Вероника]
* Задачи 5-6, очно, [https://t.me/madn_boi Никита], понедельник 24 марта, 17:40-19:40 ('''обратите внимание на изменение времени'''), аудитория M203

</div>

'''Экзамен, модуль 3''' состоится '''2025-03-28''' в 14:40, аудитории R201, R301, R404, R405, [https://docs.google.com/spreadsheets/d/1p2glNStDh4wyz09Ii8PZe5uoWrp7k65kOFfmu1_1GQs/edit?usp=sharing рассадка], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_delta_demo/exam_delta_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_delta/exam_delta.pdf условие], [https://forms.gle/JTFo2m9Xr7kFdCxq5 форма для 0 вместо неявки]

Показ работ: заочно, вторая попытка до 2025-04-07, 17:00 :)

* задачи 1, 2: [https://t.me/boris_demeshev Борис]
* задачи 3, 4: [https://t.me/goluba_yurieva Голуба]
* задачи 5, 6: [https://t.me/levensons Илья]

== Учебные материалы ==

[https://github.com/bdemeshev/probability_pro/raw/master/probability_pro.pdf PP]: Листки с задачами к курсу.

[https://github.com/bdemeshev/stochastic_pro/raw/main/stochastic_pro.pdf StoPro]: Stochastic process problems.

[https://github.com/bdemeshev/probability_dna/raw/master/probability_dna.pdf PDNA]: Вероятностная ДНК = вкусные задачи по теории вероятностей.

[https://disk.yandex.ru/d/LZ6d2VZVqYvbDQ Видео-летопись семинаров и лекций] и [https://hse.liferooter.dev/ конспект] от тайного благожелателя (updated 2024-10-23]

[https://disk.yandex.ru/d/IoakBXz_6yygPw Официальные видео]

[https://www.cambridgeinternational.org/Images/344616-list-of-formulae-and-statistical-tables.pdf Cambridge statistical tables]

== Дневник самурая ==

2024-09-02, лекция 1: Определение события. Определение случайной величины. Аксиомы вероятности. Определение математического ожидания для дискретного случая.
Линейность математического ожидания. Математическое ожидание как центр масс. Первое знакомоство с перестановочным тестом и p-значением.

Можно глянуть: главы 2.1 и 7 из [https://arxiv.org/pdf/1411.5279 WTSK], метод рычага [https://mathcircle.berkeley.edu/sites/default/files/archivedocs/2007_2008/lectures/0708lecturespdf/MassPointsBMC07.pdf в геометрии].

2024-09-09, лекция 2: Метод первого шага (вероятность выпадения HTH ранее HHT, ожидаемое количество шагов). Метод разложения случайной величины в сумму. Определение случайного вектора. Использование интерпретации ожидания как центра масс в геометрии. Определение теоретической медианы.

Можно глянуть: глава 2.7.2 из [https://projects.iq.harvard.edu/stat110/home BItP], три стратегии решения задачи за 10 минут [https://www.youtube.com/watch?v=xH89DaEI35w Visually Explained]

2024-09-16, лекция 3: Получение новой информации приводит к пересчёту вероятностей. Определение условной вероятности. Формула полной вероятности. Формула Байеса.
Условное математическое ожидание. Формула полного математического ожидания. Независимость пары событий. Независимость набора событий в совокупности.
Независимость величин: неформальное определение. Критерий независимости произвольных величин. Критерий независимости дискретных величин.

2024-09-23, лекция 4: Доказательство критерия независимости для дискретных случайных величин: из независимости {X=x} и {Y=y} следует независимость {X in A} и {Y in B}. Независимость величин равносильна E(f(X))E(g(Y))=E(f(X)g(Y)) для произвольных f, g. Определение биномиальной, геометрической (как числа неудач до 1го успеха) и отрицательной биномиальной случайной величины. Общая идея за производящими функциями: как из функции, производящей исходы эксперимента, с помощью производных и подстановок выудить индивидуальные вероятности, совместные вероятности, ожидания любой степени E(X^a), E(X^a Y^b). Формальное определение функции, производящей вероятности, и функцию, производящей моменты, для одной случайной величины и пары случайных величин. Метатеорема: все теоремы о дискретных величинах доказываются перестановкой слагаемых. Основные дискретные распределения: биномиальное, геометрическое, отрицательное биномиальное.

2024-09-30, лекция 5: Ещё дискретные законы распределения: гипергеометрическое. Описание закона распределения через равномерное распределение на подмножестве R^n.
Функция плотности как линейная часть вероятности попадания в отрезок. Равномерное распределение на отрезке. Смешанные случайные величины. LOTUS: нахождение ожидания любой функции от случайной величины для величин с функцией плотности и смешанных величин. Функция распределения. Квантильная функция.

2024-10-07, лекция 6: Две геометрии случайных величин и событий: E(XY) как скалярное произведение, Cov(X, Y) как скалярное произведение. Математическое ожидание — проекция в рамках геометрии, задаваемой E(XY). Определение и геометрический смысл дисперсии, стандартного отклонения, ковариации и корреляции. Неравенство Маркова. Неравенство Чебышёва. Неравенство Йенсена: интуитивный смысл.

2024-10-14, лекция 7: Доказательство неравенства Йенсена. Энтропия как минимальное ожидаемое число вопросов для отгадывания и формальное определение. Кросс-энтропия.
Доказательство того, что кросс-энтропия больше либо равна энтропии. Совместная энтропия. Условная энтропия. Формула H(X) + H(Y|X) = H(X, Y) без доказательства.
Вывод плотности экспоненциального распределения из предпосылки отсутствия памяти. Экспоненциальное распределение максимизирует энтропию при заданном ожидании и неотрицательности.

* Cristopher Olah, Visual Information Theory, https://colah.github.io/posts/2015-09-Visual-Information/

* Grand Sanderson, Solving Wordle using information theory, [https://www.youtube.com/watch?v=v68zYyaEmEA youtube].

* Artem Kirsanov, Key equation behind probability, [https://www.youtube.com/watch?v=KHVR587oW8I youtube]. У Артёма кросс-энтропия обозначена H(P, Q), а не CE(P||Q)).

* [https://exuberant-arthropod-be8.notion.site/1-02-09-5e107ea1c4054594b8f37d955db8a2b0 Конспект] аналогичной старой лекции псмо на русском.

* Keith Conrad, [https://kconrad.math.uconn.edu/blurbs/analysis/entropypost.pdf Maximal entropy] distributions.

2024-10-21, лекция 8: Ковариационная матрица и её свойства. Совместная функция плотности. Условная функция плотности. Критерий независимости в терминах функций плотности и распределения.
Связь индивидуальной и совместной функций плотности и функций распределения. Смена плотности при замене переменных: домножение на якобиан и неформально про дифференциальные формы. Формула свёртки.
Разложение совместной плотности для графической модели. Представление произвольной совместной функции распределения с помощью копулы.

* Про дифференциальные формы: [https://www.youtube.com/watch?v=PaWj0WxUxGg&list=PL22w63XsKjqzQZtDZO_9s2HEMRJnaOTX7 videos] by Michael Penn, [https://www.math.purdue.edu/~arapura/preprints/diffforms.pdf short intro] by Dony Arapura

* What is a convolution от [https://www.youtube.com/watch?v=KuXjwB4LzSA 3b1b]

* From graphical models to [https://www.youtube.com/watch?v=yBc01ZeaFxw&list=PLISXH-iEM4JlFsAp7trKCWyxeO3M70QyJ Probabilistic ML]

2024-11-11, лекция 9: Пуассоновский поток: аксиомы. Вывод пуассоновского распределения количества событий и экспоненциального времени между событиями из аксиом.
Сумма независимых пуассоновских потоков — это пуассоновский поток (половина доказательства). Вероятность того, что одна экспоненциальная величина будет меньше другой, независимой.

2024-11-18, лекция 10: Гамма-распределение как сумма нескольких экспоненциальных: вывод плотности через вероятность попадания в малый отрезок.
Обобщение плотности на случай положительного параметра $a$. Гамма-функция. Бета-распределение как отношение гамма-распределений. Бета-функция.

2024-11-25, лекция 11: Вывод нормального распределения из предпосылок Гаусса. Вывод нормального распределения из предпосылок Гершеля — Максвелла.

* Saul Stahl, The [https://www.researchgate.net/publication/255668423_The_Evolution_of_the_Normal_Distribution Evolution] of the Normal Distribution: вывод Гаусса с историей.

* Grand Sanderson, [https://www.youtube.com/watch?v=cy8r7WSuT1I Why pi] is in the normal? вывод Гершеля—Максвелла

* James Stein, [http://www-biba.inrialpes.fr/Jaynes/cc07s.pdf Normal Distribution]: глава про нормальное распределение (Гаусс, Гершель—Максвелл, Лэндон etc)

* William Herschel, [https://music.yandex.com/album/209394/track/2121214 концерт для габоя]

* William Herschel, [https://www.informationphilosopher.com/solutions/scientists/quetelet/Herschel_Quetelet_Probabilities.pdf On the theory of Probabilities]: вывод нормального распределения словами на стр. 189-191

2024-12-02, лекция 12: многомерное нормальное распределение. Функция плотности невырожденного многомерного нормального. Функция производящая моменты для многомерного нормального. Формула Иссерлиса с ненулевыми ожиданиями и доказательством. Условное распределение: вывод условного ожидания и условной дисперсии через разложение величины в сумму независимых.

* [https://stats.stackexchange.com/questions/30588/ альтернативный вывод] условного многомерного нормального распределения
* Хитрый [https://github.com/bdemeshev/lis-isserlis/raw/main/lis-isserlis.pdf лис Иссерлис]

2024-12-09, лекция 13: сходимость по распределению, центральная предельная теорема с доказательством подменой слагаемых.

* Calvin Chin [https://arxiv.org/pdf/2106.00871 CLT proof] by swapping
* [https://bdemeshev.github.io/teaching_notes/clt_by_swapping Пересказ доказательства]

2024-12-16, лекция 14: использование бесконечно малых при нахождении ожиданий, трюк с добавление параметра, трюк с закольцовыванием отрезка при равномерном распределении.

* [https://dspace.mit.edu/bitstream/handle/1721.1/91482/1-203j-fall-2004/contents/lecture-notes/class5crofton.pdf Crofton's method]

2025-01-13, лекция 15: Неединственность предела по распределению. Неаддитивность предела по распределению. Предел по вероятности. Закон больших чисел в слабой форме (с доказательством при дополнительной предпосылке о конечности дисперсии). Теорема о непрерывном отображении.

2025-01-20, лекция 16: два определение сходимости почти наверное с доказательством эквивалентности. Сходимость в Lp. Из сходимости в Lp при p>=1 следует сходимость по вероятности. Из сходимости почти наверное следует сходимость по вероятностям. Контр-пример к разнице сходимостей почти наверное и по вероятности. Контр-пример к разнице сходимостей в Lp и по вероятности. Усиленный закон больших чисел (без доказательства). Леммы Слуцкого (без доказательства).

2025-01-27, лекция 17: характеристические функции и их свойства. Вывод характеристической функции нормального стандартного распределения через дифференциальное уравнение. Характеристическая функция биномиального распредеделения. Второе доказательство ЦПТ (через характеристические функции).

* [https://web.ma.utexas.edu/users/gordanz/notes/characteristic.pdf Gordan Zitkovic]: characteristic functions
* [https://sas.uwaterloo.ca/~dlmcleis/s901/chapt6.pdf McLeish]: clt proof

2025-02-03, лекция 18: пример последовательности сходящийся по вероятности с ожиданием стремящимся к бесконечности. Критерий Кэлли. Критерий оптимальной остановки Брасса.

* [https://en.wikipedia.org/wiki/Kelly_criterion wikipedia]: Kelly criterion
* [https://projecteuclid.org/journalArticle/Download?urlId=10.1214%2Faop%2F1019160340 Bruss]: sum the odds to one and stop

2025-02-10 лекция 19: Сигма-алгебра порождённая случайной величиной или набором из нескольких случайных величин. Замкнутость относительно счётного количества операций с множествами. Сигма-алгебра. Объединение сигма-алгебр не всегда сигма-алгебра. Пересечение сигма-алгебр всегда сигма-алгебра. Измеримость суммы. Борелевская сигма-алгебра.

2025-02-18, лекция 20: [https://us06web.zoom.us/j/82685613040?pwd=bqJoXGItwNOOWddXj1flfmPmDn6fMQ.1 онлайн, 18:10]: разбор задач про сигма-алгебры для подготовки к контрольной. Условное математическое ожидание относительно сигма-алгебры: интуиция и формальное определение. Пример подсчёта в дискретном случае.

2025-02-24, лекция 21: Условное ожидание и дисперсия относительно сигма-алгебры со свойствами. Условная вероятность.

2025-03-03, лекция 22: Определение фильтрации. Определение момента остановки. Сигма-алгебра на момент остановки. Определение мартингала.
Формулировка теоремы [https://en.wikipedia.org/wiki/Optional_stopping_theorem Дуба об остановке мартингала]. Задача о макаке, печатающей слово "абракадабра".

* [https://math.uchicago.edu/~may/VIGRE/VIGRE2011/REUPapers/Ai.pdf Martingales and ABRACADABRA]

2025-03-10, лекция 23: Два контр-примера к теореме дуба. Доказали теоремы Дуба для случая ограниченного момента времени. Тождество Вальда: формулировка и доказательство. Определение броуновского движения с явным упоминанием фильтрации и без. Ковариационная функция Cov(Ws, Wt).

2025-03-17, лекция 24: Преобразования винеровского процесса: масштабирование и инверсия. Закон распределения накопленного максимума. Закон распределения момента достижения заданного значения.

2025-03-24, лекция 25:

=== Семинары ===

==== 473 = 235 + 238 ====

2024-09-02, 06, семинар 1: задачи 1.1, 1.6, 3.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-09, 13, семинар 2: задачи 2.1, 2.3, 12.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-16, 20, семинар 3: задачи 7.12 и 7.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-23, 27, семинар 4: как извлечь P(X=3), E(X), E(X^2Y) из функции, производящей список исходов, 28.16 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-30, -10-04, семинар 5: 9.3в, 9.4, 9.7(абвд, кроме дисперсии, аргументы масштабирования и центра масс помимо интегралов), 9.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-10-07, 11, семинар 6: вычисление Cov, Var, Corr по табличке и из функции плотности, нахождение дисперсии для отрицательного биномиального распределения по свойствам.

2024-10-14, 18, семинар 7: вычисление энтропии геометрического распределения. Изменение энтропии при линейном преобразовании для дискретной величины и величины с функцией плотности.
Кросс-энтропия из экспоненциального в равномерное. Условная энтропия для дискретной таблички. Связь энтропии величины с функцией плотности и энтропия дискретной версии этой случайной величины после "огрубления" с малым шагом 1/k.

2024-10-21, -11-01, семинар 8: 16.18, 16.23 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], свёртка двух экспоненциальных величин

2024-11-11, 15, семинар 9: задачи на пуассоновский поток из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-11-18, 22, семинар 10: задачи на бета и гамма-распределение

2024-11-25, 29, семинар 11: задачи на нормальное распределение, 18.1, 18.2, 18.3, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-02, 06, семинар 12: задачи на многомерное нормальное: 24.16аб, 24.17аб, 24.18, 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-09, 13, семинар 13: ЦПТ и нормальное распределение: 20.2, 20.4, 18.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-19, семинар 14: разбор демо

2025-01-13, семинар 15: сходимость по вероятности: 20.1, 20.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-20, 24, семинар 16: связь между сходимостями, 20.11, 20.13 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-27, 31, семинар 17: 28.17, 28.18, 28.21 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-03, 07, семинар 18: 28.20аб, 28.22 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-10, 14, семинар 19: 6.2, 6.3, 6.11, измеримость произведения из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-18, 21, семинар 20: разбор демо

2025-02-24, 28, семинар 21: Условное математическое ожидание и условная дисперсия относительно сигма-алгебры в дискретном случае.
[https://github.com/bdemeshev/stochastic_pro/raw/main/stochastic_pro.pdf StoPro]: 8.22-8.25

2025-03-03, 10, семинар 22: доказали, что сигма алгебра, порождённая моментом остановки, лежит внутри сигма-алгебры событий на момент остановки.
Вероятность достижения границы -а раньше границы +b и среднее время достижения одной из этих границ для классического случайного блуждания.
Преобразование несимметричного случайного блуждание St в мартингал с помощью exp(alpha St).
[https://github.com/bdemeshev/stochastic_pro/raw/main/stochastic_pro.pdf StoPro]: 9.1, 9.3

2025-03-10, 14, семинар 23: решение двух классических задач с помощью мартингалов: [https://en.m.wikipedia.org/wiki/Bertrand%27s_ballot_theorem задача о голосовании], [https://math.dartmouth.edu/~pw/papers/gpdp.ps "следующая карта — красная"].

2025-03-17, 21, семинар 24: нахождение ожиданий и вероятностей E(W5W6 | W4), P(W1 > 0, W2 < 0); проверка мартингальности (Wt), (Wt^2 - t), (exp(aWt - a^2t/2)).

==== 236 ====

2024-09-06, семинар 1: в начале семинара рассмотрели основные понятия и определения для решения задач. Решили задачи 1.1, 1.6, 3.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-13, семинар 2: нашли ожидание случайной величины с геом. распределением. Решили задачи 2.1, 12.6, 12.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-09-20, семинар 3: решили задачи 7.12, 7.4(а), 7.7, 7.13(а) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-09-27, семинар 4: разобрали 7.13, почти разобрали 28.3 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Также рассмотрели один контрпример на независимость(тетраэдр Бернштейна).

2024-10-04, семинар 5: разобрались с определениями, решили 9.3(абв), 9.7(аб) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Решили задачку про три точки на отрезке и найти вероятность получить треугольник. Также вывели формулу для мат. ожидания неотрицательной величины через функцию распределения.

2024-10-14, семинар 6: обсудили дисперсию, ковариацию, коэффициент корреляции и их геометрический смысл. Решили задачу на оценку дисперсии ограниченной величины. посчитали дисперсию геометрического, биномиального. Посчитали дисперсию в задаче о письмах и конвертах.

???, семинар 7: определили энтропию, посчитали примеры для дискретных величин, для линейных преобразований. Доказали, что задача максимизации энтропии с фиксированной дисперсией достигается на нормальном распределении.

???, семинар 8: свертка двух экспоненциальных, 16.18 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

???, семинар 9: задачи на пуассоновский процесс из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

???, семинар 10: разбор кр.

???, семинар 11: разобрали задачи на нормальное распределение 18.1, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Также считали распределение суммы двух независимых нормальных.

==== 237 ====

2024-09-09, семинар 1: задачи 1.1, 2.2 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], вероятность что n ладей не бьют друг друга при случайной расстановке на шахматной доске n на n, матожидание числа треугольников в случайном графе на n вершинах через сумму индикаторов

2024-09-13, семинар 2: задачи 2.1, 2.6, 12.3, 12.6, 12.7 (без дисперсий) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-23, семинар 3: задачи 7.2, 7.13, 7.7, 7.8, плюс начали 7.15b (получили неверный ответ) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-27, семинар 4: дорешали 7.15b с небольшой демонстрацией на питоне, разобрали 28.2 для нечестной монетки плюс посчитали матожидание [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-10-04, семинар 5: задачи 9.1, 9.3абв, 9.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], философия про то почему бОльшая плотность не всегда означает бОльшую вероятность оказаться в окрестности данной точки (плотность может занимать слишком маленький объем)

2024-10-11, семинар 6: вспомнили определения Cov/Var/Corr, посчитали у пары дискретных величин по табличке вероятностей, посчитали дисперсию у биномиального, геометрического, непрерывного равномерного на отрезке.

2024-10-18, семинар 7: вычисление энтропии геометрического распределения; ограниченность энтропии снизу и сверху в дискретном случае; изменение энтропии при линейном преобразовании для дискретной величины и величины с функцией плотности; условная энтропия, KL дивергенция и кросс-энтропия, неотрицательность KL, интерпретация на пальцах с точки зрения теории информации.

2024-11-01, семинар 8: 16.18, 16.23 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], свёртка двух экспоненциальных величин

2024-11-08, семинар 9: решали пробный вариант КР

2024-11-15, семинар 10: 13.1, 13.2, 13.5, 13.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-11-22, семинар 11: разбор КР

2024-11-29, семинар 12: нормальное распределение, 18.1, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-06, семинар 13: многомерное нормальное распределение, изменение среднего и матрицы ковариаций при линейном преобразовании, 24.4а, 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-13, семинар 14: 24.4в из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], сходимости случайных величин, ЗБЧ и ЦПТ, 20.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-21, семинар 15: наследование сходимости, 20.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], плюс доказали предельную теорему Пуассона

2025-01-28, семинар 16: связь между сходимостями, 20.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], лемма Слуцкого, подмена дисперсии на выборочную дисперсию в ЦПТ

2025-02-04, семинар 17: базовые свойства хар функций, хар функция суммы независимых величин, 28.17, 28.20 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-18, семинар 18: вероятностное пространство в общем случае, сигма-алгебры, борелевская сигма-алгебра, сигма-алгебра порожденная случайной величиной, измеримость случайной величины относительно сигма-алгебры, 6.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], задачи на сигма алгебры из пробника КР

2025-02-25, семинар 19: условное матожидание относительно сигма алгебры, условное матожидание и дисперсия относительно случайной величины, закон полного матожидания и закон полной дисперсии, 22.1, 22.3, 22.5абв из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-03-04, семинар 20: показали, что условное матожидание минимизирует среднеквадратичный риск; нашли условное матожидание и условную дисперсию в 22.6 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], нашли E[X | X^2] для симметричного равномерного распределения, нашли E[X_1 | X_1 + ... + X_n] для набора i.i.d. величин, нашли E[Y] и Var(Y) для Y|X имеющего экспоненциальное распределение с параметром X

2025-03-11, семинар 21: мартингалы, момент остановки, теорема Дуба об остановке, задача о разорении игрока для честного и нечестного казино, вероятность выигрыша и вероятность разорения

2025-03-11, семинар 22: матожидание времени до момента остановки в задаче о разорении игрока, теорема Бертрана о выборах

==== 239 ====

2024-09-03, семинар 1: задачи 1.1, 1.4, пытались 1.8 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Ещё успели посчитать вероятность N=k бросков монеты до выпадения первого орла, матожидание N. И ещё сделали то же для количества бросков до выпадения 3 орлов (не в серии).

2024-09-10, семинар 2: доказали формулу включения-исключения, решили несложную задачу, порешали 2.7 задачи типа 12.*

2024-09-17, семинар 3: Решили две прямых задачи на формулу Байеса и формулу полной вероятности (без большого количества вычислений). Решили задачу поиска вероятности неисправного кофе-автомата из 3 при условии, что бросили деньги в 1 и 2 и их зажевало. Ещё нашли вероятность, что мяч будет у игрока 3 после шага 10 (все садятся в круг и на каждом шаге бросают мяч соседу с вероятностью 0.3 и оставляют у себя с вероятностью 0.4).

2024-09-24, семинар 4: Вспомнили про метод первого шага, используя формулу полной вероятности и введя в некотором виде формулу полного матожидания, записали формулу для вероятностей нахождения в состоянии i через произведение переходной матрицы на вектор. Совсем немного начали производящие функции, но решили не считать 31ю производную многочлена.

2024-10-01, семинар 5: Исследуем дискретные случайные величины (Биномиальная, Геометрическая и разные похожие) с использованием техник вычислений моментов через производящую функцию. Задачи на распределения величин, посчитанных по набору величин. Первая большая задача про плотность.

2024-10-08, семинар 6: разминочная про плотность и функцию распределения. Считаем дисперсию, ковариацию и корреляцию по 2x2 таблице и в равномерном распределении на круге и квадрате [-1,1]х[-1,1].

2024-10-15, семинар 7: пара задач про экспоненциальное распределение, расчёты по теории информации(считаем всякое, чтобы привыкнуть).

2024-10-22, семинар 8: письменные источники не сохранились до наших дней. Согласно преданиям, оьсуждали двери и около контрольной. Говорят, ввели пуассоновский процесс.

2024-???, семинар 9: решаем задачи на пуассоновское в разных формах и обсуждаем омалые в порядковых статистиках.

2024-???, семинар 10: учимся интерпретироввть гауссовское, пользоваться таблицами для функции Лапласа, а также немного работать с многомерным гауссовским.

2024-3-12, семинар 11: Копаем во все стороны многомерное гауссовское: считаем вероятности для линейных комбинаций гауссовских, проверяем зависимость, вычисляем условные законы, матожидания и ковариационные матрицы, вспоминаем спектральное разложение и разложение Холецкого.

==== 2311 ====

2024-09-06, семинар 1: вероятностное пространство, вероятность на нем, вероятность события, случайная величина и ее распределение (индикатор события, сумма двух кубиков, число бросаний монетки до первого орла), матожидание случайной величины (индикатор, один кубик, два кубика), линейность матожидания. Задачи на линейность матожидания, в том числе ЕГЭшная задача про турнир, 1.5, 3.5 с допвопросом о матожидании числа совпадений. Разговор о получении события произвольной вероятности монеткой в контексте 1.8

2024-09-13, семинар 2: Повторили матожидание суммы на примере 12.3. Обсудили условную вероятность и формулу полной вероятности, условное матожидание, решили задачи на метод первого шага 2.1, 2.3, 2.7.

2024-09-20, семинар 3: Условная вероятность, формула полной вероятности, формула Байеса: 7.1, классическая задача про болезни и тесты, простейшие задачки на общее понимание, обсуждение двух подходов: вычисления условной вероятности по формуле и составления нового вероятностного пространства и подсчет вероятности в нем. Независимые события (события "пики" и "дама" в обычной колоде и колоде с джокерами), независимые в совокупности события, построили пример попарно независимых, но не независимых в совокупности. Обсудили биномиальное распределение. решили задачу: "в корабле к отсеков, чтобы корабль затонул, нужно поразить 2. Независимо выпускают n ракет, каждая из которых поражает случайный отсек с вероятностью p. Найти вероятность потопления корабля"

2024-09-20, семинар 4: Примеры одинаково распределенных зависимых СВ, независимые СВ. Производящая функция и ее свойства. Посчитали для биномиального производящую функцию и второй момент. Обсудили, что будет меняться в случае функции, производящей моменты. Обсудили функцию, производящую множество исходов, как из нее доставать уже известные функции, как ее искать на примере бросания монетки до выпадания HT

2024-10-11, семинар 5: Составили табличку стандартных дискретных распределений, посчитали матожидание геометрического, обсудили дисперсию и ковариацию и их свойства (в дискретном случае), досчитали дисперсии основных распределений. Обсудили вероятностное пространство в общем случае, понятие СВ в общем случае. Дали определение ФР, посчитали ФР для явно заданной СВ. Дали определение плотности.

2024-10-12, семинар 6: Обсудили свойства ФР, как считать вероятность попадания в промежуток в терминах ФР. Выразили ФР 1/X, cos X. Обсудили как выражается веротяность попадания в множество через плотность. для 1/Х выразили плотность в случае абсолютной непрерывности Х. Обсудили формулу для МО в общем виде через интеграл Стильтьеса и как вычислять МО для функции, разлагающейся в сумму абсолютно нерпрерывной и функции скачков, посчитали МО для пары таких СВ

2024-10-18, семинар 7: Обсудили геометрию, заданную скалярным произведением EXY и cov(X,Y), поиск ортогонального элемента и проекции. Посчитали энтропию и кросс-энтропию в дискретном и непрерывном случаях, посчиали совместную и условную энтропию в дискретном случае (23.2, 23.4, 23.9)

2024-11-01, семинар 9: Совместная плотность и ф.р., подсчет вероятностей, маргинальные плотности, замена переменной через якобиан, свертка, матожидание

2024-11-09, семинар 10: Условная плотность, формула условной вероятности. Задача на восстановление маргинальной плотности по условной. Разбор задач из "Летучей мыши"

2024-11-19, семинар 11: Разбор контрольной работы

2024-11-22, семинар 12: Пуассоновский поток - решали задачки из задачника

2024-11-29, семинар 13: Нормальное распределение - задачи из PP, повторили функцию, порождающую моменты, обсудили ее свойства в абсолютно непрерывном случае

2024-12-06, семинар 14: Многомерное нормальное - обсудили два определения, связь между ними, независимость элементов нормального вектора при нулевой ковариации и почему это неверно для произвольных нормальных. порешали задачи 24.9а, 24.10, 24.17

2024-12-013, семинар 15: ЦПТ, решали задачи из задачника

2025-01-17, семинар 16: Сходимости почти наверное и по вероятности, связь со сходимостью по распределению. Посмотрели стандартные контрпримеры, показали, что если есть сходимость по распределению к константе, то есть и по вероятности. ЗБЧ Чебышева и Хинчина, УЗБЧ Колмогорова, обсудили 20.1 сколько успели.

2025-01-24, семинар 17: Сходимость в L_p, связи между сходимостями. Задача 20.11

2025-01-24, семинар 18: Характеристические функции и их свойства. Посчитали хар функции для равномерного, Бернулли, биномиального, Пуассона, экспоненциального. Показали, чо сумма нормальных нормальна. По функции пытались понять, может ли она быть характеристической и восстанавливали с.в.

==== 2310, 2312 ====

2024-09-06, семинар 1: задача 1.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Определили вероятностное пространство в виде тройки, множество исходов рассматривали конечное и счётное. Решили 3 счётные задачи на комбинаторику про колоды карт и счетные последовательности цифр. Привели геометрическое и аналитическое решения задачи про нахождение предела последовательности вероятностей. В конце нашли математическое ожидание геометрически распределённой случайной величины.

2024-09-13, семинар 2: задача 2.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Задача на упорядоченные и неупорядоченные наборы. Задача про классическое вероятностное пространство и про пространство с неравновероятными исходами. Разобрали парадокс Монти Холла. Ввели понятия условной вероятности и независимых случайных величин. Сформулировали и обсудили идеи доказательств трёх теорем: теорема умножения вероятностей, формула полной вероятности и формула Байеса.

2024-09-20, семинар 3: Решили задачу на определение условной вероятности. Обсудили парадокс теоремы Байеса на примере задачи про редкое заболевание, а также посмотрели простую программу на Python, которая считает вероятность в зависимости от количества проведенных тестов на заболевание. Обсудили условное математическое ожидание, некоторые его свойства и рассмотрели пример с подбрасыванием кубика. В конце решили задачу на парадокс дней рождений.

2024-09-27, семинар 4: Обсудили коллизии хеш-функций и связь с атакой "дней рождений". Определили независимость или зависимость случайных величин в четырёх разных вариантах. Обсудили, что неверно утверждать, что матожидание частного независимых случайных величин равно частному матожиданий, также привели пример использования подобного факта в некоторых статьях. В конце решили задачу на поиск функции производящей исходы, а также нашли E(X), E(Y^2), E(XY) с помощью найденной функции.

2024-10-04, семинар 5: Решили две простые задачи на условную вероятность и на теорему об умножении вероятностей. Обсудили связь дерева событий с условной вероятностью и теоремой об умножении вероятностей. Нашли производящую функцию моментов для геометрически распределенной случайной величины и с помощью нее нашли матожидание. Нашли производящую функцию моментов и матожидание суммы случайного количества н.о.р случайных величин.

2024-10-11, семинар 6: Привели аналогии между дискретными и непрерывными случайными величинами. Нарисовали графики функций от случайных величин. Вспомнили определение и свойства дисперсии. Решили простую задачу на подсчет дисперсии и нашли дисперсию геометрически распределенной случайной величины. Обсудили, когда может быть матожидание и дисперсия бесконечны. Далее вспомнили неравенства Маркова и Чебышева, вывели следствия и решили 3 задачи на применение этих неравенств. Обсудили, что неравенство Маркова может давать как точную оценку, так и очень слабую. Показали, что неотрицательность случайной величины в неравенстве Маркова является существенным условием.

2024-10-11, семинар 7: Повторили понятия энтропии в битах и натах, а также понятие дифференциальной энтропии. Нашли энтропию в схеме Бернулли и энтропии геометрического и экспоненциального распределений. Доказали простую оценку сверху для энтропии случайной величины, имеющей конечный носитель мощности n.

2024-11-1, семинар 8: Разобрали демо-вариант контрольной работы "Тыква".

2024-11-8, семинар 9: Разобрали демо-вариант контрольной работы "Летучая мышь".

2024-11-15, семинар 10: Понятие случайного процесса. Определение пуассоновского процесса, его свойства. Три простые задачи на пуассоновское распределение. Задачи 13.1 и 13.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-11-22, семинар 11: Определения Бета-функции и Гамма-функции. Бета и Гамма распределения, их функции плотности и графики. Нахождение моды случайных величин, имеющих Бета и Гамма распределения. Связь пуассоновского процесса с Гамма распределением. В конце нашли производящую функцию моментов Гамма распределения.

2024-11-29, семинар 12: Задачи 18.1, 18.2 и 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-12-06, семинар 13: Нашли многомерное нормальное распределение по виду функции плотности (константа на экспоненту с квадратичным показателем). С помощью формулы Иссерлиса нашли матожидания произведений различных или одинаковых случайных величин, имеющих многомерное нормальное распределение. Нашли условную вероятность многомерного распределения. Задача 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-12-13, семинар 14: Повторили определение сходимости по распределению и центральную предельную теорему. Решили задачи 20.2 и 20.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

== Источники ==

Источники мудрости, которые я постарался не замутить :)

[https://arxiv.org/pdf/1411.5279 WTSK]: Tim Hesterberg, What Teachers Should Know About the Bootstrap: вкусное и доступное изложение бутстрэпа и перестановочных тестов.

[https://projects.iq.harvard.edu/stat110/home BItP]: Blitzstein, Hwang, Introduction to Probability: учебник, записи лекций, гарвардский курс.

Теория вероятностей 2024/25 (основной поток)

2025-04-04T17:30:40Z

Bdemeshev: /* Контрольные работы и экзамен */

= Преподаватели и учебные ассистенты =

{| class="wikitable" style="text-align:center"
|-
! Группа !! БПМИ235 !! БПМИ236 !! БПМИ237 !! БПМИ238 !! БПМИ239 !! БПМИ2310 !! БПМИ2311 !! БПМИ2312
|-
|| Лектор ||colspan="11"| [https://t.me/boris_demeshev Борис Демешев]
|-
|| Семинарист || [https://t.me/boris_demeshev Борис Демешев] || [https://t.me/levensons Илья Левин] || [https://t.me/madn_boi Никита Морозов] || [https://t.me/boris_demeshev Борис Демешев] || [https://t.me/XuMuK_MK Максим Каледин] || [https://t.me/goluba_yurieva Голуба Юрьева] || [https://t.me/Moskchan Вероника Владыкина] || [https://t.me/goluba_yurieva Голуба Юрьева]
|-
|| Ассистент || [https://t.me/nerhneiro Ира Скворцова] || [https://t.me/a_ameli_ig Амелия Алаева] || [https://t.me/htual Алина Бадахова] || [https://t.me/adelyagaraeva Аделя Гараева] || [https://t.me/mabrielka Мария Брель] || [https://t.me/zm_ann Анна Зыкова-Мызина] || [https://t.me/Yanlightv Яна Вежновец] || [https://t.me/nol_erk Кирилл Лавриненко]
|-
|| Ассистент курса ||colspan="11"| [https://t.me/Nick_Volya Никита Волянский]
|}

== Цели и задачи курса ==

侍には目標がなく道しかない [Samurai niwa mokuhyō ga naku michi shikanai]

У самурая нет цели и ничего кроме пути.

Вероятный план:
<div class="mw-collapsible mw-collapsed" style="width:1000px; overflow: hidden;">
1. Дискретное вероятностное пространство. Вероятность, математическое ожидание, теоретическая медиана.
Перестановочные тесты, p-значение для перестановочного теста.
Математическое ожидание = центр масс.

NB: здесь сходу рисуем дерево
NB: здесь нет задач на условную вероятность

!предупреждение об обозначениях случайных величин.
Российская традиция — греческие буквы, американская традиция — заглавные английские буквы.
Наш курс: любые буквы. Причина: теория вероятностей применяется в разных областях, где свои традиции.

NB: Способы вычисления вероятностей и ожиданий:
* полный перебор руками
* примерные вычисления руками
* полный перебор на компьютере
* симуляции на компьютере
* ...

2.
Методы решения задач:
* разложение величины в сумму
* метод первого шага
!идея: позиция в игре имеет цену
* just for fun: метод рычага в геометрии через ожидание
NB: рассказать здесь про комплексную случайную величину
NB: по сути здесь мы уже решаем задачи на марковские цепи не говоря страшных определений
LOTUS.

3. Условная вероятность и условное ожидание.
!идея: зануляем вероятности невозможных событий, а остальные — масштабируем.
формула полной вероятности
!идея: дерево "помнит" формулу полной вероятности
формула Байеса

Независимые события.
Независимые случайные величины.

4.
Методы решения задач:
* производящие функции многих переменных
функция как способ записать множество
HTT vs TTH
ABRACADABRA
!разложение по биномиальной формуле

?: можно здесь успеть функцию производящую моменты

5.
Биномиальное распределение.
Геометрическое и гипергеометрическое распределения.
Отрицательное биномиальное распределение.

6.
Равномерное распределение на множестве в R^n
Функция распределения.
Функция плотности и вероятностная дифференциальная форма.
!пояснение про неудачную традиционную терминологию "непрерывная случайная величина"
величина с функцией плотности, величина с непрерывной функцией распределения.

Квантили, квантильная функция.

7. Характеристики случайных величин и неравенства.
Дисперсия.
Энтропия.
Неравенство Маркова.
Неравенство Чебышёва.
Неравенство Йенсена.

Здесь конец модуля 1 и КР-1!

8. Пуассоновский поток.
Аксиомы пуассоновского потока.
Вывод экспоненциального распределения и пуассоновского распределения из аксиом.
Вывод экспоненциального распределения из предпосылки об отсутсвии памяти.

9. Нормальное распределение.
Нормальное распределение: предпосылки Хершела-Максвелла.
Нормальное распределение: аргументация Гаусса за среднее арифметическое.
Нормальное распределение: предпосылки Лэндона (до уравнения в частных производных).

10. Классические непрерывные распределения.

Гамма-распределение, бета-распределение.
Вывод нормального и экспоненциального распредений как минимизации энтропии.

11. Парные характеристики случайных величин.
Наилучшая линейная аппроксимация.
Ковариация.
Корреляция.
Кросс-энтропия.

Доказательство E(XY) = E(X) E(Y) для дискретных.
Ковариационная матрица и ожидание для случайных векторов.

12. Совместная и условная функция плостности.
Преобразования случайных величин.

13. Функция производящая моменты и характеристическая функция.
Распределение суммы случайного количества случайных величин.
Случайный выбор слагаемых.

14. Финансовые приложения

Оценивание опционов на биномиальном дереве.
Максимизация долгосрочной прибыли, связь с энтропией.
Возможно, индексы Гиттинса.

Здесь конец модуля 2 и КР-2

15. Сигма-алгебры.

Список известных величин как способ описания информации.
Идея условного ожидания как оптимального прогноза.
Сигма-алгебра как способ описания информации.
Измеримость случайной величины относительно сигма-алгебры.
Сигма-алгебра как ОДЗ для вероятности.
Борелевская сигма-алгебра.
Независимые случайные величины второе определение.

16. Условное математическое ожидание.
Условная дисперсия.
Сумма случайного количества случайных величин.

17. Сходимости случайных величин.

Сходимость по вероятности.
Закон больших чисел.
Сходимость почти наверное.
Усилинный закон больших чисел.
Сходимость по распределению.

18. Связь сходимостей.
Лемма Слуцкого.

19. Центральная предельная теорема.
Доказательство через подмену слагаемых.
Доказательство через характеристические функции.

Здесь контрольная.

20. Винеровский процесс
Условные ожидания, инверсия.

21. Байесовский подход к оцениванию параметров

Балансовое уравнение. Идея MCMC.

22. Доказательства свойств меры

23. Алгоритм построения математического ожидания в общем случае.
Лемма Фату.
Теорема о мажорируемой сходимости.
Теорема о монотонной сходимости.

24. Резерв.

Жемчужинки, которые, вероятно, не успеем:

А. Методы решения задач:
подсчёт случаев с помощью леммы Бернсайда и теоремы Пойа о перечислении
(Burnside lemma, PET = Polya Enumeration Theorem)

B. вероятностные доказательства детерминистических теорем

</div>

== Оценивание ==

Оценка за семестр-1 = 0.2 Домашние задания семестра-1 + 0.4 Контрольная-Альфа + 0.4 Экзамен-Бета.

Финальная оценка за курс = 0.5 Оценка за семестр-1 + 0.1 Домашние задания семестра-2 + 0.2 Контрольная-Гамма + 0.2 Экзамен-Дельта.

Каждая оценка (суммарные итоги за домашние задания, контрольные, экзамены) — целое число от 0 до 100.
Для перевода в 10-балльную шкалу промежуточной оценки за семестр-1 и финальной оценки используется деление на 10
с арифметическим округлением. Например, если Максим получил "оценку за семестр-1" 65 баллов, то в ведомость за первый семестр идёт 7, а далее в формуле финальной оценки за курс используется 65.

=== Домашние задания для самураев ===

Домашние задания [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/home_assignments/home_assignments.pdf одним файлом] и [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/blob/main/home_assignments/ отдельными файлами].
Домашние задания имеют равный вес.
В конце каждой лекции (за исключением ближайших к экзамену лекций)
выдается домашнее задание сроком на две недели.
Дедлайн жёсткий, однако студент имеет право просрочить три домашних задания на неделю каждое без штрафа.

Формат сдачи ДЗ: один pdf-файл (решение текстовых задач) и один ipynb-файл (решение компьютерных задач).
В pdf-файл можно поместить аккуратно написанное отсканированное решение, а можно скомпилировать pdf из теха или маркдауна.
Ещё можно вместо pdf-файла написать всё в ipynb.
Бонусов за сдачу домашки в техе нет. Пример [https://www.overleaf.com/read/qmrkwpzvmqbk шаблона].

Обратите внимание: '''время каждого дедлайна — 23:59'''.

=== Ведомость с оценками за ДЗ ===

{| class="wikitable" style="text-align:center"
|-
! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1872081500#gid=1872081500 235] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1374497930#gid=1374497930 236] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1183164252#gid=1183164252 237] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=408179311#gid=408179311 238] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1032422408#gid=1032422408 239] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1603236891#gid=1603236891 2310] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=791330236#gid=791330236 2311] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=23847300#gid=23847300 2312]
|}

[https://docs.google.com/spreadsheets/d/14hD7-SLmAA1omdkhPlt3blRHDHVGTDS8ZgvLWscvMz8/edit?usp=sharing Сводная ведомость всех оценок]

=== Контрольные работы и экзамен ===

Вес каждой задачи будет написан в тексте работы.
Задачи с ненаписанным по случайности весом имеют равный вес.
Для пропущенных по уважительной причине контрольных будет выделен один день для переписывания.
При пропуске дня переписывания, в том числе по уважительным причинам, ещё одного шанса не предоставляется.

<div class="mw-collapsible mw-collapsed" style="width:1000px; overflow: hidden;">

'''Контрольная работа 1''' состоится 2024-11-11 в 16:20, аудитории: R401, R305, R206, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_halloween_demo/exam_halloween_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/midterm/midterm-alpha.pdf условие с критериями и решениями].

'''Резервный день 1''' для пропустивших по уважительной причине состоится 2024-12-02 в 19:40, R405

'''Показ контрольной 1''':

* задачи 1, 2: заочно до 2024-12-08, [https://t.me/Moskchan Вероника]
* задачи 3, 4 [https://t.me/boris_demeshev Борис], очно, четверг, 2024-12-05, 18:10-21:00, G408
* задачи 5, 6 [https://t.me/XuMuK_MK Максим]: очно, четверг, 2024-12-05, 18:10-21:00, G408

'''Экзамен, модуль 2''' состоится '''''2024-12-24 в 10:00''''', аудитории R301, R304, R401, R404, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_winter_demo/exam_winter_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/december/pmi_probab_2024_december.pdf условие].

Если вы не хотите идти на экзамен, то заполните [https://forms.gle/UQzW77RrPvcdahG47 эту форму], чтобы получить ноль при неявке

'''Апелляция экзамена''':

* задачи 1, 2: заочно [https://t.me/goluba_yurieva Голуба], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/december/exam_problem_1-2.pdf решения и критерии 1, 2];
* задачи 3, 4: очно 2025-01-11, аудитория R408, 14:40-17:40 [https://t.me/madn_boi Никита], [https://www.overleaf.com/read/dnhjcdrndqps#42f1ab решения и критерии 3, 4];
* задачи 5, 6: заочно [https://t.me/levensons Илья]

* дедлайн по заочным апелляциям: суббота 23:59

[https://docs.google.com/spreadsheets/d/1mxMCr3IEDy8EPFWGkn3_dsghhPNcZICEw9C9o5ZoZvA/edit?usp=sharing Распределение по аудиториям]

Даты пересдач: 2025-01-28 в 18:10, 2025-02-03 в 18:10 и комиссия 2025-02-11 в 18:10.

* задачи 1, 2: [https://t.me/goluba_yurieva Голуба], задачи 3, 4: [https://t.me/madn_boi Никита], задачи 5, 6: [https://t.me/levensons Илья], апелляция пересдачи 2 до 21:00 2025-02-10.

'''Контрольная, модуль 3''' состоится 2025-02-22 в 16:20, аудитории R201, R204, R404, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_galileo_demo/exam_galileo_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_galileo/pmi_probab_galileo_exam_2024-2025.pdf условие].

[https://docs.google.com/spreadsheets/d/1LZA-7TDz_yYeVPRx4BpBWJnQKZ7wqPgHDrN-Z0SM68M/edit?usp=sharing Распределение по аудиториям]

'''Контрольная, модуль 3, резервный день''': 2025-03-07, пятница, 18:10, R204, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_galileo/pmi_probab_galileo_exam_2024-2025_retake.pdf условия]

[https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_galileo_sol/pmi_probab_galileo_exam_2024-2025_sol.pdf Комментарии по проверке], показ работ кр3:

* Задачи 1-2, заочно до 23 марта, [https://t.me/PlatonPromyslov Платон]
* Задачи 3-4, заочно до 23 марта, [https://t.me/Moskchan Вероника]
* Задачи 5-6, очно, [https://t.me/madn_boi Никита], понедельник 24 марта, 17:40-19:40 ('''обратите внимание на изменение времени'''), аудитория M203

</div>

'''Экзамен, модуль 3''' состоится '''2025-03-28''' в 14:40, аудитории R201, R301, R404, R405, [https://docs.google.com/spreadsheets/d/1p2glNStDh4wyz09Ii8PZe5uoWrp7k65kOFfmu1_1GQs/edit?usp=sharing рассадка], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_delta_demo/exam_delta_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_delta/exam_delta.pdf условие], [https://forms.gle/JTFo2m9Xr7kFdCxq5 форма для 0 вместо неявки]

Показ работ:

* задачи 1, 2: [https://t.me/boris_demeshev Борис], 11:10-12:30, суббота 2025-04-05, R308
* задачи 3, 4: заочно, [https://t.me/goluba_yurieva Голуба] до 16:00 субботы 2025-04-05
* задачи 5, 6: [https://t.me/levensons Илья], 11:10-12:30, суббота 2025-04-05, R308

== Учебные материалы ==

[https://github.com/bdemeshev/probability_pro/raw/master/probability_pro.pdf PP]: Листки с задачами к курсу.

[https://github.com/bdemeshev/stochastic_pro/raw/main/stochastic_pro.pdf StoPro]: Stochastic process problems.

[https://github.com/bdemeshev/probability_dna/raw/master/probability_dna.pdf PDNA]: Вероятностная ДНК = вкусные задачи по теории вероятностей.

[https://disk.yandex.ru/d/LZ6d2VZVqYvbDQ Видео-летопись семинаров и лекций] и [https://hse.liferooter.dev/ конспект] от тайного благожелателя (updated 2024-10-23]

[https://disk.yandex.ru/d/IoakBXz_6yygPw Официальные видео]

[https://www.cambridgeinternational.org/Images/344616-list-of-formulae-and-statistical-tables.pdf Cambridge statistical tables]

== Дневник самурая ==

2024-09-02, лекция 1: Определение события. Определение случайной величины. Аксиомы вероятности. Определение математического ожидания для дискретного случая.
Линейность математического ожидания. Математическое ожидание как центр масс. Первое знакомоство с перестановочным тестом и p-значением.

Можно глянуть: главы 2.1 и 7 из [https://arxiv.org/pdf/1411.5279 WTSK], метод рычага [https://mathcircle.berkeley.edu/sites/default/files/archivedocs/2007_2008/lectures/0708lecturespdf/MassPointsBMC07.pdf в геометрии].

2024-09-09, лекция 2: Метод первого шага (вероятность выпадения HTH ранее HHT, ожидаемое количество шагов). Метод разложения случайной величины в сумму. Определение случайного вектора. Использование интерпретации ожидания как центра масс в геометрии. Определение теоретической медианы.

Можно глянуть: глава 2.7.2 из [https://projects.iq.harvard.edu/stat110/home BItP], три стратегии решения задачи за 10 минут [https://www.youtube.com/watch?v=xH89DaEI35w Visually Explained]

2024-09-16, лекция 3: Получение новой информации приводит к пересчёту вероятностей. Определение условной вероятности. Формула полной вероятности. Формула Байеса.
Условное математическое ожидание. Формула полного математического ожидания. Независимость пары событий. Независимость набора событий в совокупности.
Независимость величин: неформальное определение. Критерий независимости произвольных величин. Критерий независимости дискретных величин.

2024-09-23, лекция 4: Доказательство критерия независимости для дискретных случайных величин: из независимости {X=x} и {Y=y} следует независимость {X in A} и {Y in B}. Независимость величин равносильна E(f(X))E(g(Y))=E(f(X)g(Y)) для произвольных f, g. Определение биномиальной, геометрической (как числа неудач до 1го успеха) и отрицательной биномиальной случайной величины. Общая идея за производящими функциями: как из функции, производящей исходы эксперимента, с помощью производных и подстановок выудить индивидуальные вероятности, совместные вероятности, ожидания любой степени E(X^a), E(X^a Y^b). Формальное определение функции, производящей вероятности, и функцию, производящей моменты, для одной случайной величины и пары случайных величин. Метатеорема: все теоремы о дискретных величинах доказываются перестановкой слагаемых. Основные дискретные распределения: биномиальное, геометрическое, отрицательное биномиальное.

2024-09-30, лекция 5: Ещё дискретные законы распределения: гипергеометрическое. Описание закона распределения через равномерное распределение на подмножестве R^n.
Функция плотности как линейная часть вероятности попадания в отрезок. Равномерное распределение на отрезке. Смешанные случайные величины. LOTUS: нахождение ожидания любой функции от случайной величины для величин с функцией плотности и смешанных величин. Функция распределения. Квантильная функция.

2024-10-07, лекция 6: Две геометрии случайных величин и событий: E(XY) как скалярное произведение, Cov(X, Y) как скалярное произведение. Математическое ожидание — проекция в рамках геометрии, задаваемой E(XY). Определение и геометрический смысл дисперсии, стандартного отклонения, ковариации и корреляции. Неравенство Маркова. Неравенство Чебышёва. Неравенство Йенсена: интуитивный смысл.

2024-10-14, лекция 7: Доказательство неравенства Йенсена. Энтропия как минимальное ожидаемое число вопросов для отгадывания и формальное определение. Кросс-энтропия.
Доказательство того, что кросс-энтропия больше либо равна энтропии. Совместная энтропия. Условная энтропия. Формула H(X) + H(Y|X) = H(X, Y) без доказательства.
Вывод плотности экспоненциального распределения из предпосылки отсутствия памяти. Экспоненциальное распределение максимизирует энтропию при заданном ожидании и неотрицательности.

* Cristopher Olah, Visual Information Theory, https://colah.github.io/posts/2015-09-Visual-Information/

* Grand Sanderson, Solving Wordle using information theory, [https://www.youtube.com/watch?v=v68zYyaEmEA youtube].

* Artem Kirsanov, Key equation behind probability, [https://www.youtube.com/watch?v=KHVR587oW8I youtube]. У Артёма кросс-энтропия обозначена H(P, Q), а не CE(P||Q)).

* [https://exuberant-arthropod-be8.notion.site/1-02-09-5e107ea1c4054594b8f37d955db8a2b0 Конспект] аналогичной старой лекции псмо на русском.

* Keith Conrad, [https://kconrad.math.uconn.edu/blurbs/analysis/entropypost.pdf Maximal entropy] distributions.

2024-10-21, лекция 8: Ковариационная матрица и её свойства. Совместная функция плотности. Условная функция плотности. Критерий независимости в терминах функций плотности и распределения.
Связь индивидуальной и совместной функций плотности и функций распределения. Смена плотности при замене переменных: домножение на якобиан и неформально про дифференциальные формы. Формула свёртки.
Разложение совместной плотности для графической модели. Представление произвольной совместной функции распределения с помощью копулы.

* Про дифференциальные формы: [https://www.youtube.com/watch?v=PaWj0WxUxGg&list=PL22w63XsKjqzQZtDZO_9s2HEMRJnaOTX7 videos] by Michael Penn, [https://www.math.purdue.edu/~arapura/preprints/diffforms.pdf short intro] by Dony Arapura

* What is a convolution от [https://www.youtube.com/watch?v=KuXjwB4LzSA 3b1b]

* From graphical models to [https://www.youtube.com/watch?v=yBc01ZeaFxw&list=PLISXH-iEM4JlFsAp7trKCWyxeO3M70QyJ Probabilistic ML]

2024-11-11, лекция 9: Пуассоновский поток: аксиомы. Вывод пуассоновского распределения количества событий и экспоненциального времени между событиями из аксиом.
Сумма независимых пуассоновских потоков — это пуассоновский поток (половина доказательства). Вероятность того, что одна экспоненциальная величина будет меньше другой, независимой.

2024-11-18, лекция 10: Гамма-распределение как сумма нескольких экспоненциальных: вывод плотности через вероятность попадания в малый отрезок.
Обобщение плотности на случай положительного параметра $a$. Гамма-функция. Бета-распределение как отношение гамма-распределений. Бета-функция.

2024-11-25, лекция 11: Вывод нормального распределения из предпосылок Гаусса. Вывод нормального распределения из предпосылок Гершеля — Максвелла.

* Saul Stahl, The [https://www.researchgate.net/publication/255668423_The_Evolution_of_the_Normal_Distribution Evolution] of the Normal Distribution: вывод Гаусса с историей.

* Grand Sanderson, [https://www.youtube.com/watch?v=cy8r7WSuT1I Why pi] is in the normal? вывод Гершеля—Максвелла

* James Stein, [http://www-biba.inrialpes.fr/Jaynes/cc07s.pdf Normal Distribution]: глава про нормальное распределение (Гаусс, Гершель—Максвелл, Лэндон etc)

* William Herschel, [https://music.yandex.com/album/209394/track/2121214 концерт для габоя]

* William Herschel, [https://www.informationphilosopher.com/solutions/scientists/quetelet/Herschel_Quetelet_Probabilities.pdf On the theory of Probabilities]: вывод нормального распределения словами на стр. 189-191

2024-12-02, лекция 12: многомерное нормальное распределение. Функция плотности невырожденного многомерного нормального. Функция производящая моменты для многомерного нормального. Формула Иссерлиса с ненулевыми ожиданиями и доказательством. Условное распределение: вывод условного ожидания и условной дисперсии через разложение величины в сумму независимых.

* [https://stats.stackexchange.com/questions/30588/ альтернативный вывод] условного многомерного нормального распределения
* Хитрый [https://github.com/bdemeshev/lis-isserlis/raw/main/lis-isserlis.pdf лис Иссерлис]

2024-12-09, лекция 13: сходимость по распределению, центральная предельная теорема с доказательством подменой слагаемых.

* Calvin Chin [https://arxiv.org/pdf/2106.00871 CLT proof] by swapping
* [https://bdemeshev.github.io/teaching_notes/clt_by_swapping Пересказ доказательства]

2024-12-16, лекция 14: использование бесконечно малых при нахождении ожиданий, трюк с добавление параметра, трюк с закольцовыванием отрезка при равномерном распределении.

* [https://dspace.mit.edu/bitstream/handle/1721.1/91482/1-203j-fall-2004/contents/lecture-notes/class5crofton.pdf Crofton's method]

2025-01-13, лекция 15: Неединственность предела по распределению. Неаддитивность предела по распределению. Предел по вероятности. Закон больших чисел в слабой форме (с доказательством при дополнительной предпосылке о конечности дисперсии). Теорема о непрерывном отображении.

2025-01-20, лекция 16: два определение сходимости почти наверное с доказательством эквивалентности. Сходимость в Lp. Из сходимости в Lp при p>=1 следует сходимость по вероятности. Из сходимости почти наверное следует сходимость по вероятностям. Контр-пример к разнице сходимостей почти наверное и по вероятности. Контр-пример к разнице сходимостей в Lp и по вероятности. Усиленный закон больших чисел (без доказательства). Леммы Слуцкого (без доказательства).

2025-01-27, лекция 17: характеристические функции и их свойства. Вывод характеристической функции нормального стандартного распределения через дифференциальное уравнение. Характеристическая функция биномиального распредеделения. Второе доказательство ЦПТ (через характеристические функции).

* [https://web.ma.utexas.edu/users/gordanz/notes/characteristic.pdf Gordan Zitkovic]: characteristic functions
* [https://sas.uwaterloo.ca/~dlmcleis/s901/chapt6.pdf McLeish]: clt proof

2025-02-03, лекция 18: пример последовательности сходящийся по вероятности с ожиданием стремящимся к бесконечности. Критерий Кэлли. Критерий оптимальной остановки Брасса.

* [https://en.wikipedia.org/wiki/Kelly_criterion wikipedia]: Kelly criterion
* [https://projecteuclid.org/journalArticle/Download?urlId=10.1214%2Faop%2F1019160340 Bruss]: sum the odds to one and stop

2025-02-10 лекция 19: Сигма-алгебра порождённая случайной величиной или набором из нескольких случайных величин. Замкнутость относительно счётного количества операций с множествами. Сигма-алгебра. Объединение сигма-алгебр не всегда сигма-алгебра. Пересечение сигма-алгебр всегда сигма-алгебра. Измеримость суммы. Борелевская сигма-алгебра.

2025-02-18, лекция 20: [https://us06web.zoom.us/j/82685613040?pwd=bqJoXGItwNOOWddXj1flfmPmDn6fMQ.1 онлайн, 18:10]: разбор задач про сигма-алгебры для подготовки к контрольной. Условное математическое ожидание относительно сигма-алгебры: интуиция и формальное определение. Пример подсчёта в дискретном случае.

2025-02-24, лекция 21: Условное ожидание и дисперсия относительно сигма-алгебры со свойствами. Условная вероятность.

2025-03-03, лекция 22: Определение фильтрации. Определение момента остановки. Сигма-алгебра на момент остановки. Определение мартингала.
Формулировка теоремы [https://en.wikipedia.org/wiki/Optional_stopping_theorem Дуба об остановке мартингала]. Задача о макаке, печатающей слово "абракадабра".

* [https://math.uchicago.edu/~may/VIGRE/VIGRE2011/REUPapers/Ai.pdf Martingales and ABRACADABRA]

2025-03-10, лекция 23: Два контр-примера к теореме дуба. Доказали теоремы Дуба для случая ограниченного момента времени. Тождество Вальда: формулировка и доказательство. Определение броуновского движения с явным упоминанием фильтрации и без. Ковариационная функция Cov(Ws, Wt).

2025-03-17, лекция 24: Преобразования винеровского процесса: масштабирование и инверсия. Закон распределения накопленного максимума. Закон распределения момента достижения заданного значения.

2025-03-24, лекция 25:

=== Семинары ===

==== 473 = 235 + 238 ====

2024-09-02, 06, семинар 1: задачи 1.1, 1.6, 3.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-09, 13, семинар 2: задачи 2.1, 2.3, 12.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-16, 20, семинар 3: задачи 7.12 и 7.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-23, 27, семинар 4: как извлечь P(X=3), E(X), E(X^2Y) из функции, производящей список исходов, 28.16 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-30, -10-04, семинар 5: 9.3в, 9.4, 9.7(абвд, кроме дисперсии, аргументы масштабирования и центра масс помимо интегралов), 9.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-10-07, 11, семинар 6: вычисление Cov, Var, Corr по табличке и из функции плотности, нахождение дисперсии для отрицательного биномиального распределения по свойствам.

2024-10-14, 18, семинар 7: вычисление энтропии геометрического распределения. Изменение энтропии при линейном преобразовании для дискретной величины и величины с функцией плотности.
Кросс-энтропия из экспоненциального в равномерное. Условная энтропия для дискретной таблички. Связь энтропии величины с функцией плотности и энтропия дискретной версии этой случайной величины после "огрубления" с малым шагом 1/k.

2024-10-21, -11-01, семинар 8: 16.18, 16.23 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], свёртка двух экспоненциальных величин

2024-11-11, 15, семинар 9: задачи на пуассоновский поток из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-11-18, 22, семинар 10: задачи на бета и гамма-распределение

2024-11-25, 29, семинар 11: задачи на нормальное распределение, 18.1, 18.2, 18.3, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-02, 06, семинар 12: задачи на многомерное нормальное: 24.16аб, 24.17аб, 24.18, 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-09, 13, семинар 13: ЦПТ и нормальное распределение: 20.2, 20.4, 18.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-19, семинар 14: разбор демо

2025-01-13, семинар 15: сходимость по вероятности: 20.1, 20.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-20, 24, семинар 16: связь между сходимостями, 20.11, 20.13 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-27, 31, семинар 17: 28.17, 28.18, 28.21 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-03, 07, семинар 18: 28.20аб, 28.22 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-10, 14, семинар 19: 6.2, 6.3, 6.11, измеримость произведения из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-18, 21, семинар 20: разбор демо

2025-02-24, 28, семинар 21: Условное математическое ожидание и условная дисперсия относительно сигма-алгебры в дискретном случае.
[https://github.com/bdemeshev/stochastic_pro/raw/main/stochastic_pro.pdf StoPro]: 8.22-8.25

2025-03-03, 10, семинар 22: доказали, что сигма алгебра, порождённая моментом остановки, лежит внутри сигма-алгебры событий на момент остановки.
Вероятность достижения границы -а раньше границы +b и среднее время достижения одной из этих границ для классического случайного блуждания.
Преобразование несимметричного случайного блуждание St в мартингал с помощью exp(alpha St).
[https://github.com/bdemeshev/stochastic_pro/raw/main/stochastic_pro.pdf StoPro]: 9.1, 9.3

2025-03-10, 14, семинар 23: решение двух классических задач с помощью мартингалов: [https://en.m.wikipedia.org/wiki/Bertrand%27s_ballot_theorem задача о голосовании], [https://math.dartmouth.edu/~pw/papers/gpdp.ps "следующая карта — красная"].

2025-03-17, 21, семинар 24: нахождение ожиданий и вероятностей E(W5W6 | W4), P(W1 > 0, W2 < 0); проверка мартингальности (Wt), (Wt^2 - t), (exp(aWt - a^2t/2)).

==== 236 ====

2024-09-06, семинар 1: в начале семинара рассмотрели основные понятия и определения для решения задач. Решили задачи 1.1, 1.6, 3.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-13, семинар 2: нашли ожидание случайной величины с геом. распределением. Решили задачи 2.1, 12.6, 12.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-09-20, семинар 3: решили задачи 7.12, 7.4(а), 7.7, 7.13(а) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-09-27, семинар 4: разобрали 7.13, почти разобрали 28.3 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Также рассмотрели один контрпример на независимость(тетраэдр Бернштейна).

2024-10-04, семинар 5: разобрались с определениями, решили 9.3(абв), 9.7(аб) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Решили задачку про три точки на отрезке и найти вероятность получить треугольник. Также вывели формулу для мат. ожидания неотрицательной величины через функцию распределения.

2024-10-14, семинар 6: обсудили дисперсию, ковариацию, коэффициент корреляции и их геометрический смысл. Решили задачу на оценку дисперсии ограниченной величины. посчитали дисперсию геометрического, биномиального. Посчитали дисперсию в задаче о письмах и конвертах.

???, семинар 7: определили энтропию, посчитали примеры для дискретных величин, для линейных преобразований. Доказали, что задача максимизации энтропии с фиксированной дисперсией достигается на нормальном распределении.

???, семинар 8: свертка двух экспоненциальных, 16.18 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

???, семинар 9: задачи на пуассоновский процесс из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

???, семинар 10: разбор кр.

???, семинар 11: разобрали задачи на нормальное распределение 18.1, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Также считали распределение суммы двух независимых нормальных.

==== 237 ====

2024-09-09, семинар 1: задачи 1.1, 2.2 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], вероятность что n ладей не бьют друг друга при случайной расстановке на шахматной доске n на n, матожидание числа треугольников в случайном графе на n вершинах через сумму индикаторов

2024-09-13, семинар 2: задачи 2.1, 2.6, 12.3, 12.6, 12.7 (без дисперсий) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-23, семинар 3: задачи 7.2, 7.13, 7.7, 7.8, плюс начали 7.15b (получили неверный ответ) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-27, семинар 4: дорешали 7.15b с небольшой демонстрацией на питоне, разобрали 28.2 для нечестной монетки плюс посчитали матожидание [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-10-04, семинар 5: задачи 9.1, 9.3абв, 9.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], философия про то почему бОльшая плотность не всегда означает бОльшую вероятность оказаться в окрестности данной точки (плотность может занимать слишком маленький объем)

2024-10-11, семинар 6: вспомнили определения Cov/Var/Corr, посчитали у пары дискретных величин по табличке вероятностей, посчитали дисперсию у биномиального, геометрического, непрерывного равномерного на отрезке.

2024-10-18, семинар 7: вычисление энтропии геометрического распределения; ограниченность энтропии снизу и сверху в дискретном случае; изменение энтропии при линейном преобразовании для дискретной величины и величины с функцией плотности; условная энтропия, KL дивергенция и кросс-энтропия, неотрицательность KL, интерпретация на пальцах с точки зрения теории информации.

2024-11-01, семинар 8: 16.18, 16.23 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], свёртка двух экспоненциальных величин

2024-11-08, семинар 9: решали пробный вариант КР

2024-11-15, семинар 10: 13.1, 13.2, 13.5, 13.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-11-22, семинар 11: разбор КР

2024-11-29, семинар 12: нормальное распределение, 18.1, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-06, семинар 13: многомерное нормальное распределение, изменение среднего и матрицы ковариаций при линейном преобразовании, 24.4а, 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-13, семинар 14: 24.4в из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], сходимости случайных величин, ЗБЧ и ЦПТ, 20.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-21, семинар 15: наследование сходимости, 20.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], плюс доказали предельную теорему Пуассона

2025-01-28, семинар 16: связь между сходимостями, 20.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], лемма Слуцкого, подмена дисперсии на выборочную дисперсию в ЦПТ

2025-02-04, семинар 17: базовые свойства хар функций, хар функция суммы независимых величин, 28.17, 28.20 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-18, семинар 18: вероятностное пространство в общем случае, сигма-алгебры, борелевская сигма-алгебра, сигма-алгебра порожденная случайной величиной, измеримость случайной величины относительно сигма-алгебры, 6.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], задачи на сигма алгебры из пробника КР

2025-02-25, семинар 19: условное матожидание относительно сигма алгебры, условное матожидание и дисперсия относительно случайной величины, закон полного матожидания и закон полной дисперсии, 22.1, 22.3, 22.5абв из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-03-04, семинар 20: показали, что условное матожидание минимизирует среднеквадратичный риск; нашли условное матожидание и условную дисперсию в 22.6 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], нашли E[X | X^2] для симметричного равномерного распределения, нашли E[X_1 | X_1 + ... + X_n] для набора i.i.d. величин, нашли E[Y] и Var(Y) для Y|X имеющего экспоненциальное распределение с параметром X

2025-03-11, семинар 21: мартингалы, момент остановки, теорема Дуба об остановке, задача о разорении игрока для честного и нечестного казино, вероятность выигрыша и вероятность разорения

2025-03-11, семинар 22: матожидание времени до момента остановки в задаче о разорении игрока, теорема Бертрана о выборах

==== 239 ====

2024-09-03, семинар 1: задачи 1.1, 1.4, пытались 1.8 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Ещё успели посчитать вероятность N=k бросков монеты до выпадения первого орла, матожидание N. И ещё сделали то же для количества бросков до выпадения 3 орлов (не в серии).

2024-09-10, семинар 2: доказали формулу включения-исключения, решили несложную задачу, порешали 2.7 задачи типа 12.*

2024-09-17, семинар 3: Решили две прямых задачи на формулу Байеса и формулу полной вероятности (без большого количества вычислений). Решили задачу поиска вероятности неисправного кофе-автомата из 3 при условии, что бросили деньги в 1 и 2 и их зажевало. Ещё нашли вероятность, что мяч будет у игрока 3 после шага 10 (все садятся в круг и на каждом шаге бросают мяч соседу с вероятностью 0.3 и оставляют у себя с вероятностью 0.4).

2024-09-24, семинар 4: Вспомнили про метод первого шага, используя формулу полной вероятности и введя в некотором виде формулу полного матожидания, записали формулу для вероятностей нахождения в состоянии i через произведение переходной матрицы на вектор. Совсем немного начали производящие функции, но решили не считать 31ю производную многочлена.

2024-10-01, семинар 5: Исследуем дискретные случайные величины (Биномиальная, Геометрическая и разные похожие) с использованием техник вычислений моментов через производящую функцию. Задачи на распределения величин, посчитанных по набору величин. Первая большая задача про плотность.

2024-10-08, семинар 6: разминочная про плотность и функцию распределения. Считаем дисперсию, ковариацию и корреляцию по 2x2 таблице и в равномерном распределении на круге и квадрате [-1,1]х[-1,1].

2024-10-15, семинар 7: пара задач про экспоненциальное распределение, расчёты по теории информации(считаем всякое, чтобы привыкнуть).

2024-10-22, семинар 8: письменные источники не сохранились до наших дней. Согласно преданиям, оьсуждали двери и около контрольной. Говорят, ввели пуассоновский процесс.

2024-???, семинар 9: решаем задачи на пуассоновское в разных формах и обсуждаем омалые в порядковых статистиках.

2024-???, семинар 10: учимся интерпретироввть гауссовское, пользоваться таблицами для функции Лапласа, а также немного работать с многомерным гауссовским.

2024-3-12, семинар 11: Копаем во все стороны многомерное гауссовское: считаем вероятности для линейных комбинаций гауссовских, проверяем зависимость, вычисляем условные законы, матожидания и ковариационные матрицы, вспоминаем спектральное разложение и разложение Холецкого.

==== 2311 ====

2024-09-06, семинар 1: вероятностное пространство, вероятность на нем, вероятность события, случайная величина и ее распределение (индикатор события, сумма двух кубиков, число бросаний монетки до первого орла), матожидание случайной величины (индикатор, один кубик, два кубика), линейность матожидания. Задачи на линейность матожидания, в том числе ЕГЭшная задача про турнир, 1.5, 3.5 с допвопросом о матожидании числа совпадений. Разговор о получении события произвольной вероятности монеткой в контексте 1.8

2024-09-13, семинар 2: Повторили матожидание суммы на примере 12.3. Обсудили условную вероятность и формулу полной вероятности, условное матожидание, решили задачи на метод первого шага 2.1, 2.3, 2.7.

2024-09-20, семинар 3: Условная вероятность, формула полной вероятности, формула Байеса: 7.1, классическая задача про болезни и тесты, простейшие задачки на общее понимание, обсуждение двух подходов: вычисления условной вероятности по формуле и составления нового вероятностного пространства и подсчет вероятности в нем. Независимые события (события "пики" и "дама" в обычной колоде и колоде с джокерами), независимые в совокупности события, построили пример попарно независимых, но не независимых в совокупности. Обсудили биномиальное распределение. решили задачу: "в корабле к отсеков, чтобы корабль затонул, нужно поразить 2. Независимо выпускают n ракет, каждая из которых поражает случайный отсек с вероятностью p. Найти вероятность потопления корабля"

2024-09-20, семинар 4: Примеры одинаково распределенных зависимых СВ, независимые СВ. Производящая функция и ее свойства. Посчитали для биномиального производящую функцию и второй момент. Обсудили, что будет меняться в случае функции, производящей моменты. Обсудили функцию, производящую множество исходов, как из нее доставать уже известные функции, как ее искать на примере бросания монетки до выпадания HT

2024-10-11, семинар 5: Составили табличку стандартных дискретных распределений, посчитали матожидание геометрического, обсудили дисперсию и ковариацию и их свойства (в дискретном случае), досчитали дисперсии основных распределений. Обсудили вероятностное пространство в общем случае, понятие СВ в общем случае. Дали определение ФР, посчитали ФР для явно заданной СВ. Дали определение плотности.

2024-10-12, семинар 6: Обсудили свойства ФР, как считать вероятность попадания в промежуток в терминах ФР. Выразили ФР 1/X, cos X. Обсудили как выражается веротяность попадания в множество через плотность. для 1/Х выразили плотность в случае абсолютной непрерывности Х. Обсудили формулу для МО в общем виде через интеграл Стильтьеса и как вычислять МО для функции, разлагающейся в сумму абсолютно нерпрерывной и функции скачков, посчитали МО для пары таких СВ

2024-10-18, семинар 7: Обсудили геометрию, заданную скалярным произведением EXY и cov(X,Y), поиск ортогонального элемента и проекции. Посчитали энтропию и кросс-энтропию в дискретном и непрерывном случаях, посчиали совместную и условную энтропию в дискретном случае (23.2, 23.4, 23.9)

2024-11-01, семинар 9: Совместная плотность и ф.р., подсчет вероятностей, маргинальные плотности, замена переменной через якобиан, свертка, матожидание

2024-11-09, семинар 10: Условная плотность, формула условной вероятности. Задача на восстановление маргинальной плотности по условной. Разбор задач из "Летучей мыши"

2024-11-19, семинар 11: Разбор контрольной работы

2024-11-22, семинар 12: Пуассоновский поток - решали задачки из задачника

2024-11-29, семинар 13: Нормальное распределение - задачи из PP, повторили функцию, порождающую моменты, обсудили ее свойства в абсолютно непрерывном случае

2024-12-06, семинар 14: Многомерное нормальное - обсудили два определения, связь между ними, независимость элементов нормального вектора при нулевой ковариации и почему это неверно для произвольных нормальных. порешали задачи 24.9а, 24.10, 24.17

2024-12-013, семинар 15: ЦПТ, решали задачи из задачника

2025-01-17, семинар 16: Сходимости почти наверное и по вероятности, связь со сходимостью по распределению. Посмотрели стандартные контрпримеры, показали, что если есть сходимость по распределению к константе, то есть и по вероятности. ЗБЧ Чебышева и Хинчина, УЗБЧ Колмогорова, обсудили 20.1 сколько успели.

2025-01-24, семинар 17: Сходимость в L_p, связи между сходимостями. Задача 20.11

2025-01-24, семинар 18: Характеристические функции и их свойства. Посчитали хар функции для равномерного, Бернулли, биномиального, Пуассона, экспоненциального. Показали, чо сумма нормальных нормальна. По функции пытались понять, может ли она быть характеристической и восстанавливали с.в.

==== 2310, 2312 ====

2024-09-06, семинар 1: задача 1.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Определили вероятностное пространство в виде тройки, множество исходов рассматривали конечное и счётное. Решили 3 счётные задачи на комбинаторику про колоды карт и счетные последовательности цифр. Привели геометрическое и аналитическое решения задачи про нахождение предела последовательности вероятностей. В конце нашли математическое ожидание геометрически распределённой случайной величины.

2024-09-13, семинар 2: задача 2.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Задача на упорядоченные и неупорядоченные наборы. Задача про классическое вероятностное пространство и про пространство с неравновероятными исходами. Разобрали парадокс Монти Холла. Ввели понятия условной вероятности и независимых случайных величин. Сформулировали и обсудили идеи доказательств трёх теорем: теорема умножения вероятностей, формула полной вероятности и формула Байеса.

2024-09-20, семинар 3: Решили задачу на определение условной вероятности. Обсудили парадокс теоремы Байеса на примере задачи про редкое заболевание, а также посмотрели простую программу на Python, которая считает вероятность в зависимости от количества проведенных тестов на заболевание. Обсудили условное математическое ожидание, некоторые его свойства и рассмотрели пример с подбрасыванием кубика. В конце решили задачу на парадокс дней рождений.

2024-09-27, семинар 4: Обсудили коллизии хеш-функций и связь с атакой "дней рождений". Определили независимость или зависимость случайных величин в четырёх разных вариантах. Обсудили, что неверно утверждать, что матожидание частного независимых случайных величин равно частному матожиданий, также привели пример использования подобного факта в некоторых статьях. В конце решили задачу на поиск функции производящей исходы, а также нашли E(X), E(Y^2), E(XY) с помощью найденной функции.

2024-10-04, семинар 5: Решили две простые задачи на условную вероятность и на теорему об умножении вероятностей. Обсудили связь дерева событий с условной вероятностью и теоремой об умножении вероятностей. Нашли производящую функцию моментов для геометрически распределенной случайной величины и с помощью нее нашли матожидание. Нашли производящую функцию моментов и матожидание суммы случайного количества н.о.р случайных величин.

2024-10-11, семинар 6: Привели аналогии между дискретными и непрерывными случайными величинами. Нарисовали графики функций от случайных величин. Вспомнили определение и свойства дисперсии. Решили простую задачу на подсчет дисперсии и нашли дисперсию геометрически распределенной случайной величины. Обсудили, когда может быть матожидание и дисперсия бесконечны. Далее вспомнили неравенства Маркова и Чебышева, вывели следствия и решили 3 задачи на применение этих неравенств. Обсудили, что неравенство Маркова может давать как точную оценку, так и очень слабую. Показали, что неотрицательность случайной величины в неравенстве Маркова является существенным условием.

2024-10-11, семинар 7: Повторили понятия энтропии в битах и натах, а также понятие дифференциальной энтропии. Нашли энтропию в схеме Бернулли и энтропии геометрического и экспоненциального распределений. Доказали простую оценку сверху для энтропии случайной величины, имеющей конечный носитель мощности n.

2024-11-1, семинар 8: Разобрали демо-вариант контрольной работы "Тыква".

2024-11-8, семинар 9: Разобрали демо-вариант контрольной работы "Летучая мышь".

2024-11-15, семинар 10: Понятие случайного процесса. Определение пуассоновского процесса, его свойства. Три простые задачи на пуассоновское распределение. Задачи 13.1 и 13.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-11-22, семинар 11: Определения Бета-функции и Гамма-функции. Бета и Гамма распределения, их функции плотности и графики. Нахождение моды случайных величин, имеющих Бета и Гамма распределения. Связь пуассоновского процесса с Гамма распределением. В конце нашли производящую функцию моментов Гамма распределения.

2024-11-29, семинар 12: Задачи 18.1, 18.2 и 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-12-06, семинар 13: Нашли многомерное нормальное распределение по виду функции плотности (константа на экспоненту с квадратичным показателем). С помощью формулы Иссерлиса нашли матожидания произведений различных или одинаковых случайных величин, имеющих многомерное нормальное распределение. Нашли условную вероятность многомерного распределения. Задача 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-12-13, семинар 14: Повторили определение сходимости по распределению и центральную предельную теорему. Решили задачи 20.2 и 20.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

== Источники ==

Источники мудрости, которые я постарался не замутить :)

[https://arxiv.org/pdf/1411.5279 WTSK]: Tim Hesterberg, What Teachers Should Know About the Bootstrap: вкусное и доступное изложение бутстрэпа и перестановочных тестов.

[https://projects.iq.harvard.edu/stat110/home BItP]: Blitzstein, Hwang, Introduction to Probability: учебник, записи лекций, гарвардский курс.

Теория вероятностей 2024/25 (основной поток)

2025-03-28T00:13:42Z

Bdemeshev:

= Преподаватели и учебные ассистенты =

{| class="wikitable" style="text-align:center"
|-
! Группа !! БПМИ235 !! БПМИ236 !! БПМИ237 !! БПМИ238 !! БПМИ239 !! БПМИ2310 !! БПМИ2311 !! БПМИ2312
|-
|| Лектор ||colspan="11"| [https://t.me/boris_demeshev Борис Демешев]
|-
|| Семинарист || [https://t.me/boris_demeshev Борис Демешев] || [https://t.me/levensons Илья Левин] || [https://t.me/madn_boi Никита Морозов] || [https://t.me/boris_demeshev Борис Демешев] || [https://t.me/XuMuK_MK Максим Каледин] || [https://t.me/goluba_yurieva Голуба Юрьева] || [https://t.me/Moskchan Вероника Владыкина] || [https://t.me/goluba_yurieva Голуба Юрьева]
|-
|| Ассистент || [https://t.me/nerhneiro Ира Скворцова] || [https://t.me/a_ameli_ig Амелия Алаева] || [https://t.me/htual Алина Бадахова] || [https://t.me/adelyagaraeva Аделя Гараева] || [https://t.me/mabrielka Мария Брель] || [https://t.me/zm_ann Анна Зыкова-Мызина] || [https://t.me/Yanlightv Яна Вежновец] || [https://t.me/nol_erk Кирилл Лавриненко]
|-
|| Ассистент курса ||colspan="11"| [https://t.me/Nick_Volya Никита Волянский]
|}

== Цели и задачи курса ==

侍には目標がなく道しかない [Samurai niwa mokuhyō ga naku michi shikanai]

У самурая нет цели и ничего кроме пути.

Вероятный план:
<div class="mw-collapsible mw-collapsed" style="width:1000px; overflow: hidden;">
1. Дискретное вероятностное пространство. Вероятность, математическое ожидание, теоретическая медиана.
Перестановочные тесты, p-значение для перестановочного теста.
Математическое ожидание = центр масс.

NB: здесь сходу рисуем дерево
NB: здесь нет задач на условную вероятность

!предупреждение об обозначениях случайных величин.
Российская традиция — греческие буквы, американская традиция — заглавные английские буквы.
Наш курс: любые буквы. Причина: теория вероятностей применяется в разных областях, где свои традиции.

NB: Способы вычисления вероятностей и ожиданий:
* полный перебор руками
* примерные вычисления руками
* полный перебор на компьютере
* симуляции на компьютере
* ...

2.
Методы решения задач:
* разложение величины в сумму
* метод первого шага
!идея: позиция в игре имеет цену
* just for fun: метод рычага в геометрии через ожидание
NB: рассказать здесь про комплексную случайную величину
NB: по сути здесь мы уже решаем задачи на марковские цепи не говоря страшных определений
LOTUS.

3. Условная вероятность и условное ожидание.
!идея: зануляем вероятности невозможных событий, а остальные — масштабируем.
формула полной вероятности
!идея: дерево "помнит" формулу полной вероятности
формула Байеса

Независимые события.
Независимые случайные величины.

4.
Методы решения задач:
* производящие функции многих переменных
функция как способ записать множество
HTT vs TTH
ABRACADABRA
!разложение по биномиальной формуле

?: можно здесь успеть функцию производящую моменты

5.
Биномиальное распределение.
Геометрическое и гипергеометрическое распределения.
Отрицательное биномиальное распределение.

6.
Равномерное распределение на множестве в R^n
Функция распределения.
Функция плотности и вероятностная дифференциальная форма.
!пояснение про неудачную традиционную терминологию "непрерывная случайная величина"
величина с функцией плотности, величина с непрерывной функцией распределения.

Квантили, квантильная функция.

7. Характеристики случайных величин и неравенства.
Дисперсия.
Энтропия.
Неравенство Маркова.
Неравенство Чебышёва.
Неравенство Йенсена.

Здесь конец модуля 1 и КР-1!

8. Пуассоновский поток.
Аксиомы пуассоновского потока.
Вывод экспоненциального распределения и пуассоновского распределения из аксиом.
Вывод экспоненциального распределения из предпосылки об отсутсвии памяти.

9. Нормальное распределение.
Нормальное распределение: предпосылки Хершела-Максвелла.
Нормальное распределение: аргументация Гаусса за среднее арифметическое.
Нормальное распределение: предпосылки Лэндона (до уравнения в частных производных).

10. Классические непрерывные распределения.

Гамма-распределение, бета-распределение.
Вывод нормального и экспоненциального распредений как минимизации энтропии.

11. Парные характеристики случайных величин.
Наилучшая линейная аппроксимация.
Ковариация.
Корреляция.
Кросс-энтропия.

Доказательство E(XY) = E(X) E(Y) для дискретных.
Ковариационная матрица и ожидание для случайных векторов.

12. Совместная и условная функция плостности.
Преобразования случайных величин.

13. Функция производящая моменты и характеристическая функция.
Распределение суммы случайного количества случайных величин.
Случайный выбор слагаемых.

14. Финансовые приложения

Оценивание опционов на биномиальном дереве.
Максимизация долгосрочной прибыли, связь с энтропией.
Возможно, индексы Гиттинса.

Здесь конец модуля 2 и КР-2

15. Сигма-алгебры.

Список известных величин как способ описания информации.
Идея условного ожидания как оптимального прогноза.
Сигма-алгебра как способ описания информации.
Измеримость случайной величины относительно сигма-алгебры.
Сигма-алгебра как ОДЗ для вероятности.
Борелевская сигма-алгебра.
Независимые случайные величины второе определение.

16. Условное математическое ожидание.
Условная дисперсия.
Сумма случайного количества случайных величин.

17. Сходимости случайных величин.

Сходимость по вероятности.
Закон больших чисел.
Сходимость почти наверное.
Усилинный закон больших чисел.
Сходимость по распределению.

18. Связь сходимостей.
Лемма Слуцкого.

19. Центральная предельная теорема.
Доказательство через подмену слагаемых.
Доказательство через характеристические функции.

Здесь контрольная.

20. Винеровский процесс
Условные ожидания, инверсия.

21. Байесовский подход к оцениванию параметров

Балансовое уравнение. Идея MCMC.

22. Доказательства свойств меры

23. Алгоритм построения математического ожидания в общем случае.
Лемма Фату.
Теорема о мажорируемой сходимости.
Теорема о монотонной сходимости.

24. Резерв.

Жемчужинки, которые, вероятно, не успеем:

А. Методы решения задач:
подсчёт случаев с помощью леммы Бернсайда и теоремы Пойа о перечислении
(Burnside lemma, PET = Polya Enumeration Theorem)

B. вероятностные доказательства детерминистических теорем

</div>

== Оценивание ==

Оценка за семестр-1 = 0.2 Домашние задания семестра-1 + 0.4 Контрольная-Альфа + 0.4 Экзамен-Бета.

Финальная оценка за курс = 0.5 Оценка за семестр-1 + 0.1 Домашние задания семестра-2 + 0.2 Контрольная-Гамма + 0.2 Экзамен-Дельта.

Каждая оценка (суммарные итоги за домашние задания, контрольные, экзамены) — целое число от 0 до 100.
Для перевода в 10-балльную шкалу промежуточной оценки за семестр-1 и финальной оценки используется деление на 10
с арифметическим округлением. Например, если Максим получил "оценку за семестр-1" 65 баллов, то в ведомость за первый семестр идёт 7, а далее в формуле финальной оценки за курс используется 65.

=== Домашние задания для самураев ===

Домашние задания [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/home_assignments/home_assignments.pdf одним файлом] и [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/blob/main/home_assignments/ отдельными файлами].
Домашние задания имеют равный вес.
В конце каждой лекции (за исключением ближайших к экзамену лекций)
выдается домашнее задание сроком на две недели.
Дедлайн жёсткий, однако студент имеет право просрочить три домашних задания на неделю каждое без штрафа.

Формат сдачи ДЗ: один pdf-файл (решение текстовых задач) и один ipynb-файл (решение компьютерных задач).
В pdf-файл можно поместить аккуратно написанное отсканированное решение, а можно скомпилировать pdf из теха или маркдауна.
Ещё можно вместо pdf-файла написать всё в ipynb.
Бонусов за сдачу домашки в техе нет. Пример [https://www.overleaf.com/read/qmrkwpzvmqbk шаблона].

Обратите внимание: '''время каждого дедлайна — 23:59'''.

=== Ведомость с оценками за ДЗ ===

{| class="wikitable" style="text-align:center"
|-
! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1872081500#gid=1872081500 235] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1374497930#gid=1374497930 236] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1183164252#gid=1183164252 237] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=408179311#gid=408179311 238] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1032422408#gid=1032422408 239] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1603236891#gid=1603236891 2310] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=791330236#gid=791330236 2311] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=23847300#gid=23847300 2312]
|}

[https://docs.google.com/spreadsheets/d/14hD7-SLmAA1omdkhPlt3blRHDHVGTDS8ZgvLWscvMz8/edit?usp=sharing Сводная ведомость всех оценок]

=== Контрольные работы и экзамен ===

Вес каждой задачи будет написан в тексте работы.
Задачи с ненаписанным по случайности весом имеют равный вес.
Для пропущенных по уважительной причине контрольных будет выделен один день для переписывания.
При пропуске дня переписывания, в том числе по уважительным причинам, ещё одного шанса не предоставляется.

<div class="mw-collapsible mw-collapsed" style="width:1000px; overflow: hidden;">

'''Контрольная работа 1''' состоится 2024-11-11 в 16:20, аудитории: R401, R305, R206, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_halloween_demo/exam_halloween_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/midterm/midterm-alpha.pdf условие с критериями и решениями].

'''Резервный день 1''' для пропустивших по уважительной причине состоится 2024-12-02 в 19:40, R405

'''Показ контрольной 1''':

* задачи 1, 2: заочно до 2024-12-08, [https://t.me/Moskchan Вероника]
* задачи 3, 4 [https://t.me/boris_demeshev Борис], очно, четверг, 2024-12-05, 18:10-21:00, G408
* задачи 5, 6 [https://t.me/XuMuK_MK Максим]: очно, четверг, 2024-12-05, 18:10-21:00, G408

'''Экзамен, модуль 2''' состоится '''''2024-12-24 в 10:00''''', аудитории R301, R304, R401, R404, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_winter_demo/exam_winter_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/december/pmi_probab_2024_december.pdf условие].

Если вы не хотите идти на экзамен, то заполните [https://forms.gle/UQzW77RrPvcdahG47 эту форму], чтобы получить ноль при неявке

'''Апелляция экзамена''':

* задачи 1, 2: заочно [https://t.me/goluba_yurieva Голуба], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/december/exam_problem_1-2.pdf решения и критерии 1, 2];
* задачи 3, 4: очно 2025-01-11, аудитория R408, 14:40-17:40 [https://t.me/madn_boi Никита], [https://www.overleaf.com/read/dnhjcdrndqps#42f1ab решения и критерии 3, 4];
* задачи 5, 6: заочно [https://t.me/levensons Илья]

* дедлайн по заочным апелляциям: суббота 23:59

[https://docs.google.com/spreadsheets/d/1mxMCr3IEDy8EPFWGkn3_dsghhPNcZICEw9C9o5ZoZvA/edit?usp=sharing Распределение по аудиториям]

Даты пересдач: 2025-01-28 в 18:10, 2025-02-03 в 18:10 и комиссия 2025-02-11 в 18:10.

* задачи 1, 2: [https://t.me/goluba_yurieva Голуба], задачи 3, 4: [https://t.me/madn_boi Никита], задачи 5, 6: [https://t.me/levensons Илья], апелляция пересдачи 2 до 21:00 2025-02-10.

'''Контрольная, модуль 3''' состоится 2025-02-22 в 16:20, аудитории R201, R204, R404, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_galileo_demo/exam_galileo_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_galileo/pmi_probab_galileo_exam_2024-2025.pdf условие].

[https://docs.google.com/spreadsheets/d/1LZA-7TDz_yYeVPRx4BpBWJnQKZ7wqPgHDrN-Z0SM68M/edit?usp=sharing Распределение по аудиториям]

'''Контрольная, модуль 3, резервный день''': 2025-03-07, пятница, 18:10, R204, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_galileo/pmi_probab_galileo_exam_2024-2025_retake.pdf условия]

[https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_galileo_sol/pmi_probab_galileo_exam_2024-2025_sol.pdf Комментарии по проверке], показ работ кр3:

* Задачи 1-2, заочно до 23 марта, [https://t.me/PlatonPromyslov Платон]
* Задачи 3-4, заочно до 23 марта, [https://t.me/Moskchan Вероника]
* Задачи 5-6, очно, [https://t.me/madn_boi Никита], понедельник 24 марта, 17:40-19:40 ('''обратите внимание на изменение времени'''), аудитория M203

</div>

'''Экзамен, модуль 3''' состоится '''2025-03-28''' в 14:40, аудитории R201, R301, R404, R405, [https://docs.google.com/spreadsheets/d/1p2glNStDh4wyz09Ii8PZe5uoWrp7k65kOFfmu1_1GQs/edit?usp=sharing рассадка], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_delta_demo/exam_delta_demo.pdf демо], условие, [https://forms.gle/JTFo2m9Xr7kFdCxq5 форма для 0 вместо неявки]

== Учебные материалы ==

[https://github.com/bdemeshev/probability_pro/raw/master/probability_pro.pdf PP]: Листки с задачами к курсу.

[https://github.com/bdemeshev/stochastic_pro/raw/main/stochastic_pro.pdf StoPro]: Stochastic process problems.

[https://github.com/bdemeshev/probability_dna/raw/master/probability_dna.pdf PDNA]: Вероятностная ДНК = вкусные задачи по теории вероятностей.

[https://disk.yandex.ru/d/LZ6d2VZVqYvbDQ Видео-летопись семинаров и лекций] и [https://hse.liferooter.dev/ конспект] от тайного благожелателя (updated 2024-10-23]

[https://disk.yandex.ru/d/IoakBXz_6yygPw Официальные видео]

[https://www.cambridgeinternational.org/Images/344616-list-of-formulae-and-statistical-tables.pdf Cambridge statistical tables]

== Дневник самурая ==

2024-09-02, лекция 1: Определение события. Определение случайной величины. Аксиомы вероятности. Определение математического ожидания для дискретного случая.
Линейность математического ожидания. Математическое ожидание как центр масс. Первое знакомоство с перестановочным тестом и p-значением.

Можно глянуть: главы 2.1 и 7 из [https://arxiv.org/pdf/1411.5279 WTSK], метод рычага [https://mathcircle.berkeley.edu/sites/default/files/archivedocs/2007_2008/lectures/0708lecturespdf/MassPointsBMC07.pdf в геометрии].

2024-09-09, лекция 2: Метод первого шага (вероятность выпадения HTH ранее HHT, ожидаемое количество шагов). Метод разложения случайной величины в сумму. Определение случайного вектора. Использование интерпретации ожидания как центра масс в геометрии. Определение теоретической медианы.

Можно глянуть: глава 2.7.2 из [https://projects.iq.harvard.edu/stat110/home BItP], три стратегии решения задачи за 10 минут [https://www.youtube.com/watch?v=xH89DaEI35w Visually Explained]

2024-09-16, лекция 3: Получение новой информации приводит к пересчёту вероятностей. Определение условной вероятности. Формула полной вероятности. Формула Байеса.
Условное математическое ожидание. Формула полного математического ожидания. Независимость пары событий. Независимость набора событий в совокупности.
Независимость величин: неформальное определение. Критерий независимости произвольных величин. Критерий независимости дискретных величин.

2024-09-23, лекция 4: Доказательство критерия независимости для дискретных случайных величин: из независимости {X=x} и {Y=y} следует независимость {X in A} и {Y in B}. Независимость величин равносильна E(f(X))E(g(Y))=E(f(X)g(Y)) для произвольных f, g. Определение биномиальной, геометрической (как числа неудач до 1го успеха) и отрицательной биномиальной случайной величины. Общая идея за производящими функциями: как из функции, производящей исходы эксперимента, с помощью производных и подстановок выудить индивидуальные вероятности, совместные вероятности, ожидания любой степени E(X^a), E(X^a Y^b). Формальное определение функции, производящей вероятности, и функцию, производящей моменты, для одной случайной величины и пары случайных величин. Метатеорема: все теоремы о дискретных величинах доказываются перестановкой слагаемых. Основные дискретные распределения: биномиальное, геометрическое, отрицательное биномиальное.

2024-09-30, лекция 5: Ещё дискретные законы распределения: гипергеометрическое. Описание закона распределения через равномерное распределение на подмножестве R^n.
Функция плотности как линейная часть вероятности попадания в отрезок. Равномерное распределение на отрезке. Смешанные случайные величины. LOTUS: нахождение ожидания любой функции от случайной величины для величин с функцией плотности и смешанных величин. Функция распределения. Квантильная функция.

2024-10-07, лекция 6: Две геометрии случайных величин и событий: E(XY) как скалярное произведение, Cov(X, Y) как скалярное произведение. Математическое ожидание — проекция в рамках геометрии, задаваемой E(XY). Определение и геометрический смысл дисперсии, стандартного отклонения, ковариации и корреляции. Неравенство Маркова. Неравенство Чебышёва. Неравенство Йенсена: интуитивный смысл.

2024-10-14, лекция 7: Доказательство неравенства Йенсена. Энтропия как минимальное ожидаемое число вопросов для отгадывания и формальное определение. Кросс-энтропия.
Доказательство того, что кросс-энтропия больше либо равна энтропии. Совместная энтропия. Условная энтропия. Формула H(X) + H(Y|X) = H(X, Y) без доказательства.
Вывод плотности экспоненциального распределения из предпосылки отсутствия памяти. Экспоненциальное распределение максимизирует энтропию при заданном ожидании и неотрицательности.

* Cristopher Olah, Visual Information Theory, https://colah.github.io/posts/2015-09-Visual-Information/

* Grand Sanderson, Solving Wordle using information theory, [https://www.youtube.com/watch?v=v68zYyaEmEA youtube].

* Artem Kirsanov, Key equation behind probability, [https://www.youtube.com/watch?v=KHVR587oW8I youtube]. У Артёма кросс-энтропия обозначена H(P, Q), а не CE(P||Q)).

* [https://exuberant-arthropod-be8.notion.site/1-02-09-5e107ea1c4054594b8f37d955db8a2b0 Конспект] аналогичной старой лекции псмо на русском.

* Keith Conrad, [https://kconrad.math.uconn.edu/blurbs/analysis/entropypost.pdf Maximal entropy] distributions.

2024-10-21, лекция 8: Ковариационная матрица и её свойства. Совместная функция плотности. Условная функция плотности. Критерий независимости в терминах функций плотности и распределения.
Связь индивидуальной и совместной функций плотности и функций распределения. Смена плотности при замене переменных: домножение на якобиан и неформально про дифференциальные формы. Формула свёртки.
Разложение совместной плотности для графической модели. Представление произвольной совместной функции распределения с помощью копулы.

* Про дифференциальные формы: [https://www.youtube.com/watch?v=PaWj0WxUxGg&list=PL22w63XsKjqzQZtDZO_9s2HEMRJnaOTX7 videos] by Michael Penn, [https://www.math.purdue.edu/~arapura/preprints/diffforms.pdf short intro] by Dony Arapura

* What is a convolution от [https://www.youtube.com/watch?v=KuXjwB4LzSA 3b1b]

* From graphical models to [https://www.youtube.com/watch?v=yBc01ZeaFxw&list=PLISXH-iEM4JlFsAp7trKCWyxeO3M70QyJ Probabilistic ML]

2024-11-11, лекция 9: Пуассоновский поток: аксиомы. Вывод пуассоновского распределения количества событий и экспоненциального времени между событиями из аксиом.
Сумма независимых пуассоновских потоков — это пуассоновский поток (половина доказательства). Вероятность того, что одна экспоненциальная величина будет меньше другой, независимой.

2024-11-18, лекция 10: Гамма-распределение как сумма нескольких экспоненциальных: вывод плотности через вероятность попадания в малый отрезок.
Обобщение плотности на случай положительного параметра $a$. Гамма-функция. Бета-распределение как отношение гамма-распределений. Бета-функция.

2024-11-25, лекция 11: Вывод нормального распределения из предпосылок Гаусса. Вывод нормального распределения из предпосылок Гершеля — Максвелла.

* Saul Stahl, The [https://www.researchgate.net/publication/255668423_The_Evolution_of_the_Normal_Distribution Evolution] of the Normal Distribution: вывод Гаусса с историей.

* Grand Sanderson, [https://www.youtube.com/watch?v=cy8r7WSuT1I Why pi] is in the normal? вывод Гершеля—Максвелла

* James Stein, [http://www-biba.inrialpes.fr/Jaynes/cc07s.pdf Normal Distribution]: глава про нормальное распределение (Гаусс, Гершель—Максвелл, Лэндон etc)

* William Herschel, [https://music.yandex.com/album/209394/track/2121214 концерт для габоя]

* William Herschel, [https://www.informationphilosopher.com/solutions/scientists/quetelet/Herschel_Quetelet_Probabilities.pdf On the theory of Probabilities]: вывод нормального распределения словами на стр. 189-191

2024-12-02, лекция 12: многомерное нормальное распределение. Функция плотности невырожденного многомерного нормального. Функция производящая моменты для многомерного нормального. Формула Иссерлиса с ненулевыми ожиданиями и доказательством. Условное распределение: вывод условного ожидания и условной дисперсии через разложение величины в сумму независимых.

* [https://stats.stackexchange.com/questions/30588/ альтернативный вывод] условного многомерного нормального распределения
* Хитрый [https://github.com/bdemeshev/lis-isserlis/raw/main/lis-isserlis.pdf лис Иссерлис]

2024-12-09, лекция 13: сходимость по распределению, центральная предельная теорема с доказательством подменой слагаемых.

* Calvin Chin [https://arxiv.org/pdf/2106.00871 CLT proof] by swapping
* [https://bdemeshev.github.io/teaching_notes/clt_by_swapping Пересказ доказательства]

2024-12-16, лекция 14: использование бесконечно малых при нахождении ожиданий, трюк с добавление параметра, трюк с закольцовыванием отрезка при равномерном распределении.

* [https://dspace.mit.edu/bitstream/handle/1721.1/91482/1-203j-fall-2004/contents/lecture-notes/class5crofton.pdf Crofton's method]

2025-01-13, лекция 15: Неединственность предела по распределению. Неаддитивность предела по распределению. Предел по вероятности. Закон больших чисел в слабой форме (с доказательством при дополнительной предпосылке о конечности дисперсии). Теорема о непрерывном отображении.

2025-01-20, лекция 16: два определение сходимости почти наверное с доказательством эквивалентности. Сходимость в Lp. Из сходимости в Lp при p>=1 следует сходимость по вероятности. Из сходимости почти наверное следует сходимость по вероятностям. Контр-пример к разнице сходимостей почти наверное и по вероятности. Контр-пример к разнице сходимостей в Lp и по вероятности. Усиленный закон больших чисел (без доказательства). Леммы Слуцкого (без доказательства).

2025-01-27, лекция 17: характеристические функции и их свойства. Вывод характеристической функции нормального стандартного распределения через дифференциальное уравнение. Характеристическая функция биномиального распредеделения. Второе доказательство ЦПТ (через характеристические функции).

* [https://web.ma.utexas.edu/users/gordanz/notes/characteristic.pdf Gordan Zitkovic]: characteristic functions
* [https://sas.uwaterloo.ca/~dlmcleis/s901/chapt6.pdf McLeish]: clt proof

2025-02-03, лекция 18: пример последовательности сходящийся по вероятности с ожиданием стремящимся к бесконечности. Критерий Кэлли. Критерий оптимальной остановки Брасса.

* [https://en.wikipedia.org/wiki/Kelly_criterion wikipedia]: Kelly criterion
* [https://projecteuclid.org/journalArticle/Download?urlId=10.1214%2Faop%2F1019160340 Bruss]: sum the odds to one and stop

2025-02-10 лекция 19: Сигма-алгебра порождённая случайной величиной или набором из нескольких случайных величин. Замкнутость относительно счётного количества операций с множествами. Сигма-алгебра. Объединение сигма-алгебр не всегда сигма-алгебра. Пересечение сигма-алгебр всегда сигма-алгебра. Измеримость суммы. Борелевская сигма-алгебра.

2025-02-18, лекция 20: [https://us06web.zoom.us/j/82685613040?pwd=bqJoXGItwNOOWddXj1flfmPmDn6fMQ.1 онлайн, 18:10]: разбор задач про сигма-алгебры для подготовки к контрольной. Условное математическое ожидание относительно сигма-алгебры: интуиция и формальное определение. Пример подсчёта в дискретном случае.

2025-02-24, лекция 21: Условное ожидание и дисперсия относительно сигма-алгебры со свойствами. Условная вероятность.

2025-03-03, лекция 22: Определение фильтрации. Определение момента остановки. Сигма-алгебра на момент остановки. Определение мартингала.
Формулировка теоремы [https://en.wikipedia.org/wiki/Optional_stopping_theorem Дуба об остановке мартингала]. Задача о макаке, печатающей слово "абракадабра".

* [https://math.uchicago.edu/~may/VIGRE/VIGRE2011/REUPapers/Ai.pdf Martingales and ABRACADABRA]

2025-03-10, лекция 23: Два контр-примера к теореме дуба. Доказали теоремы Дуба для случая ограниченного момента времени. Тождество Вальда: формулировка и доказательство. Определение броуновского движения с явным упоминанием фильтрации и без. Ковариационная функция Cov(Ws, Wt).

2025-03-17, лекция 24: Преобразования винеровского процесса: масштабирование и инверсия. Закон распределения накопленного максимума. Закон распределения момента достижения заданного значения.

2025-03-24, лекция 25:

=== Семинары ===

==== 473 = 235 + 238 ====

2024-09-02, 06, семинар 1: задачи 1.1, 1.6, 3.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-09, 13, семинар 2: задачи 2.1, 2.3, 12.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-16, 20, семинар 3: задачи 7.12 и 7.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-23, 27, семинар 4: как извлечь P(X=3), E(X), E(X^2Y) из функции, производящей список исходов, 28.16 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-30, -10-04, семинар 5: 9.3в, 9.4, 9.7(абвд, кроме дисперсии, аргументы масштабирования и центра масс помимо интегралов), 9.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-10-07, 11, семинар 6: вычисление Cov, Var, Corr по табличке и из функции плотности, нахождение дисперсии для отрицательного биномиального распределения по свойствам.

2024-10-14, 18, семинар 7: вычисление энтропии геометрического распределения. Изменение энтропии при линейном преобразовании для дискретной величины и величины с функцией плотности.
Кросс-энтропия из экспоненциального в равномерное. Условная энтропия для дискретной таблички. Связь энтропии величины с функцией плотности и энтропия дискретной версии этой случайной величины после "огрубления" с малым шагом 1/k.

2024-10-21, -11-01, семинар 8: 16.18, 16.23 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], свёртка двух экспоненциальных величин

2024-11-11, 15, семинар 9: задачи на пуассоновский поток из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-11-18, 22, семинар 10: задачи на бета и гамма-распределение

2024-11-25, 29, семинар 11: задачи на нормальное распределение, 18.1, 18.2, 18.3, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-02, 06, семинар 12: задачи на многомерное нормальное: 24.16аб, 24.17аб, 24.18, 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-09, 13, семинар 13: ЦПТ и нормальное распределение: 20.2, 20.4, 18.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-19, семинар 14: разбор демо

2025-01-13, семинар 15: сходимость по вероятности: 20.1, 20.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-20, 24, семинар 16: связь между сходимостями, 20.11, 20.13 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-27, 31, семинар 17: 28.17, 28.18, 28.21 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-03, 07, семинар 18: 28.20аб, 28.22 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-10, 14, семинар 19: 6.2, 6.3, 6.11, измеримость произведения из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-18, 21, семинар 20: разбор демо

2025-02-24, 28, семинар 21: Условное математическое ожидание и условная дисперсия относительно сигма-алгебры в дискретном случае.
[https://github.com/bdemeshev/stochastic_pro/raw/main/stochastic_pro.pdf StoPro]: 8.22-8.25

2025-03-03, 10, семинар 22: доказали, что сигма алгебра, порождённая моментом остановки, лежит внутри сигма-алгебры событий на момент остановки.
Вероятность достижения границы -а раньше границы +b и среднее время достижения одной из этих границ для классического случайного блуждания.
Преобразование несимметричного случайного блуждание St в мартингал с помощью exp(alpha St).
[https://github.com/bdemeshev/stochastic_pro/raw/main/stochastic_pro.pdf StoPro]: 9.1, 9.3

2025-03-10, 14, семинар 23: решение двух классических задач с помощью мартингалов: [https://en.m.wikipedia.org/wiki/Bertrand%27s_ballot_theorem задача о голосовании], [https://math.dartmouth.edu/~pw/papers/gpdp.ps "следующая карта — красная"].

2025-03-17, 21, семинар 24: нахождение ожиданий и вероятностей E(W5W6 | W4), P(W1 > 0, W2 < 0); проверка мартингальности (Wt), (Wt^2 - t), (exp(aWt - a^2t/2)).

==== 236 ====

2024-09-06, семинар 1: в начале семинара рассмотрели основные понятия и определения для решения задач. Решили задачи 1.1, 1.6, 3.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-13, семинар 2: нашли ожидание случайной величины с геом. распределением. Решили задачи 2.1, 12.6, 12.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-09-20, семинар 3: решили задачи 7.12, 7.4(а), 7.7, 7.13(а) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-09-27, семинар 4: разобрали 7.13, почти разобрали 28.3 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Также рассмотрели один контрпример на независимость(тетраэдр Бернштейна).

2024-10-04, семинар 5: разобрались с определениями, решили 9.3(абв), 9.7(аб) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Решили задачку про три точки на отрезке и найти вероятность получить треугольник. Также вывели формулу для мат. ожидания неотрицательной величины через функцию распределения.

2024-10-14, семинар 6: обсудили дисперсию, ковариацию, коэффициент корреляции и их геометрический смысл. Решили задачу на оценку дисперсии ограниченной величины. посчитали дисперсию геометрического, биномиального. Посчитали дисперсию в задаче о письмах и конвертах.

???, семинар 7: определили энтропию, посчитали примеры для дискретных величин, для линейных преобразований. Доказали, что задача максимизации энтропии с фиксированной дисперсией достигается на нормальном распределении.

???, семинар 8: свертка двух экспоненциальных, 16.18 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

???, семинар 9: задачи на пуассоновский процесс из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

???, семинар 10: разбор кр.

???, семинар 11: разобрали задачи на нормальное распределение 18.1, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Также считали распределение суммы двух независимых нормальных.

==== 237 ====

2024-09-09, семинар 1: задачи 1.1, 2.2 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], вероятность что n ладей не бьют друг друга при случайной расстановке на шахматной доске n на n, матожидание числа треугольников в случайном графе на n вершинах через сумму индикаторов

2024-09-13, семинар 2: задачи 2.1, 2.6, 12.3, 12.6, 12.7 (без дисперсий) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-23, семинар 3: задачи 7.2, 7.13, 7.7, 7.8, плюс начали 7.15b (получили неверный ответ) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-27, семинар 4: дорешали 7.15b с небольшой демонстрацией на питоне, разобрали 28.2 для нечестной монетки плюс посчитали матожидание [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-10-04, семинар 5: задачи 9.1, 9.3абв, 9.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], философия про то почему бОльшая плотность не всегда означает бОльшую вероятность оказаться в окрестности данной точки (плотность может занимать слишком маленький объем)

2024-10-11, семинар 6: вспомнили определения Cov/Var/Corr, посчитали у пары дискретных величин по табличке вероятностей, посчитали дисперсию у биномиального, геометрического, непрерывного равномерного на отрезке.

2024-10-18, семинар 7: вычисление энтропии геометрического распределения; ограниченность энтропии снизу и сверху в дискретном случае; изменение энтропии при линейном преобразовании для дискретной величины и величины с функцией плотности; условная энтропия, KL дивергенция и кросс-энтропия, неотрицательность KL, интерпретация на пальцах с точки зрения теории информации.

2024-11-01, семинар 8: 16.18, 16.23 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], свёртка двух экспоненциальных величин

2024-11-08, семинар 9: решали пробный вариант КР

2024-11-15, семинар 10: 13.1, 13.2, 13.5, 13.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-11-22, семинар 11: разбор КР

2024-11-29, семинар 12: нормальное распределение, 18.1, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-06, семинар 13: многомерное нормальное распределение, изменение среднего и матрицы ковариаций при линейном преобразовании, 24.4а, 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-13, семинар 14: 24.4в из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], сходимости случайных величин, ЗБЧ и ЦПТ, 20.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-21, семинар 15: наследование сходимости, 20.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], плюс доказали предельную теорему Пуассона

2025-01-28, семинар 16: связь между сходимостями, 20.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], лемма Слуцкого, подмена дисперсии на выборочную дисперсию в ЦПТ

2025-02-04, семинар 17: базовые свойства хар функций, хар функция суммы независимых величин, 28.17, 28.20 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-18, семинар 18: вероятностное пространство в общем случае, сигма-алгебры, борелевская сигма-алгебра, сигма-алгебра порожденная случайной величиной, измеримость случайной величины относительно сигма-алгебры, 6.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], задачи на сигма алгебры из пробника КР

2025-02-25, семинар 19: условное матожидание относительно сигма алгебры, условное матожидание и дисперсия относительно случайной величины, закон полного матожидания и закон полной дисперсии, 22.1, 22.3, 22.5абв из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-03-04, семинар 20: показали, что условное матожидание минимизирует среднеквадратичный риск; нашли условное матожидание и условную дисперсию в 22.6 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], нашли E[X | X^2] для симметричного равномерного распределения, нашли E[X_1 | X_1 + ... + X_n] для набора i.i.d. величин, нашли E[Y] и Var(Y) для Y|X имеющего экспоненциальное распределение с параметром X

2025-03-11, семинар 21: мартингалы, момент остановки, теорема Дуба об остановке, задача о разорении игрока для честного и нечестного казино, вероятность выигрыша и вероятность разорения

2025-03-11, семинар 22: матожидание времени до момента остановки в задаче о разорении игрока, теорема Бертрана о выборах

==== 239 ====

2024-09-03, семинар 1: задачи 1.1, 1.4, пытались 1.8 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Ещё успели посчитать вероятность N=k бросков монеты до выпадения первого орла, матожидание N. И ещё сделали то же для количества бросков до выпадения 3 орлов (не в серии).

2024-09-10, семинар 2: доказали формулу включения-исключения, решили несложную задачу, порешали 2.7 задачи типа 12.*

2024-09-17, семинар 3: Решили две прямых задачи на формулу Байеса и формулу полной вероятности (без большого количества вычислений). Решили задачу поиска вероятности неисправного кофе-автомата из 3 при условии, что бросили деньги в 1 и 2 и их зажевало. Ещё нашли вероятность, что мяч будет у игрока 3 после шага 10 (все садятся в круг и на каждом шаге бросают мяч соседу с вероятностью 0.3 и оставляют у себя с вероятностью 0.4).

2024-09-24, семинар 4: Вспомнили про метод первого шага, используя формулу полной вероятности и введя в некотором виде формулу полного матожидания, записали формулу для вероятностей нахождения в состоянии i через произведение переходной матрицы на вектор. Совсем немного начали производящие функции, но решили не считать 31ю производную многочлена.

2024-10-01, семинар 5: Исследуем дискретные случайные величины (Биномиальная, Геометрическая и разные похожие) с использованием техник вычислений моментов через производящую функцию. Задачи на распределения величин, посчитанных по набору величин. Первая большая задача про плотность.

2024-10-08, семинар 6: разминочная про плотность и функцию распределения. Считаем дисперсию, ковариацию и корреляцию по 2x2 таблице и в равномерном распределении на круге и квадрате [-1,1]х[-1,1].

2024-10-15, семинар 7: пара задач про экспоненциальное распределение, расчёты по теории информации(считаем всякое, чтобы привыкнуть).

2024-10-22, семинар 8: письменные источники не сохранились до наших дней. Согласно преданиям, оьсуждали двери и около контрольной. Говорят, ввели пуассоновский процесс.

2024-???, семинар 9: решаем задачи на пуассоновское в разных формах и обсуждаем омалые в порядковых статистиках.

2024-???, семинар 10: учимся интерпретироввть гауссовское, пользоваться таблицами для функции Лапласа, а также немного работать с многомерным гауссовским.

2024-3-12, семинар 11: Копаем во все стороны многомерное гауссовское: считаем вероятности для линейных комбинаций гауссовских, проверяем зависимость, вычисляем условные законы, матожидания и ковариационные матрицы, вспоминаем спектральное разложение и разложение Холецкого.

==== 2311 ====

2024-09-06, семинар 1: вероятностное пространство, вероятность на нем, вероятность события, случайная величина и ее распределение (индикатор события, сумма двух кубиков, число бросаний монетки до первого орла), матожидание случайной величины (индикатор, один кубик, два кубика), линейность матожидания. Задачи на линейность матожидания, в том числе ЕГЭшная задача про турнир, 1.5, 3.5 с допвопросом о матожидании числа совпадений. Разговор о получении события произвольной вероятности монеткой в контексте 1.8

2024-09-13, семинар 2: Повторили матожидание суммы на примере 12.3. Обсудили условную вероятность и формулу полной вероятности, условное матожидание, решили задачи на метод первого шага 2.1, 2.3, 2.7.

2024-09-20, семинар 3: Условная вероятность, формула полной вероятности, формула Байеса: 7.1, классическая задача про болезни и тесты, простейшие задачки на общее понимание, обсуждение двух подходов: вычисления условной вероятности по формуле и составления нового вероятностного пространства и подсчет вероятности в нем. Независимые события (события "пики" и "дама" в обычной колоде и колоде с джокерами), независимые в совокупности события, построили пример попарно независимых, но не независимых в совокупности. Обсудили биномиальное распределение. решили задачу: "в корабле к отсеков, чтобы корабль затонул, нужно поразить 2. Независимо выпускают n ракет, каждая из которых поражает случайный отсек с вероятностью p. Найти вероятность потопления корабля"

2024-09-20, семинар 4: Примеры одинаково распределенных зависимых СВ, независимые СВ. Производящая функция и ее свойства. Посчитали для биномиального производящую функцию и второй момент. Обсудили, что будет меняться в случае функции, производящей моменты. Обсудили функцию, производящую множество исходов, как из нее доставать уже известные функции, как ее искать на примере бросания монетки до выпадания HT

2024-10-11, семинар 5: Составили табличку стандартных дискретных распределений, посчитали матожидание геометрического, обсудили дисперсию и ковариацию и их свойства (в дискретном случае), досчитали дисперсии основных распределений. Обсудили вероятностное пространство в общем случае, понятие СВ в общем случае. Дали определение ФР, посчитали ФР для явно заданной СВ. Дали определение плотности.

2024-10-12, семинар 6: Обсудили свойства ФР, как считать вероятность попадания в промежуток в терминах ФР. Выразили ФР 1/X, cos X. Обсудили как выражается веротяность попадания в множество через плотность. для 1/Х выразили плотность в случае абсолютной непрерывности Х. Обсудили формулу для МО в общем виде через интеграл Стильтьеса и как вычислять МО для функции, разлагающейся в сумму абсолютно нерпрерывной и функции скачков, посчитали МО для пары таких СВ

2024-10-18, семинар 7: Обсудили геометрию, заданную скалярным произведением EXY и cov(X,Y), поиск ортогонального элемента и проекции. Посчитали энтропию и кросс-энтропию в дискретном и непрерывном случаях, посчиали совместную и условную энтропию в дискретном случае (23.2, 23.4, 23.9)

2024-11-01, семинар 9: Совместная плотность и ф.р., подсчет вероятностей, маргинальные плотности, замена переменной через якобиан, свертка, матожидание

2024-11-09, семинар 10: Условная плотность, формула условной вероятности. Задача на восстановление маргинальной плотности по условной. Разбор задач из "Летучей мыши"

2024-11-19, семинар 11: Разбор контрольной работы

2024-11-22, семинар 12: Пуассоновский поток - решали задачки из задачника

2024-11-29, семинар 13: Нормальное распределение - задачи из PP, повторили функцию, порождающую моменты, обсудили ее свойства в абсолютно непрерывном случае

2024-12-06, семинар 14: Многомерное нормальное - обсудили два определения, связь между ними, независимость элементов нормального вектора при нулевой ковариации и почему это неверно для произвольных нормальных. порешали задачи 24.9а, 24.10, 24.17

2024-12-013, семинар 15: ЦПТ, решали задачи из задачника

2025-01-17, семинар 16: Сходимости почти наверное и по вероятности, связь со сходимостью по распределению. Посмотрели стандартные контрпримеры, показали, что если есть сходимость по распределению к константе, то есть и по вероятности. ЗБЧ Чебышева и Хинчина, УЗБЧ Колмогорова, обсудили 20.1 сколько успели.

2025-01-24, семинар 17: Сходимость в L_p, связи между сходимостями. Задача 20.11

2025-01-24, семинар 18: Характеристические функции и их свойства. Посчитали хар функции для равномерного, Бернулли, биномиального, Пуассона, экспоненциального. Показали, чо сумма нормальных нормальна. По функции пытались понять, может ли она быть характеристической и восстанавливали с.в.

==== 2310, 2312 ====

2024-09-06, семинар 1: задача 1.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Определили вероятностное пространство в виде тройки, множество исходов рассматривали конечное и счётное. Решили 3 счётные задачи на комбинаторику про колоды карт и счетные последовательности цифр. Привели геометрическое и аналитическое решения задачи про нахождение предела последовательности вероятностей. В конце нашли математическое ожидание геометрически распределённой случайной величины.

2024-09-13, семинар 2: задача 2.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Задача на упорядоченные и неупорядоченные наборы. Задача про классическое вероятностное пространство и про пространство с неравновероятными исходами. Разобрали парадокс Монти Холла. Ввели понятия условной вероятности и независимых случайных величин. Сформулировали и обсудили идеи доказательств трёх теорем: теорема умножения вероятностей, формула полной вероятности и формула Байеса.

2024-09-20, семинар 3: Решили задачу на определение условной вероятности. Обсудили парадокс теоремы Байеса на примере задачи про редкое заболевание, а также посмотрели простую программу на Python, которая считает вероятность в зависимости от количества проведенных тестов на заболевание. Обсудили условное математическое ожидание, некоторые его свойства и рассмотрели пример с подбрасыванием кубика. В конце решили задачу на парадокс дней рождений.

2024-09-27, семинар 4: Обсудили коллизии хеш-функций и связь с атакой "дней рождений". Определили независимость или зависимость случайных величин в четырёх разных вариантах. Обсудили, что неверно утверждать, что матожидание частного независимых случайных величин равно частному матожиданий, также привели пример использования подобного факта в некоторых статьях. В конце решили задачу на поиск функции производящей исходы, а также нашли E(X), E(Y^2), E(XY) с помощью найденной функции.

2024-10-04, семинар 5: Решили две простые задачи на условную вероятность и на теорему об умножении вероятностей. Обсудили связь дерева событий с условной вероятностью и теоремой об умножении вероятностей. Нашли производящую функцию моментов для геометрически распределенной случайной величины и с помощью нее нашли матожидание. Нашли производящую функцию моментов и матожидание суммы случайного количества н.о.р случайных величин.

2024-10-11, семинар 6: Привели аналогии между дискретными и непрерывными случайными величинами. Нарисовали графики функций от случайных величин. Вспомнили определение и свойства дисперсии. Решили простую задачу на подсчет дисперсии и нашли дисперсию геометрически распределенной случайной величины. Обсудили, когда может быть матожидание и дисперсия бесконечны. Далее вспомнили неравенства Маркова и Чебышева, вывели следствия и решили 3 задачи на применение этих неравенств. Обсудили, что неравенство Маркова может давать как точную оценку, так и очень слабую. Показали, что неотрицательность случайной величины в неравенстве Маркова является существенным условием.

2024-10-11, семинар 7: Повторили понятия энтропии в битах и натах, а также понятие дифференциальной энтропии. Нашли энтропию в схеме Бернулли и энтропии геометрического и экспоненциального распределений. Доказали простую оценку сверху для энтропии случайной величины, имеющей конечный носитель мощности n.

2024-11-1, семинар 8: Разобрали демо-вариант контрольной работы "Тыква".

2024-11-8, семинар 9: Разобрали демо-вариант контрольной работы "Летучая мышь".

2024-11-15, семинар 10: Понятие случайного процесса. Определение пуассоновского процесса, его свойства. Три простые задачи на пуассоновское распределение. Задачи 13.1 и 13.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-11-22, семинар 11: Определения Бета-функции и Гамма-функции. Бета и Гамма распределения, их функции плотности и графики. Нахождение моды случайных величин, имеющих Бета и Гамма распределения. Связь пуассоновского процесса с Гамма распределением. В конце нашли производящую функцию моментов Гамма распределения.

2024-11-29, семинар 12: Задачи 18.1, 18.2 и 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-12-06, семинар 13: Нашли многомерное нормальное распределение по виду функции плотности (константа на экспоненту с квадратичным показателем). С помощью формулы Иссерлиса нашли матожидания произведений различных или одинаковых случайных величин, имеющих многомерное нормальное распределение. Нашли условную вероятность многомерного распределения. Задача 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-12-13, семинар 14: Повторили определение сходимости по распределению и центральную предельную теорему. Решили задачи 20.2 и 20.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

== Источники ==

Источники мудрости, которые я постарался не замутить :)

[https://arxiv.org/pdf/1411.5279 WTSK]: Tim Hesterberg, What Teachers Should Know About the Bootstrap: вкусное и доступное изложение бутстрэпа и перестановочных тестов.

[https://projects.iq.harvard.edu/stat110/home BItP]: Blitzstein, Hwang, Introduction to Probability: учебник, записи лекций, гарвардский курс.

Теория вероятностей 2024/25 (основной поток)

2025-03-28T00:12:59Z

Bdemeshev: /* Контрольные работы и экзамен */

= Преподаватели и учебные ассистенты =

{| class="wikitable" style="text-align:center"
|-
! Группа !! БПМИ235 !! БПМИ236 !! БПМИ237 !! БПМИ238 !! БПМИ239 !! БПМИ2310 !! БПМИ2311 !! БПМИ2312
|-
|| Лектор ||colspan="11"| [https://t.me/boris_demeshev Борис Демешев]
|-
|| Семинарист || [https://t.me/boris_demeshev Борис Демешев] || [https://t.me/levensons Илья Левин] || [https://t.me/madn_boi Никита Морозов] || [https://t.me/boris_demeshev Борис Демешев] || [https://t.me/XuMuK_MK Максим Каледин] || [https://t.me/goluba_yurieva Голуба Юрьева] || [https://t.me/Moskchan Вероника Владыкина] || [https://t.me/goluba_yurieva Голуба Юрьева]
|-
|| Ассистент || [https://t.me/nerhneiro Ира Скворцова] || [https://t.me/a_ameli_ig Амелия Алаева] || [https://t.me/htual Алина Бадахова] || [https://t.me/adelyagaraeva Аделя Гараева] || [https://t.me/mabrielka Мария Брель] || [https://t.me/zm_ann Анна Зыкова-Мызина] || [https://t.me/Yanlightv Яна Вежновец] || [https://t.me/nol_erk Кирилл Лавриненко]
|-
|| Ассистент курса ||colspan="11"| [https://t.me/Nick_Volya Никита Волянский]
|}

== Цели и задачи курса ==

侍には目標がなく道しかない [Samurai niwa mokuhyō ga naku michi shikanai]

У самурая нет цели и ничего кроме пути.

Вероятный план:
<div class="mw-collapsible mw-collapsed" style="width:1000px; overflow: hidden;">
1. Дискретное вероятностное пространство. Вероятность, математическое ожидание, теоретическая медиана.
Перестановочные тесты, p-значение для перестановочного теста.
Математическое ожидание = центр масс.

NB: здесь сходу рисуем дерево
NB: здесь нет задач на условную вероятность

!предупреждение об обозначениях случайных величин.
Российская традиция — греческие буквы, американская традиция — заглавные английские буквы.
Наш курс: любые буквы. Причина: теория вероятностей применяется в разных областях, где свои традиции.

NB: Способы вычисления вероятностей и ожиданий:
* полный перебор руками
* примерные вычисления руками
* полный перебор на компьютере
* симуляции на компьютере
* ...

2.
Методы решения задач:
* разложение величины в сумму
* метод первого шага
!идея: позиция в игре имеет цену
* just for fun: метод рычага в геометрии через ожидание
NB: рассказать здесь про комплексную случайную величину
NB: по сути здесь мы уже решаем задачи на марковские цепи не говоря страшных определений
LOTUS.

3. Условная вероятность и условное ожидание.
!идея: зануляем вероятности невозможных событий, а остальные — масштабируем.
формула полной вероятности
!идея: дерево "помнит" формулу полной вероятности
формула Байеса

Независимые события.
Независимые случайные величины.

4.
Методы решения задач:
* производящие функции многих переменных
функция как способ записать множество
HTT vs TTH
ABRACADABRA
!разложение по биномиальной формуле

?: можно здесь успеть функцию производящую моменты

5.
Биномиальное распределение.
Геометрическое и гипергеометрическое распределения.
Отрицательное биномиальное распределение.

6.
Равномерное распределение на множестве в R^n
Функция распределения.
Функция плотности и вероятностная дифференциальная форма.
!пояснение про неудачную традиционную терминологию "непрерывная случайная величина"
величина с функцией плотности, величина с непрерывной функцией распределения.

Квантили, квантильная функция.

7. Характеристики случайных величин и неравенства.
Дисперсия.
Энтропия.
Неравенство Маркова.
Неравенство Чебышёва.
Неравенство Йенсена.

Здесь конец модуля 1 и КР-1!

8. Пуассоновский поток.
Аксиомы пуассоновского потока.
Вывод экспоненциального распределения и пуассоновского распределения из аксиом.
Вывод экспоненциального распределения из предпосылки об отсутсвии памяти.

9. Нормальное распределение.
Нормальное распределение: предпосылки Хершела-Максвелла.
Нормальное распределение: аргументация Гаусса за среднее арифметическое.
Нормальное распределение: предпосылки Лэндона (до уравнения в частных производных).

10. Классические непрерывные распределения.

Гамма-распределение, бета-распределение.
Вывод нормального и экспоненциального распредений как минимизации энтропии.

11. Парные характеристики случайных величин.
Наилучшая линейная аппроксимация.
Ковариация.
Корреляция.
Кросс-энтропия.

Доказательство E(XY) = E(X) E(Y) для дискретных.
Ковариационная матрица и ожидание для случайных векторов.

12. Совместная и условная функция плостности.
Преобразования случайных величин.

13. Функция производящая моменты и характеристическая функция.
Распределение суммы случайного количества случайных величин.
Случайный выбор слагаемых.

14. Финансовые приложения

Оценивание опционов на биномиальном дереве.
Максимизация долгосрочной прибыли, связь с энтропией.
Возможно, индексы Гиттинса.

Здесь конец модуля 2 и КР-2

15. Сигма-алгебры.

Список известных величин как способ описания информации.
Идея условного ожидания как оптимального прогноза.
Сигма-алгебра как способ описания информации.
Измеримость случайной величины относительно сигма-алгебры.
Сигма-алгебра как ОДЗ для вероятности.
Борелевская сигма-алгебра.
Независимые случайные величины второе определение.

16. Условное математическое ожидание.
Условная дисперсия.
Сумма случайного количества случайных величин.

17. Сходимости случайных величин.

Сходимость по вероятности.
Закон больших чисел.
Сходимость почти наверное.
Усилинный закон больших чисел.
Сходимость по распределению.

18. Связь сходимостей.
Лемма Слуцкого.

19. Центральная предельная теорема.
Доказательство через подмену слагаемых.
Доказательство через характеристические функции.

Здесь контрольная.

20. Винеровский процесс
Условные ожидания, инверсия.

21. Байесовский подход к оцениванию параметров

Балансовое уравнение. Идея MCMC.

22. Доказательства свойств меры

23. Алгоритм построения математического ожидания в общем случае.
Лемма Фату.
Теорема о мажорируемой сходимости.
Теорема о монотонной сходимости.

24. Резерв.

Жемчужинки, которые, вероятно, не успеем:

А. Методы решения задач:
подсчёт случаев с помощью леммы Бернсайда и теоремы Пойа о перечислении
(Burnside lemma, PET = Polya Enumeration Theorem)

B. вероятностные доказательства детерминистических теорем

</div>

== Оценивание ==

Оценка за семестр-1 = 0.2 Домашние задания семестра-1 + 0.4 Контрольная-Альфа + 0.4 Экзамен-Бета.

Финальная оценка за курс = 0.5 Оценка за семестр-1 + 0.1 Домашние задания семестра-2 + 0.2 Контрольная-Гамма + 0.2 Экзамен-Дельта.

Каждая оценка (суммарные итоги за домашние задания, контрольные, экзамены) — целое число от 0 до 100.
Для перевода в 10-балльную шкалу промежуточной оценки за семестр-1 и финальной оценки используется деление на 10
с арифметическим округлением. Например, если Максим получил "оценку за семестр-1" 65 баллов, то в ведомость за первый семестр идёт 7, а далее в формуле финальной оценки за курс используется 65.

=== Домашние задания для самураев ===

Домашние задания [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/home_assignments/home_assignments.pdf одним файлом] и [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/blob/main/home_assignments/ отдельными файлами].
Домашние задания имеют равный вес.
В конце каждой лекции (за исключением ближайших к экзамену лекций)
выдается домашнее задание сроком на две недели.
Дедлайн жёсткий, однако студент имеет право просрочить три домашних задания на неделю каждое без штрафа.

Формат сдачи ДЗ: один pdf-файл (решение текстовых задач) и один ipynb-файл (решение компьютерных задач).
В pdf-файл можно поместить аккуратно написанное отсканированное решение, а можно скомпилировать pdf из теха или маркдауна.
Ещё можно вместо pdf-файла написать всё в ipynb.
Бонусов за сдачу домашки в техе нет. Пример [https://www.overleaf.com/read/qmrkwpzvmqbk шаблона].

Обратите внимание: '''время каждого дедлайна — 23:59'''.

=== Ведомость с оценками за ДЗ ===

{| class="wikitable" style="text-align:center"
|-
! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1872081500#gid=1872081500 235] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1374497930#gid=1374497930 236] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1183164252#gid=1183164252 237] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=408179311#gid=408179311 238] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1032422408#gid=1032422408 239] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1603236891#gid=1603236891 2310] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=791330236#gid=791330236 2311] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=23847300#gid=23847300 2312]
|}

[https://docs.google.com/spreadsheets/d/14hD7-SLmAA1omdkhPlt3blRHDHVGTDS8ZgvLWscvMz8/edit?usp=sharing Сводная ведомость всех оценок]

=== Контрольные работы и экзамен ===

Вес каждой задачи будет написан в тексте работы.
Задачи с ненаписанным по случайности весом имеют равный вес.
Для пропущенных по уважительной причине контрольных будет выделен один день для переписывания.
При пропуске дня переписывания, в том числе по уважительным причинам, ещё одного шанса не предоставляется.

<div class="mw-collapsible mw-collapsed" style="width:1000px; overflow: hidden;">

'''Контрольная работа 1''' состоится 2024-11-11 в 16:20, аудитории: R401, R305, R206, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_halloween_demo/exam_halloween_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/midterm/midterm-alpha.pdf условие с критериями и решениями].

'''Резервный день 1''' для пропустивших по уважительной причине состоится 2024-12-02 в 19:40, R405

'''Показ контрольной 1''':

* задачи 1, 2: заочно до 2024-12-08, [https://t.me/Moskchan Вероника]
* задачи 3, 4 [https://t.me/boris_demeshev Борис], очно, четверг, 2024-12-05, 18:10-21:00, G408
* задачи 5, 6 [https://t.me/XuMuK_MK Максим]: очно, четверг, 2024-12-05, 18:10-21:00, G408

'''Экзамен, модуль 2''' состоится '''''2024-12-24 в 10:00''''', аудитории R301, R304, R401, R404, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_winter_demo/exam_winter_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/december/pmi_probab_2024_december.pdf условие].

Если вы не хотите идти на экзамен, то заполните [https://forms.gle/UQzW77RrPvcdahG47 эту форму], чтобы получить ноль при неявке

'''Апелляция экзамена''':

* задачи 1, 2: заочно [https://t.me/goluba_yurieva Голуба], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/december/exam_problem_1-2.pdf решения и критерии 1, 2];
* задачи 3, 4: очно 2025-01-11, аудитория R408, 14:40-17:40 [https://t.me/madn_boi Никита], [https://www.overleaf.com/read/dnhjcdrndqps#42f1ab решения и критерии 3, 4];
* задачи 5, 6: заочно [https://t.me/levensons Илья]

* дедлайн по заочным апелляциям: суббота 23:59

[https://docs.google.com/spreadsheets/d/1mxMCr3IEDy8EPFWGkn3_dsghhPNcZICEw9C9o5ZoZvA/edit?usp=sharing Распределение по аудиториям]

Даты пересдач: 2025-01-28 в 18:10, 2025-02-03 в 18:10 и комиссия 2025-02-11 в 18:10.

* задачи 1, 2: [https://t.me/goluba_yurieva Голуба], задачи 3, 4: [https://t.me/madn_boi Никита], задачи 5, 6: [https://t.me/levensons Илья], апелляция пересдачи 2 до 21:00 2025-02-10.

'''Контрольная, модуль 3''' состоится 2025-02-22 в 16:20, аудитории R201, R204, R404, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_galileo_demo/exam_galileo_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_galileo/pmi_probab_galileo_exam_2024-2025.pdf условие].

[https://docs.google.com/spreadsheets/d/1LZA-7TDz_yYeVPRx4BpBWJnQKZ7wqPgHDrN-Z0SM68M/edit?usp=sharing Распределение по аудиториям]

'''Контрольная, модуль 3, резервный день''': 2025-03-07, пятница, 18:10, R204, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_galileo/pmi_probab_galileo_exam_2024-2025_retake.pdf условия]

[https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_galileo_sol/pmi_probab_galileo_exam_2024-2025_sol.pdf Комментарии по проверке], показ работ кр3:

* Задачи 1-2, заочно до 23 марта, [https://t.me/PlatonPromyslov Платон]
* Задачи 3-4, заочно до 23 марта, [https://t.me/Moskchan Вероника]
* Задачи 5-6, очно, [https://t.me/madn_boi Никита], понедельник 24 марта, 17:40-19:40 ('''обратите внимание на изменение времени'''), аудитория M203

</div>

'''Экзамен, модуль 3''' состоится '''2025-03-28''' в 14:40, аудитории R201, R301, R404, R405, [рассадка, https://docs.google.com/spreadsheets/d/1p2glNStDh4wyz09Ii8PZe5uoWrp7k65kOFfmu1_1GQs/edit?usp=sharing], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_delta_demo/exam_delta_demo.pdf демо], условие, [https://forms.gle/JTFo2m9Xr7kFdCxq5 форма для 0 вместо неявки]

== Учебные материалы ==

[https://github.com/bdemeshev/probability_pro/raw/master/probability_pro.pdf PP]: Листки с задачами к курсу.

[https://github.com/bdemeshev/stochastic_pro/raw/main/stochastic_pro.pdf StoPro]: Stochastic process problems.

[https://github.com/bdemeshev/probability_dna/raw/master/probability_dna.pdf PDNA]: Вероятностная ДНК = вкусные задачи по теории вероятностей.

[https://disk.yandex.ru/d/LZ6d2VZVqYvbDQ Видео-летопись семинаров и лекций] и [https://hse.liferooter.dev/ конспект] от тайного благожелателя (updated 2024-10-23]

[https://disk.yandex.ru/d/IoakBXz_6yygPw Официальные видео]

[https://www.cambridgeinternational.org/Images/344616-list-of-formulae-and-statistical-tables.pdf Cambridge statistical tables]

== Дневник самурая ==

2024-09-02, лекция 1: Определение события. Определение случайной величины. Аксиомы вероятности. Определение математического ожидания для дискретного случая.
Линейность математического ожидания. Математическое ожидание как центр масс. Первое знакомоство с перестановочным тестом и p-значением.

Можно глянуть: главы 2.1 и 7 из [https://arxiv.org/pdf/1411.5279 WTSK], метод рычага [https://mathcircle.berkeley.edu/sites/default/files/archivedocs/2007_2008/lectures/0708lecturespdf/MassPointsBMC07.pdf в геометрии].

2024-09-09, лекция 2: Метод первого шага (вероятность выпадения HTH ранее HHT, ожидаемое количество шагов). Метод разложения случайной величины в сумму. Определение случайного вектора. Использование интерпретации ожидания как центра масс в геометрии. Определение теоретической медианы.

Можно глянуть: глава 2.7.2 из [https://projects.iq.harvard.edu/stat110/home BItP], три стратегии решения задачи за 10 минут [https://www.youtube.com/watch?v=xH89DaEI35w Visually Explained]

2024-09-16, лекция 3: Получение новой информации приводит к пересчёту вероятностей. Определение условной вероятности. Формула полной вероятности. Формула Байеса.
Условное математическое ожидание. Формула полного математического ожидания. Независимость пары событий. Независимость набора событий в совокупности.
Независимость величин: неформальное определение. Критерий независимости произвольных величин. Критерий независимости дискретных величин.

2024-09-23, лекция 4: Доказательство критерия независимости для дискретных случайных величин: из независимости {X=x} и {Y=y} следует независимость {X in A} и {Y in B}. Независимость величин равносильна E(f(X))E(g(Y))=E(f(X)g(Y)) для произвольных f, g. Определение биномиальной, геометрической (как числа неудач до 1го успеха) и отрицательной биномиальной случайной величины. Общая идея за производящими функциями: как из функции, производящей исходы эксперимента, с помощью производных и подстановок выудить индивидуальные вероятности, совместные вероятности, ожидания любой степени E(X^a), E(X^a Y^b). Формальное определение функции, производящей вероятности, и функцию, производящей моменты, для одной случайной величины и пары случайных величин. Метатеорема: все теоремы о дискретных величинах доказываются перестановкой слагаемых. Основные дискретные распределения: биномиальное, геометрическое, отрицательное биномиальное.

2024-09-30, лекция 5: Ещё дискретные законы распределения: гипергеометрическое. Описание закона распределения через равномерное распределение на подмножестве R^n.
Функция плотности как линейная часть вероятности попадания в отрезок. Равномерное распределение на отрезке. Смешанные случайные величины. LOTUS: нахождение ожидания любой функции от случайной величины для величин с функцией плотности и смешанных величин. Функция распределения. Квантильная функция.

2024-10-07, лекция 6: Две геометрии случайных величин и событий: E(XY) как скалярное произведение, Cov(X, Y) как скалярное произведение. Математическое ожидание — проекция в рамках геометрии, задаваемой E(XY). Определение и геометрический смысл дисперсии, стандартного отклонения, ковариации и корреляции. Неравенство Маркова. Неравенство Чебышёва. Неравенство Йенсена: интуитивный смысл.

2024-10-14, лекция 7: Доказательство неравенства Йенсена. Энтропия как минимальное ожидаемое число вопросов для отгадывания и формальное определение. Кросс-энтропия.
Доказательство того, что кросс-энтропия больше либо равна энтропии. Совместная энтропия. Условная энтропия. Формула H(X) + H(Y|X) = H(X, Y) без доказательства.
Вывод плотности экспоненциального распределения из предпосылки отсутствия памяти. Экспоненциальное распределение максимизирует энтропию при заданном ожидании и неотрицательности.

* Cristopher Olah, Visual Information Theory, https://colah.github.io/posts/2015-09-Visual-Information/

* Grand Sanderson, Solving Wordle using information theory, [https://www.youtube.com/watch?v=v68zYyaEmEA youtube].

* Artem Kirsanov, Key equation behind probability, [https://www.youtube.com/watch?v=KHVR587oW8I youtube]. У Артёма кросс-энтропия обозначена H(P, Q), а не CE(P||Q)).

* [https://exuberant-arthropod-be8.notion.site/1-02-09-5e107ea1c4054594b8f37d955db8a2b0 Конспект] аналогичной старой лекции псмо на русском.

* Keith Conrad, [https://kconrad.math.uconn.edu/blurbs/analysis/entropypost.pdf Maximal entropy] distributions.

2024-10-21, лекция 8: Ковариационная матрица и её свойства. Совместная функция плотности. Условная функция плотности. Критерий независимости в терминах функций плотности и распределения.
Связь индивидуальной и совместной функций плотности и функций распределения. Смена плотности при замене переменных: домножение на якобиан и неформально про дифференциальные формы. Формула свёртки.
Разложение совместной плотности для графической модели. Представление произвольной совместной функции распределения с помощью копулы.

* Про дифференциальные формы: [https://www.youtube.com/watch?v=PaWj0WxUxGg&list=PL22w63XsKjqzQZtDZO_9s2HEMRJnaOTX7 videos] by Michael Penn, [https://www.math.purdue.edu/~arapura/preprints/diffforms.pdf short intro] by Dony Arapura

* What is a convolution от [https://www.youtube.com/watch?v=KuXjwB4LzSA 3b1b]

* From graphical models to [https://www.youtube.com/watch?v=yBc01ZeaFxw&list=PLISXH-iEM4JlFsAp7trKCWyxeO3M70QyJ Probabilistic ML]

2024-11-11, лекция 9: Пуассоновский поток: аксиомы. Вывод пуассоновского распределения количества событий и экспоненциального времени между событиями из аксиом.
Сумма независимых пуассоновских потоков — это пуассоновский поток (половина доказательства). Вероятность того, что одна экспоненциальная величина будет меньше другой, независимой.

2024-11-18, лекция 10: Гамма-распределение как сумма нескольких экспоненциальных: вывод плотности через вероятность попадания в малый отрезок.
Обобщение плотности на случай положительного параметра $a$. Гамма-функция. Бета-распределение как отношение гамма-распределений. Бета-функция.

2024-11-25, лекция 11: Вывод нормального распределения из предпосылок Гаусса. Вывод нормального распределения из предпосылок Гершеля — Максвелла.

* Saul Stahl, The [https://www.researchgate.net/publication/255668423_The_Evolution_of_the_Normal_Distribution Evolution] of the Normal Distribution: вывод Гаусса с историей.

* Grand Sanderson, [https://www.youtube.com/watch?v=cy8r7WSuT1I Why pi] is in the normal? вывод Гершеля—Максвелла

* James Stein, [http://www-biba.inrialpes.fr/Jaynes/cc07s.pdf Normal Distribution]: глава про нормальное распределение (Гаусс, Гершель—Максвелл, Лэндон etc)

* William Herschel, [https://music.yandex.com/album/209394/track/2121214 концерт для габоя]

* William Herschel, [https://www.informationphilosopher.com/solutions/scientists/quetelet/Herschel_Quetelet_Probabilities.pdf On the theory of Probabilities]: вывод нормального распределения словами на стр. 189-191

2024-12-02, лекция 12: многомерное нормальное распределение. Функция плотности невырожденного многомерного нормального. Функция производящая моменты для многомерного нормального. Формула Иссерлиса с ненулевыми ожиданиями и доказательством. Условное распределение: вывод условного ожидания и условной дисперсии через разложение величины в сумму независимых.

* [https://stats.stackexchange.com/questions/30588/ альтернативный вывод] условного многомерного нормального распределения
* Хитрый [https://github.com/bdemeshev/lis-isserlis/raw/main/lis-isserlis.pdf лис Иссерлис]

2024-12-09, лекция 13: сходимость по распределению, центральная предельная теорема с доказательством подменой слагаемых.

* Calvin Chin [https://arxiv.org/pdf/2106.00871 CLT proof] by swapping
* [https://bdemeshev.github.io/teaching_notes/clt_by_swapping Пересказ доказательства]

2024-12-16, лекция 14: использование бесконечно малых при нахождении ожиданий, трюк с добавление параметра, трюк с закольцовыванием отрезка при равномерном распределении.

* [https://dspace.mit.edu/bitstream/handle/1721.1/91482/1-203j-fall-2004/contents/lecture-notes/class5crofton.pdf Crofton's method]

2025-01-13, лекция 15: Неединственность предела по распределению. Неаддитивность предела по распределению. Предел по вероятности. Закон больших чисел в слабой форме (с доказательством при дополнительной предпосылке о конечности дисперсии). Теорема о непрерывном отображении.

2025-01-20, лекция 16: два определение сходимости почти наверное с доказательством эквивалентности. Сходимость в Lp. Из сходимости в Lp при p>=1 следует сходимость по вероятности. Из сходимости почти наверное следует сходимость по вероятностям. Контр-пример к разнице сходимостей почти наверное и по вероятности. Контр-пример к разнице сходимостей в Lp и по вероятности. Усиленный закон больших чисел (без доказательства). Леммы Слуцкого (без доказательства).

2025-01-27, лекция 17: характеристические функции и их свойства. Вывод характеристической функции нормального стандартного распределения через дифференциальное уравнение. Характеристическая функция биномиального распредеделения. Второе доказательство ЦПТ (через характеристические функции).

* [https://web.ma.utexas.edu/users/gordanz/notes/characteristic.pdf Gordan Zitkovic]: characteristic functions
* [https://sas.uwaterloo.ca/~dlmcleis/s901/chapt6.pdf McLeish]: clt proof

2025-02-03, лекция 18: пример последовательности сходящийся по вероятности с ожиданием стремящимся к бесконечности. Критерий Кэлли. Критерий оптимальной остановки Брасса.

* [https://en.wikipedia.org/wiki/Kelly_criterion wikipedia]: Kelly criterion
* [https://projecteuclid.org/journalArticle/Download?urlId=10.1214%2Faop%2F1019160340 Bruss]: sum the odds to one and stop

2025-02-10 лекция 19: Сигма-алгебра порождённая случайной величиной или набором из нескольких случайных величин. Замкнутость относительно счётного количества операций с множествами. Сигма-алгебра. Объединение сигма-алгебр не всегда сигма-алгебра. Пересечение сигма-алгебр всегда сигма-алгебра. Измеримость суммы. Борелевская сигма-алгебра.

2025-02-18, лекция 20: [https://us06web.zoom.us/j/82685613040?pwd=bqJoXGItwNOOWddXj1flfmPmDn6fMQ.1 онлайн, 18:10]: разбор задач про сигма-алгебры для подготовки к контрольной. Условное математическое ожидание относительно сигма-алгебры: интуиция и формальное определение. Пример подсчёта в дискретном случае.

2025-02-24, лекция 21: Условное ожидание и дисперсия относительно сигма-алгебры со свойствами. Условная вероятность.

2025-03-03, лекция 22: Определение фильтрации. Определение момента остановки. Сигма-алгебра на момент остановки. Определение мартингала.
Формулировка теоремы [https://en.wikipedia.org/wiki/Optional_stopping_theorem Дуба об остановке мартингала]. Задача о макаке, печатающей слово "абракадабра".

* [https://math.uchicago.edu/~may/VIGRE/VIGRE2011/REUPapers/Ai.pdf Martingales and ABRACADABRA]

2025-03-10, лекция 23: Два контр-примера к теореме дуба. Доказали теоремы Дуба для случая ограниченного момента времени. Тождество Вальда: формулировка и доказательство. Определение броуновского движения с явным упоминанием фильтрации и без. Ковариационная функция Cov(Ws, Wt).

2025-03-17, лекция 24: Преобразования винеровского процесса: масштабирование и инверсия. Закон распределения накопленного максимума. Закон распределения момента достижения заданного значения.

2025-03-24, лекция 25:

=== Семинары ===

==== 473 = 235 + 238 ====

2024-09-02, 06, семинар 1: задачи 1.1, 1.6, 3.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-09, 13, семинар 2: задачи 2.1, 2.3, 12.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-16, 20, семинар 3: задачи 7.12 и 7.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-23, 27, семинар 4: как извлечь P(X=3), E(X), E(X^2Y) из функции, производящей список исходов, 28.16 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-30, -10-04, семинар 5: 9.3в, 9.4, 9.7(абвд, кроме дисперсии, аргументы масштабирования и центра масс помимо интегралов), 9.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-10-07, 11, семинар 6: вычисление Cov, Var, Corr по табличке и из функции плотности, нахождение дисперсии для отрицательного биномиального распределения по свойствам.

2024-10-14, 18, семинар 7: вычисление энтропии геометрического распределения. Изменение энтропии при линейном преобразовании для дискретной величины и величины с функцией плотности.
Кросс-энтропия из экспоненциального в равномерное. Условная энтропия для дискретной таблички. Связь энтропии величины с функцией плотности и энтропия дискретной версии этой случайной величины после "огрубления" с малым шагом 1/k.

2024-10-21, -11-01, семинар 8: 16.18, 16.23 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], свёртка двух экспоненциальных величин

2024-11-11, 15, семинар 9: задачи на пуассоновский поток из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-11-18, 22, семинар 10: задачи на бета и гамма-распределение

2024-11-25, 29, семинар 11: задачи на нормальное распределение, 18.1, 18.2, 18.3, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-02, 06, семинар 12: задачи на многомерное нормальное: 24.16аб, 24.17аб, 24.18, 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-09, 13, семинар 13: ЦПТ и нормальное распределение: 20.2, 20.4, 18.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-19, семинар 14: разбор демо

2025-01-13, семинар 15: сходимость по вероятности: 20.1, 20.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-20, 24, семинар 16: связь между сходимостями, 20.11, 20.13 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-27, 31, семинар 17: 28.17, 28.18, 28.21 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-03, 07, семинар 18: 28.20аб, 28.22 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-10, 14, семинар 19: 6.2, 6.3, 6.11, измеримость произведения из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-18, 21, семинар 20: разбор демо

2025-02-24, 28, семинар 21: Условное математическое ожидание и условная дисперсия относительно сигма-алгебры в дискретном случае.
[https://github.com/bdemeshev/stochastic_pro/raw/main/stochastic_pro.pdf StoPro]: 8.22-8.25

2025-03-03, 10, семинар 22: доказали, что сигма алгебра, порождённая моментом остановки, лежит внутри сигма-алгебры событий на момент остановки.
Вероятность достижения границы -а раньше границы +b и среднее время достижения одной из этих границ для классического случайного блуждания.
Преобразование несимметричного случайного блуждание St в мартингал с помощью exp(alpha St).
[https://github.com/bdemeshev/stochastic_pro/raw/main/stochastic_pro.pdf StoPro]: 9.1, 9.3

2025-03-10, 14, семинар 23: решение двух классических задач с помощью мартингалов: [https://en.m.wikipedia.org/wiki/Bertrand%27s_ballot_theorem задача о голосовании], [https://math.dartmouth.edu/~pw/papers/gpdp.ps "следующая карта — красная"].

2025-03-17, 21, семинар 24: нахождение ожиданий и вероятностей E(W5W6 | W4), P(W1 > 0, W2 < 0); проверка мартингальности (Wt), (Wt^2 - t), (exp(aWt - a^2t/2)).

==== 236 ====

2024-09-06, семинар 1: в начале семинара рассмотрели основные понятия и определения для решения задач. Решили задачи 1.1, 1.6, 3.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-13, семинар 2: нашли ожидание случайной величины с геом. распределением. Решили задачи 2.1, 12.6, 12.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-09-20, семинар 3: решили задачи 7.12, 7.4(а), 7.7, 7.13(а) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-09-27, семинар 4: разобрали 7.13, почти разобрали 28.3 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Также рассмотрели один контрпример на независимость(тетраэдр Бернштейна).

2024-10-04, семинар 5: разобрались с определениями, решили 9.3(абв), 9.7(аб) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Решили задачку про три точки на отрезке и найти вероятность получить треугольник. Также вывели формулу для мат. ожидания неотрицательной величины через функцию распределения.

2024-10-14, семинар 6: обсудили дисперсию, ковариацию, коэффициент корреляции и их геометрический смысл. Решили задачу на оценку дисперсии ограниченной величины. посчитали дисперсию геометрического, биномиального. Посчитали дисперсию в задаче о письмах и конвертах.

???, семинар 7: определили энтропию, посчитали примеры для дискретных величин, для линейных преобразований. Доказали, что задача максимизации энтропии с фиксированной дисперсией достигается на нормальном распределении.

???, семинар 8: свертка двух экспоненциальных, 16.18 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

???, семинар 9: задачи на пуассоновский процесс из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

???, семинар 10: разбор кр.

???, семинар 11: разобрали задачи на нормальное распределение 18.1, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Также считали распределение суммы двух независимых нормальных.

==== 237 ====

2024-09-09, семинар 1: задачи 1.1, 2.2 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], вероятность что n ладей не бьют друг друга при случайной расстановке на шахматной доске n на n, матожидание числа треугольников в случайном графе на n вершинах через сумму индикаторов

2024-09-13, семинар 2: задачи 2.1, 2.6, 12.3, 12.6, 12.7 (без дисперсий) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-23, семинар 3: задачи 7.2, 7.13, 7.7, 7.8, плюс начали 7.15b (получили неверный ответ) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-27, семинар 4: дорешали 7.15b с небольшой демонстрацией на питоне, разобрали 28.2 для нечестной монетки плюс посчитали матожидание [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-10-04, семинар 5: задачи 9.1, 9.3абв, 9.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], философия про то почему бОльшая плотность не всегда означает бОльшую вероятность оказаться в окрестности данной точки (плотность может занимать слишком маленький объем)

2024-10-11, семинар 6: вспомнили определения Cov/Var/Corr, посчитали у пары дискретных величин по табличке вероятностей, посчитали дисперсию у биномиального, геометрического, непрерывного равномерного на отрезке.

2024-10-18, семинар 7: вычисление энтропии геометрического распределения; ограниченность энтропии снизу и сверху в дискретном случае; изменение энтропии при линейном преобразовании для дискретной величины и величины с функцией плотности; условная энтропия, KL дивергенция и кросс-энтропия, неотрицательность KL, интерпретация на пальцах с точки зрения теории информации.

2024-11-01, семинар 8: 16.18, 16.23 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], свёртка двух экспоненциальных величин

2024-11-08, семинар 9: решали пробный вариант КР

2024-11-15, семинар 10: 13.1, 13.2, 13.5, 13.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-11-22, семинар 11: разбор КР

2024-11-29, семинар 12: нормальное распределение, 18.1, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-06, семинар 13: многомерное нормальное распределение, изменение среднего и матрицы ковариаций при линейном преобразовании, 24.4а, 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-13, семинар 14: 24.4в из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], сходимости случайных величин, ЗБЧ и ЦПТ, 20.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-21, семинар 15: наследование сходимости, 20.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], плюс доказали предельную теорему Пуассона

2025-01-28, семинар 16: связь между сходимостями, 20.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], лемма Слуцкого, подмена дисперсии на выборочную дисперсию в ЦПТ

2025-02-04, семинар 17: базовые свойства хар функций, хар функция суммы независимых величин, 28.17, 28.20 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-18, семинар 18: вероятностное пространство в общем случае, сигма-алгебры, борелевская сигма-алгебра, сигма-алгебра порожденная случайной величиной, измеримость случайной величины относительно сигма-алгебры, 6.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], задачи на сигма алгебры из пробника КР

2025-02-25, семинар 19: условное матожидание относительно сигма алгебры, условное матожидание и дисперсия относительно случайной величины, закон полного матожидания и закон полной дисперсии, 22.1, 22.3, 22.5абв из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-03-04, семинар 20: показали, что условное матожидание минимизирует среднеквадратичный риск; нашли условное матожидание и условную дисперсию в 22.6 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], нашли E[X | X^2] для симметричного равномерного распределения, нашли E[X_1 | X_1 + ... + X_n] для набора i.i.d. величин, нашли E[Y] и Var(Y) для Y|X имеющего экспоненциальное распределение с параметром X

2025-03-11, семинар 21: мартингалы, момент остановки, теорема Дуба об остановке, задача о разорении игрока для честного и нечестного казино, вероятность выигрыша и вероятность разорения

2025-03-11, семинар 22: матожидание времени до момента остановки в задаче о разорении игрока, теорема Бертрана о выборах

==== 239 ====

2024-09-03, семинар 1: задачи 1.1, 1.4, пытались 1.8 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Ещё успели посчитать вероятность N=k бросков монеты до выпадения первого орла, матожидание N. И ещё сделали то же для количества бросков до выпадения 3 орлов (не в серии).

2024-09-10, семинар 2: доказали формулу включения-исключения, решили несложную задачу, порешали 2.7 задачи типа 12.*

2024-09-17, семинар 3: Решили две прямых задачи на формулу Байеса и формулу полной вероятности (без большого количества вычислений). Решили задачу поиска вероятности неисправного кофе-автомата из 3 при условии, что бросили деньги в 1 и 2 и их зажевало. Ещё нашли вероятность, что мяч будет у игрока 3 после шага 10 (все садятся в круг и на каждом шаге бросают мяч соседу с вероятностью 0.3 и оставляют у себя с вероятностью 0.4).

2024-09-24, семинар 4: Вспомнили про метод первого шага, используя формулу полной вероятности и введя в некотором виде формулу полного матожидания, записали формулу для вероятностей нахождения в состоянии i через произведение переходной матрицы на вектор. Совсем немного начали производящие функции, но решили не считать 31ю производную многочлена.

2024-10-01, семинар 5: Исследуем дискретные случайные величины (Биномиальная, Геометрическая и разные похожие) с использованием техник вычислений моментов через производящую функцию. Задачи на распределения величин, посчитанных по набору величин. Первая большая задача про плотность.

2024-10-08, семинар 6: разминочная про плотность и функцию распределения. Считаем дисперсию, ковариацию и корреляцию по 2x2 таблице и в равномерном распределении на круге и квадрате [-1,1]х[-1,1].

2024-10-15, семинар 7: пара задач про экспоненциальное распределение, расчёты по теории информации(считаем всякое, чтобы привыкнуть).

2024-10-22, семинар 8: письменные источники не сохранились до наших дней. Согласно преданиям, оьсуждали двери и около контрольной. Говорят, ввели пуассоновский процесс.

2024-???, семинар 9: решаем задачи на пуассоновское в разных формах и обсуждаем омалые в порядковых статистиках.

2024-???, семинар 10: учимся интерпретироввть гауссовское, пользоваться таблицами для функции Лапласа, а также немного работать с многомерным гауссовским.

2024-3-12, семинар 11: Копаем во все стороны многомерное гауссовское: считаем вероятности для линейных комбинаций гауссовских, проверяем зависимость, вычисляем условные законы, матожидания и ковариационные матрицы, вспоминаем спектральное разложение и разложение Холецкого.

==== 2311 ====

2024-09-06, семинар 1: вероятностное пространство, вероятность на нем, вероятность события, случайная величина и ее распределение (индикатор события, сумма двух кубиков, число бросаний монетки до первого орла), матожидание случайной величины (индикатор, один кубик, два кубика), линейность матожидания. Задачи на линейность матожидания, в том числе ЕГЭшная задача про турнир, 1.5, 3.5 с допвопросом о матожидании числа совпадений. Разговор о получении события произвольной вероятности монеткой в контексте 1.8

2024-09-13, семинар 2: Повторили матожидание суммы на примере 12.3. Обсудили условную вероятность и формулу полной вероятности, условное матожидание, решили задачи на метод первого шага 2.1, 2.3, 2.7.

2024-09-20, семинар 3: Условная вероятность, формула полной вероятности, формула Байеса: 7.1, классическая задача про болезни и тесты, простейшие задачки на общее понимание, обсуждение двух подходов: вычисления условной вероятности по формуле и составления нового вероятностного пространства и подсчет вероятности в нем. Независимые события (события "пики" и "дама" в обычной колоде и колоде с джокерами), независимые в совокупности события, построили пример попарно независимых, но не независимых в совокупности. Обсудили биномиальное распределение. решили задачу: "в корабле к отсеков, чтобы корабль затонул, нужно поразить 2. Независимо выпускают n ракет, каждая из которых поражает случайный отсек с вероятностью p. Найти вероятность потопления корабля"

2024-09-20, семинар 4: Примеры одинаково распределенных зависимых СВ, независимые СВ. Производящая функция и ее свойства. Посчитали для биномиального производящую функцию и второй момент. Обсудили, что будет меняться в случае функции, производящей моменты. Обсудили функцию, производящую множество исходов, как из нее доставать уже известные функции, как ее искать на примере бросания монетки до выпадания HT

2024-10-11, семинар 5: Составили табличку стандартных дискретных распределений, посчитали матожидание геометрического, обсудили дисперсию и ковариацию и их свойства (в дискретном случае), досчитали дисперсии основных распределений. Обсудили вероятностное пространство в общем случае, понятие СВ в общем случае. Дали определение ФР, посчитали ФР для явно заданной СВ. Дали определение плотности.

2024-10-12, семинар 6: Обсудили свойства ФР, как считать вероятность попадания в промежуток в терминах ФР. Выразили ФР 1/X, cos X. Обсудили как выражается веротяность попадания в множество через плотность. для 1/Х выразили плотность в случае абсолютной непрерывности Х. Обсудили формулу для МО в общем виде через интеграл Стильтьеса и как вычислять МО для функции, разлагающейся в сумму абсолютно нерпрерывной и функции скачков, посчитали МО для пары таких СВ

2024-10-18, семинар 7: Обсудили геометрию, заданную скалярным произведением EXY и cov(X,Y), поиск ортогонального элемента и проекции. Посчитали энтропию и кросс-энтропию в дискретном и непрерывном случаях, посчиали совместную и условную энтропию в дискретном случае (23.2, 23.4, 23.9)

2024-11-01, семинар 9: Совместная плотность и ф.р., подсчет вероятностей, маргинальные плотности, замена переменной через якобиан, свертка, матожидание

2024-11-09, семинар 10: Условная плотность, формула условной вероятности. Задача на восстановление маргинальной плотности по условной. Разбор задач из "Летучей мыши"

2024-11-19, семинар 11: Разбор контрольной работы

2024-11-22, семинар 12: Пуассоновский поток - решали задачки из задачника

2024-11-29, семинар 13: Нормальное распределение - задачи из PP, повторили функцию, порождающую моменты, обсудили ее свойства в абсолютно непрерывном случае

2024-12-06, семинар 14: Многомерное нормальное - обсудили два определения, связь между ними, независимость элементов нормального вектора при нулевой ковариации и почему это неверно для произвольных нормальных. порешали задачи 24.9а, 24.10, 24.17

2024-12-013, семинар 15: ЦПТ, решали задачи из задачника

2025-01-17, семинар 16: Сходимости почти наверное и по вероятности, связь со сходимостью по распределению. Посмотрели стандартные контрпримеры, показали, что если есть сходимость по распределению к константе, то есть и по вероятности. ЗБЧ Чебышева и Хинчина, УЗБЧ Колмогорова, обсудили 20.1 сколько успели.

2025-01-24, семинар 17: Сходимость в L_p, связи между сходимостями. Задача 20.11

2025-01-24, семинар 18: Характеристические функции и их свойства. Посчитали хар функции для равномерного, Бернулли, биномиального, Пуассона, экспоненциального. Показали, чо сумма нормальных нормальна. По функции пытались понять, может ли она быть характеристической и восстанавливали с.в.

==== 2310, 2312 ====

2024-09-06, семинар 1: задача 1.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Определили вероятностное пространство в виде тройки, множество исходов рассматривали конечное и счётное. Решили 3 счётные задачи на комбинаторику про колоды карт и счетные последовательности цифр. Привели геометрическое и аналитическое решения задачи про нахождение предела последовательности вероятностей. В конце нашли математическое ожидание геометрически распределённой случайной величины.

2024-09-13, семинар 2: задача 2.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Задача на упорядоченные и неупорядоченные наборы. Задача про классическое вероятностное пространство и про пространство с неравновероятными исходами. Разобрали парадокс Монти Холла. Ввели понятия условной вероятности и независимых случайных величин. Сформулировали и обсудили идеи доказательств трёх теорем: теорема умножения вероятностей, формула полной вероятности и формула Байеса.

2024-09-20, семинар 3: Решили задачу на определение условной вероятности. Обсудили парадокс теоремы Байеса на примере задачи про редкое заболевание, а также посмотрели простую программу на Python, которая считает вероятность в зависимости от количества проведенных тестов на заболевание. Обсудили условное математическое ожидание, некоторые его свойства и рассмотрели пример с подбрасыванием кубика. В конце решили задачу на парадокс дней рождений.

2024-09-27, семинар 4: Обсудили коллизии хеш-функций и связь с атакой "дней рождений". Определили независимость или зависимость случайных величин в четырёх разных вариантах. Обсудили, что неверно утверждать, что матожидание частного независимых случайных величин равно частному матожиданий, также привели пример использования подобного факта в некоторых статьях. В конце решили задачу на поиск функции производящей исходы, а также нашли E(X), E(Y^2), E(XY) с помощью найденной функции.

2024-10-04, семинар 5: Решили две простые задачи на условную вероятность и на теорему об умножении вероятностей. Обсудили связь дерева событий с условной вероятностью и теоремой об умножении вероятностей. Нашли производящую функцию моментов для геометрически распределенной случайной величины и с помощью нее нашли матожидание. Нашли производящую функцию моментов и матожидание суммы случайного количества н.о.р случайных величин.

2024-10-11, семинар 6: Привели аналогии между дискретными и непрерывными случайными величинами. Нарисовали графики функций от случайных величин. Вспомнили определение и свойства дисперсии. Решили простую задачу на подсчет дисперсии и нашли дисперсию геометрически распределенной случайной величины. Обсудили, когда может быть матожидание и дисперсия бесконечны. Далее вспомнили неравенства Маркова и Чебышева, вывели следствия и решили 3 задачи на применение этих неравенств. Обсудили, что неравенство Маркова может давать как точную оценку, так и очень слабую. Показали, что неотрицательность случайной величины в неравенстве Маркова является существенным условием.

2024-10-11, семинар 7: Повторили понятия энтропии в битах и натах, а также понятие дифференциальной энтропии. Нашли энтропию в схеме Бернулли и энтропии геометрического и экспоненциального распределений. Доказали простую оценку сверху для энтропии случайной величины, имеющей конечный носитель мощности n.

2024-11-1, семинар 8: Разобрали демо-вариант контрольной работы "Тыква".

2024-11-8, семинар 9: Разобрали демо-вариант контрольной работы "Летучая мышь".

2024-11-15, семинар 10: Понятие случайного процесса. Определение пуассоновского процесса, его свойства. Три простые задачи на пуассоновское распределение. Задачи 13.1 и 13.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-11-22, семинар 11: Определения Бета-функции и Гамма-функции. Бета и Гамма распределения, их функции плотности и графики. Нахождение моды случайных величин, имеющих Бета и Гамма распределения. Связь пуассоновского процесса с Гамма распределением. В конце нашли производящую функцию моментов Гамма распределения.

2024-11-29, семинар 12: Задачи 18.1, 18.2 и 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-12-06, семинар 13: Нашли многомерное нормальное распределение по виду функции плотности (константа на экспоненту с квадратичным показателем). С помощью формулы Иссерлиса нашли матожидания произведений различных или одинаковых случайных величин, имеющих многомерное нормальное распределение. Нашли условную вероятность многомерного распределения. Задача 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-12-13, семинар 14: Повторили определение сходимости по распределению и центральную предельную теорему. Решили задачи 20.2 и 20.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

== Источники ==

Источники мудрости, которые я постарался не замутить :)

[https://arxiv.org/pdf/1411.5279 WTSK]: Tim Hesterberg, What Teachers Should Know About the Bootstrap: вкусное и доступное изложение бутстрэпа и перестановочных тестов.

[https://projects.iq.harvard.edu/stat110/home BItP]: Blitzstein, Hwang, Introduction to Probability: учебник, записи лекций, гарвардский курс.

Теория вероятностей 2024/25 (основной поток)

2025-03-27T23:07:31Z

Bdemeshev:

= Преподаватели и учебные ассистенты =

{| class="wikitable" style="text-align:center"
|-
! Группа !! БПМИ235 !! БПМИ236 !! БПМИ237 !! БПМИ238 !! БПМИ239 !! БПМИ2310 !! БПМИ2311 !! БПМИ2312
|-
|| Лектор ||colspan="11"| [https://t.me/boris_demeshev Борис Демешев]
|-
|| Семинарист || [https://t.me/boris_demeshev Борис Демешев] || [https://t.me/levensons Илья Левин] || [https://t.me/madn_boi Никита Морозов] || [https://t.me/boris_demeshev Борис Демешев] || [https://t.me/XuMuK_MK Максим Каледин] || [https://t.me/goluba_yurieva Голуба Юрьева] || [https://t.me/Moskchan Вероника Владыкина] || [https://t.me/goluba_yurieva Голуба Юрьева]
|-
|| Ассистент || [https://t.me/nerhneiro Ира Скворцова] || [https://t.me/a_ameli_ig Амелия Алаева] || [https://t.me/htual Алина Бадахова] || [https://t.me/adelyagaraeva Аделя Гараева] || [https://t.me/mabrielka Мария Брель] || [https://t.me/zm_ann Анна Зыкова-Мызина] || [https://t.me/Yanlightv Яна Вежновец] || [https://t.me/nol_erk Кирилл Лавриненко]
|-
|| Ассистент курса ||colspan="11"| [https://t.me/Nick_Volya Никита Волянский]
|}

== Цели и задачи курса ==

侍には目標がなく道しかない [Samurai niwa mokuhyō ga naku michi shikanai]

У самурая нет цели и ничего кроме пути.

Вероятный план:
<div class="mw-collapsible mw-collapsed" style="width:1000px; overflow: hidden;">
1. Дискретное вероятностное пространство. Вероятность, математическое ожидание, теоретическая медиана.
Перестановочные тесты, p-значение для перестановочного теста.
Математическое ожидание = центр масс.

NB: здесь сходу рисуем дерево
NB: здесь нет задач на условную вероятность

!предупреждение об обозначениях случайных величин.
Российская традиция — греческие буквы, американская традиция — заглавные английские буквы.
Наш курс: любые буквы. Причина: теория вероятностей применяется в разных областях, где свои традиции.

NB: Способы вычисления вероятностей и ожиданий:
* полный перебор руками
* примерные вычисления руками
* полный перебор на компьютере
* симуляции на компьютере
* ...

2.
Методы решения задач:
* разложение величины в сумму
* метод первого шага
!идея: позиция в игре имеет цену
* just for fun: метод рычага в геометрии через ожидание
NB: рассказать здесь про комплексную случайную величину
NB: по сути здесь мы уже решаем задачи на марковские цепи не говоря страшных определений
LOTUS.

3. Условная вероятность и условное ожидание.
!идея: зануляем вероятности невозможных событий, а остальные — масштабируем.
формула полной вероятности
!идея: дерево "помнит" формулу полной вероятности
формула Байеса

Независимые события.
Независимые случайные величины.

4.
Методы решения задач:
* производящие функции многих переменных
функция как способ записать множество
HTT vs TTH
ABRACADABRA
!разложение по биномиальной формуле

?: можно здесь успеть функцию производящую моменты

5.
Биномиальное распределение.
Геометрическое и гипергеометрическое распределения.
Отрицательное биномиальное распределение.

6.
Равномерное распределение на множестве в R^n
Функция распределения.
Функция плотности и вероятностная дифференциальная форма.
!пояснение про неудачную традиционную терминологию "непрерывная случайная величина"
величина с функцией плотности, величина с непрерывной функцией распределения.

Квантили, квантильная функция.

7. Характеристики случайных величин и неравенства.
Дисперсия.
Энтропия.
Неравенство Маркова.
Неравенство Чебышёва.
Неравенство Йенсена.

Здесь конец модуля 1 и КР-1!

8. Пуассоновский поток.
Аксиомы пуассоновского потока.
Вывод экспоненциального распределения и пуассоновского распределения из аксиом.
Вывод экспоненциального распределения из предпосылки об отсутсвии памяти.

9. Нормальное распределение.
Нормальное распределение: предпосылки Хершела-Максвелла.
Нормальное распределение: аргументация Гаусса за среднее арифметическое.
Нормальное распределение: предпосылки Лэндона (до уравнения в частных производных).

10. Классические непрерывные распределения.

Гамма-распределение, бета-распределение.
Вывод нормального и экспоненциального распредений как минимизации энтропии.

11. Парные характеристики случайных величин.
Наилучшая линейная аппроксимация.
Ковариация.
Корреляция.
Кросс-энтропия.

Доказательство E(XY) = E(X) E(Y) для дискретных.
Ковариационная матрица и ожидание для случайных векторов.

12. Совместная и условная функция плостности.
Преобразования случайных величин.

13. Функция производящая моменты и характеристическая функция.
Распределение суммы случайного количества случайных величин.
Случайный выбор слагаемых.

14. Финансовые приложения

Оценивание опционов на биномиальном дереве.
Максимизация долгосрочной прибыли, связь с энтропией.
Возможно, индексы Гиттинса.

Здесь конец модуля 2 и КР-2

15. Сигма-алгебры.

Список известных величин как способ описания информации.
Идея условного ожидания как оптимального прогноза.
Сигма-алгебра как способ описания информации.
Измеримость случайной величины относительно сигма-алгебры.
Сигма-алгебра как ОДЗ для вероятности.
Борелевская сигма-алгебра.
Независимые случайные величины второе определение.

16. Условное математическое ожидание.
Условная дисперсия.
Сумма случайного количества случайных величин.

17. Сходимости случайных величин.

Сходимость по вероятности.
Закон больших чисел.
Сходимость почти наверное.
Усилинный закон больших чисел.
Сходимость по распределению.

18. Связь сходимостей.
Лемма Слуцкого.

19. Центральная предельная теорема.
Доказательство через подмену слагаемых.
Доказательство через характеристические функции.

Здесь контрольная.

20. Винеровский процесс
Условные ожидания, инверсия.

21. Байесовский подход к оцениванию параметров

Балансовое уравнение. Идея MCMC.

22. Доказательства свойств меры

23. Алгоритм построения математического ожидания в общем случае.
Лемма Фату.
Теорема о мажорируемой сходимости.
Теорема о монотонной сходимости.

24. Резерв.

Жемчужинки, которые, вероятно, не успеем:

А. Методы решения задач:
подсчёт случаев с помощью леммы Бернсайда и теоремы Пойа о перечислении
(Burnside lemma, PET = Polya Enumeration Theorem)

B. вероятностные доказательства детерминистических теорем

</div>

== Оценивание ==

Оценка за семестр-1 = 0.2 Домашние задания семестра-1 + 0.4 Контрольная-Альфа + 0.4 Экзамен-Бета.

Финальная оценка за курс = 0.5 Оценка за семестр-1 + 0.1 Домашние задания семестра-2 + 0.2 Контрольная-Гамма + 0.2 Экзамен-Дельта.

Каждая оценка (суммарные итоги за домашние задания, контрольные, экзамены) — целое число от 0 до 100.
Для перевода в 10-балльную шкалу промежуточной оценки за семестр-1 и финальной оценки используется деление на 10
с арифметическим округлением. Например, если Максим получил "оценку за семестр-1" 65 баллов, то в ведомость за первый семестр идёт 7, а далее в формуле финальной оценки за курс используется 65.

=== Домашние задания для самураев ===

Домашние задания [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/home_assignments/home_assignments.pdf одним файлом] и [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/blob/main/home_assignments/ отдельными файлами].
Домашние задания имеют равный вес.
В конце каждой лекции (за исключением ближайших к экзамену лекций)
выдается домашнее задание сроком на две недели.
Дедлайн жёсткий, однако студент имеет право просрочить три домашних задания на неделю каждое без штрафа.

Формат сдачи ДЗ: один pdf-файл (решение текстовых задач) и один ipynb-файл (решение компьютерных задач).
В pdf-файл можно поместить аккуратно написанное отсканированное решение, а можно скомпилировать pdf из теха или маркдауна.
Ещё можно вместо pdf-файла написать всё в ipynb.
Бонусов за сдачу домашки в техе нет. Пример [https://www.overleaf.com/read/qmrkwpzvmqbk шаблона].

Обратите внимание: '''время каждого дедлайна — 23:59'''.

=== Ведомость с оценками за ДЗ ===

{| class="wikitable" style="text-align:center"
|-
! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1872081500#gid=1872081500 235] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1374497930#gid=1374497930 236] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1183164252#gid=1183164252 237] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=408179311#gid=408179311 238] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1032422408#gid=1032422408 239] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1603236891#gid=1603236891 2310] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=791330236#gid=791330236 2311] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=23847300#gid=23847300 2312]
|}

[https://docs.google.com/spreadsheets/d/14hD7-SLmAA1omdkhPlt3blRHDHVGTDS8ZgvLWscvMz8/edit?usp=sharing Сводная ведомость всех оценок]

=== Контрольные работы и экзамен ===

Вес каждой задачи будет написан в тексте работы.
Задачи с ненаписанным по случайности весом имеют равный вес.
Для пропущенных по уважительной причине контрольных будет выделен один день для переписывания.
При пропуске дня переписывания, в том числе по уважительным причинам, ещё одного шанса не предоставляется.

<div class="mw-collapsible mw-collapsed" style="width:1000px; overflow: hidden;">

'''Контрольная работа 1''' состоится 2024-11-11 в 16:20, аудитории: R401, R305, R206, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_halloween_demo/exam_halloween_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/midterm/midterm-alpha.pdf условие с критериями и решениями].

'''Резервный день 1''' для пропустивших по уважительной причине состоится 2024-12-02 в 19:40, R405

'''Показ контрольной 1''':

* задачи 1, 2: заочно до 2024-12-08, [https://t.me/Moskchan Вероника]
* задачи 3, 4 [https://t.me/boris_demeshev Борис], очно, четверг, 2024-12-05, 18:10-21:00, G408
* задачи 5, 6 [https://t.me/XuMuK_MK Максим]: очно, четверг, 2024-12-05, 18:10-21:00, G408

'''Экзамен, модуль 2''' состоится '''''2024-12-24 в 10:00''''', аудитории R301, R304, R401, R404, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_winter_demo/exam_winter_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/december/pmi_probab_2024_december.pdf условие].

Если вы не хотите идти на экзамен, то заполните [https://forms.gle/UQzW77RrPvcdahG47 эту форму], чтобы получить ноль при неявке

'''Апелляция экзамена''':

* задачи 1, 2: заочно [https://t.me/goluba_yurieva Голуба], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/december/exam_problem_1-2.pdf решения и критерии 1, 2];
* задачи 3, 4: очно 2025-01-11, аудитория R408, 14:40-17:40 [https://t.me/madn_boi Никита], [https://www.overleaf.com/read/dnhjcdrndqps#42f1ab решения и критерии 3, 4];
* задачи 5, 6: заочно [https://t.me/levensons Илья]

* дедлайн по заочным апелляциям: суббота 23:59

[https://docs.google.com/spreadsheets/d/1mxMCr3IEDy8EPFWGkn3_dsghhPNcZICEw9C9o5ZoZvA/edit?usp=sharing Распределение по аудиториям]

Даты пересдач: 2025-01-28 в 18:10, 2025-02-03 в 18:10 и комиссия 2025-02-11 в 18:10.

* задачи 1, 2: [https://t.me/goluba_yurieva Голуба], задачи 3, 4: [https://t.me/madn_boi Никита], задачи 5, 6: [https://t.me/levensons Илья], апелляция пересдачи 2 до 21:00 2025-02-10.

'''Контрольная, модуль 3''' состоится 2025-02-22 в 16:20, аудитории R201, R204, R404, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_galileo_demo/exam_galileo_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_galileo/pmi_probab_galileo_exam_2024-2025.pdf условие].

[https://docs.google.com/spreadsheets/d/1LZA-7TDz_yYeVPRx4BpBWJnQKZ7wqPgHDrN-Z0SM68M/edit?usp=sharing Распределение по аудиториям]

'''Контрольная, модуль 3, резервный день''': 2025-03-07, пятница, 18:10, R204, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_galileo/pmi_probab_galileo_exam_2024-2025_retake.pdf условия]

[https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_galileo_sol/pmi_probab_galileo_exam_2024-2025_sol.pdf Комментарии по проверке], показ работ кр3:

* Задачи 1-2, заочно до 23 марта, [https://t.me/PlatonPromyslov Платон]
* Задачи 3-4, заочно до 23 марта, [https://t.me/Moskchan Вероника]
* Задачи 5-6, очно, [https://t.me/madn_boi Никита], понедельник 24 марта, 17:40-19:40 ('''обратите внимание на изменение времени'''), аудитория M203

</div>

'''Экзамен, модуль 3''' состоится '''2025-03-28''' в 14:40, аудитории R201, R301, R404, R405, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_delta_demo/exam_delta_demo.pdf демо], условие, [https://forms.gle/JTFo2m9Xr7kFdCxq5 форма для 0 вместо неявки],

== Учебные материалы ==

[https://github.com/bdemeshev/probability_pro/raw/master/probability_pro.pdf PP]: Листки с задачами к курсу.

[https://github.com/bdemeshev/stochastic_pro/raw/main/stochastic_pro.pdf StoPro]: Stochastic process problems.

[https://github.com/bdemeshev/probability_dna/raw/master/probability_dna.pdf PDNA]: Вероятностная ДНК = вкусные задачи по теории вероятностей.

[https://disk.yandex.ru/d/LZ6d2VZVqYvbDQ Видео-летопись семинаров и лекций] и [https://hse.liferooter.dev/ конспект] от тайного благожелателя (updated 2024-10-23]

[https://disk.yandex.ru/d/IoakBXz_6yygPw Официальные видео]

[https://www.cambridgeinternational.org/Images/344616-list-of-formulae-and-statistical-tables.pdf Cambridge statistical tables]

== Дневник самурая ==

2024-09-02, лекция 1: Определение события. Определение случайной величины. Аксиомы вероятности. Определение математического ожидания для дискретного случая.
Линейность математического ожидания. Математическое ожидание как центр масс. Первое знакомоство с перестановочным тестом и p-значением.

Можно глянуть: главы 2.1 и 7 из [https://arxiv.org/pdf/1411.5279 WTSK], метод рычага [https://mathcircle.berkeley.edu/sites/default/files/archivedocs/2007_2008/lectures/0708lecturespdf/MassPointsBMC07.pdf в геометрии].

2024-09-09, лекция 2: Метод первого шага (вероятность выпадения HTH ранее HHT, ожидаемое количество шагов). Метод разложения случайной величины в сумму. Определение случайного вектора. Использование интерпретации ожидания как центра масс в геометрии. Определение теоретической медианы.

Можно глянуть: глава 2.7.2 из [https://projects.iq.harvard.edu/stat110/home BItP], три стратегии решения задачи за 10 минут [https://www.youtube.com/watch?v=xH89DaEI35w Visually Explained]

2024-09-16, лекция 3: Получение новой информации приводит к пересчёту вероятностей. Определение условной вероятности. Формула полной вероятности. Формула Байеса.
Условное математическое ожидание. Формула полного математического ожидания. Независимость пары событий. Независимость набора событий в совокупности.
Независимость величин: неформальное определение. Критерий независимости произвольных величин. Критерий независимости дискретных величин.

2024-09-23, лекция 4: Доказательство критерия независимости для дискретных случайных величин: из независимости {X=x} и {Y=y} следует независимость {X in A} и {Y in B}. Независимость величин равносильна E(f(X))E(g(Y))=E(f(X)g(Y)) для произвольных f, g. Определение биномиальной, геометрической (как числа неудач до 1го успеха) и отрицательной биномиальной случайной величины. Общая идея за производящими функциями: как из функции, производящей исходы эксперимента, с помощью производных и подстановок выудить индивидуальные вероятности, совместные вероятности, ожидания любой степени E(X^a), E(X^a Y^b). Формальное определение функции, производящей вероятности, и функцию, производящей моменты, для одной случайной величины и пары случайных величин. Метатеорема: все теоремы о дискретных величинах доказываются перестановкой слагаемых. Основные дискретные распределения: биномиальное, геометрическое, отрицательное биномиальное.

2024-09-30, лекция 5: Ещё дискретные законы распределения: гипергеометрическое. Описание закона распределения через равномерное распределение на подмножестве R^n.
Функция плотности как линейная часть вероятности попадания в отрезок. Равномерное распределение на отрезке. Смешанные случайные величины. LOTUS: нахождение ожидания любой функции от случайной величины для величин с функцией плотности и смешанных величин. Функция распределения. Квантильная функция.

2024-10-07, лекция 6: Две геометрии случайных величин и событий: E(XY) как скалярное произведение, Cov(X, Y) как скалярное произведение. Математическое ожидание — проекция в рамках геометрии, задаваемой E(XY). Определение и геометрический смысл дисперсии, стандартного отклонения, ковариации и корреляции. Неравенство Маркова. Неравенство Чебышёва. Неравенство Йенсена: интуитивный смысл.

2024-10-14, лекция 7: Доказательство неравенства Йенсена. Энтропия как минимальное ожидаемое число вопросов для отгадывания и формальное определение. Кросс-энтропия.
Доказательство того, что кросс-энтропия больше либо равна энтропии. Совместная энтропия. Условная энтропия. Формула H(X) + H(Y|X) = H(X, Y) без доказательства.
Вывод плотности экспоненциального распределения из предпосылки отсутствия памяти. Экспоненциальное распределение максимизирует энтропию при заданном ожидании и неотрицательности.

* Cristopher Olah, Visual Information Theory, https://colah.github.io/posts/2015-09-Visual-Information/

* Grand Sanderson, Solving Wordle using information theory, [https://www.youtube.com/watch?v=v68zYyaEmEA youtube].

* Artem Kirsanov, Key equation behind probability, [https://www.youtube.com/watch?v=KHVR587oW8I youtube]. У Артёма кросс-энтропия обозначена H(P, Q), а не CE(P||Q)).

* [https://exuberant-arthropod-be8.notion.site/1-02-09-5e107ea1c4054594b8f37d955db8a2b0 Конспект] аналогичной старой лекции псмо на русском.

* Keith Conrad, [https://kconrad.math.uconn.edu/blurbs/analysis/entropypost.pdf Maximal entropy] distributions.

2024-10-21, лекция 8: Ковариационная матрица и её свойства. Совместная функция плотности. Условная функция плотности. Критерий независимости в терминах функций плотности и распределения.
Связь индивидуальной и совместной функций плотности и функций распределения. Смена плотности при замене переменных: домножение на якобиан и неформально про дифференциальные формы. Формула свёртки.
Разложение совместной плотности для графической модели. Представление произвольной совместной функции распределения с помощью копулы.

* Про дифференциальные формы: [https://www.youtube.com/watch?v=PaWj0WxUxGg&list=PL22w63XsKjqzQZtDZO_9s2HEMRJnaOTX7 videos] by Michael Penn, [https://www.math.purdue.edu/~arapura/preprints/diffforms.pdf short intro] by Dony Arapura

* What is a convolution от [https://www.youtube.com/watch?v=KuXjwB4LzSA 3b1b]

* From graphical models to [https://www.youtube.com/watch?v=yBc01ZeaFxw&list=PLISXH-iEM4JlFsAp7trKCWyxeO3M70QyJ Probabilistic ML]

2024-11-11, лекция 9: Пуассоновский поток: аксиомы. Вывод пуассоновского распределения количества событий и экспоненциального времени между событиями из аксиом.
Сумма независимых пуассоновских потоков — это пуассоновский поток (половина доказательства). Вероятность того, что одна экспоненциальная величина будет меньше другой, независимой.

2024-11-18, лекция 10: Гамма-распределение как сумма нескольких экспоненциальных: вывод плотности через вероятность попадания в малый отрезок.
Обобщение плотности на случай положительного параметра $a$. Гамма-функция. Бета-распределение как отношение гамма-распределений. Бета-функция.

2024-11-25, лекция 11: Вывод нормального распределения из предпосылок Гаусса. Вывод нормального распределения из предпосылок Гершеля — Максвелла.

* Saul Stahl, The [https://www.researchgate.net/publication/255668423_The_Evolution_of_the_Normal_Distribution Evolution] of the Normal Distribution: вывод Гаусса с историей.

* Grand Sanderson, [https://www.youtube.com/watch?v=cy8r7WSuT1I Why pi] is in the normal? вывод Гершеля—Максвелла

* James Stein, [http://www-biba.inrialpes.fr/Jaynes/cc07s.pdf Normal Distribution]: глава про нормальное распределение (Гаусс, Гершель—Максвелл, Лэндон etc)

* William Herschel, [https://music.yandex.com/album/209394/track/2121214 концерт для габоя]

* William Herschel, [https://www.informationphilosopher.com/solutions/scientists/quetelet/Herschel_Quetelet_Probabilities.pdf On the theory of Probabilities]: вывод нормального распределения словами на стр. 189-191

2024-12-02, лекция 12: многомерное нормальное распределение. Функция плотности невырожденного многомерного нормального. Функция производящая моменты для многомерного нормального. Формула Иссерлиса с ненулевыми ожиданиями и доказательством. Условное распределение: вывод условного ожидания и условной дисперсии через разложение величины в сумму независимых.

* [https://stats.stackexchange.com/questions/30588/ альтернативный вывод] условного многомерного нормального распределения
* Хитрый [https://github.com/bdemeshev/lis-isserlis/raw/main/lis-isserlis.pdf лис Иссерлис]

2024-12-09, лекция 13: сходимость по распределению, центральная предельная теорема с доказательством подменой слагаемых.

* Calvin Chin [https://arxiv.org/pdf/2106.00871 CLT proof] by swapping
* [https://bdemeshev.github.io/teaching_notes/clt_by_swapping Пересказ доказательства]

2024-12-16, лекция 14: использование бесконечно малых при нахождении ожиданий, трюк с добавление параметра, трюк с закольцовыванием отрезка при равномерном распределении.

* [https://dspace.mit.edu/bitstream/handle/1721.1/91482/1-203j-fall-2004/contents/lecture-notes/class5crofton.pdf Crofton's method]

2025-01-13, лекция 15: Неединственность предела по распределению. Неаддитивность предела по распределению. Предел по вероятности. Закон больших чисел в слабой форме (с доказательством при дополнительной предпосылке о конечности дисперсии). Теорема о непрерывном отображении.

2025-01-20, лекция 16: два определение сходимости почти наверное с доказательством эквивалентности. Сходимость в Lp. Из сходимости в Lp при p>=1 следует сходимость по вероятности. Из сходимости почти наверное следует сходимость по вероятностям. Контр-пример к разнице сходимостей почти наверное и по вероятности. Контр-пример к разнице сходимостей в Lp и по вероятности. Усиленный закон больших чисел (без доказательства). Леммы Слуцкого (без доказательства).

2025-01-27, лекция 17: характеристические функции и их свойства. Вывод характеристической функции нормального стандартного распределения через дифференциальное уравнение. Характеристическая функция биномиального распредеделения. Второе доказательство ЦПТ (через характеристические функции).

* [https://web.ma.utexas.edu/users/gordanz/notes/characteristic.pdf Gordan Zitkovic]: characteristic functions
* [https://sas.uwaterloo.ca/~dlmcleis/s901/chapt6.pdf McLeish]: clt proof

2025-02-03, лекция 18: пример последовательности сходящийся по вероятности с ожиданием стремящимся к бесконечности. Критерий Кэлли. Критерий оптимальной остановки Брасса.

* [https://en.wikipedia.org/wiki/Kelly_criterion wikipedia]: Kelly criterion
* [https://projecteuclid.org/journalArticle/Download?urlId=10.1214%2Faop%2F1019160340 Bruss]: sum the odds to one and stop

2025-02-10 лекция 19: Сигма-алгебра порождённая случайной величиной или набором из нескольких случайных величин. Замкнутость относительно счётного количества операций с множествами. Сигма-алгебра. Объединение сигма-алгебр не всегда сигма-алгебра. Пересечение сигма-алгебр всегда сигма-алгебра. Измеримость суммы. Борелевская сигма-алгебра.

2025-02-18, лекция 20: [https://us06web.zoom.us/j/82685613040?pwd=bqJoXGItwNOOWddXj1flfmPmDn6fMQ.1 онлайн, 18:10]: разбор задач про сигма-алгебры для подготовки к контрольной. Условное математическое ожидание относительно сигма-алгебры: интуиция и формальное определение. Пример подсчёта в дискретном случае.

2025-02-24, лекция 21: Условное ожидание и дисперсия относительно сигма-алгебры со свойствами. Условная вероятность.

2025-03-03, лекция 22: Определение фильтрации. Определение момента остановки. Сигма-алгебра на момент остановки. Определение мартингала.
Формулировка теоремы [https://en.wikipedia.org/wiki/Optional_stopping_theorem Дуба об остановке мартингала]. Задача о макаке, печатающей слово "абракадабра".

* [https://math.uchicago.edu/~may/VIGRE/VIGRE2011/REUPapers/Ai.pdf Martingales and ABRACADABRA]

2025-03-10, лекция 23: Два контр-примера к теореме дуба. Доказали теоремы Дуба для случая ограниченного момента времени. Тождество Вальда: формулировка и доказательство. Определение броуновского движения с явным упоминанием фильтрации и без. Ковариационная функция Cov(Ws, Wt).

2025-03-17, лекция 24: Преобразования винеровского процесса: масштабирование и инверсия. Закон распределения накопленного максимума. Закон распределения момента достижения заданного значения.

2025-03-24, лекция 25:

=== Семинары ===

==== 473 = 235 + 238 ====

2024-09-02, 06, семинар 1: задачи 1.1, 1.6, 3.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-09, 13, семинар 2: задачи 2.1, 2.3, 12.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-16, 20, семинар 3: задачи 7.12 и 7.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-23, 27, семинар 4: как извлечь P(X=3), E(X), E(X^2Y) из функции, производящей список исходов, 28.16 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-30, -10-04, семинар 5: 9.3в, 9.4, 9.7(абвд, кроме дисперсии, аргументы масштабирования и центра масс помимо интегралов), 9.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-10-07, 11, семинар 6: вычисление Cov, Var, Corr по табличке и из функции плотности, нахождение дисперсии для отрицательного биномиального распределения по свойствам.

2024-10-14, 18, семинар 7: вычисление энтропии геометрического распределения. Изменение энтропии при линейном преобразовании для дискретной величины и величины с функцией плотности.
Кросс-энтропия из экспоненциального в равномерное. Условная энтропия для дискретной таблички. Связь энтропии величины с функцией плотности и энтропия дискретной версии этой случайной величины после "огрубления" с малым шагом 1/k.

2024-10-21, -11-01, семинар 8: 16.18, 16.23 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], свёртка двух экспоненциальных величин

2024-11-11, 15, семинар 9: задачи на пуассоновский поток из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-11-18, 22, семинар 10: задачи на бета и гамма-распределение

2024-11-25, 29, семинар 11: задачи на нормальное распределение, 18.1, 18.2, 18.3, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-02, 06, семинар 12: задачи на многомерное нормальное: 24.16аб, 24.17аб, 24.18, 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-09, 13, семинар 13: ЦПТ и нормальное распределение: 20.2, 20.4, 18.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-19, семинар 14: разбор демо

2025-01-13, семинар 15: сходимость по вероятности: 20.1, 20.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-20, 24, семинар 16: связь между сходимостями, 20.11, 20.13 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-27, 31, семинар 17: 28.17, 28.18, 28.21 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-03, 07, семинар 18: 28.20аб, 28.22 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-10, 14, семинар 19: 6.2, 6.3, 6.11, измеримость произведения из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-18, 21, семинар 20: разбор демо

2025-02-24, 28, семинар 21: Условное математическое ожидание и условная дисперсия относительно сигма-алгебры в дискретном случае.
[https://github.com/bdemeshev/stochastic_pro/raw/main/stochastic_pro.pdf StoPro]: 8.22-8.25

2025-03-03, 10, семинар 22: доказали, что сигма алгебра, порождённая моментом остановки, лежит внутри сигма-алгебры событий на момент остановки.
Вероятность достижения границы -а раньше границы +b и среднее время достижения одной из этих границ для классического случайного блуждания.
Преобразование несимметричного случайного блуждание St в мартингал с помощью exp(alpha St).
[https://github.com/bdemeshev/stochastic_pro/raw/main/stochastic_pro.pdf StoPro]: 9.1, 9.3

2025-03-10, 14, семинар 23: решение двух классических задач с помощью мартингалов: [https://en.m.wikipedia.org/wiki/Bertrand%27s_ballot_theorem задача о голосовании], [https://math.dartmouth.edu/~pw/papers/gpdp.ps "следующая карта — красная"].

2025-03-17, 21, семинар 24: нахождение ожиданий и вероятностей E(W5W6 | W4), P(W1 > 0, W2 < 0); проверка мартингальности (Wt), (Wt^2 - t), (exp(aWt - a^2t/2)).

==== 236 ====

2024-09-06, семинар 1: в начале семинара рассмотрели основные понятия и определения для решения задач. Решили задачи 1.1, 1.6, 3.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-13, семинар 2: нашли ожидание случайной величины с геом. распределением. Решили задачи 2.1, 12.6, 12.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-09-20, семинар 3: решили задачи 7.12, 7.4(а), 7.7, 7.13(а) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-09-27, семинар 4: разобрали 7.13, почти разобрали 28.3 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Также рассмотрели один контрпример на независимость(тетраэдр Бернштейна).

2024-10-04, семинар 5: разобрались с определениями, решили 9.3(абв), 9.7(аб) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Решили задачку про три точки на отрезке и найти вероятность получить треугольник. Также вывели формулу для мат. ожидания неотрицательной величины через функцию распределения.

2024-10-14, семинар 6: обсудили дисперсию, ковариацию, коэффициент корреляции и их геометрический смысл. Решили задачу на оценку дисперсии ограниченной величины. посчитали дисперсию геометрического, биномиального. Посчитали дисперсию в задаче о письмах и конвертах.

???, семинар 7: определили энтропию, посчитали примеры для дискретных величин, для линейных преобразований. Доказали, что задача максимизации энтропии с фиксированной дисперсией достигается на нормальном распределении.

???, семинар 8: свертка двух экспоненциальных, 16.18 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

???, семинар 9: задачи на пуассоновский процесс из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

???, семинар 10: разбор кр.

???, семинар 11: разобрали задачи на нормальное распределение 18.1, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Также считали распределение суммы двух независимых нормальных.

==== 237 ====

2024-09-09, семинар 1: задачи 1.1, 2.2 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], вероятность что n ладей не бьют друг друга при случайной расстановке на шахматной доске n на n, матожидание числа треугольников в случайном графе на n вершинах через сумму индикаторов

2024-09-13, семинар 2: задачи 2.1, 2.6, 12.3, 12.6, 12.7 (без дисперсий) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-23, семинар 3: задачи 7.2, 7.13, 7.7, 7.8, плюс начали 7.15b (получили неверный ответ) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-27, семинар 4: дорешали 7.15b с небольшой демонстрацией на питоне, разобрали 28.2 для нечестной монетки плюс посчитали матожидание [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-10-04, семинар 5: задачи 9.1, 9.3абв, 9.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], философия про то почему бОльшая плотность не всегда означает бОльшую вероятность оказаться в окрестности данной точки (плотность может занимать слишком маленький объем)

2024-10-11, семинар 6: вспомнили определения Cov/Var/Corr, посчитали у пары дискретных величин по табличке вероятностей, посчитали дисперсию у биномиального, геометрического, непрерывного равномерного на отрезке.

2024-10-18, семинар 7: вычисление энтропии геометрического распределения; ограниченность энтропии снизу и сверху в дискретном случае; изменение энтропии при линейном преобразовании для дискретной величины и величины с функцией плотности; условная энтропия, KL дивергенция и кросс-энтропия, неотрицательность KL, интерпретация на пальцах с точки зрения теории информации.

2024-11-01, семинар 8: 16.18, 16.23 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], свёртка двух экспоненциальных величин

2024-11-08, семинар 9: решали пробный вариант КР

2024-11-15, семинар 10: 13.1, 13.2, 13.5, 13.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-11-22, семинар 11: разбор КР

2024-11-29, семинар 12: нормальное распределение, 18.1, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-06, семинар 13: многомерное нормальное распределение, изменение среднего и матрицы ковариаций при линейном преобразовании, 24.4а, 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-13, семинар 14: 24.4в из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], сходимости случайных величин, ЗБЧ и ЦПТ, 20.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-21, семинар 15: наследование сходимости, 20.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], плюс доказали предельную теорему Пуассона

2025-01-28, семинар 16: связь между сходимостями, 20.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], лемма Слуцкого, подмена дисперсии на выборочную дисперсию в ЦПТ

2025-02-04, семинар 17: базовые свойства хар функций, хар функция суммы независимых величин, 28.17, 28.20 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-18, семинар 18: вероятностное пространство в общем случае, сигма-алгебры, борелевская сигма-алгебра, сигма-алгебра порожденная случайной величиной, измеримость случайной величины относительно сигма-алгебры, 6.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], задачи на сигма алгебры из пробника КР

2025-02-25, семинар 19: условное матожидание относительно сигма алгебры, условное матожидание и дисперсия относительно случайной величины, закон полного матожидания и закон полной дисперсии, 22.1, 22.3, 22.5абв из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-03-04, семинар 20: показали, что условное матожидание минимизирует среднеквадратичный риск; нашли условное матожидание и условную дисперсию в 22.6 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], нашли E[X | X^2] для симметричного равномерного распределения, нашли E[X_1 | X_1 + ... + X_n] для набора i.i.d. величин, нашли E[Y] и Var(Y) для Y|X имеющего экспоненциальное распределение с параметром X

2025-03-11, семинар 21: мартингалы, момент остановки, теорема Дуба об остановке, задача о разорении игрока для честного и нечестного казино, вероятность выигрыша и вероятность разорения

2025-03-11, семинар 22: матожидание времени до момента остановки в задаче о разорении игрока, теорема Бертрана о выборах

==== 239 ====

2024-09-03, семинар 1: задачи 1.1, 1.4, пытались 1.8 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Ещё успели посчитать вероятность N=k бросков монеты до выпадения первого орла, матожидание N. И ещё сделали то же для количества бросков до выпадения 3 орлов (не в серии).

2024-09-10, семинар 2: доказали формулу включения-исключения, решили несложную задачу, порешали 2.7 задачи типа 12.*

2024-09-17, семинар 3: Решили две прямых задачи на формулу Байеса и формулу полной вероятности (без большого количества вычислений). Решили задачу поиска вероятности неисправного кофе-автомата из 3 при условии, что бросили деньги в 1 и 2 и их зажевало. Ещё нашли вероятность, что мяч будет у игрока 3 после шага 10 (все садятся в круг и на каждом шаге бросают мяч соседу с вероятностью 0.3 и оставляют у себя с вероятностью 0.4).

2024-09-24, семинар 4: Вспомнили про метод первого шага, используя формулу полной вероятности и введя в некотором виде формулу полного матожидания, записали формулу для вероятностей нахождения в состоянии i через произведение переходной матрицы на вектор. Совсем немного начали производящие функции, но решили не считать 31ю производную многочлена.

2024-10-01, семинар 5: Исследуем дискретные случайные величины (Биномиальная, Геометрическая и разные похожие) с использованием техник вычислений моментов через производящую функцию. Задачи на распределения величин, посчитанных по набору величин. Первая большая задача про плотность.

2024-10-08, семинар 6: разминочная про плотность и функцию распределения. Считаем дисперсию, ковариацию и корреляцию по 2x2 таблице и в равномерном распределении на круге и квадрате [-1,1]х[-1,1].

2024-10-15, семинар 7: пара задач про экспоненциальное распределение, расчёты по теории информации(считаем всякое, чтобы привыкнуть).

2024-10-22, семинар 8: письменные источники не сохранились до наших дней. Согласно преданиям, оьсуждали двери и около контрольной. Говорят, ввели пуассоновский процесс.

2024-???, семинар 9: решаем задачи на пуассоновское в разных формах и обсуждаем омалые в порядковых статистиках.

2024-???, семинар 10: учимся интерпретироввть гауссовское, пользоваться таблицами для функции Лапласа, а также немного работать с многомерным гауссовским.

2024-3-12, семинар 11: Копаем во все стороны многомерное гауссовское: считаем вероятности для линейных комбинаций гауссовских, проверяем зависимость, вычисляем условные законы, матожидания и ковариационные матрицы, вспоминаем спектральное разложение и разложение Холецкого.

==== 2311 ====

2024-09-06, семинар 1: вероятностное пространство, вероятность на нем, вероятность события, случайная величина и ее распределение (индикатор события, сумма двух кубиков, число бросаний монетки до первого орла), матожидание случайной величины (индикатор, один кубик, два кубика), линейность матожидания. Задачи на линейность матожидания, в том числе ЕГЭшная задача про турнир, 1.5, 3.5 с допвопросом о матожидании числа совпадений. Разговор о получении события произвольной вероятности монеткой в контексте 1.8

2024-09-13, семинар 2: Повторили матожидание суммы на примере 12.3. Обсудили условную вероятность и формулу полной вероятности, условное матожидание, решили задачи на метод первого шага 2.1, 2.3, 2.7.

2024-09-20, семинар 3: Условная вероятность, формула полной вероятности, формула Байеса: 7.1, классическая задача про болезни и тесты, простейшие задачки на общее понимание, обсуждение двух подходов: вычисления условной вероятности по формуле и составления нового вероятностного пространства и подсчет вероятности в нем. Независимые события (события "пики" и "дама" в обычной колоде и колоде с джокерами), независимые в совокупности события, построили пример попарно независимых, но не независимых в совокупности. Обсудили биномиальное распределение. решили задачу: "в корабле к отсеков, чтобы корабль затонул, нужно поразить 2. Независимо выпускают n ракет, каждая из которых поражает случайный отсек с вероятностью p. Найти вероятность потопления корабля"

2024-09-20, семинар 4: Примеры одинаково распределенных зависимых СВ, независимые СВ. Производящая функция и ее свойства. Посчитали для биномиального производящую функцию и второй момент. Обсудили, что будет меняться в случае функции, производящей моменты. Обсудили функцию, производящую множество исходов, как из нее доставать уже известные функции, как ее искать на примере бросания монетки до выпадания HT

2024-10-11, семинар 5: Составили табличку стандартных дискретных распределений, посчитали матожидание геометрического, обсудили дисперсию и ковариацию и их свойства (в дискретном случае), досчитали дисперсии основных распределений. Обсудили вероятностное пространство в общем случае, понятие СВ в общем случае. Дали определение ФР, посчитали ФР для явно заданной СВ. Дали определение плотности.

2024-10-12, семинар 6: Обсудили свойства ФР, как считать вероятность попадания в промежуток в терминах ФР. Выразили ФР 1/X, cos X. Обсудили как выражается веротяность попадания в множество через плотность. для 1/Х выразили плотность в случае абсолютной непрерывности Х. Обсудили формулу для МО в общем виде через интеграл Стильтьеса и как вычислять МО для функции, разлагающейся в сумму абсолютно нерпрерывной и функции скачков, посчитали МО для пары таких СВ

2024-10-18, семинар 7: Обсудили геометрию, заданную скалярным произведением EXY и cov(X,Y), поиск ортогонального элемента и проекции. Посчитали энтропию и кросс-энтропию в дискретном и непрерывном случаях, посчиали совместную и условную энтропию в дискретном случае (23.2, 23.4, 23.9)

2024-11-01, семинар 9: Совместная плотность и ф.р., подсчет вероятностей, маргинальные плотности, замена переменной через якобиан, свертка, матожидание

2024-11-09, семинар 10: Условная плотность, формула условной вероятности. Задача на восстановление маргинальной плотности по условной. Разбор задач из "Летучей мыши"

2024-11-19, семинар 11: Разбор контрольной работы

2024-11-22, семинар 12: Пуассоновский поток - решали задачки из задачника

2024-11-29, семинар 13: Нормальное распределение - задачи из PP, повторили функцию, порождающую моменты, обсудили ее свойства в абсолютно непрерывном случае

2024-12-06, семинар 14: Многомерное нормальное - обсудили два определения, связь между ними, независимость элементов нормального вектора при нулевой ковариации и почему это неверно для произвольных нормальных. порешали задачи 24.9а, 24.10, 24.17

2024-12-013, семинар 15: ЦПТ, решали задачи из задачника

2025-01-17, семинар 16: Сходимости почти наверное и по вероятности, связь со сходимостью по распределению. Посмотрели стандартные контрпримеры, показали, что если есть сходимость по распределению к константе, то есть и по вероятности. ЗБЧ Чебышева и Хинчина, УЗБЧ Колмогорова, обсудили 20.1 сколько успели.

2025-01-24, семинар 17: Сходимость в L_p, связи между сходимостями. Задача 20.11

2025-01-24, семинар 18: Характеристические функции и их свойства. Посчитали хар функции для равномерного, Бернулли, биномиального, Пуассона, экспоненциального. Показали, чо сумма нормальных нормальна. По функции пытались понять, может ли она быть характеристической и восстанавливали с.в.

==== 2310, 2312 ====

2024-09-06, семинар 1: задача 1.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Определили вероятностное пространство в виде тройки, множество исходов рассматривали конечное и счётное. Решили 3 счётные задачи на комбинаторику про колоды карт и счетные последовательности цифр. Привели геометрическое и аналитическое решения задачи про нахождение предела последовательности вероятностей. В конце нашли математическое ожидание геометрически распределённой случайной величины.

2024-09-13, семинар 2: задача 2.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Задача на упорядоченные и неупорядоченные наборы. Задача про классическое вероятностное пространство и про пространство с неравновероятными исходами. Разобрали парадокс Монти Холла. Ввели понятия условной вероятности и независимых случайных величин. Сформулировали и обсудили идеи доказательств трёх теорем: теорема умножения вероятностей, формула полной вероятности и формула Байеса.

2024-09-20, семинар 3: Решили задачу на определение условной вероятности. Обсудили парадокс теоремы Байеса на примере задачи про редкое заболевание, а также посмотрели простую программу на Python, которая считает вероятность в зависимости от количества проведенных тестов на заболевание. Обсудили условное математическое ожидание, некоторые его свойства и рассмотрели пример с подбрасыванием кубика. В конце решили задачу на парадокс дней рождений.

2024-09-27, семинар 4: Обсудили коллизии хеш-функций и связь с атакой "дней рождений". Определили независимость или зависимость случайных величин в четырёх разных вариантах. Обсудили, что неверно утверждать, что матожидание частного независимых случайных величин равно частному матожиданий, также привели пример использования подобного факта в некоторых статьях. В конце решили задачу на поиск функции производящей исходы, а также нашли E(X), E(Y^2), E(XY) с помощью найденной функции.

2024-10-04, семинар 5: Решили две простые задачи на условную вероятность и на теорему об умножении вероятностей. Обсудили связь дерева событий с условной вероятностью и теоремой об умножении вероятностей. Нашли производящую функцию моментов для геометрически распределенной случайной величины и с помощью нее нашли матожидание. Нашли производящую функцию моментов и матожидание суммы случайного количества н.о.р случайных величин.

2024-10-11, семинар 6: Привели аналогии между дискретными и непрерывными случайными величинами. Нарисовали графики функций от случайных величин. Вспомнили определение и свойства дисперсии. Решили простую задачу на подсчет дисперсии и нашли дисперсию геометрически распределенной случайной величины. Обсудили, когда может быть матожидание и дисперсия бесконечны. Далее вспомнили неравенства Маркова и Чебышева, вывели следствия и решили 3 задачи на применение этих неравенств. Обсудили, что неравенство Маркова может давать как точную оценку, так и очень слабую. Показали, что неотрицательность случайной величины в неравенстве Маркова является существенным условием.

2024-10-11, семинар 7: Повторили понятия энтропии в битах и натах, а также понятие дифференциальной энтропии. Нашли энтропию в схеме Бернулли и энтропии геометрического и экспоненциального распределений. Доказали простую оценку сверху для энтропии случайной величины, имеющей конечный носитель мощности n.

2024-11-1, семинар 8: Разобрали демо-вариант контрольной работы "Тыква".

2024-11-8, семинар 9: Разобрали демо-вариант контрольной работы "Летучая мышь".

2024-11-15, семинар 10: Понятие случайного процесса. Определение пуассоновского процесса, его свойства. Три простые задачи на пуассоновское распределение. Задачи 13.1 и 13.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-11-22, семинар 11: Определения Бета-функции и Гамма-функции. Бета и Гамма распределения, их функции плотности и графики. Нахождение моды случайных величин, имеющих Бета и Гамма распределения. Связь пуассоновского процесса с Гамма распределением. В конце нашли производящую функцию моментов Гамма распределения.

2024-11-29, семинар 12: Задачи 18.1, 18.2 и 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-12-06, семинар 13: Нашли многомерное нормальное распределение по виду функции плотности (константа на экспоненту с квадратичным показателем). С помощью формулы Иссерлиса нашли матожидания произведений различных или одинаковых случайных величин, имеющих многомерное нормальное распределение. Нашли условную вероятность многомерного распределения. Задача 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-12-13, семинар 14: Повторили определение сходимости по распределению и центральную предельную теорему. Решили задачи 20.2 и 20.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

== Источники ==

Источники мудрости, которые я постарался не замутить :)

[https://arxiv.org/pdf/1411.5279 WTSK]: Tim Hesterberg, What Teachers Should Know About the Bootstrap: вкусное и доступное изложение бутстрэпа и перестановочных тестов.

[https://projects.iq.harvard.edu/stat110/home BItP]: Blitzstein, Hwang, Introduction to Probability: учебник, записи лекций, гарвардский курс.

Теория вероятностей 2024/25 (основной поток)

2025-03-24T08:44:44Z

Bdemeshev: /* Дневник самурая */

= Преподаватели и учебные ассистенты =

{| class="wikitable" style="text-align:center"
|-
! Группа !! БПМИ235 !! БПМИ236 !! БПМИ237 !! БПМИ238 !! БПМИ239 !! БПМИ2310 !! БПМИ2311 !! БПМИ2312
|-
|| Лектор ||colspan="11"| [https://t.me/boris_demeshev Борис Демешев]
|-
|| Семинарист || [https://t.me/boris_demeshev Борис Демешев] || [https://t.me/levensons Илья Левин] || [https://t.me/madn_boi Никита Морозов] || [https://t.me/boris_demeshev Борис Демешев] || [https://t.me/XuMuK_MK Максим Каледин] || [https://t.me/goluba_yurieva Голуба Юрьева] || [https://t.me/Moskchan Вероника Владыкина] || [https://t.me/goluba_yurieva Голуба Юрьева]
|-
|| Ассистент || [https://t.me/nerhneiro Ира Скворцова] || [https://t.me/a_ameli_ig Амелия Алаева] || [https://t.me/htual Алина Бадахова] || [https://t.me/adelyagaraeva Аделя Гараева] || [https://t.me/mabrielka Мария Брель] || [https://t.me/zm_ann Анна Зыкова-Мызина] || [https://t.me/Yanlightv Яна Вежновец] || [https://t.me/nol_erk Кирилл Лавриненко]
|-
|| Ассистент курса ||colspan="11"| [https://t.me/Nick_Volya Никита Волянский]
|}

== Цели и задачи курса ==

侍には目標がなく道しかない [Samurai niwa mokuhyō ga naku michi shikanai]

У самурая нет цели и ничего кроме пути.

Вероятный план:
<div class="mw-collapsible mw-collapsed" style="width:1000px; overflow: hidden;">
1. Дискретное вероятностное пространство. Вероятность, математическое ожидание, теоретическая медиана.
Перестановочные тесты, p-значение для перестановочного теста.
Математическое ожидание = центр масс.

NB: здесь сходу рисуем дерево
NB: здесь нет задач на условную вероятность

!предупреждение об обозначениях случайных величин.
Российская традиция — греческие буквы, американская традиция — заглавные английские буквы.
Наш курс: любые буквы. Причина: теория вероятностей применяется в разных областях, где свои традиции.

NB: Способы вычисления вероятностей и ожиданий:
* полный перебор руками
* примерные вычисления руками
* полный перебор на компьютере
* симуляции на компьютере
* ...

2.
Методы решения задач:
* разложение величины в сумму
* метод первого шага
!идея: позиция в игре имеет цену
* just for fun: метод рычага в геометрии через ожидание
NB: рассказать здесь про комплексную случайную величину
NB: по сути здесь мы уже решаем задачи на марковские цепи не говоря страшных определений
LOTUS.

3. Условная вероятность и условное ожидание.
!идея: зануляем вероятности невозможных событий, а остальные — масштабируем.
формула полной вероятности
!идея: дерево "помнит" формулу полной вероятности
формула Байеса

Независимые события.
Независимые случайные величины.

4.
Методы решения задач:
* производящие функции многих переменных
функция как способ записать множество
HTT vs TTH
ABRACADABRA
!разложение по биномиальной формуле

?: можно здесь успеть функцию производящую моменты

5.
Биномиальное распределение.
Геометрическое и гипергеометрическое распределения.
Отрицательное биномиальное распределение.

6.
Равномерное распределение на множестве в R^n
Функция распределения.
Функция плотности и вероятностная дифференциальная форма.
!пояснение про неудачную традиционную терминологию "непрерывная случайная величина"
величина с функцией плотности, величина с непрерывной функцией распределения.

Квантили, квантильная функция.

7. Характеристики случайных величин и неравенства.
Дисперсия.
Энтропия.
Неравенство Маркова.
Неравенство Чебышёва.
Неравенство Йенсена.

Здесь конец модуля 1 и КР-1!

8. Пуассоновский поток.
Аксиомы пуассоновского потока.
Вывод экспоненциального распределения и пуассоновского распределения из аксиом.
Вывод экспоненциального распределения из предпосылки об отсутсвии памяти.

9. Нормальное распределение.
Нормальное распределение: предпосылки Хершела-Максвелла.
Нормальное распределение: аргументация Гаусса за среднее арифметическое.
Нормальное распределение: предпосылки Лэндона (до уравнения в частных производных).

10. Классические непрерывные распределения.

Гамма-распределение, бета-распределение.
Вывод нормального и экспоненциального распредений как минимизации энтропии.

11. Парные характеристики случайных величин.
Наилучшая линейная аппроксимация.
Ковариация.
Корреляция.
Кросс-энтропия.

Доказательство E(XY) = E(X) E(Y) для дискретных.
Ковариационная матрица и ожидание для случайных векторов.

12. Совместная и условная функция плостности.
Преобразования случайных величин.

13. Функция производящая моменты и характеристическая функция.
Распределение суммы случайного количества случайных величин.
Случайный выбор слагаемых.

14. Финансовые приложения

Оценивание опционов на биномиальном дереве.
Максимизация долгосрочной прибыли, связь с энтропией.
Возможно, индексы Гиттинса.

Здесь конец модуля 2 и КР-2

15. Сигма-алгебры.

Список известных величин как способ описания информации.
Идея условного ожидания как оптимального прогноза.
Сигма-алгебра как способ описания информации.
Измеримость случайной величины относительно сигма-алгебры.
Сигма-алгебра как ОДЗ для вероятности.
Борелевская сигма-алгебра.
Независимые случайные величины второе определение.

16. Условное математическое ожидание.
Условная дисперсия.
Сумма случайного количества случайных величин.

17. Сходимости случайных величин.

Сходимость по вероятности.
Закон больших чисел.
Сходимость почти наверное.
Усилинный закон больших чисел.
Сходимость по распределению.

18. Связь сходимостей.
Лемма Слуцкого.

19. Центральная предельная теорема.
Доказательство через подмену слагаемых.
Доказательство через характеристические функции.

Здесь контрольная.

20. Винеровский процесс
Условные ожидания, инверсия.

21. Байесовский подход к оцениванию параметров

Балансовое уравнение. Идея MCMC.

22. Доказательства свойств меры

23. Алгоритм построения математического ожидания в общем случае.
Лемма Фату.
Теорема о мажорируемой сходимости.
Теорема о монотонной сходимости.

24. Резерв.

Жемчужинки, которые, вероятно, не успеем:

А. Методы решения задач:
подсчёт случаев с помощью леммы Бернсайда и теоремы Пойа о перечислении
(Burnside lemma, PET = Polya Enumeration Theorem)

B. вероятностные доказательства детерминистических теорем

</div>

== Оценивание ==

Оценка за семестр-1 = 0.2 Домашние задания семестра-1 + 0.4 Контрольная-Альфа + 0.4 Экзамен-Бета.

Финальная оценка за курс = 0.5 Оценка за семестр-1 + 0.1 Домашние задания семестра-2 + 0.2 Контрольная-Гамма + 0.2 Экзамен-Дельта.

Каждая оценка (суммарные итоги за домашние задания, контрольные, экзамены) — целое число от 0 до 100.
Для перевода в 10-балльную шкалу промежуточной оценки за семестр-1 и финальной оценки используется деление на 10
с арифметическим округлением. Например, если Максим получил "оценку за семестр-1" 65 баллов, то в ведомость за первый семестр идёт 7, а далее в формуле финальной оценки за курс используется 65.

=== Домашние задания для самураев ===

Домашние задания [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/home_assignments/home_assignments.pdf одним файлом] и [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/blob/main/home_assignments/ отдельными файлами].
Домашние задания имеют равный вес.
В конце каждой лекции (за исключением ближайших к экзамену лекций)
выдается домашнее задание сроком на две недели.
Дедлайн жёсткий, однако студент имеет право просрочить три домашних задания на неделю каждое без штрафа.

Формат сдачи ДЗ: один pdf-файл (решение текстовых задач) и один ipynb-файл (решение компьютерных задач).
В pdf-файл можно поместить аккуратно написанное отсканированное решение, а можно скомпилировать pdf из теха или маркдауна.
Ещё можно вместо pdf-файла написать всё в ipynb.
Бонусов за сдачу домашки в техе нет. Пример [https://www.overleaf.com/read/qmrkwpzvmqbk шаблона].

Обратите внимание: '''время каждого дедлайна — 23:59'''.

=== Ведомость с оценками за ДЗ ===

{| class="wikitable" style="text-align:center"
|-
! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1872081500#gid=1872081500 235] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1374497930#gid=1374497930 236] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1183164252#gid=1183164252 237] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=408179311#gid=408179311 238] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1032422408#gid=1032422408 239] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1603236891#gid=1603236891 2310] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=791330236#gid=791330236 2311] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=23847300#gid=23847300 2312]
|}

[https://docs.google.com/spreadsheets/d/14hD7-SLmAA1omdkhPlt3blRHDHVGTDS8ZgvLWscvMz8/edit?usp=sharing Сводная ведомость всех оценок]

=== Контрольные работы и экзамен ===

Вес каждой задачи будет написан в тексте работы.
Задачи с ненаписанным по случайности весом имеют равный вес.
Для пропущенных по уважительной причине контрольных будет выделен один день для переписывания.
При пропуске дня переписывания, в том числе по уважительным причинам, ещё одного шанса не предоставляется.

<div class="mw-collapsible mw-collapsed" style="width:1000px; overflow: hidden;">

'''Контрольная работа 1''' состоится 2024-11-11 в 16:20, аудитории: R401, R305, R206, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_halloween_demo/exam_halloween_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/midterm/midterm-alpha.pdf условие с критериями и решениями].

'''Резервный день 1''' для пропустивших по уважительной причине состоится 2024-12-02 в 19:40, R405

'''Показ контрольной 1''':

* задачи 1, 2: заочно до 2024-12-08, [https://t.me/Moskchan Вероника]
* задачи 3, 4 [https://t.me/boris_demeshev Борис], очно, четверг, 2024-12-05, 18:10-21:00, G408
* задачи 5, 6 [https://t.me/XuMuK_MK Максим]: очно, четверг, 2024-12-05, 18:10-21:00, G408

'''Экзамен, модуль 2''' состоится '''''2024-12-24 в 10:00''''', аудитории R301, R304, R401, R404, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_winter_demo/exam_winter_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/december/pmi_probab_2024_december.pdf условие].

Если вы не хотите идти на экзамен, то заполните [https://forms.gle/UQzW77RrPvcdahG47 эту форму], чтобы получить ноль при неявке

'''Апелляция экзамена''':

* задачи 1, 2: заочно [https://t.me/goluba_yurieva Голуба], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/december/exam_problem_1-2.pdf решения и критерии 1, 2];
* задачи 3, 4: очно 2025-01-11, аудитория R408, 14:40-17:40 [https://t.me/madn_boi Никита], [https://www.overleaf.com/read/dnhjcdrndqps#42f1ab решения и критерии 3, 4];
* задачи 5, 6: заочно [https://t.me/levensons Илья]

* дедлайн по заочным апелляциям: суббота 23:59

[https://docs.google.com/spreadsheets/d/1mxMCr3IEDy8EPFWGkn3_dsghhPNcZICEw9C9o5ZoZvA/edit?usp=sharing Распределение по аудиториям]

Даты пересдач: 2025-01-28 в 18:10, 2025-02-03 в 18:10 и комиссия 2025-02-11 в 18:10.

* задачи 1, 2: [https://t.me/goluba_yurieva Голуба], задачи 3, 4: [https://t.me/madn_boi Никита], задачи 5, 6: [https://t.me/levensons Илья], апелляция пересдачи 2 до 21:00 2025-02-10.

</div>

'''Контрольная, модуль 3''' состоится 2025-02-22 в 16:20, аудитории R201, R204, R404, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_galileo_demo/exam_galileo_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_galileo/pmi_probab_galileo_exam_2024-2025.pdf условие].

[https://docs.google.com/spreadsheets/d/1LZA-7TDz_yYeVPRx4BpBWJnQKZ7wqPgHDrN-Z0SM68M/edit?usp=sharing Распределение по аудиториям]

'''Контрольная, модуль 3, резервный день''': 2025-03-07, пятница, 18:10, R204, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_galileo/pmi_probab_galileo_exam_2024-2025_retake.pdf условия]

[https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_galileo_sol/pmi_probab_galileo_exam_2024-2025_sol.pdf Комментарии по проверке], показ работ кр3:

* Задачи 1-2, заочно до 23 марта, [https://t.me/PlatonPromyslov Платон]
* Задачи 3-4, заочно до 23 марта, [https://t.me/Moskchan Вероника]
* Задачи 5-6, очно, [https://t.me/madn_boi Никита], понедельник 24 марта, 17:40-19:40 ('''обратите внимание на изменение времени'''), аудитория M203

'''Экзамен, модуль 3''' состоится '''2025-03-28''' в 14:40, аудитории R201, R301, R404, R405, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_delta_demo/exam_delta_demo.pdf демо], условие.

== Учебные материалы ==

[https://github.com/bdemeshev/probability_pro/raw/master/probability_pro.pdf PP]: Листки с задачами к курсу.

[https://github.com/bdemeshev/stochastic_pro/raw/main/stochastic_pro.pdf StoPro]: Stochastic process problems.

[https://github.com/bdemeshev/probability_dna/raw/master/probability_dna.pdf PDNA]: Вероятностная ДНК = вкусные задачи по теории вероятностей.

[https://disk.yandex.ru/d/LZ6d2VZVqYvbDQ Видео-летопись семинаров и лекций] и [https://hse.liferooter.dev/ конспект] от тайного благожелателя (updated 2024-10-23]

[https://disk.yandex.ru/d/IoakBXz_6yygPw Официальные видео]

[https://www.cambridgeinternational.org/Images/344616-list-of-formulae-and-statistical-tables.pdf Cambridge statistical tables]

== Дневник самурая ==

2024-09-02, лекция 1: Определение события. Определение случайной величины. Аксиомы вероятности. Определение математического ожидания для дискретного случая.
Линейность математического ожидания. Математическое ожидание как центр масс. Первое знакомоство с перестановочным тестом и p-значением.

Можно глянуть: главы 2.1 и 7 из [https://arxiv.org/pdf/1411.5279 WTSK], метод рычага [https://mathcircle.berkeley.edu/sites/default/files/archivedocs/2007_2008/lectures/0708lecturespdf/MassPointsBMC07.pdf в геометрии].

2024-09-09, лекция 2: Метод первого шага (вероятность выпадения HTH ранее HHT, ожидаемое количество шагов). Метод разложения случайной величины в сумму. Определение случайного вектора. Использование интерпретации ожидания как центра масс в геометрии. Определение теоретической медианы.

Можно глянуть: глава 2.7.2 из [https://projects.iq.harvard.edu/stat110/home BItP], три стратегии решения задачи за 10 минут [https://www.youtube.com/watch?v=xH89DaEI35w Visually Explained]

2024-09-16, лекция 3: Получение новой информации приводит к пересчёту вероятностей. Определение условной вероятности. Формула полной вероятности. Формула Байеса.
Условное математическое ожидание. Формула полного математического ожидания. Независимость пары событий. Независимость набора событий в совокупности.
Независимость величин: неформальное определение. Критерий независимости произвольных величин. Критерий независимости дискретных величин.

2024-09-23, лекция 4: Доказательство критерия независимости для дискретных случайных величин: из независимости {X=x} и {Y=y} следует независимость {X in A} и {Y in B}. Независимость величин равносильна E(f(X))E(g(Y))=E(f(X)g(Y)) для произвольных f, g. Определение биномиальной, геометрической (как числа неудач до 1го успеха) и отрицательной биномиальной случайной величины. Общая идея за производящими функциями: как из функции, производящей исходы эксперимента, с помощью производных и подстановок выудить индивидуальные вероятности, совместные вероятности, ожидания любой степени E(X^a), E(X^a Y^b). Формальное определение функции, производящей вероятности, и функцию, производящей моменты, для одной случайной величины и пары случайных величин. Метатеорема: все теоремы о дискретных величинах доказываются перестановкой слагаемых. Основные дискретные распределения: биномиальное, геометрическое, отрицательное биномиальное.

2024-09-30, лекция 5: Ещё дискретные законы распределения: гипергеометрическое. Описание закона распределения через равномерное распределение на подмножестве R^n.
Функция плотности как линейная часть вероятности попадания в отрезок. Равномерное распределение на отрезке. Смешанные случайные величины. LOTUS: нахождение ожидания любой функции от случайной величины для величин с функцией плотности и смешанных величин. Функция распределения. Квантильная функция.

2024-10-07, лекция 6: Две геометрии случайных величин и событий: E(XY) как скалярное произведение, Cov(X, Y) как скалярное произведение. Математическое ожидание — проекция в рамках геометрии, задаваемой E(XY). Определение и геометрический смысл дисперсии, стандартного отклонения, ковариации и корреляции. Неравенство Маркова. Неравенство Чебышёва. Неравенство Йенсена: интуитивный смысл.

2024-10-14, лекция 7: Доказательство неравенства Йенсена. Энтропия как минимальное ожидаемое число вопросов для отгадывания и формальное определение. Кросс-энтропия.
Доказательство того, что кросс-энтропия больше либо равна энтропии. Совместная энтропия. Условная энтропия. Формула H(X) + H(Y|X) = H(X, Y) без доказательства.
Вывод плотности экспоненциального распределения из предпосылки отсутствия памяти. Экспоненциальное распределение максимизирует энтропию при заданном ожидании и неотрицательности.

* Cristopher Olah, Visual Information Theory, https://colah.github.io/posts/2015-09-Visual-Information/

* Grand Sanderson, Solving Wordle using information theory, [https://www.youtube.com/watch?v=v68zYyaEmEA youtube].

* Artem Kirsanov, Key equation behind probability, [https://www.youtube.com/watch?v=KHVR587oW8I youtube]. У Артёма кросс-энтропия обозначена H(P, Q), а не CE(P||Q)).

* [https://exuberant-arthropod-be8.notion.site/1-02-09-5e107ea1c4054594b8f37d955db8a2b0 Конспект] аналогичной старой лекции псмо на русском.

* Keith Conrad, [https://kconrad.math.uconn.edu/blurbs/analysis/entropypost.pdf Maximal entropy] distributions.

2024-10-21, лекция 8: Ковариационная матрица и её свойства. Совместная функция плотности. Условная функция плотности. Критерий независимости в терминах функций плотности и распределения.
Связь индивидуальной и совместной функций плотности и функций распределения. Смена плотности при замене переменных: домножение на якобиан и неформально про дифференциальные формы. Формула свёртки.
Разложение совместной плотности для графической модели. Представление произвольной совместной функции распределения с помощью копулы.

* Про дифференциальные формы: [https://www.youtube.com/watch?v=PaWj0WxUxGg&list=PL22w63XsKjqzQZtDZO_9s2HEMRJnaOTX7 videos] by Michael Penn, [https://www.math.purdue.edu/~arapura/preprints/diffforms.pdf short intro] by Dony Arapura

* What is a convolution от [https://www.youtube.com/watch?v=KuXjwB4LzSA 3b1b]

* From graphical models to [https://www.youtube.com/watch?v=yBc01ZeaFxw&list=PLISXH-iEM4JlFsAp7trKCWyxeO3M70QyJ Probabilistic ML]

2024-11-11, лекция 9: Пуассоновский поток: аксиомы. Вывод пуассоновского распределения количества событий и экспоненциального времени между событиями из аксиом.
Сумма независимых пуассоновских потоков — это пуассоновский поток (половина доказательства). Вероятность того, что одна экспоненциальная величина будет меньше другой, независимой.

2024-11-18, лекция 10: Гамма-распределение как сумма нескольких экспоненциальных: вывод плотности через вероятность попадания в малый отрезок.
Обобщение плотности на случай положительного параметра $a$. Гамма-функция. Бета-распределение как отношение гамма-распределений. Бета-функция.

2024-11-25, лекция 11: Вывод нормального распределения из предпосылок Гаусса. Вывод нормального распределения из предпосылок Гершеля — Максвелла.

* Saul Stahl, The [https://www.researchgate.net/publication/255668423_The_Evolution_of_the_Normal_Distribution Evolution] of the Normal Distribution: вывод Гаусса с историей.

* Grand Sanderson, [https://www.youtube.com/watch?v=cy8r7WSuT1I Why pi] is in the normal? вывод Гершеля—Максвелла

* James Stein, [http://www-biba.inrialpes.fr/Jaynes/cc07s.pdf Normal Distribution]: глава про нормальное распределение (Гаусс, Гершель—Максвелл, Лэндон etc)

* William Herschel, [https://music.yandex.com/album/209394/track/2121214 концерт для габоя]

* William Herschel, [https://www.informationphilosopher.com/solutions/scientists/quetelet/Herschel_Quetelet_Probabilities.pdf On the theory of Probabilities]: вывод нормального распределения словами на стр. 189-191

2024-12-02, лекция 12: многомерное нормальное распределение. Функция плотности невырожденного многомерного нормального. Функция производящая моменты для многомерного нормального. Формула Иссерлиса с ненулевыми ожиданиями и доказательством. Условное распределение: вывод условного ожидания и условной дисперсии через разложение величины в сумму независимых.

* [https://stats.stackexchange.com/questions/30588/ альтернативный вывод] условного многомерного нормального распределения
* Хитрый [https://github.com/bdemeshev/lis-isserlis/raw/main/lis-isserlis.pdf лис Иссерлис]

2024-12-09, лекция 13: сходимость по распределению, центральная предельная теорема с доказательством подменой слагаемых.

* Calvin Chin [https://arxiv.org/pdf/2106.00871 CLT proof] by swapping
* [https://bdemeshev.github.io/teaching_notes/clt_by_swapping Пересказ доказательства]

2024-12-16, лекция 14: использование бесконечно малых при нахождении ожиданий, трюк с добавление параметра, трюк с закольцовыванием отрезка при равномерном распределении.

* [https://dspace.mit.edu/bitstream/handle/1721.1/91482/1-203j-fall-2004/contents/lecture-notes/class5crofton.pdf Crofton's method]

2025-01-13, лекция 15: Неединственность предела по распределению. Неаддитивность предела по распределению. Предел по вероятности. Закон больших чисел в слабой форме (с доказательством при дополнительной предпосылке о конечности дисперсии). Теорема о непрерывном отображении.

2025-01-20, лекция 16: два определение сходимости почти наверное с доказательством эквивалентности. Сходимость в Lp. Из сходимости в Lp при p>=1 следует сходимость по вероятности. Из сходимости почти наверное следует сходимость по вероятностям. Контр-пример к разнице сходимостей почти наверное и по вероятности. Контр-пример к разнице сходимостей в Lp и по вероятности. Усиленный закон больших чисел (без доказательства). Леммы Слуцкого (без доказательства).

2025-01-27, лекция 17: характеристические функции и их свойства. Вывод характеристической функции нормального стандартного распределения через дифференциальное уравнение. Характеристическая функция биномиального распредеделения. Второе доказательство ЦПТ (через характеристические функции).

* [https://web.ma.utexas.edu/users/gordanz/notes/characteristic.pdf Gordan Zitkovic]: characteristic functions
* [https://sas.uwaterloo.ca/~dlmcleis/s901/chapt6.pdf McLeish]: clt proof

2025-02-03, лекция 18: пример последовательности сходящийся по вероятности с ожиданием стремящимся к бесконечности. Критерий Кэлли. Критерий оптимальной остановки Брасса.

* [https://en.wikipedia.org/wiki/Kelly_criterion wikipedia]: Kelly criterion
* [https://projecteuclid.org/journalArticle/Download?urlId=10.1214%2Faop%2F1019160340 Bruss]: sum the odds to one and stop

2025-02-10 лекция 19: Сигма-алгебра порождённая случайной величиной или набором из нескольких случайных величин. Замкнутость относительно счётного количества операций с множествами. Сигма-алгебра. Объединение сигма-алгебр не всегда сигма-алгебра. Пересечение сигма-алгебр всегда сигма-алгебра. Измеримость суммы. Борелевская сигма-алгебра.

2025-02-18, лекция 20: [https://us06web.zoom.us/j/82685613040?pwd=bqJoXGItwNOOWddXj1flfmPmDn6fMQ.1 онлайн, 18:10]: разбор задач про сигма-алгебры для подготовки к контрольной. Условное математическое ожидание относительно сигма-алгебры: интуиция и формальное определение. Пример подсчёта в дискретном случае.

2025-02-24, лекция 21: Условное ожидание и дисперсия относительно сигма-алгебры со свойствами. Условная вероятность.

2025-03-03, лекция 22: Определение фильтрации. Определение момента остановки. Сигма-алгебра на момент остановки. Определение мартингала.
Формулировка теоремы [https://en.wikipedia.org/wiki/Optional_stopping_theorem Дуба об остановке мартингала]. Задача о макаке, печатающей слово "абракадабра".

* [https://math.uchicago.edu/~may/VIGRE/VIGRE2011/REUPapers/Ai.pdf Martingales and ABRACADABRA]

2025-03-10, лекция 23: Два контр-примера к теореме дуба. Доказали теоремы Дуба для случая ограниченного момента времени. Тождество Вальда: формулировка и доказательство. Определение броуновского движения с явным упоминанием фильтрации и без. Ковариационная функция Cov(Ws, Wt).

2025-03-17, лекция 24: Преобразования винеровского процесса: масштабирование и инверсия. Закон распределения накопленного максимума. Закон распределения момента достижения заданного значения.

2025-03-24, лекция 25:

=== Семинары ===

==== 473 = 235 + 238 ====

2024-09-02, 06, семинар 1: задачи 1.1, 1.6, 3.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-09, 13, семинар 2: задачи 2.1, 2.3, 12.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-16, 20, семинар 3: задачи 7.12 и 7.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-23, 27, семинар 4: как извлечь P(X=3), E(X), E(X^2Y) из функции, производящей список исходов, 28.16 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-30, -10-04, семинар 5: 9.3в, 9.4, 9.7(абвд, кроме дисперсии, аргументы масштабирования и центра масс помимо интегралов), 9.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-10-07, 11, семинар 6: вычисление Cov, Var, Corr по табличке и из функции плотности, нахождение дисперсии для отрицательного биномиального распределения по свойствам.

2024-10-14, 18, семинар 7: вычисление энтропии геометрического распределения. Изменение энтропии при линейном преобразовании для дискретной величины и величины с функцией плотности.
Кросс-энтропия из экспоненциального в равномерное. Условная энтропия для дискретной таблички. Связь энтропии величины с функцией плотности и энтропия дискретной версии этой случайной величины после "огрубления" с малым шагом 1/k.

2024-10-21, -11-01, семинар 8: 16.18, 16.23 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], свёртка двух экспоненциальных величин

2024-11-11, 15, семинар 9: задачи на пуассоновский поток из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-11-18, 22, семинар 10: задачи на бета и гамма-распределение

2024-11-25, 29, семинар 11: задачи на нормальное распределение, 18.1, 18.2, 18.3, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-02, 06, семинар 12: задачи на многомерное нормальное: 24.16аб, 24.17аб, 24.18, 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-09, 13, семинар 13: ЦПТ и нормальное распределение: 20.2, 20.4, 18.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-19, семинар 14: разбор демо

2025-01-13, семинар 15: сходимость по вероятности: 20.1, 20.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-20, 24, семинар 16: связь между сходимостями, 20.11, 20.13 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-27, 31, семинар 17: 28.17, 28.18, 28.21 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-03, 07, семинар 18: 28.20аб, 28.22 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-10, 14, семинар 19: 6.2, 6.3, 6.11, измеримость произведения из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-18, 21, семинар 20: разбор демо

2025-02-24, 28, семинар 21: Условное математическое ожидание и условная дисперсия относительно сигма-алгебры в дискретном случае.
[https://github.com/bdemeshev/stochastic_pro/raw/main/stochastic_pro.pdf StoPro]: 8.22-8.25

2025-03-03, 10, семинар 22: доказали, что сигма алгебра, порождённая моментом остановки, лежит внутри сигма-алгебры событий на момент остановки.
Вероятность достижения границы -а раньше границы +b и среднее время достижения одной из этих границ для классического случайного блуждания.
Преобразование несимметричного случайного блуждание St в мартингал с помощью exp(alpha St).
[https://github.com/bdemeshev/stochastic_pro/raw/main/stochastic_pro.pdf StoPro]: 9.1, 9.3

2025-03-10, 14, семинар 23: решение двух классических задач с помощью мартингалов: [https://en.m.wikipedia.org/wiki/Bertrand%27s_ballot_theorem задача о голосовании], [https://math.dartmouth.edu/~pw/papers/gpdp.ps "следующая карта — красная"].

2025-03-17, 21, семинар 24: нахождение ожиданий и вероятностей E(W5W6 | W4), P(W1 > 0, W2 < 0); проверка мартингальности (Wt), (Wt^2 - t), (exp(aWt - a^2t/2)).

==== 236 ====

2024-09-06, семинар 1: в начале семинара рассмотрели основные понятия и определения для решения задач. Решили задачи 1.1, 1.6, 3.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-13, семинар 2: нашли ожидание случайной величины с геом. распределением. Решили задачи 2.1, 12.6, 12.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-09-20, семинар 3: решили задачи 7.12, 7.4(а), 7.7, 7.13(а) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-09-27, семинар 4: разобрали 7.13, почти разобрали 28.3 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Также рассмотрели один контрпример на независимость(тетраэдр Бернштейна).

2024-10-04, семинар 5: разобрались с определениями, решили 9.3(абв), 9.7(аб) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Решили задачку про три точки на отрезке и найти вероятность получить треугольник. Также вывели формулу для мат. ожидания неотрицательной величины через функцию распределения.

2024-10-14, семинар 6: обсудили дисперсию, ковариацию, коэффициент корреляции и их геометрический смысл. Решили задачу на оценку дисперсии ограниченной величины. посчитали дисперсию геометрического, биномиального. Посчитали дисперсию в задаче о письмах и конвертах.

???, семинар 7: определили энтропию, посчитали примеры для дискретных величин, для линейных преобразований. Доказали, что задача максимизации энтропии с фиксированной дисперсией достигается на нормальном распределении.

???, семинар 8: свертка двух экспоненциальных, 16.18 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

???, семинар 9: задачи на пуассоновский процесс из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

???, семинар 10: разбор кр.

???, семинар 11: разобрали задачи на нормальное распределение 18.1, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Также считали распределение суммы двух независимых нормальных.

==== 237 ====

2024-09-09, семинар 1: задачи 1.1, 2.2 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], вероятность что n ладей не бьют друг друга при случайной расстановке на шахматной доске n на n, матожидание числа треугольников в случайном графе на n вершинах через сумму индикаторов

2024-09-13, семинар 2: задачи 2.1, 2.6, 12.3, 12.6, 12.7 (без дисперсий) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-23, семинар 3: задачи 7.2, 7.13, 7.7, 7.8, плюс начали 7.15b (получили неверный ответ) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-27, семинар 4: дорешали 7.15b с небольшой демонстрацией на питоне, разобрали 28.2 для нечестной монетки плюс посчитали матожидание [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-10-04, семинар 5: задачи 9.1, 9.3абв, 9.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], философия про то почему бОльшая плотность не всегда означает бОльшую вероятность оказаться в окрестности данной точки (плотность может занимать слишком маленький объем)

2024-10-11, семинар 6: вспомнили определения Cov/Var/Corr, посчитали у пары дискретных величин по табличке вероятностей, посчитали дисперсию у биномиального, геометрического, непрерывного равномерного на отрезке.

2024-10-18, семинар 7: вычисление энтропии геометрического распределения; ограниченность энтропии снизу и сверху в дискретном случае; изменение энтропии при линейном преобразовании для дискретной величины и величины с функцией плотности; условная энтропия, KL дивергенция и кросс-энтропия, неотрицательность KL, интерпретация на пальцах с точки зрения теории информации.

2024-11-01, семинар 8: 16.18, 16.23 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], свёртка двух экспоненциальных величин

2024-11-08, семинар 9: решали пробный вариант КР

2024-11-15, семинар 10: 13.1, 13.2, 13.5, 13.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-11-22, семинар 11: разбор КР

2024-11-29, семинар 12: нормальное распределение, 18.1, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-06, семинар 13: многомерное нормальное распределение, изменение среднего и матрицы ковариаций при линейном преобразовании, 24.4а, 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-13, семинар 14: 24.4в из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], сходимости случайных величин, ЗБЧ и ЦПТ, 20.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-21, семинар 15: наследование сходимости, 20.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], плюс доказали предельную теорему Пуассона

2025-01-28, семинар 16: связь между сходимостями, 20.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], лемма Слуцкого, подмена дисперсии на выборочную дисперсию в ЦПТ

2025-02-04, семинар 17: базовые свойства хар функций, хар функция суммы независимых величин, 28.17, 28.20 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-18, семинар 18: вероятностное пространство в общем случае, сигма-алгебры, борелевская сигма-алгебра, сигма-алгебра порожденная случайной величиной, измеримость случайной величины относительно сигма-алгебры, 6.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], задачи на сигма алгебры из пробника КР

2025-02-25, семинар 19: условное матожидание относительно сигма алгебры, условное матожидание и дисперсия относительно случайной величины, закон полного матожидания и закон полной дисперсии, 22.1, 22.3, 22.5абв из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-03-04, семинар 20: показали, что условное матожидание минимизирует среднеквадратичный риск; нашли условное матожидание и условную дисперсию в 22.6 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], нашли E[X | X^2] для симметричного равномерного распределения, нашли E[X_1 | X_1 + ... + X_n] для набора i.i.d. величин, нашли E[Y] и Var(Y) для Y|X имеющего экспоненциальное распределение с параметром X

2025-03-11, семинар 21: мартингалы, момент остановки, теорема Дуба об остановке, задача о разорении игрока для честного и нечестного казино, вероятность выигрыша и вероятность разорения

2025-03-11, семинар 22: матожидание времени до момента остановки в задаче о разорении игрока, теорема Бертрана о выборах

==== 239 ====

2024-09-03, семинар 1: задачи 1.1, 1.4, пытались 1.8 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Ещё успели посчитать вероятность N=k бросков монеты до выпадения первого орла, матожидание N. И ещё сделали то же для количества бросков до выпадения 3 орлов (не в серии).

2024-09-10, семинар 2: доказали формулу включения-исключения, решили несложную задачу, порешали 2.7 задачи типа 12.*

2024-09-17, семинар 3: Решили две прямых задачи на формулу Байеса и формулу полной вероятности (без большого количества вычислений). Решили задачу поиска вероятности неисправного кофе-автомата из 3 при условии, что бросили деньги в 1 и 2 и их зажевало. Ещё нашли вероятность, что мяч будет у игрока 3 после шага 10 (все садятся в круг и на каждом шаге бросают мяч соседу с вероятностью 0.3 и оставляют у себя с вероятностью 0.4).

2024-09-24, семинар 4: Вспомнили про метод первого шага, используя формулу полной вероятности и введя в некотором виде формулу полного матожидания, записали формулу для вероятностей нахождения в состоянии i через произведение переходной матрицы на вектор. Совсем немного начали производящие функции, но решили не считать 31ю производную многочлена.

2024-10-01, семинар 5: Исследуем дискретные случайные величины (Биномиальная, Геометрическая и разные похожие) с использованием техник вычислений моментов через производящую функцию. Задачи на распределения величин, посчитанных по набору величин. Первая большая задача про плотность.

2024-10-08, семинар 6: разминочная про плотность и функцию распределения. Считаем дисперсию, ковариацию и корреляцию по 2x2 таблице и в равномерном распределении на круге и квадрате [-1,1]х[-1,1].

2024-10-15, семинар 7: пара задач про экспоненциальное распределение, расчёты по теории информации(считаем всякое, чтобы привыкнуть).

2024-10-22, семинар 8: письменные источники не сохранились до наших дней. Согласно преданиям, оьсуждали двери и около контрольной. Говорят, ввели пуассоновский процесс.

2024-???, семинар 9: решаем задачи на пуассоновское в разных формах и обсуждаем омалые в порядковых статистиках.

2024-???, семинар 10: учимся интерпретироввть гауссовское, пользоваться таблицами для функции Лапласа, а также немного работать с многомерным гауссовским.

2024-3-12, семинар 11: Копаем во все стороны многомерное гауссовское: считаем вероятности для линейных комбинаций гауссовских, проверяем зависимость, вычисляем условные законы, матожидания и ковариационные матрицы, вспоминаем спектральное разложение и разложение Холецкого.

==== 2311 ====

2024-09-06, семинар 1: вероятностное пространство, вероятность на нем, вероятность события, случайная величина и ее распределение (индикатор события, сумма двух кубиков, число бросаний монетки до первого орла), матожидание случайной величины (индикатор, один кубик, два кубика), линейность матожидания. Задачи на линейность матожидания, в том числе ЕГЭшная задача про турнир, 1.5, 3.5 с допвопросом о матожидании числа совпадений. Разговор о получении события произвольной вероятности монеткой в контексте 1.8

2024-09-13, семинар 2: Повторили матожидание суммы на примере 12.3. Обсудили условную вероятность и формулу полной вероятности, условное матожидание, решили задачи на метод первого шага 2.1, 2.3, 2.7.

2024-09-20, семинар 3: Условная вероятность, формула полной вероятности, формула Байеса: 7.1, классическая задача про болезни и тесты, простейшие задачки на общее понимание, обсуждение двух подходов: вычисления условной вероятности по формуле и составления нового вероятностного пространства и подсчет вероятности в нем. Независимые события (события "пики" и "дама" в обычной колоде и колоде с джокерами), независимые в совокупности события, построили пример попарно независимых, но не независимых в совокупности. Обсудили биномиальное распределение. решили задачу: "в корабле к отсеков, чтобы корабль затонул, нужно поразить 2. Независимо выпускают n ракет, каждая из которых поражает случайный отсек с вероятностью p. Найти вероятность потопления корабля"

2024-09-20, семинар 4: Примеры одинаково распределенных зависимых СВ, независимые СВ. Производящая функция и ее свойства. Посчитали для биномиального производящую функцию и второй момент. Обсудили, что будет меняться в случае функции, производящей моменты. Обсудили функцию, производящую множество исходов, как из нее доставать уже известные функции, как ее искать на примере бросания монетки до выпадания HT

2024-10-11, семинар 5: Составили табличку стандартных дискретных распределений, посчитали матожидание геометрического, обсудили дисперсию и ковариацию и их свойства (в дискретном случае), досчитали дисперсии основных распределений. Обсудили вероятностное пространство в общем случае, понятие СВ в общем случае. Дали определение ФР, посчитали ФР для явно заданной СВ. Дали определение плотности.

2024-10-12, семинар 6: Обсудили свойства ФР, как считать вероятность попадания в промежуток в терминах ФР. Выразили ФР 1/X, cos X. Обсудили как выражается веротяность попадания в множество через плотность. для 1/Х выразили плотность в случае абсолютной непрерывности Х. Обсудили формулу для МО в общем виде через интеграл Стильтьеса и как вычислять МО для функции, разлагающейся в сумму абсолютно нерпрерывной и функции скачков, посчитали МО для пары таких СВ

2024-10-18, семинар 7: Обсудили геометрию, заданную скалярным произведением EXY и cov(X,Y), поиск ортогонального элемента и проекции. Посчитали энтропию и кросс-энтропию в дискретном и непрерывном случаях, посчиали совместную и условную энтропию в дискретном случае (23.2, 23.4, 23.9)

2024-11-01, семинар 9: Совместная плотность и ф.р., подсчет вероятностей, маргинальные плотности, замена переменной через якобиан, свертка, матожидание

2024-11-09, семинар 10: Условная плотность, формула условной вероятности. Задача на восстановление маргинальной плотности по условной. Разбор задач из "Летучей мыши"

2024-11-19, семинар 11: Разбор контрольной работы

2024-11-22, семинар 12: Пуассоновский поток - решали задачки из задачника

2024-11-29, семинар 13: Нормальное распределение - задачи из PP, повторили функцию, порождающую моменты, обсудили ее свойства в абсолютно непрерывном случае

2024-12-06, семинар 14: Многомерное нормальное - обсудили два определения, связь между ними, независимость элементов нормального вектора при нулевой ковариации и почему это неверно для произвольных нормальных. порешали задачи 24.9а, 24.10, 24.17

2024-12-013, семинар 15: ЦПТ, решали задачи из задачника

2025-01-17, семинар 16: Сходимости почти наверное и по вероятности, связь со сходимостью по распределению. Посмотрели стандартные контрпримеры, показали, что если есть сходимость по распределению к константе, то есть и по вероятности. ЗБЧ Чебышева и Хинчина, УЗБЧ Колмогорова, обсудили 20.1 сколько успели.

2025-01-24, семинар 17: Сходимость в L_p, связи между сходимостями. Задача 20.11

2025-01-24, семинар 18: Характеристические функции и их свойства. Посчитали хар функции для равномерного, Бернулли, биномиального, Пуассона, экспоненциального. Показали, чо сумма нормальных нормальна. По функции пытались понять, может ли она быть характеристической и восстанавливали с.в.

==== 2310, 2312 ====

2024-09-06, семинар 1: задача 1.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Определили вероятностное пространство в виде тройки, множество исходов рассматривали конечное и счётное. Решили 3 счётные задачи на комбинаторику про колоды карт и счетные последовательности цифр. Привели геометрическое и аналитическое решения задачи про нахождение предела последовательности вероятностей. В конце нашли математическое ожидание геометрически распределённой случайной величины.

2024-09-13, семинар 2: задача 2.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Задача на упорядоченные и неупорядоченные наборы. Задача про классическое вероятностное пространство и про пространство с неравновероятными исходами. Разобрали парадокс Монти Холла. Ввели понятия условной вероятности и независимых случайных величин. Сформулировали и обсудили идеи доказательств трёх теорем: теорема умножения вероятностей, формула полной вероятности и формула Байеса.

2024-09-20, семинар 3: Решили задачу на определение условной вероятности. Обсудили парадокс теоремы Байеса на примере задачи про редкое заболевание, а также посмотрели простую программу на Python, которая считает вероятность в зависимости от количества проведенных тестов на заболевание. Обсудили условное математическое ожидание, некоторые его свойства и рассмотрели пример с подбрасыванием кубика. В конце решили задачу на парадокс дней рождений.

2024-09-27, семинар 4: Обсудили коллизии хеш-функций и связь с атакой "дней рождений". Определили независимость или зависимость случайных величин в четырёх разных вариантах. Обсудили, что неверно утверждать, что матожидание частного независимых случайных величин равно частному матожиданий, также привели пример использования подобного факта в некоторых статьях. В конце решили задачу на поиск функции производящей исходы, а также нашли E(X), E(Y^2), E(XY) с помощью найденной функции.

2024-10-04, семинар 5: Решили две простые задачи на условную вероятность и на теорему об умножении вероятностей. Обсудили связь дерева событий с условной вероятностью и теоремой об умножении вероятностей. Нашли производящую функцию моментов для геометрически распределенной случайной величины и с помощью нее нашли матожидание. Нашли производящую функцию моментов и матожидание суммы случайного количества н.о.р случайных величин.

2024-10-11, семинар 6: Привели аналогии между дискретными и непрерывными случайными величинами. Нарисовали графики функций от случайных величин. Вспомнили определение и свойства дисперсии. Решили простую задачу на подсчет дисперсии и нашли дисперсию геометрически распределенной случайной величины. Обсудили, когда может быть матожидание и дисперсия бесконечны. Далее вспомнили неравенства Маркова и Чебышева, вывели следствия и решили 3 задачи на применение этих неравенств. Обсудили, что неравенство Маркова может давать как точную оценку, так и очень слабую. Показали, что неотрицательность случайной величины в неравенстве Маркова является существенным условием.

2024-10-11, семинар 7: Повторили понятия энтропии в битах и натах, а также понятие дифференциальной энтропии. Нашли энтропию в схеме Бернулли и энтропии геометрического и экспоненциального распределений. Доказали простую оценку сверху для энтропии случайной величины, имеющей конечный носитель мощности n.

2024-11-1, семинар 8: Разобрали демо-вариант контрольной работы "Тыква".

2024-11-8, семинар 9: Разобрали демо-вариант контрольной работы "Летучая мышь".

2024-11-15, семинар 10: Понятие случайного процесса. Определение пуассоновского процесса, его свойства. Три простые задачи на пуассоновское распределение. Задачи 13.1 и 13.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-11-22, семинар 11: Определения Бета-функции и Гамма-функции. Бета и Гамма распределения, их функции плотности и графики. Нахождение моды случайных величин, имеющих Бета и Гамма распределения. Связь пуассоновского процесса с Гамма распределением. В конце нашли производящую функцию моментов Гамма распределения.

2024-11-29, семинар 12: Задачи 18.1, 18.2 и 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-12-06, семинар 13: Нашли многомерное нормальное распределение по виду функции плотности (константа на экспоненту с квадратичным показателем). С помощью формулы Иссерлиса нашли матожидания произведений различных или одинаковых случайных величин, имеющих многомерное нормальное распределение. Нашли условную вероятность многомерного распределения. Задача 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-12-13, семинар 14: Повторили определение сходимости по распределению и центральную предельную теорему. Решили задачи 20.2 и 20.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

== Источники ==

Источники мудрости, которые я постарался не замутить :)

[https://arxiv.org/pdf/1411.5279 WTSK]: Tim Hesterberg, What Teachers Should Know About the Bootstrap: вкусное и доступное изложение бутстрэпа и перестановочных тестов.

[https://projects.iq.harvard.edu/stat110/home BItP]: Blitzstein, Hwang, Introduction to Probability: учебник, записи лекций, гарвардский курс.

Теория вероятностей 2024/25 (основной поток)

2025-03-24T08:40:00Z

Bdemeshev: /* Дневник самурая */

= Преподаватели и учебные ассистенты =

{| class="wikitable" style="text-align:center"
|-
! Группа !! БПМИ235 !! БПМИ236 !! БПМИ237 !! БПМИ238 !! БПМИ239 !! БПМИ2310 !! БПМИ2311 !! БПМИ2312
|-
|| Лектор ||colspan="11"| [https://t.me/boris_demeshev Борис Демешев]
|-
|| Семинарист || [https://t.me/boris_demeshev Борис Демешев] || [https://t.me/levensons Илья Левин] || [https://t.me/madn_boi Никита Морозов] || [https://t.me/boris_demeshev Борис Демешев] || [https://t.me/XuMuK_MK Максим Каледин] || [https://t.me/goluba_yurieva Голуба Юрьева] || [https://t.me/Moskchan Вероника Владыкина] || [https://t.me/goluba_yurieva Голуба Юрьева]
|-
|| Ассистент || [https://t.me/nerhneiro Ира Скворцова] || [https://t.me/a_ameli_ig Амелия Алаева] || [https://t.me/htual Алина Бадахова] || [https://t.me/adelyagaraeva Аделя Гараева] || [https://t.me/mabrielka Мария Брель] || [https://t.me/zm_ann Анна Зыкова-Мызина] || [https://t.me/Yanlightv Яна Вежновец] || [https://t.me/nol_erk Кирилл Лавриненко]
|-
|| Ассистент курса ||colspan="11"| [https://t.me/Nick_Volya Никита Волянский]
|}

== Цели и задачи курса ==

侍には目標がなく道しかない [Samurai niwa mokuhyō ga naku michi shikanai]

У самурая нет цели и ничего кроме пути.

Вероятный план:
<div class="mw-collapsible mw-collapsed" style="width:1000px; overflow: hidden;">
1. Дискретное вероятностное пространство. Вероятность, математическое ожидание, теоретическая медиана.
Перестановочные тесты, p-значение для перестановочного теста.
Математическое ожидание = центр масс.

NB: здесь сходу рисуем дерево
NB: здесь нет задач на условную вероятность

!предупреждение об обозначениях случайных величин.
Российская традиция — греческие буквы, американская традиция — заглавные английские буквы.
Наш курс: любые буквы. Причина: теория вероятностей применяется в разных областях, где свои традиции.

NB: Способы вычисления вероятностей и ожиданий:
* полный перебор руками
* примерные вычисления руками
* полный перебор на компьютере
* симуляции на компьютере
* ...

2.
Методы решения задач:
* разложение величины в сумму
* метод первого шага
!идея: позиция в игре имеет цену
* just for fun: метод рычага в геометрии через ожидание
NB: рассказать здесь про комплексную случайную величину
NB: по сути здесь мы уже решаем задачи на марковские цепи не говоря страшных определений
LOTUS.

3. Условная вероятность и условное ожидание.
!идея: зануляем вероятности невозможных событий, а остальные — масштабируем.
формула полной вероятности
!идея: дерево "помнит" формулу полной вероятности
формула Байеса

Независимые события.
Независимые случайные величины.

4.
Методы решения задач:
* производящие функции многих переменных
функция как способ записать множество
HTT vs TTH
ABRACADABRA
!разложение по биномиальной формуле

?: можно здесь успеть функцию производящую моменты

5.
Биномиальное распределение.
Геометрическое и гипергеометрическое распределения.
Отрицательное биномиальное распределение.

6.
Равномерное распределение на множестве в R^n
Функция распределения.
Функция плотности и вероятностная дифференциальная форма.
!пояснение про неудачную традиционную терминологию "непрерывная случайная величина"
величина с функцией плотности, величина с непрерывной функцией распределения.

Квантили, квантильная функция.

7. Характеристики случайных величин и неравенства.
Дисперсия.
Энтропия.
Неравенство Маркова.
Неравенство Чебышёва.
Неравенство Йенсена.

Здесь конец модуля 1 и КР-1!

8. Пуассоновский поток.
Аксиомы пуассоновского потока.
Вывод экспоненциального распределения и пуассоновского распределения из аксиом.
Вывод экспоненциального распределения из предпосылки об отсутсвии памяти.

9. Нормальное распределение.
Нормальное распределение: предпосылки Хершела-Максвелла.
Нормальное распределение: аргументация Гаусса за среднее арифметическое.
Нормальное распределение: предпосылки Лэндона (до уравнения в частных производных).

10. Классические непрерывные распределения.

Гамма-распределение, бета-распределение.
Вывод нормального и экспоненциального распредений как минимизации энтропии.

11. Парные характеристики случайных величин.
Наилучшая линейная аппроксимация.
Ковариация.
Корреляция.
Кросс-энтропия.

Доказательство E(XY) = E(X) E(Y) для дискретных.
Ковариационная матрица и ожидание для случайных векторов.

12. Совместная и условная функция плостности.
Преобразования случайных величин.

13. Функция производящая моменты и характеристическая функция.
Распределение суммы случайного количества случайных величин.
Случайный выбор слагаемых.

14. Финансовые приложения

Оценивание опционов на биномиальном дереве.
Максимизация долгосрочной прибыли, связь с энтропией.
Возможно, индексы Гиттинса.

Здесь конец модуля 2 и КР-2

15. Сигма-алгебры.

Список известных величин как способ описания информации.
Идея условного ожидания как оптимального прогноза.
Сигма-алгебра как способ описания информации.
Измеримость случайной величины относительно сигма-алгебры.
Сигма-алгебра как ОДЗ для вероятности.
Борелевская сигма-алгебра.
Независимые случайные величины второе определение.

16. Условное математическое ожидание.
Условная дисперсия.
Сумма случайного количества случайных величин.

17. Сходимости случайных величин.

Сходимость по вероятности.
Закон больших чисел.
Сходимость почти наверное.
Усилинный закон больших чисел.
Сходимость по распределению.

18. Связь сходимостей.
Лемма Слуцкого.

19. Центральная предельная теорема.
Доказательство через подмену слагаемых.
Доказательство через характеристические функции.

Здесь контрольная.

20. Винеровский процесс
Условные ожидания, инверсия.

21. Байесовский подход к оцениванию параметров

Балансовое уравнение. Идея MCMC.

22. Доказательства свойств меры

23. Алгоритм построения математического ожидания в общем случае.
Лемма Фату.
Теорема о мажорируемой сходимости.
Теорема о монотонной сходимости.

24. Резерв.

Жемчужинки, которые, вероятно, не успеем:

А. Методы решения задач:
подсчёт случаев с помощью леммы Бернсайда и теоремы Пойа о перечислении
(Burnside lemma, PET = Polya Enumeration Theorem)

B. вероятностные доказательства детерминистических теорем

</div>

== Оценивание ==

Оценка за семестр-1 = 0.2 Домашние задания семестра-1 + 0.4 Контрольная-Альфа + 0.4 Экзамен-Бета.

Финальная оценка за курс = 0.5 Оценка за семестр-1 + 0.1 Домашние задания семестра-2 + 0.2 Контрольная-Гамма + 0.2 Экзамен-Дельта.

Каждая оценка (суммарные итоги за домашние задания, контрольные, экзамены) — целое число от 0 до 100.
Для перевода в 10-балльную шкалу промежуточной оценки за семестр-1 и финальной оценки используется деление на 10
с арифметическим округлением. Например, если Максим получил "оценку за семестр-1" 65 баллов, то в ведомость за первый семестр идёт 7, а далее в формуле финальной оценки за курс используется 65.

=== Домашние задания для самураев ===

Домашние задания [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/home_assignments/home_assignments.pdf одним файлом] и [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/blob/main/home_assignments/ отдельными файлами].
Домашние задания имеют равный вес.
В конце каждой лекции (за исключением ближайших к экзамену лекций)
выдается домашнее задание сроком на две недели.
Дедлайн жёсткий, однако студент имеет право просрочить три домашних задания на неделю каждое без штрафа.

Формат сдачи ДЗ: один pdf-файл (решение текстовых задач) и один ipynb-файл (решение компьютерных задач).
В pdf-файл можно поместить аккуратно написанное отсканированное решение, а можно скомпилировать pdf из теха или маркдауна.
Ещё можно вместо pdf-файла написать всё в ipynb.
Бонусов за сдачу домашки в техе нет. Пример [https://www.overleaf.com/read/qmrkwpzvmqbk шаблона].

Обратите внимание: '''время каждого дедлайна — 23:59'''.

=== Ведомость с оценками за ДЗ ===

{| class="wikitable" style="text-align:center"
|-
! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1872081500#gid=1872081500 235] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1374497930#gid=1374497930 236] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1183164252#gid=1183164252 237] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=408179311#gid=408179311 238] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1032422408#gid=1032422408 239] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1603236891#gid=1603236891 2310] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=791330236#gid=791330236 2311] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=23847300#gid=23847300 2312]
|}

[https://docs.google.com/spreadsheets/d/14hD7-SLmAA1omdkhPlt3blRHDHVGTDS8ZgvLWscvMz8/edit?usp=sharing Сводная ведомость всех оценок]

=== Контрольные работы и экзамен ===

Вес каждой задачи будет написан в тексте работы.
Задачи с ненаписанным по случайности весом имеют равный вес.
Для пропущенных по уважительной причине контрольных будет выделен один день для переписывания.
При пропуске дня переписывания, в том числе по уважительным причинам, ещё одного шанса не предоставляется.

<div class="mw-collapsible mw-collapsed" style="width:1000px; overflow: hidden;">

'''Контрольная работа 1''' состоится 2024-11-11 в 16:20, аудитории: R401, R305, R206, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_halloween_demo/exam_halloween_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/midterm/midterm-alpha.pdf условие с критериями и решениями].

'''Резервный день 1''' для пропустивших по уважительной причине состоится 2024-12-02 в 19:40, R405

'''Показ контрольной 1''':

* задачи 1, 2: заочно до 2024-12-08, [https://t.me/Moskchan Вероника]
* задачи 3, 4 [https://t.me/boris_demeshev Борис], очно, четверг, 2024-12-05, 18:10-21:00, G408
* задачи 5, 6 [https://t.me/XuMuK_MK Максим]: очно, четверг, 2024-12-05, 18:10-21:00, G408

'''Экзамен, модуль 2''' состоится '''''2024-12-24 в 10:00''''', аудитории R301, R304, R401, R404, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_winter_demo/exam_winter_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/december/pmi_probab_2024_december.pdf условие].

Если вы не хотите идти на экзамен, то заполните [https://forms.gle/UQzW77RrPvcdahG47 эту форму], чтобы получить ноль при неявке

'''Апелляция экзамена''':

* задачи 1, 2: заочно [https://t.me/goluba_yurieva Голуба], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/december/exam_problem_1-2.pdf решения и критерии 1, 2];
* задачи 3, 4: очно 2025-01-11, аудитория R408, 14:40-17:40 [https://t.me/madn_boi Никита], [https://www.overleaf.com/read/dnhjcdrndqps#42f1ab решения и критерии 3, 4];
* задачи 5, 6: заочно [https://t.me/levensons Илья]

* дедлайн по заочным апелляциям: суббота 23:59

[https://docs.google.com/spreadsheets/d/1mxMCr3IEDy8EPFWGkn3_dsghhPNcZICEw9C9o5ZoZvA/edit?usp=sharing Распределение по аудиториям]

Даты пересдач: 2025-01-28 в 18:10, 2025-02-03 в 18:10 и комиссия 2025-02-11 в 18:10.

* задачи 1, 2: [https://t.me/goluba_yurieva Голуба], задачи 3, 4: [https://t.me/madn_boi Никита], задачи 5, 6: [https://t.me/levensons Илья], апелляция пересдачи 2 до 21:00 2025-02-10.

</div>

'''Контрольная, модуль 3''' состоится 2025-02-22 в 16:20, аудитории R201, R204, R404, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_galileo_demo/exam_galileo_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_galileo/pmi_probab_galileo_exam_2024-2025.pdf условие].

[https://docs.google.com/spreadsheets/d/1LZA-7TDz_yYeVPRx4BpBWJnQKZ7wqPgHDrN-Z0SM68M/edit?usp=sharing Распределение по аудиториям]

'''Контрольная, модуль 3, резервный день''': 2025-03-07, пятница, 18:10, R204, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_galileo/pmi_probab_galileo_exam_2024-2025_retake.pdf условия]

[https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_galileo_sol/pmi_probab_galileo_exam_2024-2025_sol.pdf Комментарии по проверке], показ работ кр3:

* Задачи 1-2, заочно до 23 марта, [https://t.me/PlatonPromyslov Платон]
* Задачи 3-4, заочно до 23 марта, [https://t.me/Moskchan Вероника]
* Задачи 5-6, очно, [https://t.me/madn_boi Никита], понедельник 24 марта, 17:40-19:40 ('''обратите внимание на изменение времени'''), аудитория M203

'''Экзамен, модуль 3''' состоится '''2025-03-28''' в 14:40, аудитории R201, R301, R404, R405, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_delta_demo/exam_delta_demo.pdf демо], условие.

== Учебные материалы ==

[https://github.com/bdemeshev/probability_pro/raw/master/probability_pro.pdf PP]: Листки с задачами к курсу.

[https://github.com/bdemeshev/stochastic_pro/raw/main/stochastic_pro.pdf StoPro]: Stochastic process problems.

[https://github.com/bdemeshev/probability_dna/raw/master/probability_dna.pdf PDNA]: Вероятностная ДНК = вкусные задачи по теории вероятностей.

[https://disk.yandex.ru/d/LZ6d2VZVqYvbDQ Видео-летопись семинаров и лекций] и [https://hse.liferooter.dev/ конспект] от тайного благожелателя (updated 2024-10-23]

[https://disk.yandex.ru/d/IoakBXz_6yygPw Официальные видео]

[https://www.cambridgeinternational.org/Images/344616-list-of-formulae-and-statistical-tables.pdf Cambridge statistical tables]

== Дневник самурая ==

2024-09-02, лекция 1: Определение события. Определение случайной величины. Аксиомы вероятности. Определение математического ожидания для дискретного случая.
Линейность математического ожидания. Математическое ожидание как центр масс. Первое знакомоство с перестановочным тестом и p-значением.

Можно глянуть: главы 2.1 и 7 из [https://arxiv.org/pdf/1411.5279 WTSK], метод рычага [https://mathcircle.berkeley.edu/sites/default/files/archivedocs/2007_2008/lectures/0708lecturespdf/MassPointsBMC07.pdf в геометрии].

2024-09-09, лекция 2: Метод первого шага (вероятность выпадения HTH ранее HHT, ожидаемое количество шагов). Метод разложения случайной величины в сумму. Определение случайного вектора. Использование интерпретации ожидания как центра масс в геометрии. Определение теоретической медианы.

Можно глянуть: глава 2.7.2 из [https://projects.iq.harvard.edu/stat110/home BItP], три стратегии решения задачи за 10 минут [https://www.youtube.com/watch?v=xH89DaEI35w Visually Explained]

2024-09-16, лекция 3: Получение новой информации приводит к пересчёту вероятностей. Определение условной вероятности. Формула полной вероятности. Формула Байеса.
Условное математическое ожидание. Формула полного математического ожидания. Независимость пары событий. Независимость набора событий в совокупности.
Независимость величин: неформальное определение. Критерий независимости произвольных величин. Критерий независимости дискретных величин.

2024-09-23, лекция 4: Доказательство критерия независимости для дискретных случайных величин: из независимости {X=x} и {Y=y} следует независимость {X in A} и {Y in B}. Независимость величин равносильна E(f(X))E(g(Y))=E(f(X)g(Y)) для произвольных f, g. Определение биномиальной, геометрической (как числа неудач до 1го успеха) и отрицательной биномиальной случайной величины. Общая идея за производящими функциями: как из функции, производящей исходы эксперимента, с помощью производных и подстановок выудить индивидуальные вероятности, совместные вероятности, ожидания любой степени E(X^a), E(X^a Y^b). Формальное определение функции, производящей вероятности, и функцию, производящей моменты, для одной случайной величины и пары случайных величин. Метатеорема: все теоремы о дискретных величинах доказываются перестановкой слагаемых. Основные дискретные распределения: биномиальное, геометрическое, отрицательное биномиальное.

2024-09-30, лекция 5: Ещё дискретные законы распределения: гипергеометрическое. Описание закона распределения через равномерное распределение на подмножестве R^n.
Функция плотности как линейная часть вероятности попадания в отрезок. Равномерное распределение на отрезке. Смешанные случайные величины. LOTUS: нахождение ожидания любой функции от случайной величины для величин с функцией плотности и смешанных величин. Функция распределения. Квантильная функция.

2024-10-07, лекция 6: Две геометрии случайных величин и событий: E(XY) как скалярное произведение, Cov(X, Y) как скалярное произведение. Математическое ожидание — проекция в рамках геометрии, задаваемой E(XY). Определение и геометрический смысл дисперсии, стандартного отклонения, ковариации и корреляции. Неравенство Маркова. Неравенство Чебышёва. Неравенство Йенсена: интуитивный смысл.

2024-10-14, лекция 7: Доказательство неравенства Йенсена. Энтропия как минимальное ожидаемое число вопросов для отгадывания и формальное определение. Кросс-энтропия.
Доказательство того, что кросс-энтропия больше либо равна энтропии. Совместная энтропия. Условная энтропия. Формула H(X) + H(Y|X) = H(X, Y) без доказательства.
Вывод плотности экспоненциального распределения из предпосылки отсутствия памяти. Экспоненциальное распределение максимизирует энтропию при заданном ожидании и неотрицательности.

* Cristopher Olah, Visual Information Theory, https://colah.github.io/posts/2015-09-Visual-Information/

* Grand Sanderson, Solving Wordle using information theory, [https://www.youtube.com/watch?v=v68zYyaEmEA youtube].

* Artem Kirsanov, Key equation behind probability, [https://www.youtube.com/watch?v=KHVR587oW8I youtube]. У Артёма кросс-энтропия обозначена H(P, Q), а не CE(P||Q)).

* [https://exuberant-arthropod-be8.notion.site/1-02-09-5e107ea1c4054594b8f37d955db8a2b0 Конспект] аналогичной старой лекции псмо на русском.

* Keith Conrad, [https://kconrad.math.uconn.edu/blurbs/analysis/entropypost.pdf Maximal entropy] distributions.

2024-10-21, лекция 8: Ковариационная матрица и её свойства. Совместная функция плотности. Условная функция плотности. Критерий независимости в терминах функций плотности и распределения.
Связь индивидуальной и совместной функций плотности и функций распределения. Смена плотности при замене переменных: домножение на якобиан и неформально про дифференциальные формы. Формула свёртки.
Разложение совместной плотности для графической модели. Представление произвольной совместной функции распределения с помощью копулы.

* Про дифференциальные формы: [https://www.youtube.com/watch?v=PaWj0WxUxGg&list=PL22w63XsKjqzQZtDZO_9s2HEMRJnaOTX7 videos] by Michael Penn, [https://www.math.purdue.edu/~arapura/preprints/diffforms.pdf short intro] by Dony Arapura

* What is a convolution от [https://www.youtube.com/watch?v=KuXjwB4LzSA 3b1b]

* From graphical models to [https://www.youtube.com/watch?v=yBc01ZeaFxw&list=PLISXH-iEM4JlFsAp7trKCWyxeO3M70QyJ Probabilistic ML]

2024-11-11, лекция 9: Пуассоновский поток: аксиомы. Вывод пуассоновского распределения количества событий и экспоненциального времени между событиями из аксиом.
Сумма независимых пуассоновских потоков — это пуассоновский поток (половина доказательства). Вероятность того, что одна экспоненциальная величина будет меньше другой, независимой.

2024-11-18, лекция 10: Гамма-распределение как сумма нескольких экспоненциальных: вывод плотности через вероятность попадания в малый отрезок.
Обобщение плотности на случай положительного параметра $a$. Гамма-функция. Бета-распределение как отношение гамма-распределений. Бета-функция.

2024-11-25, лекция 11: Вывод нормального распределения из предпосылок Гаусса. Вывод нормального распределения из предпосылок Гершеля — Максвелла.

* Saul Stahl, The [https://www.researchgate.net/publication/255668423_The_Evolution_of_the_Normal_Distribution Evolution] of the Normal Distribution: вывод Гаусса с историей.

* Grand Sanderson, [https://www.youtube.com/watch?v=cy8r7WSuT1I Why pi] is in the normal? вывод Гершеля—Максвелла

* James Stein, [http://www-biba.inrialpes.fr/Jaynes/cc07s.pdf Normal Distribution]: глава про нормальное распределение (Гаусс, Гершель—Максвелл, Лэндон etc)

* William Herschel, [https://music.yandex.com/album/209394/track/2121214 концерт для габоя]

* William Herschel, [https://www.informationphilosopher.com/solutions/scientists/quetelet/Herschel_Quetelet_Probabilities.pdf On the theory of Probabilities]: вывод нормального распределения словами на стр. 189-191

2024-12-02, лекция 12: многомерное нормальное распределение. Функция плотности невырожденного многомерного нормального. Функция производящая моменты для многомерного нормального. Формула Иссерлиса с ненулевыми ожиданиями и доказательством. Условное распределение: вывод условного ожидания и условной дисперсии через разложение величины в сумму независимых.

* [https://stats.stackexchange.com/questions/30588/ альтернативный вывод] условного многомерного нормального распределения
* Хитрый [https://github.com/bdemeshev/lis-isserlis/raw/main/lis-isserlis.pdf лис Иссерлис]

2024-12-09, лекция 13: сходимость по распределению, центральная предельная теорема с доказательством подменой слагаемых.

* Calvin Chin [https://arxiv.org/pdf/2106.00871 CLT proof] by swapping
* [https://bdemeshev.github.io/teaching_notes/clt_by_swapping Пересказ доказательства]

2024-12-16, лекция 14: использование бесконечно малых при нахождении ожиданий, трюк с добавление параметра, трюк с закольцовыванием отрезка при равномерном распределении.

* [https://dspace.mit.edu/bitstream/handle/1721.1/91482/1-203j-fall-2004/contents/lecture-notes/class5crofton.pdf Crofton's method]

2025-01-13, лекция 15: Неединственность предела по распределению. Неаддитивность предела по распределению. Предел по вероятности. Закон больших чисел в слабой форме (с доказательством при дополнительной предпосылке о конечности дисперсии). Теорема о непрерывном отображении.

2025-01-20, лекция 16: два определение сходимости почти наверное с доказательством эквивалентности. Сходимость в Lp. Из сходимости в Lp при p>=1 следует сходимость по вероятности. Из сходимости почти наверное следует сходимость по вероятностям. Контр-пример к разнице сходимостей почти наверное и по вероятности. Контр-пример к разнице сходимостей в Lp и по вероятности. Усиленный закон больших чисел (без доказательства). Леммы Слуцкого (без доказательства).

2025-01-27, лекция 17: характеристические функции и их свойства. Вывод характеристической функции нормального стандартного распределения через дифференциальное уравнение. Характеристическая функция биномиального распредеделения. Второе доказательство ЦПТ (через характеристические функции).

* [https://web.ma.utexas.edu/users/gordanz/notes/characteristic.pdf Gordan Zitkovic]: characteristic functions
* [https://sas.uwaterloo.ca/~dlmcleis/s901/chapt6.pdf McLeish]: clt proof

2025-02-03, лекция 18: пример последовательности сходящийся по вероятности с ожиданием стремящимся к бесконечности. Критерий Кэлли. Критерий оптимальной остановки Брасса.

* [https://en.wikipedia.org/wiki/Kelly_criterion wikipedia]: Kelly criterion
* [https://projecteuclid.org/journalArticle/Download?urlId=10.1214%2Faop%2F1019160340 Bruss]: sum the odds to one and stop

2025-02-10 лекция 19: Сигма-алгебра порождённая случайной величиной или набором из нескольких случайных величин. Замкнутость относительно счётного количества операций с множествами. Сигма-алгебра. Объединение сигма-алгебр не всегда сигма-алгебра. Пересечение сигма-алгебр всегда сигма-алгебра. Измеримость суммы. Борелевская сигма-алгебра.

2025-02-18, лекция 20: [https://us06web.zoom.us/j/82685613040?pwd=bqJoXGItwNOOWddXj1flfmPmDn6fMQ.1 онлайн, 18:10]: разбор задач про сигма-алгебры для подготовки к контрольной. Условное математическое ожидание относительно сигма-алгебры: интуиция и формальное определение. Пример подсчёта в дискретном случае.

2025-02-24, лекция 21: Условное ожидание и дисперсия относительно сигма-алгебры со свойствами. Условная вероятность.

2025-03-03, лекция 22: Определение фильтрации. Определение момента остановки. Сигма-алгебра на момент остановки. Определение мартингала.
Формулировка теоремы [https://en.wikipedia.org/wiki/Optional_stopping_theorem Дуба об остановке мартингала]. Задача о макаке, печатающей слово "абракадабра".

2025-03-10, лекция 23: Два контр-примера к теореме дуба. Доказали теоремы Дуба для случая ограниченного момента времени. Тождество Вальда: формулировка и доказательство. Определение броуновского движения с явным упоминанием фильтрации и без. Ковариационная функция Cov(Ws, Wt).

2025-03-17, лекция 24: Преобразования винеровского процесса: масштабирование и инверсия. Закон распределения накопленного максимума. Закон распределения момента достижения заданного значения.

2025-03-24, лекция 25:

=== Семинары ===

==== 473 = 235 + 238 ====

2024-09-02, 06, семинар 1: задачи 1.1, 1.6, 3.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-09, 13, семинар 2: задачи 2.1, 2.3, 12.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-16, 20, семинар 3: задачи 7.12 и 7.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-23, 27, семинар 4: как извлечь P(X=3), E(X), E(X^2Y) из функции, производящей список исходов, 28.16 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-30, -10-04, семинар 5: 9.3в, 9.4, 9.7(абвд, кроме дисперсии, аргументы масштабирования и центра масс помимо интегралов), 9.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-10-07, 11, семинар 6: вычисление Cov, Var, Corr по табличке и из функции плотности, нахождение дисперсии для отрицательного биномиального распределения по свойствам.

2024-10-14, 18, семинар 7: вычисление энтропии геометрического распределения. Изменение энтропии при линейном преобразовании для дискретной величины и величины с функцией плотности.
Кросс-энтропия из экспоненциального в равномерное. Условная энтропия для дискретной таблички. Связь энтропии величины с функцией плотности и энтропия дискретной версии этой случайной величины после "огрубления" с малым шагом 1/k.

2024-10-21, -11-01, семинар 8: 16.18, 16.23 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], свёртка двух экспоненциальных величин

2024-11-11, 15, семинар 9: задачи на пуассоновский поток из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-11-18, 22, семинар 10: задачи на бета и гамма-распределение

2024-11-25, 29, семинар 11: задачи на нормальное распределение, 18.1, 18.2, 18.3, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-02, 06, семинар 12: задачи на многомерное нормальное: 24.16аб, 24.17аб, 24.18, 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-09, 13, семинар 13: ЦПТ и нормальное распределение: 20.2, 20.4, 18.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-19, семинар 14: разбор демо

2025-01-13, семинар 15: сходимость по вероятности: 20.1, 20.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-20, 24, семинар 16: связь между сходимостями, 20.11, 20.13 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-27, 31, семинар 17: 28.17, 28.18, 28.21 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-03, 07, семинар 18: 28.20аб, 28.22 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-10, 14, семинар 19: 6.2, 6.3, 6.11, измеримость произведения из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-18, 21, семинар 20: разбор демо

2025-02-24, 28, семинар 21: Условное математическое ожидание и условная дисперсия относительно сигма-алгебры в дискретном случае.
[https://github.com/bdemeshev/stochastic_pro/raw/main/stochastic_pro.pdf StoPro]: 8.22-8.25

2025-03-03, 10, семинар 22: доказали, что сигма алгебра, порождённая моментом остановки, лежит внутри сигма-алгебры событий на момент остановки.
Вероятность достижения границы -а раньше границы +b и среднее время достижения одной из этих границ для классического случайного блуждания.
Преобразование несимметричного случайного блуждание St в мартингал с помощью exp(alpha St).
[https://github.com/bdemeshev/stochastic_pro/raw/main/stochastic_pro.pdf StoPro]: 9.1, 9.3

2025-03-10, 14, семинар 23: решение двух классических задач с помощью мартингалов: [https://en.m.wikipedia.org/wiki/Bertrand%27s_ballot_theorem задача о голосовании], [https://math.dartmouth.edu/~pw/papers/gpdp.ps "следующая карта — красная"].

2025-03-17, 21, семинар 24: нахождение ожиданий и вероятностей E(W5W6 | W4), P(W1 > 0, W2 < 0); проверка мартингальности (Wt), (Wt^2 - t), (exp(aWt - a^2t/2)).

==== 236 ====

2024-09-06, семинар 1: в начале семинара рассмотрели основные понятия и определения для решения задач. Решили задачи 1.1, 1.6, 3.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-13, семинар 2: нашли ожидание случайной величины с геом. распределением. Решили задачи 2.1, 12.6, 12.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-09-20, семинар 3: решили задачи 7.12, 7.4(а), 7.7, 7.13(а) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-09-27, семинар 4: разобрали 7.13, почти разобрали 28.3 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Также рассмотрели один контрпример на независимость(тетраэдр Бернштейна).

2024-10-04, семинар 5: разобрались с определениями, решили 9.3(абв), 9.7(аб) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Решили задачку про три точки на отрезке и найти вероятность получить треугольник. Также вывели формулу для мат. ожидания неотрицательной величины через функцию распределения.

2024-10-14, семинар 6: обсудили дисперсию, ковариацию, коэффициент корреляции и их геометрический смысл. Решили задачу на оценку дисперсии ограниченной величины. посчитали дисперсию геометрического, биномиального. Посчитали дисперсию в задаче о письмах и конвертах.

???, семинар 7: определили энтропию, посчитали примеры для дискретных величин, для линейных преобразований. Доказали, что задача максимизации энтропии с фиксированной дисперсией достигается на нормальном распределении.

???, семинар 8: свертка двух экспоненциальных, 16.18 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

???, семинар 9: задачи на пуассоновский процесс из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

???, семинар 10: разбор кр.

???, семинар 11: разобрали задачи на нормальное распределение 18.1, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Также считали распределение суммы двух независимых нормальных.

==== 237 ====

2024-09-09, семинар 1: задачи 1.1, 2.2 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], вероятность что n ладей не бьют друг друга при случайной расстановке на шахматной доске n на n, матожидание числа треугольников в случайном графе на n вершинах через сумму индикаторов

2024-09-13, семинар 2: задачи 2.1, 2.6, 12.3, 12.6, 12.7 (без дисперсий) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-23, семинар 3: задачи 7.2, 7.13, 7.7, 7.8, плюс начали 7.15b (получили неверный ответ) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-27, семинар 4: дорешали 7.15b с небольшой демонстрацией на питоне, разобрали 28.2 для нечестной монетки плюс посчитали матожидание [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-10-04, семинар 5: задачи 9.1, 9.3абв, 9.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], философия про то почему бОльшая плотность не всегда означает бОльшую вероятность оказаться в окрестности данной точки (плотность может занимать слишком маленький объем)

2024-10-11, семинар 6: вспомнили определения Cov/Var/Corr, посчитали у пары дискретных величин по табличке вероятностей, посчитали дисперсию у биномиального, геометрического, непрерывного равномерного на отрезке.

2024-10-18, семинар 7: вычисление энтропии геометрического распределения; ограниченность энтропии снизу и сверху в дискретном случае; изменение энтропии при линейном преобразовании для дискретной величины и величины с функцией плотности; условная энтропия, KL дивергенция и кросс-энтропия, неотрицательность KL, интерпретация на пальцах с точки зрения теории информации.

2024-11-01, семинар 8: 16.18, 16.23 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], свёртка двух экспоненциальных величин

2024-11-08, семинар 9: решали пробный вариант КР

2024-11-15, семинар 10: 13.1, 13.2, 13.5, 13.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-11-22, семинар 11: разбор КР

2024-11-29, семинар 12: нормальное распределение, 18.1, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-06, семинар 13: многомерное нормальное распределение, изменение среднего и матрицы ковариаций при линейном преобразовании, 24.4а, 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-13, семинар 14: 24.4в из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], сходимости случайных величин, ЗБЧ и ЦПТ, 20.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-21, семинар 15: наследование сходимости, 20.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], плюс доказали предельную теорему Пуассона

2025-01-28, семинар 16: связь между сходимостями, 20.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], лемма Слуцкого, подмена дисперсии на выборочную дисперсию в ЦПТ

2025-02-04, семинар 17: базовые свойства хар функций, хар функция суммы независимых величин, 28.17, 28.20 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-18, семинар 18: вероятностное пространство в общем случае, сигма-алгебры, борелевская сигма-алгебра, сигма-алгебра порожденная случайной величиной, измеримость случайной величины относительно сигма-алгебры, 6.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], задачи на сигма алгебры из пробника КР

2025-02-25, семинар 19: условное матожидание относительно сигма алгебры, условное матожидание и дисперсия относительно случайной величины, закон полного матожидания и закон полной дисперсии, 22.1, 22.3, 22.5абв из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-03-04, семинар 20: показали, что условное матожидание минимизирует среднеквадратичный риск; нашли условное матожидание и условную дисперсию в 22.6 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], нашли E[X | X^2] для симметричного равномерного распределения, нашли E[X_1 | X_1 + ... + X_n] для набора i.i.d. величин, нашли E[Y] и Var(Y) для Y|X имеющего экспоненциальное распределение с параметром X

2025-03-11, семинар 21: мартингалы, момент остановки, теорема Дуба об остановке, задача о разорении игрока для честного и нечестного казино, вероятность выигрыша и вероятность разорения

2025-03-11, семинар 22: матожидание времени до момента остановки в задаче о разорении игрока, теорема Бертрана о выборах

==== 239 ====

2024-09-03, семинар 1: задачи 1.1, 1.4, пытались 1.8 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Ещё успели посчитать вероятность N=k бросков монеты до выпадения первого орла, матожидание N. И ещё сделали то же для количества бросков до выпадения 3 орлов (не в серии).

2024-09-10, семинар 2: доказали формулу включения-исключения, решили несложную задачу, порешали 2.7 задачи типа 12.*

2024-09-17, семинар 3: Решили две прямых задачи на формулу Байеса и формулу полной вероятности (без большого количества вычислений). Решили задачу поиска вероятности неисправного кофе-автомата из 3 при условии, что бросили деньги в 1 и 2 и их зажевало. Ещё нашли вероятность, что мяч будет у игрока 3 после шага 10 (все садятся в круг и на каждом шаге бросают мяч соседу с вероятностью 0.3 и оставляют у себя с вероятностью 0.4).

2024-09-24, семинар 4: Вспомнили про метод первого шага, используя формулу полной вероятности и введя в некотором виде формулу полного матожидания, записали формулу для вероятностей нахождения в состоянии i через произведение переходной матрицы на вектор. Совсем немного начали производящие функции, но решили не считать 31ю производную многочлена.

2024-10-01, семинар 5: Исследуем дискретные случайные величины (Биномиальная, Геометрическая и разные похожие) с использованием техник вычислений моментов через производящую функцию. Задачи на распределения величин, посчитанных по набору величин. Первая большая задача про плотность.

2024-10-08, семинар 6: разминочная про плотность и функцию распределения. Считаем дисперсию, ковариацию и корреляцию по 2x2 таблице и в равномерном распределении на круге и квадрате [-1,1]х[-1,1].

2024-10-15, семинар 7: пара задач про экспоненциальное распределение, расчёты по теории информации(считаем всякое, чтобы привыкнуть).

2024-10-22, семинар 8: письменные источники не сохранились до наших дней. Согласно преданиям, оьсуждали двери и около контрольной. Говорят, ввели пуассоновский процесс.

2024-???, семинар 9: решаем задачи на пуассоновское в разных формах и обсуждаем омалые в порядковых статистиках.

2024-???, семинар 10: учимся интерпретироввть гауссовское, пользоваться таблицами для функции Лапласа, а также немного работать с многомерным гауссовским.

2024-3-12, семинар 11: Копаем во все стороны многомерное гауссовское: считаем вероятности для линейных комбинаций гауссовских, проверяем зависимость, вычисляем условные законы, матожидания и ковариационные матрицы, вспоминаем спектральное разложение и разложение Холецкого.

==== 2311 ====

2024-09-06, семинар 1: вероятностное пространство, вероятность на нем, вероятность события, случайная величина и ее распределение (индикатор события, сумма двух кубиков, число бросаний монетки до первого орла), матожидание случайной величины (индикатор, один кубик, два кубика), линейность матожидания. Задачи на линейность матожидания, в том числе ЕГЭшная задача про турнир, 1.5, 3.5 с допвопросом о матожидании числа совпадений. Разговор о получении события произвольной вероятности монеткой в контексте 1.8

2024-09-13, семинар 2: Повторили матожидание суммы на примере 12.3. Обсудили условную вероятность и формулу полной вероятности, условное матожидание, решили задачи на метод первого шага 2.1, 2.3, 2.7.

2024-09-20, семинар 3: Условная вероятность, формула полной вероятности, формула Байеса: 7.1, классическая задача про болезни и тесты, простейшие задачки на общее понимание, обсуждение двух подходов: вычисления условной вероятности по формуле и составления нового вероятностного пространства и подсчет вероятности в нем. Независимые события (события "пики" и "дама" в обычной колоде и колоде с джокерами), независимые в совокупности события, построили пример попарно независимых, но не независимых в совокупности. Обсудили биномиальное распределение. решили задачу: "в корабле к отсеков, чтобы корабль затонул, нужно поразить 2. Независимо выпускают n ракет, каждая из которых поражает случайный отсек с вероятностью p. Найти вероятность потопления корабля"

2024-09-20, семинар 4: Примеры одинаково распределенных зависимых СВ, независимые СВ. Производящая функция и ее свойства. Посчитали для биномиального производящую функцию и второй момент. Обсудили, что будет меняться в случае функции, производящей моменты. Обсудили функцию, производящую множество исходов, как из нее доставать уже известные функции, как ее искать на примере бросания монетки до выпадания HT

2024-10-11, семинар 5: Составили табличку стандартных дискретных распределений, посчитали матожидание геометрического, обсудили дисперсию и ковариацию и их свойства (в дискретном случае), досчитали дисперсии основных распределений. Обсудили вероятностное пространство в общем случае, понятие СВ в общем случае. Дали определение ФР, посчитали ФР для явно заданной СВ. Дали определение плотности.

2024-10-12, семинар 6: Обсудили свойства ФР, как считать вероятность попадания в промежуток в терминах ФР. Выразили ФР 1/X, cos X. Обсудили как выражается веротяность попадания в множество через плотность. для 1/Х выразили плотность в случае абсолютной непрерывности Х. Обсудили формулу для МО в общем виде через интеграл Стильтьеса и как вычислять МО для функции, разлагающейся в сумму абсолютно нерпрерывной и функции скачков, посчитали МО для пары таких СВ

2024-10-18, семинар 7: Обсудили геометрию, заданную скалярным произведением EXY и cov(X,Y), поиск ортогонального элемента и проекции. Посчитали энтропию и кросс-энтропию в дискретном и непрерывном случаях, посчиали совместную и условную энтропию в дискретном случае (23.2, 23.4, 23.9)

2024-11-01, семинар 9: Совместная плотность и ф.р., подсчет вероятностей, маргинальные плотности, замена переменной через якобиан, свертка, матожидание

2024-11-09, семинар 10: Условная плотность, формула условной вероятности. Задача на восстановление маргинальной плотности по условной. Разбор задач из "Летучей мыши"

2024-11-19, семинар 11: Разбор контрольной работы

2024-11-22, семинар 12: Пуассоновский поток - решали задачки из задачника

2024-11-29, семинар 13: Нормальное распределение - задачи из PP, повторили функцию, порождающую моменты, обсудили ее свойства в абсолютно непрерывном случае

2024-12-06, семинар 14: Многомерное нормальное - обсудили два определения, связь между ними, независимость элементов нормального вектора при нулевой ковариации и почему это неверно для произвольных нормальных. порешали задачи 24.9а, 24.10, 24.17

2024-12-013, семинар 15: ЦПТ, решали задачи из задачника

2025-01-17, семинар 16: Сходимости почти наверное и по вероятности, связь со сходимостью по распределению. Посмотрели стандартные контрпримеры, показали, что если есть сходимость по распределению к константе, то есть и по вероятности. ЗБЧ Чебышева и Хинчина, УЗБЧ Колмогорова, обсудили 20.1 сколько успели.

2025-01-24, семинар 17: Сходимость в L_p, связи между сходимостями. Задача 20.11

2025-01-24, семинар 18: Характеристические функции и их свойства. Посчитали хар функции для равномерного, Бернулли, биномиального, Пуассона, экспоненциального. Показали, чо сумма нормальных нормальна. По функции пытались понять, может ли она быть характеристической и восстанавливали с.в.

==== 2310, 2312 ====

2024-09-06, семинар 1: задача 1.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Определили вероятностное пространство в виде тройки, множество исходов рассматривали конечное и счётное. Решили 3 счётные задачи на комбинаторику про колоды карт и счетные последовательности цифр. Привели геометрическое и аналитическое решения задачи про нахождение предела последовательности вероятностей. В конце нашли математическое ожидание геометрически распределённой случайной величины.

2024-09-13, семинар 2: задача 2.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Задача на упорядоченные и неупорядоченные наборы. Задача про классическое вероятностное пространство и про пространство с неравновероятными исходами. Разобрали парадокс Монти Холла. Ввели понятия условной вероятности и независимых случайных величин. Сформулировали и обсудили идеи доказательств трёх теорем: теорема умножения вероятностей, формула полной вероятности и формула Байеса.

2024-09-20, семинар 3: Решили задачу на определение условной вероятности. Обсудили парадокс теоремы Байеса на примере задачи про редкое заболевание, а также посмотрели простую программу на Python, которая считает вероятность в зависимости от количества проведенных тестов на заболевание. Обсудили условное математическое ожидание, некоторые его свойства и рассмотрели пример с подбрасыванием кубика. В конце решили задачу на парадокс дней рождений.

2024-09-27, семинар 4: Обсудили коллизии хеш-функций и связь с атакой "дней рождений". Определили независимость или зависимость случайных величин в четырёх разных вариантах. Обсудили, что неверно утверждать, что матожидание частного независимых случайных величин равно частному матожиданий, также привели пример использования подобного факта в некоторых статьях. В конце решили задачу на поиск функции производящей исходы, а также нашли E(X), E(Y^2), E(XY) с помощью найденной функции.

2024-10-04, семинар 5: Решили две простые задачи на условную вероятность и на теорему об умножении вероятностей. Обсудили связь дерева событий с условной вероятностью и теоремой об умножении вероятностей. Нашли производящую функцию моментов для геометрически распределенной случайной величины и с помощью нее нашли матожидание. Нашли производящую функцию моментов и матожидание суммы случайного количества н.о.р случайных величин.

2024-10-11, семинар 6: Привели аналогии между дискретными и непрерывными случайными величинами. Нарисовали графики функций от случайных величин. Вспомнили определение и свойства дисперсии. Решили простую задачу на подсчет дисперсии и нашли дисперсию геометрически распределенной случайной величины. Обсудили, когда может быть матожидание и дисперсия бесконечны. Далее вспомнили неравенства Маркова и Чебышева, вывели следствия и решили 3 задачи на применение этих неравенств. Обсудили, что неравенство Маркова может давать как точную оценку, так и очень слабую. Показали, что неотрицательность случайной величины в неравенстве Маркова является существенным условием.

2024-10-11, семинар 7: Повторили понятия энтропии в битах и натах, а также понятие дифференциальной энтропии. Нашли энтропию в схеме Бернулли и энтропии геометрического и экспоненциального распределений. Доказали простую оценку сверху для энтропии случайной величины, имеющей конечный носитель мощности n.

2024-11-1, семинар 8: Разобрали демо-вариант контрольной работы "Тыква".

2024-11-8, семинар 9: Разобрали демо-вариант контрольной работы "Летучая мышь".

2024-11-15, семинар 10: Понятие случайного процесса. Определение пуассоновского процесса, его свойства. Три простые задачи на пуассоновское распределение. Задачи 13.1 и 13.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-11-22, семинар 11: Определения Бета-функции и Гамма-функции. Бета и Гамма распределения, их функции плотности и графики. Нахождение моды случайных величин, имеющих Бета и Гамма распределения. Связь пуассоновского процесса с Гамма распределением. В конце нашли производящую функцию моментов Гамма распределения.

2024-11-29, семинар 12: Задачи 18.1, 18.2 и 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-12-06, семинар 13: Нашли многомерное нормальное распределение по виду функции плотности (константа на экспоненту с квадратичным показателем). С помощью формулы Иссерлиса нашли матожидания произведений различных или одинаковых случайных величин, имеющих многомерное нормальное распределение. Нашли условную вероятность многомерного распределения. Задача 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-12-13, семинар 14: Повторили определение сходимости по распределению и центральную предельную теорему. Решили задачи 20.2 и 20.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

== Источники ==

Источники мудрости, которые я постарался не замутить :)

[https://arxiv.org/pdf/1411.5279 WTSK]: Tim Hesterberg, What Teachers Should Know About the Bootstrap: вкусное и доступное изложение бутстрэпа и перестановочных тестов.

[https://projects.iq.harvard.edu/stat110/home BItP]: Blitzstein, Hwang, Introduction to Probability: учебник, записи лекций, гарвардский курс.

Теория вероятностей 2024/25 (основной поток)

2025-03-19T14:40:43Z

Bdemeshev:

= Преподаватели и учебные ассистенты =

{| class="wikitable" style="text-align:center"
|-
! Группа !! БПМИ235 !! БПМИ236 !! БПМИ237 !! БПМИ238 !! БПМИ239 !! БПМИ2310 !! БПМИ2311 !! БПМИ2312
|-
|| Лектор ||colspan="11"| [https://t.me/boris_demeshev Борис Демешев]
|-
|| Семинарист || [https://t.me/boris_demeshev Борис Демешев] || [https://t.me/levensons Илья Левин] || [https://t.me/madn_boi Никита Морозов] || [https://t.me/boris_demeshev Борис Демешев] || [https://t.me/XuMuK_MK Максим Каледин] || [https://t.me/goluba_yurieva Голуба Юрьева] || [https://t.me/Moskchan Вероника Владыкина] || [https://t.me/goluba_yurieva Голуба Юрьева]
|-
|| Ассистент || [https://t.me/nerhneiro Ира Скворцова] || [https://t.me/a_ameli_ig Амелия Алаева] || [https://t.me/htual Алина Бадахова] || [https://t.me/adelyagaraeva Аделя Гараева] || [https://t.me/mabrielka Мария Брель] || [https://t.me/zm_ann Анна Зыкова-Мызина] || [https://t.me/Yanlightv Яна Вежновец] || [https://t.me/nol_erk Кирилл Лавриненко]
|-
|| Ассистент курса ||colspan="11"| [https://t.me/Nick_Volya Никита Волянский]
|}

== Цели и задачи курса ==

侍には目標がなく道しかない [Samurai niwa mokuhyō ga naku michi shikanai]

У самурая нет цели и ничего кроме пути.

Вероятный план:
<div class="mw-collapsible mw-collapsed" style="width:1000px; overflow: hidden;">
1. Дискретное вероятностное пространство. Вероятность, математическое ожидание, теоретическая медиана.
Перестановочные тесты, p-значение для перестановочного теста.
Математическое ожидание = центр масс.

NB: здесь сходу рисуем дерево
NB: здесь нет задач на условную вероятность

!предупреждение об обозначениях случайных величин.
Российская традиция — греческие буквы, американская традиция — заглавные английские буквы.
Наш курс: любые буквы. Причина: теория вероятностей применяется в разных областях, где свои традиции.

NB: Способы вычисления вероятностей и ожиданий:
* полный перебор руками
* примерные вычисления руками
* полный перебор на компьютере
* симуляции на компьютере
* ...

2.
Методы решения задач:
* разложение величины в сумму
* метод первого шага
!идея: позиция в игре имеет цену
* just for fun: метод рычага в геометрии через ожидание
NB: рассказать здесь про комплексную случайную величину
NB: по сути здесь мы уже решаем задачи на марковские цепи не говоря страшных определений
LOTUS.

3. Условная вероятность и условное ожидание.
!идея: зануляем вероятности невозможных событий, а остальные — масштабируем.
формула полной вероятности
!идея: дерево "помнит" формулу полной вероятности
формула Байеса

Независимые события.
Независимые случайные величины.

4.
Методы решения задач:
* производящие функции многих переменных
функция как способ записать множество
HTT vs TTH
ABRACADABRA
!разложение по биномиальной формуле

?: можно здесь успеть функцию производящую моменты

5.
Биномиальное распределение.
Геометрическое и гипергеометрическое распределения.
Отрицательное биномиальное распределение.

6.
Равномерное распределение на множестве в R^n
Функция распределения.
Функция плотности и вероятностная дифференциальная форма.
!пояснение про неудачную традиционную терминологию "непрерывная случайная величина"
величина с функцией плотности, величина с непрерывной функцией распределения.

Квантили, квантильная функция.

7. Характеристики случайных величин и неравенства.
Дисперсия.
Энтропия.
Неравенство Маркова.
Неравенство Чебышёва.
Неравенство Йенсена.

Здесь конец модуля 1 и КР-1!

8. Пуассоновский поток.
Аксиомы пуассоновского потока.
Вывод экспоненциального распределения и пуассоновского распределения из аксиом.
Вывод экспоненциального распределения из предпосылки об отсутсвии памяти.

9. Нормальное распределение.
Нормальное распределение: предпосылки Хершела-Максвелла.
Нормальное распределение: аргументация Гаусса за среднее арифметическое.
Нормальное распределение: предпосылки Лэндона (до уравнения в частных производных).

10. Классические непрерывные распределения.

Гамма-распределение, бета-распределение.
Вывод нормального и экспоненциального распредений как минимизации энтропии.

11. Парные характеристики случайных величин.
Наилучшая линейная аппроксимация.
Ковариация.
Корреляция.
Кросс-энтропия.

Доказательство E(XY) = E(X) E(Y) для дискретных.
Ковариационная матрица и ожидание для случайных векторов.

12. Совместная и условная функция плостности.
Преобразования случайных величин.

13. Функция производящая моменты и характеристическая функция.
Распределение суммы случайного количества случайных величин.
Случайный выбор слагаемых.

14. Финансовые приложения

Оценивание опционов на биномиальном дереве.
Максимизация долгосрочной прибыли, связь с энтропией.
Возможно, индексы Гиттинса.

Здесь конец модуля 2 и КР-2

15. Сигма-алгебры.

Список известных величин как способ описания информации.
Идея условного ожидания как оптимального прогноза.
Сигма-алгебра как способ описания информации.
Измеримость случайной величины относительно сигма-алгебры.
Сигма-алгебра как ОДЗ для вероятности.
Борелевская сигма-алгебра.
Независимые случайные величины второе определение.

16. Условное математическое ожидание.
Условная дисперсия.
Сумма случайного количества случайных величин.

17. Сходимости случайных величин.

Сходимость по вероятности.
Закон больших чисел.
Сходимость почти наверное.
Усилинный закон больших чисел.
Сходимость по распределению.

18. Связь сходимостей.
Лемма Слуцкого.

19. Центральная предельная теорема.
Доказательство через подмену слагаемых.
Доказательство через характеристические функции.

Здесь контрольная.

20. Винеровский процесс
Условные ожидания, инверсия.

21. Байесовский подход к оцениванию параметров

Балансовое уравнение. Идея MCMC.

22. Доказательства свойств меры

23. Алгоритм построения математического ожидания в общем случае.
Лемма Фату.
Теорема о мажорируемой сходимости.
Теорема о монотонной сходимости.

24. Резерв.

Жемчужинки, которые, вероятно, не успеем:

А. Методы решения задач:
подсчёт случаев с помощью леммы Бернсайда и теоремы Пойа о перечислении
(Burnside lemma, PET = Polya Enumeration Theorem)

B. вероятностные доказательства детерминистических теорем

</div>

== Оценивание ==

Оценка за семестр-1 = 0.2 Домашние задания семестра-1 + 0.4 Контрольная-Альфа + 0.4 Экзамен-Бета.

Финальная оценка за курс = 0.5 Оценка за семестр-1 + 0.1 Домашние задания семестра-2 + 0.2 Контрольная-Гамма + 0.2 Экзамен-Дельта.

Каждая оценка (суммарные итоги за домашние задания, контрольные, экзамены) — целое число от 0 до 100.
Для перевода в 10-балльную шкалу промежуточной оценки за семестр-1 и финальной оценки используется деление на 10
с арифметическим округлением. Например, если Максим получил "оценку за семестр-1" 65 баллов, то в ведомость за первый семестр идёт 7, а далее в формуле финальной оценки за курс используется 65.

=== Домашние задания для самураев ===

Домашние задания [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/home_assignments/home_assignments.pdf одним файлом] и [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/blob/main/home_assignments/ отдельными файлами].
Домашние задания имеют равный вес.
В конце каждой лекции (за исключением ближайших к экзамену лекций)
выдается домашнее задание сроком на две недели.
Дедлайн жёсткий, однако студент имеет право просрочить три домашних задания на неделю каждое без штрафа.

Формат сдачи ДЗ: один pdf-файл (решение текстовых задач) и один ipynb-файл (решение компьютерных задач).
В pdf-файл можно поместить аккуратно написанное отсканированное решение, а можно скомпилировать pdf из теха или маркдауна.
Ещё можно вместо pdf-файла написать всё в ipynb.
Бонусов за сдачу домашки в техе нет. Пример [https://www.overleaf.com/read/qmrkwpzvmqbk шаблона].

Обратите внимание: '''время каждого дедлайна — 23:59'''.

=== Ведомость с оценками за ДЗ ===

{| class="wikitable" style="text-align:center"
|-
! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1872081500#gid=1872081500 235] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1374497930#gid=1374497930 236] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1183164252#gid=1183164252 237] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=408179311#gid=408179311 238] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1032422408#gid=1032422408 239] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1603236891#gid=1603236891 2310] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=791330236#gid=791330236 2311] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=23847300#gid=23847300 2312]
|}

[https://docs.google.com/spreadsheets/d/14hD7-SLmAA1omdkhPlt3blRHDHVGTDS8ZgvLWscvMz8/edit?usp=sharing Сводная ведомость всех оценок]

=== Контрольные работы и экзамен ===

Вес каждой задачи будет написан в тексте работы.
Задачи с ненаписанным по случайности весом имеют равный вес.
Для пропущенных по уважительной причине контрольных будет выделен один день для переписывания.
При пропуске дня переписывания, в том числе по уважительным причинам, ещё одного шанса не предоставляется.

<div class="mw-collapsible mw-collapsed" style="width:1000px; overflow: hidden;">

'''Контрольная работа 1''' состоится 2024-11-11 в 16:20, аудитории: R401, R305, R206, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_halloween_demo/exam_halloween_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/midterm/midterm-alpha.pdf условие с критериями и решениями].

'''Резервный день 1''' для пропустивших по уважительной причине состоится 2024-12-02 в 19:40, R405

'''Показ контрольной 1''':

* задачи 1, 2: заочно до 2024-12-08, [https://t.me/Moskchan Вероника]
* задачи 3, 4 [https://t.me/boris_demeshev Борис], очно, четверг, 2024-12-05, 18:10-21:00, G408
* задачи 5, 6 [https://t.me/XuMuK_MK Максим]: очно, четверг, 2024-12-05, 18:10-21:00, G408

'''Экзамен, модуль 2''' состоится '''''2024-12-24 в 10:00''''', аудитории R301, R304, R401, R404, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_winter_demo/exam_winter_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/december/pmi_probab_2024_december.pdf условие].

Если вы не хотите идти на экзамен, то заполните [https://forms.gle/UQzW77RrPvcdahG47 эту форму], чтобы получить ноль при неявке

'''Апелляция экзамена''':

* задачи 1, 2: заочно [https://t.me/goluba_yurieva Голуба], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/december/exam_problem_1-2.pdf решения и критерии 1, 2];
* задачи 3, 4: очно 2025-01-11, аудитория R408, 14:40-17:40 [https://t.me/madn_boi Никита], [https://www.overleaf.com/read/dnhjcdrndqps#42f1ab решения и критерии 3, 4];
* задачи 5, 6: заочно [https://t.me/levensons Илья]

* дедлайн по заочным апелляциям: суббота 23:59

[https://docs.google.com/spreadsheets/d/1mxMCr3IEDy8EPFWGkn3_dsghhPNcZICEw9C9o5ZoZvA/edit?usp=sharing Распределение по аудиториям]

Даты пересдач: 2025-01-28 в 18:10, 2025-02-03 в 18:10 и комиссия 2025-02-11 в 18:10.

* задачи 1, 2: [https://t.me/goluba_yurieva Голуба], задачи 3, 4: [https://t.me/madn_boi Никита], задачи 5, 6: [https://t.me/levensons Илья], апелляция пересдачи 2 до 21:00 2025-02-10.

</div>

'''Контрольная, модуль 3''' состоится 2025-02-22 в 16:20, аудитории R201, R204, R404, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_galileo_demo/exam_galileo_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_galileo/pmi_probab_galileo_exam_2024-2025.pdf условие].

[https://docs.google.com/spreadsheets/d/1LZA-7TDz_yYeVPRx4BpBWJnQKZ7wqPgHDrN-Z0SM68M/edit?usp=sharing Распределение по аудиториям]

'''Контрольная, модуль 3, резервный день''': 2025-03-07, пятница, 18:10, R204, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_galileo/pmi_probab_galileo_exam_2024-2025_retake.pdf условия]

[https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_galileo_sol/pmi_probab_galileo_exam_2024-2025_sol.pdf Комментарии по проверке], показ работ кр3:

* Задачи 1-2, заочно до 23 марта, [https://t.me/PlatonPromyslov Платон]
* Задачи 3-4, заочно до 23 марта, [https://t.me/Moskchan Вероника]
* Задачи 5-6, очно, [https://t.me/madn_boi Никита], понедельник 24 марта, 16:20

'''Экзамен, модуль 3''' состоится '''2025-03-28''' в 14:40, аудитории R201, R301, R404, R405, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_delta_demo/exam_delta_demo.pdf демо], условие.

== Учебные материалы ==

[https://github.com/bdemeshev/probability_pro/raw/master/probability_pro.pdf PP]: Листки с задачами к курсу.

[https://github.com/bdemeshev/stochastic_pro/raw/main/stochastic_pro.pdf StoPro]: Stochastic process problems.

[https://github.com/bdemeshev/probability_dna/raw/master/probability_dna.pdf PDNA]: Вероятностная ДНК = вкусные задачи по теории вероятностей.

[https://disk.yandex.ru/d/LZ6d2VZVqYvbDQ Видео-летопись семинаров и лекций] и [https://hse.liferooter.dev/ конспект] от тайного благожелателя (updated 2024-10-23]

[https://disk.yandex.ru/d/IoakBXz_6yygPw Официальные видео]

[https://www.cambridgeinternational.org/Images/344616-list-of-formulae-and-statistical-tables.pdf Cambridge statistical tables]

== Дневник самурая ==

2024-09-02, лекция 1: Определение события. Определение случайной величины. Аксиомы вероятности. Определение математического ожидания для дискретного случая.
Линейность математического ожидания. Математическое ожидание как центр масс. Первое знакомоство с перестановочным тестом и p-значением.

Можно глянуть: главы 2.1 и 7 из [https://arxiv.org/pdf/1411.5279 WTSK], метод рычага [https://mathcircle.berkeley.edu/sites/default/files/archivedocs/2007_2008/lectures/0708lecturespdf/MassPointsBMC07.pdf в геометрии].

2024-09-09, лекция 2: Метод первого шага (вероятность выпадения HTH ранее HHT, ожидаемое количество шагов). Метод разложения случайной величины в сумму. Определение случайного вектора. Использование интерпретации ожидания как центра масс в геометрии. Определение теоретической медианы.

Можно глянуть: глава 2.7.2 из [https://projects.iq.harvard.edu/stat110/home BItP], три стратегии решения задачи за 10 минут [https://www.youtube.com/watch?v=xH89DaEI35w Visually Explained]

2024-09-16, лекция 3: Получение новой информации приводит к пересчёту вероятностей. Определение условной вероятности. Формула полной вероятности. Формула Байеса.
Условное математическое ожидание. Формула полного математического ожидания. Независимость пары событий. Независимость набора событий в совокупности.
Независимость величин: неформальное определение. Критерий независимости произвольных величин. Критерий независимости дискретных величин.

2024-09-23, лекция 4: Доказательство критерия независимости для дискретных случайных величин: из независимости {X=x} и {Y=y} следует независимость {X in A} и {Y in B}. Независимость величин равносильна E(f(X))E(g(Y))=E(f(X)g(Y)) для произвольных f, g. Определение биномиальной, геометрической (как числа неудач до 1го успеха) и отрицательной биномиальной случайной величины. Общая идея за производящими функциями: как из функции, производящей исходы эксперимента, с помощью производных и подстановок выудить индивидуальные вероятности, совместные вероятности, ожидания любой степени E(X^a), E(X^a Y^b). Формальное определение функции, производящей вероятности, и функцию, производящей моменты, для одной случайной величины и пары случайных величин. Метатеорема: все теоремы о дискретных величинах доказываются перестановкой слагаемых. Основные дискретные распределения: биномиальное, геометрическое, отрицательное биномиальное.

2024-09-30, лекция 5: Ещё дискретные законы распределения: гипергеометрическое. Описание закона распределения через равномерное распределение на подмножестве R^n.
Функция плотности как линейная часть вероятности попадания в отрезок. Равномерное распределение на отрезке. Смешанные случайные величины. LOTUS: нахождение ожидания любой функции от случайной величины для величин с функцией плотности и смешанных величин. Функция распределения. Квантильная функция.

2024-10-07, лекция 6: Две геометрии случайных величин и событий: E(XY) как скалярное произведение, Cov(X, Y) как скалярное произведение. Математическое ожидание — проекция в рамках геометрии, задаваемой E(XY). Определение и геометрический смысл дисперсии, стандартного отклонения, ковариации и корреляции. Неравенство Маркова. Неравенство Чебышёва. Неравенство Йенсена: интуитивный смысл.

2024-10-14, лекция 7: Доказательство неравенства Йенсена. Энтропия как минимальное ожидаемое число вопросов для отгадывания и формальное определение. Кросс-энтропия.
Доказательство того, что кросс-энтропия больше либо равна энтропии. Совместная энтропия. Условная энтропия. Формула H(X) + H(Y|X) = H(X, Y) без доказательства.
Вывод плотности экспоненциального распределения из предпосылки отсутствия памяти. Экспоненциальное распределение максимизирует энтропию при заданном ожидании и неотрицательности.

* Cristopher Olah, Visual Information Theory, https://colah.github.io/posts/2015-09-Visual-Information/

* Grand Sanderson, Solving Wordle using information theory, [https://www.youtube.com/watch?v=v68zYyaEmEA youtube].

* Artem Kirsanov, Key equation behind probability, [https://www.youtube.com/watch?v=KHVR587oW8I youtube]. У Артёма кросс-энтропия обозначена H(P, Q), а не CE(P||Q)).

* [https://exuberant-arthropod-be8.notion.site/1-02-09-5e107ea1c4054594b8f37d955db8a2b0 Конспект] аналогичной старой лекции псмо на русском.

* Keith Conrad, [https://kconrad.math.uconn.edu/blurbs/analysis/entropypost.pdf Maximal entropy] distributions.

2024-10-21, лекция 8: Ковариационная матрица и её свойства. Совместная функция плотности. Условная функция плотности. Критерий независимости в терминах функций плотности и распределения.
Связь индивидуальной и совместной функций плотности и функций распределения. Смена плотности при замене переменных: домножение на якобиан и неформально про дифференциальные формы. Формула свёртки.
Разложение совместной плотности для графической модели. Представление произвольной совместной функции распределения с помощью копулы.

* Про дифференциальные формы: [https://www.youtube.com/watch?v=PaWj0WxUxGg&list=PL22w63XsKjqzQZtDZO_9s2HEMRJnaOTX7 videos] by Michael Penn, [https://www.math.purdue.edu/~arapura/preprints/diffforms.pdf short intro] by Dony Arapura

* What is a convolution от [https://www.youtube.com/watch?v=KuXjwB4LzSA 3b1b]

* From graphical models to [https://www.youtube.com/watch?v=yBc01ZeaFxw&list=PLISXH-iEM4JlFsAp7trKCWyxeO3M70QyJ Probabilistic ML]

2024-11-11, лекция 9: Пуассоновский поток: аксиомы. Вывод пуассоновского распределения количества событий и экспоненциального времени между событиями из аксиом.
Сумма независимых пуассоновских потоков — это пуассоновский поток (половина доказательства). Вероятность того, что одна экспоненциальная величина будет меньше другой, независимой.

2024-11-18, лекция 10: Гамма-распределение как сумма нескольких экспоненциальных: вывод плотности через вероятность попадания в малый отрезок.
Обобщение плотности на случай положительного параметра $a$. Гамма-функция. Бета-распределение как отношение гамма-распределений. Бета-функция.

2024-11-25, лекция 11: Вывод нормального распределения из предпосылок Гаусса. Вывод нормального распределения из предпосылок Гершеля — Максвелла.

* Saul Stahl, The [https://www.researchgate.net/publication/255668423_The_Evolution_of_the_Normal_Distribution Evolution] of the Normal Distribution: вывод Гаусса с историей.

* Grand Sanderson, [https://www.youtube.com/watch?v=cy8r7WSuT1I Why pi] is in the normal? вывод Гершеля—Максвелла

* James Stein, [http://www-biba.inrialpes.fr/Jaynes/cc07s.pdf Normal Distribution]: глава про нормальное распределение (Гаусс, Гершель—Максвелл, Лэндон etc)

* William Herschel, [https://music.yandex.com/album/209394/track/2121214 концерт для габоя]

* William Herschel, [https://www.informationphilosopher.com/solutions/scientists/quetelet/Herschel_Quetelet_Probabilities.pdf On the theory of Probabilities]: вывод нормального распределения словами на стр. 189-191

2024-12-02, лекция 12: многомерное нормальное распределение. Функция плотности невырожденного многомерного нормального. Функция производящая моменты для многомерного нормального. Формула Иссерлиса с ненулевыми ожиданиями и доказательством. Условное распределение: вывод условного ожидания и условной дисперсии через разложение величины в сумму независимых.

* [https://stats.stackexchange.com/questions/30588/ альтернативный вывод] условного многомерного нормального распределения
* Хитрый [https://github.com/bdemeshev/lis-isserlis/raw/main/lis-isserlis.pdf лис Иссерлис]

2024-12-09, лекция 13: сходимость по распределению, центральная предельная теорема с доказательством подменой слагаемых.

* Calvin Chin [https://arxiv.org/pdf/2106.00871 CLT proof] by swapping
* [https://bdemeshev.github.io/teaching_notes/clt_by_swapping Пересказ доказательства]

2024-12-16, лекция 14: использование бесконечно малых при нахождении ожиданий, трюк с добавление параметра, трюк с закольцовыванием отрезка при равномерном распределении.

2025-01-13, лекция 15: Неединственность предела по распределению. Неаддитивность предела по распределению. Предел по вероятности. Закон больших чисел в слабой форме (с доказательством при дополнительной предпосылке о конечности дисперсии). Теорема о непрерывном отображении.

2025-01-20, лекция 16: два определение сходимости почти наверное с доказательством эквивалентности. Сходимость в Lp. Из сходимости в Lp при p>=1 следует сходимость по вероятности. Из сходимости почти наверное следует сходимость по вероятностям. Контр-пример к разнице сходимостей почти наверное и по вероятности. Контр-пример к разнице сходимостей в Lp и по вероятности. Усиленный закон больших чисел (без доказательства). Леммы Слуцкого (без доказательства).

2025-01-27, лекция 17: характеристические функции и их свойства. Вывод характеристической функции нормального стандартного распределения через дифференциальное уравнение. Характеристическая функция биномиального распредеделения. Второе доказательство ЦПТ (через характеристические функции).

* [https://web.ma.utexas.edu/users/gordanz/notes/characteristic.pdf Gordan Zitkovic]: characteristic functions
* [https://sas.uwaterloo.ca/~dlmcleis/s901/chapt6.pdf McLeish]: clt proof

2025-02-03, лекция 18: пример последовательности сходящийся по вероятности с ожиданием стремящимся к бесконечности. Критерий Кэлли. Критерий оптимальной остановки Брасса.

* [https://en.wikipedia.org/wiki/Kelly_criterion wikipedia]: Kelly criterion
* [https://projecteuclid.org/journalArticle/Download?urlId=10.1214%2Faop%2F1019160340 Bruss]: sum the odds to one and stop

2025-02-10 лекция 19: Сигма-алгебра порождённая случайной величиной или набором из нескольких случайных величин. Замкнутость относительно счётного количества операций с множествами. Сигма-алгебра. Объединение сигма-алгебр не всегда сигма-алгебра. Пересечение сигма-алгебр всегда сигма-алгебра. Измеримость суммы. Борелевская сигма-алгебра.

2025-02-18, лекция 20: [https://us06web.zoom.us/j/82685613040?pwd=bqJoXGItwNOOWddXj1flfmPmDn6fMQ.1 онлайн, 18:10]: разбор задач про сигма-алгебры для подготовки к контрольной. Условное математическое ожидание относительно сигма-алгебры: интуиция и формальное определение. Пример подсчёта в дискретном случае.

2025-02-24, лекция 21: Условное ожидание и дисперсия относительно сигма-алгебры со свойствами. Условная вероятность.

2025-03-03, лекция 22: Определение фильтрации. Определение момента остановки. Сигма-алгебра на момент остановки. Определение мартингала.
Формулировка теоремы [https://en.wikipedia.org/wiki/Optional_stopping_theorem Дуба об остановке мартингала]. Задача о макаке, печатающей слово "абракадабра".

2025-03-10, лекция 23: Два контр-примера к теореме дуба. Доказали теоремы Дуба для случая ограниченного момента времени. Тождество Вальда: формулировка и доказательство. Определение броуновского движения с явным упоминанием фильтрации и без. Ковариационная функция Cov(Ws, Wt).

2025-03-17, лекция 24: Преобразования винеровского процесса: масштабирование и инверсия. Закон распределения накопленного максимума. Закон распределения момента достижения заданного значения.

2025-03-24, лекция 25:

=== Семинары ===

==== 473 = 235 + 238 ====

2024-09-02, 06, семинар 1: задачи 1.1, 1.6, 3.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-09, 13, семинар 2: задачи 2.1, 2.3, 12.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-16, 20, семинар 3: задачи 7.12 и 7.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-23, 27, семинар 4: как извлечь P(X=3), E(X), E(X^2Y) из функции, производящей список исходов, 28.16 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-30, -10-04, семинар 5: 9.3в, 9.4, 9.7(абвд, кроме дисперсии, аргументы масштабирования и центра масс помимо интегралов), 9.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-10-07, 11, семинар 6: вычисление Cov, Var, Corr по табличке и из функции плотности, нахождение дисперсии для отрицательного биномиального распределения по свойствам.

2024-10-14, 18, семинар 7: вычисление энтропии геометрического распределения. Изменение энтропии при линейном преобразовании для дискретной величины и величины с функцией плотности.
Кросс-энтропия из экспоненциального в равномерное. Условная энтропия для дискретной таблички. Связь энтропии величины с функцией плотности и энтропия дискретной версии этой случайной величины после "огрубления" с малым шагом 1/k.

2024-10-21, -11-01, семинар 8: 16.18, 16.23 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], свёртка двух экспоненциальных величин

2024-11-11, 15, семинар 9: задачи на пуассоновский поток из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-11-18, 22, семинар 10: задачи на бета и гамма-распределение

2024-11-25, 29, семинар 11: задачи на нормальное распределение, 18.1, 18.2, 18.3, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-02, 06, семинар 12: задачи на многомерное нормальное: 24.16аб, 24.17аб, 24.18, 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-09, 13, семинар 13: ЦПТ и нормальное распределение: 20.2, 20.4, 18.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-19, семинар 14: разбор демо

2025-01-13, семинар 15: сходимость по вероятности: 20.1, 20.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-20, 24, семинар 16: связь между сходимостями, 20.11, 20.13 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-27, 31, семинар 17: 28.17, 28.18, 28.21 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-03, 07, семинар 18: 28.20аб, 28.22 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-10, 14, семинар 19: 6.2, 6.3, 6.11, измеримость произведения из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-18, 21, семинар 20: разбор демо

2025-02-24, 28, семинар 21: Условное математическое ожидание и условная дисперсия относительно сигма-алгебры в дискретном случае.
[https://github.com/bdemeshev/stochastic_pro/raw/main/stochastic_pro.pdf StoPro]: 8.22-8.25

2025-03-03, 10, семинар 22: доказали, что сигма алгебра, порождённая моментом остановки, лежит внутри сигма-алгебры событий на момент остановки.
Вероятность достижения границы -а раньше границы +b и среднее время достижения одной из этих границ для классического случайного блуждания.
Преобразование несимметричного случайного блуждание St в мартингал с помощью exp(alpha St).
[https://github.com/bdemeshev/stochastic_pro/raw/main/stochastic_pro.pdf StoPro]: 9.1, 9.3

2025-03-10, 14, семинар 23: решение двух классических задач с помощью мартингалов: [https://en.m.wikipedia.org/wiki/Bertrand%27s_ballot_theorem задача о голосовании], [https://math.dartmouth.edu/~pw/papers/gpdp.ps "следующая карта — красная"].

2025-03-17, 21, семинар 24: нахождение ожиданий и вероятностей E(W5W6 | W4), P(W1 > 0, W2 < 0); проверка мартингальности (Wt), (Wt^2 - t), (exp(aWt - a^2t/2)).

==== 236 ====

2024-09-06, семинар 1: в начале семинара рассмотрели основные понятия и определения для решения задач. Решили задачи 1.1, 1.6, 3.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-13, семинар 2: нашли ожидание случайной величины с геом. распределением. Решили задачи 2.1, 12.6, 12.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-09-20, семинар 3: решили задачи 7.12, 7.4(а), 7.7, 7.13(а) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-09-27, семинар 4: разобрали 7.13, почти разобрали 28.3 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Также рассмотрели один контрпример на независимость(тетраэдр Бернштейна).

2024-10-04, семинар 5: разобрались с определениями, решили 9.3(абв), 9.7(аб) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Решили задачку про три точки на отрезке и найти вероятность получить треугольник. Также вывели формулу для мат. ожидания неотрицательной величины через функцию распределения.

2024-10-14, семинар 6: обсудили дисперсию, ковариацию, коэффициент корреляции и их геометрический смысл. Решили задачу на оценку дисперсии ограниченной величины. посчитали дисперсию геометрического, биномиального. Посчитали дисперсию в задаче о письмах и конвертах.

???, семинар 7: определили энтропию, посчитали примеры для дискретных величин, для линейных преобразований. Доказали, что задача максимизации энтропии с фиксированной дисперсией достигается на нормальном распределении.

???, семинар 8: свертка двух экспоненциальных, 16.18 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

???, семинар 9: задачи на пуассоновский процесс из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

???, семинар 10: разбор кр.

???, семинар 11: разобрали задачи на нормальное распределение 18.1, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Также считали распределение суммы двух независимых нормальных.

==== 237 ====

2024-09-09, семинар 1: задачи 1.1, 2.2 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], вероятность что n ладей не бьют друг друга при случайной расстановке на шахматной доске n на n, матожидание числа треугольников в случайном графе на n вершинах через сумму индикаторов

2024-09-13, семинар 2: задачи 2.1, 2.6, 12.3, 12.6, 12.7 (без дисперсий) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-23, семинар 3: задачи 7.2, 7.13, 7.7, 7.8, плюс начали 7.15b (получили неверный ответ) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-27, семинар 4: дорешали 7.15b с небольшой демонстрацией на питоне, разобрали 28.2 для нечестной монетки плюс посчитали матожидание [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-10-04, семинар 5: задачи 9.1, 9.3абв, 9.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], философия про то почему бОльшая плотность не всегда означает бОльшую вероятность оказаться в окрестности данной точки (плотность может занимать слишком маленький объем)

2024-10-11, семинар 6: вспомнили определения Cov/Var/Corr, посчитали у пары дискретных величин по табличке вероятностей, посчитали дисперсию у биномиального, геометрического, непрерывного равномерного на отрезке.

2024-10-18, семинар 7: вычисление энтропии геометрического распределения; ограниченность энтропии снизу и сверху в дискретном случае; изменение энтропии при линейном преобразовании для дискретной величины и величины с функцией плотности; условная энтропия, KL дивергенция и кросс-энтропия, неотрицательность KL, интерпретация на пальцах с точки зрения теории информации.

2024-11-01, семинар 8: 16.18, 16.23 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], свёртка двух экспоненциальных величин

2024-11-08, семинар 9: решали пробный вариант КР

2024-11-15, семинар 10: 13.1, 13.2, 13.5, 13.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-11-22, семинар 11: разбор КР

2024-11-29, семинар 12: нормальное распределение, 18.1, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-06, семинар 13: многомерное нормальное распределение, изменение среднего и матрицы ковариаций при линейном преобразовании, 24.4а, 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-13, семинар 14: 24.4в из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], сходимости случайных величин, ЗБЧ и ЦПТ, 20.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-21, семинар 15: наследование сходимости, 20.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], плюс доказали предельную теорему Пуассона

2025-01-28, семинар 16: связь между сходимостями, 20.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], лемма Слуцкого, подмена дисперсии на выборочную дисперсию в ЦПТ

2025-02-04, семинар 17: базовые свойства хар функций, хар функция суммы независимых величин, 28.17, 28.20 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-18, семинар 18: вероятностное пространство в общем случае, сигма-алгебры, борелевская сигма-алгебра, сигма-алгебра порожденная случайной величиной, измеримость случайной величины относительно сигма-алгебры, 6.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], задачи на сигма алгебры из пробника КР

2025-02-25, семинар 19: условное матожидание относительно сигма алгебры, условное матожидание и дисперсия относительно случайной величины, закон полного матожидания и закон полной дисперсии, 22.1, 22.3, 22.5абв из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-03-04, семинар 20: показали, что условное матожидание минимизирует среднеквадратичный риск; нашли условное матожидание и условную дисперсию в 22.6 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], нашли E[X | X^2] для симметричного равномерного распределения, нашли E[X_1 | X_1 + ... + X_n] для набора i.i.d. величин, нашли E[Y] и Var(Y) для Y|X имеющего экспоненциальное распределение с параметром X

2025-03-11, семинар 21: мартингалы, момент остановки, теорема Дуба об остановке, задача о разорении игрока для честного и нечестного казино, вероятность выигрыша и вероятность разорения

2025-03-11, семинар 22: матожидание времени до момента остановки в задаче о разорении игрока, теорема Бертрана о выборах

==== 239 ====

2024-09-03, семинар 1: задачи 1.1, 1.4, пытались 1.8 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Ещё успели посчитать вероятность N=k бросков монеты до выпадения первого орла, матожидание N. И ещё сделали то же для количества бросков до выпадения 3 орлов (не в серии).

2024-09-10, семинар 2: доказали формулу включения-исключения, решили несложную задачу, порешали 2.7 задачи типа 12.*

2024-09-17, семинар 3: Решили две прямых задачи на формулу Байеса и формулу полной вероятности (без большого количества вычислений). Решили задачу поиска вероятности неисправного кофе-автомата из 3 при условии, что бросили деньги в 1 и 2 и их зажевало. Ещё нашли вероятность, что мяч будет у игрока 3 после шага 10 (все садятся в круг и на каждом шаге бросают мяч соседу с вероятностью 0.3 и оставляют у себя с вероятностью 0.4).

2024-09-24, семинар 4: Вспомнили про метод первого шага, используя формулу полной вероятности и введя в некотором виде формулу полного матожидания, записали формулу для вероятностей нахождения в состоянии i через произведение переходной матрицы на вектор. Совсем немного начали производящие функции, но решили не считать 31ю производную многочлена.

2024-10-01, семинар 5: Исследуем дискретные случайные величины (Биномиальная, Геометрическая и разные похожие) с использованием техник вычислений моментов через производящую функцию. Задачи на распределения величин, посчитанных по набору величин. Первая большая задача про плотность.

2024-10-08, семинар 6: разминочная про плотность и функцию распределения. Считаем дисперсию, ковариацию и корреляцию по 2x2 таблице и в равномерном распределении на круге и квадрате [-1,1]х[-1,1].

2024-10-15, семинар 7: пара задач про экспоненциальное распределение, расчёты по теории информации(считаем всякое, чтобы привыкнуть).

2024-10-22, семинар 8: письменные источники не сохранились до наших дней. Согласно преданиям, оьсуждали двери и около контрольной. Говорят, ввели пуассоновский процесс.

2024-???, семинар 9: решаем задачи на пуассоновское в разных формах и обсуждаем омалые в порядковых статистиках.

2024-???, семинар 10: учимся интерпретироввть гауссовское, пользоваться таблицами для функции Лапласа, а также немного работать с многомерным гауссовским.

2024-3-12, семинар 11: Копаем во все стороны многомерное гауссовское: считаем вероятности для линейных комбинаций гауссовских, проверяем зависимость, вычисляем условные законы, матожидания и ковариационные матрицы, вспоминаем спектральное разложение и разложение Холецкого.

==== 2311 ====

2024-09-06, семинар 1: вероятностное пространство, вероятность на нем, вероятность события, случайная величина и ее распределение (индикатор события, сумма двух кубиков, число бросаний монетки до первого орла), матожидание случайной величины (индикатор, один кубик, два кубика), линейность матожидания. Задачи на линейность матожидания, в том числе ЕГЭшная задача про турнир, 1.5, 3.5 с допвопросом о матожидании числа совпадений. Разговор о получении события произвольной вероятности монеткой в контексте 1.8

2024-09-13, семинар 2: Повторили матожидание суммы на примере 12.3. Обсудили условную вероятность и формулу полной вероятности, условное матожидание, решили задачи на метод первого шага 2.1, 2.3, 2.7.

2024-09-20, семинар 3: Условная вероятность, формула полной вероятности, формула Байеса: 7.1, классическая задача про болезни и тесты, простейшие задачки на общее понимание, обсуждение двух подходов: вычисления условной вероятности по формуле и составления нового вероятностного пространства и подсчет вероятности в нем. Независимые события (события "пики" и "дама" в обычной колоде и колоде с джокерами), независимые в совокупности события, построили пример попарно независимых, но не независимых в совокупности. Обсудили биномиальное распределение. решили задачу: "в корабле к отсеков, чтобы корабль затонул, нужно поразить 2. Независимо выпускают n ракет, каждая из которых поражает случайный отсек с вероятностью p. Найти вероятность потопления корабля"

2024-09-20, семинар 4: Примеры одинаково распределенных зависимых СВ, независимые СВ. Производящая функция и ее свойства. Посчитали для биномиального производящую функцию и второй момент. Обсудили, что будет меняться в случае функции, производящей моменты. Обсудили функцию, производящую множество исходов, как из нее доставать уже известные функции, как ее искать на примере бросания монетки до выпадания HT

2024-10-11, семинар 5: Составили табличку стандартных дискретных распределений, посчитали матожидание геометрического, обсудили дисперсию и ковариацию и их свойства (в дискретном случае), досчитали дисперсии основных распределений. Обсудили вероятностное пространство в общем случае, понятие СВ в общем случае. Дали определение ФР, посчитали ФР для явно заданной СВ. Дали определение плотности.

2024-10-12, семинар 6: Обсудили свойства ФР, как считать вероятность попадания в промежуток в терминах ФР. Выразили ФР 1/X, cos X. Обсудили как выражается веротяность попадания в множество через плотность. для 1/Х выразили плотность в случае абсолютной непрерывности Х. Обсудили формулу для МО в общем виде через интеграл Стильтьеса и как вычислять МО для функции, разлагающейся в сумму абсолютно нерпрерывной и функции скачков, посчитали МО для пары таких СВ

2024-10-18, семинар 7: Обсудили геометрию, заданную скалярным произведением EXY и cov(X,Y), поиск ортогонального элемента и проекции. Посчитали энтропию и кросс-энтропию в дискретном и непрерывном случаях, посчиали совместную и условную энтропию в дискретном случае (23.2, 23.4, 23.9)

2024-11-01, семинар 9: Совместная плотность и ф.р., подсчет вероятностей, маргинальные плотности, замена переменной через якобиан, свертка, матожидание

2024-11-09, семинар 10: Условная плотность, формула условной вероятности. Задача на восстановление маргинальной плотности по условной. Разбор задач из "Летучей мыши"

2024-11-19, семинар 11: Разбор контрольной работы

2024-11-22, семинар 12: Пуассоновский поток - решали задачки из задачника

2024-11-29, семинар 13: Нормальное распределение - задачи из PP, повторили функцию, порождающую моменты, обсудили ее свойства в абсолютно непрерывном случае

2024-12-06, семинар 14: Многомерное нормальное - обсудили два определения, связь между ними, независимость элементов нормального вектора при нулевой ковариации и почему это неверно для произвольных нормальных. порешали задачи 24.9а, 24.10, 24.17

2024-12-013, семинар 15: ЦПТ, решали задачи из задачника

2025-01-17, семинар 16: Сходимости почти наверное и по вероятности, связь со сходимостью по распределению. Посмотрели стандартные контрпримеры, показали, что если есть сходимость по распределению к константе, то есть и по вероятности. ЗБЧ Чебышева и Хинчина, УЗБЧ Колмогорова, обсудили 20.1 сколько успели.

2025-01-24, семинар 17: Сходимость в L_p, связи между сходимостями. Задача 20.11

2025-01-24, семинар 18: Характеристические функции и их свойства. Посчитали хар функции для равномерного, Бернулли, биномиального, Пуассона, экспоненциального. Показали, чо сумма нормальных нормальна. По функции пытались понять, может ли она быть характеристической и восстанавливали с.в.

==== 2310, 2312 ====

2024-09-06, семинар 1: задача 1.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Определили вероятностное пространство в виде тройки, множество исходов рассматривали конечное и счётное. Решили 3 счётные задачи на комбинаторику про колоды карт и счетные последовательности цифр. Привели геометрическое и аналитическое решения задачи про нахождение предела последовательности вероятностей. В конце нашли математическое ожидание геометрически распределённой случайной величины.

2024-09-13, семинар 2: задача 2.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Задача на упорядоченные и неупорядоченные наборы. Задача про классическое вероятностное пространство и про пространство с неравновероятными исходами. Разобрали парадокс Монти Холла. Ввели понятия условной вероятности и независимых случайных величин. Сформулировали и обсудили идеи доказательств трёх теорем: теорема умножения вероятностей, формула полной вероятности и формула Байеса.

2024-09-20, семинар 3: Решили задачу на определение условной вероятности. Обсудили парадокс теоремы Байеса на примере задачи про редкое заболевание, а также посмотрели простую программу на Python, которая считает вероятность в зависимости от количества проведенных тестов на заболевание. Обсудили условное математическое ожидание, некоторые его свойства и рассмотрели пример с подбрасыванием кубика. В конце решили задачу на парадокс дней рождений.

2024-09-27, семинар 4: Обсудили коллизии хеш-функций и связь с атакой "дней рождений". Определили независимость или зависимость случайных величин в четырёх разных вариантах. Обсудили, что неверно утверждать, что матожидание частного независимых случайных величин равно частному матожиданий, также привели пример использования подобного факта в некоторых статьях. В конце решили задачу на поиск функции производящей исходы, а также нашли E(X), E(Y^2), E(XY) с помощью найденной функции.

2024-10-04, семинар 5: Решили две простые задачи на условную вероятность и на теорему об умножении вероятностей. Обсудили связь дерева событий с условной вероятностью и теоремой об умножении вероятностей. Нашли производящую функцию моментов для геометрически распределенной случайной величины и с помощью нее нашли матожидание. Нашли производящую функцию моментов и матожидание суммы случайного количества н.о.р случайных величин.

2024-10-11, семинар 6: Привели аналогии между дискретными и непрерывными случайными величинами. Нарисовали графики функций от случайных величин. Вспомнили определение и свойства дисперсии. Решили простую задачу на подсчет дисперсии и нашли дисперсию геометрически распределенной случайной величины. Обсудили, когда может быть матожидание и дисперсия бесконечны. Далее вспомнили неравенства Маркова и Чебышева, вывели следствия и решили 3 задачи на применение этих неравенств. Обсудили, что неравенство Маркова может давать как точную оценку, так и очень слабую. Показали, что неотрицательность случайной величины в неравенстве Маркова является существенным условием.

2024-10-11, семинар 7: Повторили понятия энтропии в битах и натах, а также понятие дифференциальной энтропии. Нашли энтропию в схеме Бернулли и энтропии геометрического и экспоненциального распределений. Доказали простую оценку сверху для энтропии случайной величины, имеющей конечный носитель мощности n.

2024-11-1, семинар 8: Разобрали демо-вариант контрольной работы "Тыква".

2024-11-8, семинар 9: Разобрали демо-вариант контрольной работы "Летучая мышь".

2024-11-15, семинар 10: Понятие случайного процесса. Определение пуассоновского процесса, его свойства. Три простые задачи на пуассоновское распределение. Задачи 13.1 и 13.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-11-22, семинар 11: Определения Бета-функции и Гамма-функции. Бета и Гамма распределения, их функции плотности и графики. Нахождение моды случайных величин, имеющих Бета и Гамма распределения. Связь пуассоновского процесса с Гамма распределением. В конце нашли производящую функцию моментов Гамма распределения.

2024-11-29, семинар 12: Задачи 18.1, 18.2 и 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-12-06, семинар 13: Нашли многомерное нормальное распределение по виду функции плотности (константа на экспоненту с квадратичным показателем). С помощью формулы Иссерлиса нашли матожидания произведений различных или одинаковых случайных величин, имеющих многомерное нормальное распределение. Нашли условную вероятность многомерного распределения. Задача 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-12-13, семинар 14: Повторили определение сходимости по распределению и центральную предельную теорему. Решили задачи 20.2 и 20.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

== Источники ==

Источники мудрости, которые я постарался не замутить :)

[https://arxiv.org/pdf/1411.5279 WTSK]: Tim Hesterberg, What Teachers Should Know About the Bootstrap: вкусное и доступное изложение бутстрэпа и перестановочных тестов.

[https://projects.iq.harvard.edu/stat110/home BItP]: Blitzstein, Hwang, Introduction to Probability: учебник, записи лекций, гарвардский курс.

Теория вероятностей 2024/25 (основной поток)

2025-03-19T13:19:12Z

Bdemeshev:

= Преподаватели и учебные ассистенты =

{| class="wikitable" style="text-align:center"
|-
! Группа !! БПМИ235 !! БПМИ236 !! БПМИ237 !! БПМИ238 !! БПМИ239 !! БПМИ2310 !! БПМИ2311 !! БПМИ2312
|-
|| Лектор ||colspan="11"| [https://t.me/boris_demeshev Борис Демешев]
|-
|| Семинарист || [https://t.me/boris_demeshev Борис Демешев] || [https://t.me/levensons Илья Левин] || [https://t.me/madn_boi Никита Морозов] || [https://t.me/boris_demeshev Борис Демешев] || [https://t.me/XuMuK_MK Максим Каледин] || [https://t.me/goluba_yurieva Голуба Юрьева] || [https://t.me/Moskchan Вероника Владыкина] || [https://t.me/goluba_yurieva Голуба Юрьева]
|-
|| Ассистент || [https://t.me/nerhneiro Ира Скворцова] || [https://t.me/a_ameli_ig Амелия Алаева] || [https://t.me/htual Алина Бадахова] || [https://t.me/adelyagaraeva Аделя Гараева] || [https://t.me/mabrielka Мария Брель] || [https://t.me/zm_ann Анна Зыкова-Мызина] || [https://t.me/Yanlightv Яна Вежновец] || [https://t.me/nol_erk Кирилл Лавриненко]
|-
|| Ассистент курса ||colspan="11"| [https://t.me/Nick_Volya Никита Волянский]
|}

== Цели и задачи курса ==

侍には目標がなく道しかない [Samurai niwa mokuhyō ga naku michi shikanai]

У самурая нет цели и ничего кроме пути.

Вероятный план:
<div class="mw-collapsible mw-collapsed" style="width:1000px; overflow: hidden;">
1. Дискретное вероятностное пространство. Вероятность, математическое ожидание, теоретическая медиана.
Перестановочные тесты, p-значение для перестановочного теста.
Математическое ожидание = центр масс.

NB: здесь сходу рисуем дерево
NB: здесь нет задач на условную вероятность

!предупреждение об обозначениях случайных величин.
Российская традиция — греческие буквы, американская традиция — заглавные английские буквы.
Наш курс: любые буквы. Причина: теория вероятностей применяется в разных областях, где свои традиции.

NB: Способы вычисления вероятностей и ожиданий:
* полный перебор руками
* примерные вычисления руками
* полный перебор на компьютере
* симуляции на компьютере
* ...

2.
Методы решения задач:
* разложение величины в сумму
* метод первого шага
!идея: позиция в игре имеет цену
* just for fun: метод рычага в геометрии через ожидание
NB: рассказать здесь про комплексную случайную величину
NB: по сути здесь мы уже решаем задачи на марковские цепи не говоря страшных определений
LOTUS.

3. Условная вероятность и условное ожидание.
!идея: зануляем вероятности невозможных событий, а остальные — масштабируем.
формула полной вероятности
!идея: дерево "помнит" формулу полной вероятности
формула Байеса

Независимые события.
Независимые случайные величины.

4.
Методы решения задач:
* производящие функции многих переменных
функция как способ записать множество
HTT vs TTH
ABRACADABRA
!разложение по биномиальной формуле

?: можно здесь успеть функцию производящую моменты

5.
Биномиальное распределение.
Геометрическое и гипергеометрическое распределения.
Отрицательное биномиальное распределение.

6.
Равномерное распределение на множестве в R^n
Функция распределения.
Функция плотности и вероятностная дифференциальная форма.
!пояснение про неудачную традиционную терминологию "непрерывная случайная величина"
величина с функцией плотности, величина с непрерывной функцией распределения.

Квантили, квантильная функция.

7. Характеристики случайных величин и неравенства.
Дисперсия.
Энтропия.
Неравенство Маркова.
Неравенство Чебышёва.
Неравенство Йенсена.

Здесь конец модуля 1 и КР-1!

8. Пуассоновский поток.
Аксиомы пуассоновского потока.
Вывод экспоненциального распределения и пуассоновского распределения из аксиом.
Вывод экспоненциального распределения из предпосылки об отсутсвии памяти.

9. Нормальное распределение.
Нормальное распределение: предпосылки Хершела-Максвелла.
Нормальное распределение: аргументация Гаусса за среднее арифметическое.
Нормальное распределение: предпосылки Лэндона (до уравнения в частных производных).

10. Классические непрерывные распределения.

Гамма-распределение, бета-распределение.
Вывод нормального и экспоненциального распредений как минимизации энтропии.

11. Парные характеристики случайных величин.
Наилучшая линейная аппроксимация.
Ковариация.
Корреляция.
Кросс-энтропия.

Доказательство E(XY) = E(X) E(Y) для дискретных.
Ковариационная матрица и ожидание для случайных векторов.

12. Совместная и условная функция плостности.
Преобразования случайных величин.

13. Функция производящая моменты и характеристическая функция.
Распределение суммы случайного количества случайных величин.
Случайный выбор слагаемых.

14. Финансовые приложения

Оценивание опционов на биномиальном дереве.
Максимизация долгосрочной прибыли, связь с энтропией.
Возможно, индексы Гиттинса.

Здесь конец модуля 2 и КР-2

15. Сигма-алгебры.

Список известных величин как способ описания информации.
Идея условного ожидания как оптимального прогноза.
Сигма-алгебра как способ описания информации.
Измеримость случайной величины относительно сигма-алгебры.
Сигма-алгебра как ОДЗ для вероятности.
Борелевская сигма-алгебра.
Независимые случайные величины второе определение.

16. Условное математическое ожидание.
Условная дисперсия.
Сумма случайного количества случайных величин.

17. Сходимости случайных величин.

Сходимость по вероятности.
Закон больших чисел.
Сходимость почти наверное.
Усилинный закон больших чисел.
Сходимость по распределению.

18. Связь сходимостей.
Лемма Слуцкого.

19. Центральная предельная теорема.
Доказательство через подмену слагаемых.
Доказательство через характеристические функции.

Здесь контрольная.

20. Винеровский процесс
Условные ожидания, инверсия.

21. Байесовский подход к оцениванию параметров

Балансовое уравнение. Идея MCMC.

22. Доказательства свойств меры

23. Алгоритм построения математического ожидания в общем случае.
Лемма Фату.
Теорема о мажорируемой сходимости.
Теорема о монотонной сходимости.

24. Резерв.

Жемчужинки, которые, вероятно, не успеем:

А. Методы решения задач:
подсчёт случаев с помощью леммы Бернсайда и теоремы Пойа о перечислении
(Burnside lemma, PET = Polya Enumeration Theorem)

B. вероятностные доказательства детерминистических теорем

</div>

== Оценивание ==

Оценка за семестр-1 = 0.2 Домашние задания семестра-1 + 0.4 Контрольная-Альфа + 0.4 Экзамен-Бета.

Финальная оценка за курс = 0.5 Оценка за семестр-1 + 0.1 Домашние задания семестра-2 + 0.2 Контрольная-Гамма + 0.2 Экзамен-Дельта.

Каждая оценка (суммарные итоги за домашние задания, контрольные, экзамены) — целое число от 0 до 100.
Для перевода в 10-балльную шкалу промежуточной оценки за семестр-1 и финальной оценки используется деление на 10
с арифметическим округлением. Например, если Максим получил "оценку за семестр-1" 65 баллов, то в ведомость за первый семестр идёт 7, а далее в формуле финальной оценки за курс используется 65.

=== Домашние задания для самураев ===

Домашние задания [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/home_assignments/home_assignments.pdf одним файлом] и [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/blob/main/home_assignments/ отдельными файлами].
Домашние задания имеют равный вес.
В конце каждой лекции (за исключением ближайших к экзамену лекций)
выдается домашнее задание сроком на две недели.
Дедлайн жёсткий, однако студент имеет право просрочить три домашних задания на неделю каждое без штрафа.

Формат сдачи ДЗ: один pdf-файл (решение текстовых задач) и один ipynb-файл (решение компьютерных задач).
В pdf-файл можно поместить аккуратно написанное отсканированное решение, а можно скомпилировать pdf из теха или маркдауна.
Ещё можно вместо pdf-файла написать всё в ipynb.
Бонусов за сдачу домашки в техе нет. Пример [https://www.overleaf.com/read/qmrkwpzvmqbk шаблона].

Обратите внимание: '''время каждого дедлайна — 23:59'''.

=== Ведомость с оценками за ДЗ ===

{| class="wikitable" style="text-align:center"
|-
! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1872081500#gid=1872081500 235] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1374497930#gid=1374497930 236] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1183164252#gid=1183164252 237] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=408179311#gid=408179311 238] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1032422408#gid=1032422408 239] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1603236891#gid=1603236891 2310] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=791330236#gid=791330236 2311] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=23847300#gid=23847300 2312]
|}

[https://docs.google.com/spreadsheets/d/14hD7-SLmAA1omdkhPlt3blRHDHVGTDS8ZgvLWscvMz8/edit?usp=sharing Сводная ведомость всех оценок]

=== Контрольные работы и экзамен ===

Вес каждой задачи будет написан в тексте работы.
Задачи с ненаписанным по случайности весом имеют равный вес.
Для пропущенных по уважительной причине контрольных будет выделен один день для переписывания.
При пропуске дня переписывания, в том числе по уважительным причинам, ещё одного шанса не предоставляется.

<div class="mw-collapsible mw-collapsed" style="width:1000px; overflow: hidden;">

'''Контрольная работа 1''' состоится 2024-11-11 в 16:20, аудитории: R401, R305, R206, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_halloween_demo/exam_halloween_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/midterm/midterm-alpha.pdf условие с критериями и решениями].

'''Резервный день 1''' для пропустивших по уважительной причине состоится 2024-12-02 в 19:40, R405

'''Показ контрольной 1''':

* задачи 1, 2: заочно до 2024-12-08, [https://t.me/Moskchan Вероника]
* задачи 3, 4 [https://t.me/boris_demeshev Борис], очно, четверг, 2024-12-05, 18:10-21:00, G408
* задачи 5, 6 [https://t.me/XuMuK_MK Максим]: очно, четверг, 2024-12-05, 18:10-21:00, G408

'''Экзамен, модуль 2''' состоится '''''2024-12-24 в 10:00''''', аудитории R301, R304, R401, R404, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_winter_demo/exam_winter_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/december/pmi_probab_2024_december.pdf условие].

Если вы не хотите идти на экзамен, то заполните [https://forms.gle/UQzW77RrPvcdahG47 эту форму], чтобы получить ноль при неявке

'''Апелляция экзамена''':

* задачи 1, 2: заочно [https://t.me/goluba_yurieva Голуба], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/december/exam_problem_1-2.pdf решения и критерии 1, 2];
* задачи 3, 4: очно 2025-01-11, аудитория R408, 14:40-17:40 [https://t.me/madn_boi Никита], [https://www.overleaf.com/read/dnhjcdrndqps#42f1ab решения и критерии 3, 4];
* задачи 5, 6: заочно [https://t.me/levensons Илья]

* дедлайн по заочным апелляциям: суббота 23:59

[https://docs.google.com/spreadsheets/d/1mxMCr3IEDy8EPFWGkn3_dsghhPNcZICEw9C9o5ZoZvA/edit?usp=sharing Распределение по аудиториям]

Даты пересдач: 2025-01-28 в 18:10, 2025-02-03 в 18:10 и комиссия 2025-02-11 в 18:10.

* задачи 1, 2: [https://t.me/goluba_yurieva Голуба], задачи 3, 4: [https://t.me/madn_boi Никита], задачи 5, 6: [https://t.me/levensons Илья], апелляция пересдачи 2 до 21:00 2025-02-10.

</div>

'''Контрольная, модуль 3''' состоится 2025-02-22 в 16:20, аудитории R201, R204, R404, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_galileo_demo/exam_galileo_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_galileo/pmi_probab_galileo_exam_2024-2025.pdf условие].

[https://docs.google.com/spreadsheets/d/1LZA-7TDz_yYeVPRx4BpBWJnQKZ7wqPgHDrN-Z0SM68M/edit?usp=sharing Распределение по аудиториям]

'''Контрольная, модуль 3, резервный день''': 2025-03-07, пятница, 18:10, R204, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_galileo/pmi_probab_galileo_exam_2024-2025_retake.pdf условия]

[https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_galileo_sol/pmi_probab_galileo_exam_2024-2025_sol.pdf Комментарии по проверке], показ работ кр3:

* Задачи 1-2, очно, [https://t.me/PlatonPromyslov Платон], суббота 22 марта, 19:00.
* Задачи 3-4, заочно до 23 марта, [https://t.me/Moskchan Вероника]
* Задачи 5-6, очно, [https://t.me/madn_boi Никита], понедельник 24 марта, 16:20

'''Экзамен, модуль 3''' состоится '''2025-03-28''' в 14:40, аудитории R201, R301, R404, R405, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_delta_demo/exam_delta_demo.pdf демо], условие.

== Учебные материалы ==

[https://github.com/bdemeshev/probability_pro/raw/master/probability_pro.pdf PP]: Листки с задачами к курсу.

[https://github.com/bdemeshev/stochastic_pro/raw/main/stochastic_pro.pdf StoPro]: Stochastic process problems.

[https://github.com/bdemeshev/probability_dna/raw/master/probability_dna.pdf PDNA]: Вероятностная ДНК = вкусные задачи по теории вероятностей.

[https://disk.yandex.ru/d/LZ6d2VZVqYvbDQ Видео-летопись семинаров и лекций] и [https://hse.liferooter.dev/ конспект] от тайного благожелателя (updated 2024-10-23]

[https://disk.yandex.ru/d/IoakBXz_6yygPw Официальные видео]

[https://www.cambridgeinternational.org/Images/344616-list-of-formulae-and-statistical-tables.pdf Cambridge statistical tables]

== Дневник самурая ==

2024-09-02, лекция 1: Определение события. Определение случайной величины. Аксиомы вероятности. Определение математического ожидания для дискретного случая.
Линейность математического ожидания. Математическое ожидание как центр масс. Первое знакомоство с перестановочным тестом и p-значением.

Можно глянуть: главы 2.1 и 7 из [https://arxiv.org/pdf/1411.5279 WTSK], метод рычага [https://mathcircle.berkeley.edu/sites/default/files/archivedocs/2007_2008/lectures/0708lecturespdf/MassPointsBMC07.pdf в геометрии].

2024-09-09, лекция 2: Метод первого шага (вероятность выпадения HTH ранее HHT, ожидаемое количество шагов). Метод разложения случайной величины в сумму. Определение случайного вектора. Использование интерпретации ожидания как центра масс в геометрии. Определение теоретической медианы.

Можно глянуть: глава 2.7.2 из [https://projects.iq.harvard.edu/stat110/home BItP], три стратегии решения задачи за 10 минут [https://www.youtube.com/watch?v=xH89DaEI35w Visually Explained]

2024-09-16, лекция 3: Получение новой информации приводит к пересчёту вероятностей. Определение условной вероятности. Формула полной вероятности. Формула Байеса.
Условное математическое ожидание. Формула полного математического ожидания. Независимость пары событий. Независимость набора событий в совокупности.
Независимость величин: неформальное определение. Критерий независимости произвольных величин. Критерий независимости дискретных величин.

2024-09-23, лекция 4: Доказательство критерия независимости для дискретных случайных величин: из независимости {X=x} и {Y=y} следует независимость {X in A} и {Y in B}. Независимость величин равносильна E(f(X))E(g(Y))=E(f(X)g(Y)) для произвольных f, g. Определение биномиальной, геометрической (как числа неудач до 1го успеха) и отрицательной биномиальной случайной величины. Общая идея за производящими функциями: как из функции, производящей исходы эксперимента, с помощью производных и подстановок выудить индивидуальные вероятности, совместные вероятности, ожидания любой степени E(X^a), E(X^a Y^b). Формальное определение функции, производящей вероятности, и функцию, производящей моменты, для одной случайной величины и пары случайных величин. Метатеорема: все теоремы о дискретных величинах доказываются перестановкой слагаемых. Основные дискретные распределения: биномиальное, геометрическое, отрицательное биномиальное.

2024-09-30, лекция 5: Ещё дискретные законы распределения: гипергеометрическое. Описание закона распределения через равномерное распределение на подмножестве R^n.
Функция плотности как линейная часть вероятности попадания в отрезок. Равномерное распределение на отрезке. Смешанные случайные величины. LOTUS: нахождение ожидания любой функции от случайной величины для величин с функцией плотности и смешанных величин. Функция распределения. Квантильная функция.

2024-10-07, лекция 6: Две геометрии случайных величин и событий: E(XY) как скалярное произведение, Cov(X, Y) как скалярное произведение. Математическое ожидание — проекция в рамках геометрии, задаваемой E(XY). Определение и геометрический смысл дисперсии, стандартного отклонения, ковариации и корреляции. Неравенство Маркова. Неравенство Чебышёва. Неравенство Йенсена: интуитивный смысл.

2024-10-14, лекция 7: Доказательство неравенства Йенсена. Энтропия как минимальное ожидаемое число вопросов для отгадывания и формальное определение. Кросс-энтропия.
Доказательство того, что кросс-энтропия больше либо равна энтропии. Совместная энтропия. Условная энтропия. Формула H(X) + H(Y|X) = H(X, Y) без доказательства.
Вывод плотности экспоненциального распределения из предпосылки отсутствия памяти. Экспоненциальное распределение максимизирует энтропию при заданном ожидании и неотрицательности.

* Cristopher Olah, Visual Information Theory, https://colah.github.io/posts/2015-09-Visual-Information/

* Grand Sanderson, Solving Wordle using information theory, [https://www.youtube.com/watch?v=v68zYyaEmEA youtube].

* Artem Kirsanov, Key equation behind probability, [https://www.youtube.com/watch?v=KHVR587oW8I youtube]. У Артёма кросс-энтропия обозначена H(P, Q), а не CE(P||Q)).

* [https://exuberant-arthropod-be8.notion.site/1-02-09-5e107ea1c4054594b8f37d955db8a2b0 Конспект] аналогичной старой лекции псмо на русском.

* Keith Conrad, [https://kconrad.math.uconn.edu/blurbs/analysis/entropypost.pdf Maximal entropy] distributions.

2024-10-21, лекция 8: Ковариационная матрица и её свойства. Совместная функция плотности. Условная функция плотности. Критерий независимости в терминах функций плотности и распределения.
Связь индивидуальной и совместной функций плотности и функций распределения. Смена плотности при замене переменных: домножение на якобиан и неформально про дифференциальные формы. Формула свёртки.
Разложение совместной плотности для графической модели. Представление произвольной совместной функции распределения с помощью копулы.

* Про дифференциальные формы: [https://www.youtube.com/watch?v=PaWj0WxUxGg&list=PL22w63XsKjqzQZtDZO_9s2HEMRJnaOTX7 videos] by Michael Penn, [https://www.math.purdue.edu/~arapura/preprints/diffforms.pdf short intro] by Dony Arapura

* What is a convolution от [https://www.youtube.com/watch?v=KuXjwB4LzSA 3b1b]

* From graphical models to [https://www.youtube.com/watch?v=yBc01ZeaFxw&list=PLISXH-iEM4JlFsAp7trKCWyxeO3M70QyJ Probabilistic ML]

2024-11-11, лекция 9: Пуассоновский поток: аксиомы. Вывод пуассоновского распределения количества событий и экспоненциального времени между событиями из аксиом.
Сумма независимых пуассоновских потоков — это пуассоновский поток (половина доказательства). Вероятность того, что одна экспоненциальная величина будет меньше другой, независимой.

2024-11-18, лекция 10: Гамма-распределение как сумма нескольких экспоненциальных: вывод плотности через вероятность попадания в малый отрезок.
Обобщение плотности на случай положительного параметра $a$. Гамма-функция. Бета-распределение как отношение гамма-распределений. Бета-функция.

2024-11-25, лекция 11: Вывод нормального распределения из предпосылок Гаусса. Вывод нормального распределения из предпосылок Гершеля — Максвелла.

* Saul Stahl, The [https://www.researchgate.net/publication/255668423_The_Evolution_of_the_Normal_Distribution Evolution] of the Normal Distribution: вывод Гаусса с историей.

* Grand Sanderson, [https://www.youtube.com/watch?v=cy8r7WSuT1I Why pi] is in the normal? вывод Гершеля—Максвелла

* James Stein, [http://www-biba.inrialpes.fr/Jaynes/cc07s.pdf Normal Distribution]: глава про нормальное распределение (Гаусс, Гершель—Максвелл, Лэндон etc)

* William Herschel, [https://music.yandex.com/album/209394/track/2121214 концерт для габоя]

* William Herschel, [https://www.informationphilosopher.com/solutions/scientists/quetelet/Herschel_Quetelet_Probabilities.pdf On the theory of Probabilities]: вывод нормального распределения словами на стр. 189-191

2024-12-02, лекция 12: многомерное нормальное распределение. Функция плотности невырожденного многомерного нормального. Функция производящая моменты для многомерного нормального. Формула Иссерлиса с ненулевыми ожиданиями и доказательством. Условное распределение: вывод условного ожидания и условной дисперсии через разложение величины в сумму независимых.

* [https://stats.stackexchange.com/questions/30588/ альтернативный вывод] условного многомерного нормального распределения
* Хитрый [https://github.com/bdemeshev/lis-isserlis/raw/main/lis-isserlis.pdf лис Иссерлис]

2024-12-09, лекция 13: сходимость по распределению, центральная предельная теорема с доказательством подменой слагаемых.

* Calvin Chin [https://arxiv.org/pdf/2106.00871 CLT proof] by swapping
* [https://bdemeshev.github.io/teaching_notes/clt_by_swapping Пересказ доказательства]

2024-12-16, лекция 14: использование бесконечно малых при нахождении ожиданий, трюк с добавление параметра, трюк с закольцовыванием отрезка при равномерном распределении.

2025-01-13, лекция 15: Неединственность предела по распределению. Неаддитивность предела по распределению. Предел по вероятности. Закон больших чисел в слабой форме (с доказательством при дополнительной предпосылке о конечности дисперсии). Теорема о непрерывном отображении.

2025-01-20, лекция 16: два определение сходимости почти наверное с доказательством эквивалентности. Сходимость в Lp. Из сходимости в Lp при p>=1 следует сходимость по вероятности. Из сходимости почти наверное следует сходимость по вероятностям. Контр-пример к разнице сходимостей почти наверное и по вероятности. Контр-пример к разнице сходимостей в Lp и по вероятности. Усиленный закон больших чисел (без доказательства). Леммы Слуцкого (без доказательства).

2025-01-27, лекция 17: характеристические функции и их свойства. Вывод характеристической функции нормального стандартного распределения через дифференциальное уравнение. Характеристическая функция биномиального распредеделения. Второе доказательство ЦПТ (через характеристические функции).

* [https://web.ma.utexas.edu/users/gordanz/notes/characteristic.pdf Gordan Zitkovic]: characteristic functions
* [https://sas.uwaterloo.ca/~dlmcleis/s901/chapt6.pdf McLeish]: clt proof

2025-02-03, лекция 18: пример последовательности сходящийся по вероятности с ожиданием стремящимся к бесконечности. Критерий Кэлли. Критерий оптимальной остановки Брасса.

* [https://en.wikipedia.org/wiki/Kelly_criterion wikipedia]: Kelly criterion
* [https://projecteuclid.org/journalArticle/Download?urlId=10.1214%2Faop%2F1019160340 Bruss]: sum the odds to one and stop

2025-02-10 лекция 19: Сигма-алгебра порождённая случайной величиной или набором из нескольких случайных величин. Замкнутость относительно счётного количества операций с множествами. Сигма-алгебра. Объединение сигма-алгебр не всегда сигма-алгебра. Пересечение сигма-алгебр всегда сигма-алгебра. Измеримость суммы. Борелевская сигма-алгебра.

2025-02-18, лекция 20: [https://us06web.zoom.us/j/82685613040?pwd=bqJoXGItwNOOWddXj1flfmPmDn6fMQ.1 онлайн, 18:10]: разбор задач про сигма-алгебры для подготовки к контрольной. Условное математическое ожидание относительно сигма-алгебры: интуиция и формальное определение. Пример подсчёта в дискретном случае.

2025-02-24, лекция 21: Условное ожидание и дисперсия относительно сигма-алгебры со свойствами. Условная вероятность.

2025-03-03, лекция 22: Определение фильтрации. Определение момента остановки. Сигма-алгебра на момент остановки. Определение мартингала.
Формулировка теоремы [https://en.wikipedia.org/wiki/Optional_stopping_theorem Дуба об остановке мартингала]. Задача о макаке, печатающей слово "абракадабра".

2025-03-10, лекция 23: Два контр-примера к теореме дуба. Доказали теоремы Дуба для случая ограниченного момента времени. Тождество Вальда: формулировка и доказательство. Определение броуновского движения с явным упоминанием фильтрации и без. Ковариационная функция Cov(Ws, Wt).

2025-03-17, лекция 24: Преобразования винеровского процесса: масштабирование и инверсия. Закон распределения накопленного максимума. Закон распределения момента достижения заданного значения.

2025-03-24, лекция 25:

=== Семинары ===

==== 473 = 235 + 238 ====

2024-09-02, 06, семинар 1: задачи 1.1, 1.6, 3.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-09, 13, семинар 2: задачи 2.1, 2.3, 12.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-16, 20, семинар 3: задачи 7.12 и 7.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-23, 27, семинар 4: как извлечь P(X=3), E(X), E(X^2Y) из функции, производящей список исходов, 28.16 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-30, -10-04, семинар 5: 9.3в, 9.4, 9.7(абвд, кроме дисперсии, аргументы масштабирования и центра масс помимо интегралов), 9.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-10-07, 11, семинар 6: вычисление Cov, Var, Corr по табличке и из функции плотности, нахождение дисперсии для отрицательного биномиального распределения по свойствам.

2024-10-14, 18, семинар 7: вычисление энтропии геометрического распределения. Изменение энтропии при линейном преобразовании для дискретной величины и величины с функцией плотности.
Кросс-энтропия из экспоненциального в равномерное. Условная энтропия для дискретной таблички. Связь энтропии величины с функцией плотности и энтропия дискретной версии этой случайной величины после "огрубления" с малым шагом 1/k.

2024-10-21, -11-01, семинар 8: 16.18, 16.23 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], свёртка двух экспоненциальных величин

2024-11-11, 15, семинар 9: задачи на пуассоновский поток из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-11-18, 22, семинар 10: задачи на бета и гамма-распределение

2024-11-25, 29, семинар 11: задачи на нормальное распределение, 18.1, 18.2, 18.3, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-02, 06, семинар 12: задачи на многомерное нормальное: 24.16аб, 24.17аб, 24.18, 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-09, 13, семинар 13: ЦПТ и нормальное распределение: 20.2, 20.4, 18.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-19, семинар 14: разбор демо

2025-01-13, семинар 15: сходимость по вероятности: 20.1, 20.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-20, 24, семинар 16: связь между сходимостями, 20.11, 20.13 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-27, 31, семинар 17: 28.17, 28.18, 28.21 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-03, 07, семинар 18: 28.20аб, 28.22 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-10, 14, семинар 19: 6.2, 6.3, 6.11, измеримость произведения из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-18, 21, семинар 20: разбор демо

2025-02-24, 28, семинар 21: Условное математическое ожидание и условная дисперсия относительно сигма-алгебры в дискретном случае.
[https://github.com/bdemeshev/stochastic_pro/raw/main/stochastic_pro.pdf StoPro]: 8.22-8.25

2025-03-03, 10, семинар 22: доказали, что сигма алгебра, порождённая моментом остановки, лежит внутри сигма-алгебры событий на момент остановки.
Вероятность достижения границы -а раньше границы +b и среднее время достижения одной из этих границ для классического случайного блуждания.
Преобразование несимметричного случайного блуждание St в мартингал с помощью exp(alpha St).
[https://github.com/bdemeshev/stochastic_pro/raw/main/stochastic_pro.pdf StoPro]: 9.1, 9.3

2025-03-10, 14, семинар 23: решение двух классических задач с помощью мартингалов: [https://en.m.wikipedia.org/wiki/Bertrand%27s_ballot_theorem задача о голосовании], [https://math.dartmouth.edu/~pw/papers/gpdp.ps "следующая карта — красная"].

2025-03-17, 21, семинар 24: нахождение ожиданий и вероятностей E(W5W6 | W4), P(W1 > 0, W2 < 0); проверка мартингальности (Wt), (Wt^2 - t), (exp(aWt - a^2t/2)).

==== 236 ====

2024-09-06, семинар 1: в начале семинара рассмотрели основные понятия и определения для решения задач. Решили задачи 1.1, 1.6, 3.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-13, семинар 2: нашли ожидание случайной величины с геом. распределением. Решили задачи 2.1, 12.6, 12.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-09-20, семинар 3: решили задачи 7.12, 7.4(а), 7.7, 7.13(а) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-09-27, семинар 4: разобрали 7.13, почти разобрали 28.3 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Также рассмотрели один контрпример на независимость(тетраэдр Бернштейна).

2024-10-04, семинар 5: разобрались с определениями, решили 9.3(абв), 9.7(аб) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Решили задачку про три точки на отрезке и найти вероятность получить треугольник. Также вывели формулу для мат. ожидания неотрицательной величины через функцию распределения.

2024-10-14, семинар 6: обсудили дисперсию, ковариацию, коэффициент корреляции и их геометрический смысл. Решили задачу на оценку дисперсии ограниченной величины. посчитали дисперсию геометрического, биномиального. Посчитали дисперсию в задаче о письмах и конвертах.

???, семинар 7: определили энтропию, посчитали примеры для дискретных величин, для линейных преобразований. Доказали, что задача максимизации энтропии с фиксированной дисперсией достигается на нормальном распределении.

???, семинар 8: свертка двух экспоненциальных, 16.18 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

???, семинар 9: задачи на пуассоновский процесс из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

???, семинар 10: разбор кр.

???, семинар 11: разобрали задачи на нормальное распределение 18.1, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Также считали распределение суммы двух независимых нормальных.

==== 237 ====

2024-09-09, семинар 1: задачи 1.1, 2.2 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], вероятность что n ладей не бьют друг друга при случайной расстановке на шахматной доске n на n, матожидание числа треугольников в случайном графе на n вершинах через сумму индикаторов

2024-09-13, семинар 2: задачи 2.1, 2.6, 12.3, 12.6, 12.7 (без дисперсий) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-23, семинар 3: задачи 7.2, 7.13, 7.7, 7.8, плюс начали 7.15b (получили неверный ответ) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-27, семинар 4: дорешали 7.15b с небольшой демонстрацией на питоне, разобрали 28.2 для нечестной монетки плюс посчитали матожидание [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-10-04, семинар 5: задачи 9.1, 9.3абв, 9.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], философия про то почему бОльшая плотность не всегда означает бОльшую вероятность оказаться в окрестности данной точки (плотность может занимать слишком маленький объем)

2024-10-11, семинар 6: вспомнили определения Cov/Var/Corr, посчитали у пары дискретных величин по табличке вероятностей, посчитали дисперсию у биномиального, геометрического, непрерывного равномерного на отрезке.

2024-10-18, семинар 7: вычисление энтропии геометрического распределения; ограниченность энтропии снизу и сверху в дискретном случае; изменение энтропии при линейном преобразовании для дискретной величины и величины с функцией плотности; условная энтропия, KL дивергенция и кросс-энтропия, неотрицательность KL, интерпретация на пальцах с точки зрения теории информации.

2024-11-01, семинар 8: 16.18, 16.23 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], свёртка двух экспоненциальных величин

2024-11-08, семинар 9: решали пробный вариант КР

2024-11-15, семинар 10: 13.1, 13.2, 13.5, 13.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-11-22, семинар 11: разбор КР

2024-11-29, семинар 12: нормальное распределение, 18.1, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-06, семинар 13: многомерное нормальное распределение, изменение среднего и матрицы ковариаций при линейном преобразовании, 24.4а, 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-13, семинар 14: 24.4в из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], сходимости случайных величин, ЗБЧ и ЦПТ, 20.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-21, семинар 15: наследование сходимости, 20.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], плюс доказали предельную теорему Пуассона

2025-01-28, семинар 16: связь между сходимостями, 20.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], лемма Слуцкого, подмена дисперсии на выборочную дисперсию в ЦПТ

2025-02-04, семинар 17: базовые свойства хар функций, хар функция суммы независимых величин, 28.17, 28.20 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-18, семинар 18: вероятностное пространство в общем случае, сигма-алгебры, борелевская сигма-алгебра, сигма-алгебра порожденная случайной величиной, измеримость случайной величины относительно сигма-алгебры, 6.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], задачи на сигма алгебры из пробника КР

2025-02-25, семинар 19: условное матожидание относительно сигма алгебры, условное матожидание и дисперсия относительно случайной величины, закон полного матожидания и закон полной дисперсии, 22.1, 22.3, 22.5абв из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-03-04, семинар 20: показали, что условное матожидание минимизирует среднеквадратичный риск; нашли условное матожидание и условную дисперсию в 22.6 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], нашли E[X | X^2] для симметричного равномерного распределения, нашли E[X_1 | X_1 + ... + X_n] для набора i.i.d. величин, нашли E[Y] и Var(Y) для Y|X имеющего экспоненциальное распределение с параметром X

2025-03-11, семинар 21: мартингалы, момент остановки, теорема Дуба об остановке, задача о разорении игрока для честного и нечестного казино, вероятность выигрыша и вероятность разорения

2025-03-11, семинар 22: матожидание времени до момента остановки в задаче о разорении игрока, теорема Бертрана о выборах

==== 239 ====

2024-09-03, семинар 1: задачи 1.1, 1.4, пытались 1.8 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Ещё успели посчитать вероятность N=k бросков монеты до выпадения первого орла, матожидание N. И ещё сделали то же для количества бросков до выпадения 3 орлов (не в серии).

2024-09-10, семинар 2: доказали формулу включения-исключения, решили несложную задачу, порешали 2.7 задачи типа 12.*

2024-09-17, семинар 3: Решили две прямых задачи на формулу Байеса и формулу полной вероятности (без большого количества вычислений). Решили задачу поиска вероятности неисправного кофе-автомата из 3 при условии, что бросили деньги в 1 и 2 и их зажевало. Ещё нашли вероятность, что мяч будет у игрока 3 после шага 10 (все садятся в круг и на каждом шаге бросают мяч соседу с вероятностью 0.3 и оставляют у себя с вероятностью 0.4).

2024-09-24, семинар 4: Вспомнили про метод первого шага, используя формулу полной вероятности и введя в некотором виде формулу полного матожидания, записали формулу для вероятностей нахождения в состоянии i через произведение переходной матрицы на вектор. Совсем немного начали производящие функции, но решили не считать 31ю производную многочлена.

2024-10-01, семинар 5: Исследуем дискретные случайные величины (Биномиальная, Геометрическая и разные похожие) с использованием техник вычислений моментов через производящую функцию. Задачи на распределения величин, посчитанных по набору величин. Первая большая задача про плотность.

2024-10-08, семинар 6: разминочная про плотность и функцию распределения. Считаем дисперсию, ковариацию и корреляцию по 2x2 таблице и в равномерном распределении на круге и квадрате [-1,1]х[-1,1].

2024-10-15, семинар 7: пара задач про экспоненциальное распределение, расчёты по теории информации(считаем всякое, чтобы привыкнуть).

2024-10-22, семинар 8: письменные источники не сохранились до наших дней. Согласно преданиям, оьсуждали двери и около контрольной. Говорят, ввели пуассоновский процесс.

2024-???, семинар 9: решаем задачи на пуассоновское в разных формах и обсуждаем омалые в порядковых статистиках.

2024-???, семинар 10: учимся интерпретироввть гауссовское, пользоваться таблицами для функции Лапласа, а также немного работать с многомерным гауссовским.

2024-3-12, семинар 11: Копаем во все стороны многомерное гауссовское: считаем вероятности для линейных комбинаций гауссовских, проверяем зависимость, вычисляем условные законы, матожидания и ковариационные матрицы, вспоминаем спектральное разложение и разложение Холецкого.

==== 2311 ====

2024-09-06, семинар 1: вероятностное пространство, вероятность на нем, вероятность события, случайная величина и ее распределение (индикатор события, сумма двух кубиков, число бросаний монетки до первого орла), матожидание случайной величины (индикатор, один кубик, два кубика), линейность матожидания. Задачи на линейность матожидания, в том числе ЕГЭшная задача про турнир, 1.5, 3.5 с допвопросом о матожидании числа совпадений. Разговор о получении события произвольной вероятности монеткой в контексте 1.8

2024-09-13, семинар 2: Повторили матожидание суммы на примере 12.3. Обсудили условную вероятность и формулу полной вероятности, условное матожидание, решили задачи на метод первого шага 2.1, 2.3, 2.7.

2024-09-20, семинар 3: Условная вероятность, формула полной вероятности, формула Байеса: 7.1, классическая задача про болезни и тесты, простейшие задачки на общее понимание, обсуждение двух подходов: вычисления условной вероятности по формуле и составления нового вероятностного пространства и подсчет вероятности в нем. Независимые события (события "пики" и "дама" в обычной колоде и колоде с джокерами), независимые в совокупности события, построили пример попарно независимых, но не независимых в совокупности. Обсудили биномиальное распределение. решили задачу: "в корабле к отсеков, чтобы корабль затонул, нужно поразить 2. Независимо выпускают n ракет, каждая из которых поражает случайный отсек с вероятностью p. Найти вероятность потопления корабля"

2024-09-20, семинар 4: Примеры одинаково распределенных зависимых СВ, независимые СВ. Производящая функция и ее свойства. Посчитали для биномиального производящую функцию и второй момент. Обсудили, что будет меняться в случае функции, производящей моменты. Обсудили функцию, производящую множество исходов, как из нее доставать уже известные функции, как ее искать на примере бросания монетки до выпадания HT

2024-10-11, семинар 5: Составили табличку стандартных дискретных распределений, посчитали матожидание геометрического, обсудили дисперсию и ковариацию и их свойства (в дискретном случае), досчитали дисперсии основных распределений. Обсудили вероятностное пространство в общем случае, понятие СВ в общем случае. Дали определение ФР, посчитали ФР для явно заданной СВ. Дали определение плотности.

2024-10-12, семинар 6: Обсудили свойства ФР, как считать вероятность попадания в промежуток в терминах ФР. Выразили ФР 1/X, cos X. Обсудили как выражается веротяность попадания в множество через плотность. для 1/Х выразили плотность в случае абсолютной непрерывности Х. Обсудили формулу для МО в общем виде через интеграл Стильтьеса и как вычислять МО для функции, разлагающейся в сумму абсолютно нерпрерывной и функции скачков, посчитали МО для пары таких СВ

2024-10-18, семинар 7: Обсудили геометрию, заданную скалярным произведением EXY и cov(X,Y), поиск ортогонального элемента и проекции. Посчитали энтропию и кросс-энтропию в дискретном и непрерывном случаях, посчиали совместную и условную энтропию в дискретном случае (23.2, 23.4, 23.9)

2024-11-01, семинар 9: Совместная плотность и ф.р., подсчет вероятностей, маргинальные плотности, замена переменной через якобиан, свертка, матожидание

2024-11-09, семинар 10: Условная плотность, формула условной вероятности. Задача на восстановление маргинальной плотности по условной. Разбор задач из "Летучей мыши"

2024-11-19, семинар 11: Разбор контрольной работы

2024-11-22, семинар 12: Пуассоновский поток - решали задачки из задачника

2024-11-29, семинар 13: Нормальное распределение - задачи из PP, повторили функцию, порождающую моменты, обсудили ее свойства в абсолютно непрерывном случае

2024-12-06, семинар 14: Многомерное нормальное - обсудили два определения, связь между ними, независимость элементов нормального вектора при нулевой ковариации и почему это неверно для произвольных нормальных. порешали задачи 24.9а, 24.10, 24.17

2024-12-013, семинар 15: ЦПТ, решали задачи из задачника

2025-01-17, семинар 16: Сходимости почти наверное и по вероятности, связь со сходимостью по распределению. Посмотрели стандартные контрпримеры, показали, что если есть сходимость по распределению к константе, то есть и по вероятности. ЗБЧ Чебышева и Хинчина, УЗБЧ Колмогорова, обсудили 20.1 сколько успели.

2025-01-24, семинар 17: Сходимость в L_p, связи между сходимостями. Задача 20.11

2025-01-24, семинар 18: Характеристические функции и их свойства. Посчитали хар функции для равномерного, Бернулли, биномиального, Пуассона, экспоненциального. Показали, чо сумма нормальных нормальна. По функции пытались понять, может ли она быть характеристической и восстанавливали с.в.

==== 2310, 2312 ====

2024-09-06, семинар 1: задача 1.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Определили вероятностное пространство в виде тройки, множество исходов рассматривали конечное и счётное. Решили 3 счётные задачи на комбинаторику про колоды карт и счетные последовательности цифр. Привели геометрическое и аналитическое решения задачи про нахождение предела последовательности вероятностей. В конце нашли математическое ожидание геометрически распределённой случайной величины.

2024-09-13, семинар 2: задача 2.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Задача на упорядоченные и неупорядоченные наборы. Задача про классическое вероятностное пространство и про пространство с неравновероятными исходами. Разобрали парадокс Монти Холла. Ввели понятия условной вероятности и независимых случайных величин. Сформулировали и обсудили идеи доказательств трёх теорем: теорема умножения вероятностей, формула полной вероятности и формула Байеса.

2024-09-20, семинар 3: Решили задачу на определение условной вероятности. Обсудили парадокс теоремы Байеса на примере задачи про редкое заболевание, а также посмотрели простую программу на Python, которая считает вероятность в зависимости от количества проведенных тестов на заболевание. Обсудили условное математическое ожидание, некоторые его свойства и рассмотрели пример с подбрасыванием кубика. В конце решили задачу на парадокс дней рождений.

2024-09-27, семинар 4: Обсудили коллизии хеш-функций и связь с атакой "дней рождений". Определили независимость или зависимость случайных величин в четырёх разных вариантах. Обсудили, что неверно утверждать, что матожидание частного независимых случайных величин равно частному матожиданий, также привели пример использования подобного факта в некоторых статьях. В конце решили задачу на поиск функции производящей исходы, а также нашли E(X), E(Y^2), E(XY) с помощью найденной функции.

2024-10-04, семинар 5: Решили две простые задачи на условную вероятность и на теорему об умножении вероятностей. Обсудили связь дерева событий с условной вероятностью и теоремой об умножении вероятностей. Нашли производящую функцию моментов для геометрически распределенной случайной величины и с помощью нее нашли матожидание. Нашли производящую функцию моментов и матожидание суммы случайного количества н.о.р случайных величин.

2024-10-11, семинар 6: Привели аналогии между дискретными и непрерывными случайными величинами. Нарисовали графики функций от случайных величин. Вспомнили определение и свойства дисперсии. Решили простую задачу на подсчет дисперсии и нашли дисперсию геометрически распределенной случайной величины. Обсудили, когда может быть матожидание и дисперсия бесконечны. Далее вспомнили неравенства Маркова и Чебышева, вывели следствия и решили 3 задачи на применение этих неравенств. Обсудили, что неравенство Маркова может давать как точную оценку, так и очень слабую. Показали, что неотрицательность случайной величины в неравенстве Маркова является существенным условием.

2024-10-11, семинар 7: Повторили понятия энтропии в битах и натах, а также понятие дифференциальной энтропии. Нашли энтропию в схеме Бернулли и энтропии геометрического и экспоненциального распределений. Доказали простую оценку сверху для энтропии случайной величины, имеющей конечный носитель мощности n.

2024-11-1, семинар 8: Разобрали демо-вариант контрольной работы "Тыква".

2024-11-8, семинар 9: Разобрали демо-вариант контрольной работы "Летучая мышь".

2024-11-15, семинар 10: Понятие случайного процесса. Определение пуассоновского процесса, его свойства. Три простые задачи на пуассоновское распределение. Задачи 13.1 и 13.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-11-22, семинар 11: Определения Бета-функции и Гамма-функции. Бета и Гамма распределения, их функции плотности и графики. Нахождение моды случайных величин, имеющих Бета и Гамма распределения. Связь пуассоновского процесса с Гамма распределением. В конце нашли производящую функцию моментов Гамма распределения.

2024-11-29, семинар 12: Задачи 18.1, 18.2 и 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-12-06, семинар 13: Нашли многомерное нормальное распределение по виду функции плотности (константа на экспоненту с квадратичным показателем). С помощью формулы Иссерлиса нашли матожидания произведений различных или одинаковых случайных величин, имеющих многомерное нормальное распределение. Нашли условную вероятность многомерного распределения. Задача 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-12-13, семинар 14: Повторили определение сходимости по распределению и центральную предельную теорему. Решили задачи 20.2 и 20.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

== Источники ==

Источники мудрости, которые я постарался не замутить :)

[https://arxiv.org/pdf/1411.5279 WTSK]: Tim Hesterberg, What Teachers Should Know About the Bootstrap: вкусное и доступное изложение бутстрэпа и перестановочных тестов.

[https://projects.iq.harvard.edu/stat110/home BItP]: Blitzstein, Hwang, Introduction to Probability: учебник, записи лекций, гарвардский курс.

Теория вероятностей 2024/25 (основной поток)

2025-03-19T13:11:34Z

Bdemeshev:

= Преподаватели и учебные ассистенты =

{| class="wikitable" style="text-align:center"
|-
! Группа !! БПМИ235 !! БПМИ236 !! БПМИ237 !! БПМИ238 !! БПМИ239 !! БПМИ2310 !! БПМИ2311 !! БПМИ2312
|-
|| Лектор ||colspan="11"| [https://t.me/boris_demeshev Борис Демешев]
|-
|| Семинарист || [https://t.me/boris_demeshev Борис Демешев] || [https://t.me/levensons Илья Левин] || [https://t.me/madn_boi Никита Морозов] || [https://t.me/boris_demeshev Борис Демешев] || [https://t.me/XuMuK_MK Максим Каледин] || [https://t.me/goluba_yurieva Голуба Юрьева] || [https://t.me/Moskchan Вероника Владыкина] || [https://t.me/goluba_yurieva Голуба Юрьева]
|-
|| Ассистент || [https://t.me/nerhneiro Ира Скворцова] || [https://t.me/a_ameli_ig Амелия Алаева] || [https://t.me/htual Алина Бадахова] || [https://t.me/adelyagaraeva Аделя Гараева] || [https://t.me/mabrielka Мария Брель] || [https://t.me/zm_ann Анна Зыкова-Мызина] || [https://t.me/Yanlightv Яна Вежновец] || [https://t.me/nol_erk Кирилл Лавриненко]
|-
|| Ассистент курса ||colspan="11"| [https://t.me/Nick_Volya Никита Волянский]
|}

== Цели и задачи курса ==

侍には目標がなく道しかない [Samurai niwa mokuhyō ga naku michi shikanai]

У самурая нет цели и ничего кроме пути.

Вероятный план:
<div class="mw-collapsible mw-collapsed" style="width:1000px; overflow: hidden;">
1. Дискретное вероятностное пространство. Вероятность, математическое ожидание, теоретическая медиана.
Перестановочные тесты, p-значение для перестановочного теста.
Математическое ожидание = центр масс.

NB: здесь сходу рисуем дерево
NB: здесь нет задач на условную вероятность

!предупреждение об обозначениях случайных величин.
Российская традиция — греческие буквы, американская традиция — заглавные английские буквы.
Наш курс: любые буквы. Причина: теория вероятностей применяется в разных областях, где свои традиции.

NB: Способы вычисления вероятностей и ожиданий:
* полный перебор руками
* примерные вычисления руками
* полный перебор на компьютере
* симуляции на компьютере
* ...

2.
Методы решения задач:
* разложение величины в сумму
* метод первого шага
!идея: позиция в игре имеет цену
* just for fun: метод рычага в геометрии через ожидание
NB: рассказать здесь про комплексную случайную величину
NB: по сути здесь мы уже решаем задачи на марковские цепи не говоря страшных определений
LOTUS.

3. Условная вероятность и условное ожидание.
!идея: зануляем вероятности невозможных событий, а остальные — масштабируем.
формула полной вероятности
!идея: дерево "помнит" формулу полной вероятности
формула Байеса

Независимые события.
Независимые случайные величины.

4.
Методы решения задач:
* производящие функции многих переменных
функция как способ записать множество
HTT vs TTH
ABRACADABRA
!разложение по биномиальной формуле

?: можно здесь успеть функцию производящую моменты

5.
Биномиальное распределение.
Геометрическое и гипергеометрическое распределения.
Отрицательное биномиальное распределение.

6.
Равномерное распределение на множестве в R^n
Функция распределения.
Функция плотности и вероятностная дифференциальная форма.
!пояснение про неудачную традиционную терминологию "непрерывная случайная величина"
величина с функцией плотности, величина с непрерывной функцией распределения.

Квантили, квантильная функция.

7. Характеристики случайных величин и неравенства.
Дисперсия.
Энтропия.
Неравенство Маркова.
Неравенство Чебышёва.
Неравенство Йенсена.

Здесь конец модуля 1 и КР-1!

8. Пуассоновский поток.
Аксиомы пуассоновского потока.
Вывод экспоненциального распределения и пуассоновского распределения из аксиом.
Вывод экспоненциального распределения из предпосылки об отсутсвии памяти.

9. Нормальное распределение.
Нормальное распределение: предпосылки Хершела-Максвелла.
Нормальное распределение: аргументация Гаусса за среднее арифметическое.
Нормальное распределение: предпосылки Лэндона (до уравнения в частных производных).

10. Классические непрерывные распределения.

Гамма-распределение, бета-распределение.
Вывод нормального и экспоненциального распредений как минимизации энтропии.

11. Парные характеристики случайных величин.
Наилучшая линейная аппроксимация.
Ковариация.
Корреляция.
Кросс-энтропия.

Доказательство E(XY) = E(X) E(Y) для дискретных.
Ковариационная матрица и ожидание для случайных векторов.

12. Совместная и условная функция плостности.
Преобразования случайных величин.

13. Функция производящая моменты и характеристическая функция.
Распределение суммы случайного количества случайных величин.
Случайный выбор слагаемых.

14. Финансовые приложения

Оценивание опционов на биномиальном дереве.
Максимизация долгосрочной прибыли, связь с энтропией.
Возможно, индексы Гиттинса.

Здесь конец модуля 2 и КР-2

15. Сигма-алгебры.

Список известных величин как способ описания информации.
Идея условного ожидания как оптимального прогноза.
Сигма-алгебра как способ описания информации.
Измеримость случайной величины относительно сигма-алгебры.
Сигма-алгебра как ОДЗ для вероятности.
Борелевская сигма-алгебра.
Независимые случайные величины второе определение.

16. Условное математическое ожидание.
Условная дисперсия.
Сумма случайного количества случайных величин.

17. Сходимости случайных величин.

Сходимость по вероятности.
Закон больших чисел.
Сходимость почти наверное.
Усилинный закон больших чисел.
Сходимость по распределению.

18. Связь сходимостей.
Лемма Слуцкого.

19. Центральная предельная теорема.
Доказательство через подмену слагаемых.
Доказательство через характеристические функции.

Здесь контрольная.

20. Винеровский процесс
Условные ожидания, инверсия.

21. Байесовский подход к оцениванию параметров

Балансовое уравнение. Идея MCMC.

22. Доказательства свойств меры

23. Алгоритм построения математического ожидания в общем случае.
Лемма Фату.
Теорема о мажорируемой сходимости.
Теорема о монотонной сходимости.

24. Резерв.

Жемчужинки, которые, вероятно, не успеем:

А. Методы решения задач:
подсчёт случаев с помощью леммы Бернсайда и теоремы Пойа о перечислении
(Burnside lemma, PET = Polya Enumeration Theorem)

B. вероятностные доказательства детерминистических теорем

</div>

== Оценивание ==

Оценка за семестр-1 = 0.2 Домашние задания семестра-1 + 0.4 Контрольная-Альфа + 0.4 Экзамен-Бета.

Финальная оценка за курс = 0.5 Оценка за семестр-1 + 0.1 Домашние задания семестра-2 + 0.2 Контрольная-Гамма + 0.2 Экзамен-Дельта.

Каждая оценка (суммарные итоги за домашние задания, контрольные, экзамены) — целое число от 0 до 100.
Для перевода в 10-балльную шкалу промежуточной оценки за семестр-1 и финальной оценки используется деление на 10
с арифметическим округлением. Например, если Максим получил "оценку за семестр-1" 65 баллов, то в ведомость за первый семестр идёт 7, а далее в формуле финальной оценки за курс используется 65.

=== Домашние задания для самураев ===

Домашние задания [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/home_assignments/home_assignments.pdf одним файлом] и [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/blob/main/home_assignments/ отдельными файлами].
Домашние задания имеют равный вес.
В конце каждой лекции (за исключением ближайших к экзамену лекций)
выдается домашнее задание сроком на две недели.
Дедлайн жёсткий, однако студент имеет право просрочить три домашних задания на неделю каждое без штрафа.

Формат сдачи ДЗ: один pdf-файл (решение текстовых задач) и один ipynb-файл (решение компьютерных задач).
В pdf-файл можно поместить аккуратно написанное отсканированное решение, а можно скомпилировать pdf из теха или маркдауна.
Ещё можно вместо pdf-файла написать всё в ipynb.
Бонусов за сдачу домашки в техе нет. Пример [https://www.overleaf.com/read/qmrkwpzvmqbk шаблона].

Обратите внимание: '''время каждого дедлайна — 23:59'''.

=== Ведомость с оценками за ДЗ ===

{| class="wikitable" style="text-align:center"
|-
! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1872081500#gid=1872081500 235] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1374497930#gid=1374497930 236] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1183164252#gid=1183164252 237] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=408179311#gid=408179311 238] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1032422408#gid=1032422408 239] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1603236891#gid=1603236891 2310] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=791330236#gid=791330236 2311] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=23847300#gid=23847300 2312]
|}

[https://docs.google.com/spreadsheets/d/14hD7-SLmAA1omdkhPlt3blRHDHVGTDS8ZgvLWscvMz8/edit?usp=sharing Сводная ведомость всех оценок]

=== Контрольные работы и экзамен ===

Вес каждой задачи будет написан в тексте работы.
Задачи с ненаписанным по случайности весом имеют равный вес.
Для пропущенных по уважительной причине контрольных будет выделен один день для переписывания.
При пропуске дня переписывания, в том числе по уважительным причинам, ещё одного шанса не предоставляется.

<div class="mw-collapsible mw-collapsed" style="width:1000px; overflow: hidden;">

'''Контрольная работа 1''' состоится 2024-11-11 в 16:20, аудитории: R401, R305, R206, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_halloween_demo/exam_halloween_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/midterm/midterm-alpha.pdf условие с критериями и решениями].

'''Резервный день 1''' для пропустивших по уважительной причине состоится 2024-12-02 в 19:40, R405

'''Показ контрольной 1''':

* задачи 1, 2: заочно до 2024-12-08, [https://t.me/Moskchan Вероника]
* задачи 3, 4 [https://t.me/boris_demeshev Борис], очно, четверг, 2024-12-05, 18:10-21:00, G408
* задачи 5, 6 [https://t.me/XuMuK_MK Максим]: очно, четверг, 2024-12-05, 18:10-21:00, G408

'''Экзамен, модуль 2''' состоится '''''2024-12-24 в 10:00''''', аудитории R301, R304, R401, R404, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_winter_demo/exam_winter_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/december/pmi_probab_2024_december.pdf условие].

Если вы не хотите идти на экзамен, то заполните [https://forms.gle/UQzW77RrPvcdahG47 эту форму], чтобы получить ноль при неявке

'''Апелляция экзамена''':

* задачи 1, 2: заочно [https://t.me/goluba_yurieva Голуба], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/december/exam_problem_1-2.pdf решения и критерии 1, 2];
* задачи 3, 4: очно 2025-01-11, аудитория R408, 14:40-17:40 [https://t.me/madn_boi Никита], [https://www.overleaf.com/read/dnhjcdrndqps#42f1ab решения и критерии 3, 4];
* задачи 5, 6: заочно [https://t.me/levensons Илья]

* дедлайн по заочным апелляциям: суббота 23:59

[https://docs.google.com/spreadsheets/d/1mxMCr3IEDy8EPFWGkn3_dsghhPNcZICEw9C9o5ZoZvA/edit?usp=sharing Распределение по аудиториям]

Даты пересдач: 2025-01-28 в 18:10, 2025-02-03 в 18:10 и комиссия 2025-02-11 в 18:10.

* задачи 1, 2: [https://t.me/goluba_yurieva Голуба], задачи 3, 4: [https://t.me/madn_boi Никита], задачи 5, 6: [https://t.me/levensons Илья], апелляция пересдачи 2 до 21:00 2025-02-10.

</div>

'''Контрольная, модуль 3''' состоится 2025-02-22 в 16:20, аудитории R201, R204, R404, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_galileo_demo/exam_galileo_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_galileo/pmi_probab_galileo_exam_2024-2025.pdf условие].

[https://docs.google.com/spreadsheets/d/1LZA-7TDz_yYeVPRx4BpBWJnQKZ7wqPgHDrN-Z0SM68M/edit?usp=sharing Распределение по аудиториям]

'''Контрольная, модуль 3, резервный день''': 2025-03-07, пятница, 18:10, R204, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_galileo/pmi_probab_galileo_exam_2024-2025_retake.pdf условия]

[https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_galileo_sol/pmi_probab_galileo_exam_2024-2025_sol.pdf Комментарии по проверке], показ работ кр3:

* Задачи 1-2, очно, [https://t.me/PlatonPromyslov Платон], суббота 22 марта, 19:00.
* Задачи 3-4, заочно до 23 марта, [https://t.me/Moskchan Вероника]
* Задачи 5-6, очно, [https://t.me/madn_boi Никита], понедельник 24 марта, 16:20

'''Экзамен, модуль 3''' состоится '''2025-03-28''' в 14:40, аудитории R201, R301, R404, R405, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_delta_demo/exam_delta_demo.pdf демо], условие.

== Учебные материалы ==

[https://github.com/bdemeshev/probability_pro/raw/master/probability_pro.pdf PP]: Листки с задачами к курсу.

[https://github.com/bdemeshev/stochastic_pro/raw/main/stochastic_pro.pdf StoPro]: Stochastic process problems.

[https://github.com/bdemeshev/probability_dna/raw/master/probability_dna.pdf PDNA]: Вероятностная ДНК = вкусные задачи по теории вероятностей.

[https://disk.yandex.ru/d/LZ6d2VZVqYvbDQ Видео-летопись семинаров и лекций] и [https://hse.liferooter.dev/ конспект] от тайного благожелателя (updated 2024-10-23]

[https://disk.yandex.ru/d/IoakBXz_6yygPw Официальные видео]

[https://www.cambridgeinternational.org/Images/344616-list-of-formulae-and-statistical-tables.pdf Cambridge statistical tables]

== Дневник самурая ==

2024-09-02, лекция 1: Определение события. Определение случайной величины. Аксиомы вероятности. Определение математического ожидания для дискретного случая.
Линейность математического ожидания. Математическое ожидание как центр масс. Первое знакомоство с перестановочным тестом и p-значением.

Можно глянуть: главы 2.1 и 7 из [https://arxiv.org/pdf/1411.5279 WTSK], метод рычага [https://mathcircle.berkeley.edu/sites/default/files/archivedocs/2007_2008/lectures/0708lecturespdf/MassPointsBMC07.pdf в геометрии].

2024-09-09, лекция 2: Метод первого шага (вероятность выпадения HTH ранее HHT, ожидаемое количество шагов). Метод разложения случайной величины в сумму. Определение случайного вектора. Использование интерпретации ожидания как центра масс в геометрии. Определение теоретической медианы.

Можно глянуть: глава 2.7.2 из [https://projects.iq.harvard.edu/stat110/home BItP], три стратегии решения задачи за 10 минут [https://www.youtube.com/watch?v=xH89DaEI35w Visually Explained]

2024-09-16, лекция 3: Получение новой информации приводит к пересчёту вероятностей. Определение условной вероятности. Формула полной вероятности. Формула Байеса.
Условное математическое ожидание. Формула полного математического ожидания. Независимость пары событий. Независимость набора событий в совокупности.
Независимость величин: неформальное определение. Критерий независимости произвольных величин. Критерий независимости дискретных величин.

2024-09-23, лекция 4: Доказательство критерия независимости для дискретных случайных величин: из независимости {X=x} и {Y=y} следует независимость {X in A} и {Y in B}. Независимость величин равносильна E(f(X))E(g(Y))=E(f(X)g(Y)) для произвольных f, g. Определение биномиальной, геометрической (как числа неудач до 1го успеха) и отрицательной биномиальной случайной величины. Общая идея за производящими функциями: как из функции, производящей исходы эксперимента, с помощью производных и подстановок выудить индивидуальные вероятности, совместные вероятности, ожидания любой степени E(X^a), E(X^a Y^b). Формальное определение функции, производящей вероятности, и функцию, производящей моменты, для одной случайной величины и пары случайных величин. Метатеорема: все теоремы о дискретных величинах доказываются перестановкой слагаемых. Основные дискретные распределения: биномиальное, геометрическое, отрицательное биномиальное.

2024-09-30, лекция 5: Ещё дискретные законы распределения: гипергеометрическое. Описание закона распределения через равномерное распределение на подмножестве R^n.
Функция плотности как линейная часть вероятности попадания в отрезок. Равномерное распределение на отрезке. Смешанные случайные величины. LOTUS: нахождение ожидания любой функции от случайной величины для величин с функцией плотности и смешанных величин. Функция распределения. Квантильная функция.

2024-10-07, лекция 6: Две геометрии случайных величин и событий: E(XY) как скалярное произведение, Cov(X, Y) как скалярное произведение. Математическое ожидание — проекция в рамках геометрии, задаваемой E(XY). Определение и геометрический смысл дисперсии, стандартного отклонения, ковариации и корреляции. Неравенство Маркова. Неравенство Чебышёва. Неравенство Йенсена: интуитивный смысл.

2024-10-14, лекция 7: Доказательство неравенства Йенсена. Энтропия как минимальное ожидаемое число вопросов для отгадывания и формальное определение. Кросс-энтропия.
Доказательство того, что кросс-энтропия больше либо равна энтропии. Совместная энтропия. Условная энтропия. Формула H(X) + H(Y|X) = H(X, Y) без доказательства.
Вывод плотности экспоненциального распределения из предпосылки отсутствия памяти. Экспоненциальное распределение максимизирует энтропию при заданном ожидании и неотрицательности.

* Cristopher Olah, Visual Information Theory, https://colah.github.io/posts/2015-09-Visual-Information/

* Grand Sanderson, Solving Wordle using information theory, [https://www.youtube.com/watch?v=v68zYyaEmEA youtube].

* Artem Kirsanov, Key equation behind probability, [https://www.youtube.com/watch?v=KHVR587oW8I youtube]. У Артёма кросс-энтропия обозначена H(P, Q), а не CE(P||Q)).

* [https://exuberant-arthropod-be8.notion.site/1-02-09-5e107ea1c4054594b8f37d955db8a2b0 Конспект] аналогичной старой лекции псмо на русском.

* Keith Conrad, [https://kconrad.math.uconn.edu/blurbs/analysis/entropypost.pdf Maximal entropy] distributions.

2024-10-21, лекция 8: Ковариационная матрица и её свойства. Совместная функция плотности. Условная функция плотности. Критерий независимости в терминах функций плотности и распределения.
Связь индивидуальной и совместной функций плотности и функций распределения. Смена плотности при замене переменных: домножение на якобиан и неформально про дифференциальные формы. Формула свёртки.
Разложение совместной плотности для графической модели. Представление произвольной совместной функции распределения с помощью копулы.

* Про дифференциальные формы: [https://www.youtube.com/watch?v=PaWj0WxUxGg&list=PL22w63XsKjqzQZtDZO_9s2HEMRJnaOTX7 videos] by Michael Penn, [https://www.math.purdue.edu/~arapura/preprints/diffforms.pdf short intro] by Dony Arapura

* What is a convolution от [https://www.youtube.com/watch?v=KuXjwB4LzSA 3b1b]

* From graphical models to [https://www.youtube.com/watch?v=yBc01ZeaFxw&list=PLISXH-iEM4JlFsAp7trKCWyxeO3M70QyJ Probabilistic ML]

2024-11-11, лекция 9: Пуассоновский поток: аксиомы. Вывод пуассоновского распределения количества событий и экспоненциального времени между событиями из аксиом.
Сумма независимых пуассоновских потоков — это пуассоновский поток (половина доказательства). Вероятность того, что одна экспоненциальная величина будет меньше другой, независимой.

2024-11-18, лекция 10: Гамма-распределение как сумма нескольких экспоненциальных: вывод плотности через вероятность попадания в малый отрезок.
Обобщение плотности на случай положительного параметра $a$. Гамма-функция. Бета-распределение как отношение гамма-распределений. Бета-функция.

2024-11-25, лекция 11: Вывод нормального распределения из предпосылок Гаусса. Вывод нормального распределения из предпосылок Гершеля — Максвелла.

* Saul Stahl, The [https://www.researchgate.net/publication/255668423_The_Evolution_of_the_Normal_Distribution Evolution] of the Normal Distribution: вывод Гаусса с историей.

* Grand Sanderson, [https://www.youtube.com/watch?v=cy8r7WSuT1I Why pi] is in the normal? вывод Гершеля—Максвелла

* James Stein, [http://www-biba.inrialpes.fr/Jaynes/cc07s.pdf Normal Distribution]: глава про нормальное распределение (Гаусс, Гершель—Максвелл, Лэндон etc)

* William Herschel, [https://music.yandex.com/album/209394/track/2121214 концерт для габоя]

* William Herschel, [https://www.informationphilosopher.com/solutions/scientists/quetelet/Herschel_Quetelet_Probabilities.pdf On the theory of Probabilities]: вывод нормального распределения словами на стр. 189-191

2024-12-02, лекция 12: многомерное нормальное распределение. Функция плотности невырожденного многомерного нормального. Функция производящая моменты для многомерного нормального. Формула Иссерлиса с ненулевыми ожиданиями и доказательством. Условное распределение: вывод условного ожидания и условной дисперсии через разложение величины в сумму независимых.

* [https://stats.stackexchange.com/questions/30588/ альтернативный вывод] условного многомерного нормального распределения
* Хитрый [https://github.com/bdemeshev/lis-isserlis/raw/main/lis-isserlis.pdf лис Иссерлис]

2024-12-09, лекция 13: сходимость по распределению, центральная предельная теорема с доказательством подменой слагаемых.

* Calvin Chin [https://arxiv.org/pdf/2106.00871 CLT proof] by swapping
* [https://bdemeshev.github.io/teaching_notes/clt_by_swapping Пересказ доказательства]

2024-12-16, лекция 14: использование бесконечно малых при нахождении ожиданий, трюк с добавление параметра, трюк с закольцовыванием отрезка при равномерном распределении.

2025-01-13, лекция 15: Неединственность предела по распределению. Неаддитивность предела по распределению. Предел по вероятности. Закон больших чисел в слабой форме (с доказательством при дополнительной предпосылке о конечности дисперсии). Теорема о непрерывном отображении.

2025-01-20, лекция 16: два определение сходимости почти наверное с доказательством эквивалентности. Сходимость в Lp. Из сходимости в Lp при p>=1 следует сходимость по вероятности. Из сходимости почти наверное следует сходимость по вероятностям. Контр-пример к разнице сходимостей почти наверное и по вероятности. Контр-пример к разнице сходимостей в Lp и по вероятности. Усиленный закон больших чисел (без доказательства). Леммы Слуцкого (без доказательства).

2025-01-27, лекция 17: характеристические функции и их свойства. Вывод характеристической функции нормального стандартного распределения через дифференциальное уравнение. Характеристическая функция биномиального распредеделения. Второе доказательство ЦПТ (через характеристические функции).

* [https://web.ma.utexas.edu/users/gordanz/notes/characteristic.pdf Gordan Zitkovic]: characteristic functions
* [https://sas.uwaterloo.ca/~dlmcleis/s901/chapt6.pdf McLeish]: clt proof

2025-02-03, лекция 18: пример последовательности сходящийся по вероятности с ожиданием стремящимся к бесконечности. Критерий Кэлли. Критерий оптимальной остановки Брасса.

* [https://en.wikipedia.org/wiki/Kelly_criterion wikipedia]: Kelly criterion
* [https://projecteuclid.org/journalArticle/Download?urlId=10.1214%2Faop%2F1019160340 Bruss]: sum the odds to one and stop

2025-02-10 лекция 19: Сигма-алгебра порождённая случайной величиной или набором из нескольких случайных величин. Замкнутость относительно счётного количества операций с множествами. Сигма-алгебра. Объединение сигма-алгебр не всегда сигма-алгебра. Пересечение сигма-алгебр всегда сигма-алгебра. Измеримость суммы. Борелевская сигма-алгебра.

2025-02-18, лекция 20: [https://us06web.zoom.us/j/82685613040?pwd=bqJoXGItwNOOWddXj1flfmPmDn6fMQ.1 онлайн, 18:10]: разбор задач про сигма-алгебры для подготовки к контрольной. Условное математическое ожидание относительно сигма-алгебры: интуиция и формальное определение. Пример подсчёта в дискретном случае.

2025-02-24, лекция 21: Условное ожидание и дисперсия относительно сигма-алгебры со свойствами. Условная вероятность.

2025-03-03, лекция 22: Определение фильтрации. Определение момента остановки. Сигма-алгебра на момент остановки. Определение мартингала.
Формулировка теоремы [https://en.wikipedia.org/wiki/Optional_stopping_theorem Дуба об остановке мартингала]. Задача о макаке, печатающей слово "абракадабра".

2025-03-10, лекция 23: Два контр-примера к теореме дуба. Доказали теоремы Дуба для случая ограниченного момента времени. Тождество Вальда: формулировка и доказательство. Определение броуновского движения с явным упоминанием фильтрации и без. Ковариационная функция Cov(Ws, Wt).

2025-03-17, лекция 24: Преобразования винеровского процесса. Модель Блэка Шоулса (как предел дискретной?)

2025-03-24, лекция 25:

=== Семинары ===

==== 473 = 235 + 238 ====

2024-09-02, 06, семинар 1: задачи 1.1, 1.6, 3.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-09, 13, семинар 2: задачи 2.1, 2.3, 12.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-16, 20, семинар 3: задачи 7.12 и 7.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-23, 27, семинар 4: как извлечь P(X=3), E(X), E(X^2Y) из функции, производящей список исходов, 28.16 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-30, -10-04, семинар 5: 9.3в, 9.4, 9.7(абвд, кроме дисперсии, аргументы масштабирования и центра масс помимо интегралов), 9.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-10-07, 11, семинар 6: вычисление Cov, Var, Corr по табличке и из функции плотности, нахождение дисперсии для отрицательного биномиального распределения по свойствам.

2024-10-14, 18, семинар 7: вычисление энтропии геометрического распределения. Изменение энтропии при линейном преобразовании для дискретной величины и величины с функцией плотности.
Кросс-энтропия из экспоненциального в равномерное. Условная энтропия для дискретной таблички. Связь энтропии величины с функцией плотности и энтропия дискретной версии этой случайной величины после "огрубления" с малым шагом 1/k.

2024-10-21, -11-01, семинар 8: 16.18, 16.23 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], свёртка двух экспоненциальных величин

2024-11-11, 15, семинар 9: задачи на пуассоновский поток из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-11-18, 22, семинар 10: задачи на бета и гамма-распределение

2024-11-25, 29, семинар 11: задачи на нормальное распределение, 18.1, 18.2, 18.3, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-02, 06, семинар 12: задачи на многомерное нормальное: 24.16аб, 24.17аб, 24.18, 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-09, 13, семинар 13: ЦПТ и нормальное распределение: 20.2, 20.4, 18.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-19, семинар 14: разбор демо

2025-01-13, семинар 15: сходимость по вероятности: 20.1, 20.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-20, 24, семинар 16: связь между сходимостями, 20.11, 20.13 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-27, 31, семинар 17: 28.17, 28.18, 28.21 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-03, 07, семинар 18: 28.20аб, 28.22 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-10, 14, семинар 19: 6.2, 6.3, 6.11, измеримость произведения из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-18, 21, семинар 20: разбор демо

2025-02-24, 28, семинар 21: Условное математическое ожидание и условная дисперсия относительно сигма-алгебры в дискретном случае.
[https://github.com/bdemeshev/stochastic_pro/raw/main/stochastic_pro.pdf StoPro]: 8.22-8.25

2025-03-03, 10, семинар 22: доказали, что сигма алгебра, порождённая моментом остановки, лежит внутри сигма-алгебры событий на момент остановки.
Вероятность достижения границы -а раньше границы +b и среднее время достижения одной из этих границ для классического случайного блуждания.
Преобразование несимметричного случайного блуждание St в мартингал с помощью exp(alpha St).
[https://github.com/bdemeshev/stochastic_pro/raw/main/stochastic_pro.pdf StoPro]: 9.1, 9.3

2025-03-10, 14, семинар 23: решение двух классических задач с помощью мартингалов: [https://en.m.wikipedia.org/wiki/Bertrand%27s_ballot_theorem задача о голосовании], [https://math.dartmouth.edu/~pw/papers/gpdp.ps "следующая карта — красная"].

==== 236 ====

2024-09-06, семинар 1: в начале семинара рассмотрели основные понятия и определения для решения задач. Решили задачи 1.1, 1.6, 3.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-13, семинар 2: нашли ожидание случайной величины с геом. распределением. Решили задачи 2.1, 12.6, 12.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-09-20, семинар 3: решили задачи 7.12, 7.4(а), 7.7, 7.13(а) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-09-27, семинар 4: разобрали 7.13, почти разобрали 28.3 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Также рассмотрели один контрпример на независимость(тетраэдр Бернштейна).

2024-10-04, семинар 5: разобрались с определениями, решили 9.3(абв), 9.7(аб) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Решили задачку про три точки на отрезке и найти вероятность получить треугольник. Также вывели формулу для мат. ожидания неотрицательной величины через функцию распределения.

2024-10-14, семинар 6: обсудили дисперсию, ковариацию, коэффициент корреляции и их геометрический смысл. Решили задачу на оценку дисперсии ограниченной величины. посчитали дисперсию геометрического, биномиального. Посчитали дисперсию в задаче о письмах и конвертах.

???, семинар 7: определили энтропию, посчитали примеры для дискретных величин, для линейных преобразований. Доказали, что задача максимизации энтропии с фиксированной дисперсией достигается на нормальном распределении.

???, семинар 8: свертка двух экспоненциальных, 16.18 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

???, семинар 9: задачи на пуассоновский процесс из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

???, семинар 10: разбор кр.

???, семинар 11: разобрали задачи на нормальное распределение 18.1, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Также считали распределение суммы двух независимых нормальных.

==== 237 ====

2024-09-09, семинар 1: задачи 1.1, 2.2 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], вероятность что n ладей не бьют друг друга при случайной расстановке на шахматной доске n на n, матожидание числа треугольников в случайном графе на n вершинах через сумму индикаторов

2024-09-13, семинар 2: задачи 2.1, 2.6, 12.3, 12.6, 12.7 (без дисперсий) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-23, семинар 3: задачи 7.2, 7.13, 7.7, 7.8, плюс начали 7.15b (получили неверный ответ) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-27, семинар 4: дорешали 7.15b с небольшой демонстрацией на питоне, разобрали 28.2 для нечестной монетки плюс посчитали матожидание [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-10-04, семинар 5: задачи 9.1, 9.3абв, 9.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], философия про то почему бОльшая плотность не всегда означает бОльшую вероятность оказаться в окрестности данной точки (плотность может занимать слишком маленький объем)

2024-10-11, семинар 6: вспомнили определения Cov/Var/Corr, посчитали у пары дискретных величин по табличке вероятностей, посчитали дисперсию у биномиального, геометрического, непрерывного равномерного на отрезке.

2024-10-18, семинар 7: вычисление энтропии геометрического распределения; ограниченность энтропии снизу и сверху в дискретном случае; изменение энтропии при линейном преобразовании для дискретной величины и величины с функцией плотности; условная энтропия, KL дивергенция и кросс-энтропия, неотрицательность KL, интерпретация на пальцах с точки зрения теории информации.

2024-11-01, семинар 8: 16.18, 16.23 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], свёртка двух экспоненциальных величин

2024-11-08, семинар 9: решали пробный вариант КР

2024-11-15, семинар 10: 13.1, 13.2, 13.5, 13.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-11-22, семинар 11: разбор КР

2024-11-29, семинар 12: нормальное распределение, 18.1, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-06, семинар 13: многомерное нормальное распределение, изменение среднего и матрицы ковариаций при линейном преобразовании, 24.4а, 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-13, семинар 14: 24.4в из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], сходимости случайных величин, ЗБЧ и ЦПТ, 20.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-21, семинар 15: наследование сходимости, 20.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], плюс доказали предельную теорему Пуассона

2025-01-28, семинар 16: связь между сходимостями, 20.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], лемма Слуцкого, подмена дисперсии на выборочную дисперсию в ЦПТ

2025-02-04, семинар 17: базовые свойства хар функций, хар функция суммы независимых величин, 28.17, 28.20 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-18, семинар 18: вероятностное пространство в общем случае, сигма-алгебры, борелевская сигма-алгебра, сигма-алгебра порожденная случайной величиной, измеримость случайной величины относительно сигма-алгебры, 6.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], задачи на сигма алгебры из пробника КР

2025-02-25, семинар 19: условное матожидание относительно сигма алгебры, условное матожидание и дисперсия относительно случайной величины, закон полного матожидания и закон полной дисперсии, 22.1, 22.3, 22.5абв из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-03-04, семинар 20: показали, что условное матожидание минимизирует среднеквадратичный риск; нашли условное матожидание и условную дисперсию в 22.6 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], нашли E[X | X^2] для симметричного равномерного распределения, нашли E[X_1 | X_1 + ... + X_n] для набора i.i.d. величин, нашли E[Y] и Var(Y) для Y|X имеющего экспоненциальное распределение с параметром X

2025-03-11, семинар 21: мартингалы, момент остановки, теорема Дуба об остановке, задача о разорении игрока для честного и нечестного казино, вероятность выигрыша и вероятность разорения

2025-03-11, семинар 22: матожидание времени до момента остановки в задаче о разорении игрока, теорема Бертрана о выборах

==== 239 ====

2024-09-03, семинар 1: задачи 1.1, 1.4, пытались 1.8 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Ещё успели посчитать вероятность N=k бросков монеты до выпадения первого орла, матожидание N. И ещё сделали то же для количества бросков до выпадения 3 орлов (не в серии).

2024-09-10, семинар 2: доказали формулу включения-исключения, решили несложную задачу, порешали 2.7 задачи типа 12.*

2024-09-17, семинар 3: Решили две прямых задачи на формулу Байеса и формулу полной вероятности (без большого количества вычислений). Решили задачу поиска вероятности неисправного кофе-автомата из 3 при условии, что бросили деньги в 1 и 2 и их зажевало. Ещё нашли вероятность, что мяч будет у игрока 3 после шага 10 (все садятся в круг и на каждом шаге бросают мяч соседу с вероятностью 0.3 и оставляют у себя с вероятностью 0.4).

2024-09-24, семинар 4: Вспомнили про метод первого шага, используя формулу полной вероятности и введя в некотором виде формулу полного матожидания, записали формулу для вероятностей нахождения в состоянии i через произведение переходной матрицы на вектор. Совсем немного начали производящие функции, но решили не считать 31ю производную многочлена.

2024-10-01, семинар 5: Исследуем дискретные случайные величины (Биномиальная, Геометрическая и разные похожие) с использованием техник вычислений моментов через производящую функцию. Задачи на распределения величин, посчитанных по набору величин. Первая большая задача про плотность.

2024-10-08, семинар 6: разминочная про плотность и функцию распределения. Считаем дисперсию, ковариацию и корреляцию по 2x2 таблице и в равномерном распределении на круге и квадрате [-1,1]х[-1,1].

2024-10-15, семинар 7: пара задач про экспоненциальное распределение, расчёты по теории информации(считаем всякое, чтобы привыкнуть).

2024-10-22, семинар 8: письменные источники не сохранились до наших дней. Согласно преданиям, оьсуждали двери и около контрольной. Говорят, ввели пуассоновский процесс.

2024-???, семинар 9: решаем задачи на пуассоновское в разных формах и обсуждаем омалые в порядковых статистиках.

2024-???, семинар 10: учимся интерпретироввть гауссовское, пользоваться таблицами для функции Лапласа, а также немного работать с многомерным гауссовским.

2024-3-12, семинар 11: Копаем во все стороны многомерное гауссовское: считаем вероятности для линейных комбинаций гауссовских, проверяем зависимость, вычисляем условные законы, матожидания и ковариационные матрицы, вспоминаем спектральное разложение и разложение Холецкого.

==== 2311 ====

2024-09-06, семинар 1: вероятностное пространство, вероятность на нем, вероятность события, случайная величина и ее распределение (индикатор события, сумма двух кубиков, число бросаний монетки до первого орла), матожидание случайной величины (индикатор, один кубик, два кубика), линейность матожидания. Задачи на линейность матожидания, в том числе ЕГЭшная задача про турнир, 1.5, 3.5 с допвопросом о матожидании числа совпадений. Разговор о получении события произвольной вероятности монеткой в контексте 1.8

2024-09-13, семинар 2: Повторили матожидание суммы на примере 12.3. Обсудили условную вероятность и формулу полной вероятности, условное матожидание, решили задачи на метод первого шага 2.1, 2.3, 2.7.

2024-09-20, семинар 3: Условная вероятность, формула полной вероятности, формула Байеса: 7.1, классическая задача про болезни и тесты, простейшие задачки на общее понимание, обсуждение двух подходов: вычисления условной вероятности по формуле и составления нового вероятностного пространства и подсчет вероятности в нем. Независимые события (события "пики" и "дама" в обычной колоде и колоде с джокерами), независимые в совокупности события, построили пример попарно независимых, но не независимых в совокупности. Обсудили биномиальное распределение. решили задачу: "в корабле к отсеков, чтобы корабль затонул, нужно поразить 2. Независимо выпускают n ракет, каждая из которых поражает случайный отсек с вероятностью p. Найти вероятность потопления корабля"

2024-09-20, семинар 4: Примеры одинаково распределенных зависимых СВ, независимые СВ. Производящая функция и ее свойства. Посчитали для биномиального производящую функцию и второй момент. Обсудили, что будет меняться в случае функции, производящей моменты. Обсудили функцию, производящую множество исходов, как из нее доставать уже известные функции, как ее искать на примере бросания монетки до выпадания HT

2024-10-11, семинар 5: Составили табличку стандартных дискретных распределений, посчитали матожидание геометрического, обсудили дисперсию и ковариацию и их свойства (в дискретном случае), досчитали дисперсии основных распределений. Обсудили вероятностное пространство в общем случае, понятие СВ в общем случае. Дали определение ФР, посчитали ФР для явно заданной СВ. Дали определение плотности.

2024-10-12, семинар 6: Обсудили свойства ФР, как считать вероятность попадания в промежуток в терминах ФР. Выразили ФР 1/X, cos X. Обсудили как выражается веротяность попадания в множество через плотность. для 1/Х выразили плотность в случае абсолютной непрерывности Х. Обсудили формулу для МО в общем виде через интеграл Стильтьеса и как вычислять МО для функции, разлагающейся в сумму абсолютно нерпрерывной и функции скачков, посчитали МО для пары таких СВ

2024-10-18, семинар 7: Обсудили геометрию, заданную скалярным произведением EXY и cov(X,Y), поиск ортогонального элемента и проекции. Посчитали энтропию и кросс-энтропию в дискретном и непрерывном случаях, посчиали совместную и условную энтропию в дискретном случае (23.2, 23.4, 23.9)

2024-11-01, семинар 9: Совместная плотность и ф.р., подсчет вероятностей, маргинальные плотности, замена переменной через якобиан, свертка, матожидание

2024-11-09, семинар 10: Условная плотность, формула условной вероятности. Задача на восстановление маргинальной плотности по условной. Разбор задач из "Летучей мыши"

2024-11-19, семинар 11: Разбор контрольной работы

2024-11-22, семинар 12: Пуассоновский поток - решали задачки из задачника

2024-11-29, семинар 13: Нормальное распределение - задачи из PP, повторили функцию, порождающую моменты, обсудили ее свойства в абсолютно непрерывном случае

2024-12-06, семинар 14: Многомерное нормальное - обсудили два определения, связь между ними, независимость элементов нормального вектора при нулевой ковариации и почему это неверно для произвольных нормальных. порешали задачи 24.9а, 24.10, 24.17

2024-12-013, семинар 15: ЦПТ, решали задачи из задачника

2025-01-17, семинар 16: Сходимости почти наверное и по вероятности, связь со сходимостью по распределению. Посмотрели стандартные контрпримеры, показали, что если есть сходимость по распределению к константе, то есть и по вероятности. ЗБЧ Чебышева и Хинчина, УЗБЧ Колмогорова, обсудили 20.1 сколько успели.

2025-01-24, семинар 17: Сходимость в L_p, связи между сходимостями. Задача 20.11

2025-01-24, семинар 18: Характеристические функции и их свойства. Посчитали хар функции для равномерного, Бернулли, биномиального, Пуассона, экспоненциального. Показали, чо сумма нормальных нормальна. По функции пытались понять, может ли она быть характеристической и восстанавливали с.в.

==== 2310, 2312 ====

2024-09-06, семинар 1: задача 1.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Определили вероятностное пространство в виде тройки, множество исходов рассматривали конечное и счётное. Решили 3 счётные задачи на комбинаторику про колоды карт и счетные последовательности цифр. Привели геометрическое и аналитическое решения задачи про нахождение предела последовательности вероятностей. В конце нашли математическое ожидание геометрически распределённой случайной величины.

2024-09-13, семинар 2: задача 2.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Задача на упорядоченные и неупорядоченные наборы. Задача про классическое вероятностное пространство и про пространство с неравновероятными исходами. Разобрали парадокс Монти Холла. Ввели понятия условной вероятности и независимых случайных величин. Сформулировали и обсудили идеи доказательств трёх теорем: теорема умножения вероятностей, формула полной вероятности и формула Байеса.

2024-09-20, семинар 3: Решили задачу на определение условной вероятности. Обсудили парадокс теоремы Байеса на примере задачи про редкое заболевание, а также посмотрели простую программу на Python, которая считает вероятность в зависимости от количества проведенных тестов на заболевание. Обсудили условное математическое ожидание, некоторые его свойства и рассмотрели пример с подбрасыванием кубика. В конце решили задачу на парадокс дней рождений.

2024-09-27, семинар 4: Обсудили коллизии хеш-функций и связь с атакой "дней рождений". Определили независимость или зависимость случайных величин в четырёх разных вариантах. Обсудили, что неверно утверждать, что матожидание частного независимых случайных величин равно частному матожиданий, также привели пример использования подобного факта в некоторых статьях. В конце решили задачу на поиск функции производящей исходы, а также нашли E(X), E(Y^2), E(XY) с помощью найденной функции.

2024-10-04, семинар 5: Решили две простые задачи на условную вероятность и на теорему об умножении вероятностей. Обсудили связь дерева событий с условной вероятностью и теоремой об умножении вероятностей. Нашли производящую функцию моментов для геометрически распределенной случайной величины и с помощью нее нашли матожидание. Нашли производящую функцию моментов и матожидание суммы случайного количества н.о.р случайных величин.

2024-10-11, семинар 6: Привели аналогии между дискретными и непрерывными случайными величинами. Нарисовали графики функций от случайных величин. Вспомнили определение и свойства дисперсии. Решили простую задачу на подсчет дисперсии и нашли дисперсию геометрически распределенной случайной величины. Обсудили, когда может быть матожидание и дисперсия бесконечны. Далее вспомнили неравенства Маркова и Чебышева, вывели следствия и решили 3 задачи на применение этих неравенств. Обсудили, что неравенство Маркова может давать как точную оценку, так и очень слабую. Показали, что неотрицательность случайной величины в неравенстве Маркова является существенным условием.

2024-10-11, семинар 7: Повторили понятия энтропии в битах и натах, а также понятие дифференциальной энтропии. Нашли энтропию в схеме Бернулли и энтропии геометрического и экспоненциального распределений. Доказали простую оценку сверху для энтропии случайной величины, имеющей конечный носитель мощности n.

2024-11-1, семинар 8: Разобрали демо-вариант контрольной работы "Тыква".

2024-11-8, семинар 9: Разобрали демо-вариант контрольной работы "Летучая мышь".

2024-11-15, семинар 10: Понятие случайного процесса. Определение пуассоновского процесса, его свойства. Три простые задачи на пуассоновское распределение. Задачи 13.1 и 13.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-11-22, семинар 11: Определения Бета-функции и Гамма-функции. Бета и Гамма распределения, их функции плотности и графики. Нахождение моды случайных величин, имеющих Бета и Гамма распределения. Связь пуассоновского процесса с Гамма распределением. В конце нашли производящую функцию моментов Гамма распределения.

2024-11-29, семинар 12: Задачи 18.1, 18.2 и 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-12-06, семинар 13: Нашли многомерное нормальное распределение по виду функции плотности (константа на экспоненту с квадратичным показателем). С помощью формулы Иссерлиса нашли матожидания произведений различных или одинаковых случайных величин, имеющих многомерное нормальное распределение. Нашли условную вероятность многомерного распределения. Задача 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-12-13, семинар 14: Повторили определение сходимости по распределению и центральную предельную теорему. Решили задачи 20.2 и 20.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

== Источники ==

Источники мудрости, которые я постарался не замутить :)

[https://arxiv.org/pdf/1411.5279 WTSK]: Tim Hesterberg, What Teachers Should Know About the Bootstrap: вкусное и доступное изложение бутстрэпа и перестановочных тестов.

[https://projects.iq.harvard.edu/stat110/home BItP]: Blitzstein, Hwang, Introduction to Probability: учебник, записи лекций, гарвардский курс.

Математическая статистика КНАД 24/25

2025-03-11T15:59:18Z

Bdemeshev: /* Дневник самурая */

== О курсе ==

== Цели и задачи курса ==

侍には目標がなく道しかない [Samurai niwa mokuhyō ga naku michi shikanai]

У самурая нет цели и ничего кроме пути.

== Оценивание ==

Итоговая оценка за курс = 0.2 Домашние задания + 0.25 Контрольная-1 + 0.25 Контрольная-2 + 0.3 Экзамен

Каждая оценка (суммарный итог за домашние задания, контрольные, экзамен) — целое число от 0 до 100.
Для перевода в 10-балльную шкалу итоговой оценки используется деление на 10 с арифметическим округлением.

=== Домашние задания для самураев ===

Домашние задания [https://github.com/bdemeshev/hse_knad_statistics_2024_2025/raw/main/home_assignments/home_assignments.pdf одним файлом] и [https://github.com/bdemeshev/hse_knad_statistics_2024_2025/tree/main/home_assignments папочкой].
Домашние задания имеют равный вес. В конце каждой лекции (за исключением ближайших к экзамену лекций)
выдается домашнее задание сроком на две недели.
Дедлайн жёсткий, однако студент имеет право просрочить два домашних задания на неделю каждое без штрафа.

Формат сдачи ДЗ: один pdf-файл (решение текстовых задач) и один ipynb-файл (решение компьютерных задач).
В pdf-файл можно поместить аккуратно написанное отсканированное решение, а можно скомпилировать pdf из теха или маркдауна.
Ещё можно вместо pdf-файла написать всё в ipynb.
Бонусов за сдачу домашки в техе нет. Пример [https://www.overleaf.com/read/qmrkwpzvmqbk шаблона].

Обратите внимание: '''время каждого дедлайна — 23:59'''.

=== Контрольные работы и экзамен ===

Вес каждой задачи будет написан в тексте работы.
Задачи с ненаписанным по случайности весом имеют равный вес.
При пропуске первой контрольной работы по уважительной причине будет предложен день для переписывания.
При пропуске второй контрольной работы по уважительной причине её вес переносится на экзамен.
При пропуске дня переписывания, в том числе по уважительным причинам, ещё одного шанса не предоставляется.
Если написаны обе контрольные, то будет предложена оценка-автомат [0-8], при согласии на автомат на экзамен можно не приходить.

'''Контрольная-1:''' 2025-04-01, 18:10

'''Контрольная-2:''' 2025-05-12 (предварительно), 18:10

'''Экзамен'''

== Учебные материалы ==

[https://github.com/bdemeshev/statistics_pro/raw/master/statistics_pro.pdf SP]: Листки с задачами к курсу.

[https://github.com/bdemeshev/probability_dna/raw/master/probability_dna.pdf PDNA]: Вероятностная ДНК = вкусные задачи по теории вероятностей.

[https://t.me/+aOpRz6o7KBg5OGQy группа в телеграм]

[https://github.com/bdemeshev/hse_knad_statistics_2024_2025/tree/main/handwritten_notes Рукописи] лекций и семинаров

== Дневник самурая ==

2025-01-14, лекция 1: метод моментов, метод максимального правдоподобия: идея и примеры задач

Почитать: LWAS, 9.1, 9.2, 9.3

2025-01-21, лекция 2: байесовский подход, априорное и апостериорное распределение

2025-01-28, лекция 3: свойства оценок, несмещённость оценки, эффективность оценки в классе по MSE, разложение MSE в сумму, состоятельность последовательности оценок

2025-02-04, лекция 4: Байесовский подход. Интервал наивысшей плотности. Симметричный по вероятности интервал. Классический подход. Точный доверительный интервал. Асимптотический доверительный интервал. Дельта-метод. Лемма Слуцкого.

2025-02-11, лекция 5: Построение асимптотического доверительного интервала с помощью дельта-метода и ЦПТ. Лог-функция правдоподобия.
Ожидание производной лог-правдоподобия равно нулю. Теоретическая информация Фишера. Три формулы для информации Фишера. Оценка информации Фишера с помощью матрицы Гессе. Асимптотический доверительный интервал с помощью оценки информации Фишера.

2025-02-18, лекция 6: Ковариации любой оценки и производной лог-правдоподобия. Граница Крамера-Рао. Граница достигается, если и только если оценка линейно зависит от производной лог-правдоподобия. Определение достаточной статистики. Теорема Неймана-Фишера о факторизации.

2025-02-25, лекция 7: Распределения связанные с проекцией нормального вектора. Аксиоматика Гершеля-Максвелла для нормального распределения. Хи-квадрат распределение как квадрат длины проекции на d-мерное подпространство. Распределение Стьюдента. Распределение Фишера.

2025-03-04, лекция 8: Классические доверительные интервалы. Для вероятности: классический интервал Вальда и интервал Вильсона (с решением квадратного неравенства). Для математического ожидания: случай большого числа наблюдений и случай нормально-распределенных наблюдений. Интервал для дисперсии для нормально-распределённых наблюдений.

2025-03-11, лекция 9: Доверительный интервал для отношения дисперсий при нормальном распределении наблюдений. Доверительный интервал для разницы ожиданий: при большом размере выборок, при нормальных выборках с равной дисперсией.

=== Семинары ===

2025-01-14, семинар 1: метод моментов, метод максимального правдоподобия, угловой случай в методе максимального правдоподобия

2025-01-21, семинар 2: вывод апостериорного распределения, нахождение апостериорного ожидания и апостериорной моды

2025-01-28, семинар 3: проверка несмещённости, напоминание о неравенстве Йенсена, проверка состоятельности, пример доказательства эффективности в классе линейных несмещённых оценок

2025-02-04, семинар 4: Построение доверительного интервала для оценки метода моментов с помощью дельта-метода и ЦПТ.

2025-02-11, семинар 5: Использование свойств лог-правдоподобия для нахождения ожидания и дисперсии. Асимптотический доверительный интервал для метода максимального правдоподобия через оценку информации Фишера. Пример нерегулярной функции правдоподобия.

2025-02-18, семинар 6: Проверка несмещённости, состоятельности, достижения оценкой границы Крамера-Рао. Нахождение достаточной статистики.

2025-02-25, семинар 7: Примеры величин, имеющих хи-квадрат распределение, распределение Стьюдента и Фишера. Нахождение функции плотности хи-квадрат распределение с одной степенью свободы. Примеры связи между хи-квадрат, t-распрелением и F-распределением.

2025-03-04, семинар 8: Пример построения доверительных интервалов Вильсона и Вальда для вероятности. Построение доверительного интервала для разности долей независимых выборок. Построение доверительного интервала для разницы долей довольных и недовольных клиентов.

2025-03-11, семинар 9: Доверительный интервал Уэлча. Примеры нахождения доверительного интервала для разности ожиданий.

== Источники ==

Источники мудрости, которые я постарался не замутить :)

LWAS, Larry Wasserman, All of Statistics

[https://arxiv.org/pdf/1411.5279 WTSK]: Tim Hesterberg, What Teachers Should Know About the Bootstrap: вкусное и доступное изложение бутстрэпа и перестановочных тестов.

[https://projects.iq.harvard.edu/stat110/home BItP]: Blitzstein, Hwang, Introduction to Probability: учебник, записи лекций, гарвардский курс.

Математическая статистика КНАД 24/25

2025-03-11T12:23:34Z

Bdemeshev: /* Дневник самурая */

== О курсе ==

== Цели и задачи курса ==

侍には目標がなく道しかない [Samurai niwa mokuhyō ga naku michi shikanai]

У самурая нет цели и ничего кроме пути.

== Оценивание ==

Итоговая оценка за курс = 0.2 Домашние задания + 0.25 Контрольная-1 + 0.25 Контрольная-2 + 0.3 Экзамен

Каждая оценка (суммарный итог за домашние задания, контрольные, экзамен) — целое число от 0 до 100.
Для перевода в 10-балльную шкалу итоговой оценки используется деление на 10 с арифметическим округлением.

=== Домашние задания для самураев ===

Домашние задания [https://github.com/bdemeshev/hse_knad_statistics_2024_2025/raw/main/home_assignments/home_assignments.pdf одним файлом] и [https://github.com/bdemeshev/hse_knad_statistics_2024_2025/tree/main/home_assignments папочкой].
Домашние задания имеют равный вес. В конце каждой лекции (за исключением ближайших к экзамену лекций)
выдается домашнее задание сроком на две недели.
Дедлайн жёсткий, однако студент имеет право просрочить два домашних задания на неделю каждое без штрафа.

Формат сдачи ДЗ: один pdf-файл (решение текстовых задач) и один ipynb-файл (решение компьютерных задач).
В pdf-файл можно поместить аккуратно написанное отсканированное решение, а можно скомпилировать pdf из теха или маркдауна.
Ещё можно вместо pdf-файла написать всё в ipynb.
Бонусов за сдачу домашки в техе нет. Пример [https://www.overleaf.com/read/qmrkwpzvmqbk шаблона].

Обратите внимание: '''время каждого дедлайна — 23:59'''.

=== Контрольные работы и экзамен ===

Вес каждой задачи будет написан в тексте работы.
Задачи с ненаписанным по случайности весом имеют равный вес.
При пропуске первой контрольной работы по уважительной причине будет предложен день для переписывания.
При пропуске второй контрольной работы по уважительной причине её вес переносится на экзамен.
При пропуске дня переписывания, в том числе по уважительным причинам, ещё одного шанса не предоставляется.
Если написаны обе контрольные, то будет предложена оценка-автомат [0-8], при согласии на автомат на экзамен можно не приходить.

'''Контрольная-1:''' 2025-04-01, 18:10

'''Контрольная-2:''' 2025-05-12 (предварительно), 18:10

'''Экзамен'''

== Учебные материалы ==

[https://github.com/bdemeshev/statistics_pro/raw/master/statistics_pro.pdf SP]: Листки с задачами к курсу.

[https://github.com/bdemeshev/probability_dna/raw/master/probability_dna.pdf PDNA]: Вероятностная ДНК = вкусные задачи по теории вероятностей.

[https://t.me/+aOpRz6o7KBg5OGQy группа в телеграм]

[https://github.com/bdemeshev/hse_knad_statistics_2024_2025/tree/main/handwritten_notes Рукописи] лекций и семинаров

== Дневник самурая ==

2025-01-14, лекция 1: метод моментов, метод максимального правдоподобия: идея и примеры задач

Почитать: LWAS, 9.1, 9.2, 9.3

2025-01-21, лекция 2: байесовский подход, априорное и апостериорное распределение

2025-01-28, лекция 3: свойства оценок, несмещённость оценки, эффективность оценки в классе по MSE, разложение MSE в сумму, состоятельность последовательности оценок

2025-02-04, лекция 4: Байесовский подход. Интервал наивысшей плотности. Симметричный по вероятности интервал. Классический подход. Точный доверительный интервал. Асимптотический доверительный интервал. Дельта-метод. Лемма Слуцкого.

2025-02-11, лекция 5: Построение асимптотического доверительного интервала с помощью дельта-метода и ЦПТ. Лог-функция правдоподобия.
Ожидание производной лог-правдоподобия равно нулю. Теоретическая информация Фишера. Три формулы для информации Фишера. Оценка информации Фишера с помощью матрицы Гессе. Асимптотический доверительный интервал с помощью оценки информации Фишера.

2025-02-18, лекция 6: Ковариации любой оценки и производной лог-правдоподобия. Граница Крамера-Рао. Граница достигается, если и только если оценка линейно зависит от производной лог-правдоподобия. Определение достаточной статистики. Теорема Неймана-Фишера о факторизации.

2025-02-25, лекция 7: Распределения связанные с проекцией нормального вектора. Аксиоматика Гершеля-Максвелла для нормального распределения. Хи-квадрат распределение как квадрат длины проекции на d-мерное подпространство. Распределение Стьюдента. Распределение Фишера.

2025-03-04, лекция 8: Классические доверительные интервалы. Для вероятности: классический интервал Вальда и интервал Вильсона (с решением квадратного неравенства). Для математического ожидания: случай большого числа наблюдений и случай нормально-распределенных наблюдений. Интервал для дисперсии для нормально-распределённых наблюдений.

2025-03-11, лекция 9:

=== Семинары ===

2025-01-14, семинар 1: метод моментов, метод максимального правдоподобия, угловой случай в методе максимального правдоподобия

2025-01-21, семинар 2: вывод апостериорного распределения, нахождение апостериорного ожидания и апостериорной моды

2025-01-28, семинар 3: проверка несмещённости, напоминание о неравенстве Йенсена, проверка состоятельности, пример доказательства эффективности в классе линейных несмещённых оценок

2025-02-04, семинар 4: Построение доверительного интервала для оценки метода моментов с помощью дельта-метода и ЦПТ.

2025-02-11, семинар 5: Использование свойств лог-правдоподобия для нахождения ожидания и дисперсии. Асимптотический доверительный интервал для метода максимального правдоподобия через оценку информации Фишера. Пример нерегулярной функции правдоподобия.

2025-02-18, семинар 6: Проверка несмещённости, состоятельности, достижения оценкой границы Крамера-Рао. Нахождение достаточной статистики.

2025-02-25, семинар 7: Примеры величин, имеющих хи-квадрат распределение, распределение Стьюдента и Фишера. Нахождение функции плотности хи-квадрат распределение с одной степенью свободы. Примеры связи между хи-квадрат, t-распрелением и F-распределением.

2025-03-04, семинар 8: Пример построения доверительных интервалов Вильсона и Вальда для вероятности. Построение доверительного интервала для разности долей независимых выборок. Построение доверительного интервала для разницы долей довольных и недовольных клиентов.

2025-03-11, семинар 9:

== Источники ==

Источники мудрости, которые я постарался не замутить :)

LWAS, Larry Wasserman, All of Statistics

[https://arxiv.org/pdf/1411.5279 WTSK]: Tim Hesterberg, What Teachers Should Know About the Bootstrap: вкусное и доступное изложение бутстрэпа и перестановочных тестов.

[https://projects.iq.harvard.edu/stat110/home BItP]: Blitzstein, Hwang, Introduction to Probability: учебник, записи лекций, гарвардский курс.

Математическая статистика КНАД 24/25

2025-03-11T11:46:50Z

Bdemeshev:

Теория вероятностей 2024/25 (основной поток)

2025-03-10T21:11:28Z

Bdemeshev: /* Семинары */

= Преподаватели и учебные ассистенты =

{| class="wikitable" style="text-align:center"
|-
! Группа !! БПМИ235 !! БПМИ236 !! БПМИ237 !! БПМИ238 !! БПМИ239 !! БПМИ2310 !! БПМИ2311 !! БПМИ2312
|-
|| Лектор ||colspan="11"| [https://t.me/boris_demeshev Борис Демешев]
|-
|| Семинарист || [https://t.me/boris_demeshev Борис Демешев] || [https://t.me/levensons Илья Левин] || [https://t.me/madn_boi Никита Морозов] || [https://t.me/boris_demeshev Борис Демешев] || [https://t.me/XuMuK_MK Максим Каледин] || [https://t.me/goluba_yurieva Голуба Юрьева] || [https://t.me/Moskchan Вероника Владыкина] || [https://t.me/goluba_yurieva Голуба Юрьева]
|-
|| Ассистент || [https://t.me/nerhneiro Ира Скворцова] || [https://t.me/a_ameli_ig Амелия Алаева] || [https://t.me/htual Алина Бадахова] || [https://t.me/adelyagaraeva Аделя Гараева] || [https://t.me/mabrielka Мария Брель] || [https://t.me/zm_ann Анна Зыкова-Мызина] || [https://t.me/Yanlightv Яна Вежновец] || [https://t.me/nol_erk Кирилл Лавриненко]
|-
|| Ассистент курса ||colspan="11"| [https://t.me/Nick_Volya Никита Волянский]
|}

== Цели и задачи курса ==

侍には目標がなく道しかない [Samurai niwa mokuhyō ga naku michi shikanai]

У самурая нет цели и ничего кроме пути.

Вероятный план:
<div class="mw-collapsible mw-collapsed" style="width:1000px; overflow: hidden;">
1. Дискретное вероятностное пространство. Вероятность, математическое ожидание, теоретическая медиана.
Перестановочные тесты, p-значение для перестановочного теста.
Математическое ожидание = центр масс.

NB: здесь сходу рисуем дерево
NB: здесь нет задач на условную вероятность

!предупреждение об обозначениях случайных величин.
Российская традиция — греческие буквы, американская традиция — заглавные английские буквы.
Наш курс: любые буквы. Причина: теория вероятностей применяется в разных областях, где свои традиции.

NB: Способы вычисления вероятностей и ожиданий:
* полный перебор руками
* примерные вычисления руками
* полный перебор на компьютере
* симуляции на компьютере
* ...

2.
Методы решения задач:
* разложение величины в сумму
* метод первого шага
!идея: позиция в игре имеет цену
* just for fun: метод рычага в геометрии через ожидание
NB: рассказать здесь про комплексную случайную величину
NB: по сути здесь мы уже решаем задачи на марковские цепи не говоря страшных определений
LOTUS.

3. Условная вероятность и условное ожидание.
!идея: зануляем вероятности невозможных событий, а остальные — масштабируем.
формула полной вероятности
!идея: дерево "помнит" формулу полной вероятности
формула Байеса

Независимые события.
Независимые случайные величины.

4.
Методы решения задач:
* производящие функции многих переменных
функция как способ записать множество
HTT vs TTH
ABRACADABRA
!разложение по биномиальной формуле

?: можно здесь успеть функцию производящую моменты

5.
Биномиальное распределение.
Геометрическое и гипергеометрическое распределения.
Отрицательное биномиальное распределение.

6.
Равномерное распределение на множестве в R^n
Функция распределения.
Функция плотности и вероятностная дифференциальная форма.
!пояснение про неудачную традиционную терминологию "непрерывная случайная величина"
величина с функцией плотности, величина с непрерывной функцией распределения.

Квантили, квантильная функция.

7. Характеристики случайных величин и неравенства.
Дисперсия.
Энтропия.
Неравенство Маркова.
Неравенство Чебышёва.
Неравенство Йенсена.

Здесь конец модуля 1 и КР-1!

8. Пуассоновский поток.
Аксиомы пуассоновского потока.
Вывод экспоненциального распределения и пуассоновского распределения из аксиом.
Вывод экспоненциального распределения из предпосылки об отсутсвии памяти.

9. Нормальное распределение.
Нормальное распределение: предпосылки Хершела-Максвелла.
Нормальное распределение: аргументация Гаусса за среднее арифметическое.
Нормальное распределение: предпосылки Лэндона (до уравнения в частных производных).

10. Классические непрерывные распределения.

Гамма-распределение, бета-распределение.
Вывод нормального и экспоненциального распредений как минимизации энтропии.

11. Парные характеристики случайных величин.
Наилучшая линейная аппроксимация.
Ковариация.
Корреляция.
Кросс-энтропия.

Доказательство E(XY) = E(X) E(Y) для дискретных.
Ковариационная матрица и ожидание для случайных векторов.

12. Совместная и условная функция плостности.
Преобразования случайных величин.

13. Функция производящая моменты и характеристическая функция.
Распределение суммы случайного количества случайных величин.
Случайный выбор слагаемых.

14. Финансовые приложения

Оценивание опционов на биномиальном дереве.
Максимизация долгосрочной прибыли, связь с энтропией.
Возможно, индексы Гиттинса.

Здесь конец модуля 2 и КР-2

15. Сигма-алгебры.

Список известных величин как способ описания информации.
Идея условного ожидания как оптимального прогноза.
Сигма-алгебра как способ описания информации.
Измеримость случайной величины относительно сигма-алгебры.
Сигма-алгебра как ОДЗ для вероятности.
Борелевская сигма-алгебра.
Независимые случайные величины второе определение.

16. Условное математическое ожидание.
Условная дисперсия.
Сумма случайного количества случайных величин.

17. Сходимости случайных величин.

Сходимость по вероятности.
Закон больших чисел.
Сходимость почти наверное.
Усилинный закон больших чисел.
Сходимость по распределению.

18. Связь сходимостей.
Лемма Слуцкого.

19. Центральная предельная теорема.
Доказательство через подмену слагаемых.
Доказательство через характеристические функции.

Здесь контрольная.

20. Винеровский процесс
Условные ожидания, инверсия.

21. Байесовский подход к оцениванию параметров

Балансовое уравнение. Идея MCMC.

22. Доказательства свойств меры

23. Алгоритм построения математического ожидания в общем случае.
Лемма Фату.
Теорема о мажорируемой сходимости.
Теорема о монотонной сходимости.

24. Резерв.

Жемчужинки, которые, вероятно, не успеем:

А. Методы решения задач:
подсчёт случаев с помощью леммы Бернсайда и теоремы Пойа о перечислении
(Burnside lemma, PET = Polya Enumeration Theorem)

B. вероятностные доказательства детерминистических теорем

</div>

== Оценивание ==

Оценка за семестр-1 = 0.2 Домашние задания семестра-1 + 0.4 Контрольная-Альфа + 0.4 Экзамен-Бета.

Финальная оценка за курс = 0.5 Оценка за семестр-1 + 0.1 Домашние задания семестра-2 + 0.2 Контрольная-Гамма + 0.2 Экзамен-Дельта.

Каждая оценка (суммарные итоги за домашние задания, контрольные, экзамены) — целое число от 0 до 100.
Для перевода в 10-балльную шкалу промежуточной оценки за семестр-1 и финальной оценки используется деление на 10
с арифметическим округлением. Например, если Максим получил "оценку за семестр-1" 65 баллов, то в ведомость за первый семестр идёт 7, а далее в формуле финальной оценки за курс используется 65.

=== Домашние задания для самураев ===

Домашние задания [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/home_assignments/home_assignments.pdf одним файлом] и [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/blob/main/home_assignments/ отдельными файлами].
Домашние задания имеют равный вес.
В конце каждой лекции (за исключением ближайших к экзамену лекций)
выдается домашнее задание сроком на две недели.
Дедлайн жёсткий, однако студент имеет право просрочить три домашних задания на неделю каждое без штрафа.

Формат сдачи ДЗ: один pdf-файл (решение текстовых задач) и один ipynb-файл (решение компьютерных задач).
В pdf-файл можно поместить аккуратно написанное отсканированное решение, а можно скомпилировать pdf из теха или маркдауна.
Ещё можно вместо pdf-файла написать всё в ipynb.
Бонусов за сдачу домашки в техе нет. Пример [https://www.overleaf.com/read/qmrkwpzvmqbk шаблона].

Обратите внимание: '''время каждого дедлайна — 23:59'''.

=== Ведомость с оценками за ДЗ ===

{| class="wikitable" style="text-align:center"
|-
! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1872081500#gid=1872081500 235] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1374497930#gid=1374497930 236] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1183164252#gid=1183164252 237] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=408179311#gid=408179311 238] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1032422408#gid=1032422408 239] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1603236891#gid=1603236891 2310] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=791330236#gid=791330236 2311] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=23847300#gid=23847300 2312]
|}

[https://docs.google.com/spreadsheets/d/14hD7-SLmAA1omdkhPlt3blRHDHVGTDS8ZgvLWscvMz8/edit?usp=sharing Сводная ведомость всех оценок]

=== Контрольные работы и экзамен ===

Вес каждой задачи будет написан в тексте работы.
Задачи с ненаписанным по случайности весом имеют равный вес.
Для пропущенных по уважительной причине контрольных будет выделен один день для переписывания.
При пропуске дня переписывания, в том числе по уважительным причинам, ещё одного шанса не предоставляется.

<div class="mw-collapsible mw-collapsed" style="width:1000px; overflow: hidden;">

'''Контрольная работа 1''' состоится 2024-11-11 в 16:20, аудитории: R401, R305, R206, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_halloween_demo/exam_halloween_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/midterm/midterm-alpha.pdf условие с критериями и решениями].

'''Резервный день 1''' для пропустивших по уважительной причине состоится 2024-12-02 в 19:40, R405

'''Показ контрольной 1''':

* задачи 1, 2: заочно до 2024-12-08, [https://t.me/Moskchan Вероника]
* задачи 3, 4 [https://t.me/boris_demeshev Борис], очно, четверг, 2024-12-05, 18:10-21:00, G408
* задачи 5, 6 [https://t.me/XuMuK_MK Максим]: очно, четверг, 2024-12-05, 18:10-21:00, G408

'''Экзамен, модуль 2''' состоится '''''2024-12-24 в 10:00''''', аудитории R301, R304, R401, R404, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_winter_demo/exam_winter_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/december/pmi_probab_2024_december.pdf условие].

Если вы не хотите идти на экзамен, то заполните [https://forms.gle/UQzW77RrPvcdahG47 эту форму], чтобы получить ноль при неявке

'''Апелляция экзамена''':

* задачи 1, 2: заочно [https://t.me/goluba_yurieva Голуба], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/december/exam_problem_1-2.pdf решения и критерии 1, 2];
* задачи 3, 4: очно 2025-01-11, аудитория R408, 14:40-17:40 [https://t.me/madn_boi Никита], [https://www.overleaf.com/read/dnhjcdrndqps#42f1ab решения и критерии 3, 4];
* задачи 5, 6: заочно [https://t.me/levensons Илья]

* дедлайн по заочным апелляциям: суббота 23:59

[https://docs.google.com/spreadsheets/d/1mxMCr3IEDy8EPFWGkn3_dsghhPNcZICEw9C9o5ZoZvA/edit?usp=sharing Распределение по аудиториям]

</div>

Даты пересдач: 2025-01-28 в 18:10, 2025-02-03 в 18:10 и комиссия 2025-02-11 в 18:10.

* задачи 1, 2: [https://t.me/goluba_yurieva Голуба], задачи 3, 4: [https://t.me/madn_boi Никита], задачи 5, 6: [https://t.me/levensons Илья], апелляция пересдачи 2 до 21:00 2025-02-10.

'''Контрольная, модуль 3''' состоится 2025-02-22 в 16:20, аудитории R201, R204, R404, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_galileo_demo/exam_galileo_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_galileo/pmi_probab_galileo_exam_2024-2025.pdf условие].

[https://docs.google.com/spreadsheets/d/1LZA-7TDz_yYeVPRx4BpBWJnQKZ7wqPgHDrN-Z0SM68M/edit?usp=sharing Распределение по аудиториям]

'''Контрольная, модуль 3, резервный день''': 2025-03-07, пятница, 18:10, R204

'''Экзамен, модуль 3''' состоится '''2025-03-28''' в 14:40, аудитории R201, R301, R404, R405, демо, условие.

== Учебные материалы ==

[https://github.com/bdemeshev/probability_pro/raw/master/probability_pro.pdf PP]: Листки с задачами к курсу.

[https://github.com/bdemeshev/stochastic_pro/raw/main/stochastic_pro.pdf StoPro]: Stochastic process problems.

[https://github.com/bdemeshev/probability_dna/raw/master/probability_dna.pdf PDNA]: Вероятностная ДНК = вкусные задачи по теории вероятностей.

[https://disk.yandex.ru/d/LZ6d2VZVqYvbDQ Видео-летопись семинаров и лекций] и [https://hse.liferooter.dev/ конспект] от тайного благожелателя (updated 2024-10-23]

[https://disk.yandex.ru/d/IoakBXz_6yygPw Официальные видео]

[https://www.cambridgeinternational.org/Images/344616-list-of-formulae-and-statistical-tables.pdf Cambridge statistical tables]

== Дневник самурая ==

2024-09-02, лекция 1: Определение события. Определение случайной величины. Аксиомы вероятности. Определение математического ожидания для дискретного случая.
Линейность математического ожидания. Математическое ожидание как центр масс. Первое знакомоство с перестановочным тестом и p-значением.

Можно глянуть: главы 2.1 и 7 из [https://arxiv.org/pdf/1411.5279 WTSK], метод рычага [https://mathcircle.berkeley.edu/sites/default/files/archivedocs/2007_2008/lectures/0708lecturespdf/MassPointsBMC07.pdf в геометрии].

2024-09-09, лекция 2: Метод первого шага (вероятность выпадения HTH ранее HHT, ожидаемое количество шагов). Метод разложения случайной величины в сумму. Определение случайного вектора. Использование интерпретации ожидания как центра масс в геометрии. Определение теоретической медианы.

Можно глянуть: глава 2.7.2 из [https://projects.iq.harvard.edu/stat110/home BItP], три стратегии решения задачи за 10 минут [https://www.youtube.com/watch?v=xH89DaEI35w Visually Explained]

2024-09-16, лекция 3: Получение новой информации приводит к пересчёту вероятностей. Определение условной вероятности. Формула полной вероятности. Формула Байеса.
Условное математическое ожидание. Формула полного математического ожидания. Независимость пары событий. Независимость набора событий в совокупности.
Независимость величин: неформальное определение. Критерий независимости произвольных величин. Критерий независимости дискретных величин.

2024-09-23, лекция 4: Доказательство критерия независимости для дискретных случайных величин: из независимости {X=x} и {Y=y} следует независимость {X in A} и {Y in B}. Независимость величин равносильна E(f(X))E(g(Y))=E(f(X)g(Y)) для произвольных f, g. Определение биномиальной, геометрической (как числа неудач до 1го успеха) и отрицательной биномиальной случайной величины. Общая идея за производящими функциями: как из функции, производящей исходы эксперимента, с помощью производных и подстановок выудить индивидуальные вероятности, совместные вероятности, ожидания любой степени E(X^a), E(X^a Y^b). Формальное определение функции, производящей вероятности, и функцию, производящей моменты, для одной случайной величины и пары случайных величин. Метатеорема: все теоремы о дискретных величинах доказываются перестановкой слагаемых. Основные дискретные распределения: биномиальное, геометрическое, отрицательное биномиальное.

2024-09-30, лекция 5: Ещё дискретные законы распределения: гипергеометрическое. Описание закона распределения через равномерное распределение на подмножестве R^n.
Функция плотности как линейная часть вероятности попадания в отрезок. Равномерное распределение на отрезке. Смешанные случайные величины. LOTUS: нахождение ожидания любой функции от случайной величины для величин с функцией плотности и смешанных величин. Функция распределения. Квантильная функция.

2024-10-07, лекция 6: Две геометрии случайных величин и событий: E(XY) как скалярное произведение, Cov(X, Y) как скалярное произведение. Математическое ожидание — проекция в рамках геометрии, задаваемой E(XY). Определение и геометрический смысл дисперсии, стандартного отклонения, ковариации и корреляции. Неравенство Маркова. Неравенство Чебышёва. Неравенство Йенсена: интуитивный смысл.

2024-10-14, лекция 7: Доказательство неравенства Йенсена. Энтропия как минимальное ожидаемое число вопросов для отгадывания и формальное определение. Кросс-энтропия.
Доказательство того, что кросс-энтропия больше либо равна энтропии. Совместная энтропия. Условная энтропия. Формула H(X) + H(Y|X) = H(X, Y) без доказательства.
Вывод плотности экспоненциального распределения из предпосылки отсутствия памяти. Экспоненциальное распределение максимизирует энтропию при заданном ожидании и неотрицательности.

* Cristopher Olah, Visual Information Theory, https://colah.github.io/posts/2015-09-Visual-Information/

* Grand Sanderson, Solving Wordle using information theory, [https://www.youtube.com/watch?v=v68zYyaEmEA youtube].

* Artem Kirsanov, Key equation behind probability, [https://www.youtube.com/watch?v=KHVR587oW8I youtube]. У Артёма кросс-энтропия обозначена H(P, Q), а не CE(P||Q)).

* [https://exuberant-arthropod-be8.notion.site/1-02-09-5e107ea1c4054594b8f37d955db8a2b0 Конспект] аналогичной старой лекции псмо на русском.

* Keith Conrad, [https://kconrad.math.uconn.edu/blurbs/analysis/entropypost.pdf Maximal entropy] distributions.

2024-10-21, лекция 8: Ковариационная матрица и её свойства. Совместная функция плотности. Условная функция плотности. Критерий независимости в терминах функций плотности и распределения.
Связь индивидуальной и совместной функций плотности и функций распределения. Смена плотности при замене переменных: домножение на якобиан и неформально про дифференциальные формы. Формула свёртки.
Разложение совместной плотности для графической модели. Представление произвольной совместной функции распределения с помощью копулы.

* Про дифференциальные формы: [https://www.youtube.com/watch?v=PaWj0WxUxGg&list=PL22w63XsKjqzQZtDZO_9s2HEMRJnaOTX7 videos] by Michael Penn, [https://www.math.purdue.edu/~arapura/preprints/diffforms.pdf short intro] by Dony Arapura

* What is a convolution от [https://www.youtube.com/watch?v=KuXjwB4LzSA 3b1b]

* From graphical models to [https://www.youtube.com/watch?v=yBc01ZeaFxw&list=PLISXH-iEM4JlFsAp7trKCWyxeO3M70QyJ Probabilistic ML]

2024-11-11, лекция 9: Пуассоновский поток: аксиомы. Вывод пуассоновского распределения количества событий и экспоненциального времени между событиями из аксиом.
Сумма независимых пуассоновских потоков — это пуассоновский поток (половина доказательства). Вероятность того, что одна экспоненциальная величина будет меньше другой, независимой.

2024-11-18, лекция 10: Гамма-распределение как сумма нескольких экспоненциальных: вывод плотности через вероятность попадания в малый отрезок.
Обобщение плотности на случай положительного параметра $a$. Гамма-функция. Бета-распределение как отношение гамма-распределений. Бета-функция.

2024-11-25, лекция 11: Вывод нормального распределения из предпосылок Гаусса. Вывод нормального распределения из предпосылок Гершеля — Максвелла.

* Saul Stahl, The [https://www.researchgate.net/publication/255668423_The_Evolution_of_the_Normal_Distribution Evolution] of the Normal Distribution: вывод Гаусса с историей.

* Grand Sanderson, [https://www.youtube.com/watch?v=cy8r7WSuT1I Why pi] is in the normal? вывод Гершеля—Максвелла

* James Stein, [http://www-biba.inrialpes.fr/Jaynes/cc07s.pdf Normal Distribution]: глава про нормальное распределение (Гаусс, Гершель—Максвелл, Лэндон etc)

* William Herschel, [https://music.yandex.com/album/209394/track/2121214 концерт для габоя]

* William Herschel, [https://www.informationphilosopher.com/solutions/scientists/quetelet/Herschel_Quetelet_Probabilities.pdf On the theory of Probabilities]: вывод нормального распределения словами на стр. 189-191

2024-12-02, лекция 12: многомерное нормальное распределение. Функция плотности невырожденного многомерного нормального. Функция производящая моменты для многомерного нормального. Формула Иссерлиса с ненулевыми ожиданиями и доказательством. Условное распределение: вывод условного ожидания и условной дисперсии через разложение величины в сумму независимых.

* [https://stats.stackexchange.com/questions/30588/ альтернативный вывод] условного многомерного нормального распределения
* Хитрый [https://github.com/bdemeshev/lis-isserlis/raw/main/lis-isserlis.pdf лис Иссерлис]

2024-12-09, лекция 13: сходимость по распределению, центральная предельная теорема с доказательством подменой слагаемых.

* Calvin Chin [https://arxiv.org/pdf/2106.00871 CLT proof] by swapping
* [https://bdemeshev.github.io/teaching_notes/clt_by_swapping Пересказ доказательства]

2024-12-16, лекция 14: использование бесконечно малых при нахождении ожиданий, трюк с добавление параметра, трюк с закольцовыванием отрезка при равномерном распределении.

2025-01-13, лекция 15: Неединственность предела по распределению. Неаддитивность предела по распределению. Предел по вероятности. Закон больших чисел в слабой форме (с доказательством при дополнительной предпосылке о конечности дисперсии). Теорема о непрерывном отображении.

2025-01-20, лекция 16: два определение сходимости почти наверное с доказательством эквивалентности. Сходимость в Lp. Из сходимости в Lp при p>=1 следует сходимость по вероятности. Из сходимости почти наверное следует сходимость по вероятностям. Контр-пример к разнице сходимостей почти наверное и по вероятности. Контр-пример к разнице сходимостей в Lp и по вероятности. Усиленный закон больших чисел (без доказательства). Леммы Слуцкого (без доказательства).

2025-01-27, лекция 17: характеристические функции и их свойства. Вывод характеристической функции нормального стандартного распределения через дифференциальное уравнение. Характеристическая функция биномиального распредеделения. Второе доказательство ЦПТ (через характеристические функции).

* [https://web.ma.utexas.edu/users/gordanz/notes/characteristic.pdf Gordan Zitkovic]: characteristic functions
* [https://sas.uwaterloo.ca/~dlmcleis/s901/chapt6.pdf McLeish]: clt proof

2025-02-03, лекция 18: пример последовательности сходящийся по вероятности с ожиданием стремящимся к бесконечности. Критерий Кэлли. Критерий оптимальной остановки Брасса.

* [https://en.wikipedia.org/wiki/Kelly_criterion wikipedia]: Kelly criterion
* [https://projecteuclid.org/journalArticle/Download?urlId=10.1214%2Faop%2F1019160340 Bruss]: sum the odds to one and stop

2025-02-10 лекция 19: Сигма-алгебра порождённая случайной величиной или набором из нескольких случайных величин. Замкнутость относительно счётного количества операций с множествами. Сигма-алгебра. Объединение сигма-алгебр не всегда сигма-алгебра. Пересечение сигма-алгебр всегда сигма-алгебра. Измеримость суммы. Борелевская сигма-алгебра.

2025-02-18, лекция 20: [https://us06web.zoom.us/j/82685613040?pwd=bqJoXGItwNOOWddXj1flfmPmDn6fMQ.1 онлайн, 18:10]: разбор задач про сигма-алгебры для подготовки к контрольной. Условное математическое ожидание относительно сигма-алгебры: интуиция и формальное определение. Пример подсчёта в дискретном случае.

2025-02-24, лекция 21: Условное ожидание и дисперсия относительно сигма-алгебры со свойствами. Условная вероятность.

2025-03-03, лекция 22: Определение фильтрации. Определение момента остановки. Сигма-алгебра на момент остановки. Определение мартингала.
Формулировка теоремы [https://en.wikipedia.org/wiki/Optional_stopping_theorem Дуба об остановке мартингала]. Задача о макаке, печатающей слово "абракадабра".

2025-03-10, лекция 23: Два контр-примера к теореме дуба. Доказали теоремы Дуба для случая ограниченного момента времени. Тождество Вальда: формулировка и доказательство. Определение броуновского движения с явным упоминанием фильтрации и без. Ковариационная функция Cov(Ws, Wt).

2025-03-17, лекция 24: Преобразования винеровского процесса. Модель Блэка Шоулса (как предел дискретной?)

2025-03-24, лекция 25:

=== Семинары ===

==== 473 = 235 + 238 ====

2024-09-02, 06, семинар 1: задачи 1.1, 1.6, 3.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-09, 13, семинар 2: задачи 2.1, 2.3, 12.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-16, 20, семинар 3: задачи 7.12 и 7.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-23, 27, семинар 4: как извлечь P(X=3), E(X), E(X^2Y) из функции, производящей список исходов, 28.16 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-30, -10-04, семинар 5: 9.3в, 9.4, 9.7(абвд, кроме дисперсии, аргументы масштабирования и центра масс помимо интегралов), 9.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-10-07, 11, семинар 6: вычисление Cov, Var, Corr по табличке и из функции плотности, нахождение дисперсии для отрицательного биномиального распределения по свойствам.

2024-10-14, 18, семинар 7: вычисление энтропии геометрического распределения. Изменение энтропии при линейном преобразовании для дискретной величины и величины с функцией плотности.
Кросс-энтропия из экспоненциального в равномерное. Условная энтропия для дискретной таблички. Связь энтропии величины с функцией плотности и энтропия дискретной версии этой случайной величины после "огрубления" с малым шагом 1/k.

2024-10-21, -11-01, семинар 8: 16.18, 16.23 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], свёртка двух экспоненциальных величин

2024-11-11, 15, семинар 9: задачи на пуассоновский поток из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-11-18, 22, семинар 10: задачи на бета и гамма-распределение

2024-11-25, 29, семинар 11: задачи на нормальное распределение, 18.1, 18.2, 18.3, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-02, 06, семинар 12: задачи на многомерное нормальное: 24.16аб, 24.17аб, 24.18, 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-09, 13, семинар 13: ЦПТ и нормальное распределение: 20.2, 20.4, 18.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-19, семинар 14: разбор демо

2025-01-13, семинар 15: сходимость по вероятности: 20.1, 20.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-20, 24, семинар 16: связь между сходимостями, 20.11, 20.13 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-27, 31, семинар 17: 28.17, 28.18, 28.21 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-03, 07, семинар 18: 28.20аб, 28.22 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-10, 14, семинар 19: 6.2, 6.3, 6.11, измеримость произведения из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-18, 21, семинар 20: разбор демо

2025-02-24, 28, семинар 21: Условное математическое ожидание и условная дисперсия относительно сигма-алгебры в дискретном случае.
[https://github.com/bdemeshev/stochastic_pro/raw/main/stochastic_pro.pdf StoPro]: 8.22-8.25

2025-03-03, 10, семинар 22: доказали, что сигма алгебра, порождённая моментом остановки, лежит внутри сигма-алгебры событий на момент остановки.
Вероятность достижения границы -а раньше границы +b и среднее время достижения одной из этих границ для классического случайного блуждания.
Преобразование несимметричного случайного блуждание St в мартингал с помощью exp(alpha St).
[https://github.com/bdemeshev/stochastic_pro/raw/main/stochastic_pro.pdf StoPro]: 9.1, 9.3

2025-03-10, 14, семинар 23: решение двух классических задач с помощью мартингалов: [https://en.m.wikipedia.org/wiki/Bertrand%27s_ballot_theorem задача о голосовании], [https://math.dartmouth.edu/~pw/papers/gpdp.ps "следующая карта — красная"].

==== 236 ====

2024-09-06, семинар 1: в начале семинара рассмотрели основные понятия и определения для решения задач. Решили задачи 1.1, 1.6, 3.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-13, семинар 2: нашли ожидание случайной величины с геом. распределением. Решили задачи 2.1, 12.6, 12.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-09-20, семинар 3: решили задачи 7.12, 7.4(а), 7.7, 7.13(а) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-09-27, семинар 4: разобрали 7.13, почти разобрали 28.3 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Также рассмотрели один контрпример на независимость(тетраэдр Бернштейна).

2024-10-04, семинар 5: разобрались с определениями, решили 9.3(абв), 9.7(аб) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Решили задачку про три точки на отрезке и найти вероятность получить треугольник. Также вывели формулу для мат. ожидания неотрицательной величины через функцию распределения.

2024-10-14, семинар 6: обсудили дисперсию, ковариацию, коэффициент корреляции и их геометрический смысл. Решили задачу на оценку дисперсии ограниченной величины. посчитали дисперсию геометрического, биномиального. Посчитали дисперсию в задаче о письмах и конвертах.

???, семинар 7: определили энтропию, посчитали примеры для дискретных величин, для линейных преобразований. Доказали, что задача максимизации энтропии с фиксированной дисперсией достигается на нормальном распределении.

???, семинар 8: свертка двух экспоненциальных, 16.18 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

???, семинар 9: задачи на пуассоновский процесс из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

???, семинар 10: разбор кр.

???, семинар 11: разобрали задачи на нормальное распределение 18.1, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Также считали распределение суммы двух независимых нормальных.

==== 237 ====

2024-09-09, семинар 1: задачи 1.1, 2.2 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], вероятность что n ладей не бьют друг друга при случайной расстановке на шахматной доске n на n, матожидание числа треугольников в случайном графе на n вершинах через сумму индикаторов

2024-09-13, семинар 2: задачи 2.1, 2.6, 12.3, 12.6, 12.7 (без дисперсий) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-23, семинар 3: задачи 7.2, 7.13, 7.7, 7.8, плюс начали 7.15b (получили неверный ответ) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-27, семинар 4: дорешали 7.15b с небольшой демонстрацией на питоне, разобрали 28.2 для нечестной монетки плюс посчитали матожидание [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-10-04, семинар 5: задачи 9.1, 9.3абв, 9.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], философия про то почему бОльшая плотность не всегда означает бОльшую вероятность оказаться в окрестности данной точки (плотность может занимать слишком маленький объем)

2024-10-11, семинар 6: вспомнили определения Cov/Var/Corr, посчитали у пары дискретных величин по табличке вероятностей, посчитали дисперсию у биномиального, геометрического, непрерывного равномерного на отрезке.

2024-10-18, семинар 7: вычисление энтропии геометрического распределения; ограниченность энтропии снизу и сверху в дискретном случае; изменение энтропии при линейном преобразовании для дискретной величины и величины с функцией плотности; условная энтропия, KL дивергенция и кросс-энтропия, неотрицательность KL, интерпретация на пальцах с точки зрения теории информации.

2024-11-01, семинар 8: 16.18, 16.23 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], свёртка двух экспоненциальных величин

2024-11-08, семинар 9: решали пробный вариант КР

2024-11-15, семинар 10: 13.1, 13.2, 13.5, 13.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-11-22, семинар 11: разбор КР

2024-11-29, семинар 12: нормальное распределение, 18.1, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-06, семинар 13: многомерное нормальное распределение, изменение среднего и матрицы ковариаций при линейном преобразовании, 24.4а, 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-13, семинар 14: 24.4в из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], сходимости случайных величин, ЗБЧ и ЦПТ, 20.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-21, семинар 15: наследование сходимости, 20.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], плюс доказали предельную теорему Пуассона

2025-01-28, семинар 16: связь между сходимостями, 20.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], лемма Слуцкого, подмена дисперсии на выборочную дисперсию в ЦПТ

2025-02-04, семинар 17: базовые свойства хар функций, хар функция суммы независимых величин, 28.17, 28.20 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-18, семинар 18: вероятностное пространство в общем случае, сигма-алгебры, борелевская сигма-алгебра, сигма-алгебра порожденная случайной величиной, измеримость случайной величины относительно сигма-алгебры, 6.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], задачи на сигма алгебры из пробника КР

2025-02-25, семинар 19: условное матожидание относительно сигма алгебры, условное матожидание и дисперсия относительно случайной величины, закон полного матожидания и закон полной дисперсии, 22.1, 22.3, 22.5абв из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-03-04, семинар 20: показали, что условное матожидание минимизирует среднеквадратичный риск; нашли условное матожидание и условную дисперсию в 22.6 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], нашли E[X | X^2] для симметричного равномерного распределения, нашли E[X_1 | X_1 + ... + X_n] для набора i.i.d. величин, нашли E[Y] и Var(Y) для Y|X имеющего экспоненциальное распределение с параметром X

==== 239 ====

2024-09-03, семинар 1: задачи 1.1, 1.4, пытались 1.8 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Ещё успели посчитать вероятность N=k бросков монеты до выпадения первого орла, матожидание N. И ещё сделали то же для количества бросков до выпадения 3 орлов (не в серии).

2024-09-10, семинар 2: доказали формулу включения-исключения, решили несложную задачу, порешали 2.7 задачи типа 12.*

2024-09-17, семинар 3: Решили две прямых задачи на формулу Байеса и формулу полной вероятности (без большого количества вычислений). Решили задачу поиска вероятности неисправного кофе-автомата из 3 при условии, что бросили деньги в 1 и 2 и их зажевало. Ещё нашли вероятность, что мяч будет у игрока 3 после шага 10 (все садятся в круг и на каждом шаге бросают мяч соседу с вероятностью 0.3 и оставляют у себя с вероятностью 0.4).

2024-09-24, семинар 4: Вспомнили про метод первого шага, используя формулу полной вероятности и введя в некотором виде формулу полного матожидания, записали формулу для вероятностей нахождения в состоянии i через произведение переходной матрицы на вектор. Совсем немного начали производящие функции, но решили не считать 31ю производную многочлена.

2024-10-01, семинар 5: Исследуем дискретные случайные величины (Биномиальная, Геометрическая и разные похожие) с использованием техник вычислений моментов через производящую функцию. Задачи на распределения величин, посчитанных по набору величин. Первая большая задача про плотность.

2024-10-08, семинар 6: разминочная про плотность и функцию распределения. Считаем дисперсию, ковариацию и корреляцию по 2x2 таблице и в равномерном распределении на круге и квадрате [-1,1]х[-1,1].

2024-10-15, семинар 7: пара задач про экспоненциальное распределение, расчёты по теории информации(считаем всякое, чтобы привыкнуть).

2024-10-22, семинар 8: письменные источники не сохранились до наших дней. Согласно преданиям, оьсуждали двери и около контрольной. Говорят, ввели пуассоновский процесс.

2024-???, семинар 9: решаем задачи на пуассоновское в разных формах и обсуждаем омалые в порядковых статистиках.

2024-???, семинар 10: учимся интерпретироввть гауссовское, пользоваться таблицами для функции Лапласа, а также немного работать с многомерным гауссовским.

2024-3-12, семинар 11: Копаем во все стороны многомерное гауссовское: считаем вероятности для линейных комбинаций гауссовских, проверяем зависимость, вычисляем условные законы, матожидания и ковариационные матрицы, вспоминаем спектральное разложение и разложение Холецкого.

==== 2311 ====

2024-09-06, семинар 1: вероятностное пространство, вероятность на нем, вероятность события, случайная величина и ее распределение (индикатор события, сумма двух кубиков, число бросаний монетки до первого орла), матожидание случайной величины (индикатор, один кубик, два кубика), линейность матожидания. Задачи на линейность матожидания, в том числе ЕГЭшная задача про турнир, 1.5, 3.5 с допвопросом о матожидании числа совпадений. Разговор о получении события произвольной вероятности монеткой в контексте 1.8

2024-09-13, семинар 2: Повторили матожидание суммы на примере 12.3. Обсудили условную вероятность и формулу полной вероятности, условное матожидание, решили задачи на метод первого шага 2.1, 2.3, 2.7.

2024-09-20, семинар 3: Условная вероятность, формула полной вероятности, формула Байеса: 7.1, классическая задача про болезни и тесты, простейшие задачки на общее понимание, обсуждение двух подходов: вычисления условной вероятности по формуле и составления нового вероятностного пространства и подсчет вероятности в нем. Независимые события (события "пики" и "дама" в обычной колоде и колоде с джокерами), независимые в совокупности события, построили пример попарно независимых, но не независимых в совокупности. Обсудили биномиальное распределение. решили задачу: "в корабле к отсеков, чтобы корабль затонул, нужно поразить 2. Независимо выпускают n ракет, каждая из которых поражает случайный отсек с вероятностью p. Найти вероятность потопления корабля"

2024-09-20, семинар 4: Примеры одинаково распределенных зависимых СВ, независимые СВ. Производящая функция и ее свойства. Посчитали для биномиального производящую функцию и второй момент. Обсудили, что будет меняться в случае функции, производящей моменты. Обсудили функцию, производящую множество исходов, как из нее доставать уже известные функции, как ее искать на примере бросания монетки до выпадания HT

2024-10-11, семинар 5: Составили табличку стандартных дискретных распределений, посчитали матожидание геометрического, обсудили дисперсию и ковариацию и их свойства (в дискретном случае), досчитали дисперсии основных распределений. Обсудили вероятностное пространство в общем случае, понятие СВ в общем случае. Дали определение ФР, посчитали ФР для явно заданной СВ. Дали определение плотности.

2024-10-12, семинар 6: Обсудили свойства ФР, как считать вероятность попадания в промежуток в терминах ФР. Выразили ФР 1/X, cos X. Обсудили как выражается веротяность попадания в множество через плотность. для 1/Х выразили плотность в случае абсолютной непрерывности Х. Обсудили формулу для МО в общем виде через интеграл Стильтьеса и как вычислять МО для функции, разлагающейся в сумму абсолютно нерпрерывной и функции скачков, посчитали МО для пары таких СВ

2024-10-18, семинар 7: Обсудили геометрию, заданную скалярным произведением EXY и cov(X,Y), поиск ортогонального элемента и проекции. Посчитали энтропию и кросс-энтропию в дискретном и непрерывном случаях, посчиали совместную и условную энтропию в дискретном случае (23.2, 23.4, 23.9)

2024-11-01, семинар 9: Совместная плотность и ф.р., подсчет вероятностей, маргинальные плотности, замена переменной через якобиан, свертка, матожидание

2024-11-09, семинар 10: Условная плотность, формула условной вероятности. Задача на восстановление маргинальной плотности по условной. Разбор задач из "Летучей мыши"

2024-11-19, семинар 11: Разбор контрольной работы

2024-11-22, семинар 12: Пуассоновский поток - решали задачки из задачника

2024-11-29, семинар 13: Нормальное распределение - задачи из PP, повторили функцию, порождающую моменты, обсудили ее свойства в абсолютно непрерывном случае

2024-12-06, семинар 14: Многомерное нормальное - обсудили два определения, связь между ними, независимость элементов нормального вектора при нулевой ковариации и почему это неверно для произвольных нормальных. порешали задачи 24.9а, 24.10, 24.17

2024-12-013, семинар 15: ЦПТ, решали задачи из задачника

2025-01-17, семинар 16: Сходимости почти наверное и по вероятности, связь со сходимостью по распределению. Посмотрели стандартные контрпримеры, показали, что если есть сходимость по распределению к константе, то есть и по вероятности. ЗБЧ Чебышева и Хинчина, УЗБЧ Колмогорова, обсудили 20.1 сколько успели.

2025-01-24, семинар 17: Сходимость в L_p, связи между сходимостями. Задача 20.11

2025-01-24, семинар 18: Характеристические функции и их свойства. Посчитали хар функции для равномерного, Бернулли, биномиального, Пуассона, экспоненциального. Показали, чо сумма нормальных нормальна. По функции пытались понять, может ли она быть характеристической и восстанавливали с.в.

==== 2310, 2312 ====

2024-09-06, семинар 1: задача 1.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Определили вероятностное пространство в виде тройки, множество исходов рассматривали конечное и счётное. Решили 3 счётные задачи на комбинаторику про колоды карт и счетные последовательности цифр. Привели геометрическое и аналитическое решения задачи про нахождение предела последовательности вероятностей. В конце нашли математическое ожидание геометрически распределённой случайной величины.

2024-09-13, семинар 2: задача 2.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Задача на упорядоченные и неупорядоченные наборы. Задача про классическое вероятностное пространство и про пространство с неравновероятными исходами. Разобрали парадокс Монти Холла. Ввели понятия условной вероятности и независимых случайных величин. Сформулировали и обсудили идеи доказательств трёх теорем: теорема умножения вероятностей, формула полной вероятности и формула Байеса.

2024-09-20, семинар 3: Решили задачу на определение условной вероятности. Обсудили парадокс теоремы Байеса на примере задачи про редкое заболевание, а также посмотрели простую программу на Python, которая считает вероятность в зависимости от количества проведенных тестов на заболевание. Обсудили условное математическое ожидание, некоторые его свойства и рассмотрели пример с подбрасыванием кубика. В конце решили задачу на парадокс дней рождений.

2024-09-27, семинар 4: Обсудили коллизии хеш-функций и связь с атакой "дней рождений". Определили независимость или зависимость случайных величин в четырёх разных вариантах. Обсудили, что неверно утверждать, что матожидание частного независимых случайных величин равно частному матожиданий, также привели пример использования подобного факта в некоторых статьях. В конце решили задачу на поиск функции производящей исходы, а также нашли E(X), E(Y^2), E(XY) с помощью найденной функции.

2024-10-04, семинар 5: Решили две простые задачи на условную вероятность и на теорему об умножении вероятностей. Обсудили связь дерева событий с условной вероятностью и теоремой об умножении вероятностей. Нашли производящую функцию моментов для геометрически распределенной случайной величины и с помощью нее нашли матожидание. Нашли производящую функцию моментов и матожидание суммы случайного количества н.о.р случайных величин.

2024-10-11, семинар 6: Привели аналогии между дискретными и непрерывными случайными величинами. Нарисовали графики функций от случайных величин. Вспомнили определение и свойства дисперсии. Решили простую задачу на подсчет дисперсии и нашли дисперсию геометрически распределенной случайной величины. Обсудили, когда может быть матожидание и дисперсия бесконечны. Далее вспомнили неравенства Маркова и Чебышева, вывели следствия и решили 3 задачи на применение этих неравенств. Обсудили, что неравенство Маркова может давать как точную оценку, так и очень слабую. Показали, что неотрицательность случайной величины в неравенстве Маркова является существенным условием.

2024-10-11, семинар 7: Повторили понятия энтропии в битах и натах, а также понятие дифференциальной энтропии. Нашли энтропию в схеме Бернулли и энтропии геометрического и экспоненциального распределений. Доказали простую оценку сверху для энтропии случайной величины, имеющей конечный носитель мощности n.

2024-11-1, семинар 8: Разобрали демо-вариант контрольной работы "Тыква".

2024-11-8, семинар 9: Разобрали демо-вариант контрольной работы "Летучая мышь".

2024-11-15, семинар 10: Понятие случайного процесса. Определение пуассоновского процесса, его свойства. Три простые задачи на пуассоновское распределение. Задачи 13.1 и 13.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-11-22, семинар 11: Определения Бета-функции и Гамма-функции. Бета и Гамма распределения, их функции плотности и графики. Нахождение моды случайных величин, имеющих Бета и Гамма распределения. Связь пуассоновского процесса с Гамма распределением. В конце нашли производящую функцию моментов Гамма распределения.

2024-11-29, семинар 12: Задачи 18.1, 18.2 и 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-12-06, семинар 13: Нашли многомерное нормальное распределение по виду функции плотности (константа на экспоненту с квадратичным показателем). С помощью формулы Иссерлиса нашли матожидания произведений различных или одинаковых случайных величин, имеющих многомерное нормальное распределение. Нашли условную вероятность многомерного распределения. Задача 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-12-13, семинар 14: Повторили определение сходимости по распределению и центральную предельную теорему. Решили задачи 20.2 и 20.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

== Источники ==

Источники мудрости, которые я постарался не замутить :)

[https://arxiv.org/pdf/1411.5279 WTSK]: Tim Hesterberg, What Teachers Should Know About the Bootstrap: вкусное и доступное изложение бутстрэпа и перестановочных тестов.

[https://projects.iq.harvard.edu/stat110/home BItP]: Blitzstein, Hwang, Introduction to Probability: учебник, записи лекций, гарвардский курс.

Теория вероятностей 2024/25 (основной поток)

2025-03-10T21:07:23Z

Bdemeshev: /* Дневник самурая */

= Преподаватели и учебные ассистенты =

{| class="wikitable" style="text-align:center"
|-
! Группа !! БПМИ235 !! БПМИ236 !! БПМИ237 !! БПМИ238 !! БПМИ239 !! БПМИ2310 !! БПМИ2311 !! БПМИ2312
|-
|| Лектор ||colspan="11"| [https://t.me/boris_demeshev Борис Демешев]
|-
|| Семинарист || [https://t.me/boris_demeshev Борис Демешев] || [https://t.me/levensons Илья Левин] || [https://t.me/madn_boi Никита Морозов] || [https://t.me/boris_demeshev Борис Демешев] || [https://t.me/XuMuK_MK Максим Каледин] || [https://t.me/goluba_yurieva Голуба Юрьева] || [https://t.me/Moskchan Вероника Владыкина] || [https://t.me/goluba_yurieva Голуба Юрьева]
|-
|| Ассистент || [https://t.me/nerhneiro Ира Скворцова] || [https://t.me/a_ameli_ig Амелия Алаева] || [https://t.me/htual Алина Бадахова] || [https://t.me/adelyagaraeva Аделя Гараева] || [https://t.me/mabrielka Мария Брель] || [https://t.me/zm_ann Анна Зыкова-Мызина] || [https://t.me/Yanlightv Яна Вежновец] || [https://t.me/nol_erk Кирилл Лавриненко]
|-
|| Ассистент курса ||colspan="11"| [https://t.me/Nick_Volya Никита Волянский]
|}

== Цели и задачи курса ==

侍には目標がなく道しかない [Samurai niwa mokuhyō ga naku michi shikanai]

У самурая нет цели и ничего кроме пути.

Вероятный план:
<div class="mw-collapsible mw-collapsed" style="width:1000px; overflow: hidden;">
1. Дискретное вероятностное пространство. Вероятность, математическое ожидание, теоретическая медиана.
Перестановочные тесты, p-значение для перестановочного теста.
Математическое ожидание = центр масс.

NB: здесь сходу рисуем дерево
NB: здесь нет задач на условную вероятность

!предупреждение об обозначениях случайных величин.
Российская традиция — греческие буквы, американская традиция — заглавные английские буквы.
Наш курс: любые буквы. Причина: теория вероятностей применяется в разных областях, где свои традиции.

NB: Способы вычисления вероятностей и ожиданий:
* полный перебор руками
* примерные вычисления руками
* полный перебор на компьютере
* симуляции на компьютере
* ...

2.
Методы решения задач:
* разложение величины в сумму
* метод первого шага
!идея: позиция в игре имеет цену
* just for fun: метод рычага в геометрии через ожидание
NB: рассказать здесь про комплексную случайную величину
NB: по сути здесь мы уже решаем задачи на марковские цепи не говоря страшных определений
LOTUS.

3. Условная вероятность и условное ожидание.
!идея: зануляем вероятности невозможных событий, а остальные — масштабируем.
формула полной вероятности
!идея: дерево "помнит" формулу полной вероятности
формула Байеса

Независимые события.
Независимые случайные величины.

4.
Методы решения задач:
* производящие функции многих переменных
функция как способ записать множество
HTT vs TTH
ABRACADABRA
!разложение по биномиальной формуле

?: можно здесь успеть функцию производящую моменты

5.
Биномиальное распределение.
Геометрическое и гипергеометрическое распределения.
Отрицательное биномиальное распределение.

6.
Равномерное распределение на множестве в R^n
Функция распределения.
Функция плотности и вероятностная дифференциальная форма.
!пояснение про неудачную традиционную терминологию "непрерывная случайная величина"
величина с функцией плотности, величина с непрерывной функцией распределения.

Квантили, квантильная функция.

7. Характеристики случайных величин и неравенства.
Дисперсия.
Энтропия.
Неравенство Маркова.
Неравенство Чебышёва.
Неравенство Йенсена.

Здесь конец модуля 1 и КР-1!

8. Пуассоновский поток.
Аксиомы пуассоновского потока.
Вывод экспоненциального распределения и пуассоновского распределения из аксиом.
Вывод экспоненциального распределения из предпосылки об отсутсвии памяти.

9. Нормальное распределение.
Нормальное распределение: предпосылки Хершела-Максвелла.
Нормальное распределение: аргументация Гаусса за среднее арифметическое.
Нормальное распределение: предпосылки Лэндона (до уравнения в частных производных).

10. Классические непрерывные распределения.

Гамма-распределение, бета-распределение.
Вывод нормального и экспоненциального распредений как минимизации энтропии.

11. Парные характеристики случайных величин.
Наилучшая линейная аппроксимация.
Ковариация.
Корреляция.
Кросс-энтропия.

Доказательство E(XY) = E(X) E(Y) для дискретных.
Ковариационная матрица и ожидание для случайных векторов.

12. Совместная и условная функция плостности.
Преобразования случайных величин.

13. Функция производящая моменты и характеристическая функция.
Распределение суммы случайного количества случайных величин.
Случайный выбор слагаемых.

14. Финансовые приложения

Оценивание опционов на биномиальном дереве.
Максимизация долгосрочной прибыли, связь с энтропией.
Возможно, индексы Гиттинса.

Здесь конец модуля 2 и КР-2

15. Сигма-алгебры.

Список известных величин как способ описания информации.
Идея условного ожидания как оптимального прогноза.
Сигма-алгебра как способ описания информации.
Измеримость случайной величины относительно сигма-алгебры.
Сигма-алгебра как ОДЗ для вероятности.
Борелевская сигма-алгебра.
Независимые случайные величины второе определение.

16. Условное математическое ожидание.
Условная дисперсия.
Сумма случайного количества случайных величин.

17. Сходимости случайных величин.

Сходимость по вероятности.
Закон больших чисел.
Сходимость почти наверное.
Усилинный закон больших чисел.
Сходимость по распределению.

18. Связь сходимостей.
Лемма Слуцкого.

19. Центральная предельная теорема.
Доказательство через подмену слагаемых.
Доказательство через характеристические функции.

Здесь контрольная.

20. Винеровский процесс
Условные ожидания, инверсия.

21. Байесовский подход к оцениванию параметров

Балансовое уравнение. Идея MCMC.

22. Доказательства свойств меры

23. Алгоритм построения математического ожидания в общем случае.
Лемма Фату.
Теорема о мажорируемой сходимости.
Теорема о монотонной сходимости.

24. Резерв.

Жемчужинки, которые, вероятно, не успеем:

А. Методы решения задач:
подсчёт случаев с помощью леммы Бернсайда и теоремы Пойа о перечислении
(Burnside lemma, PET = Polya Enumeration Theorem)

B. вероятностные доказательства детерминистических теорем

</div>

== Оценивание ==

Оценка за семестр-1 = 0.2 Домашние задания семестра-1 + 0.4 Контрольная-Альфа + 0.4 Экзамен-Бета.

Финальная оценка за курс = 0.5 Оценка за семестр-1 + 0.1 Домашние задания семестра-2 + 0.2 Контрольная-Гамма + 0.2 Экзамен-Дельта.

Каждая оценка (суммарные итоги за домашние задания, контрольные, экзамены) — целое число от 0 до 100.
Для перевода в 10-балльную шкалу промежуточной оценки за семестр-1 и финальной оценки используется деление на 10
с арифметическим округлением. Например, если Максим получил "оценку за семестр-1" 65 баллов, то в ведомость за первый семестр идёт 7, а далее в формуле финальной оценки за курс используется 65.

=== Домашние задания для самураев ===

Домашние задания [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/home_assignments/home_assignments.pdf одним файлом] и [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/blob/main/home_assignments/ отдельными файлами].
Домашние задания имеют равный вес.
В конце каждой лекции (за исключением ближайших к экзамену лекций)
выдается домашнее задание сроком на две недели.
Дедлайн жёсткий, однако студент имеет право просрочить три домашних задания на неделю каждое без штрафа.

Формат сдачи ДЗ: один pdf-файл (решение текстовых задач) и один ipynb-файл (решение компьютерных задач).
В pdf-файл можно поместить аккуратно написанное отсканированное решение, а можно скомпилировать pdf из теха или маркдауна.
Ещё можно вместо pdf-файла написать всё в ipynb.
Бонусов за сдачу домашки в техе нет. Пример [https://www.overleaf.com/read/qmrkwpzvmqbk шаблона].

Обратите внимание: '''время каждого дедлайна — 23:59'''.

=== Ведомость с оценками за ДЗ ===

{| class="wikitable" style="text-align:center"
|-
! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1872081500#gid=1872081500 235] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1374497930#gid=1374497930 236] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1183164252#gid=1183164252 237] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=408179311#gid=408179311 238] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1032422408#gid=1032422408 239] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1603236891#gid=1603236891 2310] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=791330236#gid=791330236 2311] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=23847300#gid=23847300 2312]
|}

[https://docs.google.com/spreadsheets/d/14hD7-SLmAA1omdkhPlt3blRHDHVGTDS8ZgvLWscvMz8/edit?usp=sharing Сводная ведомость всех оценок]

=== Контрольные работы и экзамен ===

Вес каждой задачи будет написан в тексте работы.
Задачи с ненаписанным по случайности весом имеют равный вес.
Для пропущенных по уважительной причине контрольных будет выделен один день для переписывания.
При пропуске дня переписывания, в том числе по уважительным причинам, ещё одного шанса не предоставляется.

<div class="mw-collapsible mw-collapsed" style="width:1000px; overflow: hidden;">

'''Контрольная работа 1''' состоится 2024-11-11 в 16:20, аудитории: R401, R305, R206, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_halloween_demo/exam_halloween_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/midterm/midterm-alpha.pdf условие с критериями и решениями].

'''Резервный день 1''' для пропустивших по уважительной причине состоится 2024-12-02 в 19:40, R405

'''Показ контрольной 1''':

* задачи 1, 2: заочно до 2024-12-08, [https://t.me/Moskchan Вероника]
* задачи 3, 4 [https://t.me/boris_demeshev Борис], очно, четверг, 2024-12-05, 18:10-21:00, G408
* задачи 5, 6 [https://t.me/XuMuK_MK Максим]: очно, четверг, 2024-12-05, 18:10-21:00, G408

'''Экзамен, модуль 2''' состоится '''''2024-12-24 в 10:00''''', аудитории R301, R304, R401, R404, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_winter_demo/exam_winter_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/december/pmi_probab_2024_december.pdf условие].

Если вы не хотите идти на экзамен, то заполните [https://forms.gle/UQzW77RrPvcdahG47 эту форму], чтобы получить ноль при неявке

'''Апелляция экзамена''':

* задачи 1, 2: заочно [https://t.me/goluba_yurieva Голуба], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/december/exam_problem_1-2.pdf решения и критерии 1, 2];
* задачи 3, 4: очно 2025-01-11, аудитория R408, 14:40-17:40 [https://t.me/madn_boi Никита], [https://www.overleaf.com/read/dnhjcdrndqps#42f1ab решения и критерии 3, 4];
* задачи 5, 6: заочно [https://t.me/levensons Илья]

* дедлайн по заочным апелляциям: суббота 23:59

[https://docs.google.com/spreadsheets/d/1mxMCr3IEDy8EPFWGkn3_dsghhPNcZICEw9C9o5ZoZvA/edit?usp=sharing Распределение по аудиториям]

</div>

Даты пересдач: 2025-01-28 в 18:10, 2025-02-03 в 18:10 и комиссия 2025-02-11 в 18:10.

* задачи 1, 2: [https://t.me/goluba_yurieva Голуба], задачи 3, 4: [https://t.me/madn_boi Никита], задачи 5, 6: [https://t.me/levensons Илья], апелляция пересдачи 2 до 21:00 2025-02-10.

'''Контрольная, модуль 3''' состоится 2025-02-22 в 16:20, аудитории R201, R204, R404, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_galileo_demo/exam_galileo_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_galileo/pmi_probab_galileo_exam_2024-2025.pdf условие].

[https://docs.google.com/spreadsheets/d/1LZA-7TDz_yYeVPRx4BpBWJnQKZ7wqPgHDrN-Z0SM68M/edit?usp=sharing Распределение по аудиториям]

'''Контрольная, модуль 3, резервный день''': 2025-03-07, пятница, 18:10, R204

'''Экзамен, модуль 3''' состоится '''2025-03-28''' в 14:40, аудитории R201, R301, R404, R405, демо, условие.

== Учебные материалы ==

[https://github.com/bdemeshev/probability_pro/raw/master/probability_pro.pdf PP]: Листки с задачами к курсу.

[https://github.com/bdemeshev/stochastic_pro/raw/main/stochastic_pro.pdf StoPro]: Stochastic process problems.

[https://github.com/bdemeshev/probability_dna/raw/master/probability_dna.pdf PDNA]: Вероятностная ДНК = вкусные задачи по теории вероятностей.

[https://disk.yandex.ru/d/LZ6d2VZVqYvbDQ Видео-летопись семинаров и лекций] и [https://hse.liferooter.dev/ конспект] от тайного благожелателя (updated 2024-10-23]

[https://disk.yandex.ru/d/IoakBXz_6yygPw Официальные видео]

[https://www.cambridgeinternational.org/Images/344616-list-of-formulae-and-statistical-tables.pdf Cambridge statistical tables]

== Дневник самурая ==

2024-09-02, лекция 1: Определение события. Определение случайной величины. Аксиомы вероятности. Определение математического ожидания для дискретного случая.
Линейность математического ожидания. Математическое ожидание как центр масс. Первое знакомоство с перестановочным тестом и p-значением.

Можно глянуть: главы 2.1 и 7 из [https://arxiv.org/pdf/1411.5279 WTSK], метод рычага [https://mathcircle.berkeley.edu/sites/default/files/archivedocs/2007_2008/lectures/0708lecturespdf/MassPointsBMC07.pdf в геометрии].

2024-09-09, лекция 2: Метод первого шага (вероятность выпадения HTH ранее HHT, ожидаемое количество шагов). Метод разложения случайной величины в сумму. Определение случайного вектора. Использование интерпретации ожидания как центра масс в геометрии. Определение теоретической медианы.

Можно глянуть: глава 2.7.2 из [https://projects.iq.harvard.edu/stat110/home BItP], три стратегии решения задачи за 10 минут [https://www.youtube.com/watch?v=xH89DaEI35w Visually Explained]

2024-09-16, лекция 3: Получение новой информации приводит к пересчёту вероятностей. Определение условной вероятности. Формула полной вероятности. Формула Байеса.
Условное математическое ожидание. Формула полного математического ожидания. Независимость пары событий. Независимость набора событий в совокупности.
Независимость величин: неформальное определение. Критерий независимости произвольных величин. Критерий независимости дискретных величин.

2024-09-23, лекция 4: Доказательство критерия независимости для дискретных случайных величин: из независимости {X=x} и {Y=y} следует независимость {X in A} и {Y in B}. Независимость величин равносильна E(f(X))E(g(Y))=E(f(X)g(Y)) для произвольных f, g. Определение биномиальной, геометрической (как числа неудач до 1го успеха) и отрицательной биномиальной случайной величины. Общая идея за производящими функциями: как из функции, производящей исходы эксперимента, с помощью производных и подстановок выудить индивидуальные вероятности, совместные вероятности, ожидания любой степени E(X^a), E(X^a Y^b). Формальное определение функции, производящей вероятности, и функцию, производящей моменты, для одной случайной величины и пары случайных величин. Метатеорема: все теоремы о дискретных величинах доказываются перестановкой слагаемых. Основные дискретные распределения: биномиальное, геометрическое, отрицательное биномиальное.

2024-09-30, лекция 5: Ещё дискретные законы распределения: гипергеометрическое. Описание закона распределения через равномерное распределение на подмножестве R^n.
Функция плотности как линейная часть вероятности попадания в отрезок. Равномерное распределение на отрезке. Смешанные случайные величины. LOTUS: нахождение ожидания любой функции от случайной величины для величин с функцией плотности и смешанных величин. Функция распределения. Квантильная функция.

2024-10-07, лекция 6: Две геометрии случайных величин и событий: E(XY) как скалярное произведение, Cov(X, Y) как скалярное произведение. Математическое ожидание — проекция в рамках геометрии, задаваемой E(XY). Определение и геометрический смысл дисперсии, стандартного отклонения, ковариации и корреляции. Неравенство Маркова. Неравенство Чебышёва. Неравенство Йенсена: интуитивный смысл.

2024-10-14, лекция 7: Доказательство неравенства Йенсена. Энтропия как минимальное ожидаемое число вопросов для отгадывания и формальное определение. Кросс-энтропия.
Доказательство того, что кросс-энтропия больше либо равна энтропии. Совместная энтропия. Условная энтропия. Формула H(X) + H(Y|X) = H(X, Y) без доказательства.
Вывод плотности экспоненциального распределения из предпосылки отсутствия памяти. Экспоненциальное распределение максимизирует энтропию при заданном ожидании и неотрицательности.

* Cristopher Olah, Visual Information Theory, https://colah.github.io/posts/2015-09-Visual-Information/

* Grand Sanderson, Solving Wordle using information theory, [https://www.youtube.com/watch?v=v68zYyaEmEA youtube].

* Artem Kirsanov, Key equation behind probability, [https://www.youtube.com/watch?v=KHVR587oW8I youtube]. У Артёма кросс-энтропия обозначена H(P, Q), а не CE(P||Q)).

* [https://exuberant-arthropod-be8.notion.site/1-02-09-5e107ea1c4054594b8f37d955db8a2b0 Конспект] аналогичной старой лекции псмо на русском.

* Keith Conrad, [https://kconrad.math.uconn.edu/blurbs/analysis/entropypost.pdf Maximal entropy] distributions.

2024-10-21, лекция 8: Ковариационная матрица и её свойства. Совместная функция плотности. Условная функция плотности. Критерий независимости в терминах функций плотности и распределения.
Связь индивидуальной и совместной функций плотности и функций распределения. Смена плотности при замене переменных: домножение на якобиан и неформально про дифференциальные формы. Формула свёртки.
Разложение совместной плотности для графической модели. Представление произвольной совместной функции распределения с помощью копулы.

* Про дифференциальные формы: [https://www.youtube.com/watch?v=PaWj0WxUxGg&list=PL22w63XsKjqzQZtDZO_9s2HEMRJnaOTX7 videos] by Michael Penn, [https://www.math.purdue.edu/~arapura/preprints/diffforms.pdf short intro] by Dony Arapura

* What is a convolution от [https://www.youtube.com/watch?v=KuXjwB4LzSA 3b1b]

* From graphical models to [https://www.youtube.com/watch?v=yBc01ZeaFxw&list=PLISXH-iEM4JlFsAp7trKCWyxeO3M70QyJ Probabilistic ML]

2024-11-11, лекция 9: Пуассоновский поток: аксиомы. Вывод пуассоновского распределения количества событий и экспоненциального времени между событиями из аксиом.
Сумма независимых пуассоновских потоков — это пуассоновский поток (половина доказательства). Вероятность того, что одна экспоненциальная величина будет меньше другой, независимой.

2024-11-18, лекция 10: Гамма-распределение как сумма нескольких экспоненциальных: вывод плотности через вероятность попадания в малый отрезок.
Обобщение плотности на случай положительного параметра $a$. Гамма-функция. Бета-распределение как отношение гамма-распределений. Бета-функция.

2024-11-25, лекция 11: Вывод нормального распределения из предпосылок Гаусса. Вывод нормального распределения из предпосылок Гершеля — Максвелла.

* Saul Stahl, The [https://www.researchgate.net/publication/255668423_The_Evolution_of_the_Normal_Distribution Evolution] of the Normal Distribution: вывод Гаусса с историей.

* Grand Sanderson, [https://www.youtube.com/watch?v=cy8r7WSuT1I Why pi] is in the normal? вывод Гершеля—Максвелла

* James Stein, [http://www-biba.inrialpes.fr/Jaynes/cc07s.pdf Normal Distribution]: глава про нормальное распределение (Гаусс, Гершель—Максвелл, Лэндон etc)

* William Herschel, [https://music.yandex.com/album/209394/track/2121214 концерт для габоя]

* William Herschel, [https://www.informationphilosopher.com/solutions/scientists/quetelet/Herschel_Quetelet_Probabilities.pdf On the theory of Probabilities]: вывод нормального распределения словами на стр. 189-191

2024-12-02, лекция 12: многомерное нормальное распределение. Функция плотности невырожденного многомерного нормального. Функция производящая моменты для многомерного нормального. Формула Иссерлиса с ненулевыми ожиданиями и доказательством. Условное распределение: вывод условного ожидания и условной дисперсии через разложение величины в сумму независимых.

* [https://stats.stackexchange.com/questions/30588/ альтернативный вывод] условного многомерного нормального распределения
* Хитрый [https://github.com/bdemeshev/lis-isserlis/raw/main/lis-isserlis.pdf лис Иссерлис]

2024-12-09, лекция 13: сходимость по распределению, центральная предельная теорема с доказательством подменой слагаемых.

* Calvin Chin [https://arxiv.org/pdf/2106.00871 CLT proof] by swapping
* [https://bdemeshev.github.io/teaching_notes/clt_by_swapping Пересказ доказательства]

2024-12-16, лекция 14: использование бесконечно малых при нахождении ожиданий, трюк с добавление параметра, трюк с закольцовыванием отрезка при равномерном распределении.

2025-01-13, лекция 15: Неединственность предела по распределению. Неаддитивность предела по распределению. Предел по вероятности. Закон больших чисел в слабой форме (с доказательством при дополнительной предпосылке о конечности дисперсии). Теорема о непрерывном отображении.

2025-01-20, лекция 16: два определение сходимости почти наверное с доказательством эквивалентности. Сходимость в Lp. Из сходимости в Lp при p>=1 следует сходимость по вероятности. Из сходимости почти наверное следует сходимость по вероятностям. Контр-пример к разнице сходимостей почти наверное и по вероятности. Контр-пример к разнице сходимостей в Lp и по вероятности. Усиленный закон больших чисел (без доказательства). Леммы Слуцкого (без доказательства).

2025-01-27, лекция 17: характеристические функции и их свойства. Вывод характеристической функции нормального стандартного распределения через дифференциальное уравнение. Характеристическая функция биномиального распредеделения. Второе доказательство ЦПТ (через характеристические функции).

* [https://web.ma.utexas.edu/users/gordanz/notes/characteristic.pdf Gordan Zitkovic]: characteristic functions
* [https://sas.uwaterloo.ca/~dlmcleis/s901/chapt6.pdf McLeish]: clt proof

2025-02-03, лекция 18: пример последовательности сходящийся по вероятности с ожиданием стремящимся к бесконечности. Критерий Кэлли. Критерий оптимальной остановки Брасса.

* [https://en.wikipedia.org/wiki/Kelly_criterion wikipedia]: Kelly criterion
* [https://projecteuclid.org/journalArticle/Download?urlId=10.1214%2Faop%2F1019160340 Bruss]: sum the odds to one and stop

2025-02-10 лекция 19: Сигма-алгебра порождённая случайной величиной или набором из нескольких случайных величин. Замкнутость относительно счётного количества операций с множествами. Сигма-алгебра. Объединение сигма-алгебр не всегда сигма-алгебра. Пересечение сигма-алгебр всегда сигма-алгебра. Измеримость суммы. Борелевская сигма-алгебра.

2025-02-18, лекция 20: [https://us06web.zoom.us/j/82685613040?pwd=bqJoXGItwNOOWddXj1flfmPmDn6fMQ.1 онлайн, 18:10]: разбор задач про сигма-алгебры для подготовки к контрольной. Условное математическое ожидание относительно сигма-алгебры: интуиция и формальное определение. Пример подсчёта в дискретном случае.

2025-02-24, лекция 21: Условное ожидание и дисперсия относительно сигма-алгебры со свойствами. Условная вероятность.

2025-03-03, лекция 22: Определение фильтрации. Определение момента остановки. Сигма-алгебра на момент остановки. Определение мартингала.
Формулировка теоремы [https://en.wikipedia.org/wiki/Optional_stopping_theorem Дуба об остановке мартингала]. Задача о макаке, печатающей слово "абракадабра".

2025-03-10, лекция 23: Два контр-примера к теореме дуба. Доказали теоремы Дуба для случая ограниченного момента времени. Тождество Вальда: формулировка и доказательство. Определение броуновского движения с явным упоминанием фильтрации и без. Ковариационная функция Cov(Ws, Wt).

2025-03-17, лекция 24: Преобразования винеровского процесса. Модель Блэка Шоулса (как предел дискретной?)

2025-03-24, лекция 25:

=== Семинары ===

==== 473 = 235 + 238 ====

2024-09-02, 06, семинар 1: задачи 1.1, 1.6, 3.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-09, 13, семинар 2: задачи 2.1, 2.3, 12.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-16, 20, семинар 3: задачи 7.12 и 7.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-23, 27, семинар 4: как извлечь P(X=3), E(X), E(X^2Y) из функции, производящей список исходов, 28.16 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-30, -10-04, семинар 5: 9.3в, 9.4, 9.7(абвд, кроме дисперсии, аргументы масштабирования и центра масс помимо интегралов), 9.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-10-07, 11, семинар 6: вычисление Cov, Var, Corr по табличке и из функции плотности, нахождение дисперсии для отрицательного биномиального распределения по свойствам.

2024-10-14, 18, семинар 7: вычисление энтропии геометрического распределения. Изменение энтропии при линейном преобразовании для дискретной величины и величины с функцией плотности.
Кросс-энтропия из экспоненциального в равномерное. Условная энтропия для дискретной таблички. Связь энтропии величины с функцией плотности и энтропия дискретной версии этой случайной величины после "огрубления" с малым шагом 1/k.

2024-10-21, -11-01, семинар 8: 16.18, 16.23 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], свёртка двух экспоненциальных величин

2024-11-11, 15, семинар 9: задачи на пуассоновский поток из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-11-18, 22, семинар 10: задачи на бета и гамма-распределение

2024-11-25, 29, семинар 11: задачи на нормальное распределение, 18.1, 18.2, 18.3, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-02, 06, семинар 12: задачи на многомерное нормальное: 24.16аб, 24.17аб, 24.18, 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-09, 13, семинар 13: ЦПТ и нормальное распределение: 20.2, 20.4, 18.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-19, семинар 14: разбор демо

2025-01-13, семинар 15: сходимость по вероятности: 20.1, 20.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-20, 24, семинар 16: связь между сходимостями, 20.11, 20.13 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-27, 31, семинар 17: 28.17, 28.18, 28.21 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-03, 07, семинар 18: 28.20аб, 28.22 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-10, 14, семинар 19: 6.2, 6.3, 6.11, измеримость произведения из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-18?, 21, семинар 20:

2025-02-24, 28, семинар 21: Условное математическое ожидание и условная дисперсия относительно сигма-алгебры в дискретном случае.
[https://github.com/bdemeshev/stochastic_pro/raw/main/stochastic_pro.pdf StoPro]: 8.22-8.25

2025-03-03, 10, семинар 22: доказали, что сигма алгебра, порождённая моментом остановки, лежит внутри сигма-алгебры событий на момент остановки.
Вероятность достижения границы -а раньше границы +b и среднее время достижения одной из этих границ для классического случайного блуждания.
Преобразование несимметричного случайного блуждание St в мартингал с помощью exp(alpha St).
[https://github.com/bdemeshev/stochastic_pro/raw/main/stochastic_pro.pdf StoPro]: 9.1, 9.3

2025-03-10, 14, семинар 23: решение двух классических задач с помощью мартингалов: [https://en.m.wikipedia.org/wiki/Bertrand%27s_ballot_theorem задача о голосовании], [https://math.dartmouth.edu/~pw/papers/gpdp.ps "следующая карта — красная"].

==== 236 ====

2024-09-06, семинар 1: в начале семинара рассмотрели основные понятия и определения для решения задач. Решили задачи 1.1, 1.6, 3.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-13, семинар 2: нашли ожидание случайной величины с геом. распределением. Решили задачи 2.1, 12.6, 12.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-09-20, семинар 3: решили задачи 7.12, 7.4(а), 7.7, 7.13(а) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-09-27, семинар 4: разобрали 7.13, почти разобрали 28.3 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Также рассмотрели один контрпример на независимость(тетраэдр Бернштейна).

2024-10-04, семинар 5: разобрались с определениями, решили 9.3(абв), 9.7(аб) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Решили задачку про три точки на отрезке и найти вероятность получить треугольник. Также вывели формулу для мат. ожидания неотрицательной величины через функцию распределения.

2024-10-14, семинар 6: обсудили дисперсию, ковариацию, коэффициент корреляции и их геометрический смысл. Решили задачу на оценку дисперсии ограниченной величины. посчитали дисперсию геометрического, биномиального. Посчитали дисперсию в задаче о письмах и конвертах.

???, семинар 7: определили энтропию, посчитали примеры для дискретных величин, для линейных преобразований. Доказали, что задача максимизации энтропии с фиксированной дисперсией достигается на нормальном распределении.

???, семинар 8: свертка двух экспоненциальных, 16.18 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

???, семинар 9: задачи на пуассоновский процесс из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

???, семинар 10: разбор кр.

???, семинар 11: разобрали задачи на нормальное распределение 18.1, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Также считали распределение суммы двух независимых нормальных.

==== 237 ====

2024-09-09, семинар 1: задачи 1.1, 2.2 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], вероятность что n ладей не бьют друг друга при случайной расстановке на шахматной доске n на n, матожидание числа треугольников в случайном графе на n вершинах через сумму индикаторов

2024-09-13, семинар 2: задачи 2.1, 2.6, 12.3, 12.6, 12.7 (без дисперсий) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-23, семинар 3: задачи 7.2, 7.13, 7.7, 7.8, плюс начали 7.15b (получили неверный ответ) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-27, семинар 4: дорешали 7.15b с небольшой демонстрацией на питоне, разобрали 28.2 для нечестной монетки плюс посчитали матожидание [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-10-04, семинар 5: задачи 9.1, 9.3абв, 9.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], философия про то почему бОльшая плотность не всегда означает бОльшую вероятность оказаться в окрестности данной точки (плотность может занимать слишком маленький объем)

2024-10-11, семинар 6: вспомнили определения Cov/Var/Corr, посчитали у пары дискретных величин по табличке вероятностей, посчитали дисперсию у биномиального, геометрического, непрерывного равномерного на отрезке.

2024-10-18, семинар 7: вычисление энтропии геометрического распределения; ограниченность энтропии снизу и сверху в дискретном случае; изменение энтропии при линейном преобразовании для дискретной величины и величины с функцией плотности; условная энтропия, KL дивергенция и кросс-энтропия, неотрицательность KL, интерпретация на пальцах с точки зрения теории информации.

2024-11-01, семинар 8: 16.18, 16.23 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], свёртка двух экспоненциальных величин

2024-11-08, семинар 9: решали пробный вариант КР

2024-11-15, семинар 10: 13.1, 13.2, 13.5, 13.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-11-22, семинар 11: разбор КР

2024-11-29, семинар 12: нормальное распределение, 18.1, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-06, семинар 13: многомерное нормальное распределение, изменение среднего и матрицы ковариаций при линейном преобразовании, 24.4а, 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-13, семинар 14: 24.4в из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], сходимости случайных величин, ЗБЧ и ЦПТ, 20.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-21, семинар 15: наследование сходимости, 20.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], плюс доказали предельную теорему Пуассона

2025-01-28, семинар 16: связь между сходимостями, 20.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], лемма Слуцкого, подмена дисперсии на выборочную дисперсию в ЦПТ

2025-02-04, семинар 17: базовые свойства хар функций, хар функция суммы независимых величин, 28.17, 28.20 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-18, семинар 18: вероятностное пространство в общем случае, сигма-алгебры, борелевская сигма-алгебра, сигма-алгебра порожденная случайной величиной, измеримость случайной величины относительно сигма-алгебры, 6.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], задачи на сигма алгебры из пробника КР

2025-02-25, семинар 19: условное матожидание относительно сигма алгебры, условное матожидание и дисперсия относительно случайной величины, закон полного матожидания и закон полной дисперсии, 22.1, 22.3, 22.5абв из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-03-04, семинар 20: показали, что условное матожидание минимизирует среднеквадратичный риск; нашли условное матожидание и условную дисперсию в 22.6 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], нашли E[X | X^2] для симметричного равномерного распределения, нашли E[X_1 | X_1 + ... + X_n] для набора i.i.d. величин, нашли E[Y] и Var(Y) для Y|X имеющего экспоненциальное распределение с параметром X

==== 239 ====

2024-09-03, семинар 1: задачи 1.1, 1.4, пытались 1.8 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Ещё успели посчитать вероятность N=k бросков монеты до выпадения первого орла, матожидание N. И ещё сделали то же для количества бросков до выпадения 3 орлов (не в серии).

2024-09-10, семинар 2: доказали формулу включения-исключения, решили несложную задачу, порешали 2.7 задачи типа 12.*

2024-09-17, семинар 3: Решили две прямых задачи на формулу Байеса и формулу полной вероятности (без большого количества вычислений). Решили задачу поиска вероятности неисправного кофе-автомата из 3 при условии, что бросили деньги в 1 и 2 и их зажевало. Ещё нашли вероятность, что мяч будет у игрока 3 после шага 10 (все садятся в круг и на каждом шаге бросают мяч соседу с вероятностью 0.3 и оставляют у себя с вероятностью 0.4).

2024-09-24, семинар 4: Вспомнили про метод первого шага, используя формулу полной вероятности и введя в некотором виде формулу полного матожидания, записали формулу для вероятностей нахождения в состоянии i через произведение переходной матрицы на вектор. Совсем немного начали производящие функции, но решили не считать 31ю производную многочлена.

2024-10-01, семинар 5: Исследуем дискретные случайные величины (Биномиальная, Геометрическая и разные похожие) с использованием техник вычислений моментов через производящую функцию. Задачи на распределения величин, посчитанных по набору величин. Первая большая задача про плотность.

2024-10-08, семинар 6: разминочная про плотность и функцию распределения. Считаем дисперсию, ковариацию и корреляцию по 2x2 таблице и в равномерном распределении на круге и квадрате [-1,1]х[-1,1].

2024-10-15, семинар 7: пара задач про экспоненциальное распределение, расчёты по теории информации(считаем всякое, чтобы привыкнуть).

2024-10-22, семинар 8: письменные источники не сохранились до наших дней. Согласно преданиям, оьсуждали двери и около контрольной. Говорят, ввели пуассоновский процесс.

2024-???, семинар 9: решаем задачи на пуассоновское в разных формах и обсуждаем омалые в порядковых статистиках.

2024-???, семинар 10: учимся интерпретироввть гауссовское, пользоваться таблицами для функции Лапласа, а также немного работать с многомерным гауссовским.

2024-3-12, семинар 11: Копаем во все стороны многомерное гауссовское: считаем вероятности для линейных комбинаций гауссовских, проверяем зависимость, вычисляем условные законы, матожидания и ковариационные матрицы, вспоминаем спектральное разложение и разложение Холецкого.

==== 2311 ====

2024-09-06, семинар 1: вероятностное пространство, вероятность на нем, вероятность события, случайная величина и ее распределение (индикатор события, сумма двух кубиков, число бросаний монетки до первого орла), матожидание случайной величины (индикатор, один кубик, два кубика), линейность матожидания. Задачи на линейность матожидания, в том числе ЕГЭшная задача про турнир, 1.5, 3.5 с допвопросом о матожидании числа совпадений. Разговор о получении события произвольной вероятности монеткой в контексте 1.8

2024-09-13, семинар 2: Повторили матожидание суммы на примере 12.3. Обсудили условную вероятность и формулу полной вероятности, условное матожидание, решили задачи на метод первого шага 2.1, 2.3, 2.7.

2024-09-20, семинар 3: Условная вероятность, формула полной вероятности, формула Байеса: 7.1, классическая задача про болезни и тесты, простейшие задачки на общее понимание, обсуждение двух подходов: вычисления условной вероятности по формуле и составления нового вероятностного пространства и подсчет вероятности в нем. Независимые события (события "пики" и "дама" в обычной колоде и колоде с джокерами), независимые в совокупности события, построили пример попарно независимых, но не независимых в совокупности. Обсудили биномиальное распределение. решили задачу: "в корабле к отсеков, чтобы корабль затонул, нужно поразить 2. Независимо выпускают n ракет, каждая из которых поражает случайный отсек с вероятностью p. Найти вероятность потопления корабля"

2024-09-20, семинар 4: Примеры одинаково распределенных зависимых СВ, независимые СВ. Производящая функция и ее свойства. Посчитали для биномиального производящую функцию и второй момент. Обсудили, что будет меняться в случае функции, производящей моменты. Обсудили функцию, производящую множество исходов, как из нее доставать уже известные функции, как ее искать на примере бросания монетки до выпадания HT

2024-10-11, семинар 5: Составили табличку стандартных дискретных распределений, посчитали матожидание геометрического, обсудили дисперсию и ковариацию и их свойства (в дискретном случае), досчитали дисперсии основных распределений. Обсудили вероятностное пространство в общем случае, понятие СВ в общем случае. Дали определение ФР, посчитали ФР для явно заданной СВ. Дали определение плотности.

2024-10-12, семинар 6: Обсудили свойства ФР, как считать вероятность попадания в промежуток в терминах ФР. Выразили ФР 1/X, cos X. Обсудили как выражается веротяность попадания в множество через плотность. для 1/Х выразили плотность в случае абсолютной непрерывности Х. Обсудили формулу для МО в общем виде через интеграл Стильтьеса и как вычислять МО для функции, разлагающейся в сумму абсолютно нерпрерывной и функции скачков, посчитали МО для пары таких СВ

2024-10-18, семинар 7: Обсудили геометрию, заданную скалярным произведением EXY и cov(X,Y), поиск ортогонального элемента и проекции. Посчитали энтропию и кросс-энтропию в дискретном и непрерывном случаях, посчиали совместную и условную энтропию в дискретном случае (23.2, 23.4, 23.9)

2024-11-01, семинар 9: Совместная плотность и ф.р., подсчет вероятностей, маргинальные плотности, замена переменной через якобиан, свертка, матожидание

2024-11-09, семинар 10: Условная плотность, формула условной вероятности. Задача на восстановление маргинальной плотности по условной. Разбор задач из "Летучей мыши"

2024-11-19, семинар 11: Разбор контрольной работы

2024-11-22, семинар 12: Пуассоновский поток - решали задачки из задачника

2024-11-29, семинар 13: Нормальное распределение - задачи из PP, повторили функцию, порождающую моменты, обсудили ее свойства в абсолютно непрерывном случае

2024-12-06, семинар 14: Многомерное нормальное - обсудили два определения, связь между ними, независимость элементов нормального вектора при нулевой ковариации и почему это неверно для произвольных нормальных. порешали задачи 24.9а, 24.10, 24.17

2024-12-013, семинар 15: ЦПТ, решали задачи из задачника

2025-01-17, семинар 16: Сходимости почти наверное и по вероятности, связь со сходимостью по распределению. Посмотрели стандартные контрпримеры, показали, что если есть сходимость по распределению к константе, то есть и по вероятности. ЗБЧ Чебышева и Хинчина, УЗБЧ Колмогорова, обсудили 20.1 сколько успели.

2025-01-24, семинар 17: Сходимость в L_p, связи между сходимостями. Задача 20.11

2025-01-24, семинар 18: Характеристические функции и их свойства. Посчитали хар функции для равномерного, Бернулли, биномиального, Пуассона, экспоненциального. Показали, чо сумма нормальных нормальна. По функции пытались понять, может ли она быть характеристической и восстанавливали с.в.

==== 2310, 2312 ====

2024-09-06, семинар 1: задача 1.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Определили вероятностное пространство в виде тройки, множество исходов рассматривали конечное и счётное. Решили 3 счётные задачи на комбинаторику про колоды карт и счетные последовательности цифр. Привели геометрическое и аналитическое решения задачи про нахождение предела последовательности вероятностей. В конце нашли математическое ожидание геометрически распределённой случайной величины.

2024-09-13, семинар 2: задача 2.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Задача на упорядоченные и неупорядоченные наборы. Задача про классическое вероятностное пространство и про пространство с неравновероятными исходами. Разобрали парадокс Монти Холла. Ввели понятия условной вероятности и независимых случайных величин. Сформулировали и обсудили идеи доказательств трёх теорем: теорема умножения вероятностей, формула полной вероятности и формула Байеса.

2024-09-20, семинар 3: Решили задачу на определение условной вероятности. Обсудили парадокс теоремы Байеса на примере задачи про редкое заболевание, а также посмотрели простую программу на Python, которая считает вероятность в зависимости от количества проведенных тестов на заболевание. Обсудили условное математическое ожидание, некоторые его свойства и рассмотрели пример с подбрасыванием кубика. В конце решили задачу на парадокс дней рождений.

2024-09-27, семинар 4: Обсудили коллизии хеш-функций и связь с атакой "дней рождений". Определили независимость или зависимость случайных величин в четырёх разных вариантах. Обсудили, что неверно утверждать, что матожидание частного независимых случайных величин равно частному матожиданий, также привели пример использования подобного факта в некоторых статьях. В конце решили задачу на поиск функции производящей исходы, а также нашли E(X), E(Y^2), E(XY) с помощью найденной функции.

2024-10-04, семинар 5: Решили две простые задачи на условную вероятность и на теорему об умножении вероятностей. Обсудили связь дерева событий с условной вероятностью и теоремой об умножении вероятностей. Нашли производящую функцию моментов для геометрически распределенной случайной величины и с помощью нее нашли матожидание. Нашли производящую функцию моментов и матожидание суммы случайного количества н.о.р случайных величин.

2024-10-11, семинар 6: Привели аналогии между дискретными и непрерывными случайными величинами. Нарисовали графики функций от случайных величин. Вспомнили определение и свойства дисперсии. Решили простую задачу на подсчет дисперсии и нашли дисперсию геометрически распределенной случайной величины. Обсудили, когда может быть матожидание и дисперсия бесконечны. Далее вспомнили неравенства Маркова и Чебышева, вывели следствия и решили 3 задачи на применение этих неравенств. Обсудили, что неравенство Маркова может давать как точную оценку, так и очень слабую. Показали, что неотрицательность случайной величины в неравенстве Маркова является существенным условием.

2024-10-11, семинар 7: Повторили понятия энтропии в битах и натах, а также понятие дифференциальной энтропии. Нашли энтропию в схеме Бернулли и энтропии геометрического и экспоненциального распределений. Доказали простую оценку сверху для энтропии случайной величины, имеющей конечный носитель мощности n.

2024-11-1, семинар 8: Разобрали демо-вариант контрольной работы "Тыква".

2024-11-8, семинар 9: Разобрали демо-вариант контрольной работы "Летучая мышь".

2024-11-15, семинар 10: Понятие случайного процесса. Определение пуассоновского процесса, его свойства. Три простые задачи на пуассоновское распределение. Задачи 13.1 и 13.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-11-22, семинар 11: Определения Бета-функции и Гамма-функции. Бета и Гамма распределения, их функции плотности и графики. Нахождение моды случайных величин, имеющих Бета и Гамма распределения. Связь пуассоновского процесса с Гамма распределением. В конце нашли производящую функцию моментов Гамма распределения.

2024-11-29, семинар 12: Задачи 18.1, 18.2 и 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-12-06, семинар 13: Нашли многомерное нормальное распределение по виду функции плотности (константа на экспоненту с квадратичным показателем). С помощью формулы Иссерлиса нашли матожидания произведений различных или одинаковых случайных величин, имеющих многомерное нормальное распределение. Нашли условную вероятность многомерного распределения. Задача 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-12-13, семинар 14: Повторили определение сходимости по распределению и центральную предельную теорему. Решили задачи 20.2 и 20.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

== Источники ==

Источники мудрости, которые я постарался не замутить :)

[https://arxiv.org/pdf/1411.5279 WTSK]: Tim Hesterberg, What Teachers Should Know About the Bootstrap: вкусное и доступное изложение бутстрэпа и перестановочных тестов.

[https://projects.iq.harvard.edu/stat110/home BItP]: Blitzstein, Hwang, Introduction to Probability: учебник, записи лекций, гарвардский курс.

Теория вероятностей 2024/25 (основной поток)

2025-03-10T21:03:21Z

Bdemeshev:

= Преподаватели и учебные ассистенты =

{| class="wikitable" style="text-align:center"
|-
! Группа !! БПМИ235 !! БПМИ236 !! БПМИ237 !! БПМИ238 !! БПМИ239 !! БПМИ2310 !! БПМИ2311 !! БПМИ2312
|-
|| Лектор ||colspan="11"| [https://t.me/boris_demeshev Борис Демешев]
|-
|| Семинарист || [https://t.me/boris_demeshev Борис Демешев] || [https://t.me/levensons Илья Левин] || [https://t.me/madn_boi Никита Морозов] || [https://t.me/boris_demeshev Борис Демешев] || [https://t.me/XuMuK_MK Максим Каледин] || [https://t.me/goluba_yurieva Голуба Юрьева] || [https://t.me/Moskchan Вероника Владыкина] || [https://t.me/goluba_yurieva Голуба Юрьева]
|-
|| Ассистент || [https://t.me/nerhneiro Ира Скворцова] || [https://t.me/a_ameli_ig Амелия Алаева] || [https://t.me/htual Алина Бадахова] || [https://t.me/adelyagaraeva Аделя Гараева] || [https://t.me/mabrielka Мария Брель] || [https://t.me/zm_ann Анна Зыкова-Мызина] || [https://t.me/Yanlightv Яна Вежновец] || [https://t.me/nol_erk Кирилл Лавриненко]
|-
|| Ассистент курса ||colspan="11"| [https://t.me/Nick_Volya Никита Волянский]
|}

== Цели и задачи курса ==

侍には目標がなく道しかない [Samurai niwa mokuhyō ga naku michi shikanai]

У самурая нет цели и ничего кроме пути.

Вероятный план:
<div class="mw-collapsible mw-collapsed" style="width:1000px; overflow: hidden;">
1. Дискретное вероятностное пространство. Вероятность, математическое ожидание, теоретическая медиана.
Перестановочные тесты, p-значение для перестановочного теста.
Математическое ожидание = центр масс.

NB: здесь сходу рисуем дерево
NB: здесь нет задач на условную вероятность

!предупреждение об обозначениях случайных величин.
Российская традиция — греческие буквы, американская традиция — заглавные английские буквы.
Наш курс: любые буквы. Причина: теория вероятностей применяется в разных областях, где свои традиции.

NB: Способы вычисления вероятностей и ожиданий:
* полный перебор руками
* примерные вычисления руками
* полный перебор на компьютере
* симуляции на компьютере
* ...

2.
Методы решения задач:
* разложение величины в сумму
* метод первого шага
!идея: позиция в игре имеет цену
* just for fun: метод рычага в геометрии через ожидание
NB: рассказать здесь про комплексную случайную величину
NB: по сути здесь мы уже решаем задачи на марковские цепи не говоря страшных определений
LOTUS.

3. Условная вероятность и условное ожидание.
!идея: зануляем вероятности невозможных событий, а остальные — масштабируем.
формула полной вероятности
!идея: дерево "помнит" формулу полной вероятности
формула Байеса

Независимые события.
Независимые случайные величины.

4.
Методы решения задач:
* производящие функции многих переменных
функция как способ записать множество
HTT vs TTH
ABRACADABRA
!разложение по биномиальной формуле

?: можно здесь успеть функцию производящую моменты

5.
Биномиальное распределение.
Геометрическое и гипергеометрическое распределения.
Отрицательное биномиальное распределение.

6.
Равномерное распределение на множестве в R^n
Функция распределения.
Функция плотности и вероятностная дифференциальная форма.
!пояснение про неудачную традиционную терминологию "непрерывная случайная величина"
величина с функцией плотности, величина с непрерывной функцией распределения.

Квантили, квантильная функция.

7. Характеристики случайных величин и неравенства.
Дисперсия.
Энтропия.
Неравенство Маркова.
Неравенство Чебышёва.
Неравенство Йенсена.

Здесь конец модуля 1 и КР-1!

8. Пуассоновский поток.
Аксиомы пуассоновского потока.
Вывод экспоненциального распределения и пуассоновского распределения из аксиом.
Вывод экспоненциального распределения из предпосылки об отсутсвии памяти.

9. Нормальное распределение.
Нормальное распределение: предпосылки Хершела-Максвелла.
Нормальное распределение: аргументация Гаусса за среднее арифметическое.
Нормальное распределение: предпосылки Лэндона (до уравнения в частных производных).

10. Классические непрерывные распределения.

Гамма-распределение, бета-распределение.
Вывод нормального и экспоненциального распредений как минимизации энтропии.

11. Парные характеристики случайных величин.
Наилучшая линейная аппроксимация.
Ковариация.
Корреляция.
Кросс-энтропия.

Доказательство E(XY) = E(X) E(Y) для дискретных.
Ковариационная матрица и ожидание для случайных векторов.

12. Совместная и условная функция плостности.
Преобразования случайных величин.

13. Функция производящая моменты и характеристическая функция.
Распределение суммы случайного количества случайных величин.
Случайный выбор слагаемых.

14. Финансовые приложения

Оценивание опционов на биномиальном дереве.
Максимизация долгосрочной прибыли, связь с энтропией.
Возможно, индексы Гиттинса.

Здесь конец модуля 2 и КР-2

15. Сигма-алгебры.

Список известных величин как способ описания информации.
Идея условного ожидания как оптимального прогноза.
Сигма-алгебра как способ описания информации.
Измеримость случайной величины относительно сигма-алгебры.
Сигма-алгебра как ОДЗ для вероятности.
Борелевская сигма-алгебра.
Независимые случайные величины второе определение.

16. Условное математическое ожидание.
Условная дисперсия.
Сумма случайного количества случайных величин.

17. Сходимости случайных величин.

Сходимость по вероятности.
Закон больших чисел.
Сходимость почти наверное.
Усилинный закон больших чисел.
Сходимость по распределению.

18. Связь сходимостей.
Лемма Слуцкого.

19. Центральная предельная теорема.
Доказательство через подмену слагаемых.
Доказательство через характеристические функции.

Здесь контрольная.

20. Винеровский процесс
Условные ожидания, инверсия.

21. Байесовский подход к оцениванию параметров

Балансовое уравнение. Идея MCMC.

22. Доказательства свойств меры

23. Алгоритм построения математического ожидания в общем случае.
Лемма Фату.
Теорема о мажорируемой сходимости.
Теорема о монотонной сходимости.

24. Резерв.

Жемчужинки, которые, вероятно, не успеем:

А. Методы решения задач:
подсчёт случаев с помощью леммы Бернсайда и теоремы Пойа о перечислении
(Burnside lemma, PET = Polya Enumeration Theorem)

B. вероятностные доказательства детерминистических теорем

</div>

== Оценивание ==

Оценка за семестр-1 = 0.2 Домашние задания семестра-1 + 0.4 Контрольная-Альфа + 0.4 Экзамен-Бета.

Финальная оценка за курс = 0.5 Оценка за семестр-1 + 0.1 Домашние задания семестра-2 + 0.2 Контрольная-Гамма + 0.2 Экзамен-Дельта.

Каждая оценка (суммарные итоги за домашние задания, контрольные, экзамены) — целое число от 0 до 100.
Для перевода в 10-балльную шкалу промежуточной оценки за семестр-1 и финальной оценки используется деление на 10
с арифметическим округлением. Например, если Максим получил "оценку за семестр-1" 65 баллов, то в ведомость за первый семестр идёт 7, а далее в формуле финальной оценки за курс используется 65.

=== Домашние задания для самураев ===

Домашние задания [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/home_assignments/home_assignments.pdf одним файлом] и [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/blob/main/home_assignments/ отдельными файлами].
Домашние задания имеют равный вес.
В конце каждой лекции (за исключением ближайших к экзамену лекций)
выдается домашнее задание сроком на две недели.
Дедлайн жёсткий, однако студент имеет право просрочить три домашних задания на неделю каждое без штрафа.

Формат сдачи ДЗ: один pdf-файл (решение текстовых задач) и один ipynb-файл (решение компьютерных задач).
В pdf-файл можно поместить аккуратно написанное отсканированное решение, а можно скомпилировать pdf из теха или маркдауна.
Ещё можно вместо pdf-файла написать всё в ipynb.
Бонусов за сдачу домашки в техе нет. Пример [https://www.overleaf.com/read/qmrkwpzvmqbk шаблона].

Обратите внимание: '''время каждого дедлайна — 23:59'''.

=== Ведомость с оценками за ДЗ ===

{| class="wikitable" style="text-align:center"
|-
! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1872081500#gid=1872081500 235] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1374497930#gid=1374497930 236] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1183164252#gid=1183164252 237] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=408179311#gid=408179311 238] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1032422408#gid=1032422408 239] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1603236891#gid=1603236891 2310] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=791330236#gid=791330236 2311] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=23847300#gid=23847300 2312]
|}

[https://docs.google.com/spreadsheets/d/14hD7-SLmAA1omdkhPlt3blRHDHVGTDS8ZgvLWscvMz8/edit?usp=sharing Сводная ведомость всех оценок]

=== Контрольные работы и экзамен ===

Вес каждой задачи будет написан в тексте работы.
Задачи с ненаписанным по случайности весом имеют равный вес.
Для пропущенных по уважительной причине контрольных будет выделен один день для переписывания.
При пропуске дня переписывания, в том числе по уважительным причинам, ещё одного шанса не предоставляется.

<div class="mw-collapsible mw-collapsed" style="width:1000px; overflow: hidden;">

'''Контрольная работа 1''' состоится 2024-11-11 в 16:20, аудитории: R401, R305, R206, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_halloween_demo/exam_halloween_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/midterm/midterm-alpha.pdf условие с критериями и решениями].

'''Резервный день 1''' для пропустивших по уважительной причине состоится 2024-12-02 в 19:40, R405

'''Показ контрольной 1''':

* задачи 1, 2: заочно до 2024-12-08, [https://t.me/Moskchan Вероника]
* задачи 3, 4 [https://t.me/boris_demeshev Борис], очно, четверг, 2024-12-05, 18:10-21:00, G408
* задачи 5, 6 [https://t.me/XuMuK_MK Максим]: очно, четверг, 2024-12-05, 18:10-21:00, G408

'''Экзамен, модуль 2''' состоится '''''2024-12-24 в 10:00''''', аудитории R301, R304, R401, R404, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_winter_demo/exam_winter_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/december/pmi_probab_2024_december.pdf условие].

Если вы не хотите идти на экзамен, то заполните [https://forms.gle/UQzW77RrPvcdahG47 эту форму], чтобы получить ноль при неявке

'''Апелляция экзамена''':

* задачи 1, 2: заочно [https://t.me/goluba_yurieva Голуба], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/december/exam_problem_1-2.pdf решения и критерии 1, 2];
* задачи 3, 4: очно 2025-01-11, аудитория R408, 14:40-17:40 [https://t.me/madn_boi Никита], [https://www.overleaf.com/read/dnhjcdrndqps#42f1ab решения и критерии 3, 4];
* задачи 5, 6: заочно [https://t.me/levensons Илья]

* дедлайн по заочным апелляциям: суббота 23:59

[https://docs.google.com/spreadsheets/d/1mxMCr3IEDy8EPFWGkn3_dsghhPNcZICEw9C9o5ZoZvA/edit?usp=sharing Распределение по аудиториям]

</div>

Даты пересдач: 2025-01-28 в 18:10, 2025-02-03 в 18:10 и комиссия 2025-02-11 в 18:10.

* задачи 1, 2: [https://t.me/goluba_yurieva Голуба], задачи 3, 4: [https://t.me/madn_boi Никита], задачи 5, 6: [https://t.me/levensons Илья], апелляция пересдачи 2 до 21:00 2025-02-10.

'''Контрольная, модуль 3''' состоится 2025-02-22 в 16:20, аудитории R201, R204, R404, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_galileo_demo/exam_galileo_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_galileo/pmi_probab_galileo_exam_2024-2025.pdf условие].

[https://docs.google.com/spreadsheets/d/1LZA-7TDz_yYeVPRx4BpBWJnQKZ7wqPgHDrN-Z0SM68M/edit?usp=sharing Распределение по аудиториям]

'''Контрольная, модуль 3, резервный день''': 2025-03-07, пятница, 18:10, R204

'''Экзамен, модуль 3''' состоится '''2025-03-28''' в 14:40, аудитории R201, R301, R404, R405, демо, условие.

== Учебные материалы ==

[https://github.com/bdemeshev/probability_pro/raw/master/probability_pro.pdf PP]: Листки с задачами к курсу.

[https://github.com/bdemeshev/stochastic_pro/raw/main/stochastic_pro.pdf StoPro]: Stochastic process problems.

[https://github.com/bdemeshev/probability_dna/raw/master/probability_dna.pdf PDNA]: Вероятностная ДНК = вкусные задачи по теории вероятностей.

[https://disk.yandex.ru/d/LZ6d2VZVqYvbDQ Видео-летопись семинаров и лекций] и [https://hse.liferooter.dev/ конспект] от тайного благожелателя (updated 2024-10-23]

[https://disk.yandex.ru/d/IoakBXz_6yygPw Официальные видео]

[https://www.cambridgeinternational.org/Images/344616-list-of-formulae-and-statistical-tables.pdf Cambridge statistical tables]

== Дневник самурая ==

2024-09-02, лекция 1: Определение события. Определение случайной величины. Аксиомы вероятности. Определение математического ожидания для дискретного случая.
Линейность математического ожидания. Математическое ожидание как центр масс. Первое знакомоство с перестановочным тестом и p-значением.

Можно глянуть: главы 2.1 и 7 из [https://arxiv.org/pdf/1411.5279 WTSK], метод рычага [https://mathcircle.berkeley.edu/sites/default/files/archivedocs/2007_2008/lectures/0708lecturespdf/MassPointsBMC07.pdf в геометрии].

2024-09-09, лекция 2: Метод первого шага (вероятность выпадения HTH ранее HHT, ожидаемое количество шагов). Метод разложения случайной величины в сумму. Определение случайного вектора. Использование интерпретации ожидания как центра масс в геометрии. Определение теоретической медианы.

Можно глянуть: глава 2.7.2 из [https://projects.iq.harvard.edu/stat110/home BItP], три стратегии решения задачи за 10 минут [https://www.youtube.com/watch?v=xH89DaEI35w Visually Explained]

2024-09-16, лекция 3: Получение новой информации приводит к пересчёту вероятностей. Определение условной вероятности. Формула полной вероятности. Формула Байеса.
Условное математическое ожидание. Формула полного математического ожидания. Независимость пары событий. Независимость набора событий в совокупности.
Независимость величин: неформальное определение. Критерий независимости произвольных величин. Критерий независимости дискретных величин.

2024-09-23, лекция 4: Доказательство критерия независимости для дискретных случайных величин: из независимости {X=x} и {Y=y} следует независимость {X in A} и {Y in B}. Независимость величин равносильна E(f(X))E(g(Y))=E(f(X)g(Y)) для произвольных f, g. Определение биномиальной, геометрической (как числа неудач до 1го успеха) и отрицательной биномиальной случайной величины. Общая идея за производящими функциями: как из функции, производящей исходы эксперимента, с помощью производных и подстановок выудить индивидуальные вероятности, совместные вероятности, ожидания любой степени E(X^a), E(X^a Y^b). Формальное определение функции, производящей вероятности, и функцию, производящей моменты, для одной случайной величины и пары случайных величин. Метатеорема: все теоремы о дискретных величинах доказываются перестановкой слагаемых. Основные дискретные распределения: биномиальное, геометрическое, отрицательное биномиальное.

2024-09-30, лекция 5: Ещё дискретные законы распределения: гипергеометрическое. Описание закона распределения через равномерное распределение на подмножестве R^n.
Функция плотности как линейная часть вероятности попадания в отрезок. Равномерное распределение на отрезке. Смешанные случайные величины. LOTUS: нахождение ожидания любой функции от случайной величины для величин с функцией плотности и смешанных величин. Функция распределения. Квантильная функция.

2024-10-07, лекция 6: Две геометрии случайных величин и событий: E(XY) как скалярное произведение, Cov(X, Y) как скалярное произведение. Математическое ожидание — проекция в рамках геометрии, задаваемой E(XY). Определение и геометрический смысл дисперсии, стандартного отклонения, ковариации и корреляции. Неравенство Маркова. Неравенство Чебышёва. Неравенство Йенсена: интуитивный смысл.

2024-10-14, лекция 7: Доказательство неравенства Йенсена. Энтропия как минимальное ожидаемое число вопросов для отгадывания и формальное определение. Кросс-энтропия.
Доказательство того, что кросс-энтропия больше либо равна энтропии. Совместная энтропия. Условная энтропия. Формула H(X) + H(Y|X) = H(X, Y) без доказательства.
Вывод плотности экспоненциального распределения из предпосылки отсутствия памяти. Экспоненциальное распределение максимизирует энтропию при заданном ожидании и неотрицательности.

* Cristopher Olah, Visual Information Theory, https://colah.github.io/posts/2015-09-Visual-Information/

* Grand Sanderson, Solving Wordle using information theory, [https://www.youtube.com/watch?v=v68zYyaEmEA youtube].

* Artem Kirsanov, Key equation behind probability, [https://www.youtube.com/watch?v=KHVR587oW8I youtube]. У Артёма кросс-энтропия обозначена H(P, Q), а не CE(P||Q)).

* [https://exuberant-arthropod-be8.notion.site/1-02-09-5e107ea1c4054594b8f37d955db8a2b0 Конспект] аналогичной старой лекции псмо на русском.

* Keith Conrad, [https://kconrad.math.uconn.edu/blurbs/analysis/entropypost.pdf Maximal entropy] distributions.

2024-10-21, лекция 8: Ковариационная матрица и её свойства. Совместная функция плотности. Условная функция плотности. Критерий независимости в терминах функций плотности и распределения.
Связь индивидуальной и совместной функций плотности и функций распределения. Смена плотности при замене переменных: домножение на якобиан и неформально про дифференциальные формы. Формула свёртки.
Разложение совместной плотности для графической модели. Представление произвольной совместной функции распределения с помощью копулы.

* Про дифференциальные формы: [https://www.youtube.com/watch?v=PaWj0WxUxGg&list=PL22w63XsKjqzQZtDZO_9s2HEMRJnaOTX7 videos] by Michael Penn, [https://www.math.purdue.edu/~arapura/preprints/diffforms.pdf short intro] by Dony Arapura

* What is a convolution от [https://www.youtube.com/watch?v=KuXjwB4LzSA 3b1b]

* From graphical models to [https://www.youtube.com/watch?v=yBc01ZeaFxw&list=PLISXH-iEM4JlFsAp7trKCWyxeO3M70QyJ Probabilistic ML]

2024-11-11, лекция 9: Пуассоновский поток: аксиомы. Вывод пуассоновского распределения количества событий и экспоненциального времени между событиями из аксиом.
Сумма независимых пуассоновских потоков — это пуассоновский поток (половина доказательства). Вероятность того, что одна экспоненциальная величина будет меньше другой, независимой.

2024-11-18, лекция 10: Гамма-распределение как сумма нескольких экспоненциальных: вывод плотности через вероятность попадания в малый отрезок.
Обобщение плотности на случай положительного параметра $a$. Гамма-функция. Бета-распределение как отношение гамма-распределений. Бета-функция.

2024-11-25, лекция 11: Вывод нормального распределения из предпосылок Гаусса. Вывод нормального распределения из предпосылок Гершеля — Максвелла.

* Saul Stahl, The [https://www.researchgate.net/publication/255668423_The_Evolution_of_the_Normal_Distribution Evolution] of the Normal Distribution: вывод Гаусса с историей.

* Grand Sanderson, [https://www.youtube.com/watch?v=cy8r7WSuT1I Why pi] is in the normal? вывод Гершеля—Максвелла

* James Stein, [http://www-biba.inrialpes.fr/Jaynes/cc07s.pdf Normal Distribution]: глава про нормальное распределение (Гаусс, Гершель—Максвелл, Лэндон etc)

* William Herschel, [https://music.yandex.com/album/209394/track/2121214 концерт для габоя]

* William Herschel, [https://www.informationphilosopher.com/solutions/scientists/quetelet/Herschel_Quetelet_Probabilities.pdf On the theory of Probabilities]: вывод нормального распределения словами на стр. 189-191

2024-12-02, лекция 12: многомерное нормальное распределение. Функция плотности невырожденного многомерного нормального. Функция производящая моменты для многомерного нормального. Формула Иссерлиса с ненулевыми ожиданиями и доказательством. Условное распределение: вывод условного ожидания и условной дисперсии через разложение величины в сумму независимых.

* [https://stats.stackexchange.com/questions/30588/ альтернативный вывод] условного многомерного нормального распределения
* Хитрый [https://github.com/bdemeshev/lis-isserlis/raw/main/lis-isserlis.pdf лис Иссерлис]

2024-12-09, лекция 13: сходимость по распределению, центральная предельная теорема с доказательством подменой слагаемых.

* Calvin Chin [https://arxiv.org/pdf/2106.00871 CLT proof] by swapping
* [https://bdemeshev.github.io/teaching_notes/clt_by_swapping Пересказ доказательства]

2024-12-16, лекция 14: использование бесконечно малых при нахождении ожиданий, трюк с добавление параметра, трюк с закольцовыванием отрезка при равномерном распределении.

2025-01-13, лекция 15: Неединственность предела по распределению. Неаддитивность предела по распределению. Предел по вероятности. Закон больших чисел в слабой форме (с доказательством при дополнительной предпосылке о конечности дисперсии). Теорема о непрерывном отображении.

2025-01-20, лекция 16: два определение сходимости почти наверное с доказательством эквивалентности. Сходимость в Lp. Из сходимости в Lp при p>=1 следует сходимость по вероятности. Из сходимости почти наверное следует сходимость по вероятностям. Контр-пример к разнице сходимостей почти наверное и по вероятности. Контр-пример к разнице сходимостей в Lp и по вероятности. Усиленный закон больших чисел (без доказательства). Леммы Слуцкого (без доказательства).

2025-01-27, лекция 17: характеристические функции и их свойства. Вывод характеристической функции нормального стандартного распределения через дифференциальное уравнение. Характеристическая функция биномиального распредеделения. Второе доказательство ЦПТ (через характеристические функции).

* [https://web.ma.utexas.edu/users/gordanz/notes/characteristic.pdf Gordan Zitkovic]: characteristic functions
* [https://sas.uwaterloo.ca/~dlmcleis/s901/chapt6.pdf McLeish]: clt proof

2025-02-03, лекция 18: пример последовательности сходящийся по вероятности с ожиданием стремящимся к бесконечности. Критерий Кэлли. Критерий оптимальной остановки Брасса.

* [https://en.wikipedia.org/wiki/Kelly_criterion wikipedia]: Kelly criterion
* [https://projecteuclid.org/journalArticle/Download?urlId=10.1214%2Faop%2F1019160340 Bruss]: sum the odds to one and stop

2025-02-10 лекция 19: Сигма-алгебра порождённая случайной величиной или набором из нескольких случайных величин. Замкнутость относительно счётного количества операций с множествами. Сигма-алгебра. Объединение сигма-алгебр не всегда сигма-алгебра. Пересечение сигма-алгебр всегда сигма-алгебра. Измеримость суммы. Борелевская сигма-алгебра.

2025-02-18, лекция 20: [https://us06web.zoom.us/j/82685613040?pwd=bqJoXGItwNOOWddXj1flfmPmDn6fMQ.1 онлайн, 18:10]: разбор задач про сигма-алгебры для подготовки к контрольной. Условное математическое ожидание относительно сигма-алгебры: интуиция и формальное определение. Пример подсчёта в дискретном случае.

2025-02-24, лекция 21: Условное ожидание и дисперсия относительно сигма-алгебры со свойствами. Условная вероятность.

2025-03-03, лекция 22: Определение фильтрации. Определение момента остановки. Сигма-алгебра на момент остановки. Определение мартингала.
Формулировка теоремы [https://en.wikipedia.org/wiki/Optional_stopping_theorem Дуба об остановке мартингала]. Задача о макаке, печатающей слово "абракадабра".

2025-03-10, лекция 23: Два контр-примера к теореме дуба. Доказали теоремы Дуба для случая ограниченного момента времени. Тождество Вальда: формулировка и доказательство. Определение броуновского движения с явным упоминанием фильтрации и без. Ковариационная функция Cov(Ws, Wt).

2025-03-17, лекция 24: Преобразования винеровского процесса. Модель Блэка Шоулса (как предел дискретной?)

2025-03-24, лекция 25:

=== Семинары ===

==== 473 = 235 + 238 ====

2024-09-02, 06, семинар 1: задачи 1.1, 1.6, 3.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-09, 13, семинар 2: задачи 2.1, 2.3, 12.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-16, 20, семинар 3: задачи 7.12 и 7.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-23, 27, семинар 4: как извлечь P(X=3), E(X), E(X^2Y) из функции, производящей список исходов, 28.16 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-30, -10-04, семинар 5: 9.3в, 9.4, 9.7(абвд, кроме дисперсии, аргументы масштабирования и центра масс помимо интегралов), 9.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-10-07, 11, семинар 6: вычисление Cov, Var, Corr по табличке и из функции плотности, нахождение дисперсии для отрицательного биномиального распределения по свойствам.

2024-10-14, 18, семинар 7: вычисление энтропии геометрического распределения. Изменение энтропии при линейном преобразовании для дискретной величины и величины с функцией плотности.
Кросс-энтропия из экспоненциального в равномерное. Условная энтропия для дискретной таблички. Связь энтропии величины с функцией плотности и энтропия дискретной версии этой случайной величины после "огрубления" с малым шагом 1/k.

2024-10-21, -11-01, семинар 8: 16.18, 16.23 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], свёртка двух экспоненциальных величин

2024-11-11, 15, семинар 9: задачи на пуассоновский поток из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-11-18, 22, семинар 10: задачи на бета и гамма-распределение

2024-11-25, 29, семинар 11: задачи на нормальное распределение, 18.1, 18.2, 18.3, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-02, 06, семинар 12: задачи на многомерное нормальное: 24.16аб, 24.17аб, 24.18, 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-09, 13, семинар 13: ЦПТ и нормальное распределение: 20.2, 20.4, 18.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-19, семинар 14: разбор демо

2025-01-13, семинар 15: сходимость по вероятности: 20.1, 20.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-20, 24, семинар 16: связь между сходимостями, 20.11, 20.13 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-27, 31, семинар 17: 28.17, 28.18, 28.21 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-03, 07, семинар 18: 28.20аб, 28.22 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-10, 14, семинар 19: 6.2, 6.3, 6.11, измеримость произведения из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-18?, 21, семинар 20:

2025-02-24, 28, семинар 21: Условное математическое ожидание и условная дисперсия относительно сигма-алгебры в дискретном случае.

2025-03-03, 10, семинар 22: доказали, что сигма алгебра, порождённая моментом остановки, лежит внутри сигма-алгебры событий на момент остановки.
Вероятность достижения границы -а раньше границы +b и среднее время достижения одной из этих границ для классического случайного блуждания.
Преобразование несимметричного случайного блуждание St в мартингал с помощью exp(alpha St).

2025-03-10, 14, семинар 23: решение двух классических задач с помощью мартингалов: [https://en.m.wikipedia.org/wiki/Bertrand%27s_ballot_theorem задача о голосовании], [https://math.dartmouth.edu/~pw/papers/gpdp.ps "следующая карта — красная"].

==== 236 ====

2024-09-06, семинар 1: в начале семинара рассмотрели основные понятия и определения для решения задач. Решили задачи 1.1, 1.6, 3.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-13, семинар 2: нашли ожидание случайной величины с геом. распределением. Решили задачи 2.1, 12.6, 12.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-09-20, семинар 3: решили задачи 7.12, 7.4(а), 7.7, 7.13(а) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-09-27, семинар 4: разобрали 7.13, почти разобрали 28.3 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Также рассмотрели один контрпример на независимость(тетраэдр Бернштейна).

2024-10-04, семинар 5: разобрались с определениями, решили 9.3(абв), 9.7(аб) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Решили задачку про три точки на отрезке и найти вероятность получить треугольник. Также вывели формулу для мат. ожидания неотрицательной величины через функцию распределения.

2024-10-14, семинар 6: обсудили дисперсию, ковариацию, коэффициент корреляции и их геометрический смысл. Решили задачу на оценку дисперсии ограниченной величины. посчитали дисперсию геометрического, биномиального. Посчитали дисперсию в задаче о письмах и конвертах.

???, семинар 7: определили энтропию, посчитали примеры для дискретных величин, для линейных преобразований. Доказали, что задача максимизации энтропии с фиксированной дисперсией достигается на нормальном распределении.

???, семинар 8: свертка двух экспоненциальных, 16.18 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

???, семинар 9: задачи на пуассоновский процесс из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

???, семинар 10: разбор кр.

???, семинар 11: разобрали задачи на нормальное распределение 18.1, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Также считали распределение суммы двух независимых нормальных.

==== 237 ====

2024-09-09, семинар 1: задачи 1.1, 2.2 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], вероятность что n ладей не бьют друг друга при случайной расстановке на шахматной доске n на n, матожидание числа треугольников в случайном графе на n вершинах через сумму индикаторов

2024-09-13, семинар 2: задачи 2.1, 2.6, 12.3, 12.6, 12.7 (без дисперсий) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-23, семинар 3: задачи 7.2, 7.13, 7.7, 7.8, плюс начали 7.15b (получили неверный ответ) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-27, семинар 4: дорешали 7.15b с небольшой демонстрацией на питоне, разобрали 28.2 для нечестной монетки плюс посчитали матожидание [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-10-04, семинар 5: задачи 9.1, 9.3абв, 9.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], философия про то почему бОльшая плотность не всегда означает бОльшую вероятность оказаться в окрестности данной точки (плотность может занимать слишком маленький объем)

2024-10-11, семинар 6: вспомнили определения Cov/Var/Corr, посчитали у пары дискретных величин по табличке вероятностей, посчитали дисперсию у биномиального, геометрического, непрерывного равномерного на отрезке.

2024-10-18, семинар 7: вычисление энтропии геометрического распределения; ограниченность энтропии снизу и сверху в дискретном случае; изменение энтропии при линейном преобразовании для дискретной величины и величины с функцией плотности; условная энтропия, KL дивергенция и кросс-энтропия, неотрицательность KL, интерпретация на пальцах с точки зрения теории информации.

2024-11-01, семинар 8: 16.18, 16.23 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], свёртка двух экспоненциальных величин

2024-11-08, семинар 9: решали пробный вариант КР

2024-11-15, семинар 10: 13.1, 13.2, 13.5, 13.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-11-22, семинар 11: разбор КР

2024-11-29, семинар 12: нормальное распределение, 18.1, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-06, семинар 13: многомерное нормальное распределение, изменение среднего и матрицы ковариаций при линейном преобразовании, 24.4а, 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-13, семинар 14: 24.4в из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], сходимости случайных величин, ЗБЧ и ЦПТ, 20.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-21, семинар 15: наследование сходимости, 20.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], плюс доказали предельную теорему Пуассона

2025-01-28, семинар 16: связь между сходимостями, 20.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], лемма Слуцкого, подмена дисперсии на выборочную дисперсию в ЦПТ

2025-02-04, семинар 17: базовые свойства хар функций, хар функция суммы независимых величин, 28.17, 28.20 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-18, семинар 18: вероятностное пространство в общем случае, сигма-алгебры, борелевская сигма-алгебра, сигма-алгебра порожденная случайной величиной, измеримость случайной величины относительно сигма-алгебры, 6.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], задачи на сигма алгебры из пробника КР

2025-02-25, семинар 19: условное матожидание относительно сигма алгебры, условное матожидание и дисперсия относительно случайной величины, закон полного матожидания и закон полной дисперсии, 22.1, 22.3, 22.5абв из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-03-04, семинар 20: показали, что условное матожидание минимизирует среднеквадратичный риск; нашли условное матожидание и условную дисперсию в 22.6 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], нашли E[X | X^2] для симметричного равномерного распределения, нашли E[X_1 | X_1 + ... + X_n] для набора i.i.d. величин, нашли E[Y] и Var(Y) для Y|X имеющего экспоненциальное распределение с параметром X

==== 239 ====

2024-09-03, семинар 1: задачи 1.1, 1.4, пытались 1.8 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Ещё успели посчитать вероятность N=k бросков монеты до выпадения первого орла, матожидание N. И ещё сделали то же для количества бросков до выпадения 3 орлов (не в серии).

2024-09-10, семинар 2: доказали формулу включения-исключения, решили несложную задачу, порешали 2.7 задачи типа 12.*

2024-09-17, семинар 3: Решили две прямых задачи на формулу Байеса и формулу полной вероятности (без большого количества вычислений). Решили задачу поиска вероятности неисправного кофе-автомата из 3 при условии, что бросили деньги в 1 и 2 и их зажевало. Ещё нашли вероятность, что мяч будет у игрока 3 после шага 10 (все садятся в круг и на каждом шаге бросают мяч соседу с вероятностью 0.3 и оставляют у себя с вероятностью 0.4).

2024-09-24, семинар 4: Вспомнили про метод первого шага, используя формулу полной вероятности и введя в некотором виде формулу полного матожидания, записали формулу для вероятностей нахождения в состоянии i через произведение переходной матрицы на вектор. Совсем немного начали производящие функции, но решили не считать 31ю производную многочлена.

2024-10-01, семинар 5: Исследуем дискретные случайные величины (Биномиальная, Геометрическая и разные похожие) с использованием техник вычислений моментов через производящую функцию. Задачи на распределения величин, посчитанных по набору величин. Первая большая задача про плотность.

2024-10-08, семинар 6: разминочная про плотность и функцию распределения. Считаем дисперсию, ковариацию и корреляцию по 2x2 таблице и в равномерном распределении на круге и квадрате [-1,1]х[-1,1].

2024-10-15, семинар 7: пара задач про экспоненциальное распределение, расчёты по теории информации(считаем всякое, чтобы привыкнуть).

2024-10-22, семинар 8: письменные источники не сохранились до наших дней. Согласно преданиям, оьсуждали двери и около контрольной. Говорят, ввели пуассоновский процесс.

2024-???, семинар 9: решаем задачи на пуассоновское в разных формах и обсуждаем омалые в порядковых статистиках.

2024-???, семинар 10: учимся интерпретироввть гауссовское, пользоваться таблицами для функции Лапласа, а также немного работать с многомерным гауссовским.

2024-3-12, семинар 11: Копаем во все стороны многомерное гауссовское: считаем вероятности для линейных комбинаций гауссовских, проверяем зависимость, вычисляем условные законы, матожидания и ковариационные матрицы, вспоминаем спектральное разложение и разложение Холецкого.

==== 2311 ====

2024-09-06, семинар 1: вероятностное пространство, вероятность на нем, вероятность события, случайная величина и ее распределение (индикатор события, сумма двух кубиков, число бросаний монетки до первого орла), матожидание случайной величины (индикатор, один кубик, два кубика), линейность матожидания. Задачи на линейность матожидания, в том числе ЕГЭшная задача про турнир, 1.5, 3.5 с допвопросом о матожидании числа совпадений. Разговор о получении события произвольной вероятности монеткой в контексте 1.8

2024-09-13, семинар 2: Повторили матожидание суммы на примере 12.3. Обсудили условную вероятность и формулу полной вероятности, условное матожидание, решили задачи на метод первого шага 2.1, 2.3, 2.7.

2024-09-20, семинар 3: Условная вероятность, формула полной вероятности, формула Байеса: 7.1, классическая задача про болезни и тесты, простейшие задачки на общее понимание, обсуждение двух подходов: вычисления условной вероятности по формуле и составления нового вероятностного пространства и подсчет вероятности в нем. Независимые события (события "пики" и "дама" в обычной колоде и колоде с джокерами), независимые в совокупности события, построили пример попарно независимых, но не независимых в совокупности. Обсудили биномиальное распределение. решили задачу: "в корабле к отсеков, чтобы корабль затонул, нужно поразить 2. Независимо выпускают n ракет, каждая из которых поражает случайный отсек с вероятностью p. Найти вероятность потопления корабля"

2024-09-20, семинар 4: Примеры одинаково распределенных зависимых СВ, независимые СВ. Производящая функция и ее свойства. Посчитали для биномиального производящую функцию и второй момент. Обсудили, что будет меняться в случае функции, производящей моменты. Обсудили функцию, производящую множество исходов, как из нее доставать уже известные функции, как ее искать на примере бросания монетки до выпадания HT

2024-10-11, семинар 5: Составили табличку стандартных дискретных распределений, посчитали матожидание геометрического, обсудили дисперсию и ковариацию и их свойства (в дискретном случае), досчитали дисперсии основных распределений. Обсудили вероятностное пространство в общем случае, понятие СВ в общем случае. Дали определение ФР, посчитали ФР для явно заданной СВ. Дали определение плотности.

2024-10-12, семинар 6: Обсудили свойства ФР, как считать вероятность попадания в промежуток в терминах ФР. Выразили ФР 1/X, cos X. Обсудили как выражается веротяность попадания в множество через плотность. для 1/Х выразили плотность в случае абсолютной непрерывности Х. Обсудили формулу для МО в общем виде через интеграл Стильтьеса и как вычислять МО для функции, разлагающейся в сумму абсолютно нерпрерывной и функции скачков, посчитали МО для пары таких СВ

2024-10-18, семинар 7: Обсудили геометрию, заданную скалярным произведением EXY и cov(X,Y), поиск ортогонального элемента и проекции. Посчитали энтропию и кросс-энтропию в дискретном и непрерывном случаях, посчиали совместную и условную энтропию в дискретном случае (23.2, 23.4, 23.9)

2024-11-01, семинар 9: Совместная плотность и ф.р., подсчет вероятностей, маргинальные плотности, замена переменной через якобиан, свертка, матожидание

2024-11-09, семинар 10: Условная плотность, формула условной вероятности. Задача на восстановление маргинальной плотности по условной. Разбор задач из "Летучей мыши"

2024-11-19, семинар 11: Разбор контрольной работы

2024-11-22, семинар 12: Пуассоновский поток - решали задачки из задачника

2024-11-29, семинар 13: Нормальное распределение - задачи из PP, повторили функцию, порождающую моменты, обсудили ее свойства в абсолютно непрерывном случае

2024-12-06, семинар 14: Многомерное нормальное - обсудили два определения, связь между ними, независимость элементов нормального вектора при нулевой ковариации и почему это неверно для произвольных нормальных. порешали задачи 24.9а, 24.10, 24.17

2024-12-013, семинар 15: ЦПТ, решали задачи из задачника

2025-01-17, семинар 16: Сходимости почти наверное и по вероятности, связь со сходимостью по распределению. Посмотрели стандартные контрпримеры, показали, что если есть сходимость по распределению к константе, то есть и по вероятности. ЗБЧ Чебышева и Хинчина, УЗБЧ Колмогорова, обсудили 20.1 сколько успели.

2025-01-24, семинар 17: Сходимость в L_p, связи между сходимостями. Задача 20.11

2025-01-24, семинар 18: Характеристические функции и их свойства. Посчитали хар функции для равномерного, Бернулли, биномиального, Пуассона, экспоненциального. Показали, чо сумма нормальных нормальна. По функции пытались понять, может ли она быть характеристической и восстанавливали с.в.

==== 2310, 2312 ====

2024-09-06, семинар 1: задача 1.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Определили вероятностное пространство в виде тройки, множество исходов рассматривали конечное и счётное. Решили 3 счётные задачи на комбинаторику про колоды карт и счетные последовательности цифр. Привели геометрическое и аналитическое решения задачи про нахождение предела последовательности вероятностей. В конце нашли математическое ожидание геометрически распределённой случайной величины.

2024-09-13, семинар 2: задача 2.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Задача на упорядоченные и неупорядоченные наборы. Задача про классическое вероятностное пространство и про пространство с неравновероятными исходами. Разобрали парадокс Монти Холла. Ввели понятия условной вероятности и независимых случайных величин. Сформулировали и обсудили идеи доказательств трёх теорем: теорема умножения вероятностей, формула полной вероятности и формула Байеса.

2024-09-20, семинар 3: Решили задачу на определение условной вероятности. Обсудили парадокс теоремы Байеса на примере задачи про редкое заболевание, а также посмотрели простую программу на Python, которая считает вероятность в зависимости от количества проведенных тестов на заболевание. Обсудили условное математическое ожидание, некоторые его свойства и рассмотрели пример с подбрасыванием кубика. В конце решили задачу на парадокс дней рождений.

2024-09-27, семинар 4: Обсудили коллизии хеш-функций и связь с атакой "дней рождений". Определили независимость или зависимость случайных величин в четырёх разных вариантах. Обсудили, что неверно утверждать, что матожидание частного независимых случайных величин равно частному матожиданий, также привели пример использования подобного факта в некоторых статьях. В конце решили задачу на поиск функции производящей исходы, а также нашли E(X), E(Y^2), E(XY) с помощью найденной функции.

2024-10-04, семинар 5: Решили две простые задачи на условную вероятность и на теорему об умножении вероятностей. Обсудили связь дерева событий с условной вероятностью и теоремой об умножении вероятностей. Нашли производящую функцию моментов для геометрически распределенной случайной величины и с помощью нее нашли матожидание. Нашли производящую функцию моментов и матожидание суммы случайного количества н.о.р случайных величин.

2024-10-11, семинар 6: Привели аналогии между дискретными и непрерывными случайными величинами. Нарисовали графики функций от случайных величин. Вспомнили определение и свойства дисперсии. Решили простую задачу на подсчет дисперсии и нашли дисперсию геометрически распределенной случайной величины. Обсудили, когда может быть матожидание и дисперсия бесконечны. Далее вспомнили неравенства Маркова и Чебышева, вывели следствия и решили 3 задачи на применение этих неравенств. Обсудили, что неравенство Маркова может давать как точную оценку, так и очень слабую. Показали, что неотрицательность случайной величины в неравенстве Маркова является существенным условием.

2024-10-11, семинар 7: Повторили понятия энтропии в битах и натах, а также понятие дифференциальной энтропии. Нашли энтропию в схеме Бернулли и энтропии геометрического и экспоненциального распределений. Доказали простую оценку сверху для энтропии случайной величины, имеющей конечный носитель мощности n.

2024-11-1, семинар 8: Разобрали демо-вариант контрольной работы "Тыква".

2024-11-8, семинар 9: Разобрали демо-вариант контрольной работы "Летучая мышь".

2024-11-15, семинар 10: Понятие случайного процесса. Определение пуассоновского процесса, его свойства. Три простые задачи на пуассоновское распределение. Задачи 13.1 и 13.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-11-22, семинар 11: Определения Бета-функции и Гамма-функции. Бета и Гамма распределения, их функции плотности и графики. Нахождение моды случайных величин, имеющих Бета и Гамма распределения. Связь пуассоновского процесса с Гамма распределением. В конце нашли производящую функцию моментов Гамма распределения.

2024-11-29, семинар 12: Задачи 18.1, 18.2 и 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-12-06, семинар 13: Нашли многомерное нормальное распределение по виду функции плотности (константа на экспоненту с квадратичным показателем). С помощью формулы Иссерлиса нашли матожидания произведений различных или одинаковых случайных величин, имеющих многомерное нормальное распределение. Нашли условную вероятность многомерного распределения. Задача 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-12-13, семинар 14: Повторили определение сходимости по распределению и центральную предельную теорему. Решили задачи 20.2 и 20.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

== Источники ==

Источники мудрости, которые я постарался не замутить :)

[https://arxiv.org/pdf/1411.5279 WTSK]: Tim Hesterberg, What Teachers Should Know About the Bootstrap: вкусное и доступное изложение бутстрэпа и перестановочных тестов.

[https://projects.iq.harvard.edu/stat110/home BItP]: Blitzstein, Hwang, Introduction to Probability: учебник, записи лекций, гарвардский курс.

Теория вероятностей 2024/25 (основной поток)

2025-03-10T21:01:51Z

Bdemeshev:

= Преподаватели и учебные ассистенты =

{| class="wikitable" style="text-align:center"
|-
! Группа !! БПМИ235 !! БПМИ236 !! БПМИ237 !! БПМИ238 !! БПМИ239 !! БПМИ2310 !! БПМИ2311 !! БПМИ2312
|-
|| Лектор ||colspan="11"| [https://t.me/boris_demeshev Борис Демешев]
|-
|| Семинарист || [https://t.me/boris_demeshev Борис Демешев] || [https://t.me/levensons Илья Левин] || [https://t.me/madn_boi Никита Морозов] || [https://t.me/boris_demeshev Борис Демешев] || [https://t.me/XuMuK_MK Максим Каледин] || [https://t.me/goluba_yurieva Голуба Юрьева] || [https://t.me/Moskchan Вероника Владыкина] || [https://t.me/goluba_yurieva Голуба Юрьева]
|-
|| Ассистент || [https://t.me/nerhneiro Ира Скворцова] || [https://t.me/a_ameli_ig Амелия Алаева] || [https://t.me/htual Алина Бадахова] || [https://t.me/adelyagaraeva Аделя Гараева] || [https://t.me/mabrielka Мария Брель] || [https://t.me/zm_ann Анна Зыкова-Мызина] || [https://t.me/Yanlightv Яна Вежновец] || [https://t.me/nol_erk Кирилл Лавриненко]
|-
|| Ассистент курса ||colspan="11"| [https://t.me/Nick_Volya Никита Волянский]
|}

== Цели и задачи курса ==

侍には目標がなく道しかない [Samurai niwa mokuhyō ga naku michi shikanai]

У самурая нет цели и ничего кроме пути.

Вероятный план:
<div class="mw-collapsible mw-collapsed" style="width:1000px; overflow: hidden;">
1. Дискретное вероятностное пространство. Вероятность, математическое ожидание, теоретическая медиана.
Перестановочные тесты, p-значение для перестановочного теста.
Математическое ожидание = центр масс.

NB: здесь сходу рисуем дерево
NB: здесь нет задач на условную вероятность

!предупреждение об обозначениях случайных величин.
Российская традиция — греческие буквы, американская традиция — заглавные английские буквы.
Наш курс: любые буквы. Причина: теория вероятностей применяется в разных областях, где свои традиции.

NB: Способы вычисления вероятностей и ожиданий:
* полный перебор руками
* примерные вычисления руками
* полный перебор на компьютере
* симуляции на компьютере
* ...

2.
Методы решения задач:
* разложение величины в сумму
* метод первого шага
!идея: позиция в игре имеет цену
* just for fun: метод рычага в геометрии через ожидание
NB: рассказать здесь про комплексную случайную величину
NB: по сути здесь мы уже решаем задачи на марковские цепи не говоря страшных определений
LOTUS.

3. Условная вероятность и условное ожидание.
!идея: зануляем вероятности невозможных событий, а остальные — масштабируем.
формула полной вероятности
!идея: дерево "помнит" формулу полной вероятности
формула Байеса

Независимые события.
Независимые случайные величины.

4.
Методы решения задач:
* производящие функции многих переменных
функция как способ записать множество
HTT vs TTH
ABRACADABRA
!разложение по биномиальной формуле

?: можно здесь успеть функцию производящую моменты

5.
Биномиальное распределение.
Геометрическое и гипергеометрическое распределения.
Отрицательное биномиальное распределение.

6.
Равномерное распределение на множестве в R^n
Функция распределения.
Функция плотности и вероятностная дифференциальная форма.
!пояснение про неудачную традиционную терминологию "непрерывная случайная величина"
величина с функцией плотности, величина с непрерывной функцией распределения.

Квантили, квантильная функция.

7. Характеристики случайных величин и неравенства.
Дисперсия.
Энтропия.
Неравенство Маркова.
Неравенство Чебышёва.
Неравенство Йенсена.

Здесь конец модуля 1 и КР-1!

8. Пуассоновский поток.
Аксиомы пуассоновского потока.
Вывод экспоненциального распределения и пуассоновского распределения из аксиом.
Вывод экспоненциального распределения из предпосылки об отсутсвии памяти.

9. Нормальное распределение.
Нормальное распределение: предпосылки Хершела-Максвелла.
Нормальное распределение: аргументация Гаусса за среднее арифметическое.
Нормальное распределение: предпосылки Лэндона (до уравнения в частных производных).

10. Классические непрерывные распределения.

Гамма-распределение, бета-распределение.
Вывод нормального и экспоненциального распредений как минимизации энтропии.

11. Парные характеристики случайных величин.
Наилучшая линейная аппроксимация.
Ковариация.
Корреляция.
Кросс-энтропия.

Доказательство E(XY) = E(X) E(Y) для дискретных.
Ковариационная матрица и ожидание для случайных векторов.

12. Совместная и условная функция плостности.
Преобразования случайных величин.

13. Функция производящая моменты и характеристическая функция.
Распределение суммы случайного количества случайных величин.
Случайный выбор слагаемых.

14. Финансовые приложения

Оценивание опционов на биномиальном дереве.
Максимизация долгосрочной прибыли, связь с энтропией.
Возможно, индексы Гиттинса.

Здесь конец модуля 2 и КР-2

15. Сигма-алгебры.

Список известных величин как способ описания информации.
Идея условного ожидания как оптимального прогноза.
Сигма-алгебра как способ описания информации.
Измеримость случайной величины относительно сигма-алгебры.
Сигма-алгебра как ОДЗ для вероятности.
Борелевская сигма-алгебра.
Независимые случайные величины второе определение.

16. Условное математическое ожидание.
Условная дисперсия.
Сумма случайного количества случайных величин.

17. Сходимости случайных величин.

Сходимость по вероятности.
Закон больших чисел.
Сходимость почти наверное.
Усилинный закон больших чисел.
Сходимость по распределению.

18. Связь сходимостей.
Лемма Слуцкого.

19. Центральная предельная теорема.
Доказательство через подмену слагаемых.
Доказательство через характеристические функции.

Здесь контрольная.

20. Винеровский процесс
Условные ожидания, инверсия.

21. Байесовский подход к оцениванию параметров

Балансовое уравнение. Идея MCMC.

22. Доказательства свойств меры

23. Алгоритм построения математического ожидания в общем случае.
Лемма Фату.
Теорема о мажорируемой сходимости.
Теорема о монотонной сходимости.

24. Резерв.

Жемчужинки, которые, вероятно, не успеем:

А. Методы решения задач:
подсчёт случаев с помощью леммы Бернсайда и теоремы Пойа о перечислении
(Burnside lemma, PET = Polya Enumeration Theorem)

B. вероятностные доказательства детерминистических теорем

</div>

== Оценивание ==

Оценка за семестр-1 = 0.2 Домашние задания семестра-1 + 0.4 Контрольная-Альфа + 0.4 Экзамен-Бета.

Финальная оценка за курс = 0.5 Оценка за семестр-1 + 0.1 Домашние задания семестра-2 + 0.2 Контрольная-Гамма + 0.2 Экзамен-Дельта.

Каждая оценка (суммарные итоги за домашние задания, контрольные, экзамены) — целое число от 0 до 100.
Для перевода в 10-балльную шкалу промежуточной оценки за семестр-1 и финальной оценки используется деление на 10
с арифметическим округлением. Например, если Максим получил "оценку за семестр-1" 65 баллов, то в ведомость за первый семестр идёт 7, а далее в формуле финальной оценки за курс используется 65.

=== Домашние задания для самураев ===

Домашние задания [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/home_assignments/home_assignments.pdf одним файлом] и [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/blob/main/home_assignments/ отдельными файлами].
Домашние задания имеют равный вес.
В конце каждой лекции (за исключением ближайших к экзамену лекций)
выдается домашнее задание сроком на две недели.
Дедлайн жёсткий, однако студент имеет право просрочить три домашних задания на неделю каждое без штрафа.

Формат сдачи ДЗ: один pdf-файл (решение текстовых задач) и один ipynb-файл (решение компьютерных задач).
В pdf-файл можно поместить аккуратно написанное отсканированное решение, а можно скомпилировать pdf из теха или маркдауна.
Ещё можно вместо pdf-файла написать всё в ipynb.
Бонусов за сдачу домашки в техе нет. Пример [https://www.overleaf.com/read/qmrkwpzvmqbk шаблона].

Обратите внимание: '''время каждого дедлайна — 23:59'''.

=== Ведомость с оценками за ДЗ ===

{| class="wikitable" style="text-align:center"
|-
! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1872081500#gid=1872081500 235] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1374497930#gid=1374497930 236] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1183164252#gid=1183164252 237] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=408179311#gid=408179311 238] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1032422408#gid=1032422408 239] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1603236891#gid=1603236891 2310] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=791330236#gid=791330236 2311] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=23847300#gid=23847300 2312]
|}

[https://docs.google.com/spreadsheets/d/14hD7-SLmAA1omdkhPlt3blRHDHVGTDS8ZgvLWscvMz8/edit?usp=sharing Сводная ведомость всех оценок]

=== Контрольные работы и экзамен ===

Вес каждой задачи будет написан в тексте работы.
Задачи с ненаписанным по случайности весом имеют равный вес.
Для пропущенных по уважительной причине контрольных будет выделен один день для переписывания.
При пропуске дня переписывания, в том числе по уважительным причинам, ещё одного шанса не предоставляется.

<div class="mw-collapsible mw-collapsed" style="width:1000px; overflow: hidden;">

'''Контрольная работа 1''' состоится 2024-11-11 в 16:20, аудитории: R401, R305, R206, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_halloween_demo/exam_halloween_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/midterm/midterm-alpha.pdf условие с критериями и решениями].

'''Резервный день 1''' для пропустивших по уважительной причине состоится 2024-12-02 в 19:40, R405

'''Показ контрольной 1''':

* задачи 1, 2: заочно до 2024-12-08, [https://t.me/Moskchan Вероника]
* задачи 3, 4 [https://t.me/boris_demeshev Борис], очно, четверг, 2024-12-05, 18:10-21:00, G408
* задачи 5, 6 [https://t.me/XuMuK_MK Максим]: очно, четверг, 2024-12-05, 18:10-21:00, G408

'''Экзамен, модуль 2''' состоится '''''2024-12-24 в 10:00''''', аудитории R301, R304, R401, R404, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_winter_demo/exam_winter_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/december/pmi_probab_2024_december.pdf условие].

Если вы не хотите идти на экзамен, то заполните [https://forms.gle/UQzW77RrPvcdahG47 эту форму], чтобы получить ноль при неявке

'''Апелляция экзамена''':

* задачи 1, 2: заочно [https://t.me/goluba_yurieva Голуба], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/december/exam_problem_1-2.pdf решения и критерии 1, 2];
* задачи 3, 4: очно 2025-01-11, аудитория R408, 14:40-17:40 [https://t.me/madn_boi Никита], [https://www.overleaf.com/read/dnhjcdrndqps#42f1ab решения и критерии 3, 4];
* задачи 5, 6: заочно [https://t.me/levensons Илья]

* дедлайн по заочным апелляциям: суббота 23:59

[https://docs.google.com/spreadsheets/d/1mxMCr3IEDy8EPFWGkn3_dsghhPNcZICEw9C9o5ZoZvA/edit?usp=sharing Распределение по аудиториям]

</div>

Даты пересдач: 2025-01-28 в 18:10, 2025-02-03 в 18:10 и комиссия 2025-02-11 в 18:10.

* задачи 1, 2: [https://t.me/goluba_yurieva Голуба], задачи 3, 4: [https://t.me/madn_boi Никита], задачи 5, 6: [https://t.me/levensons Илья], апелляция пересдачи 2 до 21:00 2025-02-10.

'''Контрольная, модуль 3''' состоится 2025-02-22 в 16:20, аудитории R201, R204, R404, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_galileo_demo/exam_galileo_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_galileo/pmi_probab_galileo_exam_2024-2025.pdf условие].

[https://docs.google.com/spreadsheets/d/1LZA-7TDz_yYeVPRx4BpBWJnQKZ7wqPgHDrN-Z0SM68M/edit?usp=sharing Распределение по аудиториям]

'''Контрольная, модуль 3, резервный день''': 2025-03-07, пятница, 18:10, R204

'''Экзамен, модуль 3''' состоится '''2025-03-28''' в 14:40, аудитории R201, R301, R404, R405, демо, условие.

== Учебные материалы ==

[https://github.com/bdemeshev/probability_pro/raw/master/probability_pro.pdf PP]: Листки с задачами к курсу.

[https://github.com/bdemeshev/probability_dna/raw/master/probability_dna.pdf PDNA]: Вероятностная ДНК = вкусные задачи по теории вероятностей.

[https://disk.yandex.ru/d/LZ6d2VZVqYvbDQ Видео-летопись семинаров и лекций] и [https://hse.liferooter.dev/ конспект] от тайного благожелателя (updated 2024-10-23]

[https://disk.yandex.ru/d/IoakBXz_6yygPw Официальные видео]

[https://www.cambridgeinternational.org/Images/344616-list-of-formulae-and-statistical-tables.pdf Cambridge statistical tables]

== Дневник самурая ==

2024-09-02, лекция 1: Определение события. Определение случайной величины. Аксиомы вероятности. Определение математического ожидания для дискретного случая.
Линейность математического ожидания. Математическое ожидание как центр масс. Первое знакомоство с перестановочным тестом и p-значением.

Можно глянуть: главы 2.1 и 7 из [https://arxiv.org/pdf/1411.5279 WTSK], метод рычага [https://mathcircle.berkeley.edu/sites/default/files/archivedocs/2007_2008/lectures/0708lecturespdf/MassPointsBMC07.pdf в геометрии].

2024-09-09, лекция 2: Метод первого шага (вероятность выпадения HTH ранее HHT, ожидаемое количество шагов). Метод разложения случайной величины в сумму. Определение случайного вектора. Использование интерпретации ожидания как центра масс в геометрии. Определение теоретической медианы.

Можно глянуть: глава 2.7.2 из [https://projects.iq.harvard.edu/stat110/home BItP], три стратегии решения задачи за 10 минут [https://www.youtube.com/watch?v=xH89DaEI35w Visually Explained]

2024-09-16, лекция 3: Получение новой информации приводит к пересчёту вероятностей. Определение условной вероятности. Формула полной вероятности. Формула Байеса.
Условное математическое ожидание. Формула полного математического ожидания. Независимость пары событий. Независимость набора событий в совокупности.
Независимость величин: неформальное определение. Критерий независимости произвольных величин. Критерий независимости дискретных величин.

2024-09-23, лекция 4: Доказательство критерия независимости для дискретных случайных величин: из независимости {X=x} и {Y=y} следует независимость {X in A} и {Y in B}. Независимость величин равносильна E(f(X))E(g(Y))=E(f(X)g(Y)) для произвольных f, g. Определение биномиальной, геометрической (как числа неудач до 1го успеха) и отрицательной биномиальной случайной величины. Общая идея за производящими функциями: как из функции, производящей исходы эксперимента, с помощью производных и подстановок выудить индивидуальные вероятности, совместные вероятности, ожидания любой степени E(X^a), E(X^a Y^b). Формальное определение функции, производящей вероятности, и функцию, производящей моменты, для одной случайной величины и пары случайных величин. Метатеорема: все теоремы о дискретных величинах доказываются перестановкой слагаемых. Основные дискретные распределения: биномиальное, геометрическое, отрицательное биномиальное.

2024-09-30, лекция 5: Ещё дискретные законы распределения: гипергеометрическое. Описание закона распределения через равномерное распределение на подмножестве R^n.
Функция плотности как линейная часть вероятности попадания в отрезок. Равномерное распределение на отрезке. Смешанные случайные величины. LOTUS: нахождение ожидания любой функции от случайной величины для величин с функцией плотности и смешанных величин. Функция распределения. Квантильная функция.

2024-10-07, лекция 6: Две геометрии случайных величин и событий: E(XY) как скалярное произведение, Cov(X, Y) как скалярное произведение. Математическое ожидание — проекция в рамках геометрии, задаваемой E(XY). Определение и геометрический смысл дисперсии, стандартного отклонения, ковариации и корреляции. Неравенство Маркова. Неравенство Чебышёва. Неравенство Йенсена: интуитивный смысл.

2024-10-14, лекция 7: Доказательство неравенства Йенсена. Энтропия как минимальное ожидаемое число вопросов для отгадывания и формальное определение. Кросс-энтропия.
Доказательство того, что кросс-энтропия больше либо равна энтропии. Совместная энтропия. Условная энтропия. Формула H(X) + H(Y|X) = H(X, Y) без доказательства.
Вывод плотности экспоненциального распределения из предпосылки отсутствия памяти. Экспоненциальное распределение максимизирует энтропию при заданном ожидании и неотрицательности.

* Cristopher Olah, Visual Information Theory, https://colah.github.io/posts/2015-09-Visual-Information/

* Grand Sanderson, Solving Wordle using information theory, [https://www.youtube.com/watch?v=v68zYyaEmEA youtube].

* Artem Kirsanov, Key equation behind probability, [https://www.youtube.com/watch?v=KHVR587oW8I youtube]. У Артёма кросс-энтропия обозначена H(P, Q), а не CE(P||Q)).

* [https://exuberant-arthropod-be8.notion.site/1-02-09-5e107ea1c4054594b8f37d955db8a2b0 Конспект] аналогичной старой лекции псмо на русском.

* Keith Conrad, [https://kconrad.math.uconn.edu/blurbs/analysis/entropypost.pdf Maximal entropy] distributions.

2024-10-21, лекция 8: Ковариационная матрица и её свойства. Совместная функция плотности. Условная функция плотности. Критерий независимости в терминах функций плотности и распределения.
Связь индивидуальной и совместной функций плотности и функций распределения. Смена плотности при замене переменных: домножение на якобиан и неформально про дифференциальные формы. Формула свёртки.
Разложение совместной плотности для графической модели. Представление произвольной совместной функции распределения с помощью копулы.

* Про дифференциальные формы: [https://www.youtube.com/watch?v=PaWj0WxUxGg&list=PL22w63XsKjqzQZtDZO_9s2HEMRJnaOTX7 videos] by Michael Penn, [https://www.math.purdue.edu/~arapura/preprints/diffforms.pdf short intro] by Dony Arapura

* What is a convolution от [https://www.youtube.com/watch?v=KuXjwB4LzSA 3b1b]

* From graphical models to [https://www.youtube.com/watch?v=yBc01ZeaFxw&list=PLISXH-iEM4JlFsAp7trKCWyxeO3M70QyJ Probabilistic ML]

2024-11-11, лекция 9: Пуассоновский поток: аксиомы. Вывод пуассоновского распределения количества событий и экспоненциального времени между событиями из аксиом.
Сумма независимых пуассоновских потоков — это пуассоновский поток (половина доказательства). Вероятность того, что одна экспоненциальная величина будет меньше другой, независимой.

2024-11-18, лекция 10: Гамма-распределение как сумма нескольких экспоненциальных: вывод плотности через вероятность попадания в малый отрезок.
Обобщение плотности на случай положительного параметра $a$. Гамма-функция. Бета-распределение как отношение гамма-распределений. Бета-функция.

2024-11-25, лекция 11: Вывод нормального распределения из предпосылок Гаусса. Вывод нормального распределения из предпосылок Гершеля — Максвелла.

* Saul Stahl, The [https://www.researchgate.net/publication/255668423_The_Evolution_of_the_Normal_Distribution Evolution] of the Normal Distribution: вывод Гаусса с историей.

* Grand Sanderson, [https://www.youtube.com/watch?v=cy8r7WSuT1I Why pi] is in the normal? вывод Гершеля—Максвелла

* James Stein, [http://www-biba.inrialpes.fr/Jaynes/cc07s.pdf Normal Distribution]: глава про нормальное распределение (Гаусс, Гершель—Максвелл, Лэндон etc)

* William Herschel, [https://music.yandex.com/album/209394/track/2121214 концерт для габоя]

* William Herschel, [https://www.informationphilosopher.com/solutions/scientists/quetelet/Herschel_Quetelet_Probabilities.pdf On the theory of Probabilities]: вывод нормального распределения словами на стр. 189-191

2024-12-02, лекция 12: многомерное нормальное распределение. Функция плотности невырожденного многомерного нормального. Функция производящая моменты для многомерного нормального. Формула Иссерлиса с ненулевыми ожиданиями и доказательством. Условное распределение: вывод условного ожидания и условной дисперсии через разложение величины в сумму независимых.

* [https://stats.stackexchange.com/questions/30588/ альтернативный вывод] условного многомерного нормального распределения
* Хитрый [https://github.com/bdemeshev/lis-isserlis/raw/main/lis-isserlis.pdf лис Иссерлис]

2024-12-09, лекция 13: сходимость по распределению, центральная предельная теорема с доказательством подменой слагаемых.

* Calvin Chin [https://arxiv.org/pdf/2106.00871 CLT proof] by swapping
* [https://bdemeshev.github.io/teaching_notes/clt_by_swapping Пересказ доказательства]

2024-12-16, лекция 14: использование бесконечно малых при нахождении ожиданий, трюк с добавление параметра, трюк с закольцовыванием отрезка при равномерном распределении.

2025-01-13, лекция 15: Неединственность предела по распределению. Неаддитивность предела по распределению. Предел по вероятности. Закон больших чисел в слабой форме (с доказательством при дополнительной предпосылке о конечности дисперсии). Теорема о непрерывном отображении.

2025-01-20, лекция 16: два определение сходимости почти наверное с доказательством эквивалентности. Сходимость в Lp. Из сходимости в Lp при p>=1 следует сходимость по вероятности. Из сходимости почти наверное следует сходимость по вероятностям. Контр-пример к разнице сходимостей почти наверное и по вероятности. Контр-пример к разнице сходимостей в Lp и по вероятности. Усиленный закон больших чисел (без доказательства). Леммы Слуцкого (без доказательства).

2025-01-27, лекция 17: характеристические функции и их свойства. Вывод характеристической функции нормального стандартного распределения через дифференциальное уравнение. Характеристическая функция биномиального распредеделения. Второе доказательство ЦПТ (через характеристические функции).

* [https://web.ma.utexas.edu/users/gordanz/notes/characteristic.pdf Gordan Zitkovic]: characteristic functions
* [https://sas.uwaterloo.ca/~dlmcleis/s901/chapt6.pdf McLeish]: clt proof

2025-02-03, лекция 18: пример последовательности сходящийся по вероятности с ожиданием стремящимся к бесконечности. Критерий Кэлли. Критерий оптимальной остановки Брасса.

* [https://en.wikipedia.org/wiki/Kelly_criterion wikipedia]: Kelly criterion
* [https://projecteuclid.org/journalArticle/Download?urlId=10.1214%2Faop%2F1019160340 Bruss]: sum the odds to one and stop

2025-02-10 лекция 19: Сигма-алгебра порождённая случайной величиной или набором из нескольких случайных величин. Замкнутость относительно счётного количества операций с множествами. Сигма-алгебра. Объединение сигма-алгебр не всегда сигма-алгебра. Пересечение сигма-алгебр всегда сигма-алгебра. Измеримость суммы. Борелевская сигма-алгебра.

2025-02-18, лекция 20: [https://us06web.zoom.us/j/82685613040?pwd=bqJoXGItwNOOWddXj1flfmPmDn6fMQ.1 онлайн, 18:10]: разбор задач про сигма-алгебры для подготовки к контрольной. Условное математическое ожидание относительно сигма-алгебры: интуиция и формальное определение. Пример подсчёта в дискретном случае.

2025-02-24, лекция 21: Условное ожидание и дисперсия относительно сигма-алгебры со свойствами. Условная вероятность.

2025-03-03, лекция 22: Определение фильтрации. Определение момента остановки. Сигма-алгебра на момент остановки. Определение мартингала.
Формулировка теоремы [https://en.wikipedia.org/wiki/Optional_stopping_theorem Дуба об остановке мартингала]. Задача о макаке, печатающей слово "абракадабра".

2025-03-10, лекция 23: Два контр-примера к теореме дуба. Доказали теоремы Дуба для случая ограниченного момента времени. Тождество Вальда: формулировка и доказательство. Определение броуновского движения с явным упоминанием фильтрации и без. Ковариационная функция Cov(Ws, Wt).

2025-03-17, лекция 24: Преобразования винеровского процесса. Модель Блэка Шоулса (как предел дискретной?)

2025-03-24, лекция 25:

=== Семинары ===

==== 473 = 235 + 238 ====

2024-09-02, 06, семинар 1: задачи 1.1, 1.6, 3.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-09, 13, семинар 2: задачи 2.1, 2.3, 12.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-16, 20, семинар 3: задачи 7.12 и 7.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-23, 27, семинар 4: как извлечь P(X=3), E(X), E(X^2Y) из функции, производящей список исходов, 28.16 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-30, -10-04, семинар 5: 9.3в, 9.4, 9.7(абвд, кроме дисперсии, аргументы масштабирования и центра масс помимо интегралов), 9.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-10-07, 11, семинар 6: вычисление Cov, Var, Corr по табличке и из функции плотности, нахождение дисперсии для отрицательного биномиального распределения по свойствам.

2024-10-14, 18, семинар 7: вычисление энтропии геометрического распределения. Изменение энтропии при линейном преобразовании для дискретной величины и величины с функцией плотности.
Кросс-энтропия из экспоненциального в равномерное. Условная энтропия для дискретной таблички. Связь энтропии величины с функцией плотности и энтропия дискретной версии этой случайной величины после "огрубления" с малым шагом 1/k.

2024-10-21, -11-01, семинар 8: 16.18, 16.23 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], свёртка двух экспоненциальных величин

2024-11-11, 15, семинар 9: задачи на пуассоновский поток из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-11-18, 22, семинар 10: задачи на бета и гамма-распределение

2024-11-25, 29, семинар 11: задачи на нормальное распределение, 18.1, 18.2, 18.3, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-02, 06, семинар 12: задачи на многомерное нормальное: 24.16аб, 24.17аб, 24.18, 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-09, 13, семинар 13: ЦПТ и нормальное распределение: 20.2, 20.4, 18.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-19, семинар 14: разбор демо

2025-01-13, семинар 15: сходимость по вероятности: 20.1, 20.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-20, 24, семинар 16: связь между сходимостями, 20.11, 20.13 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-27, 31, семинар 17: 28.17, 28.18, 28.21 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-03, 07, семинар 18: 28.20аб, 28.22 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-10, 14, семинар 19: 6.2, 6.3, 6.11, измеримость произведения из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-18?, 21, семинар 20:

2025-02-24, 28, семинар 21: Условное математическое ожидание и условная дисперсия относительно сигма-алгебры в дискретном случае.

2025-03-03, 10, семинар 22: доказали, что сигма алгебра, порождённая моментом остановки, лежит внутри сигма-алгебры событий на момент остановки.
Вероятность достижения границы -а раньше границы +b и среднее время достижения одной из этих границ для классического случайного блуждания.
Преобразование несимметричного случайного блуждание St в мартингал с помощью exp(alpha St).

2025-03-10, 14, семинар 23: решение двух классических задач с помощью мартингалов: [https://en.m.wikipedia.org/wiki/Bertrand%27s_ballot_theorem задача о голосовании], [https://math.dartmouth.edu/~pw/papers/gpdp.ps "следующая карта — красная"].

==== 236 ====

2024-09-06, семинар 1: в начале семинара рассмотрели основные понятия и определения для решения задач. Решили задачи 1.1, 1.6, 3.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-13, семинар 2: нашли ожидание случайной величины с геом. распределением. Решили задачи 2.1, 12.6, 12.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-09-20, семинар 3: решили задачи 7.12, 7.4(а), 7.7, 7.13(а) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-09-27, семинар 4: разобрали 7.13, почти разобрали 28.3 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Также рассмотрели один контрпример на независимость(тетраэдр Бернштейна).

2024-10-04, семинар 5: разобрались с определениями, решили 9.3(абв), 9.7(аб) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Решили задачку про три точки на отрезке и найти вероятность получить треугольник. Также вывели формулу для мат. ожидания неотрицательной величины через функцию распределения.

2024-10-14, семинар 6: обсудили дисперсию, ковариацию, коэффициент корреляции и их геометрический смысл. Решили задачу на оценку дисперсии ограниченной величины. посчитали дисперсию геометрического, биномиального. Посчитали дисперсию в задаче о письмах и конвертах.

???, семинар 7: определили энтропию, посчитали примеры для дискретных величин, для линейных преобразований. Доказали, что задача максимизации энтропии с фиксированной дисперсией достигается на нормальном распределении.

???, семинар 8: свертка двух экспоненциальных, 16.18 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

???, семинар 9: задачи на пуассоновский процесс из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

???, семинар 10: разбор кр.

???, семинар 11: разобрали задачи на нормальное распределение 18.1, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Также считали распределение суммы двух независимых нормальных.

==== 237 ====

2024-09-09, семинар 1: задачи 1.1, 2.2 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], вероятность что n ладей не бьют друг друга при случайной расстановке на шахматной доске n на n, матожидание числа треугольников в случайном графе на n вершинах через сумму индикаторов

2024-09-13, семинар 2: задачи 2.1, 2.6, 12.3, 12.6, 12.7 (без дисперсий) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-23, семинар 3: задачи 7.2, 7.13, 7.7, 7.8, плюс начали 7.15b (получили неверный ответ) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-27, семинар 4: дорешали 7.15b с небольшой демонстрацией на питоне, разобрали 28.2 для нечестной монетки плюс посчитали матожидание [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-10-04, семинар 5: задачи 9.1, 9.3абв, 9.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], философия про то почему бОльшая плотность не всегда означает бОльшую вероятность оказаться в окрестности данной точки (плотность может занимать слишком маленький объем)

2024-10-11, семинар 6: вспомнили определения Cov/Var/Corr, посчитали у пары дискретных величин по табличке вероятностей, посчитали дисперсию у биномиального, геометрического, непрерывного равномерного на отрезке.

2024-10-18, семинар 7: вычисление энтропии геометрического распределения; ограниченность энтропии снизу и сверху в дискретном случае; изменение энтропии при линейном преобразовании для дискретной величины и величины с функцией плотности; условная энтропия, KL дивергенция и кросс-энтропия, неотрицательность KL, интерпретация на пальцах с точки зрения теории информации.

2024-11-01, семинар 8: 16.18, 16.23 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], свёртка двух экспоненциальных величин

2024-11-08, семинар 9: решали пробный вариант КР

2024-11-15, семинар 10: 13.1, 13.2, 13.5, 13.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-11-22, семинар 11: разбор КР

2024-11-29, семинар 12: нормальное распределение, 18.1, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-06, семинар 13: многомерное нормальное распределение, изменение среднего и матрицы ковариаций при линейном преобразовании, 24.4а, 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-13, семинар 14: 24.4в из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], сходимости случайных величин, ЗБЧ и ЦПТ, 20.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-21, семинар 15: наследование сходимости, 20.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], плюс доказали предельную теорему Пуассона

2025-01-28, семинар 16: связь между сходимостями, 20.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], лемма Слуцкого, подмена дисперсии на выборочную дисперсию в ЦПТ

2025-02-04, семинар 17: базовые свойства хар функций, хар функция суммы независимых величин, 28.17, 28.20 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-18, семинар 18: вероятностное пространство в общем случае, сигма-алгебры, борелевская сигма-алгебра, сигма-алгебра порожденная случайной величиной, измеримость случайной величины относительно сигма-алгебры, 6.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], задачи на сигма алгебры из пробника КР

2025-02-25, семинар 19: условное матожидание относительно сигма алгебры, условное матожидание и дисперсия относительно случайной величины, закон полного матожидания и закон полной дисперсии, 22.1, 22.3, 22.5абв из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-03-04, семинар 20: показали, что условное матожидание минимизирует среднеквадратичный риск; нашли условное матожидание и условную дисперсию в 22.6 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], нашли E[X | X^2] для симметричного равномерного распределения, нашли E[X_1 | X_1 + ... + X_n] для набора i.i.d. величин, нашли E[Y] и Var(Y) для Y|X имеющего экспоненциальное распределение с параметром X

==== 239 ====

2024-09-03, семинар 1: задачи 1.1, 1.4, пытались 1.8 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Ещё успели посчитать вероятность N=k бросков монеты до выпадения первого орла, матожидание N. И ещё сделали то же для количества бросков до выпадения 3 орлов (не в серии).

2024-09-10, семинар 2: доказали формулу включения-исключения, решили несложную задачу, порешали 2.7 задачи типа 12.*

2024-09-17, семинар 3: Решили две прямых задачи на формулу Байеса и формулу полной вероятности (без большого количества вычислений). Решили задачу поиска вероятности неисправного кофе-автомата из 3 при условии, что бросили деньги в 1 и 2 и их зажевало. Ещё нашли вероятность, что мяч будет у игрока 3 после шага 10 (все садятся в круг и на каждом шаге бросают мяч соседу с вероятностью 0.3 и оставляют у себя с вероятностью 0.4).

2024-09-24, семинар 4: Вспомнили про метод первого шага, используя формулу полной вероятности и введя в некотором виде формулу полного матожидания, записали формулу для вероятностей нахождения в состоянии i через произведение переходной матрицы на вектор. Совсем немного начали производящие функции, но решили не считать 31ю производную многочлена.

2024-10-01, семинар 5: Исследуем дискретные случайные величины (Биномиальная, Геометрическая и разные похожие) с использованием техник вычислений моментов через производящую функцию. Задачи на распределения величин, посчитанных по набору величин. Первая большая задача про плотность.

2024-10-08, семинар 6: разминочная про плотность и функцию распределения. Считаем дисперсию, ковариацию и корреляцию по 2x2 таблице и в равномерном распределении на круге и квадрате [-1,1]х[-1,1].

2024-10-15, семинар 7: пара задач про экспоненциальное распределение, расчёты по теории информации(считаем всякое, чтобы привыкнуть).

2024-10-22, семинар 8: письменные источники не сохранились до наших дней. Согласно преданиям, оьсуждали двери и около контрольной. Говорят, ввели пуассоновский процесс.

2024-???, семинар 9: решаем задачи на пуассоновское в разных формах и обсуждаем омалые в порядковых статистиках.

2024-???, семинар 10: учимся интерпретироввть гауссовское, пользоваться таблицами для функции Лапласа, а также немного работать с многомерным гауссовским.

2024-3-12, семинар 11: Копаем во все стороны многомерное гауссовское: считаем вероятности для линейных комбинаций гауссовских, проверяем зависимость, вычисляем условные законы, матожидания и ковариационные матрицы, вспоминаем спектральное разложение и разложение Холецкого.

==== 2311 ====

2024-09-06, семинар 1: вероятностное пространство, вероятность на нем, вероятность события, случайная величина и ее распределение (индикатор события, сумма двух кубиков, число бросаний монетки до первого орла), матожидание случайной величины (индикатор, один кубик, два кубика), линейность матожидания. Задачи на линейность матожидания, в том числе ЕГЭшная задача про турнир, 1.5, 3.5 с допвопросом о матожидании числа совпадений. Разговор о получении события произвольной вероятности монеткой в контексте 1.8

2024-09-13, семинар 2: Повторили матожидание суммы на примере 12.3. Обсудили условную вероятность и формулу полной вероятности, условное матожидание, решили задачи на метод первого шага 2.1, 2.3, 2.7.

2024-09-20, семинар 3: Условная вероятность, формула полной вероятности, формула Байеса: 7.1, классическая задача про болезни и тесты, простейшие задачки на общее понимание, обсуждение двух подходов: вычисления условной вероятности по формуле и составления нового вероятностного пространства и подсчет вероятности в нем. Независимые события (события "пики" и "дама" в обычной колоде и колоде с джокерами), независимые в совокупности события, построили пример попарно независимых, но не независимых в совокупности. Обсудили биномиальное распределение. решили задачу: "в корабле к отсеков, чтобы корабль затонул, нужно поразить 2. Независимо выпускают n ракет, каждая из которых поражает случайный отсек с вероятностью p. Найти вероятность потопления корабля"

2024-09-20, семинар 4: Примеры одинаково распределенных зависимых СВ, независимые СВ. Производящая функция и ее свойства. Посчитали для биномиального производящую функцию и второй момент. Обсудили, что будет меняться в случае функции, производящей моменты. Обсудили функцию, производящую множество исходов, как из нее доставать уже известные функции, как ее искать на примере бросания монетки до выпадания HT

2024-10-11, семинар 5: Составили табличку стандартных дискретных распределений, посчитали матожидание геометрического, обсудили дисперсию и ковариацию и их свойства (в дискретном случае), досчитали дисперсии основных распределений. Обсудили вероятностное пространство в общем случае, понятие СВ в общем случае. Дали определение ФР, посчитали ФР для явно заданной СВ. Дали определение плотности.

2024-10-12, семинар 6: Обсудили свойства ФР, как считать вероятность попадания в промежуток в терминах ФР. Выразили ФР 1/X, cos X. Обсудили как выражается веротяность попадания в множество через плотность. для 1/Х выразили плотность в случае абсолютной непрерывности Х. Обсудили формулу для МО в общем виде через интеграл Стильтьеса и как вычислять МО для функции, разлагающейся в сумму абсолютно нерпрерывной и функции скачков, посчитали МО для пары таких СВ

2024-10-18, семинар 7: Обсудили геометрию, заданную скалярным произведением EXY и cov(X,Y), поиск ортогонального элемента и проекции. Посчитали энтропию и кросс-энтропию в дискретном и непрерывном случаях, посчиали совместную и условную энтропию в дискретном случае (23.2, 23.4, 23.9)

2024-11-01, семинар 9: Совместная плотность и ф.р., подсчет вероятностей, маргинальные плотности, замена переменной через якобиан, свертка, матожидание

2024-11-09, семинар 10: Условная плотность, формула условной вероятности. Задача на восстановление маргинальной плотности по условной. Разбор задач из "Летучей мыши"

2024-11-19, семинар 11: Разбор контрольной работы

2024-11-22, семинар 12: Пуассоновский поток - решали задачки из задачника

2024-11-29, семинар 13: Нормальное распределение - задачи из PP, повторили функцию, порождающую моменты, обсудили ее свойства в абсолютно непрерывном случае

2024-12-06, семинар 14: Многомерное нормальное - обсудили два определения, связь между ними, независимость элементов нормального вектора при нулевой ковариации и почему это неверно для произвольных нормальных. порешали задачи 24.9а, 24.10, 24.17

2024-12-013, семинар 15: ЦПТ, решали задачи из задачника

2025-01-17, семинар 16: Сходимости почти наверное и по вероятности, связь со сходимостью по распределению. Посмотрели стандартные контрпримеры, показали, что если есть сходимость по распределению к константе, то есть и по вероятности. ЗБЧ Чебышева и Хинчина, УЗБЧ Колмогорова, обсудили 20.1 сколько успели.

2025-01-24, семинар 17: Сходимость в L_p, связи между сходимостями. Задача 20.11

2025-01-24, семинар 18: Характеристические функции и их свойства. Посчитали хар функции для равномерного, Бернулли, биномиального, Пуассона, экспоненциального. Показали, чо сумма нормальных нормальна. По функции пытались понять, может ли она быть характеристической и восстанавливали с.в.

==== 2310, 2312 ====

2024-09-06, семинар 1: задача 1.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Определили вероятностное пространство в виде тройки, множество исходов рассматривали конечное и счётное. Решили 3 счётные задачи на комбинаторику про колоды карт и счетные последовательности цифр. Привели геометрическое и аналитическое решения задачи про нахождение предела последовательности вероятностей. В конце нашли математическое ожидание геометрически распределённой случайной величины.

2024-09-13, семинар 2: задача 2.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Задача на упорядоченные и неупорядоченные наборы. Задача про классическое вероятностное пространство и про пространство с неравновероятными исходами. Разобрали парадокс Монти Холла. Ввели понятия условной вероятности и независимых случайных величин. Сформулировали и обсудили идеи доказательств трёх теорем: теорема умножения вероятностей, формула полной вероятности и формула Байеса.

2024-09-20, семинар 3: Решили задачу на определение условной вероятности. Обсудили парадокс теоремы Байеса на примере задачи про редкое заболевание, а также посмотрели простую программу на Python, которая считает вероятность в зависимости от количества проведенных тестов на заболевание. Обсудили условное математическое ожидание, некоторые его свойства и рассмотрели пример с подбрасыванием кубика. В конце решили задачу на парадокс дней рождений.

2024-09-27, семинар 4: Обсудили коллизии хеш-функций и связь с атакой "дней рождений". Определили независимость или зависимость случайных величин в четырёх разных вариантах. Обсудили, что неверно утверждать, что матожидание частного независимых случайных величин равно частному матожиданий, также привели пример использования подобного факта в некоторых статьях. В конце решили задачу на поиск функции производящей исходы, а также нашли E(X), E(Y^2), E(XY) с помощью найденной функции.

2024-10-04, семинар 5: Решили две простые задачи на условную вероятность и на теорему об умножении вероятностей. Обсудили связь дерева событий с условной вероятностью и теоремой об умножении вероятностей. Нашли производящую функцию моментов для геометрически распределенной случайной величины и с помощью нее нашли матожидание. Нашли производящую функцию моментов и матожидание суммы случайного количества н.о.р случайных величин.

2024-10-11, семинар 6: Привели аналогии между дискретными и непрерывными случайными величинами. Нарисовали графики функций от случайных величин. Вспомнили определение и свойства дисперсии. Решили простую задачу на подсчет дисперсии и нашли дисперсию геометрически распределенной случайной величины. Обсудили, когда может быть матожидание и дисперсия бесконечны. Далее вспомнили неравенства Маркова и Чебышева, вывели следствия и решили 3 задачи на применение этих неравенств. Обсудили, что неравенство Маркова может давать как точную оценку, так и очень слабую. Показали, что неотрицательность случайной величины в неравенстве Маркова является существенным условием.

2024-10-11, семинар 7: Повторили понятия энтропии в битах и натах, а также понятие дифференциальной энтропии. Нашли энтропию в схеме Бернулли и энтропии геометрического и экспоненциального распределений. Доказали простую оценку сверху для энтропии случайной величины, имеющей конечный носитель мощности n.

2024-11-1, семинар 8: Разобрали демо-вариант контрольной работы "Тыква".

2024-11-8, семинар 9: Разобрали демо-вариант контрольной работы "Летучая мышь".

2024-11-15, семинар 10: Понятие случайного процесса. Определение пуассоновского процесса, его свойства. Три простые задачи на пуассоновское распределение. Задачи 13.1 и 13.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-11-22, семинар 11: Определения Бета-функции и Гамма-функции. Бета и Гамма распределения, их функции плотности и графики. Нахождение моды случайных величин, имеющих Бета и Гамма распределения. Связь пуассоновского процесса с Гамма распределением. В конце нашли производящую функцию моментов Гамма распределения.

2024-11-29, семинар 12: Задачи 18.1, 18.2 и 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-12-06, семинар 13: Нашли многомерное нормальное распределение по виду функции плотности (константа на экспоненту с квадратичным показателем). С помощью формулы Иссерлиса нашли матожидания произведений различных или одинаковых случайных величин, имеющих многомерное нормальное распределение. Нашли условную вероятность многомерного распределения. Задача 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-12-13, семинар 14: Повторили определение сходимости по распределению и центральную предельную теорему. Решили задачи 20.2 и 20.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

== Источники ==

Источники мудрости, которые я постарался не замутить :)

[https://arxiv.org/pdf/1411.5279 WTSK]: Tim Hesterberg, What Teachers Should Know About the Bootstrap: вкусное и доступное изложение бутстрэпа и перестановочных тестов.

[https://projects.iq.harvard.edu/stat110/home BItP]: Blitzstein, Hwang, Introduction to Probability: учебник, записи лекций, гарвардский курс.

Теория вероятностей 2024/25 (основной поток)

2025-03-10T20:53:13Z

Bdemeshev:

= Преподаватели и учебные ассистенты =

{| class="wikitable" style="text-align:center"
|-
! Группа !! БПМИ235 !! БПМИ236 !! БПМИ237 !! БПМИ238 !! БПМИ239 !! БПМИ2310 !! БПМИ2311 !! БПМИ2312
|-
|| Лектор ||colspan="11"| [https://t.me/boris_demeshev Борис Демешев]
|-
|| Семинарист || [https://t.me/boris_demeshev Борис Демешев] || [https://t.me/levensons Илья Левин] || [https://t.me/madn_boi Никита Морозов] || [https://t.me/boris_demeshev Борис Демешев] || [https://t.me/XuMuK_MK Максим Каледин] || [https://t.me/goluba_yurieva Голуба Юрьева] || [https://t.me/Moskchan Вероника Владыкина] || [https://t.me/goluba_yurieva Голуба Юрьева]
|-
|| Ассистент || [https://t.me/nerhneiro Ира Скворцова] || [https://t.me/a_ameli_ig Амелия Алаева] || [https://t.me/htual Алина Бадахова] || [https://t.me/adelyagaraeva Аделя Гараева] || [https://t.me/mabrielka Мария Брель] || [https://t.me/zm_ann Анна Зыкова-Мызина] || [https://t.me/Yanlightv Яна Вежновец] || [https://t.me/nol_erk Кирилл Лавриненко]
|-
|| Ассистент курса ||colspan="11"| [https://t.me/Nick_Volya Никита Волянский]
|}

== Цели и задачи курса ==

侍には目標がなく道しかない [Samurai niwa mokuhyō ga naku michi shikanai]

У самурая нет цели и ничего кроме пути.

Вероятный план:
<div class="mw-collapsible mw-collapsed" style="width:1000px; overflow: hidden;">
1. Дискретное вероятностное пространство. Вероятность, математическое ожидание, теоретическая медиана.
Перестановочные тесты, p-значение для перестановочного теста.
Математическое ожидание = центр масс.

NB: здесь сходу рисуем дерево
NB: здесь нет задач на условную вероятность

!предупреждение об обозначениях случайных величин.
Российская традиция — греческие буквы, американская традиция — заглавные английские буквы.
Наш курс: любые буквы. Причина: теория вероятностей применяется в разных областях, где свои традиции.

NB: Способы вычисления вероятностей и ожиданий:
* полный перебор руками
* примерные вычисления руками
* полный перебор на компьютере
* симуляции на компьютере
* ...

2.
Методы решения задач:
* разложение величины в сумму
* метод первого шага
!идея: позиция в игре имеет цену
* just for fun: метод рычага в геометрии через ожидание
NB: рассказать здесь про комплексную случайную величину
NB: по сути здесь мы уже решаем задачи на марковские цепи не говоря страшных определений
LOTUS.

3. Условная вероятность и условное ожидание.
!идея: зануляем вероятности невозможных событий, а остальные — масштабируем.
формула полной вероятности
!идея: дерево "помнит" формулу полной вероятности
формула Байеса

Независимые события.
Независимые случайные величины.

4.
Методы решения задач:
* производящие функции многих переменных
функция как способ записать множество
HTT vs TTH
ABRACADABRA
!разложение по биномиальной формуле

?: можно здесь успеть функцию производящую моменты

5.
Биномиальное распределение.
Геометрическое и гипергеометрическое распределения.
Отрицательное биномиальное распределение.

6.
Равномерное распределение на множестве в R^n
Функция распределения.
Функция плотности и вероятностная дифференциальная форма.
!пояснение про неудачную традиционную терминологию "непрерывная случайная величина"
величина с функцией плотности, величина с непрерывной функцией распределения.

Квантили, квантильная функция.

7. Характеристики случайных величин и неравенства.
Дисперсия.
Энтропия.
Неравенство Маркова.
Неравенство Чебышёва.
Неравенство Йенсена.

Здесь конец модуля 1 и КР-1!

8. Пуассоновский поток.
Аксиомы пуассоновского потока.
Вывод экспоненциального распределения и пуассоновского распределения из аксиом.
Вывод экспоненциального распределения из предпосылки об отсутсвии памяти.

9. Нормальное распределение.
Нормальное распределение: предпосылки Хершела-Максвелла.
Нормальное распределение: аргументация Гаусса за среднее арифметическое.
Нормальное распределение: предпосылки Лэндона (до уравнения в частных производных).

10. Классические непрерывные распределения.

Гамма-распределение, бета-распределение.
Вывод нормального и экспоненциального распредений как минимизации энтропии.

11. Парные характеристики случайных величин.
Наилучшая линейная аппроксимация.
Ковариация.
Корреляция.
Кросс-энтропия.

Доказательство E(XY) = E(X) E(Y) для дискретных.
Ковариационная матрица и ожидание для случайных векторов.

12. Совместная и условная функция плостности.
Преобразования случайных величин.

13. Функция производящая моменты и характеристическая функция.
Распределение суммы случайного количества случайных величин.
Случайный выбор слагаемых.

14. Финансовые приложения

Оценивание опционов на биномиальном дереве.
Максимизация долгосрочной прибыли, связь с энтропией.
Возможно, индексы Гиттинса.

Здесь конец модуля 2 и КР-2

15. Сигма-алгебры.

Список известных величин как способ описания информации.
Идея условного ожидания как оптимального прогноза.
Сигма-алгебра как способ описания информации.
Измеримость случайной величины относительно сигма-алгебры.
Сигма-алгебра как ОДЗ для вероятности.
Борелевская сигма-алгебра.
Независимые случайные величины второе определение.

16. Условное математическое ожидание.
Условная дисперсия.
Сумма случайного количества случайных величин.

17. Сходимости случайных величин.

Сходимость по вероятности.
Закон больших чисел.
Сходимость почти наверное.
Усилинный закон больших чисел.
Сходимость по распределению.

18. Связь сходимостей.
Лемма Слуцкого.

19. Центральная предельная теорема.
Доказательство через подмену слагаемых.
Доказательство через характеристические функции.

Здесь контрольная.

20. Винеровский процесс
Условные ожидания, инверсия.

21. Байесовский подход к оцениванию параметров

Балансовое уравнение. Идея MCMC.

22. Доказательства свойств меры

23. Алгоритм построения математического ожидания в общем случае.
Лемма Фату.
Теорема о мажорируемой сходимости.
Теорема о монотонной сходимости.

24. Резерв.

Жемчужинки, которые, вероятно, не успеем:

А. Методы решения задач:
подсчёт случаев с помощью леммы Бернсайда и теоремы Пойа о перечислении
(Burnside lemma, PET = Polya Enumeration Theorem)

B. вероятностные доказательства детерминистических теорем

</div>

== Оценивание ==

Оценка за семестр-1 = 0.2 Домашние задания семестра-1 + 0.4 Контрольная-Альфа + 0.4 Экзамен-Бета.

Финальная оценка за курс = 0.5 Оценка за семестр-1 + 0.1 Домашние задания семестра-2 + 0.2 Контрольная-Гамма + 0.2 Экзамен-Дельта.

Каждая оценка (суммарные итоги за домашние задания, контрольные, экзамены) — целое число от 0 до 100.
Для перевода в 10-балльную шкалу промежуточной оценки за семестр-1 и финальной оценки используется деление на 10
с арифметическим округлением. Например, если Максим получил "оценку за семестр-1" 65 баллов, то в ведомость за первый семестр идёт 7, а далее в формуле финальной оценки за курс используется 65.

=== Домашние задания для самураев ===

Домашние задания [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/home_assignments/home_assignments.pdf одним файлом] и [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/blob/main/home_assignments/ отдельными файлами].
Домашние задания имеют равный вес.
В конце каждой лекции (за исключением ближайших к экзамену лекций)
выдается домашнее задание сроком на две недели.
Дедлайн жёсткий, однако студент имеет право просрочить три домашних задания на неделю каждое без штрафа.

Формат сдачи ДЗ: один pdf-файл (решение текстовых задач) и один ipynb-файл (решение компьютерных задач).
В pdf-файл можно поместить аккуратно написанное отсканированное решение, а можно скомпилировать pdf из теха или маркдауна.
Ещё можно вместо pdf-файла написать всё в ipynb.
Бонусов за сдачу домашки в техе нет. Пример [https://www.overleaf.com/read/qmrkwpzvmqbk шаблона].

Обратите внимание: '''время каждого дедлайна — 23:59'''.

=== Ведомость с оценками за ДЗ ===

{| class="wikitable" style="text-align:center"
|-
! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1872081500#gid=1872081500 235] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1374497930#gid=1374497930 236] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1183164252#gid=1183164252 237] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=408179311#gid=408179311 238] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1032422408#gid=1032422408 239] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1603236891#gid=1603236891 2310] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=791330236#gid=791330236 2311] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=23847300#gid=23847300 2312]
|}

[https://docs.google.com/spreadsheets/d/14hD7-SLmAA1omdkhPlt3blRHDHVGTDS8ZgvLWscvMz8/edit?usp=sharing Сводная ведомость всех оценок]

=== Контрольные работы и экзамен ===

Вес каждой задачи будет написан в тексте работы.
Задачи с ненаписанным по случайности весом имеют равный вес.
Для пропущенных по уважительной причине контрольных будет выделен один день для переписывания.
При пропуске дня переписывания, в том числе по уважительным причинам, ещё одного шанса не предоставляется.

<div class="mw-collapsible mw-collapsed" style="width:1000px; overflow: hidden;">

'''Контрольная работа 1''' состоится 2024-11-11 в 16:20, аудитории: R401, R305, R206, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_halloween_demo/exam_halloween_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/midterm/midterm-alpha.pdf условие с критериями и решениями].

'''Резервный день 1''' для пропустивших по уважительной причине состоится 2024-12-02 в 19:40, R405

'''Показ контрольной 1''':

* задачи 1, 2: заочно до 2024-12-08, [https://t.me/Moskchan Вероника]
* задачи 3, 4 [https://t.me/boris_demeshev Борис], очно, четверг, 2024-12-05, 18:10-21:00, G408
* задачи 5, 6 [https://t.me/XuMuK_MK Максим]: очно, четверг, 2024-12-05, 18:10-21:00, G408

'''Экзамен, модуль 2''' состоится '''''2024-12-24 в 10:00''''', аудитории R301, R304, R401, R404, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_winter_demo/exam_winter_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/december/pmi_probab_2024_december.pdf условие].

Если вы не хотите идти на экзамен, то заполните [https://forms.gle/UQzW77RrPvcdahG47 эту форму], чтобы получить ноль при неявке

'''Апелляция экзамена''':

* задачи 1, 2: заочно [https://t.me/goluba_yurieva Голуба], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/december/exam_problem_1-2.pdf решения и критерии 1, 2];
* задачи 3, 4: очно 2025-01-11, аудитория R408, 14:40-17:40 [https://t.me/madn_boi Никита], [https://www.overleaf.com/read/dnhjcdrndqps#42f1ab решения и критерии 3, 4];
* задачи 5, 6: заочно [https://t.me/levensons Илья]

* дедлайн по заочным апелляциям: суббота 23:59

[https://docs.google.com/spreadsheets/d/1mxMCr3IEDy8EPFWGkn3_dsghhPNcZICEw9C9o5ZoZvA/edit?usp=sharing Распределение по аудиториям]

</div>

Даты пересдач: 2025-01-28 в 18:10, 2025-02-03 в 18:10 и комиссия 2025-02-11 в 18:10.

* задачи 1, 2: [https://t.me/goluba_yurieva Голуба], задачи 3, 4: [https://t.me/madn_boi Никита], задачи 5, 6: [https://t.me/levensons Илья], апелляция пересдачи 2 до 21:00 2025-02-10.

'''Контрольная, модуль 3''' состоится 2025-02-22 в 16:20, аудитории R201, R204, R404, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_galileo_demo/exam_galileo_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_galileo/pmi_probab_galileo_exam_2024-2025.pdf условие].

[https://docs.google.com/spreadsheets/d/1LZA-7TDz_yYeVPRx4BpBWJnQKZ7wqPgHDrN-Z0SM68M/edit?usp=sharing Распределение по аудиториям]

'''Контрольная, модуль 3, резервный день''': 2025-03-07, пятница, 18:10, R204

'''Экзамен, модуль 3''' состоится '''2025-03-28''' в 14:40, аудитории R201, R301, R404, R405, демо, условие.

== Учебные материалы ==

[https://github.com/bdemeshev/probability_pro/raw/master/probability_pro.pdf PP]: Листки с задачами к курсу.

[https://github.com/bdemeshev/probability_dna/raw/master/probability_dna.pdf PDNA]: Вероятностная ДНК = вкусные задачи по теории вероятностей.

[https://disk.yandex.ru/d/LZ6d2VZVqYvbDQ Видео-летопись семинаров и лекций] и [https://hse.liferooter.dev/ конспект] от тайного благожелателя (updated 2024-10-23]

[https://disk.yandex.ru/d/IoakBXz_6yygPw Официальные видео]

[https://www.cambridgeinternational.org/Images/344616-list-of-formulae-and-statistical-tables.pdf Cambridge statistical tables]

== Дневник самурая ==

2024-09-02, лекция 1: Определение события. Определение случайной величины. Аксиомы вероятности. Определение математического ожидания для дискретного случая.
Линейность математического ожидания. Математическое ожидание как центр масс. Первое знакомоство с перестановочным тестом и p-значением.

Можно глянуть: главы 2.1 и 7 из [https://arxiv.org/pdf/1411.5279 WTSK], метод рычага [https://mathcircle.berkeley.edu/sites/default/files/archivedocs/2007_2008/lectures/0708lecturespdf/MassPointsBMC07.pdf в геометрии].

2024-09-09, лекция 2: Метод первого шага (вероятность выпадения HTH ранее HHT, ожидаемое количество шагов). Метод разложения случайной величины в сумму. Определение случайного вектора. Использование интерпретации ожидания как центра масс в геометрии. Определение теоретической медианы.

Можно глянуть: глава 2.7.2 из [https://projects.iq.harvard.edu/stat110/home BItP], три стратегии решения задачи за 10 минут [https://www.youtube.com/watch?v=xH89DaEI35w Visually Explained]

2024-09-16, лекция 3: Получение новой информации приводит к пересчёту вероятностей. Определение условной вероятности. Формула полной вероятности. Формула Байеса.
Условное математическое ожидание. Формула полного математического ожидания. Независимость пары событий. Независимость набора событий в совокупности.
Независимость величин: неформальное определение. Критерий независимости произвольных величин. Критерий независимости дискретных величин.

2024-09-23, лекция 4: Доказательство критерия независимости для дискретных случайных величин: из независимости {X=x} и {Y=y} следует независимость {X in A} и {Y in B}. Независимость величин равносильна E(f(X))E(g(Y))=E(f(X)g(Y)) для произвольных f, g. Определение биномиальной, геометрической (как числа неудач до 1го успеха) и отрицательной биномиальной случайной величины. Общая идея за производящими функциями: как из функции, производящей исходы эксперимента, с помощью производных и подстановок выудить индивидуальные вероятности, совместные вероятности, ожидания любой степени E(X^a), E(X^a Y^b). Формальное определение функции, производящей вероятности, и функцию, производящей моменты, для одной случайной величины и пары случайных величин. Метатеорема: все теоремы о дискретных величинах доказываются перестановкой слагаемых. Основные дискретные распределения: биномиальное, геометрическое, отрицательное биномиальное.

2024-09-30, лекция 5: Ещё дискретные законы распределения: гипергеометрическое. Описание закона распределения через равномерное распределение на подмножестве R^n.
Функция плотности как линейная часть вероятности попадания в отрезок. Равномерное распределение на отрезке. Смешанные случайные величины. LOTUS: нахождение ожидания любой функции от случайной величины для величин с функцией плотности и смешанных величин. Функция распределения. Квантильная функция.

2024-10-07, лекция 6: Две геометрии случайных величин и событий: E(XY) как скалярное произведение, Cov(X, Y) как скалярное произведение. Математическое ожидание — проекция в рамках геометрии, задаваемой E(XY). Определение и геометрический смысл дисперсии, стандартного отклонения, ковариации и корреляции. Неравенство Маркова. Неравенство Чебышёва. Неравенство Йенсена: интуитивный смысл.

2024-10-14, лекция 7: Доказательство неравенства Йенсена. Энтропия как минимальное ожидаемое число вопросов для отгадывания и формальное определение. Кросс-энтропия.
Доказательство того, что кросс-энтропия больше либо равна энтропии. Совместная энтропия. Условная энтропия. Формула H(X) + H(Y|X) = H(X, Y) без доказательства.
Вывод плотности экспоненциального распределения из предпосылки отсутствия памяти. Экспоненциальное распределение максимизирует энтропию при заданном ожидании и неотрицательности.

* Cristopher Olah, Visual Information Theory, https://colah.github.io/posts/2015-09-Visual-Information/

* Grand Sanderson, Solving Wordle using information theory, [https://www.youtube.com/watch?v=v68zYyaEmEA youtube].

* Artem Kirsanov, Key equation behind probability, [https://www.youtube.com/watch?v=KHVR587oW8I youtube]. У Артёма кросс-энтропия обозначена H(P, Q), а не CE(P||Q)).

* [https://exuberant-arthropod-be8.notion.site/1-02-09-5e107ea1c4054594b8f37d955db8a2b0 Конспект] аналогичной старой лекции псмо на русском.

* Keith Conrad, [https://kconrad.math.uconn.edu/blurbs/analysis/entropypost.pdf Maximal entropy] distributions.

2024-10-21, лекция 8: Ковариационная матрица и её свойства. Совместная функция плотности. Условная функция плотности. Критерий независимости в терминах функций плотности и распределения.
Связь индивидуальной и совместной функций плотности и функций распределения. Смена плотности при замене переменных: домножение на якобиан и неформально про дифференциальные формы. Формула свёртки.
Разложение совместной плотности для графической модели. Представление произвольной совместной функции распределения с помощью копулы.

* Про дифференциальные формы: [https://www.youtube.com/watch?v=PaWj0WxUxGg&list=PL22w63XsKjqzQZtDZO_9s2HEMRJnaOTX7 videos] by Michael Penn, [https://www.math.purdue.edu/~arapura/preprints/diffforms.pdf short intro] by Dony Arapura

* What is a convolution от [https://www.youtube.com/watch?v=KuXjwB4LzSA 3b1b]

* From graphical models to [https://www.youtube.com/watch?v=yBc01ZeaFxw&list=PLISXH-iEM4JlFsAp7trKCWyxeO3M70QyJ Probabilistic ML]

2024-11-11, лекция 9: Пуассоновский поток: аксиомы. Вывод пуассоновского распределения количества событий и экспоненциального времени между событиями из аксиом.
Сумма независимых пуассоновских потоков — это пуассоновский поток (половина доказательства). Вероятность того, что одна экспоненциальная величина будет меньше другой, независимой.

2024-11-18, лекция 10: Гамма-распределение как сумма нескольких экспоненциальных: вывод плотности через вероятность попадания в малый отрезок.
Обобщение плотности на случай положительного параметра $a$. Гамма-функция. Бета-распределение как отношение гамма-распределений. Бета-функция.

2024-11-25, лекция 11: Вывод нормального распределения из предпосылок Гаусса. Вывод нормального распределения из предпосылок Гершеля — Максвелла.

* Saul Stahl, The [https://www.researchgate.net/publication/255668423_The_Evolution_of_the_Normal_Distribution Evolution] of the Normal Distribution: вывод Гаусса с историей.

* Grand Sanderson, [https://www.youtube.com/watch?v=cy8r7WSuT1I Why pi] is in the normal? вывод Гершеля—Максвелла

* James Stein, [http://www-biba.inrialpes.fr/Jaynes/cc07s.pdf Normal Distribution]: глава про нормальное распределение (Гаусс, Гершель—Максвелл, Лэндон etc)

* William Herschel, [https://music.yandex.com/album/209394/track/2121214 концерт для габоя]

* William Herschel, [https://www.informationphilosopher.com/solutions/scientists/quetelet/Herschel_Quetelet_Probabilities.pdf On the theory of Probabilities]: вывод нормального распределения словами на стр. 189-191

2024-12-02, лекция 12: многомерное нормальное распределение. Функция плотности невырожденного многомерного нормального. Функция производящая моменты для многомерного нормального. Формула Иссерлиса с ненулевыми ожиданиями и доказательством. Условное распределение: вывод условного ожидания и условной дисперсии через разложение величины в сумму независимых.

* [https://stats.stackexchange.com/questions/30588/ альтернативный вывод] условного многомерного нормального распределения
* Хитрый [https://github.com/bdemeshev/lis-isserlis/raw/main/lis-isserlis.pdf лис Иссерлис]

2024-12-09, лекция 13: сходимость по распределению, центральная предельная теорема с доказательством подменой слагаемых.

* Calvin Chin [https://arxiv.org/pdf/2106.00871 CLT proof] by swapping
* [https://bdemeshev.github.io/teaching_notes/clt_by_swapping Пересказ доказательства]

2024-12-16, лекция 14: использование бесконечно малых при нахождении ожиданий, трюк с добавление параметра, трюк с закольцовыванием отрезка при равномерном распределении.

2025-01-13, лекция 15: Неединственность предела по распределению. Неаддитивность предела по распределению. Предел по вероятности. Закон больших чисел в слабой форме (с доказательством при дополнительной предпосылке о конечности дисперсии). Теорема о непрерывном отображении.

2025-01-20, лекция 16: два определение сходимости почти наверное с доказательством эквивалентности. Сходимость в Lp. Из сходимости в Lp при p>=1 следует сходимость по вероятности. Из сходимости почти наверное следует сходимость по вероятностям. Контр-пример к разнице сходимостей почти наверное и по вероятности. Контр-пример к разнице сходимостей в Lp и по вероятности. Усиленный закон больших чисел (без доказательства). Леммы Слуцкого (без доказательства).

2025-01-27, лекция 17: характеристические функции и их свойства. Вывод характеристической функции нормального стандартного распределения через дифференциальное уравнение. Характеристическая функция биномиального распредеделения. Второе доказательство ЦПТ (через характеристические функции).

* [https://web.ma.utexas.edu/users/gordanz/notes/characteristic.pdf Gordan Zitkovic]: characteristic functions
* [https://sas.uwaterloo.ca/~dlmcleis/s901/chapt6.pdf McLeish]: clt proof

2025-02-03, лекция 18: пример последовательности сходящийся по вероятности с ожиданием стремящимся к бесконечности. Критерий Кэлли. Критерий оптимальной остановки Брасса.

* [https://en.wikipedia.org/wiki/Kelly_criterion wikipedia]: Kelly criterion
* [https://projecteuclid.org/journalArticle/Download?urlId=10.1214%2Faop%2F1019160340 Bruss]: sum the odds to one and stop

2025-02-10 лекция 19: Сигма-алгебра порождённая случайной величиной или набором из нескольких случайных величин. Замкнутость относительно счётного количества операций с множествами. Сигма-алгебра. Объединение сигма-алгебр не всегда сигма-алгебра. Пересечение сигма-алгебр всегда сигма-алгебра. Измеримость суммы. Борелевская сигма-алгебра.

2025-02-18, лекция 20: [https://us06web.zoom.us/j/82685613040?pwd=bqJoXGItwNOOWddXj1flfmPmDn6fMQ.1 онлайн, 18:10]

2025-02-24, лекция 21:

2025-03-03, лекция 22: Определение фильтрацию. Определение момента остановки. Сигма-алгебра на момент остановки. Определение мартингала.
Формулировка теоремы Дуба об остановке мартингала. Задача о макаке, печатающей слово "абракадабра".

2025-03-10, лекция 23: Два контр-примера к теореме дуба. Доказали теоремы Дуба для случая ограниченного момента времени. Тождество Вальда: формулировка и доказательство. Определение броуновского движения с явным упоминанием фильтрации и без. Ковариационная функция Cov(Ws, Wt).

=== Семинары ===

==== 473 = 235 + 238 ====

2024-09-02, 06, семинар 1: задачи 1.1, 1.6, 3.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-09, 13, семинар 2: задачи 2.1, 2.3, 12.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-16, 20, семинар 3: задачи 7.12 и 7.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-23, 27, семинар 4: как извлечь P(X=3), E(X), E(X^2Y) из функции, производящей список исходов, 28.16 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-30, -10-04, семинар 5: 9.3в, 9.4, 9.7(абвд, кроме дисперсии, аргументы масштабирования и центра масс помимо интегралов), 9.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-10-07, 11, семинар 6: вычисление Cov, Var, Corr по табличке и из функции плотности, нахождение дисперсии для отрицательного биномиального распределения по свойствам.

2024-10-14, 18, семинар 7: вычисление энтропии геометрического распределения. Изменение энтропии при линейном преобразовании для дискретной величины и величины с функцией плотности.
Кросс-энтропия из экспоненциального в равномерное. Условная энтропия для дискретной таблички. Связь энтропии величины с функцией плотности и энтропия дискретной версии этой случайной величины после "огрубления" с малым шагом 1/k.

2024-10-21, -11-01, семинар 8: 16.18, 16.23 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], свёртка двух экспоненциальных величин

2024-11-11, 15, семинар 9: задачи на пуассоновский поток из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-11-18, 22, семинар 10: задачи на бета и гамма-распределение

2024-11-25, 29, семинар 11: задачи на нормальное распределение, 18.1, 18.2, 18.3, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-02, 06, семинар 12: задачи на многомерное нормальное: 24.16аб, 24.17аб, 24.18, 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-09, 13, семинар 13: ЦПТ и нормальное распределение: 20.2, 20.4, 18.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-19, семинар 14: разбор демо

2025-01-13, семинар 15: сходимость по вероятности: 20.1, 20.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-20, 24, семинар 16: связь между сходимостями, 20.11, 20.13 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-27, 31, семинар 17: 28.17, 28.18, 28.21 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-03, 07, семинар 18: 28.20аб, 28.22 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-10, 14, семинар 19: 6.2, 6.3, 6.11, измеримость произведения из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-03-03, 10, семинар 22: доказали, что сигма алгебра, порождённая моментом остановки, лежит внутри сигма-алгебры событий на момент остановки.
Вероятность достижения границы -а раньше границы +b и среднее время достижения одной из этих границ для классического случайного блуждания.
Преобразование несимметричного случайного блуждание St в мартингал с помощью exp(alpha St).

2025-03-10, 14, семинар 23: решение двух классических задач с помощью мартингалов: [https://en.m.wikipedia.org/wiki/Bertrand%27s_ballot_theorem задача о голосовании], [https://math.dartmouth.edu/~pw/papers/gpdp.ps "следующая карта — красная"].

==== 236 ====

2024-09-06, семинар 1: в начале семинара рассмотрели основные понятия и определения для решения задач. Решили задачи 1.1, 1.6, 3.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-13, семинар 2: нашли ожидание случайной величины с геом. распределением. Решили задачи 2.1, 12.6, 12.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-09-20, семинар 3: решили задачи 7.12, 7.4(а), 7.7, 7.13(а) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-09-27, семинар 4: разобрали 7.13, почти разобрали 28.3 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Также рассмотрели один контрпример на независимость(тетраэдр Бернштейна).

2024-10-04, семинар 5: разобрались с определениями, решили 9.3(абв), 9.7(аб) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Решили задачку про три точки на отрезке и найти вероятность получить треугольник. Также вывели формулу для мат. ожидания неотрицательной величины через функцию распределения.

2024-10-14, семинар 6: обсудили дисперсию, ковариацию, коэффициент корреляции и их геометрический смысл. Решили задачу на оценку дисперсии ограниченной величины. посчитали дисперсию геометрического, биномиального. Посчитали дисперсию в задаче о письмах и конвертах.

???, семинар 7: определили энтропию, посчитали примеры для дискретных величин, для линейных преобразований. Доказали, что задача максимизации энтропии с фиксированной дисперсией достигается на нормальном распределении.

???, семинар 8: свертка двух экспоненциальных, 16.18 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

???, семинар 9: задачи на пуассоновский процесс из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

???, семинар 10: разбор кр.

???, семинар 11: разобрали задачи на нормальное распределение 18.1, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Также считали распределение суммы двух независимых нормальных.

==== 237 ====

2024-09-09, семинар 1: задачи 1.1, 2.2 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], вероятность что n ладей не бьют друг друга при случайной расстановке на шахматной доске n на n, матожидание числа треугольников в случайном графе на n вершинах через сумму индикаторов

2024-09-13, семинар 2: задачи 2.1, 2.6, 12.3, 12.6, 12.7 (без дисперсий) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-23, семинар 3: задачи 7.2, 7.13, 7.7, 7.8, плюс начали 7.15b (получили неверный ответ) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-27, семинар 4: дорешали 7.15b с небольшой демонстрацией на питоне, разобрали 28.2 для нечестной монетки плюс посчитали матожидание [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-10-04, семинар 5: задачи 9.1, 9.3абв, 9.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], философия про то почему бОльшая плотность не всегда означает бОльшую вероятность оказаться в окрестности данной точки (плотность может занимать слишком маленький объем)

2024-10-11, семинар 6: вспомнили определения Cov/Var/Corr, посчитали у пары дискретных величин по табличке вероятностей, посчитали дисперсию у биномиального, геометрического, непрерывного равномерного на отрезке.

2024-10-18, семинар 7: вычисление энтропии геометрического распределения; ограниченность энтропии снизу и сверху в дискретном случае; изменение энтропии при линейном преобразовании для дискретной величины и величины с функцией плотности; условная энтропия, KL дивергенция и кросс-энтропия, неотрицательность KL, интерпретация на пальцах с точки зрения теории информации.

2024-11-01, семинар 8: 16.18, 16.23 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], свёртка двух экспоненциальных величин

2024-11-08, семинар 9: решали пробный вариант КР

2024-11-15, семинар 10: 13.1, 13.2, 13.5, 13.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-11-22, семинар 11: разбор КР

2024-11-29, семинар 12: нормальное распределение, 18.1, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-06, семинар 13: многомерное нормальное распределение, изменение среднего и матрицы ковариаций при линейном преобразовании, 24.4а, 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-13, семинар 14: 24.4в из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], сходимости случайных величин, ЗБЧ и ЦПТ, 20.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-21, семинар 15: наследование сходимости, 20.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], плюс доказали предельную теорему Пуассона

2025-01-28, семинар 16: связь между сходимостями, 20.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], лемма Слуцкого, подмена дисперсии на выборочную дисперсию в ЦПТ

2025-02-04, семинар 17: базовые свойства хар функций, хар функция суммы независимых величин, 28.17, 28.20 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-18, семинар 18: вероятностное пространство в общем случае, сигма-алгебры, борелевская сигма-алгебра, сигма-алгебра порожденная случайной величиной, измеримость случайной величины относительно сигма-алгебры, 6.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], задачи на сигма алгебры из пробника КР

2025-02-25, семинар 19: условное матожидание относительно сигма алгебры, условное матожидание и дисперсия относительно случайной величины, закон полного матожидания и закон полной дисперсии, 22.1, 22.3, 22.5абв из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-03-04, семинар 20: показали, что условное матожидание минимизирует среднеквадратичный риск; нашли условное матожидание и условную дисперсию в 22.6 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], нашли E[X | X^2] для симметричного равномерного распределения, нашли E[X_1 | X_1 + ... + X_n] для набора i.i.d. величин, нашли E[Y] и Var(Y) для Y|X имеющего экспоненциальное распределение с параметром X

==== 239 ====

2024-09-03, семинар 1: задачи 1.1, 1.4, пытались 1.8 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Ещё успели посчитать вероятность N=k бросков монеты до выпадения первого орла, матожидание N. И ещё сделали то же для количества бросков до выпадения 3 орлов (не в серии).

2024-09-10, семинар 2: доказали формулу включения-исключения, решили несложную задачу, порешали 2.7 задачи типа 12.*

2024-09-17, семинар 3: Решили две прямых задачи на формулу Байеса и формулу полной вероятности (без большого количества вычислений). Решили задачу поиска вероятности неисправного кофе-автомата из 3 при условии, что бросили деньги в 1 и 2 и их зажевало. Ещё нашли вероятность, что мяч будет у игрока 3 после шага 10 (все садятся в круг и на каждом шаге бросают мяч соседу с вероятностью 0.3 и оставляют у себя с вероятностью 0.4).

2024-09-24, семинар 4: Вспомнили про метод первого шага, используя формулу полной вероятности и введя в некотором виде формулу полного матожидания, записали формулу для вероятностей нахождения в состоянии i через произведение переходной матрицы на вектор. Совсем немного начали производящие функции, но решили не считать 31ю производную многочлена.

2024-10-01, семинар 5: Исследуем дискретные случайные величины (Биномиальная, Геометрическая и разные похожие) с использованием техник вычислений моментов через производящую функцию. Задачи на распределения величин, посчитанных по набору величин. Первая большая задача про плотность.

2024-10-08, семинар 6: разминочная про плотность и функцию распределения. Считаем дисперсию, ковариацию и корреляцию по 2x2 таблице и в равномерном распределении на круге и квадрате [-1,1]х[-1,1].

2024-10-15, семинар 7: пара задач про экспоненциальное распределение, расчёты по теории информации(считаем всякое, чтобы привыкнуть).

2024-10-22, семинар 8: письменные источники не сохранились до наших дней. Согласно преданиям, оьсуждали двери и около контрольной. Говорят, ввели пуассоновский процесс.

2024-???, семинар 9: решаем задачи на пуассоновское в разных формах и обсуждаем омалые в порядковых статистиках.

2024-???, семинар 10: учимся интерпретироввть гауссовское, пользоваться таблицами для функции Лапласа, а также немного работать с многомерным гауссовским.

2024-3-12, семинар 11: Копаем во все стороны многомерное гауссовское: считаем вероятности для линейных комбинаций гауссовских, проверяем зависимость, вычисляем условные законы, матожидания и ковариационные матрицы, вспоминаем спектральное разложение и разложение Холецкого.

==== 2311 ====

2024-09-06, семинар 1: вероятностное пространство, вероятность на нем, вероятность события, случайная величина и ее распределение (индикатор события, сумма двух кубиков, число бросаний монетки до первого орла), матожидание случайной величины (индикатор, один кубик, два кубика), линейность матожидания. Задачи на линейность матожидания, в том числе ЕГЭшная задача про турнир, 1.5, 3.5 с допвопросом о матожидании числа совпадений. Разговор о получении события произвольной вероятности монеткой в контексте 1.8

2024-09-13, семинар 2: Повторили матожидание суммы на примере 12.3. Обсудили условную вероятность и формулу полной вероятности, условное матожидание, решили задачи на метод первого шага 2.1, 2.3, 2.7.

2024-09-20, семинар 3: Условная вероятность, формула полной вероятности, формула Байеса: 7.1, классическая задача про болезни и тесты, простейшие задачки на общее понимание, обсуждение двух подходов: вычисления условной вероятности по формуле и составления нового вероятностного пространства и подсчет вероятности в нем. Независимые события (события "пики" и "дама" в обычной колоде и колоде с джокерами), независимые в совокупности события, построили пример попарно независимых, но не независимых в совокупности. Обсудили биномиальное распределение. решили задачу: "в корабле к отсеков, чтобы корабль затонул, нужно поразить 2. Независимо выпускают n ракет, каждая из которых поражает случайный отсек с вероятностью p. Найти вероятность потопления корабля"

2024-09-20, семинар 4: Примеры одинаково распределенных зависимых СВ, независимые СВ. Производящая функция и ее свойства. Посчитали для биномиального производящую функцию и второй момент. Обсудили, что будет меняться в случае функции, производящей моменты. Обсудили функцию, производящую множество исходов, как из нее доставать уже известные функции, как ее искать на примере бросания монетки до выпадания HT

2024-10-11, семинар 5: Составили табличку стандартных дискретных распределений, посчитали матожидание геометрического, обсудили дисперсию и ковариацию и их свойства (в дискретном случае), досчитали дисперсии основных распределений. Обсудили вероятностное пространство в общем случае, понятие СВ в общем случае. Дали определение ФР, посчитали ФР для явно заданной СВ. Дали определение плотности.

2024-10-12, семинар 6: Обсудили свойства ФР, как считать вероятность попадания в промежуток в терминах ФР. Выразили ФР 1/X, cos X. Обсудили как выражается веротяность попадания в множество через плотность. для 1/Х выразили плотность в случае абсолютной непрерывности Х. Обсудили формулу для МО в общем виде через интеграл Стильтьеса и как вычислять МО для функции, разлагающейся в сумму абсолютно нерпрерывной и функции скачков, посчитали МО для пары таких СВ

2024-10-18, семинар 7: Обсудили геометрию, заданную скалярным произведением EXY и cov(X,Y), поиск ортогонального элемента и проекции. Посчитали энтропию и кросс-энтропию в дискретном и непрерывном случаях, посчиали совместную и условную энтропию в дискретном случае (23.2, 23.4, 23.9)

2024-11-01, семинар 9: Совместная плотность и ф.р., подсчет вероятностей, маргинальные плотности, замена переменной через якобиан, свертка, матожидание

2024-11-09, семинар 10: Условная плотность, формула условной вероятности. Задача на восстановление маргинальной плотности по условной. Разбор задач из "Летучей мыши"

2024-11-19, семинар 11: Разбор контрольной работы

2024-11-22, семинар 12: Пуассоновский поток - решали задачки из задачника

2024-11-29, семинар 13: Нормальное распределение - задачи из PP, повторили функцию, порождающую моменты, обсудили ее свойства в абсолютно непрерывном случае

2024-12-06, семинар 14: Многомерное нормальное - обсудили два определения, связь между ними, независимость элементов нормального вектора при нулевой ковариации и почему это неверно для произвольных нормальных. порешали задачи 24.9а, 24.10, 24.17

2024-12-013, семинар 15: ЦПТ, решали задачи из задачника

2025-01-17, семинар 16: Сходимости почти наверное и по вероятности, связь со сходимостью по распределению. Посмотрели стандартные контрпримеры, показали, что если есть сходимость по распределению к константе, то есть и по вероятности. ЗБЧ Чебышева и Хинчина, УЗБЧ Колмогорова, обсудили 20.1 сколько успели.

2025-01-24, семинар 17: Сходимость в L_p, связи между сходимостями. Задача 20.11

2025-01-24, семинар 18: Характеристические функции и их свойства. Посчитали хар функции для равномерного, Бернулли, биномиального, Пуассона, экспоненциального. Показали, чо сумма нормальных нормальна. По функции пытались понять, может ли она быть характеристической и восстанавливали с.в.

==== 2310, 2312 ====

2024-09-06, семинар 1: задача 1.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Определили вероятностное пространство в виде тройки, множество исходов рассматривали конечное и счётное. Решили 3 счётные задачи на комбинаторику про колоды карт и счетные последовательности цифр. Привели геометрическое и аналитическое решения задачи про нахождение предела последовательности вероятностей. В конце нашли математическое ожидание геометрически распределённой случайной величины.

2024-09-13, семинар 2: задача 2.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Задача на упорядоченные и неупорядоченные наборы. Задача про классическое вероятностное пространство и про пространство с неравновероятными исходами. Разобрали парадокс Монти Холла. Ввели понятия условной вероятности и независимых случайных величин. Сформулировали и обсудили идеи доказательств трёх теорем: теорема умножения вероятностей, формула полной вероятности и формула Байеса.

2024-09-20, семинар 3: Решили задачу на определение условной вероятности. Обсудили парадокс теоремы Байеса на примере задачи про редкое заболевание, а также посмотрели простую программу на Python, которая считает вероятность в зависимости от количества проведенных тестов на заболевание. Обсудили условное математическое ожидание, некоторые его свойства и рассмотрели пример с подбрасыванием кубика. В конце решили задачу на парадокс дней рождений.

2024-09-27, семинар 4: Обсудили коллизии хеш-функций и связь с атакой "дней рождений". Определили независимость или зависимость случайных величин в четырёх разных вариантах. Обсудили, что неверно утверждать, что матожидание частного независимых случайных величин равно частному матожиданий, также привели пример использования подобного факта в некоторых статьях. В конце решили задачу на поиск функции производящей исходы, а также нашли E(X), E(Y^2), E(XY) с помощью найденной функции.

2024-10-04, семинар 5: Решили две простые задачи на условную вероятность и на теорему об умножении вероятностей. Обсудили связь дерева событий с условной вероятностью и теоремой об умножении вероятностей. Нашли производящую функцию моментов для геометрически распределенной случайной величины и с помощью нее нашли матожидание. Нашли производящую функцию моментов и матожидание суммы случайного количества н.о.р случайных величин.

2024-10-11, семинар 6: Привели аналогии между дискретными и непрерывными случайными величинами. Нарисовали графики функций от случайных величин. Вспомнили определение и свойства дисперсии. Решили простую задачу на подсчет дисперсии и нашли дисперсию геометрически распределенной случайной величины. Обсудили, когда может быть матожидание и дисперсия бесконечны. Далее вспомнили неравенства Маркова и Чебышева, вывели следствия и решили 3 задачи на применение этих неравенств. Обсудили, что неравенство Маркова может давать как точную оценку, так и очень слабую. Показали, что неотрицательность случайной величины в неравенстве Маркова является существенным условием.

2024-10-11, семинар 7: Повторили понятия энтропии в битах и натах, а также понятие дифференциальной энтропии. Нашли энтропию в схеме Бернулли и энтропии геометрического и экспоненциального распределений. Доказали простую оценку сверху для энтропии случайной величины, имеющей конечный носитель мощности n.

2024-11-1, семинар 8: Разобрали демо-вариант контрольной работы "Тыква".

2024-11-8, семинар 9: Разобрали демо-вариант контрольной работы "Летучая мышь".

2024-11-15, семинар 10: Понятие случайного процесса. Определение пуассоновского процесса, его свойства. Три простые задачи на пуассоновское распределение. Задачи 13.1 и 13.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-11-22, семинар 11: Определения Бета-функции и Гамма-функции. Бета и Гамма распределения, их функции плотности и графики. Нахождение моды случайных величин, имеющих Бета и Гамма распределения. Связь пуассоновского процесса с Гамма распределением. В конце нашли производящую функцию моментов Гамма распределения.

2024-11-29, семинар 12: Задачи 18.1, 18.2 и 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-12-06, семинар 13: Нашли многомерное нормальное распределение по виду функции плотности (константа на экспоненту с квадратичным показателем). С помощью формулы Иссерлиса нашли матожидания произведений различных или одинаковых случайных величин, имеющих многомерное нормальное распределение. Нашли условную вероятность многомерного распределения. Задача 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-12-13, семинар 14: Повторили определение сходимости по распределению и центральную предельную теорему. Решили задачи 20.2 и 20.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

== Источники ==

Источники мудрости, которые я постарался не замутить :)

[https://arxiv.org/pdf/1411.5279 WTSK]: Tim Hesterberg, What Teachers Should Know About the Bootstrap: вкусное и доступное изложение бутстрэпа и перестановочных тестов.

[https://projects.iq.harvard.edu/stat110/home BItP]: Blitzstein, Hwang, Introduction to Probability: учебник, записи лекций, гарвардский курс.

Теория вероятностей 2024/25 (основной поток)

2025-03-10T17:27:46Z

Bdemeshev:

= Преподаватели и учебные ассистенты =

{| class="wikitable" style="text-align:center"
|-
! Группа !! БПМИ235 !! БПМИ236 !! БПМИ237 !! БПМИ238 !! БПМИ239 !! БПМИ2310 !! БПМИ2311 !! БПМИ2312
|-
|| Лектор ||colspan="11"| [https://t.me/boris_demeshev Борис Демешев]
|-
|| Семинарист || [https://t.me/boris_demeshev Борис Демешев] || [https://t.me/levensons Илья Левин] || [https://t.me/madn_boi Никита Морозов] || [https://t.me/boris_demeshev Борис Демешев] || [https://t.me/XuMuK_MK Максим Каледин] || [https://t.me/goluba_yurieva Голуба Юрьева] || [https://t.me/Moskchan Вероника Владыкина] || [https://t.me/goluba_yurieva Голуба Юрьева]
|-
|| Ассистент || [https://t.me/nerhneiro Ира Скворцова] || [https://t.me/a_ameli_ig Амелия Алаева] || [https://t.me/htual Алина Бадахова] || [https://t.me/adelyagaraeva Аделя Гараева] || [https://t.me/mabrielka Мария Брель] || [https://t.me/zm_ann Анна Зыкова-Мызина] || [https://t.me/Yanlightv Яна Вежновец] || [https://t.me/nol_erk Кирилл Лавриненко]
|-
|| Ассистент курса ||colspan="11"| [https://t.me/Nick_Volya Никита Волянский]
|}

== Цели и задачи курса ==

侍には目標がなく道しかない [Samurai niwa mokuhyō ga naku michi shikanai]

У самурая нет цели и ничего кроме пути.

Вероятный план:
<div class="mw-collapsible mw-collapsed" style="width:1000px; overflow: hidden;">
1. Дискретное вероятностное пространство. Вероятность, математическое ожидание, теоретическая медиана.
Перестановочные тесты, p-значение для перестановочного теста.
Математическое ожидание = центр масс.

NB: здесь сходу рисуем дерево
NB: здесь нет задач на условную вероятность

!предупреждение об обозначениях случайных величин.
Российская традиция — греческие буквы, американская традиция — заглавные английские буквы.
Наш курс: любые буквы. Причина: теория вероятностей применяется в разных областях, где свои традиции.

NB: Способы вычисления вероятностей и ожиданий:
* полный перебор руками
* примерные вычисления руками
* полный перебор на компьютере
* симуляции на компьютере
* ...

2.
Методы решения задач:
* разложение величины в сумму
* метод первого шага
!идея: позиция в игре имеет цену
* just for fun: метод рычага в геометрии через ожидание
NB: рассказать здесь про комплексную случайную величину
NB: по сути здесь мы уже решаем задачи на марковские цепи не говоря страшных определений
LOTUS.

3. Условная вероятность и условное ожидание.
!идея: зануляем вероятности невозможных событий, а остальные — масштабируем.
формула полной вероятности
!идея: дерево "помнит" формулу полной вероятности
формула Байеса

Независимые события.
Независимые случайные величины.

4.
Методы решения задач:
* производящие функции многих переменных
функция как способ записать множество
HTT vs TTH
ABRACADABRA
!разложение по биномиальной формуле

?: можно здесь успеть функцию производящую моменты

5.
Биномиальное распределение.
Геометрическое и гипергеометрическое распределения.
Отрицательное биномиальное распределение.

6.
Равномерное распределение на множестве в R^n
Функция распределения.
Функция плотности и вероятностная дифференциальная форма.
!пояснение про неудачную традиционную терминологию "непрерывная случайная величина"
величина с функцией плотности, величина с непрерывной функцией распределения.

Квантили, квантильная функция.

7. Характеристики случайных величин и неравенства.
Дисперсия.
Энтропия.
Неравенство Маркова.
Неравенство Чебышёва.
Неравенство Йенсена.

Здесь конец модуля 1 и КР-1!

8. Пуассоновский поток.
Аксиомы пуассоновского потока.
Вывод экспоненциального распределения и пуассоновского распределения из аксиом.
Вывод экспоненциального распределения из предпосылки об отсутсвии памяти.

9. Нормальное распределение.
Нормальное распределение: предпосылки Хершела-Максвелла.
Нормальное распределение: аргументация Гаусса за среднее арифметическое.
Нормальное распределение: предпосылки Лэндона (до уравнения в частных производных).

10. Классические непрерывные распределения.

Гамма-распределение, бета-распределение.
Вывод нормального и экспоненциального распредений как минимизации энтропии.

11. Парные характеристики случайных величин.
Наилучшая линейная аппроксимация.
Ковариация.
Корреляция.
Кросс-энтропия.

Доказательство E(XY) = E(X) E(Y) для дискретных.
Ковариационная матрица и ожидание для случайных векторов.

12. Совместная и условная функция плостности.
Преобразования случайных величин.

13. Функция производящая моменты и характеристическая функция.
Распределение суммы случайного количества случайных величин.
Случайный выбор слагаемых.

14. Финансовые приложения

Оценивание опционов на биномиальном дереве.
Максимизация долгосрочной прибыли, связь с энтропией.
Возможно, индексы Гиттинса.

Здесь конец модуля 2 и КР-2

15. Сигма-алгебры.

Список известных величин как способ описания информации.
Идея условного ожидания как оптимального прогноза.
Сигма-алгебра как способ описания информации.
Измеримость случайной величины относительно сигма-алгебры.
Сигма-алгебра как ОДЗ для вероятности.
Борелевская сигма-алгебра.
Независимые случайные величины второе определение.

16. Условное математическое ожидание.
Условная дисперсия.
Сумма случайного количества случайных величин.

17. Сходимости случайных величин.

Сходимость по вероятности.
Закон больших чисел.
Сходимость почти наверное.
Усилинный закон больших чисел.
Сходимость по распределению.

18. Связь сходимостей.
Лемма Слуцкого.

19. Центральная предельная теорема.
Доказательство через подмену слагаемых.
Доказательство через характеристические функции.

Здесь контрольная.

20. Винеровский процесс
Условные ожидания, инверсия.

21. Байесовский подход к оцениванию параметров

Балансовое уравнение. Идея MCMC.

22. Доказательства свойств меры

23. Алгоритм построения математического ожидания в общем случае.
Лемма Фату.
Теорема о мажорируемой сходимости.
Теорема о монотонной сходимости.

24. Резерв.

Жемчужинки, которые, вероятно, не успеем:

А. Методы решения задач:
подсчёт случаев с помощью леммы Бернсайда и теоремы Пойа о перечислении
(Burnside lemma, PET = Polya Enumeration Theorem)

B. вероятностные доказательства детерминистических теорем

</div>

== Оценивание ==

Оценка за семестр-1 = 0.2 Домашние задания семестра-1 + 0.4 Контрольная-Альфа + 0.4 Экзамен-Бета.

Финальная оценка за курс = 0.5 Оценка за семестр-1 + 0.1 Домашние задания семестра-2 + 0.2 Контрольная-Гамма + 0.2 Экзамен-Дельта.

Каждая оценка (суммарные итоги за домашние задания, контрольные, экзамены) — целое число от 0 до 100.
Для перевода в 10-балльную шкалу промежуточной оценки за семестр-1 и финальной оценки используется деление на 10
с арифметическим округлением. Например, если Максим получил "оценку за семестр-1" 65 баллов, то в ведомость за первый семестр идёт 7, а далее в формуле финальной оценки за курс используется 65.

=== Домашние задания для самураев ===

Домашние задания [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/home_assignments/home_assignments.pdf одним файлом] и [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/blob/main/home_assignments/ отдельными файлами].
Домашние задания имеют равный вес.
В конце каждой лекции (за исключением ближайших к экзамену лекций)
выдается домашнее задание сроком на две недели.
Дедлайн жёсткий, однако студент имеет право просрочить три домашних задания на неделю каждое без штрафа.

Формат сдачи ДЗ: один pdf-файл (решение текстовых задач) и один ipynb-файл (решение компьютерных задач).
В pdf-файл можно поместить аккуратно написанное отсканированное решение, а можно скомпилировать pdf из теха или маркдауна.
Ещё можно вместо pdf-файла написать всё в ipynb.
Бонусов за сдачу домашки в техе нет. Пример [https://www.overleaf.com/read/qmrkwpzvmqbk шаблона].

Обратите внимание: '''время каждого дедлайна — 23:59'''.

=== Ведомость с оценками за ДЗ ===

{| class="wikitable" style="text-align:center"
|-
! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1872081500#gid=1872081500 235] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1374497930#gid=1374497930 236] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1183164252#gid=1183164252 237] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=408179311#gid=408179311 238] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1032422408#gid=1032422408 239] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1603236891#gid=1603236891 2310] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=791330236#gid=791330236 2311] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=23847300#gid=23847300 2312]
|}

[https://docs.google.com/spreadsheets/d/14hD7-SLmAA1omdkhPlt3blRHDHVGTDS8ZgvLWscvMz8/edit?usp=sharing Сводная ведомость всех оценок]

=== Контрольные работы и экзамен ===

Вес каждой задачи будет написан в тексте работы.
Задачи с ненаписанным по случайности весом имеют равный вес.
Для пропущенных по уважительной причине контрольных будет выделен один день для переписывания.
При пропуске дня переписывания, в том числе по уважительным причинам, ещё одного шанса не предоставляется.

<div class="mw-collapsible mw-collapsed" style="width:1000px; overflow: hidden;">

'''Контрольная работа 1''' состоится 2024-11-11 в 16:20, аудитории: R401, R305, R206, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_halloween_demo/exam_halloween_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/midterm/midterm-alpha.pdf условие с критериями и решениями].

'''Резервный день 1''' для пропустивших по уважительной причине состоится 2024-12-02 в 19:40, R405

'''Показ контрольной 1''':

* задачи 1, 2: заочно до 2024-12-08, [https://t.me/Moskchan Вероника]
* задачи 3, 4 [https://t.me/boris_demeshev Борис], очно, четверг, 2024-12-05, 18:10-21:00, G408
* задачи 5, 6 [https://t.me/XuMuK_MK Максим]: очно, четверг, 2024-12-05, 18:10-21:00, G408

'''Экзамен, модуль 2''' состоится '''''2024-12-24 в 10:00''''', аудитории R301, R304, R401, R404, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_winter_demo/exam_winter_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/december/pmi_probab_2024_december.pdf условие].

Если вы не хотите идти на экзамен, то заполните [https://forms.gle/UQzW77RrPvcdahG47 эту форму], чтобы получить ноль при неявке

'''Апелляция экзамена''':

* задачи 1, 2: заочно [https://t.me/goluba_yurieva Голуба], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/december/exam_problem_1-2.pdf решения и критерии 1, 2];
* задачи 3, 4: очно 2025-01-11, аудитория R408, 14:40-17:40 [https://t.me/madn_boi Никита], [https://www.overleaf.com/read/dnhjcdrndqps#42f1ab решения и критерии 3, 4];
* задачи 5, 6: заочно [https://t.me/levensons Илья]

* дедлайн по заочным апелляциям: суббота 23:59

[https://docs.google.com/spreadsheets/d/1mxMCr3IEDy8EPFWGkn3_dsghhPNcZICEw9C9o5ZoZvA/edit?usp=sharing Распределение по аудиториям]

</div>

Даты пересдач: 2025-01-28 в 18:10, 2025-02-03 в 18:10 и комиссия 2025-02-11 в 18:10.

* задачи 1, 2: [https://t.me/goluba_yurieva Голуба], задачи 3, 4: [https://t.me/madn_boi Никита], задачи 5, 6: [https://t.me/levensons Илья], апелляция пересдачи 2 до 21:00 2025-02-10.

'''Контрольная, модуль 3''' состоится 2025-02-22 в 16:20, аудитории R201, R204, R404, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_galileo_demo/exam_galileo_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_galileo/pmi_probab_galileo_exam_2024-2025.pdf условие].

[https://docs.google.com/spreadsheets/d/1LZA-7TDz_yYeVPRx4BpBWJnQKZ7wqPgHDrN-Z0SM68M/edit?usp=sharing Распределение по аудиториям]

'''Контрольная, модуль 3, резервный день''': 2025-03-07, пятница, 18:10, R204

'''Экзамен, модуль 3''' состоится '''2025-03-28''' в 14:40, аудитории R201, R301, R404, R405, демо, условие.

== Учебные материалы ==

[https://github.com/bdemeshev/probability_pro/raw/master/probability_pro.pdf PP]: Листки с задачами к курсу.

[https://github.com/bdemeshev/probability_dna/raw/master/probability_dna.pdf PDNA]: Вероятностная ДНК = вкусные задачи по теории вероятностей.

[https://disk.yandex.ru/d/LZ6d2VZVqYvbDQ Видео-летопись семинаров и лекций] и [https://hse.liferooter.dev/ конспект] от тайного благожелателя (updated 2024-10-23]

[https://disk.yandex.ru/d/IoakBXz_6yygPw Официальные видео]

[https://www.cambridgeinternational.org/Images/344616-list-of-formulae-and-statistical-tables.pdf Cambridge statistical tables]

== Дневник самурая ==

2024-09-02, лекция 1: Определение события. Определение случайной величины. Аксиомы вероятности. Определение математического ожидания для дискретного случая.
Линейность математического ожидания. Математическое ожидание как центр масс. Первое знакомоство с перестановочным тестом и p-значением.

Можно глянуть: главы 2.1 и 7 из [https://arxiv.org/pdf/1411.5279 WTSK], метод рычага [https://mathcircle.berkeley.edu/sites/default/files/archivedocs/2007_2008/lectures/0708lecturespdf/MassPointsBMC07.pdf в геометрии].

2024-09-09, лекция 2: Метод первого шага (вероятность выпадения HTH ранее HHT, ожидаемое количество шагов). Метод разложения случайной величины в сумму. Определение случайного вектора. Использование интерпретации ожидания как центра масс в геометрии. Определение теоретической медианы.

Можно глянуть: глава 2.7.2 из [https://projects.iq.harvard.edu/stat110/home BItP], три стратегии решения задачи за 10 минут [https://www.youtube.com/watch?v=xH89DaEI35w Visually Explained]

2024-09-16, лекция 3: Получение новой информации приводит к пересчёту вероятностей. Определение условной вероятности. Формула полной вероятности. Формула Байеса.
Условное математическое ожидание. Формула полного математического ожидания. Независимость пары событий. Независимость набора событий в совокупности.
Независимость величин: неформальное определение. Критерий независимости произвольных величин. Критерий независимости дискретных величин.

2024-09-23, лекция 4: Доказательство критерия независимости для дискретных случайных величин: из независимости {X=x} и {Y=y} следует независимость {X in A} и {Y in B}. Независимость величин равносильна E(f(X))E(g(Y))=E(f(X)g(Y)) для произвольных f, g. Определение биномиальной, геометрической (как числа неудач до 1го успеха) и отрицательной биномиальной случайной величины. Общая идея за производящими функциями: как из функции, производящей исходы эксперимента, с помощью производных и подстановок выудить индивидуальные вероятности, совместные вероятности, ожидания любой степени E(X^a), E(X^a Y^b). Формальное определение функции, производящей вероятности, и функцию, производящей моменты, для одной случайной величины и пары случайных величин. Метатеорема: все теоремы о дискретных величинах доказываются перестановкой слагаемых. Основные дискретные распределения: биномиальное, геометрическое, отрицательное биномиальное.

2024-09-30, лекция 5: Ещё дискретные законы распределения: гипергеометрическое. Описание закона распределения через равномерное распределение на подмножестве R^n.
Функция плотности как линейная часть вероятности попадания в отрезок. Равномерное распределение на отрезке. Смешанные случайные величины. LOTUS: нахождение ожидания любой функции от случайной величины для величин с функцией плотности и смешанных величин. Функция распределения. Квантильная функция.

2024-10-07, лекция 6: Две геометрии случайных величин и событий: E(XY) как скалярное произведение, Cov(X, Y) как скалярное произведение. Математическое ожидание — проекция в рамках геометрии, задаваемой E(XY). Определение и геометрический смысл дисперсии, стандартного отклонения, ковариации и корреляции. Неравенство Маркова. Неравенство Чебышёва. Неравенство Йенсена: интуитивный смысл.

2024-10-14, лекция 7: Доказательство неравенства Йенсена. Энтропия как минимальное ожидаемое число вопросов для отгадывания и формальное определение. Кросс-энтропия.
Доказательство того, что кросс-энтропия больше либо равна энтропии. Совместная энтропия. Условная энтропия. Формула H(X) + H(Y|X) = H(X, Y) без доказательства.
Вывод плотности экспоненциального распределения из предпосылки отсутствия памяти. Экспоненциальное распределение максимизирует энтропию при заданном ожидании и неотрицательности.

* Cristopher Olah, Visual Information Theory, https://colah.github.io/posts/2015-09-Visual-Information/

* Grand Sanderson, Solving Wordle using information theory, [https://www.youtube.com/watch?v=v68zYyaEmEA youtube].

* Artem Kirsanov, Key equation behind probability, [https://www.youtube.com/watch?v=KHVR587oW8I youtube]. У Артёма кросс-энтропия обозначена H(P, Q), а не CE(P||Q)).

* [https://exuberant-arthropod-be8.notion.site/1-02-09-5e107ea1c4054594b8f37d955db8a2b0 Конспект] аналогичной старой лекции псмо на русском.

* Keith Conrad, [https://kconrad.math.uconn.edu/blurbs/analysis/entropypost.pdf Maximal entropy] distributions.

2024-10-21, лекция 8: Ковариационная матрица и её свойства. Совместная функция плотности. Условная функция плотности. Критерий независимости в терминах функций плотности и распределения.
Связь индивидуальной и совместной функций плотности и функций распределения. Смена плотности при замене переменных: домножение на якобиан и неформально про дифференциальные формы. Формула свёртки.
Разложение совместной плотности для графической модели. Представление произвольной совместной функции распределения с помощью копулы.

* Про дифференциальные формы: [https://www.youtube.com/watch?v=PaWj0WxUxGg&list=PL22w63XsKjqzQZtDZO_9s2HEMRJnaOTX7 videos] by Michael Penn, [https://www.math.purdue.edu/~arapura/preprints/diffforms.pdf short intro] by Dony Arapura

* What is a convolution от [https://www.youtube.com/watch?v=KuXjwB4LzSA 3b1b]

* From graphical models to [https://www.youtube.com/watch?v=yBc01ZeaFxw&list=PLISXH-iEM4JlFsAp7trKCWyxeO3M70QyJ Probabilistic ML]

2024-11-11, лекция 9: Пуассоновский поток: аксиомы. Вывод пуассоновского распределения количества событий и экспоненциального времени между событиями из аксиом.
Сумма независимых пуассоновских потоков — это пуассоновский поток (половина доказательства). Вероятность того, что одна экспоненциальная величина будет меньше другой, независимой.

2024-11-18, лекция 10: Гамма-распределение как сумма нескольких экспоненциальных: вывод плотности через вероятность попадания в малый отрезок.
Обобщение плотности на случай положительного параметра $a$. Гамма-функция. Бета-распределение как отношение гамма-распределений. Бета-функция.

2024-11-25, лекция 11: Вывод нормального распределения из предпосылок Гаусса. Вывод нормального распределения из предпосылок Гершеля — Максвелла.

* Saul Stahl, The [https://www.researchgate.net/publication/255668423_The_Evolution_of_the_Normal_Distribution Evolution] of the Normal Distribution: вывод Гаусса с историей.

* Grand Sanderson, [https://www.youtube.com/watch?v=cy8r7WSuT1I Why pi] is in the normal? вывод Гершеля—Максвелла

* James Stein, [http://www-biba.inrialpes.fr/Jaynes/cc07s.pdf Normal Distribution]: глава про нормальное распределение (Гаусс, Гершель—Максвелл, Лэндон etc)

* William Herschel, [https://music.yandex.com/album/209394/track/2121214 концерт для габоя]

* William Herschel, [https://www.informationphilosopher.com/solutions/scientists/quetelet/Herschel_Quetelet_Probabilities.pdf On the theory of Probabilities]: вывод нормального распределения словами на стр. 189-191

2024-12-02, лекция 12: многомерное нормальное распределение. Функция плотности невырожденного многомерного нормального. Функция производящая моменты для многомерного нормального. Формула Иссерлиса с ненулевыми ожиданиями и доказательством. Условное распределение: вывод условного ожидания и условной дисперсии через разложение величины в сумму независимых.

* [https://stats.stackexchange.com/questions/30588/ альтернативный вывод] условного многомерного нормального распределения
* Хитрый [https://github.com/bdemeshev/lis-isserlis/raw/main/lis-isserlis.pdf лис Иссерлис]

2024-12-09, лекция 13: сходимость по распределению, центральная предельная теорема с доказательством подменой слагаемых.

* Calvin Chin [https://arxiv.org/pdf/2106.00871 CLT proof] by swapping
* [https://bdemeshev.github.io/teaching_notes/clt_by_swapping Пересказ доказательства]

2024-12-16, лекция 14: использование бесконечно малых при нахождении ожиданий, трюк с добавление параметра, трюк с закольцовыванием отрезка при равномерном распределении.

2025-01-13, лекция 15: Неединственность предела по распределению. Неаддитивность предела по распределению. Предел по вероятности. Закон больших чисел в слабой форме (с доказательством при дополнительной предпосылке о конечности дисперсии). Теорема о непрерывном отображении.

2025-01-20, лекция 16: два определение сходимости почти наверное с доказательством эквивалентности. Сходимость в Lp. Из сходимости в Lp при p>=1 следует сходимость по вероятности. Из сходимости почти наверное следует сходимость по вероятностям. Контр-пример к разнице сходимостей почти наверное и по вероятности. Контр-пример к разнице сходимостей в Lp и по вероятности. Усиленный закон больших чисел (без доказательства). Леммы Слуцкого (без доказательства).

2025-01-27, лекция 17: характеристические функции и их свойства. Вывод характеристической функции нормального стандартного распределения через дифференциальное уравнение. Характеристическая функция биномиального распредеделения. Второе доказательство ЦПТ (через характеристические функции).

* [https://web.ma.utexas.edu/users/gordanz/notes/characteristic.pdf Gordan Zitkovic]: characteristic functions
* [https://sas.uwaterloo.ca/~dlmcleis/s901/chapt6.pdf McLeish]: clt proof

2025-02-03, лекция 18: пример последовательности сходящийся по вероятности с ожиданием стремящимся к бесконечности. Критерий Кэлли. Критерий оптимальной остановки Брасса.

* [https://en.wikipedia.org/wiki/Kelly_criterion wikipedia]: Kelly criterion
* [https://projecteuclid.org/journalArticle/Download?urlId=10.1214%2Faop%2F1019160340 Bruss]: sum the odds to one and stop

2025-02-10 лекция 19: Сигма-алгебра порождённая случайной величиной или набором из нескольких случайных величин. Замкнутость относительно счётного количества операций с множествами. Сигма-алгебра. Объединение сигма-алгебр не всегда сигма-алгебра. Пересечение сигма-алгебр всегда сигма-алгебра. Измеримость суммы. Борелевская сигма-алгебра.

2025-02-18, лекция 20: [https://us06web.zoom.us/j/82685613040?pwd=bqJoXGItwNOOWddXj1flfmPmDn6fMQ.1 онлайн, 18:10]

=== Семинары ===

==== 473 = 235 + 238 ====

2024-09-02, 06, семинар 1: задачи 1.1, 1.6, 3.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-09, 13, семинар 2: задачи 2.1, 2.3, 12.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-16, 20, семинар 3: задачи 7.12 и 7.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-23, 27, семинар 4: как извлечь P(X=3), E(X), E(X^2Y) из функции, производящей список исходов, 28.16 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-30, -10-04, семинар 5: 9.3в, 9.4, 9.7(абвд, кроме дисперсии, аргументы масштабирования и центра масс помимо интегралов), 9.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-10-07, 11, семинар 6: вычисление Cov, Var, Corr по табличке и из функции плотности, нахождение дисперсии для отрицательного биномиального распределения по свойствам.

2024-10-14, 18, семинар 7: вычисление энтропии геометрического распределения. Изменение энтропии при линейном преобразовании для дискретной величины и величины с функцией плотности.
Кросс-энтропия из экспоненциального в равномерное. Условная энтропия для дискретной таблички. Связь энтропии величины с функцией плотности и энтропия дискретной версии этой случайной величины после "огрубления" с малым шагом 1/k.

2024-10-21, -11-01, семинар 8: 16.18, 16.23 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], свёртка двух экспоненциальных величин

2024-11-11, 15, семинар 9: задачи на пуассоновский поток из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-11-18, 22, семинар 10: задачи на бета и гамма-распределение

2024-11-25, 29, семинар 11: задачи на нормальное распределение, 18.1, 18.2, 18.3, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-02, 06, семинар 12: задачи на многомерное нормальное: 24.16аб, 24.17аб, 24.18, 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-09, 13, семинар 13: ЦПТ и нормальное распределение: 20.2, 20.4, 18.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-19, семинар 14: разбор демо

2025-01-13, семинар 15: сходимость по вероятности: 20.1, 20.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-20, 24, семинар 16: связь между сходимостями, 20.11, 20.13 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-27, 31, семинар 17: 28.17, 28.18, 28.21 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-03, 07, семинар 18: 28.20аб, 28.22 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-10, 17, семинар 19: 6.2, 6.3, 6.11, измеримость произведения из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

==== 236 ====

2024-09-06, семинар 1: в начале семинара рассмотрели основные понятия и определения для решения задач. Решили задачи 1.1, 1.6, 3.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-13, семинар 2: нашли ожидание случайной величины с геом. распределением. Решили задачи 2.1, 12.6, 12.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-09-20, семинар 3: решили задачи 7.12, 7.4(а), 7.7, 7.13(а) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-09-27, семинар 4: разобрали 7.13, почти разобрали 28.3 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Также рассмотрели один контрпример на независимость(тетраэдр Бернштейна).

2024-10-04, семинар 5: разобрались с определениями, решили 9.3(абв), 9.7(аб) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Решили задачку про три точки на отрезке и найти вероятность получить треугольник. Также вывели формулу для мат. ожидания неотрицательной величины через функцию распределения.

2024-10-14, семинар 6: обсудили дисперсию, ковариацию, коэффициент корреляции и их геометрический смысл. Решили задачу на оценку дисперсии ограниченной величины. посчитали дисперсию геометрического, биномиального. Посчитали дисперсию в задаче о письмах и конвертах.

???, семинар 7: определили энтропию, посчитали примеры для дискретных величин, для линейных преобразований. Доказали, что задача максимизации энтропии с фиксированной дисперсией достигается на нормальном распределении.

???, семинар 8: свертка двух экспоненциальных, 16.18 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

???, семинар 9: задачи на пуассоновский процесс из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

???, семинар 10: разбор кр.

???, семинар 11: разобрали задачи на нормальное распределение 18.1, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Также считали распределение суммы двух независимых нормальных.

==== 237 ====

2024-09-09, семинар 1: задачи 1.1, 2.2 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], вероятность что n ладей не бьют друг друга при случайной расстановке на шахматной доске n на n, матожидание числа треугольников в случайном графе на n вершинах через сумму индикаторов

2024-09-13, семинар 2: задачи 2.1, 2.6, 12.3, 12.6, 12.7 (без дисперсий) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-23, семинар 3: задачи 7.2, 7.13, 7.7, 7.8, плюс начали 7.15b (получили неверный ответ) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-27, семинар 4: дорешали 7.15b с небольшой демонстрацией на питоне, разобрали 28.2 для нечестной монетки плюс посчитали матожидание [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-10-04, семинар 5: задачи 9.1, 9.3абв, 9.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], философия про то почему бОльшая плотность не всегда означает бОльшую вероятность оказаться в окрестности данной точки (плотность может занимать слишком маленький объем)

2024-10-11, семинар 6: вспомнили определения Cov/Var/Corr, посчитали у пары дискретных величин по табличке вероятностей, посчитали дисперсию у биномиального, геометрического, непрерывного равномерного на отрезке.

2024-10-18, семинар 7: вычисление энтропии геометрического распределения; ограниченность энтропии снизу и сверху в дискретном случае; изменение энтропии при линейном преобразовании для дискретной величины и величины с функцией плотности; условная энтропия, KL дивергенция и кросс-энтропия, неотрицательность KL, интерпретация на пальцах с точки зрения теории информации.

2024-11-01, семинар 8: 16.18, 16.23 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], свёртка двух экспоненциальных величин

2024-11-08, семинар 9: решали пробный вариант КР

2024-11-15, семинар 10: 13.1, 13.2, 13.5, 13.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-11-22, семинар 11: разбор КР

2024-11-29, семинар 12: нормальное распределение, 18.1, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-06, семинар 13: многомерное нормальное распределение, изменение среднего и матрицы ковариаций при линейном преобразовании, 24.4а, 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-13, семинар 14: 24.4в из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], сходимости случайных величин, ЗБЧ и ЦПТ, 20.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-21, семинар 15: наследование сходимости, 20.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], плюс доказали предельную теорему Пуассона

2025-01-28, семинар 16: связь между сходимостями, 20.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], лемма Слуцкого, подмена дисперсии на выборочную дисперсию в ЦПТ

2025-02-04, семинар 17: базовые свойства хар функций, хар функция суммы независимых величин, 28.17, 28.20 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-18, семинар 18: вероятностное пространство в общем случае, сигма-алгебры, борелевская сигма-алгебра, сигма-алгебра порожденная случайной величиной, измеримость случайной величины относительно сигма-алгебры, 6.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], задачи на сигма алгебры из пробника КР

2025-02-25, семинар 19: условное матожидание относительно сигма алгебры, условное матожидание и дисперсия относительно случайной величины, закон полного матожидания и закон полной дисперсии, 22.1, 22.3, 22.5абв из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-03-04, семинар 20: показали, что условное матожидание минимизирует среднеквадратичный риск; нашли условное матожидание и условную дисперсию в 22.6 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], нашли E[X | X^2] для симметричного равномерного распределения, нашли E[X_1 | X_1 + ... + X_n] для набора i.i.d. величин, нашли E[Y] и Var(Y) для Y|X имеющего экспоненциальное распределение с параметром X

==== 239 ====

2024-09-03, семинар 1: задачи 1.1, 1.4, пытались 1.8 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Ещё успели посчитать вероятность N=k бросков монеты до выпадения первого орла, матожидание N. И ещё сделали то же для количества бросков до выпадения 3 орлов (не в серии).

2024-09-10, семинар 2: доказали формулу включения-исключения, решили несложную задачу, порешали 2.7 задачи типа 12.*

2024-09-17, семинар 3: Решили две прямых задачи на формулу Байеса и формулу полной вероятности (без большого количества вычислений). Решили задачу поиска вероятности неисправного кофе-автомата из 3 при условии, что бросили деньги в 1 и 2 и их зажевало. Ещё нашли вероятность, что мяч будет у игрока 3 после шага 10 (все садятся в круг и на каждом шаге бросают мяч соседу с вероятностью 0.3 и оставляют у себя с вероятностью 0.4).

2024-09-24, семинар 4: Вспомнили про метод первого шага, используя формулу полной вероятности и введя в некотором виде формулу полного матожидания, записали формулу для вероятностей нахождения в состоянии i через произведение переходной матрицы на вектор. Совсем немного начали производящие функции, но решили не считать 31ю производную многочлена.

2024-10-01, семинар 5: Исследуем дискретные случайные величины (Биномиальная, Геометрическая и разные похожие) с использованием техник вычислений моментов через производящую функцию. Задачи на распределения величин, посчитанных по набору величин. Первая большая задача про плотность.

2024-10-08, семинар 6: разминочная про плотность и функцию распределения. Считаем дисперсию, ковариацию и корреляцию по 2x2 таблице и в равномерном распределении на круге и квадрате [-1,1]х[-1,1].

2024-10-15, семинар 7: пара задач про экспоненциальное распределение, расчёты по теории информации(считаем всякое, чтобы привыкнуть).

2024-10-22, семинар 8: письменные источники не сохранились до наших дней. Согласно преданиям, оьсуждали двери и около контрольной. Говорят, ввели пуассоновский процесс.

2024-???, семинар 9: решаем задачи на пуассоновское в разных формах и обсуждаем омалые в порядковых статистиках.

2024-???, семинар 10: учимся интерпретироввть гауссовское, пользоваться таблицами для функции Лапласа, а также немного работать с многомерным гауссовским.

2024-3-12, семинар 11: Копаем во все стороны многомерное гауссовское: считаем вероятности для линейных комбинаций гауссовских, проверяем зависимость, вычисляем условные законы, матожидания и ковариационные матрицы, вспоминаем спектральное разложение и разложение Холецкого.

==== 2311 ====

2024-09-06, семинар 1: вероятностное пространство, вероятность на нем, вероятность события, случайная величина и ее распределение (индикатор события, сумма двух кубиков, число бросаний монетки до первого орла), матожидание случайной величины (индикатор, один кубик, два кубика), линейность матожидания. Задачи на линейность матожидания, в том числе ЕГЭшная задача про турнир, 1.5, 3.5 с допвопросом о матожидании числа совпадений. Разговор о получении события произвольной вероятности монеткой в контексте 1.8

2024-09-13, семинар 2: Повторили матожидание суммы на примере 12.3. Обсудили условную вероятность и формулу полной вероятности, условное матожидание, решили задачи на метод первого шага 2.1, 2.3, 2.7.

2024-09-20, семинар 3: Условная вероятность, формула полной вероятности, формула Байеса: 7.1, классическая задача про болезни и тесты, простейшие задачки на общее понимание, обсуждение двух подходов: вычисления условной вероятности по формуле и составления нового вероятностного пространства и подсчет вероятности в нем. Независимые события (события "пики" и "дама" в обычной колоде и колоде с джокерами), независимые в совокупности события, построили пример попарно независимых, но не независимых в совокупности. Обсудили биномиальное распределение. решили задачу: "в корабле к отсеков, чтобы корабль затонул, нужно поразить 2. Независимо выпускают n ракет, каждая из которых поражает случайный отсек с вероятностью p. Найти вероятность потопления корабля"

2024-09-20, семинар 4: Примеры одинаково распределенных зависимых СВ, независимые СВ. Производящая функция и ее свойства. Посчитали для биномиального производящую функцию и второй момент. Обсудили, что будет меняться в случае функции, производящей моменты. Обсудили функцию, производящую множество исходов, как из нее доставать уже известные функции, как ее искать на примере бросания монетки до выпадания HT

2024-10-11, семинар 5: Составили табличку стандартных дискретных распределений, посчитали матожидание геометрического, обсудили дисперсию и ковариацию и их свойства (в дискретном случае), досчитали дисперсии основных распределений. Обсудили вероятностное пространство в общем случае, понятие СВ в общем случае. Дали определение ФР, посчитали ФР для явно заданной СВ. Дали определение плотности.

2024-10-12, семинар 6: Обсудили свойства ФР, как считать вероятность попадания в промежуток в терминах ФР. Выразили ФР 1/X, cos X. Обсудили как выражается веротяность попадания в множество через плотность. для 1/Х выразили плотность в случае абсолютной непрерывности Х. Обсудили формулу для МО в общем виде через интеграл Стильтьеса и как вычислять МО для функции, разлагающейся в сумму абсолютно нерпрерывной и функции скачков, посчитали МО для пары таких СВ

2024-10-18, семинар 7: Обсудили геометрию, заданную скалярным произведением EXY и cov(X,Y), поиск ортогонального элемента и проекции. Посчитали энтропию и кросс-энтропию в дискретном и непрерывном случаях, посчиали совместную и условную энтропию в дискретном случае (23.2, 23.4, 23.9)

2024-11-01, семинар 9: Совместная плотность и ф.р., подсчет вероятностей, маргинальные плотности, замена переменной через якобиан, свертка, матожидание

2024-11-09, семинар 10: Условная плотность, формула условной вероятности. Задача на восстановление маргинальной плотности по условной. Разбор задач из "Летучей мыши"

2024-11-19, семинар 11: Разбор контрольной работы

2024-11-22, семинар 12: Пуассоновский поток - решали задачки из задачника

2024-11-29, семинар 13: Нормальное распределение - задачи из PP, повторили функцию, порождающую моменты, обсудили ее свойства в абсолютно непрерывном случае

2024-12-06, семинар 14: Многомерное нормальное - обсудили два определения, связь между ними, независимость элементов нормального вектора при нулевой ковариации и почему это неверно для произвольных нормальных. порешали задачи 24.9а, 24.10, 24.17

2024-12-013, семинар 15: ЦПТ, решали задачи из задачника

2025-01-17, семинар 16: Сходимости почти наверное и по вероятности, связь со сходимостью по распределению. Посмотрели стандартные контрпримеры, показали, что если есть сходимость по распределению к константе, то есть и по вероятности. ЗБЧ Чебышева и Хинчина, УЗБЧ Колмогорова, обсудили 20.1 сколько успели.

2025-01-24, семинар 17: Сходимость в L_p, связи между сходимостями. Задача 20.11

2025-01-24, семинар 18: Характеристические функции и их свойства. Посчитали хар функции для равномерного, Бернулли, биномиального, Пуассона, экспоненциального. Показали, чо сумма нормальных нормальна. По функции пытались понять, может ли она быть характеристической и восстанавливали с.в.

==== 2310, 2312 ====

2024-09-06, семинар 1: задача 1.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Определили вероятностное пространство в виде тройки, множество исходов рассматривали конечное и счётное. Решили 3 счётные задачи на комбинаторику про колоды карт и счетные последовательности цифр. Привели геометрическое и аналитическое решения задачи про нахождение предела последовательности вероятностей. В конце нашли математическое ожидание геометрически распределённой случайной величины.

2024-09-13, семинар 2: задача 2.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Задача на упорядоченные и неупорядоченные наборы. Задача про классическое вероятностное пространство и про пространство с неравновероятными исходами. Разобрали парадокс Монти Холла. Ввели понятия условной вероятности и независимых случайных величин. Сформулировали и обсудили идеи доказательств трёх теорем: теорема умножения вероятностей, формула полной вероятности и формула Байеса.

2024-09-20, семинар 3: Решили задачу на определение условной вероятности. Обсудили парадокс теоремы Байеса на примере задачи про редкое заболевание, а также посмотрели простую программу на Python, которая считает вероятность в зависимости от количества проведенных тестов на заболевание. Обсудили условное математическое ожидание, некоторые его свойства и рассмотрели пример с подбрасыванием кубика. В конце решили задачу на парадокс дней рождений.

2024-09-27, семинар 4: Обсудили коллизии хеш-функций и связь с атакой "дней рождений". Определили независимость или зависимость случайных величин в четырёх разных вариантах. Обсудили, что неверно утверждать, что матожидание частного независимых случайных величин равно частному матожиданий, также привели пример использования подобного факта в некоторых статьях. В конце решили задачу на поиск функции производящей исходы, а также нашли E(X), E(Y^2), E(XY) с помощью найденной функции.

2024-10-04, семинар 5: Решили две простые задачи на условную вероятность и на теорему об умножении вероятностей. Обсудили связь дерева событий с условной вероятностью и теоремой об умножении вероятностей. Нашли производящую функцию моментов для геометрически распределенной случайной величины и с помощью нее нашли матожидание. Нашли производящую функцию моментов и матожидание суммы случайного количества н.о.р случайных величин.

2024-10-11, семинар 6: Привели аналогии между дискретными и непрерывными случайными величинами. Нарисовали графики функций от случайных величин. Вспомнили определение и свойства дисперсии. Решили простую задачу на подсчет дисперсии и нашли дисперсию геометрически распределенной случайной величины. Обсудили, когда может быть матожидание и дисперсия бесконечны. Далее вспомнили неравенства Маркова и Чебышева, вывели следствия и решили 3 задачи на применение этих неравенств. Обсудили, что неравенство Маркова может давать как точную оценку, так и очень слабую. Показали, что неотрицательность случайной величины в неравенстве Маркова является существенным условием.

2024-10-11, семинар 7: Повторили понятия энтропии в битах и натах, а также понятие дифференциальной энтропии. Нашли энтропию в схеме Бернулли и энтропии геометрического и экспоненциального распределений. Доказали простую оценку сверху для энтропии случайной величины, имеющей конечный носитель мощности n.

2024-11-1, семинар 8: Разобрали демо-вариант контрольной работы "Тыква".

2024-11-8, семинар 9: Разобрали демо-вариант контрольной работы "Летучая мышь".

2024-11-15, семинар 10: Понятие случайного процесса. Определение пуассоновского процесса, его свойства. Три простые задачи на пуассоновское распределение. Задачи 13.1 и 13.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-11-22, семинар 11: Определения Бета-функции и Гамма-функции. Бета и Гамма распределения, их функции плотности и графики. Нахождение моды случайных величин, имеющих Бета и Гамма распределения. Связь пуассоновского процесса с Гамма распределением. В конце нашли производящую функцию моментов Гамма распределения.

2024-11-29, семинар 12: Задачи 18.1, 18.2 и 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-12-06, семинар 13: Нашли многомерное нормальное распределение по виду функции плотности (константа на экспоненту с квадратичным показателем). С помощью формулы Иссерлиса нашли матожидания произведений различных или одинаковых случайных величин, имеющих многомерное нормальное распределение. Нашли условную вероятность многомерного распределения. Задача 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-12-13, семинар 14: Повторили определение сходимости по распределению и центральную предельную теорему. Решили задачи 20.2 и 20.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

== Источники ==

Источники мудрости, которые я постарался не замутить :)

[https://arxiv.org/pdf/1411.5279 WTSK]: Tim Hesterberg, What Teachers Should Know About the Bootstrap: вкусное и доступное изложение бутстрэпа и перестановочных тестов.

[https://projects.iq.harvard.edu/stat110/home BItP]: Blitzstein, Hwang, Introduction to Probability: учебник, записи лекций, гарвардский курс.

Теория вероятностей 2024/25 (основной поток)

2025-03-10T17:26:12Z

Bdemeshev: /* Контрольные работы и экзамен */

= Преподаватели и учебные ассистенты =

{| class="wikitable" style="text-align:center"
|-
! Группа !! БПМИ235 !! БПМИ236 !! БПМИ237 !! БПМИ238 !! БПМИ239 !! БПМИ2310 !! БПМИ2311 !! БПМИ2312
|-
|| Лектор ||colspan="11"| [https://t.me/boris_demeshev Борис Демешев]
|-
|| Семинарист || [https://t.me/boris_demeshev Борис Демешев] || [https://t.me/levensons Илья Левин] || [https://t.me/madn_boi Никита Морозов] || [https://t.me/boris_demeshev Борис Демешев] || [https://t.me/XuMuK_MK Максим Каледин] || [https://t.me/goluba_yurieva Голуба Юрьева] || [https://t.me/Moskchan Вероника Владыкина] || [https://t.me/goluba_yurieva Голуба Юрьева]
|-
|| Ассистент || [https://t.me/nerhneiro Ира Скворцова] || [https://t.me/a_ameli_ig Амелия Алаева] || [https://t.me/htual Алина Бадахова] || [https://t.me/adelyagaraeva Аделя Гараева] || [https://t.me/mabrielka Мария Брель] || [https://t.me/zm_ann Анна Зыкова-Мызина] || [https://t.me/Yanlightv Яна Вежновец] || [https://t.me/nol_erk Кирилл Лавриненко]
|-
|| Ассистент курса ||colspan="11"| [https://t.me/Nick_Volya Никита Волянский]
|}

== Цели и задачи курса ==

侍には目標がなく道しかない [Samurai niwa mokuhyō ga naku michi shikanai]

У самурая нет цели и ничего кроме пути.

Вероятный план:
<div class="mw-collapsible mw-collapsed" style="width:1000px; overflow: hidden;">
1. Дискретное вероятностное пространство. Вероятность, математическое ожидание, теоретическая медиана.
Перестановочные тесты, p-значение для перестановочного теста.
Математическое ожидание = центр масс.

NB: здесь сходу рисуем дерево
NB: здесь нет задач на условную вероятность

!предупреждение об обозначениях случайных величин.
Российская традиция — греческие буквы, американская традиция — заглавные английские буквы.
Наш курс: любые буквы. Причина: теория вероятностей применяется в разных областях, где свои традиции.

NB: Способы вычисления вероятностей и ожиданий:
* полный перебор руками
* примерные вычисления руками
* полный перебор на компьютере
* симуляции на компьютере
* ...

2.
Методы решения задач:
* разложение величины в сумму
* метод первого шага
!идея: позиция в игре имеет цену
* just for fun: метод рычага в геометрии через ожидание
NB: рассказать здесь про комплексную случайную величину
NB: по сути здесь мы уже решаем задачи на марковские цепи не говоря страшных определений
LOTUS.

3. Условная вероятность и условное ожидание.
!идея: зануляем вероятности невозможных событий, а остальные — масштабируем.
формула полной вероятности
!идея: дерево "помнит" формулу полной вероятности
формула Байеса

Независимые события.
Независимые случайные величины.

4.
Методы решения задач:
* производящие функции многих переменных
функция как способ записать множество
HTT vs TTH
ABRACADABRA
!разложение по биномиальной формуле

?: можно здесь успеть функцию производящую моменты

5.
Биномиальное распределение.
Геометрическое и гипергеометрическое распределения.
Отрицательное биномиальное распределение.

6.
Равномерное распределение на множестве в R^n
Функция распределения.
Функция плотности и вероятностная дифференциальная форма.
!пояснение про неудачную традиционную терминологию "непрерывная случайная величина"
величина с функцией плотности, величина с непрерывной функцией распределения.

Квантили, квантильная функция.

7. Характеристики случайных величин и неравенства.
Дисперсия.
Энтропия.
Неравенство Маркова.
Неравенство Чебышёва.
Неравенство Йенсена.

Здесь конец модуля 1 и КР-1!

8. Пуассоновский поток.
Аксиомы пуассоновского потока.
Вывод экспоненциального распределения и пуассоновского распределения из аксиом.
Вывод экспоненциального распределения из предпосылки об отсутсвии памяти.

9. Нормальное распределение.
Нормальное распределение: предпосылки Хершела-Максвелла.
Нормальное распределение: аргументация Гаусса за среднее арифметическое.
Нормальное распределение: предпосылки Лэндона (до уравнения в частных производных).

10. Классические непрерывные распределения.

Гамма-распределение, бета-распределение.
Вывод нормального и экспоненциального распредений как минимизации энтропии.

11. Парные характеристики случайных величин.
Наилучшая линейная аппроксимация.
Ковариация.
Корреляция.
Кросс-энтропия.

Доказательство E(XY) = E(X) E(Y) для дискретных.
Ковариационная матрица и ожидание для случайных векторов.

12. Совместная и условная функция плостности.
Преобразования случайных величин.

13. Функция производящая моменты и характеристическая функция.
Распределение суммы случайного количества случайных величин.
Случайный выбор слагаемых.

14. Финансовые приложения

Оценивание опционов на биномиальном дереве.
Максимизация долгосрочной прибыли, связь с энтропией.
Возможно, индексы Гиттинса.

Здесь конец модуля 2 и КР-2

15. Сигма-алгебры.

Список известных величин как способ описания информации.
Идея условного ожидания как оптимального прогноза.
Сигма-алгебра как способ описания информации.
Измеримость случайной величины относительно сигма-алгебры.
Сигма-алгебра как ОДЗ для вероятности.
Борелевская сигма-алгебра.
Независимые случайные величины второе определение.

16. Условное математическое ожидание.
Условная дисперсия.
Сумма случайного количества случайных величин.

17. Сходимости случайных величин.

Сходимость по вероятности.
Закон больших чисел.
Сходимость почти наверное.
Усилинный закон больших чисел.
Сходимость по распределению.

18. Связь сходимостей.
Лемма Слуцкого.

19. Центральная предельная теорема.
Доказательство через подмену слагаемых.
Доказательство через характеристические функции.

Здесь контрольная.

20. Винеровский процесс
Условные ожидания, инверсия.

21. Байесовский подход к оцениванию параметров

Балансовое уравнение. Идея MCMC.

22. Доказательства свойств меры

23. Алгоритм построения математического ожидания в общем случае.
Лемма Фату.
Теорема о мажорируемой сходимости.
Теорема о монотонной сходимости.

24. Резерв.

Жемчужинки, которые, вероятно, не успеем:

А. Методы решения задач:
подсчёт случаев с помощью леммы Бернсайда и теоремы Пойа о перечислении
(Burnside lemma, PET = Polya Enumeration Theorem)

B. вероятностные доказательства детерминистических теорем

</div>

== Оценивание ==

Оценка за семестр-1 = 0.2 Домашние задания семестра-1 + 0.4 Контрольная-Альфа + 0.4 Экзамен-Бета.

Финальная оценка за курс = 0.5 Оценка за семестр-1 + 0.1 Домашние задания семестра-2 + 0.2 Контрольная-Гамма + 0.2 Экзамен-Дельта.

Каждая оценка (суммарные итоги за домашние задания, контрольные, экзамены) — целое число от 0 до 100.
Для перевода в 10-балльную шкалу промежуточной оценки за семестр-1 и финальной оценки используется деление на 10
с арифметическим округлением. Например, если Максим получил "оценку за семестр-1" 65 баллов, то в ведомость за первый семестр идёт 7, а далее в формуле финальной оценки за курс используется 65.

=== Домашние задания для самураев ===

Домашние задания [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/home_assignments/home_assignments.pdf одним файлом] и [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/blob/main/home_assignments/ отдельными файлами].
Домашние задания имеют равный вес.
В конце каждой лекции (за исключением ближайших к экзамену лекций)
выдается домашнее задание сроком на две недели.
Дедлайн жёсткий, однако студент имеет право просрочить три домашних задания на неделю каждое без штрафа.

Формат сдачи ДЗ: один pdf-файл (решение текстовых задач) и один ipynb-файл (решение компьютерных задач).
В pdf-файл можно поместить аккуратно написанное отсканированное решение, а можно скомпилировать pdf из теха или маркдауна.
Ещё можно вместо pdf-файла написать всё в ipynb.
Бонусов за сдачу домашки в техе нет. Пример [https://www.overleaf.com/read/qmrkwpzvmqbk шаблона].

Обратите внимание: '''время каждого дедлайна — 23:59'''.

=== Ведомость с оценками за ДЗ ===

{| class="wikitable" style="text-align:center"
|-
! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1872081500#gid=1872081500 235] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1374497930#gid=1374497930 236] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1183164252#gid=1183164252 237] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=408179311#gid=408179311 238] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1032422408#gid=1032422408 239] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1603236891#gid=1603236891 2310] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=791330236#gid=791330236 2311] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=23847300#gid=23847300 2312]
|}

[https://docs.google.com/spreadsheets/d/14hD7-SLmAA1omdkhPlt3blRHDHVGTDS8ZgvLWscvMz8/edit?usp=sharing Сводная ведомость всех оценок]

=== Контрольные работы и экзамен ===

Вес каждой задачи будет написан в тексте работы.
Задачи с ненаписанным по случайности весом имеют равный вес.
Для пропущенных по уважительной причине контрольных будет выделен один день для переписывания.
При пропуске дня переписывания, в том числе по уважительным причинам, ещё одного шанса не предоставляется.

<div class="mw-collapsible mw-collapsed" style="width:1000px; overflow: hidden;">

'''Контрольная работа 1''' состоится 2024-11-11 в 16:20, аудитории: R401, R305, R206, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_halloween_demo/exam_halloween_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/midterm/midterm-alpha.pdf условие с критериями и решениями].

'''Резервный день 1''' для пропустивших по уважительной причине состоится 2024-12-02 в 19:40, R405

'''Показ контрольной 1''':

* задачи 1, 2: заочно до 2024-12-08, [https://t.me/Moskchan Вероника]
* задачи 3, 4 [https://t.me/boris_demeshev Борис], очно, четверг, 2024-12-05, 18:10-21:00, G408
* задачи 5, 6 [https://t.me/XuMuK_MK Максим]: очно, четверг, 2024-12-05, 18:10-21:00, G408

'''Экзамен, модуль 2''' состоится '''''2024-12-24 в 10:00''''', аудитории R301, R304, R401, R404, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_winter_demo/exam_winter_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/december/pmi_probab_2024_december.pdf условие].

Если вы не хотите идти на экзамен, то заполните [https://forms.gle/UQzW77RrPvcdahG47 эту форму], чтобы получить ноль при неявке

'''Апелляция экзамена''':

* задачи 1, 2: заочно [https://t.me/goluba_yurieva Голуба], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/december/exam_problem_1-2.pdf решения и критерии 1, 2];
* задачи 3, 4: очно 2025-01-11, аудитория R408, 14:40-17:40 [https://t.me/madn_boi Никита], [https://www.overleaf.com/read/dnhjcdrndqps#42f1ab решения и критерии 3, 4];
* задачи 5, 6: заочно [https://t.me/levensons Илья]

* дедлайн по заочным апелляциям: суббота 23:59

[https://docs.google.com/spreadsheets/d/1mxMCr3IEDy8EPFWGkn3_dsghhPNcZICEw9C9o5ZoZvA/edit?usp=sharing Распределение по аудиториям]

</div>

Даты пересдач: 2025-01-28 в 18:10, 2025-02-03 в 18:10 и комиссия 2025-02-11 в 18:10.

* задачи 1, 2: [https://t.me/goluba_yurieva Голуба], задачи 3, 4: [https://t.me/madn_boi Никита], задачи 5, 6: [https://t.me/levensons Илья], апелляция пересдачи 2 до 21:00 2025-02-10.

'''Контрольная, модуль 3''' состоится 2025-02-22 в 16:20, аудитории R201, R204, R404, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_galileo_demo/exam_galileo_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_galileo/pmi_probab_galileo_exam_2024-2025.pdf условие].

[https://docs.google.com/spreadsheets/d/1LZA-7TDz_yYeVPRx4BpBWJnQKZ7wqPgHDrN-Z0SM68M/edit?usp=sharing Распределение по аудиториям]

'''Контрольная, модуль 3, резервный день''': 2025-03-07, пятница, 18:10, ~~G503~~ R204

'''Экзамен, модуль 3''' состоится ~~2025-03-26~~ 2025-03-28 в 14:40, аудитории R201, R301, R404, R405, демо, условие.

== Учебные материалы ==

[https://github.com/bdemeshev/probability_pro/raw/master/probability_pro.pdf PP]: Листки с задачами к курсу.

[https://github.com/bdemeshev/probability_dna/raw/master/probability_dna.pdf PDNA]: Вероятностная ДНК = вкусные задачи по теории вероятностей.

[https://disk.yandex.ru/d/LZ6d2VZVqYvbDQ Видео-летопись семинаров и лекций] и [https://hse.liferooter.dev/ конспект] от тайного благожелателя (updated 2024-10-23]

[https://disk.yandex.ru/d/IoakBXz_6yygPw Официальные видео]

[https://www.cambridgeinternational.org/Images/344616-list-of-formulae-and-statistical-tables.pdf Cambridge statistical tables]

== Дневник самурая ==

2024-09-02, лекция 1: Определение события. Определение случайной величины. Аксиомы вероятности. Определение математического ожидания для дискретного случая.
Линейность математического ожидания. Математическое ожидание как центр масс. Первое знакомоство с перестановочным тестом и p-значением.

Можно глянуть: главы 2.1 и 7 из [https://arxiv.org/pdf/1411.5279 WTSK], метод рычага [https://mathcircle.berkeley.edu/sites/default/files/archivedocs/2007_2008/lectures/0708lecturespdf/MassPointsBMC07.pdf в геометрии].

2024-09-09, лекция 2: Метод первого шага (вероятность выпадения HTH ранее HHT, ожидаемое количество шагов). Метод разложения случайной величины в сумму. Определение случайного вектора. Использование интерпретации ожидания как центра масс в геометрии. Определение теоретической медианы.

Можно глянуть: глава 2.7.2 из [https://projects.iq.harvard.edu/stat110/home BItP], три стратегии решения задачи за 10 минут [https://www.youtube.com/watch?v=xH89DaEI35w Visually Explained]

2024-09-16, лекция 3: Получение новой информации приводит к пересчёту вероятностей. Определение условной вероятности. Формула полной вероятности. Формула Байеса.
Условное математическое ожидание. Формула полного математического ожидания. Независимость пары событий. Независимость набора событий в совокупности.
Независимость величин: неформальное определение. Критерий независимости произвольных величин. Критерий независимости дискретных величин.

2024-09-23, лекция 4: Доказательство критерия независимости для дискретных случайных величин: из независимости {X=x} и {Y=y} следует независимость {X in A} и {Y in B}. Независимость величин равносильна E(f(X))E(g(Y))=E(f(X)g(Y)) для произвольных f, g. Определение биномиальной, геометрической (как числа неудач до 1го успеха) и отрицательной биномиальной случайной величины. Общая идея за производящими функциями: как из функции, производящей исходы эксперимента, с помощью производных и подстановок выудить индивидуальные вероятности, совместные вероятности, ожидания любой степени E(X^a), E(X^a Y^b). Формальное определение функции, производящей вероятности, и функцию, производящей моменты, для одной случайной величины и пары случайных величин. Метатеорема: все теоремы о дискретных величинах доказываются перестановкой слагаемых. Основные дискретные распределения: биномиальное, геометрическое, отрицательное биномиальное.

2024-09-30, лекция 5: Ещё дискретные законы распределения: гипергеометрическое. Описание закона распределения через равномерное распределение на подмножестве R^n.
Функция плотности как линейная часть вероятности попадания в отрезок. Равномерное распределение на отрезке. Смешанные случайные величины. LOTUS: нахождение ожидания любой функции от случайной величины для величин с функцией плотности и смешанных величин. Функция распределения. Квантильная функция.

2024-10-07, лекция 6: Две геометрии случайных величин и событий: E(XY) как скалярное произведение, Cov(X, Y) как скалярное произведение. Математическое ожидание — проекция в рамках геометрии, задаваемой E(XY). Определение и геометрический смысл дисперсии, стандартного отклонения, ковариации и корреляции. Неравенство Маркова. Неравенство Чебышёва. Неравенство Йенсена: интуитивный смысл.

2024-10-14, лекция 7: Доказательство неравенства Йенсена. Энтропия как минимальное ожидаемое число вопросов для отгадывания и формальное определение. Кросс-энтропия.
Доказательство того, что кросс-энтропия больше либо равна энтропии. Совместная энтропия. Условная энтропия. Формула H(X) + H(Y|X) = H(X, Y) без доказательства.
Вывод плотности экспоненциального распределения из предпосылки отсутствия памяти. Экспоненциальное распределение максимизирует энтропию при заданном ожидании и неотрицательности.

* Cristopher Olah, Visual Information Theory, https://colah.github.io/posts/2015-09-Visual-Information/

* Grand Sanderson, Solving Wordle using information theory, [https://www.youtube.com/watch?v=v68zYyaEmEA youtube].

* Artem Kirsanov, Key equation behind probability, [https://www.youtube.com/watch?v=KHVR587oW8I youtube]. У Артёма кросс-энтропия обозначена H(P, Q), а не CE(P||Q)).

* [https://exuberant-arthropod-be8.notion.site/1-02-09-5e107ea1c4054594b8f37d955db8a2b0 Конспект] аналогичной старой лекции псмо на русском.

* Keith Conrad, [https://kconrad.math.uconn.edu/blurbs/analysis/entropypost.pdf Maximal entropy] distributions.

2024-10-21, лекция 8: Ковариационная матрица и её свойства. Совместная функция плотности. Условная функция плотности. Критерий независимости в терминах функций плотности и распределения.
Связь индивидуальной и совместной функций плотности и функций распределения. Смена плотности при замене переменных: домножение на якобиан и неформально про дифференциальные формы. Формула свёртки.
Разложение совместной плотности для графической модели. Представление произвольной совместной функции распределения с помощью копулы.

* Про дифференциальные формы: [https://www.youtube.com/watch?v=PaWj0WxUxGg&list=PL22w63XsKjqzQZtDZO_9s2HEMRJnaOTX7 videos] by Michael Penn, [https://www.math.purdue.edu/~arapura/preprints/diffforms.pdf short intro] by Dony Arapura

* What is a convolution от [https://www.youtube.com/watch?v=KuXjwB4LzSA 3b1b]

* From graphical models to [https://www.youtube.com/watch?v=yBc01ZeaFxw&list=PLISXH-iEM4JlFsAp7trKCWyxeO3M70QyJ Probabilistic ML]

2024-11-11, лекция 9: Пуассоновский поток: аксиомы. Вывод пуассоновского распределения количества событий и экспоненциального времени между событиями из аксиом.
Сумма независимых пуассоновских потоков — это пуассоновский поток (половина доказательства). Вероятность того, что одна экспоненциальная величина будет меньше другой, независимой.

2024-11-18, лекция 10: Гамма-распределение как сумма нескольких экспоненциальных: вывод плотности через вероятность попадания в малый отрезок.
Обобщение плотности на случай положительного параметра $a$. Гамма-функция. Бета-распределение как отношение гамма-распределений. Бета-функция.

2024-11-25, лекция 11: Вывод нормального распределения из предпосылок Гаусса. Вывод нормального распределения из предпосылок Гершеля — Максвелла.

* Saul Stahl, The [https://www.researchgate.net/publication/255668423_The_Evolution_of_the_Normal_Distribution Evolution] of the Normal Distribution: вывод Гаусса с историей.

* Grand Sanderson, [https://www.youtube.com/watch?v=cy8r7WSuT1I Why pi] is in the normal? вывод Гершеля—Максвелла

* James Stein, [http://www-biba.inrialpes.fr/Jaynes/cc07s.pdf Normal Distribution]: глава про нормальное распределение (Гаусс, Гершель—Максвелл, Лэндон etc)

* William Herschel, [https://music.yandex.com/album/209394/track/2121214 концерт для габоя]

* William Herschel, [https://www.informationphilosopher.com/solutions/scientists/quetelet/Herschel_Quetelet_Probabilities.pdf On the theory of Probabilities]: вывод нормального распределения словами на стр. 189-191

2024-12-02, лекция 12: многомерное нормальное распределение. Функция плотности невырожденного многомерного нормального. Функция производящая моменты для многомерного нормального. Формула Иссерлиса с ненулевыми ожиданиями и доказательством. Условное распределение: вывод условного ожидания и условной дисперсии через разложение величины в сумму независимых.

* [https://stats.stackexchange.com/questions/30588/ альтернативный вывод] условного многомерного нормального распределения
* Хитрый [https://github.com/bdemeshev/lis-isserlis/raw/main/lis-isserlis.pdf лис Иссерлис]

2024-12-09, лекция 13: сходимость по распределению, центральная предельная теорема с доказательством подменой слагаемых.

* Calvin Chin [https://arxiv.org/pdf/2106.00871 CLT proof] by swapping
* [https://bdemeshev.github.io/teaching_notes/clt_by_swapping Пересказ доказательства]

2024-12-16, лекция 14: использование бесконечно малых при нахождении ожиданий, трюк с добавление параметра, трюк с закольцовыванием отрезка при равномерном распределении.

2025-01-13, лекция 15: Неединственность предела по распределению. Неаддитивность предела по распределению. Предел по вероятности. Закон больших чисел в слабой форме (с доказательством при дополнительной предпосылке о конечности дисперсии). Теорема о непрерывном отображении.

2025-01-20, лекция 16: два определение сходимости почти наверное с доказательством эквивалентности. Сходимость в Lp. Из сходимости в Lp при p>=1 следует сходимость по вероятности. Из сходимости почти наверное следует сходимость по вероятностям. Контр-пример к разнице сходимостей почти наверное и по вероятности. Контр-пример к разнице сходимостей в Lp и по вероятности. Усиленный закон больших чисел (без доказательства). Леммы Слуцкого (без доказательства).

2025-01-27, лекция 17: характеристические функции и их свойства. Вывод характеристической функции нормального стандартного распределения через дифференциальное уравнение. Характеристическая функция биномиального распредеделения. Второе доказательство ЦПТ (через характеристические функции).

* [https://web.ma.utexas.edu/users/gordanz/notes/characteristic.pdf Gordan Zitkovic]: characteristic functions
* [https://sas.uwaterloo.ca/~dlmcleis/s901/chapt6.pdf McLeish]: clt proof

2025-02-03, лекция 18: пример последовательности сходящийся по вероятности с ожиданием стремящимся к бесконечности. Критерий Кэлли. Критерий оптимальной остановки Брасса.

* [https://en.wikipedia.org/wiki/Kelly_criterion wikipedia]: Kelly criterion
* [https://projecteuclid.org/journalArticle/Download?urlId=10.1214%2Faop%2F1019160340 Bruss]: sum the odds to one and stop

2025-02-10 лекция 19: Сигма-алгебра порождённая случайной величиной или набором из нескольких случайных величин. Замкнутость относительно счётного количества операций с множествами. Сигма-алгебра. Объединение сигма-алгебр не всегда сигма-алгебра. Пересечение сигма-алгебр всегда сигма-алгебра. Измеримость суммы. Борелевская сигма-алгебра.

2025-02-18, лекция 20: [https://us06web.zoom.us/j/82685613040?pwd=bqJoXGItwNOOWddXj1flfmPmDn6fMQ.1 онлайн, 18:10]

=== Семинары ===

==== 473 = 235 + 238 ====

2024-09-02, 06, семинар 1: задачи 1.1, 1.6, 3.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-09, 13, семинар 2: задачи 2.1, 2.3, 12.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-16, 20, семинар 3: задачи 7.12 и 7.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-23, 27, семинар 4: как извлечь P(X=3), E(X), E(X^2Y) из функции, производящей список исходов, 28.16 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-30, -10-04, семинар 5: 9.3в, 9.4, 9.7(абвд, кроме дисперсии, аргументы масштабирования и центра масс помимо интегралов), 9.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-10-07, 11, семинар 6: вычисление Cov, Var, Corr по табличке и из функции плотности, нахождение дисперсии для отрицательного биномиального распределения по свойствам.

2024-10-14, 18, семинар 7: вычисление энтропии геометрического распределения. Изменение энтропии при линейном преобразовании для дискретной величины и величины с функцией плотности.
Кросс-энтропия из экспоненциального в равномерное. Условная энтропия для дискретной таблички. Связь энтропии величины с функцией плотности и энтропия дискретной версии этой случайной величины после "огрубления" с малым шагом 1/k.

2024-10-21, -11-01, семинар 8: 16.18, 16.23 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], свёртка двух экспоненциальных величин

2024-11-11, 15, семинар 9: задачи на пуассоновский поток из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-11-18, 22, семинар 10: задачи на бета и гамма-распределение

2024-11-25, 29, семинар 11: задачи на нормальное распределение, 18.1, 18.2, 18.3, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-02, 06, семинар 12: задачи на многомерное нормальное: 24.16аб, 24.17аб, 24.18, 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-09, 13, семинар 13: ЦПТ и нормальное распределение: 20.2, 20.4, 18.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-19, семинар 14: разбор демо

2025-01-13, семинар 15: сходимость по вероятности: 20.1, 20.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-20, 24, семинар 16: связь между сходимостями, 20.11, 20.13 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-27, 31, семинар 17: 28.17, 28.18, 28.21 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-03, 07, семинар 18: 28.20аб, 28.22 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-10, 17, семинар 19: 6.2, 6.3, 6.11, измеримость произведения из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

==== 236 ====

2024-09-06, семинар 1: в начале семинара рассмотрели основные понятия и определения для решения задач. Решили задачи 1.1, 1.6, 3.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-13, семинар 2: нашли ожидание случайной величины с геом. распределением. Решили задачи 2.1, 12.6, 12.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-09-20, семинар 3: решили задачи 7.12, 7.4(а), 7.7, 7.13(а) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-09-27, семинар 4: разобрали 7.13, почти разобрали 28.3 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Также рассмотрели один контрпример на независимость(тетраэдр Бернштейна).

2024-10-04, семинар 5: разобрались с определениями, решили 9.3(абв), 9.7(аб) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Решили задачку про три точки на отрезке и найти вероятность получить треугольник. Также вывели формулу для мат. ожидания неотрицательной величины через функцию распределения.

2024-10-14, семинар 6: обсудили дисперсию, ковариацию, коэффициент корреляции и их геометрический смысл. Решили задачу на оценку дисперсии ограниченной величины. посчитали дисперсию геометрического, биномиального. Посчитали дисперсию в задаче о письмах и конвертах.

???, семинар 7: определили энтропию, посчитали примеры для дискретных величин, для линейных преобразований. Доказали, что задача максимизации энтропии с фиксированной дисперсией достигается на нормальном распределении.

???, семинар 8: свертка двух экспоненциальных, 16.18 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

???, семинар 9: задачи на пуассоновский процесс из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

???, семинар 10: разбор кр.

???, семинар 11: разобрали задачи на нормальное распределение 18.1, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Также считали распределение суммы двух независимых нормальных.

==== 237 ====

2024-09-09, семинар 1: задачи 1.1, 2.2 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], вероятность что n ладей не бьют друг друга при случайной расстановке на шахматной доске n на n, матожидание числа треугольников в случайном графе на n вершинах через сумму индикаторов

2024-09-13, семинар 2: задачи 2.1, 2.6, 12.3, 12.6, 12.7 (без дисперсий) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-23, семинар 3: задачи 7.2, 7.13, 7.7, 7.8, плюс начали 7.15b (получили неверный ответ) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-27, семинар 4: дорешали 7.15b с небольшой демонстрацией на питоне, разобрали 28.2 для нечестной монетки плюс посчитали матожидание [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-10-04, семинар 5: задачи 9.1, 9.3абв, 9.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], философия про то почему бОльшая плотность не всегда означает бОльшую вероятность оказаться в окрестности данной точки (плотность может занимать слишком маленький объем)

2024-10-11, семинар 6: вспомнили определения Cov/Var/Corr, посчитали у пары дискретных величин по табличке вероятностей, посчитали дисперсию у биномиального, геометрического, непрерывного равномерного на отрезке.

2024-10-18, семинар 7: вычисление энтропии геометрического распределения; ограниченность энтропии снизу и сверху в дискретном случае; изменение энтропии при линейном преобразовании для дискретной величины и величины с функцией плотности; условная энтропия, KL дивергенция и кросс-энтропия, неотрицательность KL, интерпретация на пальцах с точки зрения теории информации.

2024-11-01, семинар 8: 16.18, 16.23 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], свёртка двух экспоненциальных величин

2024-11-08, семинар 9: решали пробный вариант КР

2024-11-15, семинар 10: 13.1, 13.2, 13.5, 13.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-11-22, семинар 11: разбор КР

2024-11-29, семинар 12: нормальное распределение, 18.1, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-06, семинар 13: многомерное нормальное распределение, изменение среднего и матрицы ковариаций при линейном преобразовании, 24.4а, 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-13, семинар 14: 24.4в из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], сходимости случайных величин, ЗБЧ и ЦПТ, 20.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-21, семинар 15: наследование сходимости, 20.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], плюс доказали предельную теорему Пуассона

2025-01-28, семинар 16: связь между сходимостями, 20.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], лемма Слуцкого, подмена дисперсии на выборочную дисперсию в ЦПТ

2025-02-04, семинар 17: базовые свойства хар функций, хар функция суммы независимых величин, 28.17, 28.20 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-18, семинар 18: вероятностное пространство в общем случае, сигма-алгебры, борелевская сигма-алгебра, сигма-алгебра порожденная случайной величиной, измеримость случайной величины относительно сигма-алгебры, 6.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], задачи на сигма алгебры из пробника КР

2025-02-25, семинар 19: условное матожидание относительно сигма алгебры, условное матожидание и дисперсия относительно случайной величины, закон полного матожидания и закон полной дисперсии, 22.1, 22.3, 22.5абв из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-03-04, семинар 20: показали, что условное матожидание минимизирует среднеквадратичный риск; нашли условное матожидание и условную дисперсию в 22.6 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], нашли E[X | X^2] для симметричного равномерного распределения, нашли E[X_1 | X_1 + ... + X_n] для набора i.i.d. величин, нашли E[Y] и Var(Y) для Y|X имеющего экспоненциальное распределение с параметром X

==== 239 ====

2024-09-03, семинар 1: задачи 1.1, 1.4, пытались 1.8 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Ещё успели посчитать вероятность N=k бросков монеты до выпадения первого орла, матожидание N. И ещё сделали то же для количества бросков до выпадения 3 орлов (не в серии).

2024-09-10, семинар 2: доказали формулу включения-исключения, решили несложную задачу, порешали 2.7 задачи типа 12.*

2024-09-17, семинар 3: Решили две прямых задачи на формулу Байеса и формулу полной вероятности (без большого количества вычислений). Решили задачу поиска вероятности неисправного кофе-автомата из 3 при условии, что бросили деньги в 1 и 2 и их зажевало. Ещё нашли вероятность, что мяч будет у игрока 3 после шага 10 (все садятся в круг и на каждом шаге бросают мяч соседу с вероятностью 0.3 и оставляют у себя с вероятностью 0.4).

2024-09-24, семинар 4: Вспомнили про метод первого шага, используя формулу полной вероятности и введя в некотором виде формулу полного матожидания, записали формулу для вероятностей нахождения в состоянии i через произведение переходной матрицы на вектор. Совсем немного начали производящие функции, но решили не считать 31ю производную многочлена.

2024-10-01, семинар 5: Исследуем дискретные случайные величины (Биномиальная, Геометрическая и разные похожие) с использованием техник вычислений моментов через производящую функцию. Задачи на распределения величин, посчитанных по набору величин. Первая большая задача про плотность.

2024-10-08, семинар 6: разминочная про плотность и функцию распределения. Считаем дисперсию, ковариацию и корреляцию по 2x2 таблице и в равномерном распределении на круге и квадрате [-1,1]х[-1,1].

2024-10-15, семинар 7: пара задач про экспоненциальное распределение, расчёты по теории информации(считаем всякое, чтобы привыкнуть).

2024-10-22, семинар 8: письменные источники не сохранились до наших дней. Согласно преданиям, оьсуждали двери и около контрольной. Говорят, ввели пуассоновский процесс.

2024-???, семинар 9: решаем задачи на пуассоновское в разных формах и обсуждаем омалые в порядковых статистиках.

2024-???, семинар 10: учимся интерпретироввть гауссовское, пользоваться таблицами для функции Лапласа, а также немного работать с многомерным гауссовским.

2024-3-12, семинар 11: Копаем во все стороны многомерное гауссовское: считаем вероятности для линейных комбинаций гауссовских, проверяем зависимость, вычисляем условные законы, матожидания и ковариационные матрицы, вспоминаем спектральное разложение и разложение Холецкого.

==== 2311 ====

2024-09-06, семинар 1: вероятностное пространство, вероятность на нем, вероятность события, случайная величина и ее распределение (индикатор события, сумма двух кубиков, число бросаний монетки до первого орла), матожидание случайной величины (индикатор, один кубик, два кубика), линейность матожидания. Задачи на линейность матожидания, в том числе ЕГЭшная задача про турнир, 1.5, 3.5 с допвопросом о матожидании числа совпадений. Разговор о получении события произвольной вероятности монеткой в контексте 1.8

2024-09-13, семинар 2: Повторили матожидание суммы на примере 12.3. Обсудили условную вероятность и формулу полной вероятности, условное матожидание, решили задачи на метод первого шага 2.1, 2.3, 2.7.

2024-09-20, семинар 3: Условная вероятность, формула полной вероятности, формула Байеса: 7.1, классическая задача про болезни и тесты, простейшие задачки на общее понимание, обсуждение двух подходов: вычисления условной вероятности по формуле и составления нового вероятностного пространства и подсчет вероятности в нем. Независимые события (события "пики" и "дама" в обычной колоде и колоде с джокерами), независимые в совокупности события, построили пример попарно независимых, но не независимых в совокупности. Обсудили биномиальное распределение. решили задачу: "в корабле к отсеков, чтобы корабль затонул, нужно поразить 2. Независимо выпускают n ракет, каждая из которых поражает случайный отсек с вероятностью p. Найти вероятность потопления корабля"

2024-09-20, семинар 4: Примеры одинаково распределенных зависимых СВ, независимые СВ. Производящая функция и ее свойства. Посчитали для биномиального производящую функцию и второй момент. Обсудили, что будет меняться в случае функции, производящей моменты. Обсудили функцию, производящую множество исходов, как из нее доставать уже известные функции, как ее искать на примере бросания монетки до выпадания HT

2024-10-11, семинар 5: Составили табличку стандартных дискретных распределений, посчитали матожидание геометрического, обсудили дисперсию и ковариацию и их свойства (в дискретном случае), досчитали дисперсии основных распределений. Обсудили вероятностное пространство в общем случае, понятие СВ в общем случае. Дали определение ФР, посчитали ФР для явно заданной СВ. Дали определение плотности.

2024-10-12, семинар 6: Обсудили свойства ФР, как считать вероятность попадания в промежуток в терминах ФР. Выразили ФР 1/X, cos X. Обсудили как выражается веротяность попадания в множество через плотность. для 1/Х выразили плотность в случае абсолютной непрерывности Х. Обсудили формулу для МО в общем виде через интеграл Стильтьеса и как вычислять МО для функции, разлагающейся в сумму абсолютно нерпрерывной и функции скачков, посчитали МО для пары таких СВ

2024-10-18, семинар 7: Обсудили геометрию, заданную скалярным произведением EXY и cov(X,Y), поиск ортогонального элемента и проекции. Посчитали энтропию и кросс-энтропию в дискретном и непрерывном случаях, посчиали совместную и условную энтропию в дискретном случае (23.2, 23.4, 23.9)

2024-11-01, семинар 9: Совместная плотность и ф.р., подсчет вероятностей, маргинальные плотности, замена переменной через якобиан, свертка, матожидание

2024-11-09, семинар 10: Условная плотность, формула условной вероятности. Задача на восстановление маргинальной плотности по условной. Разбор задач из "Летучей мыши"

2024-11-19, семинар 11: Разбор контрольной работы

2024-11-22, семинар 12: Пуассоновский поток - решали задачки из задачника

2024-11-29, семинар 13: Нормальное распределение - задачи из PP, повторили функцию, порождающую моменты, обсудили ее свойства в абсолютно непрерывном случае

2024-12-06, семинар 14: Многомерное нормальное - обсудили два определения, связь между ними, независимость элементов нормального вектора при нулевой ковариации и почему это неверно для произвольных нормальных. порешали задачи 24.9а, 24.10, 24.17

2024-12-013, семинар 15: ЦПТ, решали задачи из задачника

2025-01-17, семинар 16: Сходимости почти наверное и по вероятности, связь со сходимостью по распределению. Посмотрели стандартные контрпримеры, показали, что если есть сходимость по распределению к константе, то есть и по вероятности. ЗБЧ Чебышева и Хинчина, УЗБЧ Колмогорова, обсудили 20.1 сколько успели.

2025-01-24, семинар 17: Сходимость в L_p, связи между сходимостями. Задача 20.11

2025-01-24, семинар 18: Характеристические функции и их свойства. Посчитали хар функции для равномерного, Бернулли, биномиального, Пуассона, экспоненциального. Показали, чо сумма нормальных нормальна. По функции пытались понять, может ли она быть характеристической и восстанавливали с.в.

==== 2310, 2312 ====

2024-09-06, семинар 1: задача 1.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Определили вероятностное пространство в виде тройки, множество исходов рассматривали конечное и счётное. Решили 3 счётные задачи на комбинаторику про колоды карт и счетные последовательности цифр. Привели геометрическое и аналитическое решения задачи про нахождение предела последовательности вероятностей. В конце нашли математическое ожидание геометрически распределённой случайной величины.

2024-09-13, семинар 2: задача 2.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Задача на упорядоченные и неупорядоченные наборы. Задача про классическое вероятностное пространство и про пространство с неравновероятными исходами. Разобрали парадокс Монти Холла. Ввели понятия условной вероятности и независимых случайных величин. Сформулировали и обсудили идеи доказательств трёх теорем: теорема умножения вероятностей, формула полной вероятности и формула Байеса.

2024-09-20, семинар 3: Решили задачу на определение условной вероятности. Обсудили парадокс теоремы Байеса на примере задачи про редкое заболевание, а также посмотрели простую программу на Python, которая считает вероятность в зависимости от количества проведенных тестов на заболевание. Обсудили условное математическое ожидание, некоторые его свойства и рассмотрели пример с подбрасыванием кубика. В конце решили задачу на парадокс дней рождений.

2024-09-27, семинар 4: Обсудили коллизии хеш-функций и связь с атакой "дней рождений". Определили независимость или зависимость случайных величин в четырёх разных вариантах. Обсудили, что неверно утверждать, что матожидание частного независимых случайных величин равно частному матожиданий, также привели пример использования подобного факта в некоторых статьях. В конце решили задачу на поиск функции производящей исходы, а также нашли E(X), E(Y^2), E(XY) с помощью найденной функции.

2024-10-04, семинар 5: Решили две простые задачи на условную вероятность и на теорему об умножении вероятностей. Обсудили связь дерева событий с условной вероятностью и теоремой об умножении вероятностей. Нашли производящую функцию моментов для геометрически распределенной случайной величины и с помощью нее нашли матожидание. Нашли производящую функцию моментов и матожидание суммы случайного количества н.о.р случайных величин.

2024-10-11, семинар 6: Привели аналогии между дискретными и непрерывными случайными величинами. Нарисовали графики функций от случайных величин. Вспомнили определение и свойства дисперсии. Решили простую задачу на подсчет дисперсии и нашли дисперсию геометрически распределенной случайной величины. Обсудили, когда может быть матожидание и дисперсия бесконечны. Далее вспомнили неравенства Маркова и Чебышева, вывели следствия и решили 3 задачи на применение этих неравенств. Обсудили, что неравенство Маркова может давать как точную оценку, так и очень слабую. Показали, что неотрицательность случайной величины в неравенстве Маркова является существенным условием.

2024-10-11, семинар 7: Повторили понятия энтропии в битах и натах, а также понятие дифференциальной энтропии. Нашли энтропию в схеме Бернулли и энтропии геометрического и экспоненциального распределений. Доказали простую оценку сверху для энтропии случайной величины, имеющей конечный носитель мощности n.

2024-11-1, семинар 8: Разобрали демо-вариант контрольной работы "Тыква".

2024-11-8, семинар 9: Разобрали демо-вариант контрольной работы "Летучая мышь".

2024-11-15, семинар 10: Понятие случайного процесса. Определение пуассоновского процесса, его свойства. Три простые задачи на пуассоновское распределение. Задачи 13.1 и 13.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-11-22, семинар 11: Определения Бета-функции и Гамма-функции. Бета и Гамма распределения, их функции плотности и графики. Нахождение моды случайных величин, имеющих Бета и Гамма распределения. Связь пуассоновского процесса с Гамма распределением. В конце нашли производящую функцию моментов Гамма распределения.

2024-11-29, семинар 12: Задачи 18.1, 18.2 и 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-12-06, семинар 13: Нашли многомерное нормальное распределение по виду функции плотности (константа на экспоненту с квадратичным показателем). С помощью формулы Иссерлиса нашли матожидания произведений различных или одинаковых случайных величин, имеющих многомерное нормальное распределение. Нашли условную вероятность многомерного распределения. Задача 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-12-13, семинар 14: Повторили определение сходимости по распределению и центральную предельную теорему. Решили задачи 20.2 и 20.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

== Источники ==

Источники мудрости, которые я постарался не замутить :)

[https://arxiv.org/pdf/1411.5279 WTSK]: Tim Hesterberg, What Teachers Should Know About the Bootstrap: вкусное и доступное изложение бутстрэпа и перестановочных тестов.

[https://projects.iq.harvard.edu/stat110/home BItP]: Blitzstein, Hwang, Introduction to Probability: учебник, записи лекций, гарвардский курс.

Теория вероятностей 2024/25 (основной поток)

2025-03-07T17:25:50Z

Bdemeshev:

= Преподаватели и учебные ассистенты =

{| class="wikitable" style="text-align:center"
|-
! Группа !! БПМИ235 !! БПМИ236 !! БПМИ237 !! БПМИ238 !! БПМИ239 !! БПМИ2310 !! БПМИ2311 !! БПМИ2312
|-
|| Лектор ||colspan="11"| [https://t.me/boris_demeshev Борис Демешев]
|-
|| Семинарист || [https://t.me/boris_demeshev Борис Демешев] || [https://t.me/levensons Илья Левин] || [https://t.me/madn_boi Никита Морозов] || [https://t.me/boris_demeshev Борис Демешев] || [https://t.me/XuMuK_MK Максим Каледин] || [https://t.me/goluba_yurieva Голуба Юрьева] || [https://t.me/Moskchan Вероника Владыкина] || [https://t.me/goluba_yurieva Голуба Юрьева]
|-
|| Ассистент || [https://t.me/nerhneiro Ира Скворцова] || [https://t.me/a_ameli_ig Амелия Алаева] || [https://t.me/htual Алина Бадахова] || [https://t.me/adelyagaraeva Аделя Гараева] || [https://t.me/mabrielka Мария Брель] || [https://t.me/zm_ann Анна Зыкова-Мызина] || [https://t.me/Yanlightv Яна Вежновец] || [https://t.me/nol_erk Кирилл Лавриненко]
|-
|| Ассистент курса ||colspan="11"| [https://t.me/Nick_Volya Никита Волянский]
|}

== Цели и задачи курса ==

侍には目標がなく道しかない [Samurai niwa mokuhyō ga naku michi shikanai]

У самурая нет цели и ничего кроме пути.

Вероятный план:
<div class="mw-collapsible mw-collapsed" style="width:1000px; overflow: hidden;">
1. Дискретное вероятностное пространство. Вероятность, математическое ожидание, теоретическая медиана.
Перестановочные тесты, p-значение для перестановочного теста.
Математическое ожидание = центр масс.

NB: здесь сходу рисуем дерево
NB: здесь нет задач на условную вероятность

!предупреждение об обозначениях случайных величин.
Российская традиция — греческие буквы, американская традиция — заглавные английские буквы.
Наш курс: любые буквы. Причина: теория вероятностей применяется в разных областях, где свои традиции.

NB: Способы вычисления вероятностей и ожиданий:
* полный перебор руками
* примерные вычисления руками
* полный перебор на компьютере
* симуляции на компьютере
* ...

2.
Методы решения задач:
* разложение величины в сумму
* метод первого шага
!идея: позиция в игре имеет цену
* just for fun: метод рычага в геометрии через ожидание
NB: рассказать здесь про комплексную случайную величину
NB: по сути здесь мы уже решаем задачи на марковские цепи не говоря страшных определений
LOTUS.

3. Условная вероятность и условное ожидание.
!идея: зануляем вероятности невозможных событий, а остальные — масштабируем.
формула полной вероятности
!идея: дерево "помнит" формулу полной вероятности
формула Байеса

Независимые события.
Независимые случайные величины.

4.
Методы решения задач:
* производящие функции многих переменных
функция как способ записать множество
HTT vs TTH
ABRACADABRA
!разложение по биномиальной формуле

?: можно здесь успеть функцию производящую моменты

5.
Биномиальное распределение.
Геометрическое и гипергеометрическое распределения.
Отрицательное биномиальное распределение.

6.
Равномерное распределение на множестве в R^n
Функция распределения.
Функция плотности и вероятностная дифференциальная форма.
!пояснение про неудачную традиционную терминологию "непрерывная случайная величина"
величина с функцией плотности, величина с непрерывной функцией распределения.

Квантили, квантильная функция.

7. Характеристики случайных величин и неравенства.
Дисперсия.
Энтропия.
Неравенство Маркова.
Неравенство Чебышёва.
Неравенство Йенсена.

Здесь конец модуля 1 и КР-1!

8. Пуассоновский поток.
Аксиомы пуассоновского потока.
Вывод экспоненциального распределения и пуассоновского распределения из аксиом.
Вывод экспоненциального распределения из предпосылки об отсутсвии памяти.

9. Нормальное распределение.
Нормальное распределение: предпосылки Хершела-Максвелла.
Нормальное распределение: аргументация Гаусса за среднее арифметическое.
Нормальное распределение: предпосылки Лэндона (до уравнения в частных производных).

10. Классические непрерывные распределения.

Гамма-распределение, бета-распределение.
Вывод нормального и экспоненциального распредений как минимизации энтропии.

11. Парные характеристики случайных величин.
Наилучшая линейная аппроксимация.
Ковариация.
Корреляция.
Кросс-энтропия.

Доказательство E(XY) = E(X) E(Y) для дискретных.
Ковариационная матрица и ожидание для случайных векторов.

12. Совместная и условная функция плостности.
Преобразования случайных величин.

13. Функция производящая моменты и характеристическая функция.
Распределение суммы случайного количества случайных величин.
Случайный выбор слагаемых.

14. Финансовые приложения

Оценивание опционов на биномиальном дереве.
Максимизация долгосрочной прибыли, связь с энтропией.
Возможно, индексы Гиттинса.

Здесь конец модуля 2 и КР-2

15. Сигма-алгебры.

Список известных величин как способ описания информации.
Идея условного ожидания как оптимального прогноза.
Сигма-алгебра как способ описания информации.
Измеримость случайной величины относительно сигма-алгебры.
Сигма-алгебра как ОДЗ для вероятности.
Борелевская сигма-алгебра.
Независимые случайные величины второе определение.

16. Условное математическое ожидание.
Условная дисперсия.
Сумма случайного количества случайных величин.

17. Сходимости случайных величин.

Сходимость по вероятности.
Закон больших чисел.
Сходимость почти наверное.
Усилинный закон больших чисел.
Сходимость по распределению.

18. Связь сходимостей.
Лемма Слуцкого.

19. Центральная предельная теорема.
Доказательство через подмену слагаемых.
Доказательство через характеристические функции.

Здесь контрольная.

20. Винеровский процесс
Условные ожидания, инверсия.

21. Байесовский подход к оцениванию параметров

Балансовое уравнение. Идея MCMC.

22. Доказательства свойств меры

23. Алгоритм построения математического ожидания в общем случае.
Лемма Фату.
Теорема о мажорируемой сходимости.
Теорема о монотонной сходимости.

24. Резерв.

Жемчужинки, которые, вероятно, не успеем:

А. Методы решения задач:
подсчёт случаев с помощью леммы Бернсайда и теоремы Пойа о перечислении
(Burnside lemma, PET = Polya Enumeration Theorem)

B. вероятностные доказательства детерминистических теорем

</div>

== Оценивание ==

Оценка за семестр-1 = 0.2 Домашние задания семестра-1 + 0.4 Контрольная-Альфа + 0.4 Экзамен-Бета.

Финальная оценка за курс = 0.5 Оценка за семестр-1 + 0.1 Домашние задания семестра-2 + 0.2 Контрольная-Гамма + 0.2 Экзамен-Дельта.

Каждая оценка (суммарные итоги за домашние задания, контрольные, экзамены) — целое число от 0 до 100.
Для перевода в 10-балльную шкалу промежуточной оценки за семестр-1 и финальной оценки используется деление на 10
с арифметическим округлением. Например, если Максим получил "оценку за семестр-1" 65 баллов, то в ведомость за первый семестр идёт 7, а далее в формуле финальной оценки за курс используется 65.

=== Домашние задания для самураев ===

Домашние задания [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/home_assignments/home_assignments.pdf одним файлом] и [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/blob/main/home_assignments/ отдельными файлами].
Домашние задания имеют равный вес.
В конце каждой лекции (за исключением ближайших к экзамену лекций)
выдается домашнее задание сроком на две недели.
Дедлайн жёсткий, однако студент имеет право просрочить три домашних задания на неделю каждое без штрафа.

Формат сдачи ДЗ: один pdf-файл (решение текстовых задач) и один ipynb-файл (решение компьютерных задач).
В pdf-файл можно поместить аккуратно написанное отсканированное решение, а можно скомпилировать pdf из теха или маркдауна.
Ещё можно вместо pdf-файла написать всё в ipynb.
Бонусов за сдачу домашки в техе нет. Пример [https://www.overleaf.com/read/qmrkwpzvmqbk шаблона].

Обратите внимание: '''время каждого дедлайна — 23:59'''.

=== Ведомость с оценками за ДЗ ===

{| class="wikitable" style="text-align:center"
|-
! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1872081500#gid=1872081500 235] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1374497930#gid=1374497930 236] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1183164252#gid=1183164252 237] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=408179311#gid=408179311 238] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1032422408#gid=1032422408 239] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1603236891#gid=1603236891 2310] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=791330236#gid=791330236 2311] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=23847300#gid=23847300 2312]
|}

[https://docs.google.com/spreadsheets/d/14hD7-SLmAA1omdkhPlt3blRHDHVGTDS8ZgvLWscvMz8/edit?usp=sharing Сводная ведомость всех оценок]

=== Контрольные работы и экзамен ===

Вес каждой задачи будет написан в тексте работы.
Задачи с ненаписанным по случайности весом имеют равный вес.
Для пропущенных по уважительной причине контрольных будет выделен один день для переписывания.
При пропуске дня переписывания, в том числе по уважительным причинам, ещё одного шанса не предоставляется.

<div class="mw-collapsible mw-collapsed" style="width:1000px; overflow: hidden;">

'''Контрольная работа 1''' состоится 2024-11-11 в 16:20, аудитории: R401, R305, R206, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_halloween_demo/exam_halloween_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/midterm/midterm-alpha.pdf условие с критериями и решениями].

'''Резервный день 1''' для пропустивших по уважительной причине состоится 2024-12-02 в 19:40, R405

'''Показ контрольной 1''':

* задачи 1, 2: заочно до 2024-12-08, [https://t.me/Moskchan Вероника]
* задачи 3, 4 [https://t.me/boris_demeshev Борис], очно, четверг, 2024-12-05, 18:10-21:00, G408
* задачи 5, 6 [https://t.me/XuMuK_MK Максим]: очно, четверг, 2024-12-05, 18:10-21:00, G408

'''Экзамен, модуль 2''' состоится '''''2024-12-24 в 10:00''''', аудитории R301, R304, R401, R404, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_winter_demo/exam_winter_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/december/pmi_probab_2024_december.pdf условие].

Если вы не хотите идти на экзамен, то заполните [https://forms.gle/UQzW77RrPvcdahG47 эту форму], чтобы получить ноль при неявке

'''Апелляция экзамена''':

* задачи 1, 2: заочно [https://t.me/goluba_yurieva Голуба], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/december/exam_problem_1-2.pdf решения и критерии 1, 2];
* задачи 3, 4: очно 2025-01-11, аудитория R408, 14:40-17:40 [https://t.me/madn_boi Никита], [https://www.overleaf.com/read/dnhjcdrndqps#42f1ab решения и критерии 3, 4];
* задачи 5, 6: заочно [https://t.me/levensons Илья]

* дедлайн по заочным апелляциям: суббота 23:59

[https://docs.google.com/spreadsheets/d/1mxMCr3IEDy8EPFWGkn3_dsghhPNcZICEw9C9o5ZoZvA/edit?usp=sharing Распределение по аудиториям]

</div>

Даты пересдач: 2025-01-28 в 18:10, 2025-02-03 в 18:10 и комиссия 2025-02-11 в 18:10.

* задачи 1, 2: [https://t.me/goluba_yurieva Голуба], задачи 3, 4: [https://t.me/madn_boi Никита], задачи 5, 6: [https://t.me/levensons Илья], апелляция пересдачи 2 до 21:00 2025-02-10.

'''Контрольная, модуль 3''' состоится 2025-02-22 в 16:20, аудитории R201, R204, R404, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_galileo_demo/exam_galileo_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_galileo/pmi_probab_galileo_exam_2024-2025.pdf условие].

[https://docs.google.com/spreadsheets/d/1LZA-7TDz_yYeVPRx4BpBWJnQKZ7wqPgHDrN-Z0SM68M/edit?usp=sharing Распределение по аудиториям]

'''Контрольная, модуль 3, резервный день''': 2025-03-07, пятница, 18:10, ~~G503~ R204

'''Экзамен, модуль 3''' состоится 2025-03-26 в 14:40, аудитории R301, R404, R405, R503, демо, условие.

== Учебные материалы ==

[https://github.com/bdemeshev/probability_pro/raw/master/probability_pro.pdf PP]: Листки с задачами к курсу.

[https://github.com/bdemeshev/probability_dna/raw/master/probability_dna.pdf PDNA]: Вероятностная ДНК = вкусные задачи по теории вероятностей.

[https://disk.yandex.ru/d/LZ6d2VZVqYvbDQ Видео-летопись семинаров и лекций] и [https://hse.liferooter.dev/ конспект] от тайного благожелателя (updated 2024-10-23]

[https://disk.yandex.ru/d/IoakBXz_6yygPw Официальные видео]

[https://www.cambridgeinternational.org/Images/344616-list-of-formulae-and-statistical-tables.pdf Cambridge statistical tables]

== Дневник самурая ==

2024-09-02, лекция 1: Определение события. Определение случайной величины. Аксиомы вероятности. Определение математического ожидания для дискретного случая.
Линейность математического ожидания. Математическое ожидание как центр масс. Первое знакомоство с перестановочным тестом и p-значением.

Можно глянуть: главы 2.1 и 7 из [https://arxiv.org/pdf/1411.5279 WTSK], метод рычага [https://mathcircle.berkeley.edu/sites/default/files/archivedocs/2007_2008/lectures/0708lecturespdf/MassPointsBMC07.pdf в геометрии].

2024-09-09, лекция 2: Метод первого шага (вероятность выпадения HTH ранее HHT, ожидаемое количество шагов). Метод разложения случайной величины в сумму. Определение случайного вектора. Использование интерпретации ожидания как центра масс в геометрии. Определение теоретической медианы.

Можно глянуть: глава 2.7.2 из [https://projects.iq.harvard.edu/stat110/home BItP], три стратегии решения задачи за 10 минут [https://www.youtube.com/watch?v=xH89DaEI35w Visually Explained]

2024-09-16, лекция 3: Получение новой информации приводит к пересчёту вероятностей. Определение условной вероятности. Формула полной вероятности. Формула Байеса.
Условное математическое ожидание. Формула полного математического ожидания. Независимость пары событий. Независимость набора событий в совокупности.
Независимость величин: неформальное определение. Критерий независимости произвольных величин. Критерий независимости дискретных величин.

2024-09-23, лекция 4: Доказательство критерия независимости для дискретных случайных величин: из независимости {X=x} и {Y=y} следует независимость {X in A} и {Y in B}. Независимость величин равносильна E(f(X))E(g(Y))=E(f(X)g(Y)) для произвольных f, g. Определение биномиальной, геометрической (как числа неудач до 1го успеха) и отрицательной биномиальной случайной величины. Общая идея за производящими функциями: как из функции, производящей исходы эксперимента, с помощью производных и подстановок выудить индивидуальные вероятности, совместные вероятности, ожидания любой степени E(X^a), E(X^a Y^b). Формальное определение функции, производящей вероятности, и функцию, производящей моменты, для одной случайной величины и пары случайных величин. Метатеорема: все теоремы о дискретных величинах доказываются перестановкой слагаемых. Основные дискретные распределения: биномиальное, геометрическое, отрицательное биномиальное.

2024-09-30, лекция 5: Ещё дискретные законы распределения: гипергеометрическое. Описание закона распределения через равномерное распределение на подмножестве R^n.
Функция плотности как линейная часть вероятности попадания в отрезок. Равномерное распределение на отрезке. Смешанные случайные величины. LOTUS: нахождение ожидания любой функции от случайной величины для величин с функцией плотности и смешанных величин. Функция распределения. Квантильная функция.

2024-10-07, лекция 6: Две геометрии случайных величин и событий: E(XY) как скалярное произведение, Cov(X, Y) как скалярное произведение. Математическое ожидание — проекция в рамках геометрии, задаваемой E(XY). Определение и геометрический смысл дисперсии, стандартного отклонения, ковариации и корреляции. Неравенство Маркова. Неравенство Чебышёва. Неравенство Йенсена: интуитивный смысл.

2024-10-14, лекция 7: Доказательство неравенства Йенсена. Энтропия как минимальное ожидаемое число вопросов для отгадывания и формальное определение. Кросс-энтропия.
Доказательство того, что кросс-энтропия больше либо равна энтропии. Совместная энтропия. Условная энтропия. Формула H(X) + H(Y|X) = H(X, Y) без доказательства.
Вывод плотности экспоненциального распределения из предпосылки отсутствия памяти. Экспоненциальное распределение максимизирует энтропию при заданном ожидании и неотрицательности.

* Cristopher Olah, Visual Information Theory, https://colah.github.io/posts/2015-09-Visual-Information/

* Grand Sanderson, Solving Wordle using information theory, [https://www.youtube.com/watch?v=v68zYyaEmEA youtube].

* Artem Kirsanov, Key equation behind probability, [https://www.youtube.com/watch?v=KHVR587oW8I youtube]. У Артёма кросс-энтропия обозначена H(P, Q), а не CE(P||Q)).

* [https://exuberant-arthropod-be8.notion.site/1-02-09-5e107ea1c4054594b8f37d955db8a2b0 Конспект] аналогичной старой лекции псмо на русском.

* Keith Conrad, [https://kconrad.math.uconn.edu/blurbs/analysis/entropypost.pdf Maximal entropy] distributions.

2024-10-21, лекция 8: Ковариационная матрица и её свойства. Совместная функция плотности. Условная функция плотности. Критерий независимости в терминах функций плотности и распределения.
Связь индивидуальной и совместной функций плотности и функций распределения. Смена плотности при замене переменных: домножение на якобиан и неформально про дифференциальные формы. Формула свёртки.
Разложение совместной плотности для графической модели. Представление произвольной совместной функции распределения с помощью копулы.

* Про дифференциальные формы: [https://www.youtube.com/watch?v=PaWj0WxUxGg&list=PL22w63XsKjqzQZtDZO_9s2HEMRJnaOTX7 videos] by Michael Penn, [https://www.math.purdue.edu/~arapura/preprints/diffforms.pdf short intro] by Dony Arapura

* What is a convolution от [https://www.youtube.com/watch?v=KuXjwB4LzSA 3b1b]

* From graphical models to [https://www.youtube.com/watch?v=yBc01ZeaFxw&list=PLISXH-iEM4JlFsAp7trKCWyxeO3M70QyJ Probabilistic ML]

2024-11-11, лекция 9: Пуассоновский поток: аксиомы. Вывод пуассоновского распределения количества событий и экспоненциального времени между событиями из аксиом.
Сумма независимых пуассоновских потоков — это пуассоновский поток (половина доказательства). Вероятность того, что одна экспоненциальная величина будет меньше другой, независимой.

2024-11-18, лекция 10: Гамма-распределение как сумма нескольких экспоненциальных: вывод плотности через вероятность попадания в малый отрезок.
Обобщение плотности на случай положительного параметра $a$. Гамма-функция. Бета-распределение как отношение гамма-распределений. Бета-функция.

2024-11-25, лекция 11: Вывод нормального распределения из предпосылок Гаусса. Вывод нормального распределения из предпосылок Гершеля — Максвелла.

* Saul Stahl, The [https://www.researchgate.net/publication/255668423_The_Evolution_of_the_Normal_Distribution Evolution] of the Normal Distribution: вывод Гаусса с историей.

* Grand Sanderson, [https://www.youtube.com/watch?v=cy8r7WSuT1I Why pi] is in the normal? вывод Гершеля—Максвелла

* James Stein, [http://www-biba.inrialpes.fr/Jaynes/cc07s.pdf Normal Distribution]: глава про нормальное распределение (Гаусс, Гершель—Максвелл, Лэндон etc)

* William Herschel, [https://music.yandex.com/album/209394/track/2121214 концерт для габоя]

* William Herschel, [https://www.informationphilosopher.com/solutions/scientists/quetelet/Herschel_Quetelet_Probabilities.pdf On the theory of Probabilities]: вывод нормального распределения словами на стр. 189-191

2024-12-02, лекция 12: многомерное нормальное распределение. Функция плотности невырожденного многомерного нормального. Функция производящая моменты для многомерного нормального. Формула Иссерлиса с ненулевыми ожиданиями и доказательством. Условное распределение: вывод условного ожидания и условной дисперсии через разложение величины в сумму независимых.

* [https://stats.stackexchange.com/questions/30588/ альтернативный вывод] условного многомерного нормального распределения
* Хитрый [https://github.com/bdemeshev/lis-isserlis/raw/main/lis-isserlis.pdf лис Иссерлис]

2024-12-09, лекция 13: сходимость по распределению, центральная предельная теорема с доказательством подменой слагаемых.

* Calvin Chin [https://arxiv.org/pdf/2106.00871 CLT proof] by swapping
* [https://bdemeshev.github.io/teaching_notes/clt_by_swapping Пересказ доказательства]

2024-12-16, лекция 14: использование бесконечно малых при нахождении ожиданий, трюк с добавление параметра, трюк с закольцовыванием отрезка при равномерном распределении.

2025-01-13, лекция 15: Неединственность предела по распределению. Неаддитивность предела по распределению. Предел по вероятности. Закон больших чисел в слабой форме (с доказательством при дополнительной предпосылке о конечности дисперсии). Теорема о непрерывном отображении.

2025-01-20, лекция 16: два определение сходимости почти наверное с доказательством эквивалентности. Сходимость в Lp. Из сходимости в Lp при p>=1 следует сходимость по вероятности. Из сходимости почти наверное следует сходимость по вероятностям. Контр-пример к разнице сходимостей почти наверное и по вероятности. Контр-пример к разнице сходимостей в Lp и по вероятности. Усиленный закон больших чисел (без доказательства). Леммы Слуцкого (без доказательства).

2025-01-27, лекция 17: характеристические функции и их свойства. Вывод характеристической функции нормального стандартного распределения через дифференциальное уравнение. Характеристическая функция биномиального распредеделения. Второе доказательство ЦПТ (через характеристические функции).

* [https://web.ma.utexas.edu/users/gordanz/notes/characteristic.pdf Gordan Zitkovic]: characteristic functions
* [https://sas.uwaterloo.ca/~dlmcleis/s901/chapt6.pdf McLeish]: clt proof

2025-02-03, лекция 18: пример последовательности сходящийся по вероятности с ожиданием стремящимся к бесконечности. Критерий Кэлли. Критерий оптимальной остановки Брасса.

* [https://en.wikipedia.org/wiki/Kelly_criterion wikipedia]: Kelly criterion
* [https://projecteuclid.org/journalArticle/Download?urlId=10.1214%2Faop%2F1019160340 Bruss]: sum the odds to one and stop

2025-02-10 лекция 19: Сигма-алгебра порождённая случайной величиной или набором из нескольких случайных величин. Замкнутость относительно счётного количества операций с множествами. Сигма-алгебра. Объединение сигма-алгебр не всегда сигма-алгебра. Пересечение сигма-алгебр всегда сигма-алгебра. Измеримость суммы. Борелевская сигма-алгебра.

2025-02-18, лекция 20: [https://us06web.zoom.us/j/82685613040?pwd=bqJoXGItwNOOWddXj1flfmPmDn6fMQ.1 онлайн, 18:10]

=== Семинары ===

==== 473 = 235 + 238 ====

2024-09-02, 06, семинар 1: задачи 1.1, 1.6, 3.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-09, 13, семинар 2: задачи 2.1, 2.3, 12.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-16, 20, семинар 3: задачи 7.12 и 7.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-23, 27, семинар 4: как извлечь P(X=3), E(X), E(X^2Y) из функции, производящей список исходов, 28.16 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-30, -10-04, семинар 5: 9.3в, 9.4, 9.7(абвд, кроме дисперсии, аргументы масштабирования и центра масс помимо интегралов), 9.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-10-07, 11, семинар 6: вычисление Cov, Var, Corr по табличке и из функции плотности, нахождение дисперсии для отрицательного биномиального распределения по свойствам.

2024-10-14, 18, семинар 7: вычисление энтропии геометрического распределения. Изменение энтропии при линейном преобразовании для дискретной величины и величины с функцией плотности.
Кросс-энтропия из экспоненциального в равномерное. Условная энтропия для дискретной таблички. Связь энтропии величины с функцией плотности и энтропия дискретной версии этой случайной величины после "огрубления" с малым шагом 1/k.

2024-10-21, -11-01, семинар 8: 16.18, 16.23 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], свёртка двух экспоненциальных величин

2024-11-11, 15, семинар 9: задачи на пуассоновский поток из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-11-18, 22, семинар 10: задачи на бета и гамма-распределение

2024-11-25, 29, семинар 11: задачи на нормальное распределение, 18.1, 18.2, 18.3, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-02, 06, семинар 12: задачи на многомерное нормальное: 24.16аб, 24.17аб, 24.18, 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-09, 13, семинар 13: ЦПТ и нормальное распределение: 20.2, 20.4, 18.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-19, семинар 14: разбор демо

2025-01-13, семинар 15: сходимость по вероятности: 20.1, 20.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-20, 24, семинар 16: связь между сходимостями, 20.11, 20.13 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-27, 31, семинар 17: 28.17, 28.18, 28.21 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-03, 07, семинар 18: 28.20аб, 28.22 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-10, 17, семинар 19: 6.2, 6.3, 6.11, измеримость произведения из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

==== 236 ====

2024-09-06, семинар 1: в начале семинара рассмотрели основные понятия и определения для решения задач. Решили задачи 1.1, 1.6, 3.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-13, семинар 2: нашли ожидание случайной величины с геом. распределением. Решили задачи 2.1, 12.6, 12.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-09-20, семинар 3: решили задачи 7.12, 7.4(а), 7.7, 7.13(а) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-09-27, семинар 4: разобрали 7.13, почти разобрали 28.3 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Также рассмотрели один контрпример на независимость(тетраэдр Бернштейна).

2024-10-04, семинар 5: разобрались с определениями, решили 9.3(абв), 9.7(аб) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Решили задачку про три точки на отрезке и найти вероятность получить треугольник. Также вывели формулу для мат. ожидания неотрицательной величины через функцию распределения.

2024-10-14, семинар 6: обсудили дисперсию, ковариацию, коэффициент корреляции и их геометрический смысл. Решили задачу на оценку дисперсии ограниченной величины. посчитали дисперсию геометрического, биномиального. Посчитали дисперсию в задаче о письмах и конвертах.

???, семинар 7: определили энтропию, посчитали примеры для дискретных величин, для линейных преобразований. Доказали, что задача максимизации энтропии с фиксированной дисперсией достигается на нормальном распределении.

???, семинар 8: свертка двух экспоненциальных, 16.18 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

???, семинар 9: задачи на пуассоновский процесс из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

???, семинар 10: разбор кр.

???, семинар 11: разобрали задачи на нормальное распределение 18.1, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Также считали распределение суммы двух независимых нормальных.

==== 237 ====

2024-09-09, семинар 1: задачи 1.1, 2.2 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], вероятность что n ладей не бьют друг друга при случайной расстановке на шахматной доске n на n, матожидание числа треугольников в случайном графе на n вершинах через сумму индикаторов

2024-09-13, семинар 2: задачи 2.1, 2.6, 12.3, 12.6, 12.7 (без дисперсий) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-23, семинар 3: задачи 7.2, 7.13, 7.7, 7.8, плюс начали 7.15b (получили неверный ответ) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-27, семинар 4: дорешали 7.15b с небольшой демонстрацией на питоне, разобрали 28.2 для нечестной монетки плюс посчитали матожидание [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-10-04, семинар 5: задачи 9.1, 9.3абв, 9.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], философия про то почему бОльшая плотность не всегда означает бОльшую вероятность оказаться в окрестности данной точки (плотность может занимать слишком маленький объем)

2024-10-11, семинар 6: вспомнили определения Cov/Var/Corr, посчитали у пары дискретных величин по табличке вероятностей, посчитали дисперсию у биномиального, геометрического, непрерывного равномерного на отрезке.

2024-10-18, семинар 7: вычисление энтропии геометрического распределения; ограниченность энтропии снизу и сверху в дискретном случае; изменение энтропии при линейном преобразовании для дискретной величины и величины с функцией плотности; условная энтропия, KL дивергенция и кросс-энтропия, неотрицательность KL, интерпретация на пальцах с точки зрения теории информации.

2024-11-01, семинар 8: 16.18, 16.23 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], свёртка двух экспоненциальных величин

2024-11-08, семинар 9: решали пробный вариант КР

2024-11-15, семинар 10: 13.1, 13.2, 13.5, 13.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-11-22, семинар 11: разбор КР

2024-11-29, семинар 12: нормальное распределение, 18.1, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-06, семинар 13: многомерное нормальное распределение, изменение среднего и матрицы ковариаций при линейном преобразовании, 24.4а, 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-13, семинар 14: 24.4в из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], сходимости случайных величин, ЗБЧ и ЦПТ, 20.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-21, семинар 15: наследование сходимости, 20.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], плюс доказали предельную теорему Пуассона

2025-01-28, семинар 16: связь между сходимостями, 20.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], лемма Слуцкого, подмена дисперсии на выборочную дисперсию в ЦПТ

2025-02-04, семинар 17: базовые свойства хар функций, хар функция суммы независимых величин, 28.17, 28.20 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-18, семинар 18: вероятностное пространство в общем случае, сигма-алгебры, борелевская сигма-алгебра, сигма-алгебра порожденная случайной величиной, измеримость случайной величины относительно сигма-алгебры, 6.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], задачи на сигма алгебры из пробника КР

2025-02-25, семинар 19: условное матожидание относительно сигма алгебры, условное матожидание и дисперсия относительно случайной величины, закон полного матожидания и закон полной дисперсии, 22.1, 22.3, 22.5абв из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-03-04, семинар 20: показали, что условное матожидание минимизирует среднеквадратичный риск; нашли условное матожидание и условную дисперсию в 22.6 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], нашли E[X | X^2] для симметричного равномерного распределения, нашли E[X_1 | X_1 + ... + X_n] для набора i.i.d. величин, нашли E[Y] и Var(Y) для Y|X имеющего экспоненциальное распределение с параметром X

==== 239 ====

2024-09-03, семинар 1: задачи 1.1, 1.4, пытались 1.8 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Ещё успели посчитать вероятность N=k бросков монеты до выпадения первого орла, матожидание N. И ещё сделали то же для количества бросков до выпадения 3 орлов (не в серии).

2024-09-10, семинар 2: доказали формулу включения-исключения, решили несложную задачу, порешали 2.7 задачи типа 12.*

2024-09-17, семинар 3: Решили две прямых задачи на формулу Байеса и формулу полной вероятности (без большого количества вычислений). Решили задачу поиска вероятности неисправного кофе-автомата из 3 при условии, что бросили деньги в 1 и 2 и их зажевало. Ещё нашли вероятность, что мяч будет у игрока 3 после шага 10 (все садятся в круг и на каждом шаге бросают мяч соседу с вероятностью 0.3 и оставляют у себя с вероятностью 0.4).

2024-09-24, семинар 4: Вспомнили про метод первого шага, используя формулу полной вероятности и введя в некотором виде формулу полного матожидания, записали формулу для вероятностей нахождения в состоянии i через произведение переходной матрицы на вектор. Совсем немного начали производящие функции, но решили не считать 31ю производную многочлена.

2024-10-01, семинар 5: Исследуем дискретные случайные величины (Биномиальная, Геометрическая и разные похожие) с использованием техник вычислений моментов через производящую функцию. Задачи на распределения величин, посчитанных по набору величин. Первая большая задача про плотность.

2024-10-08, семинар 6: разминочная про плотность и функцию распределения. Считаем дисперсию, ковариацию и корреляцию по 2x2 таблице и в равномерном распределении на круге и квадрате [-1,1]х[-1,1].

2024-10-15, семинар 7: пара задач про экспоненциальное распределение, расчёты по теории информации(считаем всякое, чтобы привыкнуть).

2024-10-22, семинар 8: письменные источники не сохранились до наших дней. Согласно преданиям, оьсуждали двери и около контрольной. Говорят, ввели пуассоновский процесс.

2024-???, семинар 9: решаем задачи на пуассоновское в разных формах и обсуждаем омалые в порядковых статистиках.

2024-???, семинар 10: учимся интерпретироввть гауссовское, пользоваться таблицами для функции Лапласа, а также немного работать с многомерным гауссовским.

2024-3-12, семинар 11: Копаем во все стороны многомерное гауссовское: считаем вероятности для линейных комбинаций гауссовских, проверяем зависимость, вычисляем условные законы, матожидания и ковариационные матрицы, вспоминаем спектральное разложение и разложение Холецкого.

==== 2311 ====

2024-09-06, семинар 1: вероятностное пространство, вероятность на нем, вероятность события, случайная величина и ее распределение (индикатор события, сумма двух кубиков, число бросаний монетки до первого орла), матожидание случайной величины (индикатор, один кубик, два кубика), линейность матожидания. Задачи на линейность матожидания, в том числе ЕГЭшная задача про турнир, 1.5, 3.5 с допвопросом о матожидании числа совпадений. Разговор о получении события произвольной вероятности монеткой в контексте 1.8

2024-09-13, семинар 2: Повторили матожидание суммы на примере 12.3. Обсудили условную вероятность и формулу полной вероятности, условное матожидание, решили задачи на метод первого шага 2.1, 2.3, 2.7.

2024-09-20, семинар 3: Условная вероятность, формула полной вероятности, формула Байеса: 7.1, классическая задача про болезни и тесты, простейшие задачки на общее понимание, обсуждение двух подходов: вычисления условной вероятности по формуле и составления нового вероятностного пространства и подсчет вероятности в нем. Независимые события (события "пики" и "дама" в обычной колоде и колоде с джокерами), независимые в совокупности события, построили пример попарно независимых, но не независимых в совокупности. Обсудили биномиальное распределение. решили задачу: "в корабле к отсеков, чтобы корабль затонул, нужно поразить 2. Независимо выпускают n ракет, каждая из которых поражает случайный отсек с вероятностью p. Найти вероятность потопления корабля"

2024-09-20, семинар 4: Примеры одинаково распределенных зависимых СВ, независимые СВ. Производящая функция и ее свойства. Посчитали для биномиального производящую функцию и второй момент. Обсудили, что будет меняться в случае функции, производящей моменты. Обсудили функцию, производящую множество исходов, как из нее доставать уже известные функции, как ее искать на примере бросания монетки до выпадания HT

2024-10-11, семинар 5: Составили табличку стандартных дискретных распределений, посчитали матожидание геометрического, обсудили дисперсию и ковариацию и их свойства (в дискретном случае), досчитали дисперсии основных распределений. Обсудили вероятностное пространство в общем случае, понятие СВ в общем случае. Дали определение ФР, посчитали ФР для явно заданной СВ. Дали определение плотности.

2024-10-12, семинар 6: Обсудили свойства ФР, как считать вероятность попадания в промежуток в терминах ФР. Выразили ФР 1/X, cos X. Обсудили как выражается веротяность попадания в множество через плотность. для 1/Х выразили плотность в случае абсолютной непрерывности Х. Обсудили формулу для МО в общем виде через интеграл Стильтьеса и как вычислять МО для функции, разлагающейся в сумму абсолютно нерпрерывной и функции скачков, посчитали МО для пары таких СВ

2024-10-18, семинар 7: Обсудили геометрию, заданную скалярным произведением EXY и cov(X,Y), поиск ортогонального элемента и проекции. Посчитали энтропию и кросс-энтропию в дискретном и непрерывном случаях, посчиали совместную и условную энтропию в дискретном случае (23.2, 23.4, 23.9)

2024-11-01, семинар 9: Совместная плотность и ф.р., подсчет вероятностей, маргинальные плотности, замена переменной через якобиан, свертка, матожидание

2024-11-09, семинар 10: Условная плотность, формула условной вероятности. Задача на восстановление маргинальной плотности по условной. Разбор задач из "Летучей мыши"

2024-11-19, семинар 11: Разбор контрольной работы

2024-11-22, семинар 12: Пуассоновский поток - решали задачки из задачника

2024-11-29, семинар 13: Нормальное распределение - задачи из PP, повторили функцию, порождающую моменты, обсудили ее свойства в абсолютно непрерывном случае

2024-12-06, семинар 14: Многомерное нормальное - обсудили два определения, связь между ними, независимость элементов нормального вектора при нулевой ковариации и почему это неверно для произвольных нормальных. порешали задачи 24.9а, 24.10, 24.17

2024-12-013, семинар 15: ЦПТ, решали задачи из задачника

2025-01-17, семинар 16: Сходимости почти наверное и по вероятности, связь со сходимостью по распределению. Посмотрели стандартные контрпримеры, показали, что если есть сходимость по распределению к константе, то есть и по вероятности. ЗБЧ Чебышева и Хинчина, УЗБЧ Колмогорова, обсудили 20.1 сколько успели.

2025-01-24, семинар 17: Сходимость в L_p, связи между сходимостями. Задача 20.11

2025-01-24, семинар 18: Характеристические функции и их свойства. Посчитали хар функции для равномерного, Бернулли, биномиального, Пуассона, экспоненциального. Показали, чо сумма нормальных нормальна. По функции пытались понять, может ли она быть характеристической и восстанавливали с.в.

==== 2310, 2312 ====

2024-09-06, семинар 1: задача 1.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Определили вероятностное пространство в виде тройки, множество исходов рассматривали конечное и счётное. Решили 3 счётные задачи на комбинаторику про колоды карт и счетные последовательности цифр. Привели геометрическое и аналитическое решения задачи про нахождение предела последовательности вероятностей. В конце нашли математическое ожидание геометрически распределённой случайной величины.

2024-09-13, семинар 2: задача 2.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Задача на упорядоченные и неупорядоченные наборы. Задача про классическое вероятностное пространство и про пространство с неравновероятными исходами. Разобрали парадокс Монти Холла. Ввели понятия условной вероятности и независимых случайных величин. Сформулировали и обсудили идеи доказательств трёх теорем: теорема умножения вероятностей, формула полной вероятности и формула Байеса.

2024-09-20, семинар 3: Решили задачу на определение условной вероятности. Обсудили парадокс теоремы Байеса на примере задачи про редкое заболевание, а также посмотрели простую программу на Python, которая считает вероятность в зависимости от количества проведенных тестов на заболевание. Обсудили условное математическое ожидание, некоторые его свойства и рассмотрели пример с подбрасыванием кубика. В конце решили задачу на парадокс дней рождений.

2024-09-27, семинар 4: Обсудили коллизии хеш-функций и связь с атакой "дней рождений". Определили независимость или зависимость случайных величин в четырёх разных вариантах. Обсудили, что неверно утверждать, что матожидание частного независимых случайных величин равно частному матожиданий, также привели пример использования подобного факта в некоторых статьях. В конце решили задачу на поиск функции производящей исходы, а также нашли E(X), E(Y^2), E(XY) с помощью найденной функции.

2024-10-04, семинар 5: Решили две простые задачи на условную вероятность и на теорему об умножении вероятностей. Обсудили связь дерева событий с условной вероятностью и теоремой об умножении вероятностей. Нашли производящую функцию моментов для геометрически распределенной случайной величины и с помощью нее нашли матожидание. Нашли производящую функцию моментов и матожидание суммы случайного количества н.о.р случайных величин.

2024-10-11, семинар 6: Привели аналогии между дискретными и непрерывными случайными величинами. Нарисовали графики функций от случайных величин. Вспомнили определение и свойства дисперсии. Решили простую задачу на подсчет дисперсии и нашли дисперсию геометрически распределенной случайной величины. Обсудили, когда может быть матожидание и дисперсия бесконечны. Далее вспомнили неравенства Маркова и Чебышева, вывели следствия и решили 3 задачи на применение этих неравенств. Обсудили, что неравенство Маркова может давать как точную оценку, так и очень слабую. Показали, что неотрицательность случайной величины в неравенстве Маркова является существенным условием.

2024-10-11, семинар 7: Повторили понятия энтропии в битах и натах, а также понятие дифференциальной энтропии. Нашли энтропию в схеме Бернулли и энтропии геометрического и экспоненциального распределений. Доказали простую оценку сверху для энтропии случайной величины, имеющей конечный носитель мощности n.

2024-11-1, семинар 8: Разобрали демо-вариант контрольной работы "Тыква".

2024-11-8, семинар 9: Разобрали демо-вариант контрольной работы "Летучая мышь".

2024-11-15, семинар 10: Понятие случайного процесса. Определение пуассоновского процесса, его свойства. Три простые задачи на пуассоновское распределение. Задачи 13.1 и 13.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-11-22, семинар 11: Определения Бета-функции и Гамма-функции. Бета и Гамма распределения, их функции плотности и графики. Нахождение моды случайных величин, имеющих Бета и Гамма распределения. Связь пуассоновского процесса с Гамма распределением. В конце нашли производящую функцию моментов Гамма распределения.

2024-11-29, семинар 12: Задачи 18.1, 18.2 и 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-12-06, семинар 13: Нашли многомерное нормальное распределение по виду функции плотности (константа на экспоненту с квадратичным показателем). С помощью формулы Иссерлиса нашли матожидания произведений различных или одинаковых случайных величин, имеющих многомерное нормальное распределение. Нашли условную вероятность многомерного распределения. Задача 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-12-13, семинар 14: Повторили определение сходимости по распределению и центральную предельную теорему. Решили задачи 20.2 и 20.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

== Источники ==

Источники мудрости, которые я постарался не замутить :)

[https://arxiv.org/pdf/1411.5279 WTSK]: Tim Hesterberg, What Teachers Should Know About the Bootstrap: вкусное и доступное изложение бутстрэпа и перестановочных тестов.

[https://projects.iq.harvard.edu/stat110/home BItP]: Blitzstein, Hwang, Introduction to Probability: учебник, записи лекций, гарвардский курс.

Теория вероятностей 2024/25 (основной поток)

2025-02-25T20:47:02Z

Bdemeshev: /* Контрольные работы и экзамен */

= Преподаватели и учебные ассистенты =

{| class="wikitable" style="text-align:center"
|-
! Группа !! БПМИ235 !! БПМИ236 !! БПМИ237 !! БПМИ238 !! БПМИ239 !! БПМИ2310 !! БПМИ2311 !! БПМИ2312
|-
|| Лектор ||colspan="11"| [https://t.me/boris_demeshev Борис Демешев]
|-
|| Семинарист || [https://t.me/boris_demeshev Борис Демешев] || [https://t.me/levensons Илья Левин] || [https://t.me/madn_boi Никита Морозов] || [https://t.me/boris_demeshev Борис Демешев] || [https://t.me/XuMuK_MK Максим Каледин] || [https://t.me/goluba_yurieva Голуба Юрьева] || [https://t.me/Moskchan Вероника Владыкина] || [https://t.me/goluba_yurieva Голуба Юрьева]
|-
|| Ассистент || [https://t.me/nerhneiro Ира Скворцова] || [https://t.me/a_ameli_ig Амелия Алаева] || [https://t.me/htual Алина Бадахова] || [https://t.me/adelyagaraeva Аделя Гараева] || [https://t.me/mabrielka Мария Брель] || [https://t.me/zm_ann Анна Зыкова-Мызина] || [https://t.me/Yanlightv Яна Вежновец] || [https://t.me/nol_erk Кирилл Лавриненко]
|-
|| Ассистент курса ||colspan="11"| [https://t.me/Nick_Volya Никита Волянский]
|}

== Цели и задачи курса ==

侍には目標がなく道しかない [Samurai niwa mokuhyō ga naku michi shikanai]

У самурая нет цели и ничего кроме пути.

Вероятный план:
<div class="mw-collapsible mw-collapsed" style="width:1000px; overflow: hidden;">
1. Дискретное вероятностное пространство. Вероятность, математическое ожидание, теоретическая медиана.
Перестановочные тесты, p-значение для перестановочного теста.
Математическое ожидание = центр масс.

NB: здесь сходу рисуем дерево
NB: здесь нет задач на условную вероятность

!предупреждение об обозначениях случайных величин.
Российская традиция — греческие буквы, американская традиция — заглавные английские буквы.
Наш курс: любые буквы. Причина: теория вероятностей применяется в разных областях, где свои традиции.

NB: Способы вычисления вероятностей и ожиданий:
* полный перебор руками
* примерные вычисления руками
* полный перебор на компьютере
* симуляции на компьютере
* ...

2.
Методы решения задач:
* разложение величины в сумму
* метод первого шага
!идея: позиция в игре имеет цену
* just for fun: метод рычага в геометрии через ожидание
NB: рассказать здесь про комплексную случайную величину
NB: по сути здесь мы уже решаем задачи на марковские цепи не говоря страшных определений
LOTUS.

3. Условная вероятность и условное ожидание.
!идея: зануляем вероятности невозможных событий, а остальные — масштабируем.
формула полной вероятности
!идея: дерево "помнит" формулу полной вероятности
формула Байеса

Независимые события.
Независимые случайные величины.

4.
Методы решения задач:
* производящие функции многих переменных
функция как способ записать множество
HTT vs TTH
ABRACADABRA
!разложение по биномиальной формуле

?: можно здесь успеть функцию производящую моменты

5.
Биномиальное распределение.
Геометрическое и гипергеометрическое распределения.
Отрицательное биномиальное распределение.

6.
Равномерное распределение на множестве в R^n
Функция распределения.
Функция плотности и вероятностная дифференциальная форма.
!пояснение про неудачную традиционную терминологию "непрерывная случайная величина"
величина с функцией плотности, величина с непрерывной функцией распределения.

Квантили, квантильная функция.

7. Характеристики случайных величин и неравенства.
Дисперсия.
Энтропия.
Неравенство Маркова.
Неравенство Чебышёва.
Неравенство Йенсена.

Здесь конец модуля 1 и КР-1!

8. Пуассоновский поток.
Аксиомы пуассоновского потока.
Вывод экспоненциального распределения и пуассоновского распределения из аксиом.
Вывод экспоненциального распределения из предпосылки об отсутсвии памяти.

9. Нормальное распределение.
Нормальное распределение: предпосылки Хершела-Максвелла.
Нормальное распределение: аргументация Гаусса за среднее арифметическое.
Нормальное распределение: предпосылки Лэндона (до уравнения в частных производных).

10. Классические непрерывные распределения.

Гамма-распределение, бета-распределение.
Вывод нормального и экспоненциального распредений как минимизации энтропии.

11. Парные характеристики случайных величин.
Наилучшая линейная аппроксимация.
Ковариация.
Корреляция.
Кросс-энтропия.

Доказательство E(XY) = E(X) E(Y) для дискретных.
Ковариационная матрица и ожидание для случайных векторов.

12. Совместная и условная функция плостности.
Преобразования случайных величин.

13. Функция производящая моменты и характеристическая функция.
Распределение суммы случайного количества случайных величин.
Случайный выбор слагаемых.

14. Финансовые приложения

Оценивание опционов на биномиальном дереве.
Максимизация долгосрочной прибыли, связь с энтропией.
Возможно, индексы Гиттинса.

Здесь конец модуля 2 и КР-2

15. Сигма-алгебры.

Список известных величин как способ описания информации.
Идея условного ожидания как оптимального прогноза.
Сигма-алгебра как способ описания информации.
Измеримость случайной величины относительно сигма-алгебры.
Сигма-алгебра как ОДЗ для вероятности.
Борелевская сигма-алгебра.
Независимые случайные величины второе определение.

16. Условное математическое ожидание.
Условная дисперсия.
Сумма случайного количества случайных величин.

17. Сходимости случайных величин.

Сходимость по вероятности.
Закон больших чисел.
Сходимость почти наверное.
Усилинный закон больших чисел.
Сходимость по распределению.

18. Связь сходимостей.
Лемма Слуцкого.

19. Центральная предельная теорема.
Доказательство через подмену слагаемых.
Доказательство через характеристические функции.

Здесь контрольная.

20. Винеровский процесс
Условные ожидания, инверсия.

21. Байесовский подход к оцениванию параметров

Балансовое уравнение. Идея MCMC.

22. Доказательства свойств меры

23. Алгоритм построения математического ожидания в общем случае.
Лемма Фату.
Теорема о мажорируемой сходимости.
Теорема о монотонной сходимости.

24. Резерв.

Жемчужинки, которые, вероятно, не успеем:

А. Методы решения задач:
подсчёт случаев с помощью леммы Бернсайда и теоремы Пойа о перечислении
(Burnside lemma, PET = Polya Enumeration Theorem)

B. вероятностные доказательства детерминистических теорем

</div>

== Оценивание ==

Оценка за семестр-1 = 0.2 Домашние задания семестра-1 + 0.4 Контрольная-Альфа + 0.4 Экзамен-Бета.

Финальная оценка за курс = 0.5 Оценка за семестр-1 + 0.1 Домашние задания семестра-2 + 0.2 Контрольная-Гамма + 0.2 Экзамен-Дельта.

Каждая оценка (суммарные итоги за домашние задания, контрольные, экзамены) — целое число от 0 до 100.
Для перевода в 10-балльную шкалу промежуточной оценки за семестр-1 и финальной оценки используется деление на 10
с арифметическим округлением. Например, если Максим получил "оценку за семестр-1" 65 баллов, то в ведомость за первый семестр идёт 7, а далее в формуле финальной оценки за курс используется 65.

=== Домашние задания для самураев ===

Домашние задания [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/home_assignments/home_assignments.pdf одним файлом] и [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/blob/main/home_assignments/ отдельными файлами].
Домашние задания имеют равный вес.
В конце каждой лекции (за исключением ближайших к экзамену лекций)
выдается домашнее задание сроком на две недели.
Дедлайн жёсткий, однако студент имеет право просрочить три домашних задания на неделю каждое без штрафа.

Формат сдачи ДЗ: один pdf-файл (решение текстовых задач) и один ipynb-файл (решение компьютерных задач).
В pdf-файл можно поместить аккуратно написанное отсканированное решение, а можно скомпилировать pdf из теха или маркдауна.
Ещё можно вместо pdf-файла написать всё в ipynb.
Бонусов за сдачу домашки в техе нет. Пример [https://www.overleaf.com/read/qmrkwpzvmqbk шаблона].

Обратите внимание: '''время каждого дедлайна — 23:59'''.

=== Ведомость с оценками за ДЗ ===

{| class="wikitable" style="text-align:center"
|-
! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1872081500#gid=1872081500 235] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1374497930#gid=1374497930 236] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1183164252#gid=1183164252 237] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=408179311#gid=408179311 238] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1032422408#gid=1032422408 239] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1603236891#gid=1603236891 2310] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=791330236#gid=791330236 2311] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=23847300#gid=23847300 2312]
|}

[https://docs.google.com/spreadsheets/d/14hD7-SLmAA1omdkhPlt3blRHDHVGTDS8ZgvLWscvMz8/edit?usp=sharing Сводная ведомость всех оценок]

=== Контрольные работы и экзамен ===

Вес каждой задачи будет написан в тексте работы.
Задачи с ненаписанным по случайности весом имеют равный вес.
Для пропущенных по уважительной причине контрольных будет выделен один день для переписывания.
При пропуске дня переписывания, в том числе по уважительным причинам, ещё одного шанса не предоставляется.

<div class="mw-collapsible mw-collapsed" style="width:1000px; overflow: hidden;">

'''Контрольная работа 1''' состоится 2024-11-11 в 16:20, аудитории: R401, R305, R206, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_halloween_demo/exam_halloween_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/midterm/midterm-alpha.pdf условие с критериями и решениями].

'''Резервный день 1''' для пропустивших по уважительной причине состоится 2024-12-02 в 19:40, R405

'''Показ контрольной 1''':

* задачи 1, 2: заочно до 2024-12-08, [https://t.me/Moskchan Вероника]
* задачи 3, 4 [https://t.me/boris_demeshev Борис], очно, четверг, 2024-12-05, 18:10-21:00, G408
* задачи 5, 6 [https://t.me/XuMuK_MK Максим]: очно, четверг, 2024-12-05, 18:10-21:00, G408

'''Экзамен, модуль 2''' состоится '''''2024-12-24 в 10:00''''', аудитории R301, R304, R401, R404, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_winter_demo/exam_winter_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/december/pmi_probab_2024_december.pdf условие].

Если вы не хотите идти на экзамен, то заполните [https://forms.gle/UQzW77RrPvcdahG47 эту форму], чтобы получить ноль при неявке

'''Апелляция экзамена''':

* задачи 1, 2: заочно [https://t.me/goluba_yurieva Голуба], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/december/exam_problem_1-2.pdf решения и критерии 1, 2];
* задачи 3, 4: очно 2025-01-11, аудитория R408, 14:40-17:40 [https://t.me/madn_boi Никита], [https://www.overleaf.com/read/dnhjcdrndqps#42f1ab решения и критерии 3, 4];
* задачи 5, 6: заочно [https://t.me/levensons Илья]

* дедлайн по заочным апелляциям: суббота 23:59

[https://docs.google.com/spreadsheets/d/1mxMCr3IEDy8EPFWGkn3_dsghhPNcZICEw9C9o5ZoZvA/edit?usp=sharing Распределение по аудиториям]

</div>

Даты пересдач: 2025-01-28 в 18:10, 2025-02-03 в 18:10 и комиссия 2025-02-11 в 18:10.

* задачи 1, 2: [https://t.me/goluba_yurieva Голуба], задачи 3, 4: [https://t.me/madn_boi Никита], задачи 5, 6: [https://t.me/levensons Илья], апелляция пересдачи 2 до 21:00 2025-02-10.

'''Контрольная, модуль 3''' состоится 2025-02-22 в 16:20, аудитории R201, R204, R404, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_galileo_demo/exam_galileo_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_galileo/pmi_probab_galileo_exam_2024-2025.pdf условие].

[https://docs.google.com/spreadsheets/d/1LZA-7TDz_yYeVPRx4BpBWJnQKZ7wqPgHDrN-Z0SM68M/edit?usp=sharing Распределение по аудиториям]

'''Контрольная, модуль 3, резервный день''': 2025-03-07, пятница, 18:10, G503

'''Экзамен, модуль 3''' состоится 2025-03-26 в 14:40, аудитории R301, R404, R405, R503, демо, условие.

== Учебные материалы ==

[https://github.com/bdemeshev/probability_pro/raw/master/probability_pro.pdf PP]: Листки с задачами к курсу.

[https://github.com/bdemeshev/probability_dna/raw/master/probability_dna.pdf PDNA]: Вероятностная ДНК = вкусные задачи по теории вероятностей.

[https://disk.yandex.ru/d/LZ6d2VZVqYvbDQ Видео-летопись семинаров и лекций] и [https://hse.liferooter.dev/ конспект] от тайного благожелателя (updated 2024-10-23]

[https://disk.yandex.ru/d/IoakBXz_6yygPw Официальные видео]

[https://www.cambridgeinternational.org/Images/344616-list-of-formulae-and-statistical-tables.pdf Cambridge statistical tables]

== Дневник самурая ==

2024-09-02, лекция 1: Определение события. Определение случайной величины. Аксиомы вероятности. Определение математического ожидания для дискретного случая.
Линейность математического ожидания. Математическое ожидание как центр масс. Первое знакомоство с перестановочным тестом и p-значением.

Можно глянуть: главы 2.1 и 7 из [https://arxiv.org/pdf/1411.5279 WTSK], метод рычага [https://mathcircle.berkeley.edu/sites/default/files/archivedocs/2007_2008/lectures/0708lecturespdf/MassPointsBMC07.pdf в геометрии].

2024-09-09, лекция 2: Метод первого шага (вероятность выпадения HTH ранее HHT, ожидаемое количество шагов). Метод разложения случайной величины в сумму. Определение случайного вектора. Использование интерпретации ожидания как центра масс в геометрии. Определение теоретической медианы.

Можно глянуть: глава 2.7.2 из [https://projects.iq.harvard.edu/stat110/home BItP], три стратегии решения задачи за 10 минут [https://www.youtube.com/watch?v=xH89DaEI35w Visually Explained]

2024-09-16, лекция 3: Получение новой информации приводит к пересчёту вероятностей. Определение условной вероятности. Формула полной вероятности. Формула Байеса.
Условное математическое ожидание. Формула полного математического ожидания. Независимость пары событий. Независимость набора событий в совокупности.
Независимость величин: неформальное определение. Критерий независимости произвольных величин. Критерий независимости дискретных величин.

2024-09-23, лекция 4: Доказательство критерия независимости для дискретных случайных величин: из независимости {X=x} и {Y=y} следует независимость {X in A} и {Y in B}. Независимость величин равносильна E(f(X))E(g(Y))=E(f(X)g(Y)) для произвольных f, g. Определение биномиальной, геометрической (как числа неудач до 1го успеха) и отрицательной биномиальной случайной величины. Общая идея за производящими функциями: как из функции, производящей исходы эксперимента, с помощью производных и подстановок выудить индивидуальные вероятности, совместные вероятности, ожидания любой степени E(X^a), E(X^a Y^b). Формальное определение функции, производящей вероятности, и функцию, производящей моменты, для одной случайной величины и пары случайных величин. Метатеорема: все теоремы о дискретных величинах доказываются перестановкой слагаемых. Основные дискретные распределения: биномиальное, геометрическое, отрицательное биномиальное.

2024-09-30, лекция 5: Ещё дискретные законы распределения: гипергеометрическое. Описание закона распределения через равномерное распределение на подмножестве R^n.
Функция плотности как линейная часть вероятности попадания в отрезок. Равномерное распределение на отрезке. Смешанные случайные величины. LOTUS: нахождение ожидания любой функции от случайной величины для величин с функцией плотности и смешанных величин. Функция распределения. Квантильная функция.

2024-10-07, лекция 6: Две геометрии случайных величин и событий: E(XY) как скалярное произведение, Cov(X, Y) как скалярное произведение. Математическое ожидание — проекция в рамках геометрии, задаваемой E(XY). Определение и геометрический смысл дисперсии, стандартного отклонения, ковариации и корреляции. Неравенство Маркова. Неравенство Чебышёва. Неравенство Йенсена: интуитивный смысл.

2024-10-14, лекция 7: Доказательство неравенства Йенсена. Энтропия как минимальное ожидаемое число вопросов для отгадывания и формальное определение. Кросс-энтропия.
Доказательство того, что кросс-энтропия больше либо равна энтропии. Совместная энтропия. Условная энтропия. Формула H(X) + H(Y|X) = H(X, Y) без доказательства.
Вывод плотности экспоненциального распределения из предпосылки отсутствия памяти. Экспоненциальное распределение максимизирует энтропию при заданном ожидании и неотрицательности.

* Cristopher Olah, Visual Information Theory, https://colah.github.io/posts/2015-09-Visual-Information/

* Grand Sanderson, Solving Wordle using information theory, [https://www.youtube.com/watch?v=v68zYyaEmEA youtube].

* Artem Kirsanov, Key equation behind probability, [https://www.youtube.com/watch?v=KHVR587oW8I youtube]. У Артёма кросс-энтропия обозначена H(P, Q), а не CE(P||Q)).

* [https://exuberant-arthropod-be8.notion.site/1-02-09-5e107ea1c4054594b8f37d955db8a2b0 Конспект] аналогичной старой лекции псмо на русском.

* Keith Conrad, [https://kconrad.math.uconn.edu/blurbs/analysis/entropypost.pdf Maximal entropy] distributions.

2024-10-21, лекция 8: Ковариационная матрица и её свойства. Совместная функция плотности. Условная функция плотности. Критерий независимости в терминах функций плотности и распределения.
Связь индивидуальной и совместной функций плотности и функций распределения. Смена плотности при замене переменных: домножение на якобиан и неформально про дифференциальные формы. Формула свёртки.
Разложение совместной плотности для графической модели. Представление произвольной совместной функции распределения с помощью копулы.

* Про дифференциальные формы: [https://www.youtube.com/watch?v=PaWj0WxUxGg&list=PL22w63XsKjqzQZtDZO_9s2HEMRJnaOTX7 videos] by Michael Penn, [https://www.math.purdue.edu/~arapura/preprints/diffforms.pdf short intro] by Dony Arapura

* What is a convolution от [https://www.youtube.com/watch?v=KuXjwB4LzSA 3b1b]

* From graphical models to [https://www.youtube.com/watch?v=yBc01ZeaFxw&list=PLISXH-iEM4JlFsAp7trKCWyxeO3M70QyJ Probabilistic ML]

2024-11-11, лекция 9: Пуассоновский поток: аксиомы. Вывод пуассоновского распределения количества событий и экспоненциального времени между событиями из аксиом.
Сумма независимых пуассоновских потоков — это пуассоновский поток (половина доказательства). Вероятность того, что одна экспоненциальная величина будет меньше другой, независимой.

2024-11-18, лекция 10: Гамма-распределение как сумма нескольких экспоненциальных: вывод плотности через вероятность попадания в малый отрезок.
Обобщение плотности на случай положительного параметра $a$. Гамма-функция. Бета-распределение как отношение гамма-распределений. Бета-функция.

2024-11-25, лекция 11: Вывод нормального распределения из предпосылок Гаусса. Вывод нормального распределения из предпосылок Гершеля — Максвелла.

* Saul Stahl, The [https://www.researchgate.net/publication/255668423_The_Evolution_of_the_Normal_Distribution Evolution] of the Normal Distribution: вывод Гаусса с историей.

* Grand Sanderson, [https://www.youtube.com/watch?v=cy8r7WSuT1I Why pi] is in the normal? вывод Гершеля—Максвелла

* James Stein, [http://www-biba.inrialpes.fr/Jaynes/cc07s.pdf Normal Distribution]: глава про нормальное распределение (Гаусс, Гершель—Максвелл, Лэндон etc)

* William Herschel, [https://music.yandex.com/album/209394/track/2121214 концерт для габоя]

* William Herschel, [https://www.informationphilosopher.com/solutions/scientists/quetelet/Herschel_Quetelet_Probabilities.pdf On the theory of Probabilities]: вывод нормального распределения словами на стр. 189-191

2024-12-02, лекция 12: многомерное нормальное распределение. Функция плотности невырожденного многомерного нормального. Функция производящая моменты для многомерного нормального. Формула Иссерлиса с ненулевыми ожиданиями и доказательством. Условное распределение: вывод условного ожидания и условной дисперсии через разложение величины в сумму независимых.

* [https://stats.stackexchange.com/questions/30588/ альтернативный вывод] условного многомерного нормального распределения
* Хитрый [https://github.com/bdemeshev/lis-isserlis/raw/main/lis-isserlis.pdf лис Иссерлис]

2024-12-09, лекция 13: сходимость по распределению, центральная предельная теорема с доказательством подменой слагаемых.

* Calvin Chin [https://arxiv.org/pdf/2106.00871 CLT proof] by swapping
* [https://bdemeshev.github.io/teaching_notes/clt_by_swapping Пересказ доказательства]

2024-12-16, лекция 14: использование бесконечно малых при нахождении ожиданий, трюк с добавление параметра, трюк с закольцовыванием отрезка при равномерном распределении.

2025-01-13, лекция 15: Неединственность предела по распределению. Неаддитивность предела по распределению. Предел по вероятности. Закон больших чисел в слабой форме (с доказательством при дополнительной предпосылке о конечности дисперсии). Теорема о непрерывном отображении.

2025-01-20, лекция 16: два определение сходимости почти наверное с доказательством эквивалентности. Сходимость в Lp. Из сходимости в Lp при p>=1 следует сходимость по вероятности. Из сходимости почти наверное следует сходимость по вероятностям. Контр-пример к разнице сходимостей почти наверное и по вероятности. Контр-пример к разнице сходимостей в Lp и по вероятности. Усиленный закон больших чисел (без доказательства). Леммы Слуцкого (без доказательства).

2025-01-27, лекция 17: характеристические функции и их свойства. Вывод характеристической функции нормального стандартного распределения через дифференциальное уравнение. Характеристическая функция биномиального распредеделения. Второе доказательство ЦПТ (через характеристические функции).

* [https://web.ma.utexas.edu/users/gordanz/notes/characteristic.pdf Gordan Zitkovic]: characteristic functions
* [https://sas.uwaterloo.ca/~dlmcleis/s901/chapt6.pdf McLeish]: clt proof

2025-02-03, лекция 18: пример последовательности сходящийся по вероятности с ожиданием стремящимся к бесконечности. Критерий Кэлли. Критерий оптимальной остановки Брасса.

* [https://en.wikipedia.org/wiki/Kelly_criterion wikipedia]: Kelly criterion
* [https://projecteuclid.org/journalArticle/Download?urlId=10.1214%2Faop%2F1019160340 Bruss]: sum the odds to one and stop

2025-02-10 лекция 19: Сигма-алгебра порождённая случайной величиной или набором из нескольких случайных величин. Замкнутость относительно счётного количества операций с множествами. Сигма-алгебра. Объединение сигма-алгебр не всегда сигма-алгебра. Пересечение сигма-алгебр всегда сигма-алгебра. Измеримость суммы. Борелевская сигма-алгебра.

2025-02-18, лекция 20: [https://us06web.zoom.us/j/82685613040?pwd=bqJoXGItwNOOWddXj1flfmPmDn6fMQ.1 онлайн, 18:10]

=== Семинары ===

==== 473 = 235 + 238 ====

2024-09-02, 06, семинар 1: задачи 1.1, 1.6, 3.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-09, 13, семинар 2: задачи 2.1, 2.3, 12.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-16, 20, семинар 3: задачи 7.12 и 7.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-23, 27, семинар 4: как извлечь P(X=3), E(X), E(X^2Y) из функции, производящей список исходов, 28.16 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-30, -10-04, семинар 5: 9.3в, 9.4, 9.7(абвд, кроме дисперсии, аргументы масштабирования и центра масс помимо интегралов), 9.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-10-07, 11, семинар 6: вычисление Cov, Var, Corr по табличке и из функции плотности, нахождение дисперсии для отрицательного биномиального распределения по свойствам.

2024-10-14, 18, семинар 7: вычисление энтропии геометрического распределения. Изменение энтропии при линейном преобразовании для дискретной величины и величины с функцией плотности.
Кросс-энтропия из экспоненциального в равномерное. Условная энтропия для дискретной таблички. Связь энтропии величины с функцией плотности и энтропия дискретной версии этой случайной величины после "огрубления" с малым шагом 1/k.

2024-10-21, -11-01, семинар 8: 16.18, 16.23 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], свёртка двух экспоненциальных величин

2024-11-11, 15, семинар 9: задачи на пуассоновский поток из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-11-18, 22, семинар 10: задачи на бета и гамма-распределение

2024-11-25, 29, семинар 11: задачи на нормальное распределение, 18.1, 18.2, 18.3, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-02, 06, семинар 12: задачи на многомерное нормальное: 24.16аб, 24.17аб, 24.18, 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-09, 13, семинар 13: ЦПТ и нормальное распределение: 20.2, 20.4, 18.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-19, семинар 14: разбор демо

2025-01-13, семинар 15: сходимость по вероятности: 20.1, 20.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-20, 24, семинар 16: связь между сходимостями, 20.11, 20.13 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-27, 31, семинар 17: 28.17, 28.18, 28.21 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-03, 07, семинар 18: 28.20аб, 28.22 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-10, 17, семинар 19: 6.2, 6.3, 6.11, измеримость произведения из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

==== 236 ====

2024-09-06, семинар 1: в начале семинара рассмотрели основные понятия и определения для решения задач. Решили задачи 1.1, 1.6, 3.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-13, семинар 2: нашли ожидание случайной величины с геом. распределением. Решили задачи 2.1, 12.6, 12.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-09-20, семинар 3: решили задачи 7.12, 7.4(а), 7.7, 7.13(а) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-09-27, семинар 4: разобрали 7.13, почти разобрали 28.3 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Также рассмотрели один контрпример на независимость(тетраэдр Бернштейна).

2024-10-04, семинар 5: разобрались с определениями, решили 9.3(абв), 9.7(аб) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Решили задачку про три точки на отрезке и найти вероятность получить треугольник. Также вывели формулу для мат. ожидания неотрицательной величины через функцию распределения.

2024-10-14, семинар 6: обсудили дисперсию, ковариацию, коэффициент корреляции и их геометрический смысл. Решили задачу на оценку дисперсии ограниченной величины. посчитали дисперсию геометрического, биномиального. Посчитали дисперсию в задаче о письмах и конвертах.

???, семинар 7: определили энтропию, посчитали примеры для дискретных величин, для линейных преобразований. Доказали, что задача максимизации энтропии с фиксированной дисперсией достигается на нормальном распределении.

???, семинар 8: свертка двух экспоненциальных, 16.18 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

???, семинар 9: задачи на пуассоновский процесс из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

???, семинар 10: разбор кр.

???, семинар 11: разобрали задачи на нормальное распределение 18.1, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Также считали распределение суммы двух независимых нормальных.

==== 237 ====

2024-09-09, семинар 1: задачи 1.1, 2.2 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], вероятность что n ладей не бьют друг друга при случайной расстановке на шахматной доске n на n, матожидание числа треугольников в случайном графе на n вершинах через сумму индикаторов

2024-09-13, семинар 2: задачи 2.1, 2.6, 12.3, 12.6, 12.7 (без дисперсий) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-23, семинар 3: задачи 7.2, 7.13, 7.7, 7.8, плюс начали 7.15b (получили неверный ответ) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-27, семинар 4: дорешали 7.15b с небольшой демонстрацией на питоне, разобрали 28.2 для нечестной монетки плюс посчитали матожидание [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-10-04, семинар 5: задачи 9.1, 9.3абв, 9.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], философия про то почему бОльшая плотность не всегда означает бОльшую вероятность оказаться в окрестности данной точки (плотность может занимать слишком маленький объем)

2024-10-11, семинар 6: вспомнили определения Cov/Var/Corr, посчитали у пары дискретных величин по табличке вероятностей, посчитали дисперсию у биномиального, геометрического, непрерывного равномерного на отрезке.

2024-10-18, семинар 7: вычисление энтропии геометрического распределения; ограниченность энтропии снизу и сверху в дискретном случае; изменение энтропии при линейном преобразовании для дискретной величины и величины с функцией плотности; условная энтропия, KL дивергенция и кросс-энтропия, неотрицательность KL, интерпретация на пальцах с точки зрения теории информации.

2024-11-01, семинар 8: 16.18, 16.23 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], свёртка двух экспоненциальных величин

2024-11-08, семинар 9: решали пробный вариант КР

2024-11-15, семинар 10: 13.1, 13.2, 13.5, 13.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-11-22, семинар 11: разбор КР

2024-11-29, семинар 12: нормальное распределение, 18.1, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-06, семинар 13: многомерное нормальное распределение, изменение среднего и матрицы ковариаций при линейном преобразовании, 24.4а, 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-13, семинар 14: 24.4в из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], сходимости случайных величин, ЗБЧ и ЦПТ, 20.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-21, семинар 15: наследование сходимости, 20.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], плюс доказали предельную теорему Пуассона

2025-01-28, семинар 16: связь между сходимостями, 20.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], лемма Слуцкого, подмена дисперсии на выборочную дисперсию в ЦПТ

2025-02-04, семинар 17: базовые свойства хар функций, хар функция суммы независимых величин, 28.17, 28.20 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

==== 239 ====

2024-09-03, семинар 1: задачи 1.1, 1.4, пытались 1.8 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Ещё успели посчитать вероятность N=k бросков монеты до выпадения первого орла, матожидание N. И ещё сделали то же для количества бросков до выпадения 3 орлов (не в серии).

2024-09-10, семинар 2: доказали формулу включения-исключения, решили несложную задачу, порешали 2.7 задачи типа 12.*

2024-09-17, семинар 3: Решили две прямых задачи на формулу Байеса и формулу полной вероятности (без большого количества вычислений). Решили задачу поиска вероятности неисправного кофе-автомата из 3 при условии, что бросили деньги в 1 и 2 и их зажевало. Ещё нашли вероятность, что мяч будет у игрока 3 после шага 10 (все садятся в круг и на каждом шаге бросают мяч соседу с вероятностью 0.3 и оставляют у себя с вероятностью 0.4).

2024-09-24, семинар 4: Вспомнили про метод первого шага, используя формулу полной вероятности и введя в некотором виде формулу полного матожидания, записали формулу для вероятностей нахождения в состоянии i через произведение переходной матрицы на вектор. Совсем немного начали производящие функции, но решили не считать 31ю производную многочлена.

2024-10-01, семинар 5: Исследуем дискретные случайные величины (Биномиальная, Геометрическая и разные похожие) с использованием техник вычислений моментов через производящую функцию. Задачи на распределения величин, посчитанных по набору величин. Первая большая задача про плотность.

2024-10-08, семинар 6: разминочная про плотность и функцию распределения. Считаем дисперсию, ковариацию и корреляцию по 2x2 таблице и в равномерном распределении на круге и квадрате [-1,1]х[-1,1].

2024-10-15, семинар 7: пара задач про экспоненциальное распределение, расчёты по теории информации(считаем всякое, чтобы привыкнуть).

2024-10-22, семинар 8: письменные источники не сохранились до наших дней. Согласно преданиям, оьсуждали двери и около контрольной. Говорят, ввели пуассоновский процесс.

2024-???, семинар 9: решаем задачи на пуассоновское в разных формах и обсуждаем омалые в порядковых статистиках.

2024-???, семинар 10: учимся интерпретироввть гауссовское, пользоваться таблицами для функции Лапласа, а также немного работать с многомерным гауссовским.

2024-3-12, семинар 11: Копаем во все стороны многомерное гауссовское: считаем вероятности для линейных комбинаций гауссовских, проверяем зависимость, вычисляем условные законы, матожидания и ковариационные матрицы, вспоминаем спектральное разложение и разложение Холецкого.

==== 2311 ====

2024-09-06, семинар 1: вероятностное пространство, вероятность на нем, вероятность события, случайная величина и ее распределение (индикатор события, сумма двух кубиков, число бросаний монетки до первого орла), матожидание случайной величины (индикатор, один кубик, два кубика), линейность матожидания. Задачи на линейность матожидания, в том числе ЕГЭшная задача про турнир, 1.5, 3.5 с допвопросом о матожидании числа совпадений. Разговор о получении события произвольной вероятности монеткой в контексте 1.8

2024-09-13, семинар 2: Повторили матожидание суммы на примере 12.3. Обсудили условную вероятность и формулу полной вероятности, условное матожидание, решили задачи на метод первого шага 2.1, 2.3, 2.7.

2024-09-20, семинар 3: Условная вероятность, формула полной вероятности, формула Байеса: 7.1, классическая задача про болезни и тесты, простейшие задачки на общее понимание, обсуждение двух подходов: вычисления условной вероятности по формуле и составления нового вероятностного пространства и подсчет вероятности в нем. Независимые события (события "пики" и "дама" в обычной колоде и колоде с джокерами), независимые в совокупности события, построили пример попарно независимых, но не независимых в совокупности. Обсудили биномиальное распределение. решили задачу: "в корабле к отсеков, чтобы корабль затонул, нужно поразить 2. Независимо выпускают n ракет, каждая из которых поражает случайный отсек с вероятностью p. Найти вероятность потопления корабля"

2024-09-20, семинар 4: Примеры одинаково распределенных зависимых СВ, независимые СВ. Производящая функция и ее свойства. Посчитали для биномиального производящую функцию и второй момент. Обсудили, что будет меняться в случае функции, производящей моменты. Обсудили функцию, производящую множество исходов, как из нее доставать уже известные функции, как ее искать на примере бросания монетки до выпадания HT

2024-10-11, семинар 5: Составили табличку стандартных дискретных распределений, посчитали матожидание геометрического, обсудили дисперсию и ковариацию и их свойства (в дискретном случае), досчитали дисперсии основных распределений. Обсудили вероятностное пространство в общем случае, понятие СВ в общем случае. Дали определение ФР, посчитали ФР для явно заданной СВ. Дали определение плотности.

2024-10-12, семинар 6: Обсудили свойства ФР, как считать вероятность попадания в промежуток в терминах ФР. Выразили ФР 1/X, cos X. Обсудили как выражается веротяность попадания в множество через плотность. для 1/Х выразили плотность в случае абсолютной непрерывности Х. Обсудили формулу для МО в общем виде через интеграл Стильтьеса и как вычислять МО для функции, разлагающейся в сумму абсолютно нерпрерывной и функции скачков, посчитали МО для пары таких СВ

2024-10-18, семинар 7: Обсудили геометрию, заданную скалярным произведением EXY и cov(X,Y), поиск ортогонального элемента и проекции. Посчитали энтропию и кросс-энтропию в дискретном и непрерывном случаях, посчиали совместную и условную энтропию в дискретном случае (23.2, 23.4, 23.9)

2024-11-01, семинар 9: Совместная плотность и ф.р., подсчет вероятностей, маргинальные плотности, замена переменной через якобиан, свертка, матожидание

2024-11-09, семинар 10: Условная плотность, формула условной вероятности. Задача на восстановление маргинальной плотности по условной. Разбор задач из "Летучей мыши"

2024-11-19, семинар 11: Разбор контрольной работы

2024-11-22, семинар 12: Пуассоновский поток - решали задачки из задачника

2024-11-29, семинар 13: Нормальное распределение - задачи из PP, повторили функцию, порождающую моменты, обсудили ее свойства в абсолютно непрерывном случае

2024-12-06, семинар 14: Многомерное нормальное - обсудили два определения, связь между ними, независимость элементов нормального вектора при нулевой ковариации и почему это неверно для произвольных нормальных. порешали задачи 24.9а, 24.10, 24.17

2024-12-013, семинар 15: ЦПТ, решали задачи из задачника

2025-01-17, семинар 16: Сходимости почти наверное и по вероятности, связь со сходимостью по распределению. Посмотрели стандартные контрпримеры, показали, что если есть сходимость по распределению к константе, то есть и по вероятности. ЗБЧ Чебышева и Хинчина, УЗБЧ Колмогорова, обсудили 20.1 сколько успели.

2025-01-24, семинар 17: Сходимость в L_p, связи между сходимостями. Задача 20.11

2025-01-24, семинар 18: Характеристические функции и их свойства. Посчитали хар функции для равномерного, Бернулли, биномиального, Пуассона, экспоненциального. Показали, чо сумма нормальных нормальна. По функции пытались понять, может ли она быть характеристической и восстанавливали с.в.

==== 2310, 2312 ====

2024-09-06, семинар 1: задача 1.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Определили вероятностное пространство в виде тройки, множество исходов рассматривали конечное и счётное. Решили 3 счётные задачи на комбинаторику про колоды карт и счетные последовательности цифр. Привели геометрическое и аналитическое решения задачи про нахождение предела последовательности вероятностей. В конце нашли математическое ожидание геометрически распределённой случайной величины.

2024-09-13, семинар 2: задача 2.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Задача на упорядоченные и неупорядоченные наборы. Задача про классическое вероятностное пространство и про пространство с неравновероятными исходами. Разобрали парадокс Монти Холла. Ввели понятия условной вероятности и независимых случайных величин. Сформулировали и обсудили идеи доказательств трёх теорем: теорема умножения вероятностей, формула полной вероятности и формула Байеса.

2024-09-20, семинар 3: Решили задачу на определение условной вероятности. Обсудили парадокс теоремы Байеса на примере задачи про редкое заболевание, а также посмотрели простую программу на Python, которая считает вероятность в зависимости от количества проведенных тестов на заболевание. Обсудили условное математическое ожидание, некоторые его свойства и рассмотрели пример с подбрасыванием кубика. В конце решили задачу на парадокс дней рождений.

2024-09-27, семинар 4: Обсудили коллизии хеш-функций и связь с атакой "дней рождений". Определили независимость или зависимость случайных величин в четырёх разных вариантах. Обсудили, что неверно утверждать, что матожидание частного независимых случайных величин равно частному матожиданий, также привели пример использования подобного факта в некоторых статьях. В конце решили задачу на поиск функции производящей исходы, а также нашли E(X), E(Y^2), E(XY) с помощью найденной функции.

2024-10-04, семинар 5: Решили две простые задачи на условную вероятность и на теорему об умножении вероятностей. Обсудили связь дерева событий с условной вероятностью и теоремой об умножении вероятностей. Нашли производящую функцию моментов для геометрически распределенной случайной величины и с помощью нее нашли матожидание. Нашли производящую функцию моментов и матожидание суммы случайного количества н.о.р случайных величин.

2024-10-11, семинар 6: Привели аналогии между дискретными и непрерывными случайными величинами. Нарисовали графики функций от случайных величин. Вспомнили определение и свойства дисперсии. Решили простую задачу на подсчет дисперсии и нашли дисперсию геометрически распределенной случайной величины. Обсудили, когда может быть матожидание и дисперсия бесконечны. Далее вспомнили неравенства Маркова и Чебышева, вывели следствия и решили 3 задачи на применение этих неравенств. Обсудили, что неравенство Маркова может давать как точную оценку, так и очень слабую. Показали, что неотрицательность случайной величины в неравенстве Маркова является существенным условием.

2024-10-11, семинар 7: Повторили понятия энтропии в битах и натах, а также понятие дифференциальной энтропии. Нашли энтропию в схеме Бернулли и энтропии геометрического и экспоненциального распределений. Доказали простую оценку сверху для энтропии случайной величины, имеющей конечный носитель мощности n.

2024-11-1, семинар 8: Разобрали демо-вариант контрольной работы "Тыква".

2024-11-8, семинар 9: Разобрали демо-вариант контрольной работы "Летучая мышь".

2024-11-15, семинар 10: Понятие случайного процесса. Определение пуассоновского процесса, его свойства. Три простые задачи на пуассоновское распределение. Задачи 13.1 и 13.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-11-22, семинар 11: Определения Бета-функции и Гамма-функции. Бета и Гамма распределения, их функции плотности и графики. Нахождение моды случайных величин, имеющих Бета и Гамма распределения. Связь пуассоновского процесса с Гамма распределением. В конце нашли производящую функцию моментов Гамма распределения.

2024-11-29, семинар 12: Задачи 18.1, 18.2 и 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-12-06, семинар 13: Нашли многомерное нормальное распределение по виду функции плотности (константа на экспоненту с квадратичным показателем). С помощью формулы Иссерлиса нашли матожидания произведений различных или одинаковых случайных величин, имеющих многомерное нормальное распределение. Нашли условную вероятность многомерного распределения. Задача 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-12-13, семинар 14: Повторили определение сходимости по распределению и центральную предельную теорему. Решили задачи 20.2 и 20.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

== Источники ==

Источники мудрости, которые я постарался не замутить :)

[https://arxiv.org/pdf/1411.5279 WTSK]: Tim Hesterberg, What Teachers Should Know About the Bootstrap: вкусное и доступное изложение бутстрэпа и перестановочных тестов.

[https://projects.iq.harvard.edu/stat110/home BItP]: Blitzstein, Hwang, Introduction to Probability: учебник, записи лекций, гарвардский курс.

Теория вероятностей 2024/25 (основной поток)

2025-02-25T20:29:30Z

Bdemeshev:

= Преподаватели и учебные ассистенты =

{| class="wikitable" style="text-align:center"
|-
! Группа !! БПМИ235 !! БПМИ236 !! БПМИ237 !! БПМИ238 !! БПМИ239 !! БПМИ2310 !! БПМИ2311 !! БПМИ2312
|-
|| Лектор ||colspan="11"| [https://t.me/boris_demeshev Борис Демешев]
|-
|| Семинарист || [https://t.me/boris_demeshev Борис Демешев] || [https://t.me/levensons Илья Левин] || [https://t.me/madn_boi Никита Морозов] || [https://t.me/boris_demeshev Борис Демешев] || [https://t.me/XuMuK_MK Максим Каледин] || [https://t.me/goluba_yurieva Голуба Юрьева] || [https://t.me/Moskchan Вероника Владыкина] || [https://t.me/goluba_yurieva Голуба Юрьева]
|-
|| Ассистент || [https://t.me/nerhneiro Ира Скворцова] || [https://t.me/a_ameli_ig Амелия Алаева] || [https://t.me/htual Алина Бадахова] || [https://t.me/adelyagaraeva Аделя Гараева] || [https://t.me/mabrielka Мария Брель] || [https://t.me/zm_ann Анна Зыкова-Мызина] || [https://t.me/Yanlightv Яна Вежновец] || [https://t.me/nol_erk Кирилл Лавриненко]
|-
|| Ассистент курса ||colspan="11"| [https://t.me/Nick_Volya Никита Волянский]
|}

== Цели и задачи курса ==

侍には目標がなく道しかない [Samurai niwa mokuhyō ga naku michi shikanai]

У самурая нет цели и ничего кроме пути.

Вероятный план:
<div class="mw-collapsible mw-collapsed" style="width:1000px; overflow: hidden;">
1. Дискретное вероятностное пространство. Вероятность, математическое ожидание, теоретическая медиана.
Перестановочные тесты, p-значение для перестановочного теста.
Математическое ожидание = центр масс.

NB: здесь сходу рисуем дерево
NB: здесь нет задач на условную вероятность

!предупреждение об обозначениях случайных величин.
Российская традиция — греческие буквы, американская традиция — заглавные английские буквы.
Наш курс: любые буквы. Причина: теория вероятностей применяется в разных областях, где свои традиции.

NB: Способы вычисления вероятностей и ожиданий:
* полный перебор руками
* примерные вычисления руками
* полный перебор на компьютере
* симуляции на компьютере
* ...

2.
Методы решения задач:
* разложение величины в сумму
* метод первого шага
!идея: позиция в игре имеет цену
* just for fun: метод рычага в геометрии через ожидание
NB: рассказать здесь про комплексную случайную величину
NB: по сути здесь мы уже решаем задачи на марковские цепи не говоря страшных определений
LOTUS.

3. Условная вероятность и условное ожидание.
!идея: зануляем вероятности невозможных событий, а остальные — масштабируем.
формула полной вероятности
!идея: дерево "помнит" формулу полной вероятности
формула Байеса

Независимые события.
Независимые случайные величины.

4.
Методы решения задач:
* производящие функции многих переменных
функция как способ записать множество
HTT vs TTH
ABRACADABRA
!разложение по биномиальной формуле

?: можно здесь успеть функцию производящую моменты

5.
Биномиальное распределение.
Геометрическое и гипергеометрическое распределения.
Отрицательное биномиальное распределение.

6.
Равномерное распределение на множестве в R^n
Функция распределения.
Функция плотности и вероятностная дифференциальная форма.
!пояснение про неудачную традиционную терминологию "непрерывная случайная величина"
величина с функцией плотности, величина с непрерывной функцией распределения.

Квантили, квантильная функция.

7. Характеристики случайных величин и неравенства.
Дисперсия.
Энтропия.
Неравенство Маркова.
Неравенство Чебышёва.
Неравенство Йенсена.

Здесь конец модуля 1 и КР-1!

8. Пуассоновский поток.
Аксиомы пуассоновского потока.
Вывод экспоненциального распределения и пуассоновского распределения из аксиом.
Вывод экспоненциального распределения из предпосылки об отсутсвии памяти.

9. Нормальное распределение.
Нормальное распределение: предпосылки Хершела-Максвелла.
Нормальное распределение: аргументация Гаусса за среднее арифметическое.
Нормальное распределение: предпосылки Лэндона (до уравнения в частных производных).

10. Классические непрерывные распределения.

Гамма-распределение, бета-распределение.
Вывод нормального и экспоненциального распредений как минимизации энтропии.

11. Парные характеристики случайных величин.
Наилучшая линейная аппроксимация.
Ковариация.
Корреляция.
Кросс-энтропия.

Доказательство E(XY) = E(X) E(Y) для дискретных.
Ковариационная матрица и ожидание для случайных векторов.

12. Совместная и условная функция плостности.
Преобразования случайных величин.

13. Функция производящая моменты и характеристическая функция.
Распределение суммы случайного количества случайных величин.
Случайный выбор слагаемых.

14. Финансовые приложения

Оценивание опционов на биномиальном дереве.
Максимизация долгосрочной прибыли, связь с энтропией.
Возможно, индексы Гиттинса.

Здесь конец модуля 2 и КР-2

15. Сигма-алгебры.

Список известных величин как способ описания информации.
Идея условного ожидания как оптимального прогноза.
Сигма-алгебра как способ описания информации.
Измеримость случайной величины относительно сигма-алгебры.
Сигма-алгебра как ОДЗ для вероятности.
Борелевская сигма-алгебра.
Независимые случайные величины второе определение.

16. Условное математическое ожидание.
Условная дисперсия.
Сумма случайного количества случайных величин.

17. Сходимости случайных величин.

Сходимость по вероятности.
Закон больших чисел.
Сходимость почти наверное.
Усилинный закон больших чисел.
Сходимость по распределению.

18. Связь сходимостей.
Лемма Слуцкого.

19. Центральная предельная теорема.
Доказательство через подмену слагаемых.
Доказательство через характеристические функции.

Здесь контрольная.

20. Винеровский процесс
Условные ожидания, инверсия.

21. Байесовский подход к оцениванию параметров

Балансовое уравнение. Идея MCMC.

22. Доказательства свойств меры

23. Алгоритм построения математического ожидания в общем случае.
Лемма Фату.
Теорема о мажорируемой сходимости.
Теорема о монотонной сходимости.

24. Резерв.

Жемчужинки, которые, вероятно, не успеем:

А. Методы решения задач:
подсчёт случаев с помощью леммы Бернсайда и теоремы Пойа о перечислении
(Burnside lemma, PET = Polya Enumeration Theorem)

B. вероятностные доказательства детерминистических теорем

</div>

== Оценивание ==

Оценка за семестр-1 = 0.2 Домашние задания семестра-1 + 0.4 Контрольная-Альфа + 0.4 Экзамен-Бета.

Финальная оценка за курс = 0.5 Оценка за семестр-1 + 0.1 Домашние задания семестра-2 + 0.2 Контрольная-Гамма + 0.2 Экзамен-Дельта.

Каждая оценка (суммарные итоги за домашние задания, контрольные, экзамены) — целое число от 0 до 100.
Для перевода в 10-балльную шкалу промежуточной оценки за семестр-1 и финальной оценки используется деление на 10
с арифметическим округлением. Например, если Максим получил "оценку за семестр-1" 65 баллов, то в ведомость за первый семестр идёт 7, а далее в формуле финальной оценки за курс используется 65.

=== Домашние задания для самураев ===

Домашние задания [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/home_assignments/home_assignments.pdf одним файлом] и [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/blob/main/home_assignments/ отдельными файлами].
Домашние задания имеют равный вес.
В конце каждой лекции (за исключением ближайших к экзамену лекций)
выдается домашнее задание сроком на две недели.
Дедлайн жёсткий, однако студент имеет право просрочить три домашних задания на неделю каждое без штрафа.

Формат сдачи ДЗ: один pdf-файл (решение текстовых задач) и один ipynb-файл (решение компьютерных задач).
В pdf-файл можно поместить аккуратно написанное отсканированное решение, а можно скомпилировать pdf из теха или маркдауна.
Ещё можно вместо pdf-файла написать всё в ipynb.
Бонусов за сдачу домашки в техе нет. Пример [https://www.overleaf.com/read/qmrkwpzvmqbk шаблона].

Обратите внимание: '''время каждого дедлайна — 23:59'''.

=== Ведомость с оценками за ДЗ ===

{| class="wikitable" style="text-align:center"
|-
! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1872081500#gid=1872081500 235] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1374497930#gid=1374497930 236] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1183164252#gid=1183164252 237] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=408179311#gid=408179311 238] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1032422408#gid=1032422408 239] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1603236891#gid=1603236891 2310] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=791330236#gid=791330236 2311] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=23847300#gid=23847300 2312]
|}

[https://docs.google.com/spreadsheets/d/14hD7-SLmAA1omdkhPlt3blRHDHVGTDS8ZgvLWscvMz8/edit?usp=sharing Сводная ведомость всех оценок]

=== Контрольные работы и экзамен ===

Вес каждой задачи будет написан в тексте работы.
Задачи с ненаписанным по случайности весом имеют равный вес.
Для пропущенных по уважительной причине контрольных будет выделен один день для переписывания.
При пропуске дня переписывания, в том числе по уважительным причинам, ещё одного шанса не предоставляется.

<div class="mw-collapsible mw-collapsed" style="width:1000px; overflow: hidden;">

'''Контрольная работа 1''' состоится 2024-11-11 в 16:20, аудитории: R401, R305, R206, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_halloween_demo/exam_halloween_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/midterm/midterm-alpha.pdf условие с критериями и решениями].

'''Резервный день 1''' для пропустивших по уважительной причине состоится 2024-12-02 в 19:40, R405

'''Показ контрольной 1''':

* задачи 1, 2: заочно до 2024-12-08, [https://t.me/Moskchan Вероника]
* задачи 3, 4 [https://t.me/boris_demeshev Борис], очно, четверг, 2024-12-05, 18:10-21:00, G408
* задачи 5, 6 [https://t.me/XuMuK_MK Максим]: очно, четверг, 2024-12-05, 18:10-21:00, G408

'''Экзамен, модуль 2''' состоится '''''2024-12-24 в 10:00''''', аудитории R301, R304, R401, R404, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_winter_demo/exam_winter_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/december/pmi_probab_2024_december.pdf условие].

Если вы не хотите идти на экзамен, то заполните [https://forms.gle/UQzW77RrPvcdahG47 эту форму], чтобы получить ноль при неявке

'''Апелляция экзамена''':

* задачи 1, 2: заочно [https://t.me/goluba_yurieva Голуба], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/december/exam_problem_1-2.pdf решения и критерии 1, 2];
* задачи 3, 4: очно 2025-01-11, аудитория R408, 14:40-17:40 [https://t.me/madn_boi Никита], [https://www.overleaf.com/read/dnhjcdrndqps#42f1ab решения и критерии 3, 4];
* задачи 5, 6: заочно [https://t.me/levensons Илья]

* дедлайн по заочным апелляциям: суббота 23:59

[https://docs.google.com/spreadsheets/d/1mxMCr3IEDy8EPFWGkn3_dsghhPNcZICEw9C9o5ZoZvA/edit?usp=sharing Распределение по аудиториям]

</div>

Даты пересдач: 2025-01-28 в 18:10, 2025-02-03 в 18:10 и комиссия 2025-02-11 в 18:10.

* задачи 1, 2: [https://t.me/goluba_yurieva Голуба], задачи 3, 4: [https://t.me/madn_boi Никита], задачи 5, 6: [https://t.me/levensons Илья], апелляция пересдачи 2 до 21:00 2025-02-10.

'''Контрольная, модуль 3''' состоится 2025-02-22 в 16:20, аудитории R201, R204, R404, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_galileo_demo/exam_galileo_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_galileo/pmi_probab_galileo_exam_2024-2025.pdf условие].

[https://docs.google.com/spreadsheets/d/1LZA-7TDz_yYeVPRx4BpBWJnQKZ7wqPgHDrN-Z0SM68M/edit?usp=sharing Распределение по аудиториям]

'''Контрольная, модуль 3, резервный день''': 2025-03-07, пятница, 18:10.

'''Экзамен, модуль 3''' состоится 2025-03-26 в 14:40, аудитории R301, R404, R405, R503, демо, условие.

== Учебные материалы ==

[https://github.com/bdemeshev/probability_pro/raw/master/probability_pro.pdf PP]: Листки с задачами к курсу.

[https://github.com/bdemeshev/probability_dna/raw/master/probability_dna.pdf PDNA]: Вероятностная ДНК = вкусные задачи по теории вероятностей.

[https://disk.yandex.ru/d/LZ6d2VZVqYvbDQ Видео-летопись семинаров и лекций] и [https://hse.liferooter.dev/ конспект] от тайного благожелателя (updated 2024-10-23]

[https://disk.yandex.ru/d/IoakBXz_6yygPw Официальные видео]

[https://www.cambridgeinternational.org/Images/344616-list-of-formulae-and-statistical-tables.pdf Cambridge statistical tables]

== Дневник самурая ==

2024-09-02, лекция 1: Определение события. Определение случайной величины. Аксиомы вероятности. Определение математического ожидания для дискретного случая.
Линейность математического ожидания. Математическое ожидание как центр масс. Первое знакомоство с перестановочным тестом и p-значением.

Можно глянуть: главы 2.1 и 7 из [https://arxiv.org/pdf/1411.5279 WTSK], метод рычага [https://mathcircle.berkeley.edu/sites/default/files/archivedocs/2007_2008/lectures/0708lecturespdf/MassPointsBMC07.pdf в геометрии].

2024-09-09, лекция 2: Метод первого шага (вероятность выпадения HTH ранее HHT, ожидаемое количество шагов). Метод разложения случайной величины в сумму. Определение случайного вектора. Использование интерпретации ожидания как центра масс в геометрии. Определение теоретической медианы.

Можно глянуть: глава 2.7.2 из [https://projects.iq.harvard.edu/stat110/home BItP], три стратегии решения задачи за 10 минут [https://www.youtube.com/watch?v=xH89DaEI35w Visually Explained]

2024-09-16, лекция 3: Получение новой информации приводит к пересчёту вероятностей. Определение условной вероятности. Формула полной вероятности. Формула Байеса.
Условное математическое ожидание. Формула полного математического ожидания. Независимость пары событий. Независимость набора событий в совокупности.
Независимость величин: неформальное определение. Критерий независимости произвольных величин. Критерий независимости дискретных величин.

2024-09-23, лекция 4: Доказательство критерия независимости для дискретных случайных величин: из независимости {X=x} и {Y=y} следует независимость {X in A} и {Y in B}. Независимость величин равносильна E(f(X))E(g(Y))=E(f(X)g(Y)) для произвольных f, g. Определение биномиальной, геометрической (как числа неудач до 1го успеха) и отрицательной биномиальной случайной величины. Общая идея за производящими функциями: как из функции, производящей исходы эксперимента, с помощью производных и подстановок выудить индивидуальные вероятности, совместные вероятности, ожидания любой степени E(X^a), E(X^a Y^b). Формальное определение функции, производящей вероятности, и функцию, производящей моменты, для одной случайной величины и пары случайных величин. Метатеорема: все теоремы о дискретных величинах доказываются перестановкой слагаемых. Основные дискретные распределения: биномиальное, геометрическое, отрицательное биномиальное.

2024-09-30, лекция 5: Ещё дискретные законы распределения: гипергеометрическое. Описание закона распределения через равномерное распределение на подмножестве R^n.
Функция плотности как линейная часть вероятности попадания в отрезок. Равномерное распределение на отрезке. Смешанные случайные величины. LOTUS: нахождение ожидания любой функции от случайной величины для величин с функцией плотности и смешанных величин. Функция распределения. Квантильная функция.

2024-10-07, лекция 6: Две геометрии случайных величин и событий: E(XY) как скалярное произведение, Cov(X, Y) как скалярное произведение. Математическое ожидание — проекция в рамках геометрии, задаваемой E(XY). Определение и геометрический смысл дисперсии, стандартного отклонения, ковариации и корреляции. Неравенство Маркова. Неравенство Чебышёва. Неравенство Йенсена: интуитивный смысл.

2024-10-14, лекция 7: Доказательство неравенства Йенсена. Энтропия как минимальное ожидаемое число вопросов для отгадывания и формальное определение. Кросс-энтропия.
Доказательство того, что кросс-энтропия больше либо равна энтропии. Совместная энтропия. Условная энтропия. Формула H(X) + H(Y|X) = H(X, Y) без доказательства.
Вывод плотности экспоненциального распределения из предпосылки отсутствия памяти. Экспоненциальное распределение максимизирует энтропию при заданном ожидании и неотрицательности.

* Cristopher Olah, Visual Information Theory, https://colah.github.io/posts/2015-09-Visual-Information/

* Grand Sanderson, Solving Wordle using information theory, [https://www.youtube.com/watch?v=v68zYyaEmEA youtube].

* Artem Kirsanov, Key equation behind probability, [https://www.youtube.com/watch?v=KHVR587oW8I youtube]. У Артёма кросс-энтропия обозначена H(P, Q), а не CE(P||Q)).

* [https://exuberant-arthropod-be8.notion.site/1-02-09-5e107ea1c4054594b8f37d955db8a2b0 Конспект] аналогичной старой лекции псмо на русском.

* Keith Conrad, [https://kconrad.math.uconn.edu/blurbs/analysis/entropypost.pdf Maximal entropy] distributions.

2024-10-21, лекция 8: Ковариационная матрица и её свойства. Совместная функция плотности. Условная функция плотности. Критерий независимости в терминах функций плотности и распределения.
Связь индивидуальной и совместной функций плотности и функций распределения. Смена плотности при замене переменных: домножение на якобиан и неформально про дифференциальные формы. Формула свёртки.
Разложение совместной плотности для графической модели. Представление произвольной совместной функции распределения с помощью копулы.

* Про дифференциальные формы: [https://www.youtube.com/watch?v=PaWj0WxUxGg&list=PL22w63XsKjqzQZtDZO_9s2HEMRJnaOTX7 videos] by Michael Penn, [https://www.math.purdue.edu/~arapura/preprints/diffforms.pdf short intro] by Dony Arapura

* What is a convolution от [https://www.youtube.com/watch?v=KuXjwB4LzSA 3b1b]

* From graphical models to [https://www.youtube.com/watch?v=yBc01ZeaFxw&list=PLISXH-iEM4JlFsAp7trKCWyxeO3M70QyJ Probabilistic ML]

2024-11-11, лекция 9: Пуассоновский поток: аксиомы. Вывод пуассоновского распределения количества событий и экспоненциального времени между событиями из аксиом.
Сумма независимых пуассоновских потоков — это пуассоновский поток (половина доказательства). Вероятность того, что одна экспоненциальная величина будет меньше другой, независимой.

2024-11-18, лекция 10: Гамма-распределение как сумма нескольких экспоненциальных: вывод плотности через вероятность попадания в малый отрезок.
Обобщение плотности на случай положительного параметра $a$. Гамма-функция. Бета-распределение как отношение гамма-распределений. Бета-функция.

2024-11-25, лекция 11: Вывод нормального распределения из предпосылок Гаусса. Вывод нормального распределения из предпосылок Гершеля — Максвелла.

* Saul Stahl, The [https://www.researchgate.net/publication/255668423_The_Evolution_of_the_Normal_Distribution Evolution] of the Normal Distribution: вывод Гаусса с историей.

* Grand Sanderson, [https://www.youtube.com/watch?v=cy8r7WSuT1I Why pi] is in the normal? вывод Гершеля—Максвелла

* James Stein, [http://www-biba.inrialpes.fr/Jaynes/cc07s.pdf Normal Distribution]: глава про нормальное распределение (Гаусс, Гершель—Максвелл, Лэндон etc)

* William Herschel, [https://music.yandex.com/album/209394/track/2121214 концерт для габоя]

* William Herschel, [https://www.informationphilosopher.com/solutions/scientists/quetelet/Herschel_Quetelet_Probabilities.pdf On the theory of Probabilities]: вывод нормального распределения словами на стр. 189-191

2024-12-02, лекция 12: многомерное нормальное распределение. Функция плотности невырожденного многомерного нормального. Функция производящая моменты для многомерного нормального. Формула Иссерлиса с ненулевыми ожиданиями и доказательством. Условное распределение: вывод условного ожидания и условной дисперсии через разложение величины в сумму независимых.

* [https://stats.stackexchange.com/questions/30588/ альтернативный вывод] условного многомерного нормального распределения
* Хитрый [https://github.com/bdemeshev/lis-isserlis/raw/main/lis-isserlis.pdf лис Иссерлис]

2024-12-09, лекция 13: сходимость по распределению, центральная предельная теорема с доказательством подменой слагаемых.

* Calvin Chin [https://arxiv.org/pdf/2106.00871 CLT proof] by swapping
* [https://bdemeshev.github.io/teaching_notes/clt_by_swapping Пересказ доказательства]

2024-12-16, лекция 14: использование бесконечно малых при нахождении ожиданий, трюк с добавление параметра, трюк с закольцовыванием отрезка при равномерном распределении.

2025-01-13, лекция 15: Неединственность предела по распределению. Неаддитивность предела по распределению. Предел по вероятности. Закон больших чисел в слабой форме (с доказательством при дополнительной предпосылке о конечности дисперсии). Теорема о непрерывном отображении.

2025-01-20, лекция 16: два определение сходимости почти наверное с доказательством эквивалентности. Сходимость в Lp. Из сходимости в Lp при p>=1 следует сходимость по вероятности. Из сходимости почти наверное следует сходимость по вероятностям. Контр-пример к разнице сходимостей почти наверное и по вероятности. Контр-пример к разнице сходимостей в Lp и по вероятности. Усиленный закон больших чисел (без доказательства). Леммы Слуцкого (без доказательства).

2025-01-27, лекция 17: характеристические функции и их свойства. Вывод характеристической функции нормального стандартного распределения через дифференциальное уравнение. Характеристическая функция биномиального распредеделения. Второе доказательство ЦПТ (через характеристические функции).

* [https://web.ma.utexas.edu/users/gordanz/notes/characteristic.pdf Gordan Zitkovic]: characteristic functions
* [https://sas.uwaterloo.ca/~dlmcleis/s901/chapt6.pdf McLeish]: clt proof

2025-02-03, лекция 18: пример последовательности сходящийся по вероятности с ожиданием стремящимся к бесконечности. Критерий Кэлли. Критерий оптимальной остановки Брасса.

* [https://en.wikipedia.org/wiki/Kelly_criterion wikipedia]: Kelly criterion
* [https://projecteuclid.org/journalArticle/Download?urlId=10.1214%2Faop%2F1019160340 Bruss]: sum the odds to one and stop

2025-02-10 лекция 19: Сигма-алгебра порождённая случайной величиной или набором из нескольких случайных величин. Замкнутость относительно счётного количества операций с множествами. Сигма-алгебра. Объединение сигма-алгебр не всегда сигма-алгебра. Пересечение сигма-алгебр всегда сигма-алгебра. Измеримость суммы. Борелевская сигма-алгебра.

2025-02-18, лекция 20: [https://us06web.zoom.us/j/82685613040?pwd=bqJoXGItwNOOWddXj1flfmPmDn6fMQ.1 онлайн, 18:10]

=== Семинары ===

==== 473 = 235 + 238 ====

2024-09-02, 06, семинар 1: задачи 1.1, 1.6, 3.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-09, 13, семинар 2: задачи 2.1, 2.3, 12.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-16, 20, семинар 3: задачи 7.12 и 7.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-23, 27, семинар 4: как извлечь P(X=3), E(X), E(X^2Y) из функции, производящей список исходов, 28.16 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-30, -10-04, семинар 5: 9.3в, 9.4, 9.7(абвд, кроме дисперсии, аргументы масштабирования и центра масс помимо интегралов), 9.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-10-07, 11, семинар 6: вычисление Cov, Var, Corr по табличке и из функции плотности, нахождение дисперсии для отрицательного биномиального распределения по свойствам.

2024-10-14, 18, семинар 7: вычисление энтропии геометрического распределения. Изменение энтропии при линейном преобразовании для дискретной величины и величины с функцией плотности.
Кросс-энтропия из экспоненциального в равномерное. Условная энтропия для дискретной таблички. Связь энтропии величины с функцией плотности и энтропия дискретной версии этой случайной величины после "огрубления" с малым шагом 1/k.

2024-10-21, -11-01, семинар 8: 16.18, 16.23 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], свёртка двух экспоненциальных величин

2024-11-11, 15, семинар 9: задачи на пуассоновский поток из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-11-18, 22, семинар 10: задачи на бета и гамма-распределение

2024-11-25, 29, семинар 11: задачи на нормальное распределение, 18.1, 18.2, 18.3, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-02, 06, семинар 12: задачи на многомерное нормальное: 24.16аб, 24.17аб, 24.18, 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-09, 13, семинар 13: ЦПТ и нормальное распределение: 20.2, 20.4, 18.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-19, семинар 14: разбор демо

2025-01-13, семинар 15: сходимость по вероятности: 20.1, 20.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-20, 24, семинар 16: связь между сходимостями, 20.11, 20.13 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-27, 31, семинар 17: 28.17, 28.18, 28.21 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-03, 07, семинар 18: 28.20аб, 28.22 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-10, 17, семинар 19: 6.2, 6.3, 6.11, измеримость произведения из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

==== 236 ====

2024-09-06, семинар 1: в начале семинара рассмотрели основные понятия и определения для решения задач. Решили задачи 1.1, 1.6, 3.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-13, семинар 2: нашли ожидание случайной величины с геом. распределением. Решили задачи 2.1, 12.6, 12.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-09-20, семинар 3: решили задачи 7.12, 7.4(а), 7.7, 7.13(а) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-09-27, семинар 4: разобрали 7.13, почти разобрали 28.3 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Также рассмотрели один контрпример на независимость(тетраэдр Бернштейна).

2024-10-04, семинар 5: разобрались с определениями, решили 9.3(абв), 9.7(аб) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Решили задачку про три точки на отрезке и найти вероятность получить треугольник. Также вывели формулу для мат. ожидания неотрицательной величины через функцию распределения.

2024-10-14, семинар 6: обсудили дисперсию, ковариацию, коэффициент корреляции и их геометрический смысл. Решили задачу на оценку дисперсии ограниченной величины. посчитали дисперсию геометрического, биномиального. Посчитали дисперсию в задаче о письмах и конвертах.

???, семинар 7: определили энтропию, посчитали примеры для дискретных величин, для линейных преобразований. Доказали, что задача максимизации энтропии с фиксированной дисперсией достигается на нормальном распределении.

???, семинар 8: свертка двух экспоненциальных, 16.18 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

???, семинар 9: задачи на пуассоновский процесс из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

???, семинар 10: разбор кр.

???, семинар 11: разобрали задачи на нормальное распределение 18.1, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Также считали распределение суммы двух независимых нормальных.

==== 237 ====

2024-09-09, семинар 1: задачи 1.1, 2.2 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], вероятность что n ладей не бьют друг друга при случайной расстановке на шахматной доске n на n, матожидание числа треугольников в случайном графе на n вершинах через сумму индикаторов

2024-09-13, семинар 2: задачи 2.1, 2.6, 12.3, 12.6, 12.7 (без дисперсий) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-23, семинар 3: задачи 7.2, 7.13, 7.7, 7.8, плюс начали 7.15b (получили неверный ответ) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-27, семинар 4: дорешали 7.15b с небольшой демонстрацией на питоне, разобрали 28.2 для нечестной монетки плюс посчитали матожидание [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-10-04, семинар 5: задачи 9.1, 9.3абв, 9.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], философия про то почему бОльшая плотность не всегда означает бОльшую вероятность оказаться в окрестности данной точки (плотность может занимать слишком маленький объем)

2024-10-11, семинар 6: вспомнили определения Cov/Var/Corr, посчитали у пары дискретных величин по табличке вероятностей, посчитали дисперсию у биномиального, геометрического, непрерывного равномерного на отрезке.

2024-10-18, семинар 7: вычисление энтропии геометрического распределения; ограниченность энтропии снизу и сверху в дискретном случае; изменение энтропии при линейном преобразовании для дискретной величины и величины с функцией плотности; условная энтропия, KL дивергенция и кросс-энтропия, неотрицательность KL, интерпретация на пальцах с точки зрения теории информации.

2024-11-01, семинар 8: 16.18, 16.23 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], свёртка двух экспоненциальных величин

2024-11-08, семинар 9: решали пробный вариант КР

2024-11-15, семинар 10: 13.1, 13.2, 13.5, 13.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-11-22, семинар 11: разбор КР

2024-11-29, семинар 12: нормальное распределение, 18.1, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-06, семинар 13: многомерное нормальное распределение, изменение среднего и матрицы ковариаций при линейном преобразовании, 24.4а, 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-13, семинар 14: 24.4в из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], сходимости случайных величин, ЗБЧ и ЦПТ, 20.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-21, семинар 15: наследование сходимости, 20.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], плюс доказали предельную теорему Пуассона

2025-01-28, семинар 16: связь между сходимостями, 20.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], лемма Слуцкого, подмена дисперсии на выборочную дисперсию в ЦПТ

2025-02-04, семинар 17: базовые свойства хар функций, хар функция суммы независимых величин, 28.17, 28.20 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

==== 239 ====

2024-09-03, семинар 1: задачи 1.1, 1.4, пытались 1.8 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Ещё успели посчитать вероятность N=k бросков монеты до выпадения первого орла, матожидание N. И ещё сделали то же для количества бросков до выпадения 3 орлов (не в серии).

2024-09-10, семинар 2: доказали формулу включения-исключения, решили несложную задачу, порешали 2.7 задачи типа 12.*

2024-09-17, семинар 3: Решили две прямых задачи на формулу Байеса и формулу полной вероятности (без большого количества вычислений). Решили задачу поиска вероятности неисправного кофе-автомата из 3 при условии, что бросили деньги в 1 и 2 и их зажевало. Ещё нашли вероятность, что мяч будет у игрока 3 после шага 10 (все садятся в круг и на каждом шаге бросают мяч соседу с вероятностью 0.3 и оставляют у себя с вероятностью 0.4).

2024-09-24, семинар 4: Вспомнили про метод первого шага, используя формулу полной вероятности и введя в некотором виде формулу полного матожидания, записали формулу для вероятностей нахождения в состоянии i через произведение переходной матрицы на вектор. Совсем немного начали производящие функции, но решили не считать 31ю производную многочлена.

2024-10-01, семинар 5: Исследуем дискретные случайные величины (Биномиальная, Геометрическая и разные похожие) с использованием техник вычислений моментов через производящую функцию. Задачи на распределения величин, посчитанных по набору величин. Первая большая задача про плотность.

2024-10-08, семинар 6: разминочная про плотность и функцию распределения. Считаем дисперсию, ковариацию и корреляцию по 2x2 таблице и в равномерном распределении на круге и квадрате [-1,1]х[-1,1].

2024-10-15, семинар 7: пара задач про экспоненциальное распределение, расчёты по теории информации(считаем всякое, чтобы привыкнуть).

2024-10-22, семинар 8: письменные источники не сохранились до наших дней. Согласно преданиям, оьсуждали двери и около контрольной. Говорят, ввели пуассоновский процесс.

2024-???, семинар 9: решаем задачи на пуассоновское в разных формах и обсуждаем омалые в порядковых статистиках.

2024-???, семинар 10: учимся интерпретироввть гауссовское, пользоваться таблицами для функции Лапласа, а также немного работать с многомерным гауссовским.

2024-3-12, семинар 11: Копаем во все стороны многомерное гауссовское: считаем вероятности для линейных комбинаций гауссовских, проверяем зависимость, вычисляем условные законы, матожидания и ковариационные матрицы, вспоминаем спектральное разложение и разложение Холецкого.

==== 2311 ====

2024-09-06, семинар 1: вероятностное пространство, вероятность на нем, вероятность события, случайная величина и ее распределение (индикатор события, сумма двух кубиков, число бросаний монетки до первого орла), матожидание случайной величины (индикатор, один кубик, два кубика), линейность матожидания. Задачи на линейность матожидания, в том числе ЕГЭшная задача про турнир, 1.5, 3.5 с допвопросом о матожидании числа совпадений. Разговор о получении события произвольной вероятности монеткой в контексте 1.8

2024-09-13, семинар 2: Повторили матожидание суммы на примере 12.3. Обсудили условную вероятность и формулу полной вероятности, условное матожидание, решили задачи на метод первого шага 2.1, 2.3, 2.7.

2024-09-20, семинар 3: Условная вероятность, формула полной вероятности, формула Байеса: 7.1, классическая задача про болезни и тесты, простейшие задачки на общее понимание, обсуждение двух подходов: вычисления условной вероятности по формуле и составления нового вероятностного пространства и подсчет вероятности в нем. Независимые события (события "пики" и "дама" в обычной колоде и колоде с джокерами), независимые в совокупности события, построили пример попарно независимых, но не независимых в совокупности. Обсудили биномиальное распределение. решили задачу: "в корабле к отсеков, чтобы корабль затонул, нужно поразить 2. Независимо выпускают n ракет, каждая из которых поражает случайный отсек с вероятностью p. Найти вероятность потопления корабля"

2024-09-20, семинар 4: Примеры одинаково распределенных зависимых СВ, независимые СВ. Производящая функция и ее свойства. Посчитали для биномиального производящую функцию и второй момент. Обсудили, что будет меняться в случае функции, производящей моменты. Обсудили функцию, производящую множество исходов, как из нее доставать уже известные функции, как ее искать на примере бросания монетки до выпадания HT

2024-10-11, семинар 5: Составили табличку стандартных дискретных распределений, посчитали матожидание геометрического, обсудили дисперсию и ковариацию и их свойства (в дискретном случае), досчитали дисперсии основных распределений. Обсудили вероятностное пространство в общем случае, понятие СВ в общем случае. Дали определение ФР, посчитали ФР для явно заданной СВ. Дали определение плотности.

2024-10-12, семинар 6: Обсудили свойства ФР, как считать вероятность попадания в промежуток в терминах ФР. Выразили ФР 1/X, cos X. Обсудили как выражается веротяность попадания в множество через плотность. для 1/Х выразили плотность в случае абсолютной непрерывности Х. Обсудили формулу для МО в общем виде через интеграл Стильтьеса и как вычислять МО для функции, разлагающейся в сумму абсолютно нерпрерывной и функции скачков, посчитали МО для пары таких СВ

2024-10-18, семинар 7: Обсудили геометрию, заданную скалярным произведением EXY и cov(X,Y), поиск ортогонального элемента и проекции. Посчитали энтропию и кросс-энтропию в дискретном и непрерывном случаях, посчиали совместную и условную энтропию в дискретном случае (23.2, 23.4, 23.9)

2024-11-01, семинар 9: Совместная плотность и ф.р., подсчет вероятностей, маргинальные плотности, замена переменной через якобиан, свертка, матожидание

2024-11-09, семинар 10: Условная плотность, формула условной вероятности. Задача на восстановление маргинальной плотности по условной. Разбор задач из "Летучей мыши"

2024-11-19, семинар 11: Разбор контрольной работы

2024-11-22, семинар 12: Пуассоновский поток - решали задачки из задачника

2024-11-29, семинар 13: Нормальное распределение - задачи из PP, повторили функцию, порождающую моменты, обсудили ее свойства в абсолютно непрерывном случае

2024-12-06, семинар 14: Многомерное нормальное - обсудили два определения, связь между ними, независимость элементов нормального вектора при нулевой ковариации и почему это неверно для произвольных нормальных. порешали задачи 24.9а, 24.10, 24.17

2024-12-013, семинар 15: ЦПТ, решали задачи из задачника

2025-01-17, семинар 16: Сходимости почти наверное и по вероятности, связь со сходимостью по распределению. Посмотрели стандартные контрпримеры, показали, что если есть сходимость по распределению к константе, то есть и по вероятности. ЗБЧ Чебышева и Хинчина, УЗБЧ Колмогорова, обсудили 20.1 сколько успели.

2025-01-24, семинар 17: Сходимость в L_p, связи между сходимостями. Задача 20.11

2025-01-24, семинар 18: Характеристические функции и их свойства. Посчитали хар функции для равномерного, Бернулли, биномиального, Пуассона, экспоненциального. Показали, чо сумма нормальных нормальна. По функции пытались понять, может ли она быть характеристической и восстанавливали с.в.

==== 2310, 2312 ====

2024-09-06, семинар 1: задача 1.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Определили вероятностное пространство в виде тройки, множество исходов рассматривали конечное и счётное. Решили 3 счётные задачи на комбинаторику про колоды карт и счетные последовательности цифр. Привели геометрическое и аналитическое решения задачи про нахождение предела последовательности вероятностей. В конце нашли математическое ожидание геометрически распределённой случайной величины.

2024-09-13, семинар 2: задача 2.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Задача на упорядоченные и неупорядоченные наборы. Задача про классическое вероятностное пространство и про пространство с неравновероятными исходами. Разобрали парадокс Монти Холла. Ввели понятия условной вероятности и независимых случайных величин. Сформулировали и обсудили идеи доказательств трёх теорем: теорема умножения вероятностей, формула полной вероятности и формула Байеса.

2024-09-20, семинар 3: Решили задачу на определение условной вероятности. Обсудили парадокс теоремы Байеса на примере задачи про редкое заболевание, а также посмотрели простую программу на Python, которая считает вероятность в зависимости от количества проведенных тестов на заболевание. Обсудили условное математическое ожидание, некоторые его свойства и рассмотрели пример с подбрасыванием кубика. В конце решили задачу на парадокс дней рождений.

2024-09-27, семинар 4: Обсудили коллизии хеш-функций и связь с атакой "дней рождений". Определили независимость или зависимость случайных величин в четырёх разных вариантах. Обсудили, что неверно утверждать, что матожидание частного независимых случайных величин равно частному матожиданий, также привели пример использования подобного факта в некоторых статьях. В конце решили задачу на поиск функции производящей исходы, а также нашли E(X), E(Y^2), E(XY) с помощью найденной функции.

2024-10-04, семинар 5: Решили две простые задачи на условную вероятность и на теорему об умножении вероятностей. Обсудили связь дерева событий с условной вероятностью и теоремой об умножении вероятностей. Нашли производящую функцию моментов для геометрически распределенной случайной величины и с помощью нее нашли матожидание. Нашли производящую функцию моментов и матожидание суммы случайного количества н.о.р случайных величин.

2024-10-11, семинар 6: Привели аналогии между дискретными и непрерывными случайными величинами. Нарисовали графики функций от случайных величин. Вспомнили определение и свойства дисперсии. Решили простую задачу на подсчет дисперсии и нашли дисперсию геометрически распределенной случайной величины. Обсудили, когда может быть матожидание и дисперсия бесконечны. Далее вспомнили неравенства Маркова и Чебышева, вывели следствия и решили 3 задачи на применение этих неравенств. Обсудили, что неравенство Маркова может давать как точную оценку, так и очень слабую. Показали, что неотрицательность случайной величины в неравенстве Маркова является существенным условием.

2024-10-11, семинар 7: Повторили понятия энтропии в битах и натах, а также понятие дифференциальной энтропии. Нашли энтропию в схеме Бернулли и энтропии геометрического и экспоненциального распределений. Доказали простую оценку сверху для энтропии случайной величины, имеющей конечный носитель мощности n.

2024-11-1, семинар 8: Разобрали демо-вариант контрольной работы "Тыква".

2024-11-8, семинар 9: Разобрали демо-вариант контрольной работы "Летучая мышь".

2024-11-15, семинар 10: Понятие случайного процесса. Определение пуассоновского процесса, его свойства. Три простые задачи на пуассоновское распределение. Задачи 13.1 и 13.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-11-22, семинар 11: Определения Бета-функции и Гамма-функции. Бета и Гамма распределения, их функции плотности и графики. Нахождение моды случайных величин, имеющих Бета и Гамма распределения. Связь пуассоновского процесса с Гамма распределением. В конце нашли производящую функцию моментов Гамма распределения.

2024-11-29, семинар 12: Задачи 18.1, 18.2 и 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-12-06, семинар 13: Нашли многомерное нормальное распределение по виду функции плотности (константа на экспоненту с квадратичным показателем). С помощью формулы Иссерлиса нашли матожидания произведений различных или одинаковых случайных величин, имеющих многомерное нормальное распределение. Нашли условную вероятность многомерного распределения. Задача 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-12-13, семинар 14: Повторили определение сходимости по распределению и центральную предельную теорему. Решили задачи 20.2 и 20.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

== Источники ==

Источники мудрости, которые я постарался не замутить :)

[https://arxiv.org/pdf/1411.5279 WTSK]: Tim Hesterberg, What Teachers Should Know About the Bootstrap: вкусное и доступное изложение бутстрэпа и перестановочных тестов.

[https://projects.iq.harvard.edu/stat110/home BItP]: Blitzstein, Hwang, Introduction to Probability: учебник, записи лекций, гарвардский курс.

Теория вероятностей 2024/25 (основной поток)

2025-02-25T20:28:30Z

Bdemeshev:

= Преподаватели и учебные ассистенты =

{| class="wikitable" style="text-align:center"
|-
! Группа !! БПМИ235 !! БПМИ236 !! БПМИ237 !! БПМИ238 !! БПМИ239 !! БПМИ2310 !! БПМИ2311 !! БПМИ2312
|-
|| Лектор ||colspan="11"| [https://t.me/boris_demeshev Борис Демешев]
|-
|| Семинарист || [https://t.me/boris_demeshev Борис Демешев] || [https://t.me/levensons Илья Левин] || [https://t.me/madn_boi Никита Морозов] || [https://t.me/boris_demeshev Борис Демешев] || [https://t.me/XuMuK_MK Максим Каледин] || [https://t.me/goluba_yurieva Голуба Юрьева] || [https://t.me/Moskchan Вероника Владыкина] || [https://t.me/goluba_yurieva Голуба Юрьева]
|-
|| Ассистент || [https://t.me/nerhneiro Ира Скворцова] || [https://t.me/a_ameli_ig Амелия Алаева] || [https://t.me/htual Алина Бадахова] || [https://t.me/adelyagaraeva Аделя Гараева] || [https://t.me/mabrielka Мария Брель] || [https://t.me/zm_ann Анна Зыкова-Мызина] || [https://t.me/Yanlightv Яна Вежновец] || [https://t.me/nol_erk Кирилл Лавриненко]
|-
|| Ассистент курса ||colspan="11"| [https://t.me/Nick_Volya Никита Волянский]
|}

== Цели и задачи курса ==

侍には目標がなく道しかない [Samurai niwa mokuhyō ga naku michi shikanai]

У самурая нет цели и ничего кроме пути.

Вероятный план:
<div class="mw-collapsible mw-collapsed" style="width:1000px; overflow: hidden;">
1. Дискретное вероятностное пространство. Вероятность, математическое ожидание, теоретическая медиана.
Перестановочные тесты, p-значение для перестановочного теста.
Математическое ожидание = центр масс.

NB: здесь сходу рисуем дерево
NB: здесь нет задач на условную вероятность

!предупреждение об обозначениях случайных величин.
Российская традиция — греческие буквы, американская традиция — заглавные английские буквы.
Наш курс: любые буквы. Причина: теория вероятностей применяется в разных областях, где свои традиции.

NB: Способы вычисления вероятностей и ожиданий:
* полный перебор руками
* примерные вычисления руками
* полный перебор на компьютере
* симуляции на компьютере
* ...

2.
Методы решения задач:
* разложение величины в сумму
* метод первого шага
!идея: позиция в игре имеет цену
* just for fun: метод рычага в геометрии через ожидание
NB: рассказать здесь про комплексную случайную величину
NB: по сути здесь мы уже решаем задачи на марковские цепи не говоря страшных определений
LOTUS.

3. Условная вероятность и условное ожидание.
!идея: зануляем вероятности невозможных событий, а остальные — масштабируем.
формула полной вероятности
!идея: дерево "помнит" формулу полной вероятности
формула Байеса

Независимые события.
Независимые случайные величины.

4.
Методы решения задач:
* производящие функции многих переменных
функция как способ записать множество
HTT vs TTH
ABRACADABRA
!разложение по биномиальной формуле

?: можно здесь успеть функцию производящую моменты

5.
Биномиальное распределение.
Геометрическое и гипергеометрическое распределения.
Отрицательное биномиальное распределение.

6.
Равномерное распределение на множестве в R^n
Функция распределения.
Функция плотности и вероятностная дифференциальная форма.
!пояснение про неудачную традиционную терминологию "непрерывная случайная величина"
величина с функцией плотности, величина с непрерывной функцией распределения.

Квантили, квантильная функция.

7. Характеристики случайных величин и неравенства.
Дисперсия.
Энтропия.
Неравенство Маркова.
Неравенство Чебышёва.
Неравенство Йенсена.

Здесь конец модуля 1 и КР-1!

8. Пуассоновский поток.
Аксиомы пуассоновского потока.
Вывод экспоненциального распределения и пуассоновского распределения из аксиом.
Вывод экспоненциального распределения из предпосылки об отсутсвии памяти.

9. Нормальное распределение.
Нормальное распределение: предпосылки Хершела-Максвелла.
Нормальное распределение: аргументация Гаусса за среднее арифметическое.
Нормальное распределение: предпосылки Лэндона (до уравнения в частных производных).

10. Классические непрерывные распределения.

Гамма-распределение, бета-распределение.
Вывод нормального и экспоненциального распредений как минимизации энтропии.

11. Парные характеристики случайных величин.
Наилучшая линейная аппроксимация.
Ковариация.
Корреляция.
Кросс-энтропия.

Доказательство E(XY) = E(X) E(Y) для дискретных.
Ковариационная матрица и ожидание для случайных векторов.

12. Совместная и условная функция плостности.
Преобразования случайных величин.

13. Функция производящая моменты и характеристическая функция.
Распределение суммы случайного количества случайных величин.
Случайный выбор слагаемых.

14. Финансовые приложения

Оценивание опционов на биномиальном дереве.
Максимизация долгосрочной прибыли, связь с энтропией.
Возможно, индексы Гиттинса.

Здесь конец модуля 2 и КР-2

15. Сигма-алгебры.

Список известных величин как способ описания информации.
Идея условного ожидания как оптимального прогноза.
Сигма-алгебра как способ описания информации.
Измеримость случайной величины относительно сигма-алгебры.
Сигма-алгебра как ОДЗ для вероятности.
Борелевская сигма-алгебра.
Независимые случайные величины второе определение.

16. Условное математическое ожидание.
Условная дисперсия.
Сумма случайного количества случайных величин.

17. Сходимости случайных величин.

Сходимость по вероятности.
Закон больших чисел.
Сходимость почти наверное.
Усилинный закон больших чисел.
Сходимость по распределению.

18. Связь сходимостей.
Лемма Слуцкого.

19. Центральная предельная теорема.
Доказательство через подмену слагаемых.
Доказательство через характеристические функции.

Здесь контрольная.

20. Винеровский процесс
Условные ожидания, инверсия.

21. Байесовский подход к оцениванию параметров

Балансовое уравнение. Идея MCMC.

22. Доказательства свойств меры

23. Алгоритм построения математического ожидания в общем случае.
Лемма Фату.
Теорема о мажорируемой сходимости.
Теорема о монотонной сходимости.

24. Резерв.

Жемчужинки, которые, вероятно, не успеем:

А. Методы решения задач:
подсчёт случаев с помощью леммы Бернсайда и теоремы Пойа о перечислении
(Burnside lemma, PET = Polya Enumeration Theorem)

B. вероятностные доказательства детерминистических теорем

</div>

== Оценивание ==

Оценка за семестр-1 = 0.2 Домашние задания семестра-1 + 0.4 Контрольная-Альфа + 0.4 Экзамен-Бета.

Финальная оценка за курс = 0.5 Оценка за семестр-1 + 0.1 Домашние задания семестра-2 + 0.2 Контрольная-Гамма + 0.2 Экзамен-Дельта.

Каждая оценка (суммарные итоги за домашние задания, контрольные, экзамены) — целое число от 0 до 100.
Для перевода в 10-балльную шкалу промежуточной оценки за семестр-1 и финальной оценки используется деление на 10
с арифметическим округлением. Например, если Максим получил "оценку за семестр-1" 65 баллов, то в ведомость за первый семестр идёт 7, а далее в формуле финальной оценки за курс используется 65.

=== Домашние задания для самураев ===

Домашние задания [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/home_assignments/home_assignments.pdf одним файлом] и [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/blob/main/home_assignments/ отдельными файлами].
Домашние задания имеют равный вес.
В конце каждой лекции (за исключением ближайших к экзамену лекций)
выдается домашнее задание сроком на две недели.
Дедлайн жёсткий, однако студент имеет право просрочить три домашних задания на неделю каждое без штрафа.

Формат сдачи ДЗ: один pdf-файл (решение текстовых задач) и один ipynb-файл (решение компьютерных задач).
В pdf-файл можно поместить аккуратно написанное отсканированное решение, а можно скомпилировать pdf из теха или маркдауна.
Ещё можно вместо pdf-файла написать всё в ipynb.
Бонусов за сдачу домашки в техе нет. Пример [https://www.overleaf.com/read/qmrkwpzvmqbk шаблона].

Обратите внимание: '''время каждого дедлайна — 23:59'''.

=== Ведомость с оценками за ДЗ ===

{| class="wikitable" style="text-align:center"
|-
! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1872081500#gid=1872081500 235] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1374497930#gid=1374497930 236] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1183164252#gid=1183164252 237] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=408179311#gid=408179311 238] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1032422408#gid=1032422408 239] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1603236891#gid=1603236891 2310] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=791330236#gid=791330236 2311] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=23847300#gid=23847300 2312]
|}

[https://docs.google.com/spreadsheets/d/14hD7-SLmAA1omdkhPlt3blRHDHVGTDS8ZgvLWscvMz8/edit?usp=sharing Сводная ведомость всех оценок]

=== Контрольные работы и экзамен ===

Вес каждой задачи будет написан в тексте работы.
Задачи с ненаписанным по случайности весом имеют равный вес.
Для пропущенных по уважительной причине контрольных будет выделен один день для переписывания.
При пропуске дня переписывания, в том числе по уважительным причинам, ещё одного шанса не предоставляется.

<div class="mw-collapsible mw-collapsed" style="width:1000px; overflow: hidden;">

'''Контрольная работа 1''' состоится 2024-11-11 в 16:20, аудитории: R401, R305, R206, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_halloween_demo/exam_halloween_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/midterm/midterm-alpha.pdf условие с критериями и решениями].

'''Резервный день 1''' для пропустивших по уважительной причине состоится 2024-12-02 в 19:40, R405

'''Показ контрольной 1''':

* задачи 1, 2: заочно до 2024-12-08, [https://t.me/Moskchan Вероника]
* задачи 3, 4 [https://t.me/boris_demeshev Борис], очно, четверг, 2024-12-05, 18:10-21:00, G408
* задачи 5, 6 [https://t.me/XuMuK_MK Максим]: очно, четверг, 2024-12-05, 18:10-21:00, G408

'''Экзамен, модуль 2''' состоится '''''2024-12-24 в 10:00''''', аудитории R301, R304, R401, R404, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_winter_demo/exam_winter_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/december/pmi_probab_2024_december.pdf условие].

Если вы не хотите идти на экзамен, то заполните [https://forms.gle/UQzW77RrPvcdahG47 эту форму], чтобы получить ноль при неявке

'''Апелляция экзамена''':

* задачи 1, 2: заочно [https://t.me/goluba_yurieva Голуба], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/december/exam_problem_1-2.pdf решения и критерии 1, 2];
* задачи 3, 4: очно 2025-01-11, аудитория R408, 14:40-17:40 [https://t.me/madn_boi Никита], [https://www.overleaf.com/read/dnhjcdrndqps#42f1ab решения и критерии 3, 4];
* задачи 5, 6: заочно [https://t.me/levensons Илья]

* дедлайн по заочным апелляциям: суббота 23:59

[https://docs.google.com/spreadsheets/d/1mxMCr3IEDy8EPFWGkn3_dsghhPNcZICEw9C9o5ZoZvA/edit?usp=sharing Распределение по аудиториям]

</div>

Даты пересдач: 2025-01-28 в 18:10, 2025-02-03 в 18:10 и комиссия 2025-02-11 в 18:10.

* задачи 1, 2: [https://t.me/goluba_yurieva Голуба], задачи 3, 4: [https://t.me/madn_boi Никита], задачи 5, 6: [https://t.me/levensons Илья], апелляция пересдачи 2 до 21:00 2025-02-10.

'''Контрольная, модуль 3''' состоится 2025-02-22 в 16:20, аудитории R201, R204, R404, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_galileo_demo/exam_galileo_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_galileo/exam_galileo.pdf условие].

[https://docs.google.com/spreadsheets/d/1LZA-7TDz_yYeVPRx4BpBWJnQKZ7wqPgHDrN-Z0SM68M/edit?usp=sharing Распределение по аудиториям]

'''Контрольная, модуль 3, резервный день''': 2025-03-07, пятница, 18:10.

'''Экзамен, модуль 3''' состоится 2025-03-26 в 14:40, аудитории R301, R404, R405, R503, демо, условие.

== Учебные материалы ==

[https://github.com/bdemeshev/probability_pro/raw/master/probability_pro.pdf PP]: Листки с задачами к курсу.

[https://github.com/bdemeshev/probability_dna/raw/master/probability_dna.pdf PDNA]: Вероятностная ДНК = вкусные задачи по теории вероятностей.

[https://disk.yandex.ru/d/LZ6d2VZVqYvbDQ Видео-летопись семинаров и лекций] и [https://hse.liferooter.dev/ конспект] от тайного благожелателя (updated 2024-10-23]

[https://disk.yandex.ru/d/IoakBXz_6yygPw Официальные видео]

[https://www.cambridgeinternational.org/Images/344616-list-of-formulae-and-statistical-tables.pdf Cambridge statistical tables]

== Дневник самурая ==

2024-09-02, лекция 1: Определение события. Определение случайной величины. Аксиомы вероятности. Определение математического ожидания для дискретного случая.
Линейность математического ожидания. Математическое ожидание как центр масс. Первое знакомоство с перестановочным тестом и p-значением.

Можно глянуть: главы 2.1 и 7 из [https://arxiv.org/pdf/1411.5279 WTSK], метод рычага [https://mathcircle.berkeley.edu/sites/default/files/archivedocs/2007_2008/lectures/0708lecturespdf/MassPointsBMC07.pdf в геометрии].

2024-09-09, лекция 2: Метод первого шага (вероятность выпадения HTH ранее HHT, ожидаемое количество шагов). Метод разложения случайной величины в сумму. Определение случайного вектора. Использование интерпретации ожидания как центра масс в геометрии. Определение теоретической медианы.

Можно глянуть: глава 2.7.2 из [https://projects.iq.harvard.edu/stat110/home BItP], три стратегии решения задачи за 10 минут [https://www.youtube.com/watch?v=xH89DaEI35w Visually Explained]

2024-09-16, лекция 3: Получение новой информации приводит к пересчёту вероятностей. Определение условной вероятности. Формула полной вероятности. Формула Байеса.
Условное математическое ожидание. Формула полного математического ожидания. Независимость пары событий. Независимость набора событий в совокупности.
Независимость величин: неформальное определение. Критерий независимости произвольных величин. Критерий независимости дискретных величин.

2024-09-23, лекция 4: Доказательство критерия независимости для дискретных случайных величин: из независимости {X=x} и {Y=y} следует независимость {X in A} и {Y in B}. Независимость величин равносильна E(f(X))E(g(Y))=E(f(X)g(Y)) для произвольных f, g. Определение биномиальной, геометрической (как числа неудач до 1го успеха) и отрицательной биномиальной случайной величины. Общая идея за производящими функциями: как из функции, производящей исходы эксперимента, с помощью производных и подстановок выудить индивидуальные вероятности, совместные вероятности, ожидания любой степени E(X^a), E(X^a Y^b). Формальное определение функции, производящей вероятности, и функцию, производящей моменты, для одной случайной величины и пары случайных величин. Метатеорема: все теоремы о дискретных величинах доказываются перестановкой слагаемых. Основные дискретные распределения: биномиальное, геометрическое, отрицательное биномиальное.

2024-09-30, лекция 5: Ещё дискретные законы распределения: гипергеометрическое. Описание закона распределения через равномерное распределение на подмножестве R^n.
Функция плотности как линейная часть вероятности попадания в отрезок. Равномерное распределение на отрезке. Смешанные случайные величины. LOTUS: нахождение ожидания любой функции от случайной величины для величин с функцией плотности и смешанных величин. Функция распределения. Квантильная функция.

2024-10-07, лекция 6: Две геометрии случайных величин и событий: E(XY) как скалярное произведение, Cov(X, Y) как скалярное произведение. Математическое ожидание — проекция в рамках геометрии, задаваемой E(XY). Определение и геометрический смысл дисперсии, стандартного отклонения, ковариации и корреляции. Неравенство Маркова. Неравенство Чебышёва. Неравенство Йенсена: интуитивный смысл.

2024-10-14, лекция 7: Доказательство неравенства Йенсена. Энтропия как минимальное ожидаемое число вопросов для отгадывания и формальное определение. Кросс-энтропия.
Доказательство того, что кросс-энтропия больше либо равна энтропии. Совместная энтропия. Условная энтропия. Формула H(X) + H(Y|X) = H(X, Y) без доказательства.
Вывод плотности экспоненциального распределения из предпосылки отсутствия памяти. Экспоненциальное распределение максимизирует энтропию при заданном ожидании и неотрицательности.

* Cristopher Olah, Visual Information Theory, https://colah.github.io/posts/2015-09-Visual-Information/

* Grand Sanderson, Solving Wordle using information theory, [https://www.youtube.com/watch?v=v68zYyaEmEA youtube].

* Artem Kirsanov, Key equation behind probability, [https://www.youtube.com/watch?v=KHVR587oW8I youtube]. У Артёма кросс-энтропия обозначена H(P, Q), а не CE(P||Q)).

* [https://exuberant-arthropod-be8.notion.site/1-02-09-5e107ea1c4054594b8f37d955db8a2b0 Конспект] аналогичной старой лекции псмо на русском.

* Keith Conrad, [https://kconrad.math.uconn.edu/blurbs/analysis/entropypost.pdf Maximal entropy] distributions.

2024-10-21, лекция 8: Ковариационная матрица и её свойства. Совместная функция плотности. Условная функция плотности. Критерий независимости в терминах функций плотности и распределения.
Связь индивидуальной и совместной функций плотности и функций распределения. Смена плотности при замене переменных: домножение на якобиан и неформально про дифференциальные формы. Формула свёртки.
Разложение совместной плотности для графической модели. Представление произвольной совместной функции распределения с помощью копулы.

* Про дифференциальные формы: [https://www.youtube.com/watch?v=PaWj0WxUxGg&list=PL22w63XsKjqzQZtDZO_9s2HEMRJnaOTX7 videos] by Michael Penn, [https://www.math.purdue.edu/~arapura/preprints/diffforms.pdf short intro] by Dony Arapura

* What is a convolution от [https://www.youtube.com/watch?v=KuXjwB4LzSA 3b1b]

* From graphical models to [https://www.youtube.com/watch?v=yBc01ZeaFxw&list=PLISXH-iEM4JlFsAp7trKCWyxeO3M70QyJ Probabilistic ML]

2024-11-11, лекция 9: Пуассоновский поток: аксиомы. Вывод пуассоновского распределения количества событий и экспоненциального времени между событиями из аксиом.
Сумма независимых пуассоновских потоков — это пуассоновский поток (половина доказательства). Вероятность того, что одна экспоненциальная величина будет меньше другой, независимой.

2024-11-18, лекция 10: Гамма-распределение как сумма нескольких экспоненциальных: вывод плотности через вероятность попадания в малый отрезок.
Обобщение плотности на случай положительного параметра $a$. Гамма-функция. Бета-распределение как отношение гамма-распределений. Бета-функция.

2024-11-25, лекция 11: Вывод нормального распределения из предпосылок Гаусса. Вывод нормального распределения из предпосылок Гершеля — Максвелла.

* Saul Stahl, The [https://www.researchgate.net/publication/255668423_The_Evolution_of_the_Normal_Distribution Evolution] of the Normal Distribution: вывод Гаусса с историей.

* Grand Sanderson, [https://www.youtube.com/watch?v=cy8r7WSuT1I Why pi] is in the normal? вывод Гершеля—Максвелла

* James Stein, [http://www-biba.inrialpes.fr/Jaynes/cc07s.pdf Normal Distribution]: глава про нормальное распределение (Гаусс, Гершель—Максвелл, Лэндон etc)

* William Herschel, [https://music.yandex.com/album/209394/track/2121214 концерт для габоя]

* William Herschel, [https://www.informationphilosopher.com/solutions/scientists/quetelet/Herschel_Quetelet_Probabilities.pdf On the theory of Probabilities]: вывод нормального распределения словами на стр. 189-191

2024-12-02, лекция 12: многомерное нормальное распределение. Функция плотности невырожденного многомерного нормального. Функция производящая моменты для многомерного нормального. Формула Иссерлиса с ненулевыми ожиданиями и доказательством. Условное распределение: вывод условного ожидания и условной дисперсии через разложение величины в сумму независимых.

* [https://stats.stackexchange.com/questions/30588/ альтернативный вывод] условного многомерного нормального распределения
* Хитрый [https://github.com/bdemeshev/lis-isserlis/raw/main/lis-isserlis.pdf лис Иссерлис]

2024-12-09, лекция 13: сходимость по распределению, центральная предельная теорема с доказательством подменой слагаемых.

* Calvin Chin [https://arxiv.org/pdf/2106.00871 CLT proof] by swapping
* [https://bdemeshev.github.io/teaching_notes/clt_by_swapping Пересказ доказательства]

2024-12-16, лекция 14: использование бесконечно малых при нахождении ожиданий, трюк с добавление параметра, трюк с закольцовыванием отрезка при равномерном распределении.

2025-01-13, лекция 15: Неединственность предела по распределению. Неаддитивность предела по распределению. Предел по вероятности. Закон больших чисел в слабой форме (с доказательством при дополнительной предпосылке о конечности дисперсии). Теорема о непрерывном отображении.

2025-01-20, лекция 16: два определение сходимости почти наверное с доказательством эквивалентности. Сходимость в Lp. Из сходимости в Lp при p>=1 следует сходимость по вероятности. Из сходимости почти наверное следует сходимость по вероятностям. Контр-пример к разнице сходимостей почти наверное и по вероятности. Контр-пример к разнице сходимостей в Lp и по вероятности. Усиленный закон больших чисел (без доказательства). Леммы Слуцкого (без доказательства).

2025-01-27, лекция 17: характеристические функции и их свойства. Вывод характеристической функции нормального стандартного распределения через дифференциальное уравнение. Характеристическая функция биномиального распредеделения. Второе доказательство ЦПТ (через характеристические функции).

* [https://web.ma.utexas.edu/users/gordanz/notes/characteristic.pdf Gordan Zitkovic]: characteristic functions
* [https://sas.uwaterloo.ca/~dlmcleis/s901/chapt6.pdf McLeish]: clt proof

2025-02-03, лекция 18: пример последовательности сходящийся по вероятности с ожиданием стремящимся к бесконечности. Критерий Кэлли. Критерий оптимальной остановки Брасса.

* [https://en.wikipedia.org/wiki/Kelly_criterion wikipedia]: Kelly criterion
* [https://projecteuclid.org/journalArticle/Download?urlId=10.1214%2Faop%2F1019160340 Bruss]: sum the odds to one and stop

2025-02-10 лекция 19: Сигма-алгебра порождённая случайной величиной или набором из нескольких случайных величин. Замкнутость относительно счётного количества операций с множествами. Сигма-алгебра. Объединение сигма-алгебр не всегда сигма-алгебра. Пересечение сигма-алгебр всегда сигма-алгебра. Измеримость суммы. Борелевская сигма-алгебра.

2025-02-18, лекция 20: [https://us06web.zoom.us/j/82685613040?pwd=bqJoXGItwNOOWddXj1flfmPmDn6fMQ.1 онлайн, 18:10]

=== Семинары ===

==== 473 = 235 + 238 ====

2024-09-02, 06, семинар 1: задачи 1.1, 1.6, 3.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-09, 13, семинар 2: задачи 2.1, 2.3, 12.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-16, 20, семинар 3: задачи 7.12 и 7.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-23, 27, семинар 4: как извлечь P(X=3), E(X), E(X^2Y) из функции, производящей список исходов, 28.16 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-30, -10-04, семинар 5: 9.3в, 9.4, 9.7(абвд, кроме дисперсии, аргументы масштабирования и центра масс помимо интегралов), 9.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-10-07, 11, семинар 6: вычисление Cov, Var, Corr по табличке и из функции плотности, нахождение дисперсии для отрицательного биномиального распределения по свойствам.

2024-10-14, 18, семинар 7: вычисление энтропии геометрического распределения. Изменение энтропии при линейном преобразовании для дискретной величины и величины с функцией плотности.
Кросс-энтропия из экспоненциального в равномерное. Условная энтропия для дискретной таблички. Связь энтропии величины с функцией плотности и энтропия дискретной версии этой случайной величины после "огрубления" с малым шагом 1/k.

2024-10-21, -11-01, семинар 8: 16.18, 16.23 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], свёртка двух экспоненциальных величин

2024-11-11, 15, семинар 9: задачи на пуассоновский поток из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-11-18, 22, семинар 10: задачи на бета и гамма-распределение

2024-11-25, 29, семинар 11: задачи на нормальное распределение, 18.1, 18.2, 18.3, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-02, 06, семинар 12: задачи на многомерное нормальное: 24.16аб, 24.17аб, 24.18, 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-09, 13, семинар 13: ЦПТ и нормальное распределение: 20.2, 20.4, 18.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-19, семинар 14: разбор демо

2025-01-13, семинар 15: сходимость по вероятности: 20.1, 20.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-20, 24, семинар 16: связь между сходимостями, 20.11, 20.13 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-27, 31, семинар 17: 28.17, 28.18, 28.21 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-03, 07, семинар 18: 28.20аб, 28.22 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-10, 17, семинар 19: 6.2, 6.3, 6.11, измеримость произведения из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

==== 236 ====

2024-09-06, семинар 1: в начале семинара рассмотрели основные понятия и определения для решения задач. Решили задачи 1.1, 1.6, 3.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-13, семинар 2: нашли ожидание случайной величины с геом. распределением. Решили задачи 2.1, 12.6, 12.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-09-20, семинар 3: решили задачи 7.12, 7.4(а), 7.7, 7.13(а) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-09-27, семинар 4: разобрали 7.13, почти разобрали 28.3 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Также рассмотрели один контрпример на независимость(тетраэдр Бернштейна).

2024-10-04, семинар 5: разобрались с определениями, решили 9.3(абв), 9.7(аб) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Решили задачку про три точки на отрезке и найти вероятность получить треугольник. Также вывели формулу для мат. ожидания неотрицательной величины через функцию распределения.

2024-10-14, семинар 6: обсудили дисперсию, ковариацию, коэффициент корреляции и их геометрический смысл. Решили задачу на оценку дисперсии ограниченной величины. посчитали дисперсию геометрического, биномиального. Посчитали дисперсию в задаче о письмах и конвертах.

???, семинар 7: определили энтропию, посчитали примеры для дискретных величин, для линейных преобразований. Доказали, что задача максимизации энтропии с фиксированной дисперсией достигается на нормальном распределении.

???, семинар 8: свертка двух экспоненциальных, 16.18 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

???, семинар 9: задачи на пуассоновский процесс из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

???, семинар 10: разбор кр.

???, семинар 11: разобрали задачи на нормальное распределение 18.1, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Также считали распределение суммы двух независимых нормальных.

==== 237 ====

2024-09-09, семинар 1: задачи 1.1, 2.2 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], вероятность что n ладей не бьют друг друга при случайной расстановке на шахматной доске n на n, матожидание числа треугольников в случайном графе на n вершинах через сумму индикаторов

2024-09-13, семинар 2: задачи 2.1, 2.6, 12.3, 12.6, 12.7 (без дисперсий) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-23, семинар 3: задачи 7.2, 7.13, 7.7, 7.8, плюс начали 7.15b (получили неверный ответ) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-27, семинар 4: дорешали 7.15b с небольшой демонстрацией на питоне, разобрали 28.2 для нечестной монетки плюс посчитали матожидание [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-10-04, семинар 5: задачи 9.1, 9.3абв, 9.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], философия про то почему бОльшая плотность не всегда означает бОльшую вероятность оказаться в окрестности данной точки (плотность может занимать слишком маленький объем)

2024-10-11, семинар 6: вспомнили определения Cov/Var/Corr, посчитали у пары дискретных величин по табличке вероятностей, посчитали дисперсию у биномиального, геометрического, непрерывного равномерного на отрезке.

2024-10-18, семинар 7: вычисление энтропии геометрического распределения; ограниченность энтропии снизу и сверху в дискретном случае; изменение энтропии при линейном преобразовании для дискретной величины и величины с функцией плотности; условная энтропия, KL дивергенция и кросс-энтропия, неотрицательность KL, интерпретация на пальцах с точки зрения теории информации.

2024-11-01, семинар 8: 16.18, 16.23 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], свёртка двух экспоненциальных величин

2024-11-08, семинар 9: решали пробный вариант КР

2024-11-15, семинар 10: 13.1, 13.2, 13.5, 13.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-11-22, семинар 11: разбор КР

2024-11-29, семинар 12: нормальное распределение, 18.1, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-06, семинар 13: многомерное нормальное распределение, изменение среднего и матрицы ковариаций при линейном преобразовании, 24.4а, 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-13, семинар 14: 24.4в из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], сходимости случайных величин, ЗБЧ и ЦПТ, 20.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-21, семинар 15: наследование сходимости, 20.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], плюс доказали предельную теорему Пуассона

2025-01-28, семинар 16: связь между сходимостями, 20.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], лемма Слуцкого, подмена дисперсии на выборочную дисперсию в ЦПТ

2025-02-04, семинар 17: базовые свойства хар функций, хар функция суммы независимых величин, 28.17, 28.20 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

==== 239 ====

2024-09-03, семинар 1: задачи 1.1, 1.4, пытались 1.8 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Ещё успели посчитать вероятность N=k бросков монеты до выпадения первого орла, матожидание N. И ещё сделали то же для количества бросков до выпадения 3 орлов (не в серии).

2024-09-10, семинар 2: доказали формулу включения-исключения, решили несложную задачу, порешали 2.7 задачи типа 12.*

2024-09-17, семинар 3: Решили две прямых задачи на формулу Байеса и формулу полной вероятности (без большого количества вычислений). Решили задачу поиска вероятности неисправного кофе-автомата из 3 при условии, что бросили деньги в 1 и 2 и их зажевало. Ещё нашли вероятность, что мяч будет у игрока 3 после шага 10 (все садятся в круг и на каждом шаге бросают мяч соседу с вероятностью 0.3 и оставляют у себя с вероятностью 0.4).

2024-09-24, семинар 4: Вспомнили про метод первого шага, используя формулу полной вероятности и введя в некотором виде формулу полного матожидания, записали формулу для вероятностей нахождения в состоянии i через произведение переходной матрицы на вектор. Совсем немного начали производящие функции, но решили не считать 31ю производную многочлена.

2024-10-01, семинар 5: Исследуем дискретные случайные величины (Биномиальная, Геометрическая и разные похожие) с использованием техник вычислений моментов через производящую функцию. Задачи на распределения величин, посчитанных по набору величин. Первая большая задача про плотность.

2024-10-08, семинар 6: разминочная про плотность и функцию распределения. Считаем дисперсию, ковариацию и корреляцию по 2x2 таблице и в равномерном распределении на круге и квадрате [-1,1]х[-1,1].

2024-10-15, семинар 7: пара задач про экспоненциальное распределение, расчёты по теории информации(считаем всякое, чтобы привыкнуть).

2024-10-22, семинар 8: письменные источники не сохранились до наших дней. Согласно преданиям, оьсуждали двери и около контрольной. Говорят, ввели пуассоновский процесс.

2024-???, семинар 9: решаем задачи на пуассоновское в разных формах и обсуждаем омалые в порядковых статистиках.

2024-???, семинар 10: учимся интерпретироввть гауссовское, пользоваться таблицами для функции Лапласа, а также немного работать с многомерным гауссовским.

2024-3-12, семинар 11: Копаем во все стороны многомерное гауссовское: считаем вероятности для линейных комбинаций гауссовских, проверяем зависимость, вычисляем условные законы, матожидания и ковариационные матрицы, вспоминаем спектральное разложение и разложение Холецкого.

==== 2311 ====

2024-09-06, семинар 1: вероятностное пространство, вероятность на нем, вероятность события, случайная величина и ее распределение (индикатор события, сумма двух кубиков, число бросаний монетки до первого орла), матожидание случайной величины (индикатор, один кубик, два кубика), линейность матожидания. Задачи на линейность матожидания, в том числе ЕГЭшная задача про турнир, 1.5, 3.5 с допвопросом о матожидании числа совпадений. Разговор о получении события произвольной вероятности монеткой в контексте 1.8

2024-09-13, семинар 2: Повторили матожидание суммы на примере 12.3. Обсудили условную вероятность и формулу полной вероятности, условное матожидание, решили задачи на метод первого шага 2.1, 2.3, 2.7.

2024-09-20, семинар 3: Условная вероятность, формула полной вероятности, формула Байеса: 7.1, классическая задача про болезни и тесты, простейшие задачки на общее понимание, обсуждение двух подходов: вычисления условной вероятности по формуле и составления нового вероятностного пространства и подсчет вероятности в нем. Независимые события (события "пики" и "дама" в обычной колоде и колоде с джокерами), независимые в совокупности события, построили пример попарно независимых, но не независимых в совокупности. Обсудили биномиальное распределение. решили задачу: "в корабле к отсеков, чтобы корабль затонул, нужно поразить 2. Независимо выпускают n ракет, каждая из которых поражает случайный отсек с вероятностью p. Найти вероятность потопления корабля"

2024-09-20, семинар 4: Примеры одинаково распределенных зависимых СВ, независимые СВ. Производящая функция и ее свойства. Посчитали для биномиального производящую функцию и второй момент. Обсудили, что будет меняться в случае функции, производящей моменты. Обсудили функцию, производящую множество исходов, как из нее доставать уже известные функции, как ее искать на примере бросания монетки до выпадания HT

2024-10-11, семинар 5: Составили табличку стандартных дискретных распределений, посчитали матожидание геометрического, обсудили дисперсию и ковариацию и их свойства (в дискретном случае), досчитали дисперсии основных распределений. Обсудили вероятностное пространство в общем случае, понятие СВ в общем случае. Дали определение ФР, посчитали ФР для явно заданной СВ. Дали определение плотности.

2024-10-12, семинар 6: Обсудили свойства ФР, как считать вероятность попадания в промежуток в терминах ФР. Выразили ФР 1/X, cos X. Обсудили как выражается веротяность попадания в множество через плотность. для 1/Х выразили плотность в случае абсолютной непрерывности Х. Обсудили формулу для МО в общем виде через интеграл Стильтьеса и как вычислять МО для функции, разлагающейся в сумму абсолютно нерпрерывной и функции скачков, посчитали МО для пары таких СВ

2024-10-18, семинар 7: Обсудили геометрию, заданную скалярным произведением EXY и cov(X,Y), поиск ортогонального элемента и проекции. Посчитали энтропию и кросс-энтропию в дискретном и непрерывном случаях, посчиали совместную и условную энтропию в дискретном случае (23.2, 23.4, 23.9)

2024-11-01, семинар 9: Совместная плотность и ф.р., подсчет вероятностей, маргинальные плотности, замена переменной через якобиан, свертка, матожидание

2024-11-09, семинар 10: Условная плотность, формула условной вероятности. Задача на восстановление маргинальной плотности по условной. Разбор задач из "Летучей мыши"

2024-11-19, семинар 11: Разбор контрольной работы

2024-11-22, семинар 12: Пуассоновский поток - решали задачки из задачника

2024-11-29, семинар 13: Нормальное распределение - задачи из PP, повторили функцию, порождающую моменты, обсудили ее свойства в абсолютно непрерывном случае

2024-12-06, семинар 14: Многомерное нормальное - обсудили два определения, связь между ними, независимость элементов нормального вектора при нулевой ковариации и почему это неверно для произвольных нормальных. порешали задачи 24.9а, 24.10, 24.17

2024-12-013, семинар 15: ЦПТ, решали задачи из задачника

2025-01-17, семинар 16: Сходимости почти наверное и по вероятности, связь со сходимостью по распределению. Посмотрели стандартные контрпримеры, показали, что если есть сходимость по распределению к константе, то есть и по вероятности. ЗБЧ Чебышева и Хинчина, УЗБЧ Колмогорова, обсудили 20.1 сколько успели.

2025-01-24, семинар 17: Сходимость в L_p, связи между сходимостями. Задача 20.11

2025-01-24, семинар 18: Характеристические функции и их свойства. Посчитали хар функции для равномерного, Бернулли, биномиального, Пуассона, экспоненциального. Показали, чо сумма нормальных нормальна. По функции пытались понять, может ли она быть характеристической и восстанавливали с.в.

==== 2310, 2312 ====

2024-09-06, семинар 1: задача 1.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Определили вероятностное пространство в виде тройки, множество исходов рассматривали конечное и счётное. Решили 3 счётные задачи на комбинаторику про колоды карт и счетные последовательности цифр. Привели геометрическое и аналитическое решения задачи про нахождение предела последовательности вероятностей. В конце нашли математическое ожидание геометрически распределённой случайной величины.

2024-09-13, семинар 2: задача 2.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Задача на упорядоченные и неупорядоченные наборы. Задача про классическое вероятностное пространство и про пространство с неравновероятными исходами. Разобрали парадокс Монти Холла. Ввели понятия условной вероятности и независимых случайных величин. Сформулировали и обсудили идеи доказательств трёх теорем: теорема умножения вероятностей, формула полной вероятности и формула Байеса.

2024-09-20, семинар 3: Решили задачу на определение условной вероятности. Обсудили парадокс теоремы Байеса на примере задачи про редкое заболевание, а также посмотрели простую программу на Python, которая считает вероятность в зависимости от количества проведенных тестов на заболевание. Обсудили условное математическое ожидание, некоторые его свойства и рассмотрели пример с подбрасыванием кубика. В конце решили задачу на парадокс дней рождений.

2024-09-27, семинар 4: Обсудили коллизии хеш-функций и связь с атакой "дней рождений". Определили независимость или зависимость случайных величин в четырёх разных вариантах. Обсудили, что неверно утверждать, что матожидание частного независимых случайных величин равно частному матожиданий, также привели пример использования подобного факта в некоторых статьях. В конце решили задачу на поиск функции производящей исходы, а также нашли E(X), E(Y^2), E(XY) с помощью найденной функции.

2024-10-04, семинар 5: Решили две простые задачи на условную вероятность и на теорему об умножении вероятностей. Обсудили связь дерева событий с условной вероятностью и теоремой об умножении вероятностей. Нашли производящую функцию моментов для геометрически распределенной случайной величины и с помощью нее нашли матожидание. Нашли производящую функцию моментов и матожидание суммы случайного количества н.о.р случайных величин.

2024-10-11, семинар 6: Привели аналогии между дискретными и непрерывными случайными величинами. Нарисовали графики функций от случайных величин. Вспомнили определение и свойства дисперсии. Решили простую задачу на подсчет дисперсии и нашли дисперсию геометрически распределенной случайной величины. Обсудили, когда может быть матожидание и дисперсия бесконечны. Далее вспомнили неравенства Маркова и Чебышева, вывели следствия и решили 3 задачи на применение этих неравенств. Обсудили, что неравенство Маркова может давать как точную оценку, так и очень слабую. Показали, что неотрицательность случайной величины в неравенстве Маркова является существенным условием.

2024-10-11, семинар 7: Повторили понятия энтропии в битах и натах, а также понятие дифференциальной энтропии. Нашли энтропию в схеме Бернулли и энтропии геометрического и экспоненциального распределений. Доказали простую оценку сверху для энтропии случайной величины, имеющей конечный носитель мощности n.

2024-11-1, семинар 8: Разобрали демо-вариант контрольной работы "Тыква".

2024-11-8, семинар 9: Разобрали демо-вариант контрольной работы "Летучая мышь".

2024-11-15, семинар 10: Понятие случайного процесса. Определение пуассоновского процесса, его свойства. Три простые задачи на пуассоновское распределение. Задачи 13.1 и 13.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-11-22, семинар 11: Определения Бета-функции и Гамма-функции. Бета и Гамма распределения, их функции плотности и графики. Нахождение моды случайных величин, имеющих Бета и Гамма распределения. Связь пуассоновского процесса с Гамма распределением. В конце нашли производящую функцию моментов Гамма распределения.

2024-11-29, семинар 12: Задачи 18.1, 18.2 и 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-12-06, семинар 13: Нашли многомерное нормальное распределение по виду функции плотности (константа на экспоненту с квадратичным показателем). С помощью формулы Иссерлиса нашли матожидания произведений различных или одинаковых случайных величин, имеющих многомерное нормальное распределение. Нашли условную вероятность многомерного распределения. Задача 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-12-13, семинар 14: Повторили определение сходимости по распределению и центральную предельную теорему. Решили задачи 20.2 и 20.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

== Источники ==

Источники мудрости, которые я постарался не замутить :)

[https://arxiv.org/pdf/1411.5279 WTSK]: Tim Hesterberg, What Teachers Should Know About the Bootstrap: вкусное и доступное изложение бутстрэпа и перестановочных тестов.

[https://projects.iq.harvard.edu/stat110/home BItP]: Blitzstein, Hwang, Introduction to Probability: учебник, записи лекций, гарвардский курс.

Теория вероятностей 2024/25 (основной поток)

2025-02-25T20:25:30Z

Bdemeshev:

= Преподаватели и учебные ассистенты =

{| class="wikitable" style="text-align:center"
|-
! Группа !! БПМИ235 !! БПМИ236 !! БПМИ237 !! БПМИ238 !! БПМИ239 !! БПМИ2310 !! БПМИ2311 !! БПМИ2312
|-
|| Лектор ||colspan="11"| [https://t.me/boris_demeshev Борис Демешев]
|-
|| Семинарист || [https://t.me/boris_demeshev Борис Демешев] || [https://t.me/levensons Илья Левин] || [https://t.me/madn_boi Никита Морозов] || [https://t.me/boris_demeshev Борис Демешев] || [https://t.me/XuMuK_MK Максим Каледин] || [https://t.me/goluba_yurieva Голуба Юрьева] || [https://t.me/Moskchan Вероника Владыкина] || [https://t.me/goluba_yurieva Голуба Юрьева]
|-
|| Ассистент || [https://t.me/nerhneiro Ира Скворцова] || [https://t.me/a_ameli_ig Амелия Алаева] || [https://t.me/htual Алина Бадахова] || [https://t.me/adelyagaraeva Аделя Гараева] || [https://t.me/mabrielka Мария Брель] || [https://t.me/zm_ann Анна Зыкова-Мызина] || [https://t.me/Yanlightv Яна Вежновец] || [https://t.me/nol_erk Кирилл Лавриненко]
|-
|| Ассистент курса ||colspan="11"| [https://t.me/Nick_Volya Никита Волянский]
|}

== Цели и задачи курса ==

侍には目標がなく道しかない [Samurai niwa mokuhyō ga naku michi shikanai]

У самурая нет цели и ничего кроме пути.

Вероятный план:
<div class="mw-collapsible mw-collapsed" style="width:1000px; overflow: hidden;">
1. Дискретное вероятностное пространство. Вероятность, математическое ожидание, теоретическая медиана.
Перестановочные тесты, p-значение для перестановочного теста.
Математическое ожидание = центр масс.

NB: здесь сходу рисуем дерево
NB: здесь нет задач на условную вероятность

!предупреждение об обозначениях случайных величин.
Российская традиция — греческие буквы, американская традиция — заглавные английские буквы.
Наш курс: любые буквы. Причина: теория вероятностей применяется в разных областях, где свои традиции.

NB: Способы вычисления вероятностей и ожиданий:
* полный перебор руками
* примерные вычисления руками
* полный перебор на компьютере
* симуляции на компьютере
* ...

2.
Методы решения задач:
* разложение величины в сумму
* метод первого шага
!идея: позиция в игре имеет цену
* just for fun: метод рычага в геометрии через ожидание
NB: рассказать здесь про комплексную случайную величину
NB: по сути здесь мы уже решаем задачи на марковские цепи не говоря страшных определений
LOTUS.

3. Условная вероятность и условное ожидание.
!идея: зануляем вероятности невозможных событий, а остальные — масштабируем.
формула полной вероятности
!идея: дерево "помнит" формулу полной вероятности
формула Байеса

Независимые события.
Независимые случайные величины.

4.
Методы решения задач:
* производящие функции многих переменных
функция как способ записать множество
HTT vs TTH
ABRACADABRA
!разложение по биномиальной формуле

?: можно здесь успеть функцию производящую моменты

5.
Биномиальное распределение.
Геометрическое и гипергеометрическое распределения.
Отрицательное биномиальное распределение.

6.
Равномерное распределение на множестве в R^n
Функция распределения.
Функция плотности и вероятностная дифференциальная форма.
!пояснение про неудачную традиционную терминологию "непрерывная случайная величина"
величина с функцией плотности, величина с непрерывной функцией распределения.

Квантили, квантильная функция.

7. Характеристики случайных величин и неравенства.
Дисперсия.
Энтропия.
Неравенство Маркова.
Неравенство Чебышёва.
Неравенство Йенсена.

Здесь конец модуля 1 и КР-1!

8. Пуассоновский поток.
Аксиомы пуассоновского потока.
Вывод экспоненциального распределения и пуассоновского распределения из аксиом.
Вывод экспоненциального распределения из предпосылки об отсутсвии памяти.

9. Нормальное распределение.
Нормальное распределение: предпосылки Хершела-Максвелла.
Нормальное распределение: аргументация Гаусса за среднее арифметическое.
Нормальное распределение: предпосылки Лэндона (до уравнения в частных производных).

10. Классические непрерывные распределения.

Гамма-распределение, бета-распределение.
Вывод нормального и экспоненциального распредений как минимизации энтропии.

11. Парные характеристики случайных величин.
Наилучшая линейная аппроксимация.
Ковариация.
Корреляция.
Кросс-энтропия.

Доказательство E(XY) = E(X) E(Y) для дискретных.
Ковариационная матрица и ожидание для случайных векторов.

12. Совместная и условная функция плостности.
Преобразования случайных величин.

13. Функция производящая моменты и характеристическая функция.
Распределение суммы случайного количества случайных величин.
Случайный выбор слагаемых.

14. Финансовые приложения

Оценивание опционов на биномиальном дереве.
Максимизация долгосрочной прибыли, связь с энтропией.
Возможно, индексы Гиттинса.

Здесь конец модуля 2 и КР-2

15. Сигма-алгебры.

Список известных величин как способ описания информации.
Идея условного ожидания как оптимального прогноза.
Сигма-алгебра как способ описания информации.
Измеримость случайной величины относительно сигма-алгебры.
Сигма-алгебра как ОДЗ для вероятности.
Борелевская сигма-алгебра.
Независимые случайные величины второе определение.

16. Условное математическое ожидание.
Условная дисперсия.
Сумма случайного количества случайных величин.

17. Сходимости случайных величин.

Сходимость по вероятности.
Закон больших чисел.
Сходимость почти наверное.
Усилинный закон больших чисел.
Сходимость по распределению.

18. Связь сходимостей.
Лемма Слуцкого.

19. Центральная предельная теорема.
Доказательство через подмену слагаемых.
Доказательство через характеристические функции.

Здесь контрольная.

20. Винеровский процесс
Условные ожидания, инверсия.

21. Байесовский подход к оцениванию параметров

Балансовое уравнение. Идея MCMC.

22. Доказательства свойств меры

23. Алгоритм построения математического ожидания в общем случае.
Лемма Фату.
Теорема о мажорируемой сходимости.
Теорема о монотонной сходимости.

24. Резерв.

Жемчужинки, которые, вероятно, не успеем:

А. Методы решения задач:
подсчёт случаев с помощью леммы Бернсайда и теоремы Пойа о перечислении
(Burnside lemma, PET = Polya Enumeration Theorem)

B. вероятностные доказательства детерминистических теорем

</div>

== Оценивание ==

Оценка за семестр-1 = 0.2 Домашние задания семестра-1 + 0.4 Контрольная-Альфа + 0.4 Экзамен-Бета.

Финальная оценка за курс = 0.5 Оценка за семестр-1 + 0.1 Домашние задания семестра-2 + 0.2 Контрольная-Гамма + 0.2 Экзамен-Дельта.

Каждая оценка (суммарные итоги за домашние задания, контрольные, экзамены) — целое число от 0 до 100.
Для перевода в 10-балльную шкалу промежуточной оценки за семестр-1 и финальной оценки используется деление на 10
с арифметическим округлением. Например, если Максим получил "оценку за семестр-1" 65 баллов, то в ведомость за первый семестр идёт 7, а далее в формуле финальной оценки за курс используется 65.

=== Домашние задания для самураев ===

Домашние задания [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/home_assignments/home_assignments.pdf одним файлом] и [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/blob/main/home_assignments/ отдельными файлами].
Домашние задания имеют равный вес.
В конце каждой лекции (за исключением ближайших к экзамену лекций)
выдается домашнее задание сроком на две недели.
Дедлайн жёсткий, однако студент имеет право просрочить три домашних задания на неделю каждое без штрафа.

Формат сдачи ДЗ: один pdf-файл (решение текстовых задач) и один ipynb-файл (решение компьютерных задач).
В pdf-файл можно поместить аккуратно написанное отсканированное решение, а можно скомпилировать pdf из теха или маркдауна.
Ещё можно вместо pdf-файла написать всё в ipynb.
Бонусов за сдачу домашки в техе нет. Пример [https://www.overleaf.com/read/qmrkwpzvmqbk шаблона].

Обратите внимание: '''время каждого дедлайна — 23:59'''.

=== Ведомость с оценками за ДЗ ===

{| class="wikitable" style="text-align:center"
|-
! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1872081500#gid=1872081500 235] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1374497930#gid=1374497930 236] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1183164252#gid=1183164252 237] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=408179311#gid=408179311 238] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1032422408#gid=1032422408 239] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1603236891#gid=1603236891 2310] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=791330236#gid=791330236 2311] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=23847300#gid=23847300 2312]
|}

[https://docs.google.com/spreadsheets/d/14hD7-SLmAA1omdkhPlt3blRHDHVGTDS8ZgvLWscvMz8/edit?usp=sharing Сводная ведомость всех оценок]

=== Контрольные работы и экзамен ===

Вес каждой задачи будет написан в тексте работы.
Задачи с ненаписанным по случайности весом имеют равный вес.
Для пропущенных по уважительной причине контрольных будет выделен один день для переписывания.
При пропуске дня переписывания, в том числе по уважительным причинам, ещё одного шанса не предоставляется.

<div class="mw-collapsible mw-collapsed" style="width:1000px; overflow: hidden;">

'''Контрольная работа 1''' состоится 2024-11-11 в 16:20, аудитории: R401, R305, R206, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_halloween_demo/exam_halloween_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/midterm/midterm-alpha.pdf условие с критериями и решениями].

'''Резервный день 1''' для пропустивших по уважительной причине состоится 2024-12-02 в 19:40, R405

'''Показ контрольной 1''':

* задачи 1, 2: заочно до 2024-12-08, [https://t.me/Moskchan Вероника]
* задачи 3, 4 [https://t.me/boris_demeshev Борис], очно, четверг, 2024-12-05, 18:10-21:00, G408
* задачи 5, 6 [https://t.me/XuMuK_MK Максим]: очно, четверг, 2024-12-05, 18:10-21:00, G408

'''Экзамен, модуль 2''' состоится '''''2024-12-24 в 10:00''''', аудитории R301, R304, R401, R404, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_winter_demo/exam_winter_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/december/pmi_probab_2024_december.pdf условие].

Если вы не хотите идти на экзамен, то заполните [https://forms.gle/UQzW77RrPvcdahG47 эту форму], чтобы получить ноль при неявке

'''Апелляция экзамена''':

* задачи 1, 2: заочно [https://t.me/goluba_yurieva Голуба], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/december/exam_problem_1-2.pdf решения и критерии 1, 2];
* задачи 3, 4: очно 2025-01-11, аудитория R408, 14:40-17:40 [https://t.me/madn_boi Никита], [https://www.overleaf.com/read/dnhjcdrndqps#42f1ab решения и критерии 3, 4];
* задачи 5, 6: заочно [https://t.me/levensons Илья]

* дедлайн по заочным апелляциям: суббота 23:59

[https://docs.google.com/spreadsheets/d/1mxMCr3IEDy8EPFWGkn3_dsghhPNcZICEw9C9o5ZoZvA/edit?usp=sharing Распределение по аудиториям]

</div>

Даты пересдач: 2025-01-28 в 18:10, 2025-02-03 в 18:10 и комиссия 2025-02-11 в 18:10.

* задачи 1, 2: [https://t.me/goluba_yurieva Голуба], задачи 3, 4: [https://t.me/madn_boi Никита], задачи 5, 6: [https://t.me/levensons Илья], апелляция пересдачи 2 до 21:00 2025-02-10.

'''Контрольная, модуль 3''' состоится 2025-02-22 в 16:20, аудитории R201, R204, R404, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_galileo_demo/exam_galileo_demo.pdf демо], условие.

[https://docs.google.com/spreadsheets/d/1LZA-7TDz_yYeVPRx4BpBWJnQKZ7wqPgHDrN-Z0SM68M/edit?usp=sharing Распределение по аудиториям]

'''Контрольная, модуль 3, резервный день''': 2025-03-07, пятница, 18:10.

'''Экзамен, модуль 3''' состоится 2025-03-26 в 14:40, аудитории R301, R404, R405, R503, демо, условие.

== Учебные материалы ==

[https://github.com/bdemeshev/probability_pro/raw/master/probability_pro.pdf PP]: Листки с задачами к курсу.

[https://github.com/bdemeshev/probability_dna/raw/master/probability_dna.pdf PDNA]: Вероятностная ДНК = вкусные задачи по теории вероятностей.

[https://disk.yandex.ru/d/LZ6d2VZVqYvbDQ Видео-летопись семинаров и лекций] и [https://hse.liferooter.dev/ конспект] от тайного благожелателя (updated 2024-10-23]

[https://disk.yandex.ru/d/IoakBXz_6yygPw Официальные видео]

[https://www.cambridgeinternational.org/Images/344616-list-of-formulae-and-statistical-tables.pdf Cambridge statistical tables]

== Дневник самурая ==

2024-09-02, лекция 1: Определение события. Определение случайной величины. Аксиомы вероятности. Определение математического ожидания для дискретного случая.
Линейность математического ожидания. Математическое ожидание как центр масс. Первое знакомоство с перестановочным тестом и p-значением.

Можно глянуть: главы 2.1 и 7 из [https://arxiv.org/pdf/1411.5279 WTSK], метод рычага [https://mathcircle.berkeley.edu/sites/default/files/archivedocs/2007_2008/lectures/0708lecturespdf/MassPointsBMC07.pdf в геометрии].

2024-09-09, лекция 2: Метод первого шага (вероятность выпадения HTH ранее HHT, ожидаемое количество шагов). Метод разложения случайной величины в сумму. Определение случайного вектора. Использование интерпретации ожидания как центра масс в геометрии. Определение теоретической медианы.

Можно глянуть: глава 2.7.2 из [https://projects.iq.harvard.edu/stat110/home BItP], три стратегии решения задачи за 10 минут [https://www.youtube.com/watch?v=xH89DaEI35w Visually Explained]

2024-09-16, лекция 3: Получение новой информации приводит к пересчёту вероятностей. Определение условной вероятности. Формула полной вероятности. Формула Байеса.
Условное математическое ожидание. Формула полного математического ожидания. Независимость пары событий. Независимость набора событий в совокупности.
Независимость величин: неформальное определение. Критерий независимости произвольных величин. Критерий независимости дискретных величин.

2024-09-23, лекция 4: Доказательство критерия независимости для дискретных случайных величин: из независимости {X=x} и {Y=y} следует независимость {X in A} и {Y in B}. Независимость величин равносильна E(f(X))E(g(Y))=E(f(X)g(Y)) для произвольных f, g. Определение биномиальной, геометрической (как числа неудач до 1го успеха) и отрицательной биномиальной случайной величины. Общая идея за производящими функциями: как из функции, производящей исходы эксперимента, с помощью производных и подстановок выудить индивидуальные вероятности, совместные вероятности, ожидания любой степени E(X^a), E(X^a Y^b). Формальное определение функции, производящей вероятности, и функцию, производящей моменты, для одной случайной величины и пары случайных величин. Метатеорема: все теоремы о дискретных величинах доказываются перестановкой слагаемых. Основные дискретные распределения: биномиальное, геометрическое, отрицательное биномиальное.

2024-09-30, лекция 5: Ещё дискретные законы распределения: гипергеометрическое. Описание закона распределения через равномерное распределение на подмножестве R^n.
Функция плотности как линейная часть вероятности попадания в отрезок. Равномерное распределение на отрезке. Смешанные случайные величины. LOTUS: нахождение ожидания любой функции от случайной величины для величин с функцией плотности и смешанных величин. Функция распределения. Квантильная функция.

2024-10-07, лекция 6: Две геометрии случайных величин и событий: E(XY) как скалярное произведение, Cov(X, Y) как скалярное произведение. Математическое ожидание — проекция в рамках геометрии, задаваемой E(XY). Определение и геометрический смысл дисперсии, стандартного отклонения, ковариации и корреляции. Неравенство Маркова. Неравенство Чебышёва. Неравенство Йенсена: интуитивный смысл.

2024-10-14, лекция 7: Доказательство неравенства Йенсена. Энтропия как минимальное ожидаемое число вопросов для отгадывания и формальное определение. Кросс-энтропия.
Доказательство того, что кросс-энтропия больше либо равна энтропии. Совместная энтропия. Условная энтропия. Формула H(X) + H(Y|X) = H(X, Y) без доказательства.
Вывод плотности экспоненциального распределения из предпосылки отсутствия памяти. Экспоненциальное распределение максимизирует энтропию при заданном ожидании и неотрицательности.

* Cristopher Olah, Visual Information Theory, https://colah.github.io/posts/2015-09-Visual-Information/

* Grand Sanderson, Solving Wordle using information theory, [https://www.youtube.com/watch?v=v68zYyaEmEA youtube].

* Artem Kirsanov, Key equation behind probability, [https://www.youtube.com/watch?v=KHVR587oW8I youtube]. У Артёма кросс-энтропия обозначена H(P, Q), а не CE(P||Q)).

* [https://exuberant-arthropod-be8.notion.site/1-02-09-5e107ea1c4054594b8f37d955db8a2b0 Конспект] аналогичной старой лекции псмо на русском.

* Keith Conrad, [https://kconrad.math.uconn.edu/blurbs/analysis/entropypost.pdf Maximal entropy] distributions.

2024-10-21, лекция 8: Ковариационная матрица и её свойства. Совместная функция плотности. Условная функция плотности. Критерий независимости в терминах функций плотности и распределения.
Связь индивидуальной и совместной функций плотности и функций распределения. Смена плотности при замене переменных: домножение на якобиан и неформально про дифференциальные формы. Формула свёртки.
Разложение совместной плотности для графической модели. Представление произвольной совместной функции распределения с помощью копулы.

* Про дифференциальные формы: [https://www.youtube.com/watch?v=PaWj0WxUxGg&list=PL22w63XsKjqzQZtDZO_9s2HEMRJnaOTX7 videos] by Michael Penn, [https://www.math.purdue.edu/~arapura/preprints/diffforms.pdf short intro] by Dony Arapura

* What is a convolution от [https://www.youtube.com/watch?v=KuXjwB4LzSA 3b1b]

* From graphical models to [https://www.youtube.com/watch?v=yBc01ZeaFxw&list=PLISXH-iEM4JlFsAp7trKCWyxeO3M70QyJ Probabilistic ML]

2024-11-11, лекция 9: Пуассоновский поток: аксиомы. Вывод пуассоновского распределения количества событий и экспоненциального времени между событиями из аксиом.
Сумма независимых пуассоновских потоков — это пуассоновский поток (половина доказательства). Вероятность того, что одна экспоненциальная величина будет меньше другой, независимой.

2024-11-18, лекция 10: Гамма-распределение как сумма нескольких экспоненциальных: вывод плотности через вероятность попадания в малый отрезок.
Обобщение плотности на случай положительного параметра $a$. Гамма-функция. Бета-распределение как отношение гамма-распределений. Бета-функция.

2024-11-25, лекция 11: Вывод нормального распределения из предпосылок Гаусса. Вывод нормального распределения из предпосылок Гершеля — Максвелла.

* Saul Stahl, The [https://www.researchgate.net/publication/255668423_The_Evolution_of_the_Normal_Distribution Evolution] of the Normal Distribution: вывод Гаусса с историей.

* Grand Sanderson, [https://www.youtube.com/watch?v=cy8r7WSuT1I Why pi] is in the normal? вывод Гершеля—Максвелла

* James Stein, [http://www-biba.inrialpes.fr/Jaynes/cc07s.pdf Normal Distribution]: глава про нормальное распределение (Гаусс, Гершель—Максвелл, Лэндон etc)

* William Herschel, [https://music.yandex.com/album/209394/track/2121214 концерт для габоя]

* William Herschel, [https://www.informationphilosopher.com/solutions/scientists/quetelet/Herschel_Quetelet_Probabilities.pdf On the theory of Probabilities]: вывод нормального распределения словами на стр. 189-191

2024-12-02, лекция 12: многомерное нормальное распределение. Функция плотности невырожденного многомерного нормального. Функция производящая моменты для многомерного нормального. Формула Иссерлиса с ненулевыми ожиданиями и доказательством. Условное распределение: вывод условного ожидания и условной дисперсии через разложение величины в сумму независимых.

* [https://stats.stackexchange.com/questions/30588/ альтернативный вывод] условного многомерного нормального распределения
* Хитрый [https://github.com/bdemeshev/lis-isserlis/raw/main/lis-isserlis.pdf лис Иссерлис]

2024-12-09, лекция 13: сходимость по распределению, центральная предельная теорема с доказательством подменой слагаемых.

* Calvin Chin [https://arxiv.org/pdf/2106.00871 CLT proof] by swapping
* [https://bdemeshev.github.io/teaching_notes/clt_by_swapping Пересказ доказательства]

2024-12-16, лекция 14: использование бесконечно малых при нахождении ожиданий, трюк с добавление параметра, трюк с закольцовыванием отрезка при равномерном распределении.

2025-01-13, лекция 15: Неединственность предела по распределению. Неаддитивность предела по распределению. Предел по вероятности. Закон больших чисел в слабой форме (с доказательством при дополнительной предпосылке о конечности дисперсии). Теорема о непрерывном отображении.

2025-01-20, лекция 16: два определение сходимости почти наверное с доказательством эквивалентности. Сходимость в Lp. Из сходимости в Lp при p>=1 следует сходимость по вероятности. Из сходимости почти наверное следует сходимость по вероятностям. Контр-пример к разнице сходимостей почти наверное и по вероятности. Контр-пример к разнице сходимостей в Lp и по вероятности. Усиленный закон больших чисел (без доказательства). Леммы Слуцкого (без доказательства).

2025-01-27, лекция 17: характеристические функции и их свойства. Вывод характеристической функции нормального стандартного распределения через дифференциальное уравнение. Характеристическая функция биномиального распредеделения. Второе доказательство ЦПТ (через характеристические функции).

* [https://web.ma.utexas.edu/users/gordanz/notes/characteristic.pdf Gordan Zitkovic]: characteristic functions
* [https://sas.uwaterloo.ca/~dlmcleis/s901/chapt6.pdf McLeish]: clt proof

2025-02-03, лекция 18: пример последовательности сходящийся по вероятности с ожиданием стремящимся к бесконечности. Критерий Кэлли. Критерий оптимальной остановки Брасса.

* [https://en.wikipedia.org/wiki/Kelly_criterion wikipedia]: Kelly criterion
* [https://projecteuclid.org/journalArticle/Download?urlId=10.1214%2Faop%2F1019160340 Bruss]: sum the odds to one and stop

2025-02-10 лекция 19: Сигма-алгебра порождённая случайной величиной или набором из нескольких случайных величин. Замкнутость относительно счётного количества операций с множествами. Сигма-алгебра. Объединение сигма-алгебр не всегда сигма-алгебра. Пересечение сигма-алгебр всегда сигма-алгебра. Измеримость суммы. Борелевская сигма-алгебра.

2025-02-18, лекция 20: [https://us06web.zoom.us/j/82685613040?pwd=bqJoXGItwNOOWddXj1flfmPmDn6fMQ.1 онлайн, 18:10]

=== Семинары ===

==== 473 = 235 + 238 ====

2024-09-02, 06, семинар 1: задачи 1.1, 1.6, 3.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-09, 13, семинар 2: задачи 2.1, 2.3, 12.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-16, 20, семинар 3: задачи 7.12 и 7.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-23, 27, семинар 4: как извлечь P(X=3), E(X), E(X^2Y) из функции, производящей список исходов, 28.16 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-30, -10-04, семинар 5: 9.3в, 9.4, 9.7(абвд, кроме дисперсии, аргументы масштабирования и центра масс помимо интегралов), 9.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-10-07, 11, семинар 6: вычисление Cov, Var, Corr по табличке и из функции плотности, нахождение дисперсии для отрицательного биномиального распределения по свойствам.

2024-10-14, 18, семинар 7: вычисление энтропии геометрического распределения. Изменение энтропии при линейном преобразовании для дискретной величины и величины с функцией плотности.
Кросс-энтропия из экспоненциального в равномерное. Условная энтропия для дискретной таблички. Связь энтропии величины с функцией плотности и энтропия дискретной версии этой случайной величины после "огрубления" с малым шагом 1/k.

2024-10-21, -11-01, семинар 8: 16.18, 16.23 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], свёртка двух экспоненциальных величин

2024-11-11, 15, семинар 9: задачи на пуассоновский поток из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-11-18, 22, семинар 10: задачи на бета и гамма-распределение

2024-11-25, 29, семинар 11: задачи на нормальное распределение, 18.1, 18.2, 18.3, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-02, 06, семинар 12: задачи на многомерное нормальное: 24.16аб, 24.17аб, 24.18, 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-09, 13, семинар 13: ЦПТ и нормальное распределение: 20.2, 20.4, 18.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-19, семинар 14: разбор демо

2025-01-13, семинар 15: сходимость по вероятности: 20.1, 20.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-20, 24, семинар 16: связь между сходимостями, 20.11, 20.13 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-27, 31, семинар 17: 28.17, 28.18, 28.21 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-03, 07, семинар 18: 28.20аб, 28.22 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-10, 17, семинар 19: 6.2, 6.3, 6.11, измеримость произведения из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

==== 236 ====

2024-09-06, семинар 1: в начале семинара рассмотрели основные понятия и определения для решения задач. Решили задачи 1.1, 1.6, 3.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-13, семинар 2: нашли ожидание случайной величины с геом. распределением. Решили задачи 2.1, 12.6, 12.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-09-20, семинар 3: решили задачи 7.12, 7.4(а), 7.7, 7.13(а) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-09-27, семинар 4: разобрали 7.13, почти разобрали 28.3 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Также рассмотрели один контрпример на независимость(тетраэдр Бернштейна).

2024-10-04, семинар 5: разобрались с определениями, решили 9.3(абв), 9.7(аб) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Решили задачку про три точки на отрезке и найти вероятность получить треугольник. Также вывели формулу для мат. ожидания неотрицательной величины через функцию распределения.

2024-10-14, семинар 6: обсудили дисперсию, ковариацию, коэффициент корреляции и их геометрический смысл. Решили задачу на оценку дисперсии ограниченной величины. посчитали дисперсию геометрического, биномиального. Посчитали дисперсию в задаче о письмах и конвертах.

???, семинар 7: определили энтропию, посчитали примеры для дискретных величин, для линейных преобразований. Доказали, что задача максимизации энтропии с фиксированной дисперсией достигается на нормальном распределении.

???, семинар 8: свертка двух экспоненциальных, 16.18 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

???, семинар 9: задачи на пуассоновский процесс из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

???, семинар 10: разбор кр.

???, семинар 11: разобрали задачи на нормальное распределение 18.1, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Также считали распределение суммы двух независимых нормальных.

==== 237 ====

2024-09-09, семинар 1: задачи 1.1, 2.2 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], вероятность что n ладей не бьют друг друга при случайной расстановке на шахматной доске n на n, матожидание числа треугольников в случайном графе на n вершинах через сумму индикаторов

2024-09-13, семинар 2: задачи 2.1, 2.6, 12.3, 12.6, 12.7 (без дисперсий) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-23, семинар 3: задачи 7.2, 7.13, 7.7, 7.8, плюс начали 7.15b (получили неверный ответ) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-27, семинар 4: дорешали 7.15b с небольшой демонстрацией на питоне, разобрали 28.2 для нечестной монетки плюс посчитали матожидание [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-10-04, семинар 5: задачи 9.1, 9.3абв, 9.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], философия про то почему бОльшая плотность не всегда означает бОльшую вероятность оказаться в окрестности данной точки (плотность может занимать слишком маленький объем)

2024-10-11, семинар 6: вспомнили определения Cov/Var/Corr, посчитали у пары дискретных величин по табличке вероятностей, посчитали дисперсию у биномиального, геометрического, непрерывного равномерного на отрезке.

2024-10-18, семинар 7: вычисление энтропии геометрического распределения; ограниченность энтропии снизу и сверху в дискретном случае; изменение энтропии при линейном преобразовании для дискретной величины и величины с функцией плотности; условная энтропия, KL дивергенция и кросс-энтропия, неотрицательность KL, интерпретация на пальцах с точки зрения теории информации.

2024-11-01, семинар 8: 16.18, 16.23 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], свёртка двух экспоненциальных величин

2024-11-08, семинар 9: решали пробный вариант КР

2024-11-15, семинар 10: 13.1, 13.2, 13.5, 13.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-11-22, семинар 11: разбор КР

2024-11-29, семинар 12: нормальное распределение, 18.1, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-06, семинар 13: многомерное нормальное распределение, изменение среднего и матрицы ковариаций при линейном преобразовании, 24.4а, 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-13, семинар 14: 24.4в из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], сходимости случайных величин, ЗБЧ и ЦПТ, 20.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-21, семинар 15: наследование сходимости, 20.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], плюс доказали предельную теорему Пуассона

2025-01-28, семинар 16: связь между сходимостями, 20.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], лемма Слуцкого, подмена дисперсии на выборочную дисперсию в ЦПТ

2025-02-04, семинар 17: базовые свойства хар функций, хар функция суммы независимых величин, 28.17, 28.20 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

==== 239 ====

2024-09-03, семинар 1: задачи 1.1, 1.4, пытались 1.8 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Ещё успели посчитать вероятность N=k бросков монеты до выпадения первого орла, матожидание N. И ещё сделали то же для количества бросков до выпадения 3 орлов (не в серии).

2024-09-10, семинар 2: доказали формулу включения-исключения, решили несложную задачу, порешали 2.7 задачи типа 12.*

2024-09-17, семинар 3: Решили две прямых задачи на формулу Байеса и формулу полной вероятности (без большого количества вычислений). Решили задачу поиска вероятности неисправного кофе-автомата из 3 при условии, что бросили деньги в 1 и 2 и их зажевало. Ещё нашли вероятность, что мяч будет у игрока 3 после шага 10 (все садятся в круг и на каждом шаге бросают мяч соседу с вероятностью 0.3 и оставляют у себя с вероятностью 0.4).

2024-09-24, семинар 4: Вспомнили про метод первого шага, используя формулу полной вероятности и введя в некотором виде формулу полного матожидания, записали формулу для вероятностей нахождения в состоянии i через произведение переходной матрицы на вектор. Совсем немного начали производящие функции, но решили не считать 31ю производную многочлена.

2024-10-01, семинар 5: Исследуем дискретные случайные величины (Биномиальная, Геометрическая и разные похожие) с использованием техник вычислений моментов через производящую функцию. Задачи на распределения величин, посчитанных по набору величин. Первая большая задача про плотность.

2024-10-08, семинар 6: разминочная про плотность и функцию распределения. Считаем дисперсию, ковариацию и корреляцию по 2x2 таблице и в равномерном распределении на круге и квадрате [-1,1]х[-1,1].

2024-10-15, семинар 7: пара задач про экспоненциальное распределение, расчёты по теории информации(считаем всякое, чтобы привыкнуть).

2024-10-22, семинар 8: письменные источники не сохранились до наших дней. Согласно преданиям, оьсуждали двери и около контрольной. Говорят, ввели пуассоновский процесс.

2024-???, семинар 9: решаем задачи на пуассоновское в разных формах и обсуждаем омалые в порядковых статистиках.

2024-???, семинар 10: учимся интерпретироввть гауссовское, пользоваться таблицами для функции Лапласа, а также немного работать с многомерным гауссовским.

2024-3-12, семинар 11: Копаем во все стороны многомерное гауссовское: считаем вероятности для линейных комбинаций гауссовских, проверяем зависимость, вычисляем условные законы, матожидания и ковариационные матрицы, вспоминаем спектральное разложение и разложение Холецкого.

==== 2311 ====

2024-09-06, семинар 1: вероятностное пространство, вероятность на нем, вероятность события, случайная величина и ее распределение (индикатор события, сумма двух кубиков, число бросаний монетки до первого орла), матожидание случайной величины (индикатор, один кубик, два кубика), линейность матожидания. Задачи на линейность матожидания, в том числе ЕГЭшная задача про турнир, 1.5, 3.5 с допвопросом о матожидании числа совпадений. Разговор о получении события произвольной вероятности монеткой в контексте 1.8

2024-09-13, семинар 2: Повторили матожидание суммы на примере 12.3. Обсудили условную вероятность и формулу полной вероятности, условное матожидание, решили задачи на метод первого шага 2.1, 2.3, 2.7.

2024-09-20, семинар 3: Условная вероятность, формула полной вероятности, формула Байеса: 7.1, классическая задача про болезни и тесты, простейшие задачки на общее понимание, обсуждение двух подходов: вычисления условной вероятности по формуле и составления нового вероятностного пространства и подсчет вероятности в нем. Независимые события (события "пики" и "дама" в обычной колоде и колоде с джокерами), независимые в совокупности события, построили пример попарно независимых, но не независимых в совокупности. Обсудили биномиальное распределение. решили задачу: "в корабле к отсеков, чтобы корабль затонул, нужно поразить 2. Независимо выпускают n ракет, каждая из которых поражает случайный отсек с вероятностью p. Найти вероятность потопления корабля"

2024-09-20, семинар 4: Примеры одинаково распределенных зависимых СВ, независимые СВ. Производящая функция и ее свойства. Посчитали для биномиального производящую функцию и второй момент. Обсудили, что будет меняться в случае функции, производящей моменты. Обсудили функцию, производящую множество исходов, как из нее доставать уже известные функции, как ее искать на примере бросания монетки до выпадания HT

2024-10-11, семинар 5: Составили табличку стандартных дискретных распределений, посчитали матожидание геометрического, обсудили дисперсию и ковариацию и их свойства (в дискретном случае), досчитали дисперсии основных распределений. Обсудили вероятностное пространство в общем случае, понятие СВ в общем случае. Дали определение ФР, посчитали ФР для явно заданной СВ. Дали определение плотности.

2024-10-12, семинар 6: Обсудили свойства ФР, как считать вероятность попадания в промежуток в терминах ФР. Выразили ФР 1/X, cos X. Обсудили как выражается веротяность попадания в множество через плотность. для 1/Х выразили плотность в случае абсолютной непрерывности Х. Обсудили формулу для МО в общем виде через интеграл Стильтьеса и как вычислять МО для функции, разлагающейся в сумму абсолютно нерпрерывной и функции скачков, посчитали МО для пары таких СВ

2024-10-18, семинар 7: Обсудили геометрию, заданную скалярным произведением EXY и cov(X,Y), поиск ортогонального элемента и проекции. Посчитали энтропию и кросс-энтропию в дискретном и непрерывном случаях, посчиали совместную и условную энтропию в дискретном случае (23.2, 23.4, 23.9)

2024-11-01, семинар 9: Совместная плотность и ф.р., подсчет вероятностей, маргинальные плотности, замена переменной через якобиан, свертка, матожидание

2024-11-09, семинар 10: Условная плотность, формула условной вероятности. Задача на восстановление маргинальной плотности по условной. Разбор задач из "Летучей мыши"

2024-11-19, семинар 11: Разбор контрольной работы

2024-11-22, семинар 12: Пуассоновский поток - решали задачки из задачника

2024-11-29, семинар 13: Нормальное распределение - задачи из PP, повторили функцию, порождающую моменты, обсудили ее свойства в абсолютно непрерывном случае

2024-12-06, семинар 14: Многомерное нормальное - обсудили два определения, связь между ними, независимость элементов нормального вектора при нулевой ковариации и почему это неверно для произвольных нормальных. порешали задачи 24.9а, 24.10, 24.17

2024-12-013, семинар 15: ЦПТ, решали задачи из задачника

2025-01-17, семинар 16: Сходимости почти наверное и по вероятности, связь со сходимостью по распределению. Посмотрели стандартные контрпримеры, показали, что если есть сходимость по распределению к константе, то есть и по вероятности. ЗБЧ Чебышева и Хинчина, УЗБЧ Колмогорова, обсудили 20.1 сколько успели.

2025-01-24, семинар 17: Сходимость в L_p, связи между сходимостями. Задача 20.11

2025-01-24, семинар 18: Характеристические функции и их свойства. Посчитали хар функции для равномерного, Бернулли, биномиального, Пуассона, экспоненциального. Показали, чо сумма нормальных нормальна. По функции пытались понять, может ли она быть характеристической и восстанавливали с.в.

==== 2310, 2312 ====

2024-09-06, семинар 1: задача 1.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Определили вероятностное пространство в виде тройки, множество исходов рассматривали конечное и счётное. Решили 3 счётные задачи на комбинаторику про колоды карт и счетные последовательности цифр. Привели геометрическое и аналитическое решения задачи про нахождение предела последовательности вероятностей. В конце нашли математическое ожидание геометрически распределённой случайной величины.

2024-09-13, семинар 2: задача 2.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Задача на упорядоченные и неупорядоченные наборы. Задача про классическое вероятностное пространство и про пространство с неравновероятными исходами. Разобрали парадокс Монти Холла. Ввели понятия условной вероятности и независимых случайных величин. Сформулировали и обсудили идеи доказательств трёх теорем: теорема умножения вероятностей, формула полной вероятности и формула Байеса.

2024-09-20, семинар 3: Решили задачу на определение условной вероятности. Обсудили парадокс теоремы Байеса на примере задачи про редкое заболевание, а также посмотрели простую программу на Python, которая считает вероятность в зависимости от количества проведенных тестов на заболевание. Обсудили условное математическое ожидание, некоторые его свойства и рассмотрели пример с подбрасыванием кубика. В конце решили задачу на парадокс дней рождений.

2024-09-27, семинар 4: Обсудили коллизии хеш-функций и связь с атакой "дней рождений". Определили независимость или зависимость случайных величин в четырёх разных вариантах. Обсудили, что неверно утверждать, что матожидание частного независимых случайных величин равно частному матожиданий, также привели пример использования подобного факта в некоторых статьях. В конце решили задачу на поиск функции производящей исходы, а также нашли E(X), E(Y^2), E(XY) с помощью найденной функции.

2024-10-04, семинар 5: Решили две простые задачи на условную вероятность и на теорему об умножении вероятностей. Обсудили связь дерева событий с условной вероятностью и теоремой об умножении вероятностей. Нашли производящую функцию моментов для геометрически распределенной случайной величины и с помощью нее нашли матожидание. Нашли производящую функцию моментов и матожидание суммы случайного количества н.о.р случайных величин.

2024-10-11, семинар 6: Привели аналогии между дискретными и непрерывными случайными величинами. Нарисовали графики функций от случайных величин. Вспомнили определение и свойства дисперсии. Решили простую задачу на подсчет дисперсии и нашли дисперсию геометрически распределенной случайной величины. Обсудили, когда может быть матожидание и дисперсия бесконечны. Далее вспомнили неравенства Маркова и Чебышева, вывели следствия и решили 3 задачи на применение этих неравенств. Обсудили, что неравенство Маркова может давать как точную оценку, так и очень слабую. Показали, что неотрицательность случайной величины в неравенстве Маркова является существенным условием.

2024-10-11, семинар 7: Повторили понятия энтропии в битах и натах, а также понятие дифференциальной энтропии. Нашли энтропию в схеме Бернулли и энтропии геометрического и экспоненциального распределений. Доказали простую оценку сверху для энтропии случайной величины, имеющей конечный носитель мощности n.

2024-11-1, семинар 8: Разобрали демо-вариант контрольной работы "Тыква".

2024-11-8, семинар 9: Разобрали демо-вариант контрольной работы "Летучая мышь".

2024-11-15, семинар 10: Понятие случайного процесса. Определение пуассоновского процесса, его свойства. Три простые задачи на пуассоновское распределение. Задачи 13.1 и 13.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-11-22, семинар 11: Определения Бета-функции и Гамма-функции. Бета и Гамма распределения, их функции плотности и графики. Нахождение моды случайных величин, имеющих Бета и Гамма распределения. Связь пуассоновского процесса с Гамма распределением. В конце нашли производящую функцию моментов Гамма распределения.

2024-11-29, семинар 12: Задачи 18.1, 18.2 и 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-12-06, семинар 13: Нашли многомерное нормальное распределение по виду функции плотности (константа на экспоненту с квадратичным показателем). С помощью формулы Иссерлиса нашли матожидания произведений различных или одинаковых случайных величин, имеющих многомерное нормальное распределение. Нашли условную вероятность многомерного распределения. Задача 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-12-13, семинар 14: Повторили определение сходимости по распределению и центральную предельную теорему. Решили задачи 20.2 и 20.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

== Источники ==

Источники мудрости, которые я постарался не замутить :)

[https://arxiv.org/pdf/1411.5279 WTSK]: Tim Hesterberg, What Teachers Should Know About the Bootstrap: вкусное и доступное изложение бутстрэпа и перестановочных тестов.

[https://projects.iq.harvard.edu/stat110/home BItP]: Blitzstein, Hwang, Introduction to Probability: учебник, записи лекций, гарвардский курс.

Теория вероятностей 2024/25 (основной поток)

2025-02-21T10:10:57Z

Bdemeshev: /* Контрольные работы и экзамен */

= Преподаватели и учебные ассистенты =

{| class="wikitable" style="text-align:center"
|-
! Группа !! БПМИ235 !! БПМИ236 !! БПМИ237 !! БПМИ238 !! БПМИ239 !! БПМИ2310 !! БПМИ2311 !! БПМИ2312
|-
|| Лектор ||colspan="11"| [https://t.me/boris_demeshev Борис Демешев]
|-
|| Семинарист || [https://t.me/boris_demeshev Борис Демешев] || [https://t.me/levensons Илья Левин] || [https://t.me/madn_boi Никита Морозов] || [https://t.me/boris_demeshev Борис Демешев] || [https://t.me/XuMuK_MK Максим Каледин] || [https://t.me/goluba_yurieva Голуба Юрьева] || [https://t.me/Moskchan Вероника Владыкина] || [https://t.me/goluba_yurieva Голуба Юрьева]
|-
|| Ассистент || [https://t.me/nerhneiro Ира Скворцова] || [https://t.me/a_ameli_ig Амелия Алаева] || [https://t.me/htual Алина Бадахова] || [https://t.me/adelyagaraeva Аделя Гараева] || [https://t.me/mabrielka Мария Брель] || [https://t.me/zm_ann Анна Зыкова-Мызина] || [https://t.me/Yanlightv Яна Вежновец] || [https://t.me/nol_erk Кирилл Лавриненко]
|-
|| Ассистент курса ||colspan="11"| [https://t.me/Nick_Volya Никита Волянский]
|}

== Цели и задачи курса ==

侍には目標がなく道しかない [Samurai niwa mokuhyō ga naku michi shikanai]

У самурая нет цели и ничего кроме пути.

Вероятный план:
<div class="mw-collapsible mw-collapsed" style="width:1000px; overflow: hidden;">
1. Дискретное вероятностное пространство. Вероятность, математическое ожидание, теоретическая медиана.
Перестановочные тесты, p-значение для перестановочного теста.
Математическое ожидание = центр масс.

NB: здесь сходу рисуем дерево
NB: здесь нет задач на условную вероятность

!предупреждение об обозначениях случайных величин.
Российская традиция — греческие буквы, американская традиция — заглавные английские буквы.
Наш курс: любые буквы. Причина: теория вероятностей применяется в разных областях, где свои традиции.

NB: Способы вычисления вероятностей и ожиданий:
* полный перебор руками
* примерные вычисления руками
* полный перебор на компьютере
* симуляции на компьютере
* ...

2.
Методы решения задач:
* разложение величины в сумму
* метод первого шага
!идея: позиция в игре имеет цену
* just for fun: метод рычага в геометрии через ожидание
NB: рассказать здесь про комплексную случайную величину
NB: по сути здесь мы уже решаем задачи на марковские цепи не говоря страшных определений
LOTUS.

3. Условная вероятность и условное ожидание.
!идея: зануляем вероятности невозможных событий, а остальные — масштабируем.
формула полной вероятности
!идея: дерево "помнит" формулу полной вероятности
формула Байеса

Независимые события.
Независимые случайные величины.

4.
Методы решения задач:
* производящие функции многих переменных
функция как способ записать множество
HTT vs TTH
ABRACADABRA
!разложение по биномиальной формуле

?: можно здесь успеть функцию производящую моменты

5.
Биномиальное распределение.
Геометрическое и гипергеометрическое распределения.
Отрицательное биномиальное распределение.

6.
Равномерное распределение на множестве в R^n
Функция распределения.
Функция плотности и вероятностная дифференциальная форма.
!пояснение про неудачную традиционную терминологию "непрерывная случайная величина"
величина с функцией плотности, величина с непрерывной функцией распределения.

Квантили, квантильная функция.

7. Характеристики случайных величин и неравенства.
Дисперсия.
Энтропия.
Неравенство Маркова.
Неравенство Чебышёва.
Неравенство Йенсена.

Здесь конец модуля 1 и КР-1!

8. Пуассоновский поток.
Аксиомы пуассоновского потока.
Вывод экспоненциального распределения и пуассоновского распределения из аксиом.
Вывод экспоненциального распределения из предпосылки об отсутсвии памяти.

9. Нормальное распределение.
Нормальное распределение: предпосылки Хершела-Максвелла.
Нормальное распределение: аргументация Гаусса за среднее арифметическое.
Нормальное распределение: предпосылки Лэндона (до уравнения в частных производных).

10. Классические непрерывные распределения.

Гамма-распределение, бета-распределение.
Вывод нормального и экспоненциального распредений как минимизации энтропии.

11. Парные характеристики случайных величин.
Наилучшая линейная аппроксимация.
Ковариация.
Корреляция.
Кросс-энтропия.

Доказательство E(XY) = E(X) E(Y) для дискретных.
Ковариационная матрица и ожидание для случайных векторов.

12. Совместная и условная функция плостности.
Преобразования случайных величин.

13. Функция производящая моменты и характеристическая функция.
Распределение суммы случайного количества случайных величин.
Случайный выбор слагаемых.

14. Финансовые приложения

Оценивание опционов на биномиальном дереве.
Максимизация долгосрочной прибыли, связь с энтропией.
Возможно, индексы Гиттинса.

Здесь конец модуля 2 и КР-2

15. Сигма-алгебры.

Список известных величин как способ описания информации.
Идея условного ожидания как оптимального прогноза.
Сигма-алгебра как способ описания информации.
Измеримость случайной величины относительно сигма-алгебры.
Сигма-алгебра как ОДЗ для вероятности.
Борелевская сигма-алгебра.
Независимые случайные величины второе определение.

16. Условное математическое ожидание.
Условная дисперсия.
Сумма случайного количества случайных величин.

17. Сходимости случайных величин.

Сходимость по вероятности.
Закон больших чисел.
Сходимость почти наверное.
Усилинный закон больших чисел.
Сходимость по распределению.

18. Связь сходимостей.
Лемма Слуцкого.

19. Центральная предельная теорема.
Доказательство через подмену слагаемых.
Доказательство через характеристические функции.

Здесь контрольная.

20. Винеровский процесс
Условные ожидания, инверсия.

21. Байесовский подход к оцениванию параметров

Балансовое уравнение. Идея MCMC.

22. Доказательства свойств меры

23. Алгоритм построения математического ожидания в общем случае.
Лемма Фату.
Теорема о мажорируемой сходимости.
Теорема о монотонной сходимости.

24. Резерв.

Жемчужинки, которые, вероятно, не успеем:

А. Методы решения задач:
подсчёт случаев с помощью леммы Бернсайда и теоремы Пойа о перечислении
(Burnside lemma, PET = Polya Enumeration Theorem)

B. вероятностные доказательства детерминистических теорем

</div>

== Оценивание ==

Оценка за семестр-1 = 0.2 Домашние задания семестра-1 + 0.4 Контрольная-Альфа + 0.4 Экзамен-Бета.

Финальная оценка за курс = 0.5 Оценка за семестр-1 + 0.1 Домашние задания семестра-2 + 0.2 Контрольная-Гамма + 0.2 Экзамен-Дельта.

Каждая оценка (суммарные итоги за домашние задания, контрольные, экзамены) — целое число от 0 до 100.
Для перевода в 10-балльную шкалу промежуточной оценки за семестр-1 и финальной оценки используется деление на 10
с арифметическим округлением. Например, если Максим получил "оценку за семестр-1" 65 баллов, то в ведомость за первый семестр идёт 7, а далее в формуле финальной оценки за курс используется 65.

=== Домашние задания для самураев ===

Домашние задания [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/home_assignments/home_assignments.pdf одним файлом] и [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/blob/main/home_assignments/ отдельными файлами].
Домашние задания имеют равный вес.
В конце каждой лекции (за исключением ближайших к экзамену лекций)
выдается домашнее задание сроком на две недели.
Дедлайн жёсткий, однако студент имеет право просрочить три домашних задания на неделю каждое без штрафа.

Формат сдачи ДЗ: один pdf-файл (решение текстовых задач) и один ipynb-файл (решение компьютерных задач).
В pdf-файл можно поместить аккуратно написанное отсканированное решение, а можно скомпилировать pdf из теха или маркдауна.
Ещё можно вместо pdf-файла написать всё в ipynb.
Бонусов за сдачу домашки в техе нет. Пример [https://www.overleaf.com/read/qmrkwpzvmqbk шаблона].

Обратите внимание: '''время каждого дедлайна — 23:59'''.

=== Ведомость с оценками за ДЗ ===

{| class="wikitable" style="text-align:center"
|-
! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1872081500#gid=1872081500 235] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1374497930#gid=1374497930 236] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1183164252#gid=1183164252 237] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=408179311#gid=408179311 238] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1032422408#gid=1032422408 239] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1603236891#gid=1603236891 2310] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=791330236#gid=791330236 2311] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=23847300#gid=23847300 2312]
|}

[https://docs.google.com/spreadsheets/d/14hD7-SLmAA1omdkhPlt3blRHDHVGTDS8ZgvLWscvMz8/edit?usp=sharing Сводная ведомость всех оценок]

=== Контрольные работы и экзамен ===

Вес каждой задачи будет написан в тексте работы.
Задачи с ненаписанным по случайности весом имеют равный вес.
Для пропущенных по уважительной причине контрольных будет выделен один день для переписывания.
При пропуске дня переписывания, в том числе по уважительным причинам, ещё одного шанса не предоставляется.

<div class="mw-collapsible mw-collapsed" style="width:1000px; overflow: hidden;">

'''Контрольная работа 1''' состоится 2024-11-11 в 16:20, аудитории: R401, R305, R206, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_halloween_demo/exam_halloween_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/midterm/midterm-alpha.pdf условие с критериями и решениями].

'''Резервный день 1''' для пропустивших по уважительной причине состоится 2024-12-02 в 19:40, R405

'''Показ контрольной 1''':

* задачи 1, 2: заочно до 2024-12-08, [https://t.me/Moskchan Вероника]
* задачи 3, 4 [https://t.me/boris_demeshev Борис], очно, четверг, 2024-12-05, 18:10-21:00, G408
* задачи 5, 6 [https://t.me/XuMuK_MK Максим]: очно, четверг, 2024-12-05, 18:10-21:00, G408

'''Экзамен, модуль 2''' состоится '''''2024-12-24 в 10:00''''', аудитории R301, R304, R401, R404, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_winter_demo/exam_winter_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/december/pmi_probab_2024_december.pdf условие].

Если вы не хотите идти на экзамен, то заполните [https://forms.gle/UQzW77RrPvcdahG47 эту форму], чтобы получить ноль при неявке

'''Апелляция экзамена''':

* задачи 1, 2: заочно [https://t.me/goluba_yurieva Голуба], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/december/exam_problem_1-2.pdf решения и критерии 1, 2];
* задачи 3, 4: очно 2025-01-11, аудитория R408, 14:40-17:40 [https://t.me/madn_boi Никита], [https://www.overleaf.com/read/dnhjcdrndqps#42f1ab решения и критерии 3, 4];
* задачи 5, 6: заочно [https://t.me/levensons Илья]

* дедлайн по заочным апелляциям: суббота 23:59

[https://docs.google.com/spreadsheets/d/1mxMCr3IEDy8EPFWGkn3_dsghhPNcZICEw9C9o5ZoZvA/edit?usp=sharing Распределение по аудиториям]

</div>

Даты пересдач: 2025-01-28 в 18:10, 2025-02-03 в 18:10 и комиссия 2025-02-11 в 18:10.

* задачи 1, 2: [https://t.me/goluba_yurieva Голуба], задачи 3, 4: [https://t.me/madn_boi Никита], задачи 5, 6: [https://t.me/levensons Илья], апелляция пересдачи 2 до 21:00 2025-02-10.

'''Контрольная, модуль 3''' состоится 2025-02-22 в 16:20, аудитории R201, R204, R404, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_galileo_demo/exam_galileo_demo.pdf демо], условие.

'''Экзамен, модуль 3''' состоится 2025-03-26 в 14:40, аудитории R301, R404, R405, R503, демо, условие.

== Учебные материалы ==

[https://github.com/bdemeshev/probability_pro/raw/master/probability_pro.pdf PP]: Листки с задачами к курсу.

[https://github.com/bdemeshev/probability_dna/raw/master/probability_dna.pdf PDNA]: Вероятностная ДНК = вкусные задачи по теории вероятностей.

[https://disk.yandex.ru/d/LZ6d2VZVqYvbDQ Видео-летопись семинаров и лекций] и [https://hse.liferooter.dev/ конспект] от тайного благожелателя (updated 2024-10-23]

[https://disk.yandex.ru/d/IoakBXz_6yygPw Официальные видео]

[https://www.cambridgeinternational.org/Images/344616-list-of-formulae-and-statistical-tables.pdf Cambridge statistical tables]

== Дневник самурая ==

2024-09-02, лекция 1: Определение события. Определение случайной величины. Аксиомы вероятности. Определение математического ожидания для дискретного случая.
Линейность математического ожидания. Математическое ожидание как центр масс. Первое знакомоство с перестановочным тестом и p-значением.

Можно глянуть: главы 2.1 и 7 из [https://arxiv.org/pdf/1411.5279 WTSK], метод рычага [https://mathcircle.berkeley.edu/sites/default/files/archivedocs/2007_2008/lectures/0708lecturespdf/MassPointsBMC07.pdf в геометрии].

2024-09-09, лекция 2: Метод первого шага (вероятность выпадения HTH ранее HHT, ожидаемое количество шагов). Метод разложения случайной величины в сумму. Определение случайного вектора. Использование интерпретации ожидания как центра масс в геометрии. Определение теоретической медианы.

Можно глянуть: глава 2.7.2 из [https://projects.iq.harvard.edu/stat110/home BItP], три стратегии решения задачи за 10 минут [https://www.youtube.com/watch?v=xH89DaEI35w Visually Explained]

2024-09-16, лекция 3: Получение новой информации приводит к пересчёту вероятностей. Определение условной вероятности. Формула полной вероятности. Формула Байеса.
Условное математическое ожидание. Формула полного математического ожидания. Независимость пары событий. Независимость набора событий в совокупности.
Независимость величин: неформальное определение. Критерий независимости произвольных величин. Критерий независимости дискретных величин.

2024-09-23, лекция 4: Доказательство критерия независимости для дискретных случайных величин: из независимости {X=x} и {Y=y} следует независимость {X in A} и {Y in B}. Независимость величин равносильна E(f(X))E(g(Y))=E(f(X)g(Y)) для произвольных f, g. Определение биномиальной, геометрической (как числа неудач до 1го успеха) и отрицательной биномиальной случайной величины. Общая идея за производящими функциями: как из функции, производящей исходы эксперимента, с помощью производных и подстановок выудить индивидуальные вероятности, совместные вероятности, ожидания любой степени E(X^a), E(X^a Y^b). Формальное определение функции, производящей вероятности, и функцию, производящей моменты, для одной случайной величины и пары случайных величин. Метатеорема: все теоремы о дискретных величинах доказываются перестановкой слагаемых. Основные дискретные распределения: биномиальное, геометрическое, отрицательное биномиальное.

2024-09-30, лекция 5: Ещё дискретные законы распределения: гипергеометрическое. Описание закона распределения через равномерное распределение на подмножестве R^n.
Функция плотности как линейная часть вероятности попадания в отрезок. Равномерное распределение на отрезке. Смешанные случайные величины. LOTUS: нахождение ожидания любой функции от случайной величины для величин с функцией плотности и смешанных величин. Функция распределения. Квантильная функция.

2024-10-07, лекция 6: Две геометрии случайных величин и событий: E(XY) как скалярное произведение, Cov(X, Y) как скалярное произведение. Математическое ожидание — проекция в рамках геометрии, задаваемой E(XY). Определение и геометрический смысл дисперсии, стандартного отклонения, ковариации и корреляции. Неравенство Маркова. Неравенство Чебышёва. Неравенство Йенсена: интуитивный смысл.

2024-10-14, лекция 7: Доказательство неравенства Йенсена. Энтропия как минимальное ожидаемое число вопросов для отгадывания и формальное определение. Кросс-энтропия.
Доказательство того, что кросс-энтропия больше либо равна энтропии. Совместная энтропия. Условная энтропия. Формула H(X) + H(Y|X) = H(X, Y) без доказательства.
Вывод плотности экспоненциального распределения из предпосылки отсутствия памяти. Экспоненциальное распределение максимизирует энтропию при заданном ожидании и неотрицательности.

* Cristopher Olah, Visual Information Theory, https://colah.github.io/posts/2015-09-Visual-Information/

* Grand Sanderson, Solving Wordle using information theory, [https://www.youtube.com/watch?v=v68zYyaEmEA youtube].

* Artem Kirsanov, Key equation behind probability, [https://www.youtube.com/watch?v=KHVR587oW8I youtube]. У Артёма кросс-энтропия обозначена H(P, Q), а не CE(P||Q)).

* [https://exuberant-arthropod-be8.notion.site/1-02-09-5e107ea1c4054594b8f37d955db8a2b0 Конспект] аналогичной старой лекции псмо на русском.

* Keith Conrad, [https://kconrad.math.uconn.edu/blurbs/analysis/entropypost.pdf Maximal entropy] distributions.

2024-10-21, лекция 8: Ковариационная матрица и её свойства. Совместная функция плотности. Условная функция плотности. Критерий независимости в терминах функций плотности и распределения.
Связь индивидуальной и совместной функций плотности и функций распределения. Смена плотности при замене переменных: домножение на якобиан и неформально про дифференциальные формы. Формула свёртки.
Разложение совместной плотности для графической модели. Представление произвольной совместной функции распределения с помощью копулы.

* Про дифференциальные формы: [https://www.youtube.com/watch?v=PaWj0WxUxGg&list=PL22w63XsKjqzQZtDZO_9s2HEMRJnaOTX7 videos] by Michael Penn, [https://www.math.purdue.edu/~arapura/preprints/diffforms.pdf short intro] by Dony Arapura

* What is a convolution от [https://www.youtube.com/watch?v=KuXjwB4LzSA 3b1b]

* From graphical models to [https://www.youtube.com/watch?v=yBc01ZeaFxw&list=PLISXH-iEM4JlFsAp7trKCWyxeO3M70QyJ Probabilistic ML]

2024-11-11, лекция 9: Пуассоновский поток: аксиомы. Вывод пуассоновского распределения количества событий и экспоненциального времени между событиями из аксиом.
Сумма независимых пуассоновских потоков — это пуассоновский поток (половина доказательства). Вероятность того, что одна экспоненциальная величина будет меньше другой, независимой.

2024-11-18, лекция 10: Гамма-распределение как сумма нескольких экспоненциальных: вывод плотности через вероятность попадания в малый отрезок.
Обобщение плотности на случай положительного параметра $a$. Гамма-функция. Бета-распределение как отношение гамма-распределений. Бета-функция.

2024-11-25, лекция 11: Вывод нормального распределения из предпосылок Гаусса. Вывод нормального распределения из предпосылок Гершеля — Максвелла.

* Saul Stahl, The [https://www.researchgate.net/publication/255668423_The_Evolution_of_the_Normal_Distribution Evolution] of the Normal Distribution: вывод Гаусса с историей.

* Grand Sanderson, [https://www.youtube.com/watch?v=cy8r7WSuT1I Why pi] is in the normal? вывод Гершеля—Максвелла

* James Stein, [http://www-biba.inrialpes.fr/Jaynes/cc07s.pdf Normal Distribution]: глава про нормальное распределение (Гаусс, Гершель—Максвелл, Лэндон etc)

* William Herschel, [https://music.yandex.com/album/209394/track/2121214 концерт для габоя]

* William Herschel, [https://www.informationphilosopher.com/solutions/scientists/quetelet/Herschel_Quetelet_Probabilities.pdf On the theory of Probabilities]: вывод нормального распределения словами на стр. 189-191

2024-12-02, лекция 12: многомерное нормальное распределение. Функция плотности невырожденного многомерного нормального. Функция производящая моменты для многомерного нормального. Формула Иссерлиса с ненулевыми ожиданиями и доказательством. Условное распределение: вывод условного ожидания и условной дисперсии через разложение величины в сумму независимых.

* [https://stats.stackexchange.com/questions/30588/ альтернативный вывод] условного многомерного нормального распределения
* Хитрый [https://github.com/bdemeshev/lis-isserlis/raw/main/lis-isserlis.pdf лис Иссерлис]

2024-12-09, лекция 13: сходимость по распределению, центральная предельная теорема с доказательством подменой слагаемых.

* Calvin Chin [https://arxiv.org/pdf/2106.00871 CLT proof] by swapping
* [https://bdemeshev.github.io/teaching_notes/clt_by_swapping Пересказ доказательства]

2024-12-16, лекция 14: использование бесконечно малых при нахождении ожиданий, трюк с добавление параметра, трюк с закольцовыванием отрезка при равномерном распределении.

2025-01-13, лекция 15: Неединственность предела по распределению. Неаддитивность предела по распределению. Предел по вероятности. Закон больших чисел в слабой форме (с доказательством при дополнительной предпосылке о конечности дисперсии). Теорема о непрерывном отображении.

2025-01-20, лекция 16: два определение сходимости почти наверное с доказательством эквивалентности. Сходимость в Lp. Из сходимости в Lp при p>=1 следует сходимость по вероятности. Из сходимости почти наверное следует сходимость по вероятностям. Контр-пример к разнице сходимостей почти наверное и по вероятности. Контр-пример к разнице сходимостей в Lp и по вероятности. Усиленный закон больших чисел (без доказательства). Леммы Слуцкого (без доказательства).

2025-01-27, лекция 17: характеристические функции и их свойства. Вывод характеристической функции нормального стандартного распределения через дифференциальное уравнение. Характеристическая функция биномиального распредеделения. Второе доказательство ЦПТ (через характеристические функции).

* [https://web.ma.utexas.edu/users/gordanz/notes/characteristic.pdf Gordan Zitkovic]: characteristic functions
* [https://sas.uwaterloo.ca/~dlmcleis/s901/chapt6.pdf McLeish]: clt proof

2025-02-03, лекция 18: пример последовательности сходящийся по вероятности с ожиданием стремящимся к бесконечности. Критерий Кэлли. Критерий оптимальной остановки Брасса.

* [https://en.wikipedia.org/wiki/Kelly_criterion wikipedia]: Kelly criterion
* [https://projecteuclid.org/journalArticle/Download?urlId=10.1214%2Faop%2F1019160340 Bruss]: sum the odds to one and stop

2025-02-10 лекция 19: Сигма-алгебра порождённая случайной величиной или набором из нескольких случайных величин. Замкнутость относительно счётного количества операций с множествами. Сигма-алгебра. Объединение сигма-алгебр не всегда сигма-алгебра. Пересечение сигма-алгебр всегда сигма-алгебра. Измеримость суммы. Борелевская сигма-алгебра.

2025-02-18, лекция 20: [https://us06web.zoom.us/j/82685613040?pwd=bqJoXGItwNOOWddXj1flfmPmDn6fMQ.1 онлайн, 18:10]

=== Семинары ===

==== 473 = 235 + 238 ====

2024-09-02, 06, семинар 1: задачи 1.1, 1.6, 3.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-09, 13, семинар 2: задачи 2.1, 2.3, 12.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-16, 20, семинар 3: задачи 7.12 и 7.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-23, 27, семинар 4: как извлечь P(X=3), E(X), E(X^2Y) из функции, производящей список исходов, 28.16 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-30, -10-04, семинар 5: 9.3в, 9.4, 9.7(абвд, кроме дисперсии, аргументы масштабирования и центра масс помимо интегралов), 9.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-10-07, 11, семинар 6: вычисление Cov, Var, Corr по табличке и из функции плотности, нахождение дисперсии для отрицательного биномиального распределения по свойствам.

2024-10-14, 18, семинар 7: вычисление энтропии геометрического распределения. Изменение энтропии при линейном преобразовании для дискретной величины и величины с функцией плотности.
Кросс-энтропия из экспоненциального в равномерное. Условная энтропия для дискретной таблички. Связь энтропии величины с функцией плотности и энтропия дискретной версии этой случайной величины после "огрубления" с малым шагом 1/k.

2024-10-21, -11-01, семинар 8: 16.18, 16.23 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], свёртка двух экспоненциальных величин

2024-11-11, 15, семинар 9: задачи на пуассоновский поток из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-11-18, 22, семинар 10: задачи на бета и гамма-распределение

2024-11-25, 29, семинар 11: задачи на нормальное распределение, 18.1, 18.2, 18.3, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-02, 06, семинар 12: задачи на многомерное нормальное: 24.16аб, 24.17аб, 24.18, 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-09, 13, семинар 13: ЦПТ и нормальное распределение: 20.2, 20.4, 18.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-19, семинар 14: разбор демо

2025-01-13, семинар 15: сходимость по вероятности: 20.1, 20.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-20, 24, семинар 16: связь между сходимостями, 20.11, 20.13 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-27, 31, семинар 17: 28.17, 28.18, 28.21 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-03, 07, семинар 18: 28.20аб, 28.22 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-10, 17, семинар 19: 6.2, 6.3, 6.11, измеримость произведения из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

==== 236 ====

2024-09-06, семинар 1: в начале семинара рассмотрели основные понятия и определения для решения задач. Решили задачи 1.1, 1.6, 3.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-13, семинар 2: нашли ожидание случайной величины с геом. распределением. Решили задачи 2.1, 12.6, 12.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-09-20, семинар 3: решили задачи 7.12, 7.4(а), 7.7, 7.13(а) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-09-27, семинар 4: разобрали 7.13, почти разобрали 28.3 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Также рассмотрели один контрпример на независимость(тетраэдр Бернштейна).

2024-10-04, семинар 5: разобрались с определениями, решили 9.3(абв), 9.7(аб) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Решили задачку про три точки на отрезке и найти вероятность получить треугольник. Также вывели формулу для мат. ожидания неотрицательной величины через функцию распределения.

2024-10-14, семинар 6: обсудили дисперсию, ковариацию, коэффициент корреляции и их геометрический смысл. Решили задачу на оценку дисперсии ограниченной величины. посчитали дисперсию геометрического, биномиального. Посчитали дисперсию в задаче о письмах и конвертах.

???, семинар 7: определили энтропию, посчитали примеры для дискретных величин, для линейных преобразований. Доказали, что задача максимизации энтропии с фиксированной дисперсией достигается на нормальном распределении.

???, семинар 8: свертка двух экспоненциальных, 16.18 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

???, семинар 9: задачи на пуассоновский процесс из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

???, семинар 10: разбор кр.

???, семинар 11: разобрали задачи на нормальное распределение 18.1, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Также считали распределение суммы двух независимых нормальных.

==== 237 ====

2024-09-09, семинар 1: задачи 1.1, 2.2 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], вероятность что n ладей не бьют друг друга при случайной расстановке на шахматной доске n на n, матожидание числа треугольников в случайном графе на n вершинах через сумму индикаторов

2024-09-13, семинар 2: задачи 2.1, 2.6, 12.3, 12.6, 12.7 (без дисперсий) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-23, семинар 3: задачи 7.2, 7.13, 7.7, 7.8, плюс начали 7.15b (получили неверный ответ) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-27, семинар 4: дорешали 7.15b с небольшой демонстрацией на питоне, разобрали 28.2 для нечестной монетки плюс посчитали матожидание [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-10-04, семинар 5: задачи 9.1, 9.3абв, 9.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], философия про то почему бОльшая плотность не всегда означает бОльшую вероятность оказаться в окрестности данной точки (плотность может занимать слишком маленький объем)

2024-10-11, семинар 6: вспомнили определения Cov/Var/Corr, посчитали у пары дискретных величин по табличке вероятностей, посчитали дисперсию у биномиального, геометрического, непрерывного равномерного на отрезке.

2024-10-18, семинар 7: вычисление энтропии геометрического распределения; ограниченность энтропии снизу и сверху в дискретном случае; изменение энтропии при линейном преобразовании для дискретной величины и величины с функцией плотности; условная энтропия, KL дивергенция и кросс-энтропия, неотрицательность KL, интерпретация на пальцах с точки зрения теории информации.

2024-11-01, семинар 8: 16.18, 16.23 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], свёртка двух экспоненциальных величин

2024-11-08, семинар 9: решали пробный вариант КР

2024-11-15, семинар 10: 13.1, 13.2, 13.5, 13.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-11-22, семинар 11: разбор КР

2024-11-29, семинар 12: нормальное распределение, 18.1, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-06, семинар 13: многомерное нормальное распределение, изменение среднего и матрицы ковариаций при линейном преобразовании, 24.4а, 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-13, семинар 14: 24.4в из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], сходимости случайных величин, ЗБЧ и ЦПТ, 20.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-21, семинар 15: наследование сходимости, 20.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], плюс доказали предельную теорему Пуассона

2025-01-28, семинар 16: связь между сходимостями, 20.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], лемма Слуцкого, подмена дисперсии на выборочную дисперсию в ЦПТ

2025-02-04, семинар 17: базовые свойства хар функций, хар функция суммы независимых величин, 28.17, 28.20 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

==== 239 ====

2024-09-03, семинар 1: задачи 1.1, 1.4, пытались 1.8 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Ещё успели посчитать вероятность N=k бросков монеты до выпадения первого орла, матожидание N. И ещё сделали то же для количества бросков до выпадения 3 орлов (не в серии).

2024-09-10, семинар 2: доказали формулу включения-исключения, решили несложную задачу, порешали 2.7 задачи типа 12.*

2024-09-17, семинар 3: Решили две прямых задачи на формулу Байеса и формулу полной вероятности (без большого количества вычислений). Решили задачу поиска вероятности неисправного кофе-автомата из 3 при условии, что бросили деньги в 1 и 2 и их зажевало. Ещё нашли вероятность, что мяч будет у игрока 3 после шага 10 (все садятся в круг и на каждом шаге бросают мяч соседу с вероятностью 0.3 и оставляют у себя с вероятностью 0.4).

2024-09-24, семинар 4: Вспомнили про метод первого шага, используя формулу полной вероятности и введя в некотором виде формулу полного матожидания, записали формулу для вероятностей нахождения в состоянии i через произведение переходной матрицы на вектор. Совсем немного начали производящие функции, но решили не считать 31ю производную многочлена.

2024-10-01, семинар 5: Исследуем дискретные случайные величины (Биномиальная, Геометрическая и разные похожие) с использованием техник вычислений моментов через производящую функцию. Задачи на распределения величин, посчитанных по набору величин. Первая большая задача про плотность.

2024-10-08, семинар 6: разминочная про плотность и функцию распределения. Считаем дисперсию, ковариацию и корреляцию по 2x2 таблице и в равномерном распределении на круге и квадрате [-1,1]х[-1,1].

2024-10-15, семинар 7: пара задач про экспоненциальное распределение, расчёты по теории информации(считаем всякое, чтобы привыкнуть).

2024-10-22, семинар 8: письменные источники не сохранились до наших дней. Согласно преданиям, оьсуждали двери и около контрольной. Говорят, ввели пуассоновский процесс.

2024-???, семинар 9: решаем задачи на пуассоновское в разных формах и обсуждаем омалые в порядковых статистиках.

2024-???, семинар 10: учимся интерпретироввть гауссовское, пользоваться таблицами для функции Лапласа, а также немного работать с многомерным гауссовским.

2024-3-12, семинар 11: Копаем во все стороны многомерное гауссовское: считаем вероятности для линейных комбинаций гауссовских, проверяем зависимость, вычисляем условные законы, матожидания и ковариационные матрицы, вспоминаем спектральное разложение и разложение Холецкого.

==== 2311 ====

2024-09-06, семинар 1: вероятностное пространство, вероятность на нем, вероятность события, случайная величина и ее распределение (индикатор события, сумма двух кубиков, число бросаний монетки до первого орла), матожидание случайной величины (индикатор, один кубик, два кубика), линейность матожидания. Задачи на линейность матожидания, в том числе ЕГЭшная задача про турнир, 1.5, 3.5 с допвопросом о матожидании числа совпадений. Разговор о получении события произвольной вероятности монеткой в контексте 1.8

2024-09-13, семинар 2: Повторили матожидание суммы на примере 12.3. Обсудили условную вероятность и формулу полной вероятности, условное матожидание, решили задачи на метод первого шага 2.1, 2.3, 2.7.

2024-09-20, семинар 3: Условная вероятность, формула полной вероятности, формула Байеса: 7.1, классическая задача про болезни и тесты, простейшие задачки на общее понимание, обсуждение двух подходов: вычисления условной вероятности по формуле и составления нового вероятностного пространства и подсчет вероятности в нем. Независимые события (события "пики" и "дама" в обычной колоде и колоде с джокерами), независимые в совокупности события, построили пример попарно независимых, но не независимых в совокупности. Обсудили биномиальное распределение. решили задачу: "в корабле к отсеков, чтобы корабль затонул, нужно поразить 2. Независимо выпускают n ракет, каждая из которых поражает случайный отсек с вероятностью p. Найти вероятность потопления корабля"

2024-09-20, семинар 4: Примеры одинаково распределенных зависимых СВ, независимые СВ. Производящая функция и ее свойства. Посчитали для биномиального производящую функцию и второй момент. Обсудили, что будет меняться в случае функции, производящей моменты. Обсудили функцию, производящую множество исходов, как из нее доставать уже известные функции, как ее искать на примере бросания монетки до выпадания HT

2024-10-11, семинар 5: Составили табличку стандартных дискретных распределений, посчитали матожидание геометрического, обсудили дисперсию и ковариацию и их свойства (в дискретном случае), досчитали дисперсии основных распределений. Обсудили вероятностное пространство в общем случае, понятие СВ в общем случае. Дали определение ФР, посчитали ФР для явно заданной СВ. Дали определение плотности.

2024-10-12, семинар 6: Обсудили свойства ФР, как считать вероятность попадания в промежуток в терминах ФР. Выразили ФР 1/X, cos X. Обсудили как выражается веротяность попадания в множество через плотность. для 1/Х выразили плотность в случае абсолютной непрерывности Х. Обсудили формулу для МО в общем виде через интеграл Стильтьеса и как вычислять МО для функции, разлагающейся в сумму абсолютно нерпрерывной и функции скачков, посчитали МО для пары таких СВ

2024-10-18, семинар 7: Обсудили геометрию, заданную скалярным произведением EXY и cov(X,Y), поиск ортогонального элемента и проекции. Посчитали энтропию и кросс-энтропию в дискретном и непрерывном случаях, посчиали совместную и условную энтропию в дискретном случае (23.2, 23.4, 23.9)

2024-11-01, семинар 9: Совместная плотность и ф.р., подсчет вероятностей, маргинальные плотности, замена переменной через якобиан, свертка, матожидание

2024-11-09, семинар 10: Условная плотность, формула условной вероятности. Задача на восстановление маргинальной плотности по условной. Разбор задач из "Летучей мыши"

2024-11-19, семинар 11: Разбор контрольной работы

2024-11-22, семинар 12: Пуассоновский поток - решали задачки из задачника

2024-11-29, семинар 13: Нормальное распределение - задачи из PP, повторили функцию, порождающую моменты, обсудили ее свойства в абсолютно непрерывном случае

2024-12-06, семинар 14: Многомерное нормальное - обсудили два определения, связь между ними, независимость элементов нормального вектора при нулевой ковариации и почему это неверно для произвольных нормальных. порешали задачи 24.9а, 24.10, 24.17

2024-12-013, семинар 15: ЦПТ, решали задачи из задачника

2025-01-17, семинар 16: Сходимости почти наверное и по вероятности, связь со сходимостью по распределению. Посмотрели стандартные контрпримеры, показали, что если есть сходимость по распределению к константе, то есть и по вероятности. ЗБЧ Чебышева и Хинчина, УЗБЧ Колмогорова, обсудили 20.1 сколько успели.

2025-01-24, семинар 17: Сходимость в L_p, связи между сходимостями. Задача 20.11

2025-01-24, семинар 18: Характеристические функции и их свойства. Посчитали хар функции для равномерного, Бернулли, биномиального, Пуассона, экспоненциального. Показали, чо сумма нормальных нормальна. По функции пытались понять, может ли она быть характеристической и восстанавливали с.в.

==== 2310, 2312 ====

2024-09-06, семинар 1: задача 1.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Определили вероятностное пространство в виде тройки, множество исходов рассматривали конечное и счётное. Решили 3 счётные задачи на комбинаторику про колоды карт и счетные последовательности цифр. Привели геометрическое и аналитическое решения задачи про нахождение предела последовательности вероятностей. В конце нашли математическое ожидание геометрически распределённой случайной величины.

2024-09-13, семинар 2: задача 2.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Задача на упорядоченные и неупорядоченные наборы. Задача про классическое вероятностное пространство и про пространство с неравновероятными исходами. Разобрали парадокс Монти Холла. Ввели понятия условной вероятности и независимых случайных величин. Сформулировали и обсудили идеи доказательств трёх теорем: теорема умножения вероятностей, формула полной вероятности и формула Байеса.

2024-09-20, семинар 3: Решили задачу на определение условной вероятности. Обсудили парадокс теоремы Байеса на примере задачи про редкое заболевание, а также посмотрели простую программу на Python, которая считает вероятность в зависимости от количества проведенных тестов на заболевание. Обсудили условное математическое ожидание, некоторые его свойства и рассмотрели пример с подбрасыванием кубика. В конце решили задачу на парадокс дней рождений.

2024-09-27, семинар 4: Обсудили коллизии хеш-функций и связь с атакой "дней рождений". Определили независимость или зависимость случайных величин в четырёх разных вариантах. Обсудили, что неверно утверждать, что матожидание частного независимых случайных величин равно частному матожиданий, также привели пример использования подобного факта в некоторых статьях. В конце решили задачу на поиск функции производящей исходы, а также нашли E(X), E(Y^2), E(XY) с помощью найденной функции.

2024-10-04, семинар 5: Решили две простые задачи на условную вероятность и на теорему об умножении вероятностей. Обсудили связь дерева событий с условной вероятностью и теоремой об умножении вероятностей. Нашли производящую функцию моментов для геометрически распределенной случайной величины и с помощью нее нашли матожидание. Нашли производящую функцию моментов и матожидание суммы случайного количества н.о.р случайных величин.

2024-10-11, семинар 6: Привели аналогии между дискретными и непрерывными случайными величинами. Нарисовали графики функций от случайных величин. Вспомнили определение и свойства дисперсии. Решили простую задачу на подсчет дисперсии и нашли дисперсию геометрически распределенной случайной величины. Обсудили, когда может быть матожидание и дисперсия бесконечны. Далее вспомнили неравенства Маркова и Чебышева, вывели следствия и решили 3 задачи на применение этих неравенств. Обсудили, что неравенство Маркова может давать как точную оценку, так и очень слабую. Показали, что неотрицательность случайной величины в неравенстве Маркова является существенным условием.

2024-10-11, семинар 7: Повторили понятия энтропии в битах и натах, а также понятие дифференциальной энтропии. Нашли энтропию в схеме Бернулли и энтропии геометрического и экспоненциального распределений. Доказали простую оценку сверху для энтропии случайной величины, имеющей конечный носитель мощности n.

2024-11-1, семинар 8: Разобрали демо-вариант контрольной работы "Тыква".

2024-11-8, семинар 9: Разобрали демо-вариант контрольной работы "Летучая мышь".

2024-11-15, семинар 10: Понятие случайного процесса. Определение пуассоновского процесса, его свойства. Три простые задачи на пуассоновское распределение. Задачи 13.1 и 13.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-11-22, семинар 11: Определения Бета-функции и Гамма-функции. Бета и Гамма распределения, их функции плотности и графики. Нахождение моды случайных величин, имеющих Бета и Гамма распределения. Связь пуассоновского процесса с Гамма распределением. В конце нашли производящую функцию моментов Гамма распределения.

2024-11-29, семинар 12: Задачи 18.1, 18.2 и 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-12-06, семинар 13: Нашли многомерное нормальное распределение по виду функции плотности (константа на экспоненту с квадратичным показателем). С помощью формулы Иссерлиса нашли матожидания произведений различных или одинаковых случайных величин, имеющих многомерное нормальное распределение. Нашли условную вероятность многомерного распределения. Задача 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-12-13, семинар 14: Повторили определение сходимости по распределению и центральную предельную теорему. Решили задачи 20.2 и 20.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

== Источники ==

Источники мудрости, которые я постарался не замутить :)

[https://arxiv.org/pdf/1411.5279 WTSK]: Tim Hesterberg, What Teachers Should Know About the Bootstrap: вкусное и доступное изложение бутстрэпа и перестановочных тестов.

[https://projects.iq.harvard.edu/stat110/home BItP]: Blitzstein, Hwang, Introduction to Probability: учебник, записи лекций, гарвардский курс.

Теория вероятностей 2024/25 (основной поток)

2025-02-18T16:54:13Z

Bdemeshev:

= Преподаватели и учебные ассистенты =

{| class="wikitable" style="text-align:center"
|-
! Группа !! БПМИ235 !! БПМИ236 !! БПМИ237 !! БПМИ238 !! БПМИ239 !! БПМИ2310 !! БПМИ2311 !! БПМИ2312
|-
|| Лектор ||colspan="11"| [https://t.me/boris_demeshev Борис Демешев]
|-
|| Семинарист || [https://t.me/boris_demeshev Борис Демешев] || [https://t.me/levensons Илья Левин] || [https://t.me/madn_boi Никита Морозов] || [https://t.me/boris_demeshev Борис Демешев] || [https://t.me/XuMuK_MK Максим Каледин] || [https://t.me/goluba_yurieva Голуба Юрьева] || [https://t.me/Moskchan Вероника Владыкина] || [https://t.me/goluba_yurieva Голуба Юрьева]
|-
|| Ассистент || [https://t.me/nerhneiro Ира Скворцова] || [https://t.me/a_ameli_ig Амелия Алаева] || [https://t.me/htual Алина Бадахова] || [https://t.me/adelyagaraeva Аделя Гараева] || [https://t.me/mabrielka Мария Брель] || [https://t.me/zm_ann Анна Зыкова-Мызина] || [https://t.me/Yanlightv Яна Вежновец] || [https://t.me/nol_erk Кирилл Лавриненко]
|-
|| Ассистент курса ||colspan="11"| [https://t.me/Nick_Volya Никита Волянский]
|}

== Цели и задачи курса ==

侍には目標がなく道しかない [Samurai niwa mokuhyō ga naku michi shikanai]

У самурая нет цели и ничего кроме пути.

Вероятный план:
<div class="mw-collapsible mw-collapsed" style="width:1000px; overflow: hidden;">
1. Дискретное вероятностное пространство. Вероятность, математическое ожидание, теоретическая медиана.
Перестановочные тесты, p-значение для перестановочного теста.
Математическое ожидание = центр масс.

NB: здесь сходу рисуем дерево
NB: здесь нет задач на условную вероятность

!предупреждение об обозначениях случайных величин.
Российская традиция — греческие буквы, американская традиция — заглавные английские буквы.
Наш курс: любые буквы. Причина: теория вероятностей применяется в разных областях, где свои традиции.

NB: Способы вычисления вероятностей и ожиданий:
* полный перебор руками
* примерные вычисления руками
* полный перебор на компьютере
* симуляции на компьютере
* ...

2.
Методы решения задач:
* разложение величины в сумму
* метод первого шага
!идея: позиция в игре имеет цену
* just for fun: метод рычага в геометрии через ожидание
NB: рассказать здесь про комплексную случайную величину
NB: по сути здесь мы уже решаем задачи на марковские цепи не говоря страшных определений
LOTUS.

3. Условная вероятность и условное ожидание.
!идея: зануляем вероятности невозможных событий, а остальные — масштабируем.
формула полной вероятности
!идея: дерево "помнит" формулу полной вероятности
формула Байеса

Независимые события.
Независимые случайные величины.

4.
Методы решения задач:
* производящие функции многих переменных
функция как способ записать множество
HTT vs TTH
ABRACADABRA
!разложение по биномиальной формуле

?: можно здесь успеть функцию производящую моменты

5.
Биномиальное распределение.
Геометрическое и гипергеометрическое распределения.
Отрицательное биномиальное распределение.

6.
Равномерное распределение на множестве в R^n
Функция распределения.
Функция плотности и вероятностная дифференциальная форма.
!пояснение про неудачную традиционную терминологию "непрерывная случайная величина"
величина с функцией плотности, величина с непрерывной функцией распределения.

Квантили, квантильная функция.

7. Характеристики случайных величин и неравенства.
Дисперсия.
Энтропия.
Неравенство Маркова.
Неравенство Чебышёва.
Неравенство Йенсена.

Здесь конец модуля 1 и КР-1!

8. Пуассоновский поток.
Аксиомы пуассоновского потока.
Вывод экспоненциального распределения и пуассоновского распределения из аксиом.
Вывод экспоненциального распределения из предпосылки об отсутсвии памяти.

9. Нормальное распределение.
Нормальное распределение: предпосылки Хершела-Максвелла.
Нормальное распределение: аргументация Гаусса за среднее арифметическое.
Нормальное распределение: предпосылки Лэндона (до уравнения в частных производных).

10. Классические непрерывные распределения.

Гамма-распределение, бета-распределение.
Вывод нормального и экспоненциального распредений как минимизации энтропии.

11. Парные характеристики случайных величин.
Наилучшая линейная аппроксимация.
Ковариация.
Корреляция.
Кросс-энтропия.

Доказательство E(XY) = E(X) E(Y) для дискретных.
Ковариационная матрица и ожидание для случайных векторов.

12. Совместная и условная функция плостности.
Преобразования случайных величин.

13. Функция производящая моменты и характеристическая функция.
Распределение суммы случайного количества случайных величин.
Случайный выбор слагаемых.

14. Финансовые приложения

Оценивание опционов на биномиальном дереве.
Максимизация долгосрочной прибыли, связь с энтропией.
Возможно, индексы Гиттинса.

Здесь конец модуля 2 и КР-2

15. Сигма-алгебры.

Список известных величин как способ описания информации.
Идея условного ожидания как оптимального прогноза.
Сигма-алгебра как способ описания информации.
Измеримость случайной величины относительно сигма-алгебры.
Сигма-алгебра как ОДЗ для вероятности.
Борелевская сигма-алгебра.
Независимые случайные величины второе определение.

16. Условное математическое ожидание.
Условная дисперсия.
Сумма случайного количества случайных величин.

17. Сходимости случайных величин.

Сходимость по вероятности.
Закон больших чисел.
Сходимость почти наверное.
Усилинный закон больших чисел.
Сходимость по распределению.

18. Связь сходимостей.
Лемма Слуцкого.

19. Центральная предельная теорема.
Доказательство через подмену слагаемых.
Доказательство через характеристические функции.

Здесь контрольная.

20. Винеровский процесс
Условные ожидания, инверсия.

21. Байесовский подход к оцениванию параметров

Балансовое уравнение. Идея MCMC.

22. Доказательства свойств меры

23. Алгоритм построения математического ожидания в общем случае.
Лемма Фату.
Теорема о мажорируемой сходимости.
Теорема о монотонной сходимости.

24. Резерв.

Жемчужинки, которые, вероятно, не успеем:

А. Методы решения задач:
подсчёт случаев с помощью леммы Бернсайда и теоремы Пойа о перечислении
(Burnside lemma, PET = Polya Enumeration Theorem)

B. вероятностные доказательства детерминистических теорем

</div>

== Оценивание ==

Оценка за семестр-1 = 0.2 Домашние задания семестра-1 + 0.4 Контрольная-Альфа + 0.4 Экзамен-Бета.

Финальная оценка за курс = 0.5 Оценка за семестр-1 + 0.1 Домашние задания семестра-2 + 0.2 Контрольная-Гамма + 0.2 Экзамен-Дельта.

Каждая оценка (суммарные итоги за домашние задания, контрольные, экзамены) — целое число от 0 до 100.
Для перевода в 10-балльную шкалу промежуточной оценки за семестр-1 и финальной оценки используется деление на 10
с арифметическим округлением. Например, если Максим получил "оценку за семестр-1" 65 баллов, то в ведомость за первый семестр идёт 7, а далее в формуле финальной оценки за курс используется 65.

=== Домашние задания для самураев ===

Домашние задания [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/home_assignments/home_assignments.pdf одним файлом] и [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/blob/main/home_assignments/ отдельными файлами].
Домашние задания имеют равный вес.
В конце каждой лекции (за исключением ближайших к экзамену лекций)
выдается домашнее задание сроком на две недели.
Дедлайн жёсткий, однако студент имеет право просрочить три домашних задания на неделю каждое без штрафа.

Формат сдачи ДЗ: один pdf-файл (решение текстовых задач) и один ipynb-файл (решение компьютерных задач).
В pdf-файл можно поместить аккуратно написанное отсканированное решение, а можно скомпилировать pdf из теха или маркдауна.
Ещё можно вместо pdf-файла написать всё в ipynb.
Бонусов за сдачу домашки в техе нет. Пример [https://www.overleaf.com/read/qmrkwpzvmqbk шаблона].

Обратите внимание: '''время каждого дедлайна — 23:59'''.

=== Ведомость с оценками за ДЗ ===

{| class="wikitable" style="text-align:center"
|-
! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1872081500#gid=1872081500 235] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1374497930#gid=1374497930 236] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1183164252#gid=1183164252 237] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=408179311#gid=408179311 238] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1032422408#gid=1032422408 239] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1603236891#gid=1603236891 2310] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=791330236#gid=791330236 2311] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=23847300#gid=23847300 2312]
|}

[https://docs.google.com/spreadsheets/d/14hD7-SLmAA1omdkhPlt3blRHDHVGTDS8ZgvLWscvMz8/edit?usp=sharing Сводная ведомость всех оценок]

=== Контрольные работы и экзамен ===

Вес каждой задачи будет написан в тексте работы.
Задачи с ненаписанным по случайности весом имеют равный вес.
Для пропущенных по уважительной причине контрольных будет выделен один день для переписывания.
При пропуске дня переписывания, в том числе по уважительным причинам, ещё одного шанса не предоставляется.

<div class="mw-collapsible mw-collapsed" style="width:1000px; overflow: hidden;">

'''Контрольная работа 1''' состоится 2024-11-11 в 16:20, аудитории: R401, R305, R206, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_halloween_demo/exam_halloween_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/midterm/midterm-alpha.pdf условие с критериями и решениями].

'''Резервный день 1''' для пропустивших по уважительной причине состоится 2024-12-02 в 19:40, R405

'''Показ контрольной 1''':

* задачи 1, 2: заочно до 2024-12-08, [https://t.me/Moskchan Вероника]
* задачи 3, 4 [https://t.me/boris_demeshev Борис], очно, четверг, 2024-12-05, 18:10-21:00, G408
* задачи 5, 6 [https://t.me/XuMuK_MK Максим]: очно, четверг, 2024-12-05, 18:10-21:00, G408

'''Экзамен, модуль 2''' состоится '''''2024-12-24 в 10:00''''', аудитории R301, R304, R401, R404, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_winter_demo/exam_winter_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/december/pmi_probab_2024_december.pdf условие].

Если вы не хотите идти на экзамен, то заполните [https://forms.gle/UQzW77RrPvcdahG47 эту форму], чтобы получить ноль при неявке

'''Апелляция экзамена''':

* задачи 1, 2: заочно [https://t.me/goluba_yurieva Голуба], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/december/exam_problem_1-2.pdf решения и критерии 1, 2];
* задачи 3, 4: очно 2025-01-11, аудитория R408, 14:40-17:40 [https://t.me/madn_boi Никита], [https://www.overleaf.com/read/dnhjcdrndqps#42f1ab решения и критерии 3, 4];
* задачи 5, 6: заочно [https://t.me/levensons Илья]

* дедлайн по заочным апелляциям: суббота 23:59

[https://docs.google.com/spreadsheets/d/1mxMCr3IEDy8EPFWGkn3_dsghhPNcZICEw9C9o5ZoZvA/edit?usp=sharing Распределение по аудиториям]

</div>

Даты пересдач: 2025-01-28 в 18:10, 2025-02-03 в 18:10 и комиссия 2025-02-11 в 18:10.

* задачи 1, 2: [https://t.me/goluba_yurieva Голуба], задачи 3, 4: [https://t.me/madn_boi Никита], задачи 5, 6: [https://t.me/levensons Илья], апелляция пересдачи 2 до 21:00 2025-02-10.

'''Контрольная, модуль 3''' состоится 2025-02-22 в 16:20, аудитории R201, R204, R404, демо, условие.

'''Экзамен, модуль 3''' состоится 2025-03-26 в 14:40, аудитории R301, R404, R405, R503, демо, условие.

== Учебные материалы ==

[https://github.com/bdemeshev/probability_pro/raw/master/probability_pro.pdf PP]: Листки с задачами к курсу.

[https://github.com/bdemeshev/probability_dna/raw/master/probability_dna.pdf PDNA]: Вероятностная ДНК = вкусные задачи по теории вероятностей.

[https://disk.yandex.ru/d/LZ6d2VZVqYvbDQ Видео-летопись семинаров и лекций] и [https://hse.liferooter.dev/ конспект] от тайного благожелателя (updated 2024-10-23]

[https://disk.yandex.ru/d/IoakBXz_6yygPw Официальные видео]

[https://www.cambridgeinternational.org/Images/344616-list-of-formulae-and-statistical-tables.pdf Cambridge statistical tables]

== Дневник самурая ==

2024-09-02, лекция 1: Определение события. Определение случайной величины. Аксиомы вероятности. Определение математического ожидания для дискретного случая.
Линейность математического ожидания. Математическое ожидание как центр масс. Первое знакомоство с перестановочным тестом и p-значением.

Можно глянуть: главы 2.1 и 7 из [https://arxiv.org/pdf/1411.5279 WTSK], метод рычага [https://mathcircle.berkeley.edu/sites/default/files/archivedocs/2007_2008/lectures/0708lecturespdf/MassPointsBMC07.pdf в геометрии].

2024-09-09, лекция 2: Метод первого шага (вероятность выпадения HTH ранее HHT, ожидаемое количество шагов). Метод разложения случайной величины в сумму. Определение случайного вектора. Использование интерпретации ожидания как центра масс в геометрии. Определение теоретической медианы.

Можно глянуть: глава 2.7.2 из [https://projects.iq.harvard.edu/stat110/home BItP], три стратегии решения задачи за 10 минут [https://www.youtube.com/watch?v=xH89DaEI35w Visually Explained]

2024-09-16, лекция 3: Получение новой информации приводит к пересчёту вероятностей. Определение условной вероятности. Формула полной вероятности. Формула Байеса.
Условное математическое ожидание. Формула полного математического ожидания. Независимость пары событий. Независимость набора событий в совокупности.
Независимость величин: неформальное определение. Критерий независимости произвольных величин. Критерий независимости дискретных величин.

2024-09-23, лекция 4: Доказательство критерия независимости для дискретных случайных величин: из независимости {X=x} и {Y=y} следует независимость {X in A} и {Y in B}. Независимость величин равносильна E(f(X))E(g(Y))=E(f(X)g(Y)) для произвольных f, g. Определение биномиальной, геометрической (как числа неудач до 1го успеха) и отрицательной биномиальной случайной величины. Общая идея за производящими функциями: как из функции, производящей исходы эксперимента, с помощью производных и подстановок выудить индивидуальные вероятности, совместные вероятности, ожидания любой степени E(X^a), E(X^a Y^b). Формальное определение функции, производящей вероятности, и функцию, производящей моменты, для одной случайной величины и пары случайных величин. Метатеорема: все теоремы о дискретных величинах доказываются перестановкой слагаемых. Основные дискретные распределения: биномиальное, геометрическое, отрицательное биномиальное.

2024-09-30, лекция 5: Ещё дискретные законы распределения: гипергеометрическое. Описание закона распределения через равномерное распределение на подмножестве R^n.
Функция плотности как линейная часть вероятности попадания в отрезок. Равномерное распределение на отрезке. Смешанные случайные величины. LOTUS: нахождение ожидания любой функции от случайной величины для величин с функцией плотности и смешанных величин. Функция распределения. Квантильная функция.

2024-10-07, лекция 6: Две геометрии случайных величин и событий: E(XY) как скалярное произведение, Cov(X, Y) как скалярное произведение. Математическое ожидание — проекция в рамках геометрии, задаваемой E(XY). Определение и геометрический смысл дисперсии, стандартного отклонения, ковариации и корреляции. Неравенство Маркова. Неравенство Чебышёва. Неравенство Йенсена: интуитивный смысл.

2024-10-14, лекция 7: Доказательство неравенства Йенсена. Энтропия как минимальное ожидаемое число вопросов для отгадывания и формальное определение. Кросс-энтропия.
Доказательство того, что кросс-энтропия больше либо равна энтропии. Совместная энтропия. Условная энтропия. Формула H(X) + H(Y|X) = H(X, Y) без доказательства.
Вывод плотности экспоненциального распределения из предпосылки отсутствия памяти. Экспоненциальное распределение максимизирует энтропию при заданном ожидании и неотрицательности.

* Cristopher Olah, Visual Information Theory, https://colah.github.io/posts/2015-09-Visual-Information/

* Grand Sanderson, Solving Wordle using information theory, [https://www.youtube.com/watch?v=v68zYyaEmEA youtube].

* Artem Kirsanov, Key equation behind probability, [https://www.youtube.com/watch?v=KHVR587oW8I youtube]. У Артёма кросс-энтропия обозначена H(P, Q), а не CE(P||Q)).

* [https://exuberant-arthropod-be8.notion.site/1-02-09-5e107ea1c4054594b8f37d955db8a2b0 Конспект] аналогичной старой лекции псмо на русском.

* Keith Conrad, [https://kconrad.math.uconn.edu/blurbs/analysis/entropypost.pdf Maximal entropy] distributions.

2024-10-21, лекция 8: Ковариационная матрица и её свойства. Совместная функция плотности. Условная функция плотности. Критерий независимости в терминах функций плотности и распределения.
Связь индивидуальной и совместной функций плотности и функций распределения. Смена плотности при замене переменных: домножение на якобиан и неформально про дифференциальные формы. Формула свёртки.
Разложение совместной плотности для графической модели. Представление произвольной совместной функции распределения с помощью копулы.

* Про дифференциальные формы: [https://www.youtube.com/watch?v=PaWj0WxUxGg&list=PL22w63XsKjqzQZtDZO_9s2HEMRJnaOTX7 videos] by Michael Penn, [https://www.math.purdue.edu/~arapura/preprints/diffforms.pdf short intro] by Dony Arapura

* What is a convolution от [https://www.youtube.com/watch?v=KuXjwB4LzSA 3b1b]

* From graphical models to [https://www.youtube.com/watch?v=yBc01ZeaFxw&list=PLISXH-iEM4JlFsAp7trKCWyxeO3M70QyJ Probabilistic ML]

2024-11-11, лекция 9: Пуассоновский поток: аксиомы. Вывод пуассоновского распределения количества событий и экспоненциального времени между событиями из аксиом.
Сумма независимых пуассоновских потоков — это пуассоновский поток (половина доказательства). Вероятность того, что одна экспоненциальная величина будет меньше другой, независимой.

2024-11-18, лекция 10: Гамма-распределение как сумма нескольких экспоненциальных: вывод плотности через вероятность попадания в малый отрезок.
Обобщение плотности на случай положительного параметра $a$. Гамма-функция. Бета-распределение как отношение гамма-распределений. Бета-функция.

2024-11-25, лекция 11: Вывод нормального распределения из предпосылок Гаусса. Вывод нормального распределения из предпосылок Гершеля — Максвелла.

* Saul Stahl, The [https://www.researchgate.net/publication/255668423_The_Evolution_of_the_Normal_Distribution Evolution] of the Normal Distribution: вывод Гаусса с историей.

* Grand Sanderson, [https://www.youtube.com/watch?v=cy8r7WSuT1I Why pi] is in the normal? вывод Гершеля—Максвелла

* James Stein, [http://www-biba.inrialpes.fr/Jaynes/cc07s.pdf Normal Distribution]: глава про нормальное распределение (Гаусс, Гершель—Максвелл, Лэндон etc)

* William Herschel, [https://music.yandex.com/album/209394/track/2121214 концерт для габоя]

* William Herschel, [https://www.informationphilosopher.com/solutions/scientists/quetelet/Herschel_Quetelet_Probabilities.pdf On the theory of Probabilities]: вывод нормального распределения словами на стр. 189-191

2024-12-02, лекция 12: многомерное нормальное распределение. Функция плотности невырожденного многомерного нормального. Функция производящая моменты для многомерного нормального. Формула Иссерлиса с ненулевыми ожиданиями и доказательством. Условное распределение: вывод условного ожидания и условной дисперсии через разложение величины в сумму независимых.

* [https://stats.stackexchange.com/questions/30588/ альтернативный вывод] условного многомерного нормального распределения
* Хитрый [https://github.com/bdemeshev/lis-isserlis/raw/main/lis-isserlis.pdf лис Иссерлис]

2024-12-09, лекция 13: сходимость по распределению, центральная предельная теорема с доказательством подменой слагаемых.

* Calvin Chin [https://arxiv.org/pdf/2106.00871 CLT proof] by swapping
* [https://bdemeshev.github.io/teaching_notes/clt_by_swapping Пересказ доказательства]

2024-12-16, лекция 14: использование бесконечно малых при нахождении ожиданий, трюк с добавление параметра, трюк с закольцовыванием отрезка при равномерном распределении.

2025-01-13, лекция 15: Неединственность предела по распределению. Неаддитивность предела по распределению. Предел по вероятности. Закон больших чисел в слабой форме (с доказательством при дополнительной предпосылке о конечности дисперсии). Теорема о непрерывном отображении.

2025-01-20, лекция 16: два определение сходимости почти наверное с доказательством эквивалентности. Сходимость в Lp. Из сходимости в Lp при p>=1 следует сходимость по вероятности. Из сходимости почти наверное следует сходимость по вероятностям. Контр-пример к разнице сходимостей почти наверное и по вероятности. Контр-пример к разнице сходимостей в Lp и по вероятности. Усиленный закон больших чисел (без доказательства). Леммы Слуцкого (без доказательства).

2025-01-27, лекция 17: характеристические функции и их свойства. Вывод характеристической функции нормального стандартного распределения через дифференциальное уравнение. Характеристическая функция биномиального распредеделения. Второе доказательство ЦПТ (через характеристические функции).

* [https://web.ma.utexas.edu/users/gordanz/notes/characteristic.pdf Gordan Zitkovic]: characteristic functions
* [https://sas.uwaterloo.ca/~dlmcleis/s901/chapt6.pdf McLeish]: clt proof

2025-02-03, лекция 18: пример последовательности сходящийся по вероятности с ожиданием стремящимся к бесконечности. Критерий Кэлли. Критерий оптимальной остановки Брасса.

* [https://en.wikipedia.org/wiki/Kelly_criterion wikipedia]: Kelly criterion
* [https://projecteuclid.org/journalArticle/Download?urlId=10.1214%2Faop%2F1019160340 Bruss]: sum the odds to one and stop

2025-02-10 лекция 19: Сигма-алгебра порождённая случайной величиной или набором из нескольких случайных величин. Замкнутость относительно счётного количества операций с множествами. Сигма-алгебра. Объединение сигма-алгебр не всегда сигма-алгебра. Пересечение сигма-алгебр всегда сигма-алгебра. Измеримость суммы. Борелевская сигма-алгебра.

2025-02-18, лекция 20: [https://us06web.zoom.us/j/82685613040?pwd=bqJoXGItwNOOWddXj1flfmPmDn6fMQ.1 онлайн, 18:10]

=== Семинары ===

==== 473 = 235 + 238 ====

2024-09-02, 06, семинар 1: задачи 1.1, 1.6, 3.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-09, 13, семинар 2: задачи 2.1, 2.3, 12.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-16, 20, семинар 3: задачи 7.12 и 7.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-23, 27, семинар 4: как извлечь P(X=3), E(X), E(X^2Y) из функции, производящей список исходов, 28.16 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-30, -10-04, семинар 5: 9.3в, 9.4, 9.7(абвд, кроме дисперсии, аргументы масштабирования и центра масс помимо интегралов), 9.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-10-07, 11, семинар 6: вычисление Cov, Var, Corr по табличке и из функции плотности, нахождение дисперсии для отрицательного биномиального распределения по свойствам.

2024-10-14, 18, семинар 7: вычисление энтропии геометрического распределения. Изменение энтропии при линейном преобразовании для дискретной величины и величины с функцией плотности.
Кросс-энтропия из экспоненциального в равномерное. Условная энтропия для дискретной таблички. Связь энтропии величины с функцией плотности и энтропия дискретной версии этой случайной величины после "огрубления" с малым шагом 1/k.

2024-10-21, -11-01, семинар 8: 16.18, 16.23 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], свёртка двух экспоненциальных величин

2024-11-11, 15, семинар 9: задачи на пуассоновский поток из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-11-18, 22, семинар 10: задачи на бета и гамма-распределение

2024-11-25, 29, семинар 11: задачи на нормальное распределение, 18.1, 18.2, 18.3, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-02, 06, семинар 12: задачи на многомерное нормальное: 24.16аб, 24.17аб, 24.18, 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-09, 13, семинар 13: ЦПТ и нормальное распределение: 20.2, 20.4, 18.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-19, семинар 14: разбор демо

2025-01-13, семинар 15: сходимость по вероятности: 20.1, 20.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-20, 24, семинар 16: связь между сходимостями, 20.11, 20.13 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-27, 31, семинар 17: 28.17, 28.18, 28.21 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-03, 07, семинар 18: 28.20аб, 28.22 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-10, 17, семинар 19: 6.2, 6.3, 6.11, измеримость произведения из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

==== 236 ====

2024-09-06, семинар 1: в начале семинара рассмотрели основные понятия и определения для решения задач. Решили задачи 1.1, 1.6, 3.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-13, семинар 2: нашли ожидание случайной величины с геом. распределением. Решили задачи 2.1, 12.6, 12.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-09-20, семинар 3: решили задачи 7.12, 7.4(а), 7.7, 7.13(а) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-09-27, семинар 4: разобрали 7.13, почти разобрали 28.3 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Также рассмотрели один контрпример на независимость(тетраэдр Бернштейна).

2024-10-04, семинар 5: разобрались с определениями, решили 9.3(абв), 9.7(аб) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Решили задачку про три точки на отрезке и найти вероятность получить треугольник. Также вывели формулу для мат. ожидания неотрицательной величины через функцию распределения.

2024-10-14, семинар 6: обсудили дисперсию, ковариацию, коэффициент корреляции и их геометрический смысл. Решили задачу на оценку дисперсии ограниченной величины. посчитали дисперсию геометрического, биномиального. Посчитали дисперсию в задаче о письмах и конвертах.

???, семинар 7: определили энтропию, посчитали примеры для дискретных величин, для линейных преобразований. Доказали, что задача максимизации энтропии с фиксированной дисперсией достигается на нормальном распределении.

???, семинар 8: свертка двух экспоненциальных, 16.18 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

???, семинар 9: задачи на пуассоновский процесс из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

???, семинар 10: разбор кр.

???, семинар 11: разобрали задачи на нормальное распределение 18.1, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Также считали распределение суммы двух независимых нормальных.

==== 237 ====

2024-09-09, семинар 1: задачи 1.1, 2.2 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], вероятность что n ладей не бьют друг друга при случайной расстановке на шахматной доске n на n, матожидание числа треугольников в случайном графе на n вершинах через сумму индикаторов

2024-09-13, семинар 2: задачи 2.1, 2.6, 12.3, 12.6, 12.7 (без дисперсий) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-23, семинар 3: задачи 7.2, 7.13, 7.7, 7.8, плюс начали 7.15b (получили неверный ответ) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-27, семинар 4: дорешали 7.15b с небольшой демонстрацией на питоне, разобрали 28.2 для нечестной монетки плюс посчитали матожидание [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-10-04, семинар 5: задачи 9.1, 9.3абв, 9.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], философия про то почему бОльшая плотность не всегда означает бОльшую вероятность оказаться в окрестности данной точки (плотность может занимать слишком маленький объем)

2024-10-11, семинар 6: вспомнили определения Cov/Var/Corr, посчитали у пары дискретных величин по табличке вероятностей, посчитали дисперсию у биномиального, геометрического, непрерывного равномерного на отрезке.

2024-10-18, семинар 7: вычисление энтропии геометрического распределения; ограниченность энтропии снизу и сверху в дискретном случае; изменение энтропии при линейном преобразовании для дискретной величины и величины с функцией плотности; условная энтропия, KL дивергенция и кросс-энтропия, неотрицательность KL, интерпретация на пальцах с точки зрения теории информации.

2024-11-01, семинар 8: 16.18, 16.23 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], свёртка двух экспоненциальных величин

2024-11-08, семинар 9: решали пробный вариант КР

2024-11-15, семинар 10: 13.1, 13.2, 13.5, 13.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-11-22, семинар 11: разбор КР

2024-11-29, семинар 12: нормальное распределение, 18.1, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-06, семинар 13: многомерное нормальное распределение, изменение среднего и матрицы ковариаций при линейном преобразовании, 24.4а, 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-13, семинар 14: 24.4в из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], сходимости случайных величин, ЗБЧ и ЦПТ, 20.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-21, семинар 15: наследование сходимости, 20.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], плюс доказали предельную теорему Пуассона

2025-01-28, семинар 16: связь между сходимостями, 20.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], лемма Слуцкого, подмена дисперсии на выборочную дисперсию в ЦПТ

2025-02-04, семинар 17: базовые свойства хар функций, хар функция суммы независимых величин, 28.17, 28.20 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

==== 239 ====

2024-09-03, семинар 1: задачи 1.1, 1.4, пытались 1.8 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Ещё успели посчитать вероятность N=k бросков монеты до выпадения первого орла, матожидание N. И ещё сделали то же для количества бросков до выпадения 3 орлов (не в серии).

2024-09-10, семинар 2: доказали формулу включения-исключения, решили несложную задачу, порешали 2.7 задачи типа 12.*

2024-09-17, семинар 3: Решили две прямых задачи на формулу Байеса и формулу полной вероятности (без большого количества вычислений). Решили задачу поиска вероятности неисправного кофе-автомата из 3 при условии, что бросили деньги в 1 и 2 и их зажевало. Ещё нашли вероятность, что мяч будет у игрока 3 после шага 10 (все садятся в круг и на каждом шаге бросают мяч соседу с вероятностью 0.3 и оставляют у себя с вероятностью 0.4).

2024-09-24, семинар 4: Вспомнили про метод первого шага, используя формулу полной вероятности и введя в некотором виде формулу полного матожидания, записали формулу для вероятностей нахождения в состоянии i через произведение переходной матрицы на вектор. Совсем немного начали производящие функции, но решили не считать 31ю производную многочлена.

2024-10-01, семинар 5: Исследуем дискретные случайные величины (Биномиальная, Геометрическая и разные похожие) с использованием техник вычислений моментов через производящую функцию. Задачи на распределения величин, посчитанных по набору величин. Первая большая задача про плотность.

2024-10-08, семинар 6: разминочная про плотность и функцию распределения. Считаем дисперсию, ковариацию и корреляцию по 2x2 таблице и в равномерном распределении на круге и квадрате [-1,1]х[-1,1].

2024-10-15, семинар 7: пара задач про экспоненциальное распределение, расчёты по теории информации(считаем всякое, чтобы привыкнуть).

2024-10-22, семинар 8: письменные источники не сохранились до наших дней. Согласно преданиям, оьсуждали двери и около контрольной. Говорят, ввели пуассоновский процесс.

2024-???, семинар 9: решаем задачи на пуассоновское в разных формах и обсуждаем омалые в порядковых статистиках.

2024-???, семинар 10: учимся интерпретироввть гауссовское, пользоваться таблицами для функции Лапласа, а также немного работать с многомерным гауссовским.

2024-3-12, семинар 11: Копаем во все стороны многомерное гауссовское: считаем вероятности для линейных комбинаций гауссовских, проверяем зависимость, вычисляем условные законы, матожидания и ковариационные матрицы, вспоминаем спектральное разложение и разложение Холецкого.

==== 2311 ====

2024-09-06, семинар 1: вероятностное пространство, вероятность на нем, вероятность события, случайная величина и ее распределение (индикатор события, сумма двух кубиков, число бросаний монетки до первого орла), матожидание случайной величины (индикатор, один кубик, два кубика), линейность матожидания. Задачи на линейность матожидания, в том числе ЕГЭшная задача про турнир, 1.5, 3.5 с допвопросом о матожидании числа совпадений. Разговор о получении события произвольной вероятности монеткой в контексте 1.8

2024-09-13, семинар 2: Повторили матожидание суммы на примере 12.3. Обсудили условную вероятность и формулу полной вероятности, условное матожидание, решили задачи на метод первого шага 2.1, 2.3, 2.7.

2024-09-20, семинар 3: Условная вероятность, формула полной вероятности, формула Байеса: 7.1, классическая задача про болезни и тесты, простейшие задачки на общее понимание, обсуждение двух подходов: вычисления условной вероятности по формуле и составления нового вероятностного пространства и подсчет вероятности в нем. Независимые события (события "пики" и "дама" в обычной колоде и колоде с джокерами), независимые в совокупности события, построили пример попарно независимых, но не независимых в совокупности. Обсудили биномиальное распределение. решили задачу: "в корабле к отсеков, чтобы корабль затонул, нужно поразить 2. Независимо выпускают n ракет, каждая из которых поражает случайный отсек с вероятностью p. Найти вероятность потопления корабля"

2024-09-20, семинар 4: Примеры одинаково распределенных зависимых СВ, независимые СВ. Производящая функция и ее свойства. Посчитали для биномиального производящую функцию и второй момент. Обсудили, что будет меняться в случае функции, производящей моменты. Обсудили функцию, производящую множество исходов, как из нее доставать уже известные функции, как ее искать на примере бросания монетки до выпадания HT

2024-10-11, семинар 5: Составили табличку стандартных дискретных распределений, посчитали матожидание геометрического, обсудили дисперсию и ковариацию и их свойства (в дискретном случае), досчитали дисперсии основных распределений. Обсудили вероятностное пространство в общем случае, понятие СВ в общем случае. Дали определение ФР, посчитали ФР для явно заданной СВ. Дали определение плотности.

2024-10-12, семинар 6: Обсудили свойства ФР, как считать вероятность попадания в промежуток в терминах ФР. Выразили ФР 1/X, cos X. Обсудили как выражается веротяность попадания в множество через плотность. для 1/Х выразили плотность в случае абсолютной непрерывности Х. Обсудили формулу для МО в общем виде через интеграл Стильтьеса и как вычислять МО для функции, разлагающейся в сумму абсолютно нерпрерывной и функции скачков, посчитали МО для пары таких СВ

2024-10-18, семинар 7: Обсудили геометрию, заданную скалярным произведением EXY и cov(X,Y), поиск ортогонального элемента и проекции. Посчитали энтропию и кросс-энтропию в дискретном и непрерывном случаях, посчиали совместную и условную энтропию в дискретном случае (23.2, 23.4, 23.9)

2024-11-01, семинар 9: Совместная плотность и ф.р., подсчет вероятностей, маргинальные плотности, замена переменной через якобиан, свертка, матожидание

2024-11-09, семинар 10: Условная плотность, формула условной вероятности. Задача на восстановление маргинальной плотности по условной. Разбор задач из "Летучей мыши"

2024-11-19, семинар 11: Разбор контрольной работы

2024-11-22, семинар 12: Пуассоновский поток - решали задачки из задачника

2024-11-29, семинар 13: Нормальное распределение - задачи из PP, повторили функцию, порождающую моменты, обсудили ее свойства в абсолютно непрерывном случае

2024-12-06, семинар 14: Многомерное нормальное - обсудили два определения, связь между ними, независимость элементов нормального вектора при нулевой ковариации и почему это неверно для произвольных нормальных. порешали задачи 24.9а, 24.10, 24.17

2024-12-013, семинар 15: ЦПТ, решали задачи из задачника

2025-01-17, семинар 16: Сходимости почти наверное и по вероятности, связь со сходимостью по распределению. Посмотрели стандартные контрпримеры, показали, что если есть сходимость по распределению к константе, то есть и по вероятности. ЗБЧ Чебышева и Хинчина, УЗБЧ Колмогорова, обсудили 20.1 сколько успели.

2025-01-24, семинар 17: Сходимость в L_p, связи между сходимостями. Задача 20.11

2025-01-24, семинар 18: Характеристические функции и их свойства. Посчитали хар функции для равномерного, Бернулли, биномиального, Пуассона, экспоненциального. Показали, чо сумма нормальных нормальна. По функции пытались понять, может ли она быть характеристической и восстанавливали с.в.

==== 2310, 2312 ====

2024-09-06, семинар 1: задача 1.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Определили вероятностное пространство в виде тройки, множество исходов рассматривали конечное и счётное. Решили 3 счётные задачи на комбинаторику про колоды карт и счетные последовательности цифр. Привели геометрическое и аналитическое решения задачи про нахождение предела последовательности вероятностей. В конце нашли математическое ожидание геометрически распределённой случайной величины.

2024-09-13, семинар 2: задача 2.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Задача на упорядоченные и неупорядоченные наборы. Задача про классическое вероятностное пространство и про пространство с неравновероятными исходами. Разобрали парадокс Монти Холла. Ввели понятия условной вероятности и независимых случайных величин. Сформулировали и обсудили идеи доказательств трёх теорем: теорема умножения вероятностей, формула полной вероятности и формула Байеса.

2024-09-20, семинар 3: Решили задачу на определение условной вероятности. Обсудили парадокс теоремы Байеса на примере задачи про редкое заболевание, а также посмотрели простую программу на Python, которая считает вероятность в зависимости от количества проведенных тестов на заболевание. Обсудили условное математическое ожидание, некоторые его свойства и рассмотрели пример с подбрасыванием кубика. В конце решили задачу на парадокс дней рождений.

2024-09-27, семинар 4: Обсудили коллизии хеш-функций и связь с атакой "дней рождений". Определили независимость или зависимость случайных величин в четырёх разных вариантах. Обсудили, что неверно утверждать, что матожидание частного независимых случайных величин равно частному матожиданий, также привели пример использования подобного факта в некоторых статьях. В конце решили задачу на поиск функции производящей исходы, а также нашли E(X), E(Y^2), E(XY) с помощью найденной функции.

2024-10-04, семинар 5: Решили две простые задачи на условную вероятность и на теорему об умножении вероятностей. Обсудили связь дерева событий с условной вероятностью и теоремой об умножении вероятностей. Нашли производящую функцию моментов для геометрически распределенной случайной величины и с помощью нее нашли матожидание. Нашли производящую функцию моментов и матожидание суммы случайного количества н.о.р случайных величин.

2024-10-11, семинар 6: Привели аналогии между дискретными и непрерывными случайными величинами. Нарисовали графики функций от случайных величин. Вспомнили определение и свойства дисперсии. Решили простую задачу на подсчет дисперсии и нашли дисперсию геометрически распределенной случайной величины. Обсудили, когда может быть матожидание и дисперсия бесконечны. Далее вспомнили неравенства Маркова и Чебышева, вывели следствия и решили 3 задачи на применение этих неравенств. Обсудили, что неравенство Маркова может давать как точную оценку, так и очень слабую. Показали, что неотрицательность случайной величины в неравенстве Маркова является существенным условием.

2024-10-11, семинар 7: Повторили понятия энтропии в битах и натах, а также понятие дифференциальной энтропии. Нашли энтропию в схеме Бернулли и энтропии геометрического и экспоненциального распределений. Доказали простую оценку сверху для энтропии случайной величины, имеющей конечный носитель мощности n.

2024-11-1, семинар 8: Разобрали демо-вариант контрольной работы "Тыква".

2024-11-8, семинар 9: Разобрали демо-вариант контрольной работы "Летучая мышь".

2024-11-15, семинар 10: Понятие случайного процесса. Определение пуассоновского процесса, его свойства. Три простые задачи на пуассоновское распределение. Задачи 13.1 и 13.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-11-22, семинар 11: Определения Бета-функции и Гамма-функции. Бета и Гамма распределения, их функции плотности и графики. Нахождение моды случайных величин, имеющих Бета и Гамма распределения. Связь пуассоновского процесса с Гамма распределением. В конце нашли производящую функцию моментов Гамма распределения.

2024-11-29, семинар 12: Задачи 18.1, 18.2 и 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-12-06, семинар 13: Нашли многомерное нормальное распределение по виду функции плотности (константа на экспоненту с квадратичным показателем). С помощью формулы Иссерлиса нашли матожидания произведений различных или одинаковых случайных величин, имеющих многомерное нормальное распределение. Нашли условную вероятность многомерного распределения. Задача 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-12-13, семинар 14: Повторили определение сходимости по распределению и центральную предельную теорему. Решили задачи 20.2 и 20.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

== Источники ==

Источники мудрости, которые я постарался не замутить :)

[https://arxiv.org/pdf/1411.5279 WTSK]: Tim Hesterberg, What Teachers Should Know About the Bootstrap: вкусное и доступное изложение бутстрэпа и перестановочных тестов.

[https://projects.iq.harvard.edu/stat110/home BItP]: Blitzstein, Hwang, Introduction to Probability: учебник, записи лекций, гарвардский курс.

Теория вероятностей 2024/25 (основной поток)

2025-02-18T16:02:27Z

Bdemeshev: /* Дневник самурая */

= Преподаватели и учебные ассистенты =

{| class="wikitable" style="text-align:center"
|-
! Группа !! БПМИ235 !! БПМИ236 !! БПМИ237 !! БПМИ238 !! БПМИ239 !! БПМИ2310 !! БПМИ2311 !! БПМИ2312
|-
|| Лектор ||colspan="11"| [https://t.me/boris_demeshev Борис Демешев]
|-
|| Семинарист || [https://t.me/boris_demeshev Борис Демешев] || [https://t.me/levensons Илья Левин] || [https://t.me/madn_boi Никита Морозов] || [https://t.me/boris_demeshev Борис Демешев] || [https://t.me/XuMuK_MK Максим Каледин] || [https://t.me/goluba_yurieva Голуба Юрьева] || [https://t.me/Moskchan Вероника Владыкина] || [https://t.me/goluba_yurieva Голуба Юрьева]
|-
|| Ассистент || [https://t.me/nerhneiro Ира Скворцова] || [https://t.me/a_ameli_ig Амелия Алаева] || [https://t.me/htual Алина Бадахова] || [https://t.me/adelyagaraeva Аделя Гараева] || [https://t.me/mabrielka Мария Брель] || [https://t.me/zm_ann Анна Зыкова-Мызина] || [https://t.me/Yanlightv Яна Вежновец] || [https://t.me/nol_erk Кирилл Лавриненко]
|-
|| Ассистент курса ||colspan="11"| [https://t.me/Nick_Volya Никита Волянский]
|}

== Цели и задачи курса ==

侍には目標がなく道しかない [Samurai niwa mokuhyō ga naku michi shikanai]

У самурая нет цели и ничего кроме пути.

Вероятный план:
<div class="mw-collapsible mw-collapsed" style="width:1000px; overflow: hidden;">
1. Дискретное вероятностное пространство. Вероятность, математическое ожидание, теоретическая медиана.
Перестановочные тесты, p-значение для перестановочного теста.
Математическое ожидание = центр масс.

NB: здесь сходу рисуем дерево
NB: здесь нет задач на условную вероятность

!предупреждение об обозначениях случайных величин.
Российская традиция — греческие буквы, американская традиция — заглавные английские буквы.
Наш курс: любые буквы. Причина: теория вероятностей применяется в разных областях, где свои традиции.

NB: Способы вычисления вероятностей и ожиданий:
* полный перебор руками
* примерные вычисления руками
* полный перебор на компьютере
* симуляции на компьютере
* ...

2.
Методы решения задач:
* разложение величины в сумму
* метод первого шага
!идея: позиция в игре имеет цену
* just for fun: метод рычага в геометрии через ожидание
NB: рассказать здесь про комплексную случайную величину
NB: по сути здесь мы уже решаем задачи на марковские цепи не говоря страшных определений
LOTUS.

3. Условная вероятность и условное ожидание.
!идея: зануляем вероятности невозможных событий, а остальные — масштабируем.
формула полной вероятности
!идея: дерево "помнит" формулу полной вероятности
формула Байеса

Независимые события.
Независимые случайные величины.

4.
Методы решения задач:
* производящие функции многих переменных
функция как способ записать множество
HTT vs TTH
ABRACADABRA
!разложение по биномиальной формуле

?: можно здесь успеть функцию производящую моменты

5.
Биномиальное распределение.
Геометрическое и гипергеометрическое распределения.
Отрицательное биномиальное распределение.

6.
Равномерное распределение на множестве в R^n
Функция распределения.
Функция плотности и вероятностная дифференциальная форма.
!пояснение про неудачную традиционную терминологию "непрерывная случайная величина"
величина с функцией плотности, величина с непрерывной функцией распределения.

Квантили, квантильная функция.

7. Характеристики случайных величин и неравенства.
Дисперсия.
Энтропия.
Неравенство Маркова.
Неравенство Чебышёва.
Неравенство Йенсена.

Здесь конец модуля 1 и КР-1!

8. Пуассоновский поток.
Аксиомы пуассоновского потока.
Вывод экспоненциального распределения и пуассоновского распределения из аксиом.
Вывод экспоненциального распределения из предпосылки об отсутсвии памяти.

9. Нормальное распределение.
Нормальное распределение: предпосылки Хершела-Максвелла.
Нормальное распределение: аргументация Гаусса за среднее арифметическое.
Нормальное распределение: предпосылки Лэндона (до уравнения в частных производных).

10. Классические непрерывные распределения.

Гамма-распределение, бета-распределение.
Вывод нормального и экспоненциального распредений как минимизации энтропии.

11. Парные характеристики случайных величин.
Наилучшая линейная аппроксимация.
Ковариация.
Корреляция.
Кросс-энтропия.

Доказательство E(XY) = E(X) E(Y) для дискретных.
Ковариационная матрица и ожидание для случайных векторов.

12. Совместная и условная функция плостности.
Преобразования случайных величин.

13. Функция производящая моменты и характеристическая функция.
Распределение суммы случайного количества случайных величин.
Случайный выбор слагаемых.

14. Финансовые приложения

Оценивание опционов на биномиальном дереве.
Максимизация долгосрочной прибыли, связь с энтропией.
Возможно, индексы Гиттинса.

Здесь конец модуля 2 и КР-2

15. Сигма-алгебры.

Список известных величин как способ описания информации.
Идея условного ожидания как оптимального прогноза.
Сигма-алгебра как способ описания информации.
Измеримость случайной величины относительно сигма-алгебры.
Сигма-алгебра как ОДЗ для вероятности.
Борелевская сигма-алгебра.
Независимые случайные величины второе определение.

16. Условное математическое ожидание.
Условная дисперсия.
Сумма случайного количества случайных величин.

17. Сходимости случайных величин.

Сходимость по вероятности.
Закон больших чисел.
Сходимость почти наверное.
Усилинный закон больших чисел.
Сходимость по распределению.

18. Связь сходимостей.
Лемма Слуцкого.

19. Центральная предельная теорема.
Доказательство через подмену слагаемых.
Доказательство через характеристические функции.

Здесь контрольная.

20. Винеровский процесс
Условные ожидания, инверсия.

21. Байесовский подход к оцениванию параметров

Балансовое уравнение. Идея MCMC.

22. Доказательства свойств меры

23. Алгоритм построения математического ожидания в общем случае.
Лемма Фату.
Теорема о мажорируемой сходимости.
Теорема о монотонной сходимости.

24. Резерв.

Жемчужинки, которые, вероятно, не успеем:

А. Методы решения задач:
подсчёт случаев с помощью леммы Бернсайда и теоремы Пойа о перечислении
(Burnside lemma, PET = Polya Enumeration Theorem)

B. вероятностные доказательства детерминистических теорем

</div>

== Оценивание ==

Оценка за семестр-1 = 0.2 Домашние задания семестра-1 + 0.4 Контрольная-Альфа + 0.4 Экзамен-Бета.

Финальная оценка за курс = 0.5 Оценка за семестр-1 + 0.1 Домашние задания семестра-2 + 0.2 Контрольная-Гамма + 0.2 Экзамен-Дельта.

Каждая оценка (суммарные итоги за домашние задания, контрольные, экзамены) — целое число от 0 до 100.
Для перевода в 10-балльную шкалу промежуточной оценки за семестр-1 и финальной оценки используется деление на 10
с арифметическим округлением. Например, если Максим получил "оценку за семестр-1" 65 баллов, то в ведомость за первый семестр идёт 7, а далее в формуле финальной оценки за курс используется 65.

=== Домашние задания для самураев ===

Домашние задания [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/home_assignments/home_assignments.pdf одним файлом] и [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/blob/main/home_assignments/ отдельными файлами].
Домашние задания имеют равный вес.
В конце каждой лекции (за исключением ближайших к экзамену лекций)
выдается домашнее задание сроком на две недели.
Дедлайн жёсткий, однако студент имеет право просрочить три домашних задания на неделю каждое без штрафа.

Формат сдачи ДЗ: один pdf-файл (решение текстовых задач) и один ipynb-файл (решение компьютерных задач).
В pdf-файл можно поместить аккуратно написанное отсканированное решение, а можно скомпилировать pdf из теха или маркдауна.
Ещё можно вместо pdf-файла написать всё в ipynb.
Бонусов за сдачу домашки в техе нет. Пример [https://www.overleaf.com/read/qmrkwpzvmqbk шаблона].

Обратите внимание: '''время каждого дедлайна — 23:59'''.

=== Ведомость с оценками за ДЗ ===

{| class="wikitable" style="text-align:center"
|-
! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1872081500#gid=1872081500 235] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1374497930#gid=1374497930 236] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1183164252#gid=1183164252 237] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=408179311#gid=408179311 238] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1032422408#gid=1032422408 239] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=1603236891#gid=1603236891 2310] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=791330236#gid=791330236 2311] !! [https://docs.google.com/spreadsheets/d/1fiOBRtOOFTdJ7kBoXralnFh6QfuDuwcNm8ZaSGGwsv8/edit?gid=23847300#gid=23847300 2312]
|}

[https://docs.google.com/spreadsheets/d/14hD7-SLmAA1omdkhPlt3blRHDHVGTDS8ZgvLWscvMz8/edit?usp=sharing Сводная ведомость всех оценок]

=== Контрольные работы и экзамен ===

Вес каждой задачи будет написан в тексте работы.
Задачи с ненаписанным по случайности весом имеют равный вес.
Для пропущенных по уважительной причине контрольных будет выделен один день для переписывания.
При пропуске дня переписывания, в том числе по уважительным причинам, ещё одного шанса не предоставляется.

<div class="mw-collapsible mw-collapsed" style="width:1000px; overflow: hidden;">

'''Контрольная работа 1''' состоится 2024-11-11 в 16:20, аудитории: R401, R305, R206, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_halloween_demo/exam_halloween_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/midterm/midterm-alpha.pdf условие с критериями и решениями].

'''Резервный день 1''' для пропустивших по уважительной причине состоится 2024-12-02 в 19:40, R405

'''Показ контрольной 1''':

* задачи 1, 2: заочно до 2024-12-08, [https://t.me/Moskchan Вероника]
* задачи 3, 4 [https://t.me/boris_demeshev Борис], очно, четверг, 2024-12-05, 18:10-21:00, G408
* задачи 5, 6 [https://t.me/XuMuK_MK Максим]: очно, четверг, 2024-12-05, 18:10-21:00, G408

'''Экзамен, модуль 2''' состоится '''''2024-12-24 в 10:00''''', аудитории R301, R304, R401, R404, [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/exam_winter_demo/exam_winter_demo.pdf демо], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/december/pmi_probab_2024_december.pdf условие].

Если вы не хотите идти на экзамен, то заполните [https://forms.gle/UQzW77RrPvcdahG47 эту форму], чтобы получить ноль при неявке

'''Апелляция экзамена''':

* задачи 1, 2: заочно [https://t.me/goluba_yurieva Голуба], [https://github.com/bdemeshev/hse_pmi_probability_2024_2025/raw/main/december/exam_problem_1-2.pdf решения и критерии 1, 2];
* задачи 3, 4: очно 2025-01-11, аудитория R408, 14:40-17:40 [https://t.me/madn_boi Никита], [https://www.overleaf.com/read/dnhjcdrndqps#42f1ab решения и критерии 3, 4];
* задачи 5, 6: заочно [https://t.me/levensons Илья]

* дедлайн по заочным апелляциям: суббота 23:59

[https://docs.google.com/spreadsheets/d/1mxMCr3IEDy8EPFWGkn3_dsghhPNcZICEw9C9o5ZoZvA/edit?usp=sharing Распределение по аудиториям]

</div>

Даты пересдач: 2025-01-28 в 18:10, 2025-02-03 в 18:10 и комиссия 2025-02-11 в 18:10.

* задачи 1, 2: [https://t.me/goluba_yurieva Голуба], задачи 3, 4: [https://t.me/madn_boi Никита], задачи 5, 6: [https://t.me/levensons Илья], апелляция пересдачи 2 до 21:00 2025-02-10.

'''Контрольная, модуль 3''' состоится 2025-02-22 в 16:20, аудитории R201, R204, R404, демо, условие.

'''Экзамен, модуль 3''' состоится 2025-03-26 в 14:40, аудитории R301, R404, R405, R503, демо, условие.

== Учебные материалы ==

[https://github.com/bdemeshev/probability_pro/raw/master/probability_pro.pdf PP]: Листки с задачами к курсу.

[https://github.com/bdemeshev/probability_dna/raw/master/probability_dna.pdf PDNA]: Вероятностная ДНК = вкусные задачи по теории вероятностей.

[https://disk.yandex.ru/d/LZ6d2VZVqYvbDQ Видео-летопись семинаров и лекций] и [https://hse.liferooter.dev/ конспект] от тайного благожелателя (updated 2024-10-23]

[https://disk.yandex.ru/d/IoakBXz_6yygPw Официальные видео]

[https://www.cambridgeinternational.org/Images/344616-list-of-formulae-and-statistical-tables.pdf Cambridge statistical tables]

== Дневник самурая ==

2024-09-02, лекция 1: Определение события. Определение случайной величины. Аксиомы вероятности. Определение математического ожидания для дискретного случая.
Линейность математического ожидания. Математическое ожидание как центр масс. Первое знакомоство с перестановочным тестом и p-значением.

Можно глянуть: главы 2.1 и 7 из [https://arxiv.org/pdf/1411.5279 WTSK], метод рычага [https://mathcircle.berkeley.edu/sites/default/files/archivedocs/2007_2008/lectures/0708lecturespdf/MassPointsBMC07.pdf в геометрии].

2024-09-09, лекция 2: Метод первого шага (вероятность выпадения HTH ранее HHT, ожидаемое количество шагов). Метод разложения случайной величины в сумму. Определение случайного вектора. Использование интерпретации ожидания как центра масс в геометрии. Определение теоретической медианы.

Можно глянуть: глава 2.7.2 из [https://projects.iq.harvard.edu/stat110/home BItP], три стратегии решения задачи за 10 минут [https://www.youtube.com/watch?v=xH89DaEI35w Visually Explained]

2024-09-16, лекция 3: Получение новой информации приводит к пересчёту вероятностей. Определение условной вероятности. Формула полной вероятности. Формула Байеса.
Условное математическое ожидание. Формула полного математического ожидания. Независимость пары событий. Независимость набора событий в совокупности.
Независимость величин: неформальное определение. Критерий независимости произвольных величин. Критерий независимости дискретных величин.

2024-09-23, лекция 4: Доказательство критерия независимости для дискретных случайных величин: из независимости {X=x} и {Y=y} следует независимость {X in A} и {Y in B}. Независимость величин равносильна E(f(X))E(g(Y))=E(f(X)g(Y)) для произвольных f, g. Определение биномиальной, геометрической (как числа неудач до 1го успеха) и отрицательной биномиальной случайной величины. Общая идея за производящими функциями: как из функции, производящей исходы эксперимента, с помощью производных и подстановок выудить индивидуальные вероятности, совместные вероятности, ожидания любой степени E(X^a), E(X^a Y^b). Формальное определение функции, производящей вероятности, и функцию, производящей моменты, для одной случайной величины и пары случайных величин. Метатеорема: все теоремы о дискретных величинах доказываются перестановкой слагаемых. Основные дискретные распределения: биномиальное, геометрическое, отрицательное биномиальное.

2024-09-30, лекция 5: Ещё дискретные законы распределения: гипергеометрическое. Описание закона распределения через равномерное распределение на подмножестве R^n.
Функция плотности как линейная часть вероятности попадания в отрезок. Равномерное распределение на отрезке. Смешанные случайные величины. LOTUS: нахождение ожидания любой функции от случайной величины для величин с функцией плотности и смешанных величин. Функция распределения. Квантильная функция.

2024-10-07, лекция 6: Две геометрии случайных величин и событий: E(XY) как скалярное произведение, Cov(X, Y) как скалярное произведение. Математическое ожидание — проекция в рамках геометрии, задаваемой E(XY). Определение и геометрический смысл дисперсии, стандартного отклонения, ковариации и корреляции. Неравенство Маркова. Неравенство Чебышёва. Неравенство Йенсена: интуитивный смысл.

2024-10-14, лекция 7: Доказательство неравенства Йенсена. Энтропия как минимальное ожидаемое число вопросов для отгадывания и формальное определение. Кросс-энтропия.
Доказательство того, что кросс-энтропия больше либо равна энтропии. Совместная энтропия. Условная энтропия. Формула H(X) + H(Y|X) = H(X, Y) без доказательства.
Вывод плотности экспоненциального распределения из предпосылки отсутствия памяти. Экспоненциальное распределение максимизирует энтропию при заданном ожидании и неотрицательности.

* Cristopher Olah, Visual Information Theory, https://colah.github.io/posts/2015-09-Visual-Information/

* Grand Sanderson, Solving Wordle using information theory, [https://www.youtube.com/watch?v=v68zYyaEmEA youtube].

* Artem Kirsanov, Key equation behind probability, [https://www.youtube.com/watch?v=KHVR587oW8I youtube]. У Артёма кросс-энтропия обозначена H(P, Q), а не CE(P||Q)).

* [https://exuberant-arthropod-be8.notion.site/1-02-09-5e107ea1c4054594b8f37d955db8a2b0 Конспект] аналогичной старой лекции псмо на русском.

* Keith Conrad, [https://kconrad.math.uconn.edu/blurbs/analysis/entropypost.pdf Maximal entropy] distributions.

2024-10-21, лекция 8: Ковариационная матрица и её свойства. Совместная функция плотности. Условная функция плотности. Критерий независимости в терминах функций плотности и распределения.
Связь индивидуальной и совместной функций плотности и функций распределения. Смена плотности при замене переменных: домножение на якобиан и неформально про дифференциальные формы. Формула свёртки.
Разложение совместной плотности для графической модели. Представление произвольной совместной функции распределения с помощью копулы.

* Про дифференциальные формы: [https://www.youtube.com/watch?v=PaWj0WxUxGg&list=PL22w63XsKjqzQZtDZO_9s2HEMRJnaOTX7 videos] by Michael Penn, [https://www.math.purdue.edu/~arapura/preprints/diffforms.pdf short intro] by Dony Arapura

* What is a convolution от [https://www.youtube.com/watch?v=KuXjwB4LzSA 3b1b]

* From graphical models to [https://www.youtube.com/watch?v=yBc01ZeaFxw&list=PLISXH-iEM4JlFsAp7trKCWyxeO3M70QyJ Probabilistic ML]

2024-11-11, лекция 9: Пуассоновский поток: аксиомы. Вывод пуассоновского распределения количества событий и экспоненциального времени между событиями из аксиом.
Сумма независимых пуассоновских потоков — это пуассоновский поток (половина доказательства). Вероятность того, что одна экспоненциальная величина будет меньше другой, независимой.

2024-11-18, лекция 10: Гамма-распределение как сумма нескольких экспоненциальных: вывод плотности через вероятность попадания в малый отрезок.
Обобщение плотности на случай положительного параметра $a$. Гамма-функция. Бета-распределение как отношение гамма-распределений. Бета-функция.

2024-11-25, лекция 11: Вывод нормального распределения из предпосылок Гаусса. Вывод нормального распределения из предпосылок Гершеля — Максвелла.

* Saul Stahl, The [https://www.researchgate.net/publication/255668423_The_Evolution_of_the_Normal_Distribution Evolution] of the Normal Distribution: вывод Гаусса с историей.

* Grand Sanderson, [https://www.youtube.com/watch?v=cy8r7WSuT1I Why pi] is in the normal? вывод Гершеля—Максвелла

* James Stein, [http://www-biba.inrialpes.fr/Jaynes/cc07s.pdf Normal Distribution]: глава про нормальное распределение (Гаусс, Гершель—Максвелл, Лэндон etc)

* William Herschel, [https://music.yandex.com/album/209394/track/2121214 концерт для габоя]

* William Herschel, [https://www.informationphilosopher.com/solutions/scientists/quetelet/Herschel_Quetelet_Probabilities.pdf On the theory of Probabilities]: вывод нормального распределения словами на стр. 189-191

2024-12-02, лекция 12: многомерное нормальное распределение. Функция плотности невырожденного многомерного нормального. Функция производящая моменты для многомерного нормального. Формула Иссерлиса с ненулевыми ожиданиями и доказательством. Условное распределение: вывод условного ожидания и условной дисперсии через разложение величины в сумму независимых.

* [https://stats.stackexchange.com/questions/30588/ альтернативный вывод] условного многомерного нормального распределения
* Хитрый [https://github.com/bdemeshev/lis-isserlis/raw/main/lis-isserlis.pdf лис Иссерлис]

2024-12-09, лекция 13: сходимость по распределению, центральная предельная теорема с доказательством подменой слагаемых.

* Calvin Chin [https://arxiv.org/pdf/2106.00871 CLT proof] by swapping
* [https://bdemeshev.github.io/teaching_notes/clt_by_swapping Пересказ доказательства]

2024-12-16, лекция 14: использование бесконечно малых при нахождении ожиданий, трюк с добавление параметра, трюк с закольцовыванием отрезка при равномерном распределении.

2025-01-13, лекция 15: Неединственность предела по распределению. Неаддитивность предела по распределению. Предел по вероятности. Закон больших чисел в слабой форме (с доказательством при дополнительной предпосылке о конечности дисперсии). Теорема о непрерывном отображении.

2025-01-20, лекция 16: два определение сходимости почти наверное с доказательством эквивалентности. Сходимость в Lp. Из сходимости в Lp при p>=1 следует сходимость по вероятности. Из сходимости почти наверное следует сходимость по вероятностям. Контр-пример к разнице сходимостей почти наверное и по вероятности. Контр-пример к разнице сходимостей в Lp и по вероятности. Усиленный закон больших чисел (без доказательства). Леммы Слуцкого (без доказательства).

2025-01-27, лекция 17: характеристические функции и их свойства. Вывод характеристической функции нормального стандартного распределения через дифференциальное уравнение. Характеристическая функция биномиального распредеделения. Второе доказательство ЦПТ (через характеристические функции).

* [https://web.ma.utexas.edu/users/gordanz/notes/characteristic.pdf Gordan Zitkovic]: characteristic functions
* [https://sas.uwaterloo.ca/~dlmcleis/s901/chapt6.pdf McLeish]: clt proof

2025-02-03, лекция 18: пример последовательности сходящийся по вероятности с ожиданием стремящимся к бесконечности. Критерий Кэлли. Критерий оптимальной остановки Брасса.

* [https://en.wikipedia.org/wiki/Kelly_criterion wikipedia]: Kelly criterion
* [https://projecteuclid.org/journalArticle/Download?urlId=10.1214%2Faop%2F1019160340 Bruss]: sum the odds to one and stop

2025-02-10 лекция 19: Сигма-алгебра порождённая случайной величиной или набором из нескольких случайных величин. Замкнутость относительно счётного количества операций с множествами. Сигма-алгебра. Объединение сигма-алгебр не всегда сигма-алгебра. Пересечение сигма-алгебр всегда сигма-алгебра. Измеримость суммы. Борелевская сигма-алгебра.

2025-02-18, [https://us06web.zoom.us/j/82685613040?pwd=bqJoXGItwNOOWddXj1flfmPmDn6fMQ.1 онлайн]

=== Семинары ===

==== 473 = 235 + 238 ====

2024-09-02, 06, семинар 1: задачи 1.1, 1.6, 3.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-09, 13, семинар 2: задачи 2.1, 2.3, 12.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-16, 20, семинар 3: задачи 7.12 и 7.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-23, 27, семинар 4: как извлечь P(X=3), E(X), E(X^2Y) из функции, производящей список исходов, 28.16 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-30, -10-04, семинар 5: 9.3в, 9.4, 9.7(абвд, кроме дисперсии, аргументы масштабирования и центра масс помимо интегралов), 9.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-10-07, 11, семинар 6: вычисление Cov, Var, Corr по табличке и из функции плотности, нахождение дисперсии для отрицательного биномиального распределения по свойствам.

2024-10-14, 18, семинар 7: вычисление энтропии геометрического распределения. Изменение энтропии при линейном преобразовании для дискретной величины и величины с функцией плотности.
Кросс-энтропия из экспоненциального в равномерное. Условная энтропия для дискретной таблички. Связь энтропии величины с функцией плотности и энтропия дискретной версии этой случайной величины после "огрубления" с малым шагом 1/k.

2024-10-21, -11-01, семинар 8: 16.18, 16.23 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], свёртка двух экспоненциальных величин

2024-11-11, 15, семинар 9: задачи на пуассоновский поток из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-11-18, 22, семинар 10: задачи на бета и гамма-распределение

2024-11-25, 29, семинар 11: задачи на нормальное распределение, 18.1, 18.2, 18.3, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-02, 06, семинар 12: задачи на многомерное нормальное: 24.16аб, 24.17аб, 24.18, 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-09, 13, семинар 13: ЦПТ и нормальное распределение: 20.2, 20.4, 18.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-19, семинар 14: разбор демо

2025-01-13, семинар 15: сходимость по вероятности: 20.1, 20.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-20, 24, семинар 16: связь между сходимостями, 20.11, 20.13 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-27, 31, семинар 17: 28.17, 28.18, 28.21 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-03, 07, семинар 18: 28.20аб, 28.22 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-02-10, 17, семинар 19: 6.2, 6.3, 6.11, измеримость произведения из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

==== 236 ====

2024-09-06, семинар 1: в начале семинара рассмотрели основные понятия и определения для решения задач. Решили задачи 1.1, 1.6, 3.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-13, семинар 2: нашли ожидание случайной величины с геом. распределением. Решили задачи 2.1, 12.6, 12.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-09-20, семинар 3: решили задачи 7.12, 7.4(а), 7.7, 7.13(а) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-09-27, семинар 4: разобрали 7.13, почти разобрали 28.3 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Также рассмотрели один контрпример на независимость(тетраэдр Бернштейна).

2024-10-04, семинар 5: разобрались с определениями, решили 9.3(абв), 9.7(аб) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Решили задачку про три точки на отрезке и найти вероятность получить треугольник. Также вывели формулу для мат. ожидания неотрицательной величины через функцию распределения.

2024-10-14, семинар 6: обсудили дисперсию, ковариацию, коэффициент корреляции и их геометрический смысл. Решили задачу на оценку дисперсии ограниченной величины. посчитали дисперсию геометрического, биномиального. Посчитали дисперсию в задаче о письмах и конвертах.

???, семинар 7: определили энтропию, посчитали примеры для дискретных величин, для линейных преобразований. Доказали, что задача максимизации энтропии с фиксированной дисперсией достигается на нормальном распределении.

???, семинар 8: свертка двух экспоненциальных, 16.18 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

???, семинар 9: задачи на пуассоновский процесс из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

???, семинар 10: разбор кр.

???, семинар 11: разобрали задачи на нормальное распределение 18.1, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Также считали распределение суммы двух независимых нормальных.

==== 237 ====

2024-09-09, семинар 1: задачи 1.1, 2.2 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], вероятность что n ладей не бьют друг друга при случайной расстановке на шахматной доске n на n, матожидание числа треугольников в случайном графе на n вершинах через сумму индикаторов

2024-09-13, семинар 2: задачи 2.1, 2.6, 12.3, 12.6, 12.7 (без дисперсий) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-23, семинар 3: задачи 7.2, 7.13, 7.7, 7.8, плюс начали 7.15b (получили неверный ответ) из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-09-27, семинар 4: дорешали 7.15b с небольшой демонстрацией на питоне, разобрали 28.2 для нечестной монетки плюс посчитали матожидание [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-10-04, семинар 5: задачи 9.1, 9.3абв, 9.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], философия про то почему бОльшая плотность не всегда означает бОльшую вероятность оказаться в окрестности данной точки (плотность может занимать слишком маленький объем)

2024-10-11, семинар 6: вспомнили определения Cov/Var/Corr, посчитали у пары дискретных величин по табличке вероятностей, посчитали дисперсию у биномиального, геометрического, непрерывного равномерного на отрезке.

2024-10-18, семинар 7: вычисление энтропии геометрического распределения; ограниченность энтропии снизу и сверху в дискретном случае; изменение энтропии при линейном преобразовании для дискретной величины и величины с функцией плотности; условная энтропия, KL дивергенция и кросс-энтропия, неотрицательность KL, интерпретация на пальцах с точки зрения теории информации.

2024-11-01, семинар 8: 16.18, 16.23 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], свёртка двух экспоненциальных величин

2024-11-08, семинар 9: решали пробный вариант КР

2024-11-15, семинар 10: 13.1, 13.2, 13.5, 13.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-11-22, семинар 11: разбор КР

2024-11-29, семинар 12: нормальное распределение, 18.1, 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-06, семинар 13: многомерное нормальное распределение, изменение среднего и матрицы ковариаций при линейном преобразовании, 24.4а, 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2024-12-13, семинар 14: 24.4в из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], сходимости случайных величин, ЗБЧ и ЦПТ, 20.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

2025-01-21, семинар 15: наследование сходимости, 20.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], плюс доказали предельную теорему Пуассона

2025-01-28, семинар 16: связь между сходимостями, 20.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], лемма Слуцкого, подмена дисперсии на выборочную дисперсию в ЦПТ

2025-02-04, семинар 17: базовые свойства хар функций, хар функция суммы независимых величин, 28.17, 28.20 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]

==== 239 ====

2024-09-03, семинар 1: задачи 1.1, 1.4, пытались 1.8 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Ещё успели посчитать вероятность N=k бросков монеты до выпадения первого орла, матожидание N. И ещё сделали то же для количества бросков до выпадения 3 орлов (не в серии).

2024-09-10, семинар 2: доказали формулу включения-исключения, решили несложную задачу, порешали 2.7 задачи типа 12.*

2024-09-17, семинар 3: Решили две прямых задачи на формулу Байеса и формулу полной вероятности (без большого количества вычислений). Решили задачу поиска вероятности неисправного кофе-автомата из 3 при условии, что бросили деньги в 1 и 2 и их зажевало. Ещё нашли вероятность, что мяч будет у игрока 3 после шага 10 (все садятся в круг и на каждом шаге бросают мяч соседу с вероятностью 0.3 и оставляют у себя с вероятностью 0.4).

2024-09-24, семинар 4: Вспомнили про метод первого шага, используя формулу полной вероятности и введя в некотором виде формулу полного матожидания, записали формулу для вероятностей нахождения в состоянии i через произведение переходной матрицы на вектор. Совсем немного начали производящие функции, но решили не считать 31ю производную многочлена.

2024-10-01, семинар 5: Исследуем дискретные случайные величины (Биномиальная, Геометрическая и разные похожие) с использованием техник вычислений моментов через производящую функцию. Задачи на распределения величин, посчитанных по набору величин. Первая большая задача про плотность.

2024-10-08, семинар 6: разминочная про плотность и функцию распределения. Считаем дисперсию, ковариацию и корреляцию по 2x2 таблице и в равномерном распределении на круге и квадрате [-1,1]х[-1,1].

2024-10-15, семинар 7: пара задач про экспоненциальное распределение, расчёты по теории информации(считаем всякое, чтобы привыкнуть).

2024-10-22, семинар 8: письменные источники не сохранились до наших дней. Согласно преданиям, оьсуждали двери и около контрольной. Говорят, ввели пуассоновский процесс.

2024-???, семинар 9: решаем задачи на пуассоновское в разных формах и обсуждаем омалые в порядковых статистиках.

2024-???, семинар 10: учимся интерпретироввть гауссовское, пользоваться таблицами для функции Лапласа, а также немного работать с многомерным гауссовским.

2024-3-12, семинар 11: Копаем во все стороны многомерное гауссовское: считаем вероятности для линейных комбинаций гауссовских, проверяем зависимость, вычисляем условные законы, матожидания и ковариационные матрицы, вспоминаем спектральное разложение и разложение Холецкого.

==== 2311 ====

2024-09-06, семинар 1: вероятностное пространство, вероятность на нем, вероятность события, случайная величина и ее распределение (индикатор события, сумма двух кубиков, число бросаний монетки до первого орла), матожидание случайной величины (индикатор, один кубик, два кубика), линейность матожидания. Задачи на линейность матожидания, в том числе ЕГЭшная задача про турнир, 1.5, 3.5 с допвопросом о матожидании числа совпадений. Разговор о получении события произвольной вероятности монеткой в контексте 1.8

2024-09-13, семинар 2: Повторили матожидание суммы на примере 12.3. Обсудили условную вероятность и формулу полной вероятности, условное матожидание, решили задачи на метод первого шага 2.1, 2.3, 2.7.

2024-09-20, семинар 3: Условная вероятность, формула полной вероятности, формула Байеса: 7.1, классическая задача про болезни и тесты, простейшие задачки на общее понимание, обсуждение двух подходов: вычисления условной вероятности по формуле и составления нового вероятностного пространства и подсчет вероятности в нем. Независимые события (события "пики" и "дама" в обычной колоде и колоде с джокерами), независимые в совокупности события, построили пример попарно независимых, но не независимых в совокупности. Обсудили биномиальное распределение. решили задачу: "в корабле к отсеков, чтобы корабль затонул, нужно поразить 2. Независимо выпускают n ракет, каждая из которых поражает случайный отсек с вероятностью p. Найти вероятность потопления корабля"

2024-09-20, семинар 4: Примеры одинаково распределенных зависимых СВ, независимые СВ. Производящая функция и ее свойства. Посчитали для биномиального производящую функцию и второй момент. Обсудили, что будет меняться в случае функции, производящей моменты. Обсудили функцию, производящую множество исходов, как из нее доставать уже известные функции, как ее искать на примере бросания монетки до выпадания HT

2024-10-11, семинар 5: Составили табличку стандартных дискретных распределений, посчитали матожидание геометрического, обсудили дисперсию и ковариацию и их свойства (в дискретном случае), досчитали дисперсии основных распределений. Обсудили вероятностное пространство в общем случае, понятие СВ в общем случае. Дали определение ФР, посчитали ФР для явно заданной СВ. Дали определение плотности.

2024-10-12, семинар 6: Обсудили свойства ФР, как считать вероятность попадания в промежуток в терминах ФР. Выразили ФР 1/X, cos X. Обсудили как выражается веротяность попадания в множество через плотность. для 1/Х выразили плотность в случае абсолютной непрерывности Х. Обсудили формулу для МО в общем виде через интеграл Стильтьеса и как вычислять МО для функции, разлагающейся в сумму абсолютно нерпрерывной и функции скачков, посчитали МО для пары таких СВ

2024-10-18, семинар 7: Обсудили геометрию, заданную скалярным произведением EXY и cov(X,Y), поиск ортогонального элемента и проекции. Посчитали энтропию и кросс-энтропию в дискретном и непрерывном случаях, посчиали совместную и условную энтропию в дискретном случае (23.2, 23.4, 23.9)

2024-11-01, семинар 9: Совместная плотность и ф.р., подсчет вероятностей, маргинальные плотности, замена переменной через якобиан, свертка, матожидание

2024-11-09, семинар 10: Условная плотность, формула условной вероятности. Задача на восстановление маргинальной плотности по условной. Разбор задач из "Летучей мыши"

2024-11-19, семинар 11: Разбор контрольной работы

2024-11-22, семинар 12: Пуассоновский поток - решали задачки из задачника

2024-11-29, семинар 13: Нормальное распределение - задачи из PP, повторили функцию, порождающую моменты, обсудили ее свойства в абсолютно непрерывном случае

2024-12-06, семинар 14: Многомерное нормальное - обсудили два определения, связь между ними, независимость элементов нормального вектора при нулевой ковариации и почему это неверно для произвольных нормальных. порешали задачи 24.9а, 24.10, 24.17

2024-12-013, семинар 15: ЦПТ, решали задачи из задачника

2025-01-17, семинар 16: Сходимости почти наверное и по вероятности, связь со сходимостью по распределению. Посмотрели стандартные контрпримеры, показали, что если есть сходимость по распределению к константе, то есть и по вероятности. ЗБЧ Чебышева и Хинчина, УЗБЧ Колмогорова, обсудили 20.1 сколько успели.

2025-01-24, семинар 17: Сходимость в L_p, связи между сходимостями. Задача 20.11

2025-01-24, семинар 18: Характеристические функции и их свойства. Посчитали хар функции для равномерного, Бернулли, биномиального, Пуассона, экспоненциального. Показали, чо сумма нормальных нормальна. По функции пытались понять, может ли она быть характеристической и восстанавливали с.в.

==== 2310, 2312 ====

2024-09-06, семинар 1: задача 1.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Определили вероятностное пространство в виде тройки, множество исходов рассматривали конечное и счётное. Решили 3 счётные задачи на комбинаторику про колоды карт и счетные последовательности цифр. Привели геометрическое и аналитическое решения задачи про нахождение предела последовательности вероятностей. В конце нашли математическое ожидание геометрически распределённой случайной величины.

2024-09-13, семинар 2: задача 2.1 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP]. Задача на упорядоченные и неупорядоченные наборы. Задача про классическое вероятностное пространство и про пространство с неравновероятными исходами. Разобрали парадокс Монти Холла. Ввели понятия условной вероятности и независимых случайных величин. Сформулировали и обсудили идеи доказательств трёх теорем: теорема умножения вероятностей, формула полной вероятности и формула Байеса.

2024-09-20, семинар 3: Решили задачу на определение условной вероятности. Обсудили парадокс теоремы Байеса на примере задачи про редкое заболевание, а также посмотрели простую программу на Python, которая считает вероятность в зависимости от количества проведенных тестов на заболевание. Обсудили условное математическое ожидание, некоторые его свойства и рассмотрели пример с подбрасыванием кубика. В конце решили задачу на парадокс дней рождений.

2024-09-27, семинар 4: Обсудили коллизии хеш-функций и связь с атакой "дней рождений". Определили независимость или зависимость случайных величин в четырёх разных вариантах. Обсудили, что неверно утверждать, что матожидание частного независимых случайных величин равно частному матожиданий, также привели пример использования подобного факта в некоторых статьях. В конце решили задачу на поиск функции производящей исходы, а также нашли E(X), E(Y^2), E(XY) с помощью найденной функции.

2024-10-04, семинар 5: Решили две простые задачи на условную вероятность и на теорему об умножении вероятностей. Обсудили связь дерева событий с условной вероятностью и теоремой об умножении вероятностей. Нашли производящую функцию моментов для геометрически распределенной случайной величины и с помощью нее нашли матожидание. Нашли производящую функцию моментов и матожидание суммы случайного количества н.о.р случайных величин.

2024-10-11, семинар 6: Привели аналогии между дискретными и непрерывными случайными величинами. Нарисовали графики функций от случайных величин. Вспомнили определение и свойства дисперсии. Решили простую задачу на подсчет дисперсии и нашли дисперсию геометрически распределенной случайной величины. Обсудили, когда может быть матожидание и дисперсия бесконечны. Далее вспомнили неравенства Маркова и Чебышева, вывели следствия и решили 3 задачи на применение этих неравенств. Обсудили, что неравенство Маркова может давать как точную оценку, так и очень слабую. Показали, что неотрицательность случайной величины в неравенстве Маркова является существенным условием.

2024-10-11, семинар 7: Повторили понятия энтропии в битах и натах, а также понятие дифференциальной энтропии. Нашли энтропию в схеме Бернулли и энтропии геометрического и экспоненциального распределений. Доказали простую оценку сверху для энтропии случайной величины, имеющей конечный носитель мощности n.

2024-11-1, семинар 8: Разобрали демо-вариант контрольной работы "Тыква".

2024-11-8, семинар 9: Разобрали демо-вариант контрольной работы "Летучая мышь".

2024-11-15, семинар 10: Понятие случайного процесса. Определение пуассоновского процесса, его свойства. Три простые задачи на пуассоновское распределение. Задачи 13.1 и 13.4 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-11-22, семинар 11: Определения Бета-функции и Гамма-функции. Бета и Гамма распределения, их функции плотности и графики. Нахождение моды случайных величин, имеющих Бета и Гамма распределения. Связь пуассоновского процесса с Гамма распределением. В конце нашли производящую функцию моментов Гамма распределения.

2024-11-29, семинар 12: Задачи 18.1, 18.2 и 18.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-12-06, семинар 13: Нашли многомерное нормальное распределение по виду функции плотности (константа на экспоненту с квадратичным показателем). С помощью формулы Иссерлиса нашли матожидания произведений различных или одинаковых случайных величин, имеющих многомерное нормальное распределение. Нашли условную вероятность многомерного распределения. Задача 24.10 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

2024-12-13, семинар 14: Повторили определение сходимости по распределению и центральную предельную теорему. Решили задачи 20.2 и 20.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP].

== Источники ==

Источники мудрости, которые я постарался не замутить :)

[https://arxiv.org/pdf/1411.5279 WTSK]: Tim Hesterberg, What Teachers Should Know About the Bootstrap: вкусное и доступное изложение бутстрэпа и перестановочных тестов.

[https://projects.iq.harvard.edu/stat110/home BItP]: Blitzstein, Hwang, Introduction to Probability: учебник, записи лекций, гарвардский курс.