Wiki - Факультет компьютерных наук - Вклад [ru]

Statistics 4mr 2021-22

2021-12-13T15:33:13Z

Vvkodzaeva: лекция 13

== О курсе ==
[https://www.youtube.com/channel/UC8PQpPltnaMvlr6g1wkkTqw/featured Youtube-канал с лекциями]

'''Оценивание'''

UoL = Экзамен * 0.7 + Письменная (или курсовая) работа * 0.3

Итоговая оценка = Экзамен * 0.5 + 0.3 * Контрольная работа + 0.2 * Домашняя работа

==== Module 1 ====
(1 lecture + 1 class per group X 7 weeks)

* Bootstrap
* Welch test
* Mann-Whitney test
* CUPED
* Difference in Difference estimator
* Matching
* Multiple comparison corrections

==== Module 2 ====
(1 lecture + 1 class per group X 8 weeks)
* Sampling
* Sample size calculation
* Contingency tables, Chi-squared tests
* ANOVA, ANCOVA
* Partial correlation

==== Module 3 ====
(1 lecture + 1 class per group X 11 weeks)
* Discriminant analysis
* Logit
* PCA
* Factor analysis
* Cluster analysis, Dendrogramms
* Conjoint Analysis
* Multidimensional scaling

== Литература ==
Вспоминаем тервер и матстат

''Книжки попроще''
* '''Frederick Gravetter, Larry Wallnau. Statistics for the Behavioral Sciences'''
* '''Феллер В. Введение в теорию вероятностей и её приложения'''

''Посложнее''

* '''Larry Wasserman. All of Statistics: A Concise Course in Statistical Inference'''
* '''David Williams. Weighing the Odds. A Course in Probability and Statistics'''
* '''Ширяев А.Н. Вероятность - 1''' .

Советы от UoL
* '''Malhotra, N.K. D.F. Birks and P.A. Wills Marketing Research, Pearson, fourth edition'''

== Боевой листок ==
==== Лекция 1. Наивный bootstrap, bootstrap t-статистики, bootstrap в bootstrap ====
[https://www.youtube.com/watch?v=wIPq_OoYcjc Запись лекции]

Полезно почитать:
* Tim Hestenberg, [https://arxiv.org/abs/1411.5279 What teachers should know about the bootstrap]
* [https://people.eecs.berkeley.edu/~jordan/sail/readings/edgeworth.pdf Edgeworth expansion]
Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar1 bootstrap_part1]

==== Лекция 2. Дикий bootstrap, парный bootstrap, пуассоновский bootstrap ====
[https://youtu.be/1cJzSioPAjM Запись лекции]

Полезно почитать:
* James MacKinnon, [https://core.ac.uk/download/pdf/6494253.pdf Bootstrap Methods in Econometrics (про дикий и парный бутстрэп)]
* [https://www.unofficialgoogledatascience.com/2015/08/an-introduction-to-poisson-bootstrap26.html Poisson bootstrap]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar2 bootstrap_part2]

==== Лекция 3. Ещё немного про бутстрэп, тест Уэлча ====
[https://youtu.be/3S60WStdb_w Запись лекции]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar3_welch welch]

==== Лекция 4. Манн Уитни, CUPED ====
[https://www.youtube.com/watch?v=oq9YAYzJZbw Запись лекции]

Полезно почитать:
* Deng, [https://exp-platform.com/Documents/2013-02-CUPED-ImprovingSensitivityOfControlledExperiments.pdf Improving the Sensitivity of Online Experiments]
* Victor Lei, [https://booking.ai/how-booking-com-increases-the-power-of-online-experiments-with-cuped-995d186fff1d How booking increases power with CUPED]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar4_mann_whitney mann_whitney]

==== Лекция 5. CUPED, DND ====
[https://youtu.be/saeAPdTTfTM Запись лекции]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar5_cuped cuped]

==== Лекция 6. Мэтчинг ====
[https://youtu.be/BQt-YZtknG4 Запись лекции]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar6_did matching]

==== Лекция 7. Поправка Бонферрони ====
[https://youtu.be/NNT4cVwZdmo Запись лекции]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar7_matching_bonferroni matching & bonferroni]

==== Лекция 8. Sampling ====
[https://youtu.be/ti9Tg8O-dhc Запись лекции]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar8_sampling sampling]

==== Лекция 9. Стратификация, вычисление размера выборки ====
[https://youtu.be/en93OWTQRnU Запись лекции]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar9_sample_size sample_size]

==== Лекция 10. MDE ====
[https://youtu.be/sufwhXz-0Co Запись лекции]

==== Лекция 11. Anova - 1 ====
[https://youtu.be/A_IFVLzqpts Запись лекции]

==== Лекция 12. Anova - 2 ====
[https://youtu.be/Xh-fyCyQzdw Запись лекции]

==== Лекция 13. Последняя... ====
[https://youtu.be/8eblxgclX6c Запись лекции ]

== Полезные источники в перемешку ==

General AB:

* [https://vkteam.medium.com/practitioners-guide-to-statistical-tests-ed2d580ef04f VK practitioner guide]
* Deng, [https://alexdeng.github.io/public/files/wsdm2017-rup.pdf Trustworthy analysis of online A/B tests: Pitfalls, challenges and solutions]
* Deng, [https://alexdeng.github.io/ webpage]
* Stats SE, [https://stats.stackexchange.com/questions/398436/a-b-testing-ratio-of-sums AB testing for ratio of sums]
* [https://towardsdatascience.com/a-b-testing-a-complete-guide-to-statistical-testing-e3f1db140499 Guide to AB]. Тесты для таблиц сопряжённости, Welch test, Mann-Whitney.

Bootstrap:

* Tim Hestenberg, [https://arxiv.org/abs/1411.5279 What teachers should know about the bootstrap]. Лучшее первое знакомство с бутстрэпом. Если есть время на один источник по бутстрэпу, то это то, что нужно.
* [https://people.eecs.berkeley.edu/~jordan/sail/readings/edgeworth.pdf Edgeworth expansion]. Большая книжка с брутальной теорией, преобразованиями Фурье, доказательствами и картинкой с матрёшками.
* James MacKinnon, [https://core.ac.uk/download/pdf/6494253.pdf Bootstrap Methods in Econometrics (про дикий и парный бутстрэп)]
* [https://www.unofficialgoogledatascience.com/2015/08/an-introduction-to-poisson-bootstrap26.html Poisson bootstrap]
* [https://arxiv.org/abs/1304.7406 Evaluation of Bootstrap Methods]

Робастные ошибки в регрессии:

* James Mackinnon, [https://www.researchgate.net/publication/254447243_Thirty_Years_of_Heteroskedasticity-Robust_Inference 30 years of robust inference]

CUPED + CUPAC:

* Deng, [https://exp-platform.com/Documents/2013-02-CUPED-ImprovingSensitivityOfControlledExperiments.pdf Improving the Sensitivity of Online Experiments, CUPED]
Оригинальная статья, на CUPED можно смотреть как на две подряд применённых регрессии :)
* Victor Lei, [https://booking.ai/how-booking-com-increases-the-power-of-online-experiments-with-cuped-995d186fff1d How booking increases power with CUPED]
* [https://www.researchgate.net/publication/345698207_Control_Using_Predictions_as_Covariates_in_Switchback_Experiments CUPAC]
Де-факто: признак генерируется любым алгоритмом машинного обучения, затем множественная регрессия с кластер-робастными стандартными ошибками.

Linearization + Delta-method:

* [https://dl.acm.org/doi/10.1145/3159652.3159699 Transformation of Ratio Metrics]
* [https://www.stat.cmu.edu/~hseltman/files/ratio.pdf Approximate E, Var for ratio]
* Deng, [https://arxiv.org/abs/1803.06336 Applying delta method:] practical guide with novel ideas

Эффекты воздействия:

* Рубен Ениколопоп, [http://quantile.ru/06/06-RE.pdf Эффекты воздействия]. Мэтчинг, propensity score.
* Matheus Facure, [https://matheusfacure.github.io/python-causality-handbook/landing-page.html Causal inference for Brave and True]. Инструментальные переменные, мэтчинг, RDD и прочие попытки выяснить причинно-следственные связи на неэкспериментальных данных. С мемасиками и в питоне.

Statistics 4mr 2021-22

2021-12-08T07:16:40Z

Vvkodzaeva: /* Лекция 12. Anova - 2 */

== О курсе ==
[https://www.youtube.com/channel/UC8PQpPltnaMvlr6g1wkkTqw/featured Youtube-канал с лекциями]

'''Оценивание'''

UoL = Экзамен * 0.7 + Письменная (или курсовая) работа * 0.3

Итоговая оценка = Экзамен * 0.5 + 0.3 * Контрольная работа + 0.2 * Домашняя работа

==== Module 1 ====
(1 lecture + 1 class per group X 7 weeks)

* Bootstrap
* Welch test
* Mann-Whitney test
* CUPED
* Difference in Difference estimator
* Matching
* Multiple comparison corrections

==== Module 2 ====
(1 lecture + 1 class per group X 8 weeks)
* Sampling
* Sample size calculation
* Contingency tables, Chi-squared tests
* ANOVA, ANCOVA
* Partial correlation

==== Module 3 ====
(1 lecture + 1 class per group X 11 weeks)
* Discriminant analysis
* Logit
* PCA
* Factor analysis
* Cluster analysis, Dendrogramms
* Conjoint Analysis
* Multidimensional scaling

== Литература ==
Вспоминаем тервер и матстат

''Книжки попроще''
* '''Frederick Gravetter, Larry Wallnau. Statistics for the Behavioral Sciences'''
* '''Феллер В. Введение в теорию вероятностей и её приложения'''

''Посложнее''

* '''Larry Wasserman. All of Statistics: A Concise Course in Statistical Inference'''
* '''David Williams. Weighing the Odds. A Course in Probability and Statistics'''
* '''Ширяев А.Н. Вероятность - 1''' .

Советы от UoL
* '''Malhotra, N.K. D.F. Birks and P.A. Wills Marketing Research, Pearson, fourth edition'''

== Боевой листок ==
==== Лекция 1. Наивный bootstrap, bootstrap t-статистики, bootstrap в bootstrap ====
[https://www.youtube.com/watch?v=wIPq_OoYcjc Запись лекции]

Полезно почитать:
* Tim Hestenberg, [https://arxiv.org/abs/1411.5279 What teachers should know about the bootstrap]
* [https://people.eecs.berkeley.edu/~jordan/sail/readings/edgeworth.pdf Edgeworth expansion]
Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar1 bootstrap_part1]

==== Лекция 2. Дикий bootstrap, парный bootstrap, пуассоновский bootstrap ====
[https://youtu.be/1cJzSioPAjM Запись лекции]

Полезно почитать:
* James MacKinnon, [https://core.ac.uk/download/pdf/6494253.pdf Bootstrap Methods in Econometrics (про дикий и парный бутстрэп)]
* [https://www.unofficialgoogledatascience.com/2015/08/an-introduction-to-poisson-bootstrap26.html Poisson bootstrap]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar2 bootstrap_part2]

==== Лекция 3. Ещё немного про бутстрэп, тест Уэлча ====
[https://youtu.be/3S60WStdb_w Запись лекции]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar3_welch welch]

==== Лекция 4. Манн Уитни, CUPED ====
[https://www.youtube.com/watch?v=oq9YAYzJZbw Запись лекции]

Полезно почитать:
* Deng, [https://exp-platform.com/Documents/2013-02-CUPED-ImprovingSensitivityOfControlledExperiments.pdf Improving the Sensitivity of Online Experiments]
* Victor Lei, [https://booking.ai/how-booking-com-increases-the-power-of-online-experiments-with-cuped-995d186fff1d How booking increases power with CUPED]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar4_mann_whitney mann_whitney]

==== Лекция 5. CUPED, DND ====
[https://youtu.be/saeAPdTTfTM Запись лекции]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar5_cuped cuped]

==== Лекция 6. Мэтчинг ====
[https://youtu.be/BQt-YZtknG4 Запись лекции]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar6_did matching]

==== Лекция 7. Поправка Бонферрони ====
[https://youtu.be/NNT4cVwZdmo Запись лекции]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar7_matching_bonferroni matching & bonferroni]

==== Лекция 8. Sampling ====
[https://youtu.be/ti9Tg8O-dhc Запись лекции]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar8_sampling sampling]

==== Лекция 9. Стратификация, вычисление размера выборки ====
[https://youtu.be/en93OWTQRnU Запись лекции]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar9_sample_size sample_size]

==== Лекция 10. MDE ====
[https://youtu.be/sufwhXz-0Co Запись лекции]

==== Лекция 11. Anova - 1 ====
[https://youtu.be/A_IFVLzqpts Запись лекции]

==== Лекция 12. Anova - 2 ====
[https://youtu.be/Xh-fyCyQzdw Запись лекции]

== Полезные источники в перемешку ==

General AB:

* [https://vkteam.medium.com/practitioners-guide-to-statistical-tests-ed2d580ef04f VK practitioner guide]
* Deng, [https://alexdeng.github.io/public/files/wsdm2017-rup.pdf Trustworthy analysis of online A/B tests: Pitfalls, challenges and solutions]
* Deng, [https://alexdeng.github.io/ webpage]
* Stats SE, [https://stats.stackexchange.com/questions/398436/a-b-testing-ratio-of-sums AB testing for ratio of sums]
* [https://towardsdatascience.com/a-b-testing-a-complete-guide-to-statistical-testing-e3f1db140499 Guide to AB]. Тесты для таблиц сопряжённости, Welch test, Mann-Whitney.

Bootstrap:

* Tim Hestenberg, [https://arxiv.org/abs/1411.5279 What teachers should know about the bootstrap]. Лучшее первое знакомство с бутстрэпом. Если есть время на один источник по бутстрэпу, то это то, что нужно.
* [https://people.eecs.berkeley.edu/~jordan/sail/readings/edgeworth.pdf Edgeworth expansion]. Большая книжка с брутальной теорией, преобразованиями Фурье, доказательствами и картинкой с матрёшками.
* James MacKinnon, [https://core.ac.uk/download/pdf/6494253.pdf Bootstrap Methods in Econometrics (про дикий и парный бутстрэп)]
* [https://www.unofficialgoogledatascience.com/2015/08/an-introduction-to-poisson-bootstrap26.html Poisson bootstrap]
* [https://arxiv.org/abs/1304.7406 Evaluation of Bootstrap Methods]

Робастные ошибки в регрессии:

* James Mackinnon, [https://www.researchgate.net/publication/254447243_Thirty_Years_of_Heteroskedasticity-Robust_Inference 30 years of robust inference]

CUPED + CUPAC:

* Deng, [https://exp-platform.com/Documents/2013-02-CUPED-ImprovingSensitivityOfControlledExperiments.pdf Improving the Sensitivity of Online Experiments, CUPED]
Оригинальная статья, на CUPED можно смотреть как на две подряд применённых регрессии :)
* Victor Lei, [https://booking.ai/how-booking-com-increases-the-power-of-online-experiments-with-cuped-995d186fff1d How booking increases power with CUPED]
* [https://www.researchgate.net/publication/345698207_Control_Using_Predictions_as_Covariates_in_Switchback_Experiments CUPAC]
Де-факто: признак генерируется любым алгоритмом машинного обучения, затем множественная регрессия с кластер-робастными стандартными ошибками.

Linearization + Delta-method:

* [https://dl.acm.org/doi/10.1145/3159652.3159699 Transformation of Ratio Metrics]
* [https://www.stat.cmu.edu/~hseltman/files/ratio.pdf Approximate E, Var for ratio]
* Deng, [https://arxiv.org/abs/1803.06336 Applying delta method:] practical guide with novel ideas

Эффекты воздействия:

* Рубен Ениколопоп, [http://quantile.ru/06/06-RE.pdf Эффекты воздействия]. Мэтчинг, propensity score.
* Matheus Facure, [https://matheusfacure.github.io/python-causality-handbook/landing-page.html Causal inference for Brave and True]. Инструментальные переменные, мэтчинг, RDD и прочие попытки выяснить причинно-следственные связи на неэкспериментальных данных. С мемасиками и в питоне.

Statistics 4mr 2021-22

2021-12-08T07:16:04Z

Vvkodzaeva: /* Лекция 11. Anova - 1 */

== О курсе ==
[https://www.youtube.com/channel/UC8PQpPltnaMvlr6g1wkkTqw/featured Youtube-канал с лекциями]

'''Оценивание'''

UoL = Экзамен * 0.7 + Письменная (или курсовая) работа * 0.3

Итоговая оценка = Экзамен * 0.5 + 0.3 * Контрольная работа + 0.2 * Домашняя работа

==== Module 1 ====
(1 lecture + 1 class per group X 7 weeks)

* Bootstrap
* Welch test
* Mann-Whitney test
* CUPED
* Difference in Difference estimator
* Matching
* Multiple comparison corrections

==== Module 2 ====
(1 lecture + 1 class per group X 8 weeks)
* Sampling
* Sample size calculation
* Contingency tables, Chi-squared tests
* ANOVA, ANCOVA
* Partial correlation

==== Module 3 ====
(1 lecture + 1 class per group X 11 weeks)
* Discriminant analysis
* Logit
* PCA
* Factor analysis
* Cluster analysis, Dendrogramms
* Conjoint Analysis
* Multidimensional scaling

== Литература ==
Вспоминаем тервер и матстат

''Книжки попроще''
* '''Frederick Gravetter, Larry Wallnau. Statistics for the Behavioral Sciences'''
* '''Феллер В. Введение в теорию вероятностей и её приложения'''

''Посложнее''

* '''Larry Wasserman. All of Statistics: A Concise Course in Statistical Inference'''
* '''David Williams. Weighing the Odds. A Course in Probability and Statistics'''
* '''Ширяев А.Н. Вероятность - 1''' .

Советы от UoL
* '''Malhotra, N.K. D.F. Birks and P.A. Wills Marketing Research, Pearson, fourth edition'''

== Боевой листок ==
==== Лекция 1. Наивный bootstrap, bootstrap t-статистики, bootstrap в bootstrap ====
[https://www.youtube.com/watch?v=wIPq_OoYcjc Запись лекции]

Полезно почитать:
* Tim Hestenberg, [https://arxiv.org/abs/1411.5279 What teachers should know about the bootstrap]
* [https://people.eecs.berkeley.edu/~jordan/sail/readings/edgeworth.pdf Edgeworth expansion]
Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar1 bootstrap_part1]

==== Лекция 2. Дикий bootstrap, парный bootstrap, пуассоновский bootstrap ====
[https://youtu.be/1cJzSioPAjM Запись лекции]

Полезно почитать:
* James MacKinnon, [https://core.ac.uk/download/pdf/6494253.pdf Bootstrap Methods in Econometrics (про дикий и парный бутстрэп)]
* [https://www.unofficialgoogledatascience.com/2015/08/an-introduction-to-poisson-bootstrap26.html Poisson bootstrap]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar2 bootstrap_part2]

==== Лекция 3. Ещё немного про бутстрэп, тест Уэлча ====
[https://youtu.be/3S60WStdb_w Запись лекции]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar3_welch welch]

==== Лекция 4. Манн Уитни, CUPED ====
[https://www.youtube.com/watch?v=oq9YAYzJZbw Запись лекции]

Полезно почитать:
* Deng, [https://exp-platform.com/Documents/2013-02-CUPED-ImprovingSensitivityOfControlledExperiments.pdf Improving the Sensitivity of Online Experiments]
* Victor Lei, [https://booking.ai/how-booking-com-increases-the-power-of-online-experiments-with-cuped-995d186fff1d How booking increases power with CUPED]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar4_mann_whitney mann_whitney]

==== Лекция 5. CUPED, DND ====
[https://youtu.be/saeAPdTTfTM Запись лекции]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar5_cuped cuped]

==== Лекция 6. Мэтчинг ====
[https://youtu.be/BQt-YZtknG4 Запись лекции]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar6_did matching]

==== Лекция 7. Поправка Бонферрони ====
[https://youtu.be/NNT4cVwZdmo Запись лекции]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar7_matching_bonferroni matching & bonferroni]

==== Лекция 8. Sampling ====
[https://youtu.be/ti9Tg8O-dhc Запись лекции]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar8_sampling sampling]

==== Лекция 9. Стратификация, вычисление размера выборки ====
[https://youtu.be/en93OWTQRnU Запись лекции]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar9_sample_size sample_size]

==== Лекция 10. MDE ====
[https://youtu.be/sufwhXz-0Co Запись лекции]

==== Лекция 11. Anova - 1 ====
[https://youtu.be/A_IFVLzqpts Запись лекции]

==== Лекция 12. Anova - 2 ====
[https://youtu.be/Xh-fyCyQzdw https://youtu.be/Xh-fyCyQzdw]

== Полезные источники в перемешку ==

General AB:

* [https://vkteam.medium.com/practitioners-guide-to-statistical-tests-ed2d580ef04f VK practitioner guide]
* Deng, [https://alexdeng.github.io/public/files/wsdm2017-rup.pdf Trustworthy analysis of online A/B tests: Pitfalls, challenges and solutions]
* Deng, [https://alexdeng.github.io/ webpage]
* Stats SE, [https://stats.stackexchange.com/questions/398436/a-b-testing-ratio-of-sums AB testing for ratio of sums]
* [https://towardsdatascience.com/a-b-testing-a-complete-guide-to-statistical-testing-e3f1db140499 Guide to AB]. Тесты для таблиц сопряжённости, Welch test, Mann-Whitney.

Bootstrap:

* Tim Hestenberg, [https://arxiv.org/abs/1411.5279 What teachers should know about the bootstrap]. Лучшее первое знакомство с бутстрэпом. Если есть время на один источник по бутстрэпу, то это то, что нужно.
* [https://people.eecs.berkeley.edu/~jordan/sail/readings/edgeworth.pdf Edgeworth expansion]. Большая книжка с брутальной теорией, преобразованиями Фурье, доказательствами и картинкой с матрёшками.
* James MacKinnon, [https://core.ac.uk/download/pdf/6494253.pdf Bootstrap Methods in Econometrics (про дикий и парный бутстрэп)]
* [https://www.unofficialgoogledatascience.com/2015/08/an-introduction-to-poisson-bootstrap26.html Poisson bootstrap]
* [https://arxiv.org/abs/1304.7406 Evaluation of Bootstrap Methods]

Робастные ошибки в регрессии:

* James Mackinnon, [https://www.researchgate.net/publication/254447243_Thirty_Years_of_Heteroskedasticity-Robust_Inference 30 years of robust inference]

CUPED + CUPAC:

* Deng, [https://exp-platform.com/Documents/2013-02-CUPED-ImprovingSensitivityOfControlledExperiments.pdf Improving the Sensitivity of Online Experiments, CUPED]
Оригинальная статья, на CUPED можно смотреть как на две подряд применённых регрессии :)
* Victor Lei, [https://booking.ai/how-booking-com-increases-the-power-of-online-experiments-with-cuped-995d186fff1d How booking increases power with CUPED]
* [https://www.researchgate.net/publication/345698207_Control_Using_Predictions_as_Covariates_in_Switchback_Experiments CUPAC]
Де-факто: признак генерируется любым алгоритмом машинного обучения, затем множественная регрессия с кластер-робастными стандартными ошибками.

Linearization + Delta-method:

* [https://dl.acm.org/doi/10.1145/3159652.3159699 Transformation of Ratio Metrics]
* [https://www.stat.cmu.edu/~hseltman/files/ratio.pdf Approximate E, Var for ratio]
* Deng, [https://arxiv.org/abs/1803.06336 Applying delta method:] practical guide with novel ideas

Эффекты воздействия:

* Рубен Ениколопоп, [http://quantile.ru/06/06-RE.pdf Эффекты воздействия]. Мэтчинг, propensity score.
* Matheus Facure, [https://matheusfacure.github.io/python-causality-handbook/landing-page.html Causal inference for Brave and True]. Инструментальные переменные, мэтчинг, RDD и прочие попытки выяснить причинно-следственные связи на неэкспериментальных данных. С мемасиками и в питоне.

Statistics 4mr 2021-22

2021-12-08T07:15:38Z

Vvkodzaeva: лекция 12

== О курсе ==
[https://www.youtube.com/channel/UC8PQpPltnaMvlr6g1wkkTqw/featured Youtube-канал с лекциями]

'''Оценивание'''

UoL = Экзамен * 0.7 + Письменная (или курсовая) работа * 0.3

Итоговая оценка = Экзамен * 0.5 + 0.3 * Контрольная работа + 0.2 * Домашняя работа

==== Module 1 ====
(1 lecture + 1 class per group X 7 weeks)

* Bootstrap
* Welch test
* Mann-Whitney test
* CUPED
* Difference in Difference estimator
* Matching
* Multiple comparison corrections

==== Module 2 ====
(1 lecture + 1 class per group X 8 weeks)
* Sampling
* Sample size calculation
* Contingency tables, Chi-squared tests
* ANOVA, ANCOVA
* Partial correlation

==== Module 3 ====
(1 lecture + 1 class per group X 11 weeks)
* Discriminant analysis
* Logit
* PCA
* Factor analysis
* Cluster analysis, Dendrogramms
* Conjoint Analysis
* Multidimensional scaling

== Литература ==
Вспоминаем тервер и матстат

''Книжки попроще''
* '''Frederick Gravetter, Larry Wallnau. Statistics for the Behavioral Sciences'''
* '''Феллер В. Введение в теорию вероятностей и её приложения'''

''Посложнее''

* '''Larry Wasserman. All of Statistics: A Concise Course in Statistical Inference'''
* '''David Williams. Weighing the Odds. A Course in Probability and Statistics'''
* '''Ширяев А.Н. Вероятность - 1''' .

Советы от UoL
* '''Malhotra, N.K. D.F. Birks and P.A. Wills Marketing Research, Pearson, fourth edition'''

== Боевой листок ==
==== Лекция 1. Наивный bootstrap, bootstrap t-статистики, bootstrap в bootstrap ====
[https://www.youtube.com/watch?v=wIPq_OoYcjc Запись лекции]

Полезно почитать:
* Tim Hestenberg, [https://arxiv.org/abs/1411.5279 What teachers should know about the bootstrap]
* [https://people.eecs.berkeley.edu/~jordan/sail/readings/edgeworth.pdf Edgeworth expansion]
Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar1 bootstrap_part1]

==== Лекция 2. Дикий bootstrap, парный bootstrap, пуассоновский bootstrap ====
[https://youtu.be/1cJzSioPAjM Запись лекции]

Полезно почитать:
* James MacKinnon, [https://core.ac.uk/download/pdf/6494253.pdf Bootstrap Methods in Econometrics (про дикий и парный бутстрэп)]
* [https://www.unofficialgoogledatascience.com/2015/08/an-introduction-to-poisson-bootstrap26.html Poisson bootstrap]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar2 bootstrap_part2]

==== Лекция 3. Ещё немного про бутстрэп, тест Уэлча ====
[https://youtu.be/3S60WStdb_w Запись лекции]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar3_welch welch]

==== Лекция 4. Манн Уитни, CUPED ====
[https://www.youtube.com/watch?v=oq9YAYzJZbw Запись лекции]

Полезно почитать:
* Deng, [https://exp-platform.com/Documents/2013-02-CUPED-ImprovingSensitivityOfControlledExperiments.pdf Improving the Sensitivity of Online Experiments]
* Victor Lei, [https://booking.ai/how-booking-com-increases-the-power-of-online-experiments-with-cuped-995d186fff1d How booking increases power with CUPED]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar4_mann_whitney mann_whitney]

==== Лекция 5. CUPED, DND ====
[https://youtu.be/saeAPdTTfTM Запись лекции]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar5_cuped cuped]

==== Лекция 6. Мэтчинг ====
[https://youtu.be/BQt-YZtknG4 Запись лекции]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar6_did matching]

==== Лекция 7. Поправка Бонферрони ====
[https://youtu.be/NNT4cVwZdmo Запись лекции]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar7_matching_bonferroni matching & bonferroni]

==== Лекция 8. Sampling ====
[https://youtu.be/ti9Tg8O-dhc Запись лекции]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar8_sampling sampling]

==== Лекция 9. Стратификация, вычисление размера выборки ====
[https://youtu.be/en93OWTQRnU Запись лекции]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar9_sample_size sample_size]

==== Лекция 10. MDE ====
[https://youtu.be/sufwhXz-0Co Запись лекции]

==== Лекция 11. Anova - 1 ====
[https://youtu.be/A_IFVLzqpts c

==== Лекция 12. Anova - 2 ====
[https://youtu.be/Xh-fyCyQzdw https://youtu.be/Xh-fyCyQzdw]

== Полезные источники в перемешку ==

General AB:

* [https://vkteam.medium.com/practitioners-guide-to-statistical-tests-ed2d580ef04f VK practitioner guide]
* Deng, [https://alexdeng.github.io/public/files/wsdm2017-rup.pdf Trustworthy analysis of online A/B tests: Pitfalls, challenges and solutions]
* Deng, [https://alexdeng.github.io/ webpage]
* Stats SE, [https://stats.stackexchange.com/questions/398436/a-b-testing-ratio-of-sums AB testing for ratio of sums]
* [https://towardsdatascience.com/a-b-testing-a-complete-guide-to-statistical-testing-e3f1db140499 Guide to AB]. Тесты для таблиц сопряжённости, Welch test, Mann-Whitney.

Bootstrap:

* Tim Hestenberg, [https://arxiv.org/abs/1411.5279 What teachers should know about the bootstrap]. Лучшее первое знакомство с бутстрэпом. Если есть время на один источник по бутстрэпу, то это то, что нужно.
* [https://people.eecs.berkeley.edu/~jordan/sail/readings/edgeworth.pdf Edgeworth expansion]. Большая книжка с брутальной теорией, преобразованиями Фурье, доказательствами и картинкой с матрёшками.
* James MacKinnon, [https://core.ac.uk/download/pdf/6494253.pdf Bootstrap Methods in Econometrics (про дикий и парный бутстрэп)]
* [https://www.unofficialgoogledatascience.com/2015/08/an-introduction-to-poisson-bootstrap26.html Poisson bootstrap]
* [https://arxiv.org/abs/1304.7406 Evaluation of Bootstrap Methods]

Робастные ошибки в регрессии:

* James Mackinnon, [https://www.researchgate.net/publication/254447243_Thirty_Years_of_Heteroskedasticity-Robust_Inference 30 years of robust inference]

CUPED + CUPAC:

* Deng, [https://exp-platform.com/Documents/2013-02-CUPED-ImprovingSensitivityOfControlledExperiments.pdf Improving the Sensitivity of Online Experiments, CUPED]
Оригинальная статья, на CUPED можно смотреть как на две подряд применённых регрессии :)
* Victor Lei, [https://booking.ai/how-booking-com-increases-the-power-of-online-experiments-with-cuped-995d186fff1d How booking increases power with CUPED]
* [https://www.researchgate.net/publication/345698207_Control_Using_Predictions_as_Covariates_in_Switchback_Experiments CUPAC]
Де-факто: признак генерируется любым алгоритмом машинного обучения, затем множественная регрессия с кластер-робастными стандартными ошибками.

Linearization + Delta-method:

* [https://dl.acm.org/doi/10.1145/3159652.3159699 Transformation of Ratio Metrics]
* [https://www.stat.cmu.edu/~hseltman/files/ratio.pdf Approximate E, Var for ratio]
* Deng, [https://arxiv.org/abs/1803.06336 Applying delta method:] practical guide with novel ideas

Эффекты воздействия:

* Рубен Ениколопоп, [http://quantile.ru/06/06-RE.pdf Эффекты воздействия]. Мэтчинг, propensity score.
* Matheus Facure, [https://matheusfacure.github.io/python-causality-handbook/landing-page.html Causal inference for Brave and True]. Инструментальные переменные, мэтчинг, RDD и прочие попытки выяснить причинно-следственные связи на неэкспериментальных данных. С мемасиками и в питоне.

Statistics 4mr 2021-22

2021-12-08T07:13:20Z

Vvkodzaeva: anova

== О курсе ==
[https://www.youtube.com/channel/UC8PQpPltnaMvlr6g1wkkTqw/featured Youtube-канал с лекциями]

'''Оценивание'''

UoL = Экзамен * 0.7 + Письменная (или курсовая) работа * 0.3

Итоговая оценка = Экзамен * 0.5 + 0.3 * Контрольная работа + 0.2 * Домашняя работа

==== Module 1 ====
(1 lecture + 1 class per group X 7 weeks)

* Bootstrap
* Welch test
* Mann-Whitney test
* CUPED
* Difference in Difference estimator
* Matching
* Multiple comparison corrections

==== Module 2 ====
(1 lecture + 1 class per group X 8 weeks)
* Sampling
* Sample size calculation
* Contingency tables, Chi-squared tests
* ANOVA, ANCOVA
* Partial correlation

==== Module 3 ====
(1 lecture + 1 class per group X 11 weeks)
* Discriminant analysis
* Logit
* PCA
* Factor analysis
* Cluster analysis, Dendrogramms
* Conjoint Analysis
* Multidimensional scaling

== Литература ==
Вспоминаем тервер и матстат

''Книжки попроще''
* '''Frederick Gravetter, Larry Wallnau. Statistics for the Behavioral Sciences'''
* '''Феллер В. Введение в теорию вероятностей и её приложения'''

''Посложнее''

* '''Larry Wasserman. All of Statistics: A Concise Course in Statistical Inference'''
* '''David Williams. Weighing the Odds. A Course in Probability and Statistics'''
* '''Ширяев А.Н. Вероятность - 1''' .

Советы от UoL
* '''Malhotra, N.K. D.F. Birks and P.A. Wills Marketing Research, Pearson, fourth edition'''

== Боевой листок ==
==== Лекция 1. Наивный bootstrap, bootstrap t-статистики, bootstrap в bootstrap ====
[https://www.youtube.com/watch?v=wIPq_OoYcjc Запись лекции]

Полезно почитать:
* Tim Hestenberg, [https://arxiv.org/abs/1411.5279 What teachers should know about the bootstrap]
* [https://people.eecs.berkeley.edu/~jordan/sail/readings/edgeworth.pdf Edgeworth expansion]
Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar1 bootstrap_part1]

==== Лекция 2. Дикий bootstrap, парный bootstrap, пуассоновский bootstrap ====
[https://youtu.be/1cJzSioPAjM Запись лекции]

Полезно почитать:
* James MacKinnon, [https://core.ac.uk/download/pdf/6494253.pdf Bootstrap Methods in Econometrics (про дикий и парный бутстрэп)]
* [https://www.unofficialgoogledatascience.com/2015/08/an-introduction-to-poisson-bootstrap26.html Poisson bootstrap]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar2 bootstrap_part2]

==== Лекция 3. Ещё немного про бутстрэп, тест Уэлча ====
[https://youtu.be/3S60WStdb_w Запись лекции]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar3_welch welch]

==== Лекция 4. Манн Уитни, CUPED ====
[https://www.youtube.com/watch?v=oq9YAYzJZbw Запись лекции]

Полезно почитать:
* Deng, [https://exp-platform.com/Documents/2013-02-CUPED-ImprovingSensitivityOfControlledExperiments.pdf Improving the Sensitivity of Online Experiments]
* Victor Lei, [https://booking.ai/how-booking-com-increases-the-power-of-online-experiments-with-cuped-995d186fff1d How booking increases power with CUPED]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar4_mann_whitney mann_whitney]

==== Лекция 5. CUPED, DND ====
[https://youtu.be/saeAPdTTfTM Запись лекции]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar5_cuped cuped]

==== Лекция 6. Мэтчинг ====
[https://youtu.be/BQt-YZtknG4 Запись лекции]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar6_did matching]

==== Лекция 7. Поправка Бонферрони ====
[https://youtu.be/NNT4cVwZdmo Запись лекции]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar7_matching_bonferroni matching & bonferroni]

==== Лекция 8. Sampling ====
[https://youtu.be/ti9Tg8O-dhc Запись лекции]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar8_sampling sampling]

==== Лекция 9. Стратификация, вычисление размера выборки ====
[https://youtu.be/en93OWTQRnU Запись лекции]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar9_sample_size sample_size]

==== Лекция 10. MDE ====
[https://youtu.be/sufwhXz-0Co Запись лекции]

==== Лекция 11. Anova - 1 ====
[https://youtu.be/A_IFVLzqpts Запись лекции]

== Полезные источники в перемешку ==

General AB:

* [https://vkteam.medium.com/practitioners-guide-to-statistical-tests-ed2d580ef04f VK practitioner guide]
* Deng, [https://alexdeng.github.io/public/files/wsdm2017-rup.pdf Trustworthy analysis of online A/B tests: Pitfalls, challenges and solutions]
* Deng, [https://alexdeng.github.io/ webpage]
* Stats SE, [https://stats.stackexchange.com/questions/398436/a-b-testing-ratio-of-sums AB testing for ratio of sums]
* [https://towardsdatascience.com/a-b-testing-a-complete-guide-to-statistical-testing-e3f1db140499 Guide to AB]. Тесты для таблиц сопряжённости, Welch test, Mann-Whitney.

Bootstrap:

* Tim Hestenberg, [https://arxiv.org/abs/1411.5279 What teachers should know about the bootstrap]. Лучшее первое знакомство с бутстрэпом. Если есть время на один источник по бутстрэпу, то это то, что нужно.
* [https://people.eecs.berkeley.edu/~jordan/sail/readings/edgeworth.pdf Edgeworth expansion]. Большая книжка с брутальной теорией, преобразованиями Фурье, доказательствами и картинкой с матрёшками.
* James MacKinnon, [https://core.ac.uk/download/pdf/6494253.pdf Bootstrap Methods in Econometrics (про дикий и парный бутстрэп)]
* [https://www.unofficialgoogledatascience.com/2015/08/an-introduction-to-poisson-bootstrap26.html Poisson bootstrap]
* [https://arxiv.org/abs/1304.7406 Evaluation of Bootstrap Methods]

Робастные ошибки в регрессии:

* James Mackinnon, [https://www.researchgate.net/publication/254447243_Thirty_Years_of_Heteroskedasticity-Robust_Inference 30 years of robust inference]

CUPED + CUPAC:

* Deng, [https://exp-platform.com/Documents/2013-02-CUPED-ImprovingSensitivityOfControlledExperiments.pdf Improving the Sensitivity of Online Experiments, CUPED]
Оригинальная статья, на CUPED можно смотреть как на две подряд применённых регрессии :)
* Victor Lei, [https://booking.ai/how-booking-com-increases-the-power-of-online-experiments-with-cuped-995d186fff1d How booking increases power with CUPED]
* [https://www.researchgate.net/publication/345698207_Control_Using_Predictions_as_Covariates_in_Switchback_Experiments CUPAC]
Де-факто: признак генерируется любым алгоритмом машинного обучения, затем множественная регрессия с кластер-робастными стандартными ошибками.

Linearization + Delta-method:

* [https://dl.acm.org/doi/10.1145/3159652.3159699 Transformation of Ratio Metrics]
* [https://www.stat.cmu.edu/~hseltman/files/ratio.pdf Approximate E, Var for ratio]
* Deng, [https://arxiv.org/abs/1803.06336 Applying delta method:] practical guide with novel ideas

Эффекты воздействия:

* Рубен Ениколопоп, [http://quantile.ru/06/06-RE.pdf Эффекты воздействия]. Мэтчинг, propensity score.
* Matheus Facure, [https://matheusfacure.github.io/python-causality-handbook/landing-page.html Causal inference for Brave and True]. Инструментальные переменные, мэтчинг, RDD и прочие попытки выяснить причинно-следственные связи на неэкспериментальных данных. С мемасиками и в питоне.

Statistics 4mr 2021-22

2021-12-08T07:10:59Z

Vvkodzaeva: семинары 8, 9

== О курсе ==
[https://www.youtube.com/channel/UC8PQpPltnaMvlr6g1wkkTqw/featured Youtube-канал с лекциями]

'''Оценивание'''

UoL = Экзамен * 0.7 + Письменная (или курсовая) работа * 0.3

Итоговая оценка = Экзамен * 0.5 + 0.3 * Контрольная работа + 0.2 * Домашняя работа

==== Module 1 ====
(1 lecture + 1 class per group X 7 weeks)

* Bootstrap
* Welch test
* Mann-Whitney test
* CUPED
* Difference in Difference estimator
* Matching
* Multiple comparison corrections

==== Module 2 ====
(1 lecture + 1 class per group X 8 weeks)
* Sampling
* Sample size calculation
* Contingency tables, Chi-squared tests
* ANOVA, ANCOVA
* Partial correlation

==== Module 3 ====
(1 lecture + 1 class per group X 11 weeks)
* Discriminant analysis
* Logit
* PCA
* Factor analysis
* Cluster analysis, Dendrogramms
* Conjoint Analysis
* Multidimensional scaling

== Литература ==
Вспоминаем тервер и матстат

''Книжки попроще''
* '''Frederick Gravetter, Larry Wallnau. Statistics for the Behavioral Sciences'''
* '''Феллер В. Введение в теорию вероятностей и её приложения'''

''Посложнее''

* '''Larry Wasserman. All of Statistics: A Concise Course in Statistical Inference'''
* '''David Williams. Weighing the Odds. A Course in Probability and Statistics'''
* '''Ширяев А.Н. Вероятность - 1''' .

Советы от UoL
* '''Malhotra, N.K. D.F. Birks and P.A. Wills Marketing Research, Pearson, fourth edition'''

== Боевой листок ==
==== Лекция 1. Наивный bootstrap, bootstrap t-статистики, bootstrap в bootstrap ====
[https://www.youtube.com/watch?v=wIPq_OoYcjc Запись лекции]

Полезно почитать:
* Tim Hestenberg, [https://arxiv.org/abs/1411.5279 What teachers should know about the bootstrap]
* [https://people.eecs.berkeley.edu/~jordan/sail/readings/edgeworth.pdf Edgeworth expansion]
Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar1 bootstrap_part1]

==== Лекция 2. Дикий bootstrap, парный bootstrap, пуассоновский bootstrap ====
[https://youtu.be/1cJzSioPAjM Запись лекции]

Полезно почитать:
* James MacKinnon, [https://core.ac.uk/download/pdf/6494253.pdf Bootstrap Methods in Econometrics (про дикий и парный бутстрэп)]
* [https://www.unofficialgoogledatascience.com/2015/08/an-introduction-to-poisson-bootstrap26.html Poisson bootstrap]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar2 bootstrap_part2]

==== Лекция 3. Ещё немного про бутстрэп, тест Уэлча ====
[https://youtu.be/3S60WStdb_w Запись лекции]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar3_welch welch]

==== Лекция 4. Манн Уитни, CUPED ====
[https://www.youtube.com/watch?v=oq9YAYzJZbw Запись лекции]

Полезно почитать:
* Deng, [https://exp-platform.com/Documents/2013-02-CUPED-ImprovingSensitivityOfControlledExperiments.pdf Improving the Sensitivity of Online Experiments]
* Victor Lei, [https://booking.ai/how-booking-com-increases-the-power-of-online-experiments-with-cuped-995d186fff1d How booking increases power with CUPED]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar4_mann_whitney mann_whitney]

==== Лекция 5. CUPED, DND ====
[https://youtu.be/saeAPdTTfTM Запись лекции]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar5_cuped cuped]

==== Лекция 6. Мэтчинг ====
[https://youtu.be/BQt-YZtknG4 Запись лекции]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar6_did matching]

==== Лекция 7. Поправка Бонферрони ====
[https://youtu.be/NNT4cVwZdmo Запись лекции]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar7_matching_bonferroni matching & bonferroni]

==== Лекция 8. Sampling ====
[https://youtu.be/ti9Tg8O-dhc Запись лекции]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar8_sampling sampling]

==== Лекция 9. Стратификация, вычисление размера выборки ====
[https://youtu.be/en93OWTQRnU Запись лекции]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar9_sample_size sample_size]

==== Лекция 10. MDE ====
[https://youtu.be/sufwhXz-0Co Запись лекции]

==== Лекция 11. Anova ====
[https://youtu.be/A_IFVLzqpts Запись лекции]

== Полезные источники в перемешку ==

General AB:

* [https://vkteam.medium.com/practitioners-guide-to-statistical-tests-ed2d580ef04f VK practitioner guide]
* Deng, [https://alexdeng.github.io/public/files/wsdm2017-rup.pdf Trustworthy analysis of online A/B tests: Pitfalls, challenges and solutions]
* Deng, [https://alexdeng.github.io/ webpage]
* Stats SE, [https://stats.stackexchange.com/questions/398436/a-b-testing-ratio-of-sums AB testing for ratio of sums]
* [https://towardsdatascience.com/a-b-testing-a-complete-guide-to-statistical-testing-e3f1db140499 Guide to AB]. Тесты для таблиц сопряжённости, Welch test, Mann-Whitney.

Bootstrap:

* Tim Hestenberg, [https://arxiv.org/abs/1411.5279 What teachers should know about the bootstrap]. Лучшее первое знакомство с бутстрэпом. Если есть время на один источник по бутстрэпу, то это то, что нужно.
* [https://people.eecs.berkeley.edu/~jordan/sail/readings/edgeworth.pdf Edgeworth expansion]. Большая книжка с брутальной теорией, преобразованиями Фурье, доказательствами и картинкой с матрёшками.
* James MacKinnon, [https://core.ac.uk/download/pdf/6494253.pdf Bootstrap Methods in Econometrics (про дикий и парный бутстрэп)]
* [https://www.unofficialgoogledatascience.com/2015/08/an-introduction-to-poisson-bootstrap26.html Poisson bootstrap]
* [https://arxiv.org/abs/1304.7406 Evaluation of Bootstrap Methods]

Робастные ошибки в регрессии:

* James Mackinnon, [https://www.researchgate.net/publication/254447243_Thirty_Years_of_Heteroskedasticity-Robust_Inference 30 years of robust inference]

CUPED + CUPAC:

* Deng, [https://exp-platform.com/Documents/2013-02-CUPED-ImprovingSensitivityOfControlledExperiments.pdf Improving the Sensitivity of Online Experiments, CUPED]
Оригинальная статья, на CUPED можно смотреть как на две подряд применённых регрессии :)
* Victor Lei, [https://booking.ai/how-booking-com-increases-the-power-of-online-experiments-with-cuped-995d186fff1d How booking increases power with CUPED]
* [https://www.researchgate.net/publication/345698207_Control_Using_Predictions_as_Covariates_in_Switchback_Experiments CUPAC]
Де-факто: признак генерируется любым алгоритмом машинного обучения, затем множественная регрессия с кластер-робастными стандартными ошибками.

Linearization + Delta-method:

* [https://dl.acm.org/doi/10.1145/3159652.3159699 Transformation of Ratio Metrics]
* [https://www.stat.cmu.edu/~hseltman/files/ratio.pdf Approximate E, Var for ratio]
* Deng, [https://arxiv.org/abs/1803.06336 Applying delta method:] practical guide with novel ideas

Эффекты воздействия:

* Рубен Ениколопоп, [http://quantile.ru/06/06-RE.pdf Эффекты воздействия]. Мэтчинг, propensity score.
* Matheus Facure, [https://matheusfacure.github.io/python-causality-handbook/landing-page.html Causal inference for Brave and True]. Инструментальные переменные, мэтчинг, RDD и прочие попытки выяснить причинно-следственные связи на неэкспериментальных данных. С мемасиками и в питоне.

Statistics 4mr 2021-22

2021-12-08T07:08:32Z

Vvkodzaeva: лекция 11

== О курсе ==
[https://www.youtube.com/channel/UC8PQpPltnaMvlr6g1wkkTqw/featured Youtube-канал с лекциями]

'''Оценивание'''

UoL = Экзамен * 0.7 + Письменная (или курсовая) работа * 0.3

Итоговая оценка = Экзамен * 0.5 + 0.3 * Контрольная работа + 0.2 * Домашняя работа

==== Module 1 ====
(1 lecture + 1 class per group X 7 weeks)

* Bootstrap
* Welch test
* Mann-Whitney test
* CUPED
* Difference in Difference estimator
* Matching
* Multiple comparison corrections

==== Module 2 ====
(1 lecture + 1 class per group X 8 weeks)
* Sampling
* Sample size calculation
* Contingency tables, Chi-squared tests
* ANOVA, ANCOVA
* Partial correlation

==== Module 3 ====
(1 lecture + 1 class per group X 11 weeks)
* Discriminant analysis
* Logit
* PCA
* Factor analysis
* Cluster analysis, Dendrogramms
* Conjoint Analysis
* Multidimensional scaling

== Литература ==
Вспоминаем тервер и матстат

''Книжки попроще''
* '''Frederick Gravetter, Larry Wallnau. Statistics for the Behavioral Sciences'''
* '''Феллер В. Введение в теорию вероятностей и её приложения'''

''Посложнее''

* '''Larry Wasserman. All of Statistics: A Concise Course in Statistical Inference'''
* '''David Williams. Weighing the Odds. A Course in Probability and Statistics'''
* '''Ширяев А.Н. Вероятность - 1''' .

Советы от UoL
* '''Malhotra, N.K. D.F. Birks and P.A. Wills Marketing Research, Pearson, fourth edition'''

== Боевой листок ==
==== Лекция 1. Наивный bootstrap, bootstrap t-статистики, bootstrap в bootstrap ====
[https://www.youtube.com/watch?v=wIPq_OoYcjc Запись лекции]

Полезно почитать:
* Tim Hestenberg, [https://arxiv.org/abs/1411.5279 What teachers should know about the bootstrap]
* [https://people.eecs.berkeley.edu/~jordan/sail/readings/edgeworth.pdf Edgeworth expansion]
Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar1 bootstrap_part1]

==== Лекция 2. Дикий bootstrap, парный bootstrap, пуассоновский bootstrap ====
[https://youtu.be/1cJzSioPAjM Запись лекции]

Полезно почитать:
* James MacKinnon, [https://core.ac.uk/download/pdf/6494253.pdf Bootstrap Methods in Econometrics (про дикий и парный бутстрэп)]
* [https://www.unofficialgoogledatascience.com/2015/08/an-introduction-to-poisson-bootstrap26.html Poisson bootstrap]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar2 bootstrap_part2]

==== Лекция 3. Ещё немного про бутстрэп, тест Уэлча ====
[https://youtu.be/3S60WStdb_w Запись лекции]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar3_welch welch]

==== Лекция 4. Манн Уитни, CUPED ====
[https://www.youtube.com/watch?v=oq9YAYzJZbw Запись лекции]

Полезно почитать:
* Deng, [https://exp-platform.com/Documents/2013-02-CUPED-ImprovingSensitivityOfControlledExperiments.pdf Improving the Sensitivity of Online Experiments]
* Victor Lei, [https://booking.ai/how-booking-com-increases-the-power-of-online-experiments-with-cuped-995d186fff1d How booking increases power with CUPED]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar4_mann_whitney mann_whitney]

==== Лекция 5. CUPED, DND ====
[https://youtu.be/saeAPdTTfTM Запись лекции]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar5_cuped cuped]

==== Лекция 6. Мэтчинг ====
[https://youtu.be/BQt-YZtknG4 Запись лекции]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar6_did matching]

==== Лекция 7. Поправка Бонферрони ====
[https://youtu.be/NNT4cVwZdmo Запись лекции]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar7_matching_bonferroni matching & bonferroni]

==== Лекция 8. Sampling ====
[https://youtu.be/ti9Tg8O-dhc Запись лекции]

==== Лекция 9. Стратификация, вычисление размера выборки ====
[https://youtu.be/en93OWTQRnU Запись лекции]

==== Лекция 10. MDE ====
[https://youtu.be/sufwhXz-0Co Запись лекции]

==== Лекция 11. Anova ====
[https://youtu.be/A_IFVLzqpts Запись лекции]

== Полезные источники в перемешку ==

General AB:

* [https://vkteam.medium.com/practitioners-guide-to-statistical-tests-ed2d580ef04f VK practitioner guide]
* Deng, [https://alexdeng.github.io/public/files/wsdm2017-rup.pdf Trustworthy analysis of online A/B tests: Pitfalls, challenges and solutions]
* Deng, [https://alexdeng.github.io/ webpage]
* Stats SE, [https://stats.stackexchange.com/questions/398436/a-b-testing-ratio-of-sums AB testing for ratio of sums]
* [https://towardsdatascience.com/a-b-testing-a-complete-guide-to-statistical-testing-e3f1db140499 Guide to AB]. Тесты для таблиц сопряжённости, Welch test, Mann-Whitney.

Bootstrap:

* Tim Hestenberg, [https://arxiv.org/abs/1411.5279 What teachers should know about the bootstrap]. Лучшее первое знакомство с бутстрэпом. Если есть время на один источник по бутстрэпу, то это то, что нужно.
* [https://people.eecs.berkeley.edu/~jordan/sail/readings/edgeworth.pdf Edgeworth expansion]. Большая книжка с брутальной теорией, преобразованиями Фурье, доказательствами и картинкой с матрёшками.
* James MacKinnon, [https://core.ac.uk/download/pdf/6494253.pdf Bootstrap Methods in Econometrics (про дикий и парный бутстрэп)]
* [https://www.unofficialgoogledatascience.com/2015/08/an-introduction-to-poisson-bootstrap26.html Poisson bootstrap]
* [https://arxiv.org/abs/1304.7406 Evaluation of Bootstrap Methods]

Робастные ошибки в регрессии:

* James Mackinnon, [https://www.researchgate.net/publication/254447243_Thirty_Years_of_Heteroskedasticity-Robust_Inference 30 years of robust inference]

CUPED + CUPAC:

* Deng, [https://exp-platform.com/Documents/2013-02-CUPED-ImprovingSensitivityOfControlledExperiments.pdf Improving the Sensitivity of Online Experiments, CUPED]
Оригинальная статья, на CUPED можно смотреть как на две подряд применённых регрессии :)
* Victor Lei, [https://booking.ai/how-booking-com-increases-the-power-of-online-experiments-with-cuped-995d186fff1d How booking increases power with CUPED]
* [https://www.researchgate.net/publication/345698207_Control_Using_Predictions_as_Covariates_in_Switchback_Experiments CUPAC]
Де-факто: признак генерируется любым алгоритмом машинного обучения, затем множественная регрессия с кластер-робастными стандартными ошибками.

Linearization + Delta-method:

* [https://dl.acm.org/doi/10.1145/3159652.3159699 Transformation of Ratio Metrics]
* [https://www.stat.cmu.edu/~hseltman/files/ratio.pdf Approximate E, Var for ratio]
* Deng, [https://arxiv.org/abs/1803.06336 Applying delta method:] practical guide with novel ideas

Эффекты воздействия:

* Рубен Ениколопоп, [http://quantile.ru/06/06-RE.pdf Эффекты воздействия]. Мэтчинг, propensity score.
* Matheus Facure, [https://matheusfacure.github.io/python-causality-handbook/landing-page.html Causal inference for Brave and True]. Инструментальные переменные, мэтчинг, RDD и прочие попытки выяснить причинно-следственные связи на неэкспериментальных данных. С мемасиками и в питоне.

Statistics 4mr 2021-22

2021-11-23T14:54:12Z

Vvkodzaeva: лекция 10

== О курсе ==
[https://www.youtube.com/channel/UC8PQpPltnaMvlr6g1wkkTqw/featured Youtube-канал с лекциями]

'''Оценивание'''

UoL = Экзамен * 0.7 + Письменная (или курсовая) работа * 0.3

Итоговая оценка = Экзамен * 0.5 + 0.3 * Контрольная работа + 0.2 * Домашняя работа

==== Module 1 ====
(1 lecture + 1 class per group X 7 weeks)

* Bootstrap
* Welch test
* Mann-Whitney test
* CUPED
* Difference in Difference estimator
* Matching
* Multiple comparison corrections

==== Module 2 ====
(1 lecture + 1 class per group X 8 weeks)
* Sampling
* Sample size calculation
* Contingency tables, Chi-squared tests
* ANOVA, ANCOVA
* Partial correlation

==== Module 3 ====
(1 lecture + 1 class per group X 11 weeks)
* Discriminant analysis
* Logit
* PCA
* Factor analysis
* Cluster analysis, Dendrogramms
* Conjoint Analysis
* Multidimensional scaling

== Литература ==
Вспоминаем тервер и матстат

''Книжки попроще''
* '''Frederick Gravetter, Larry Wallnau. Statistics for the Behavioral Sciences'''
* '''Феллер В. Введение в теорию вероятностей и её приложения'''

''Посложнее''

* '''Larry Wasserman. All of Statistics: A Concise Course in Statistical Inference'''
* '''David Williams. Weighing the Odds. A Course in Probability and Statistics'''
* '''Ширяев А.Н. Вероятность - 1''' .

Советы от UoL
* '''Malhotra, N.K. D.F. Birks and P.A. Wills Marketing Research, Pearson, fourth edition'''

== Боевой листок ==
==== Лекция 1. Наивный bootstrap, bootstrap t-статистики, bootstrap в bootstrap ====
[https://www.youtube.com/watch?v=wIPq_OoYcjc Запись лекции]

Полезно почитать:
* Tim Hestenberg, [https://arxiv.org/abs/1411.5279 What teachers should know about the bootstrap]
* [https://people.eecs.berkeley.edu/~jordan/sail/readings/edgeworth.pdf Edgeworth expansion]
Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar1 bootstrap_part1]

==== Лекция 2. Дикий bootstrap, парный bootstrap, пуассоновский bootstrap ====
[https://youtu.be/1cJzSioPAjM Запись лекции]

Полезно почитать:
* James MacKinnon, [https://core.ac.uk/download/pdf/6494253.pdf Bootstrap Methods in Econometrics (про дикий и парный бутстрэп)]
* [https://www.unofficialgoogledatascience.com/2015/08/an-introduction-to-poisson-bootstrap26.html Poisson bootstrap]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar2 bootstrap_part2]

==== Лекция 3. Ещё немного про бутстрэп, тест Уэлча ====
[https://youtu.be/3S60WStdb_w Запись лекции]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar3_welch welch]

==== Лекция 4. Манн Уитни, CUPED ====
[https://www.youtube.com/watch?v=oq9YAYzJZbw Запись лекции]

Полезно почитать:
* Deng, [https://exp-platform.com/Documents/2013-02-CUPED-ImprovingSensitivityOfControlledExperiments.pdf Improving the Sensitivity of Online Experiments]
* Victor Lei, [https://booking.ai/how-booking-com-increases-the-power-of-online-experiments-with-cuped-995d186fff1d How booking increases power with CUPED]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar4_mann_whitney mann_whitney]

==== Лекция 5. CUPED, DND ====
[https://youtu.be/saeAPdTTfTM Запись лекции]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar5_cuped cuped]

==== Лекция 6. Мэтчинг ====
[https://youtu.be/BQt-YZtknG4 Запись лекции]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar6_did matching]

==== Лекция 7. Поправка Бонферрони ====
[https://youtu.be/NNT4cVwZdmo Запись лекции]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar7_matching_bonferroni matching & bonferroni]

==== Лекция 8. Sampling ====
[https://youtu.be/ti9Tg8O-dhc Запись лекции]

==== Лекция 9. Стратификация, вычисление размера выборки ====
[https://youtu.be/en93OWTQRnU Запись лекции]

==== Лекция 10. MDE ====
[https://youtu.be/sufwhXz-0Co Запись лекции]
== Полезные источники в перемешку ==

General AB:

* [https://vkteam.medium.com/practitioners-guide-to-statistical-tests-ed2d580ef04f VK practitioner guide]
* Deng, [https://alexdeng.github.io/public/files/wsdm2017-rup.pdf Trustworthy analysis of online A/B tests: Pitfalls, challenges and solutions]
* Deng, [https://alexdeng.github.io/ webpage]
* Stats SE, [https://stats.stackexchange.com/questions/398436/a-b-testing-ratio-of-sums AB testing for ratio of sums]
* [https://towardsdatascience.com/a-b-testing-a-complete-guide-to-statistical-testing-e3f1db140499 Guide to AB]. Тесты для таблиц сопряжённости, Welch test, Mann-Whitney.

Bootstrap:

* Tim Hestenberg, [https://arxiv.org/abs/1411.5279 What teachers should know about the bootstrap]. Лучшее первое знакомство с бутстрэпом. Если есть время на один источник по бутстрэпу, то это то, что нужно.
* [https://people.eecs.berkeley.edu/~jordan/sail/readings/edgeworth.pdf Edgeworth expansion]. Большая книжка с брутальной теорией, преобразованиями Фурье, доказательствами и картинкой с матрёшками.
* James MacKinnon, [https://core.ac.uk/download/pdf/6494253.pdf Bootstrap Methods in Econometrics (про дикий и парный бутстрэп)]
* [https://www.unofficialgoogledatascience.com/2015/08/an-introduction-to-poisson-bootstrap26.html Poisson bootstrap]
* [https://arxiv.org/abs/1304.7406 Evaluation of Bootstrap Methods]

Робастные ошибки в регрессии:

* James Mackinnon, [https://www.researchgate.net/publication/254447243_Thirty_Years_of_Heteroskedasticity-Robust_Inference 30 years of robust inference]

CUPED + CUPAC:

* Deng, [https://exp-platform.com/Documents/2013-02-CUPED-ImprovingSensitivityOfControlledExperiments.pdf Improving the Sensitivity of Online Experiments, CUPED]
Оригинальная статья, на CUPED можно смотреть как на две подряд применённых регрессии :)
* Victor Lei, [https://booking.ai/how-booking-com-increases-the-power-of-online-experiments-with-cuped-995d186fff1d How booking increases power with CUPED]
* [https://www.researchgate.net/publication/345698207_Control_Using_Predictions_as_Covariates_in_Switchback_Experiments CUPAC]
Де-факто: признак генерируется любым алгоритмом машинного обучения, затем множественная регрессия с кластер-робастными стандартными ошибками.

Linearization + Delta-method:

* [https://dl.acm.org/doi/10.1145/3159652.3159699 Transformation of Ratio Metrics]
* [https://www.stat.cmu.edu/~hseltman/files/ratio.pdf Approximate E, Var for ratio]
* Deng, [https://arxiv.org/abs/1803.06336 Applying delta method:] practical guide with novel ideas

Эффекты воздействия:

* Рубен Ениколопоп, [http://quantile.ru/06/06-RE.pdf Эффекты воздействия]. Мэтчинг, propensity score.
* Matheus Facure, [https://matheusfacure.github.io/python-causality-handbook/landing-page.html Causal inference for Brave and True]. Инструментальные переменные, мэтчинг, RDD и прочие попытки выяснить причинно-следственные связи на неэкспериментальных данных. С мемасиками и в питоне.

Statistics 4mr 2021-22

2021-11-23T14:51:32Z

Vvkodzaeva: лекция 9

== О курсе ==
[https://www.youtube.com/channel/UC8PQpPltnaMvlr6g1wkkTqw/featured Youtube-канал с лекциями]

'''Оценивание'''

UoL = Экзамен * 0.7 + Письменная (или курсовая) работа * 0.3

Итоговая оценка = Экзамен * 0.5 + 0.3 * Контрольная работа + 0.2 * Домашняя работа

==== Module 1 ====
(1 lecture + 1 class per group X 7 weeks)

* Bootstrap
* Welch test
* Mann-Whitney test
* CUPED
* Difference in Difference estimator
* Matching
* Multiple comparison corrections

==== Module 2 ====
(1 lecture + 1 class per group X 8 weeks)
* Sampling
* Sample size calculation
* Contingency tables, Chi-squared tests
* ANOVA, ANCOVA
* Partial correlation

==== Module 3 ====
(1 lecture + 1 class per group X 11 weeks)
* Discriminant analysis
* Logit
* PCA
* Factor analysis
* Cluster analysis, Dendrogramms
* Conjoint Analysis
* Multidimensional scaling

== Литература ==
Вспоминаем тервер и матстат

''Книжки попроще''
* '''Frederick Gravetter, Larry Wallnau. Statistics for the Behavioral Sciences'''
* '''Феллер В. Введение в теорию вероятностей и её приложения'''

''Посложнее''

* '''Larry Wasserman. All of Statistics: A Concise Course in Statistical Inference'''
* '''David Williams. Weighing the Odds. A Course in Probability and Statistics'''
* '''Ширяев А.Н. Вероятность - 1''' .

Советы от UoL
* '''Malhotra, N.K. D.F. Birks and P.A. Wills Marketing Research, Pearson, fourth edition'''

== Боевой листок ==
==== Лекция 1. Наивный bootstrap, bootstrap t-статистики, bootstrap в bootstrap ====
[https://www.youtube.com/watch?v=wIPq_OoYcjc Запись лекции]

Полезно почитать:
* Tim Hestenberg, [https://arxiv.org/abs/1411.5279 What teachers should know about the bootstrap]
* [https://people.eecs.berkeley.edu/~jordan/sail/readings/edgeworth.pdf Edgeworth expansion]
Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar1 bootstrap_part1]

==== Лекция 2. Дикий bootstrap, парный bootstrap, пуассоновский bootstrap ====
[https://youtu.be/1cJzSioPAjM Запись лекции]

Полезно почитать:
* James MacKinnon, [https://core.ac.uk/download/pdf/6494253.pdf Bootstrap Methods in Econometrics (про дикий и парный бутстрэп)]
* [https://www.unofficialgoogledatascience.com/2015/08/an-introduction-to-poisson-bootstrap26.html Poisson bootstrap]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar2 bootstrap_part2]

==== Лекция 3. Ещё немного про бутстрэп, тест Уэлча ====
[https://youtu.be/3S60WStdb_w Запись лекции]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar3_welch welch]

==== Лекция 4. Манн Уитни, CUPED ====
[https://www.youtube.com/watch?v=oq9YAYzJZbw Запись лекции]

Полезно почитать:
* Deng, [https://exp-platform.com/Documents/2013-02-CUPED-ImprovingSensitivityOfControlledExperiments.pdf Improving the Sensitivity of Online Experiments]
* Victor Lei, [https://booking.ai/how-booking-com-increases-the-power-of-online-experiments-with-cuped-995d186fff1d How booking increases power with CUPED]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar4_mann_whitney mann_whitney]

==== Лекция 5. CUPED, DND ====
[https://youtu.be/saeAPdTTfTM Запись лекции]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar5_cuped cuped]

==== Лекция 6. Мэтчинг ====
[https://youtu.be/BQt-YZtknG4 Запись лекции]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar6_did matching]

==== Лекция 7. Поправка Бонферрони ====
[https://youtu.be/NNT4cVwZdmo Запись лекции]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar7_matching_bonferroni matching & bonferroni]

==== Лекция 8. Sampling ====
[https://youtu.be/ti9Tg8O-dhc Запись лекции]

==== Лекция 9. Стратификация, вычисление размера выборки ====
[https://youtu.be/en93OWTQRnU Запись лекции]

== Полезные источники в перемешку ==

General AB:

* [https://vkteam.medium.com/practitioners-guide-to-statistical-tests-ed2d580ef04f VK practitioner guide]
* Deng, [https://alexdeng.github.io/public/files/wsdm2017-rup.pdf Trustworthy analysis of online A/B tests: Pitfalls, challenges and solutions]
* Deng, [https://alexdeng.github.io/ webpage]
* Stats SE, [https://stats.stackexchange.com/questions/398436/a-b-testing-ratio-of-sums AB testing for ratio of sums]
* [https://towardsdatascience.com/a-b-testing-a-complete-guide-to-statistical-testing-e3f1db140499 Guide to AB]. Тесты для таблиц сопряжённости, Welch test, Mann-Whitney.

Bootstrap:

* Tim Hestenberg, [https://arxiv.org/abs/1411.5279 What teachers should know about the bootstrap]. Лучшее первое знакомство с бутстрэпом. Если есть время на один источник по бутстрэпу, то это то, что нужно.
* [https://people.eecs.berkeley.edu/~jordan/sail/readings/edgeworth.pdf Edgeworth expansion]. Большая книжка с брутальной теорией, преобразованиями Фурье, доказательствами и картинкой с матрёшками.
* James MacKinnon, [https://core.ac.uk/download/pdf/6494253.pdf Bootstrap Methods in Econometrics (про дикий и парный бутстрэп)]
* [https://www.unofficialgoogledatascience.com/2015/08/an-introduction-to-poisson-bootstrap26.html Poisson bootstrap]
* [https://arxiv.org/abs/1304.7406 Evaluation of Bootstrap Methods]

Робастные ошибки в регрессии:

* James Mackinnon, [https://www.researchgate.net/publication/254447243_Thirty_Years_of_Heteroskedasticity-Robust_Inference 30 years of robust inference]

CUPED + CUPAC:

* Deng, [https://exp-platform.com/Documents/2013-02-CUPED-ImprovingSensitivityOfControlledExperiments.pdf Improving the Sensitivity of Online Experiments, CUPED]
Оригинальная статья, на CUPED можно смотреть как на две подряд применённых регрессии :)
* Victor Lei, [https://booking.ai/how-booking-com-increases-the-power-of-online-experiments-with-cuped-995d186fff1d How booking increases power with CUPED]
* [https://www.researchgate.net/publication/345698207_Control_Using_Predictions_as_Covariates_in_Switchback_Experiments CUPAC]
Де-факто: признак генерируется любым алгоритмом машинного обучения, затем множественная регрессия с кластер-робастными стандартными ошибками.

Linearization + Delta-method:

* [https://dl.acm.org/doi/10.1145/3159652.3159699 Transformation of Ratio Metrics]
* [https://www.stat.cmu.edu/~hseltman/files/ratio.pdf Approximate E, Var for ratio]
* Deng, [https://arxiv.org/abs/1803.06336 Applying delta method:] practical guide with novel ideas

Эффекты воздействия:

* Рубен Ениколопоп, [http://quantile.ru/06/06-RE.pdf Эффекты воздействия]. Мэтчинг, propensity score.
* Matheus Facure, [https://matheusfacure.github.io/python-causality-handbook/landing-page.html Causal inference for Brave and True]. Инструментальные переменные, мэтчинг, RDD и прочие попытки выяснить причинно-следственные связи на неэкспериментальных данных. С мемасиками и в питоне.

Statistics 4mr 2021-22

2021-11-23T14:04:15Z

Vvkodzaeva: семинары 6, 7

== О курсе ==
[https://www.youtube.com/channel/UC8PQpPltnaMvlr6g1wkkTqw/featured Youtube-канал с лекциями]

'''Оценивание'''

UoL = Экзамен * 0.7 + Письменная (или курсовая) работа * 0.3

Итоговая оценка = Экзамен * 0.5 + 0.3 * Контрольная работа + 0.2 * Домашняя работа

==== Module 1 ====
(1 lecture + 1 class per group X 7 weeks)

* Bootstrap
* Welch test
* Mann-Whitney test
* CUPED
* Difference in Difference estimator
* Matching
* Multiple comparison corrections

==== Module 2 ====
(1 lecture + 1 class per group X 8 weeks)
* Sampling
* Sample size calculation
* Contingency tables, Chi-squared tests
* ANOVA, ANCOVA
* Partial correlation

==== Module 3 ====
(1 lecture + 1 class per group X 11 weeks)
* Discriminant analysis
* Logit
* PCA
* Factor analysis
* Cluster analysis, Dendrogramms
* Conjoint Analysis
* Multidimensional scaling

== Литература ==
Вспоминаем тервер и матстат

''Книжки попроще''
* '''Frederick Gravetter, Larry Wallnau. Statistics for the Behavioral Sciences'''
* '''Феллер В. Введение в теорию вероятностей и её приложения'''

''Посложнее''

* '''Larry Wasserman. All of Statistics: A Concise Course in Statistical Inference'''
* '''David Williams. Weighing the Odds. A Course in Probability and Statistics'''
* '''Ширяев А.Н. Вероятность - 1''' .

Советы от UoL
* '''Malhotra, N.K. D.F. Birks and P.A. Wills Marketing Research, Pearson, fourth edition'''

== Боевой листок ==
==== Лекция 1. Наивный bootstrap, bootstrap t-статистики, bootstrap в bootstrap ====
[https://www.youtube.com/watch?v=wIPq_OoYcjc Запись лекции]

Полезно почитать:
* Tim Hestenberg, [https://arxiv.org/abs/1411.5279 What teachers should know about the bootstrap]
* [https://people.eecs.berkeley.edu/~jordan/sail/readings/edgeworth.pdf Edgeworth expansion]
Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar1 bootstrap_part1]

==== Лекция 2. Дикий bootstrap, парный bootstrap, пуассоновский bootstrap ====
[https://youtu.be/1cJzSioPAjM Запись лекции]

Полезно почитать:
* James MacKinnon, [https://core.ac.uk/download/pdf/6494253.pdf Bootstrap Methods in Econometrics (про дикий и парный бутстрэп)]
* [https://www.unofficialgoogledatascience.com/2015/08/an-introduction-to-poisson-bootstrap26.html Poisson bootstrap]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar2 bootstrap_part2]

==== Лекция 3. Ещё немного про бутстрэп, тест Уэлча ====
[https://youtu.be/3S60WStdb_w Запись лекции]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar3_welch welch]

==== Лекция 4. Манн Уитни, CUPED ====
[https://www.youtube.com/watch?v=oq9YAYzJZbw Запись лекции]

Полезно почитать:
* Deng, [https://exp-platform.com/Documents/2013-02-CUPED-ImprovingSensitivityOfControlledExperiments.pdf Improving the Sensitivity of Online Experiments]
* Victor Lei, [https://booking.ai/how-booking-com-increases-the-power-of-online-experiments-with-cuped-995d186fff1d How booking increases power with CUPED]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar4_mann_whitney mann_whitney]

==== Лекция 5. CUPED, DND ====
[https://youtu.be/saeAPdTTfTM Запись лекции]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar5_cuped cuped]

==== Лекция 6. Мэтчинг ====
[https://youtu.be/BQt-YZtknG4 Запись лекции]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar6_did matching]

==== Лекция 7. Поправка Бонферрони ====
[https://youtu.be/NNT4cVwZdmo Запись лекции]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar7_matching_bonferroni matching & bonferroni]

==== Лекция 8. Sampling ====
[https://youtu.be/ti9Tg8O-dhc Запись лекции]

== Полезные источники в перемешку ==

General AB:

* [https://vkteam.medium.com/practitioners-guide-to-statistical-tests-ed2d580ef04f VK practitioner guide]
* Deng, [https://alexdeng.github.io/public/files/wsdm2017-rup.pdf Trustworthy analysis of online A/B tests: Pitfalls, challenges and solutions]
* Deng, [https://alexdeng.github.io/ webpage]
* Stats SE, [https://stats.stackexchange.com/questions/398436/a-b-testing-ratio-of-sums AB testing for ratio of sums]
* [https://towardsdatascience.com/a-b-testing-a-complete-guide-to-statistical-testing-e3f1db140499 Guide to AB]. Тесты для таблиц сопряжённости, Welch test, Mann-Whitney.

Bootstrap:

* Tim Hestenberg, [https://arxiv.org/abs/1411.5279 What teachers should know about the bootstrap]. Лучшее первое знакомство с бутстрэпом. Если есть время на один источник по бутстрэпу, то это то, что нужно.
* [https://people.eecs.berkeley.edu/~jordan/sail/readings/edgeworth.pdf Edgeworth expansion]. Большая книжка с брутальной теорией, преобразованиями Фурье, доказательствами и картинкой с матрёшками.
* James MacKinnon, [https://core.ac.uk/download/pdf/6494253.pdf Bootstrap Methods in Econometrics (про дикий и парный бутстрэп)]
* [https://www.unofficialgoogledatascience.com/2015/08/an-introduction-to-poisson-bootstrap26.html Poisson bootstrap]
* [https://arxiv.org/abs/1304.7406 Evaluation of Bootstrap Methods]

Робастные ошибки в регрессии:

* James Mackinnon, [https://www.researchgate.net/publication/254447243_Thirty_Years_of_Heteroskedasticity-Robust_Inference 30 years of robust inference]

CUPED + CUPAC:

* Deng, [https://exp-platform.com/Documents/2013-02-CUPED-ImprovingSensitivityOfControlledExperiments.pdf Improving the Sensitivity of Online Experiments, CUPED]
Оригинальная статья, на CUPED можно смотреть как на две подряд применённых регрессии :)
* Victor Lei, [https://booking.ai/how-booking-com-increases-the-power-of-online-experiments-with-cuped-995d186fff1d How booking increases power with CUPED]
* [https://www.researchgate.net/publication/345698207_Control_Using_Predictions_as_Covariates_in_Switchback_Experiments CUPAC]
Де-факто: признак генерируется любым алгоритмом машинного обучения, затем множественная регрессия с кластер-робастными стандартными ошибками.

Linearization + Delta-method:

* [https://dl.acm.org/doi/10.1145/3159652.3159699 Transformation of Ratio Metrics]
* [https://www.stat.cmu.edu/~hseltman/files/ratio.pdf Approximate E, Var for ratio]
* Deng, [https://arxiv.org/abs/1803.06336 Applying delta method:] practical guide with novel ideas

Эффекты воздействия:

* Рубен Ениколопоп, [http://quantile.ru/06/06-RE.pdf Эффекты воздействия]. Мэтчинг, propensity score.
* Matheus Facure, [https://matheusfacure.github.io/python-causality-handbook/landing-page.html Causal inference for Brave and True]. Инструментальные переменные, мэтчинг, RDD и прочие попытки выяснить причинно-следственные связи на неэкспериментальных данных. С мемасиками и в питоне.

Statistics 4mr 2021-22

2021-11-11T10:02:53Z

Vvkodzaeva: лекция 8

== О курсе ==
[https://www.youtube.com/channel/UC8PQpPltnaMvlr6g1wkkTqw/featured Youtube-канал с лекциями]

'''Оценивание'''

UoL = Экзамен * 0.7 + Письменная (или курсовая) работа * 0.3

Итоговая оценка = Экзамен * 0.5 + 0.3 * Контрольная работа + 0.2 * Домашняя работа

==== Module 1 ====
(1 lecture + 1 class per group X 7 weeks)

* Bootstrap
* Welch test
* Mann-Whitney test
* CUPED
* Difference in Difference estimator
* Matching
* Multiple comparison corrections

==== Module 2 ====
(1 lecture + 1 class per group X 8 weeks)
* Sampling
* Sample size calculation
* Contingency tables, Chi-squared tests
* ANOVA, ANCOVA
* Partial correlation

==== Module 3 ====
(1 lecture + 1 class per group X 11 weeks)
* Discriminant analysis
* Logit
* PCA
* Factor analysis
* Cluster analysis, Dendrogramms
* Conjoint Analysis
* Multidimensional scaling

== Литература ==
Вспоминаем тервер и матстат

''Книжки попроще''
* '''Frederick Gravetter, Larry Wallnau. Statistics for the Behavioral Sciences'''
* '''Феллер В. Введение в теорию вероятностей и её приложения'''

''Посложнее''

* '''Larry Wasserman. All of Statistics: A Concise Course in Statistical Inference'''
* '''David Williams. Weighing the Odds. A Course in Probability and Statistics'''
* '''Ширяев А.Н. Вероятность - 1''' .

Советы от UoL
* '''Malhotra, N.K. D.F. Birks and P.A. Wills Marketing Research, Pearson, fourth edition'''

== Боевой листок ==
==== Лекция 1. Наивный bootstrap, bootstrap t-статистики, bootstrap в bootstrap ====
[https://www.youtube.com/watch?v=wIPq_OoYcjc Запись лекции]

Полезно почитать:
* Tim Hestenberg, [https://arxiv.org/abs/1411.5279 What teachers should know about the bootstrap]
* [https://people.eecs.berkeley.edu/~jordan/sail/readings/edgeworth.pdf Edgeworth expansion]
Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar1 bootstrap_part1]

==== Лекция 2. Дикий bootstrap, парный bootstrap, пуассоновский bootstrap ====
[https://youtu.be/1cJzSioPAjM Запись лекции]

Полезно почитать:
* James MacKinnon, [https://core.ac.uk/download/pdf/6494253.pdf Bootstrap Methods in Econometrics (про дикий и парный бутстрэп)]
* [https://www.unofficialgoogledatascience.com/2015/08/an-introduction-to-poisson-bootstrap26.html Poisson bootstrap]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar2 bootstrap_part2]

==== Лекция 3. Ещё немного про бутстрэп, тест Уэлча ====
[https://youtu.be/3S60WStdb_w Запись лекции]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar3_welch welch]

==== Лекция 4. Манн Уитни, CUPED ====
[https://www.youtube.com/watch?v=oq9YAYzJZbw Запись лекции]

Полезно почитать:
* Deng, [https://exp-platform.com/Documents/2013-02-CUPED-ImprovingSensitivityOfControlledExperiments.pdf Improving the Sensitivity of Online Experiments]
* Victor Lei, [https://booking.ai/how-booking-com-increases-the-power-of-online-experiments-with-cuped-995d186fff1d How booking increases power with CUPED]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar4_mann_whitney mann_whitney]

==== Лекция 5. CUPED, DND ====
[https://youtu.be/saeAPdTTfTM Запись лекции]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar5_cuped cuped]

==== Лекция 6. Мэтчинг ====
[https://youtu.be/BQt-YZtknG4 Запись лекции]

==== Лекция 7. Поправка Бонферрони ====
[https://youtu.be/NNT4cVwZdmo Запись лекции]

==== Лекция 8. Sampling ====
[https://youtu.be/ti9Tg8O-dhc Запись лекции]

== Полезные источники в перемешку ==

General AB:

* [https://vkteam.medium.com/practitioners-guide-to-statistical-tests-ed2d580ef04f VK practitioner guide]
* Deng, [https://alexdeng.github.io/public/files/wsdm2017-rup.pdf Trustworthy analysis of online A/B tests: Pitfalls, challenges and solutions]
* Deng, [https://alexdeng.github.io/ webpage]
* Stats SE, [https://stats.stackexchange.com/questions/398436/a-b-testing-ratio-of-sums AB testing for ratio of sums]
* [https://towardsdatascience.com/a-b-testing-a-complete-guide-to-statistical-testing-e3f1db140499 Guide to AB]. Тесты для таблиц сопряжённости, Welch test, Mann-Whitney.

Bootstrap:

* Tim Hestenberg, [https://arxiv.org/abs/1411.5279 What teachers should know about the bootstrap]. Лучшее первое знакомство с бутстрэпом. Если есть время на один источник по бутстрэпу, то это то, что нужно.
* [https://people.eecs.berkeley.edu/~jordan/sail/readings/edgeworth.pdf Edgeworth expansion]. Большая книжка с брутальной теорией, преобразованиями Фурье, доказательствами и картинкой с матрёшками.
* James MacKinnon, [https://core.ac.uk/download/pdf/6494253.pdf Bootstrap Methods in Econometrics (про дикий и парный бутстрэп)]
* [https://www.unofficialgoogledatascience.com/2015/08/an-introduction-to-poisson-bootstrap26.html Poisson bootstrap]
* [https://arxiv.org/abs/1304.7406 Evaluation of Bootstrap Methods]

Робастные ошибки в регрессии:

* James Mackinnon, [https://www.researchgate.net/publication/254447243_Thirty_Years_of_Heteroskedasticity-Robust_Inference 30 years of robust inference]

CUPED + CUPAC:

* Deng, [https://exp-platform.com/Documents/2013-02-CUPED-ImprovingSensitivityOfControlledExperiments.pdf Improving the Sensitivity of Online Experiments, CUPED]
Оригинальная статья, на CUPED можно смотреть как на две подряд применённых регрессии :)
* Victor Lei, [https://booking.ai/how-booking-com-increases-the-power-of-online-experiments-with-cuped-995d186fff1d How booking increases power with CUPED]
* [https://www.researchgate.net/publication/345698207_Control_Using_Predictions_as_Covariates_in_Switchback_Experiments CUPAC]
Де-факто: признак генерируется любым алгоритмом машинного обучения, затем множественная регрессия с кластер-робастными стандартными ошибками.

Linearization + Delta-method:

* [https://dl.acm.org/doi/10.1145/3159652.3159699 Transformation of Ratio Metrics]
* [https://www.stat.cmu.edu/~hseltman/files/ratio.pdf Approximate E, Var for ratio]
* Deng, [https://arxiv.org/abs/1803.06336 Applying delta method:] practical guide with novel ideas

Эффекты воздействия:

* Рубен Ениколопоп, [http://quantile.ru/06/06-RE.pdf Эффекты воздействия]. Мэтчинг, propensity score.
* Matheus Facure, [https://matheusfacure.github.io/python-causality-handbook/landing-page.html Causal inference for Brave and True]. Инструментальные переменные, мэтчинг, RDD и прочие попытки выяснить причинно-следственные связи на неэкспериментальных данных. С мемасиками и в питоне.

Statistics 4mr 2021-22

2021-11-03T16:25:33Z

Vvkodzaeva: лекция 7

== О курсе ==
[https://www.youtube.com/channel/UC8PQpPltnaMvlr6g1wkkTqw/featured Youtube-канал с лекциями]

'''Оценивание'''

UoL = Экзамен * 0.7 + Письменная (или курсовая) работа * 0.3

Итоговая оценка = Экзамен * 0.5 + 0.3 * Контрольная работа + 0.2 * Домашняя работа

==== Module 1 ====
(1 lecture + 1 class per group X 7 weeks)

* Bootstrap
* Welch test
* Mann-Whitney test
* CUPED
* Difference in Difference estimator
* Matching
* Multiple comparison corrections

==== Module 2 ====
(1 lecture + 1 class per group X 8 weeks)
* Sampling
* Sample size calculation
* Contingency tables, Chi-squared tests
* ANOVA, ANCOVA
* Partial correlation

==== Module 3 ====
(1 lecture + 1 class per group X 11 weeks)
* Discriminant analysis
* Logit
* PCA
* Factor analysis
* Cluster analysis, Dendrogramms
* Conjoint Analysis
* Multidimensional scaling

== Литература ==
Вспоминаем тервер и матстат

''Книжки попроще''
* '''Frederick Gravetter, Larry Wallnau. Statistics for the Behavioral Sciences'''
* '''Феллер В. Введение в теорию вероятностей и её приложения'''

''Посложнее''

* '''Larry Wasserman. All of Statistics: A Concise Course in Statistical Inference'''
* '''David Williams. Weighing the Odds. A Course in Probability and Statistics'''
* '''Ширяев А.Н. Вероятность - 1''' .

Советы от UoL
* '''Malhotra, N.K. D.F. Birks and P.A. Wills Marketing Research, Pearson, fourth edition'''

== Боевой листок ==
==== Лекция 1. Наивный bootstrap, bootstrap t-статистики, bootstrap в bootstrap ====
[https://www.youtube.com/watch?v=wIPq_OoYcjc Запись лекции]

Полезно почитать:
* Tim Hestenberg, [https://arxiv.org/abs/1411.5279 What teachers should know about the bootstrap]
* [https://people.eecs.berkeley.edu/~jordan/sail/readings/edgeworth.pdf Edgeworth expansion]
Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar1 bootstrap_part1]

==== Лекция 2. Дикий bootstrap, парный bootstrap, пуассоновский bootstrap ====
[https://youtu.be/1cJzSioPAjM Запись лекции]

Полезно почитать:
* James MacKinnon, [https://core.ac.uk/download/pdf/6494253.pdf Bootstrap Methods in Econometrics (про дикий и парный бутстрэп)]
* [https://www.unofficialgoogledatascience.com/2015/08/an-introduction-to-poisson-bootstrap26.html Poisson bootstrap]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar2 bootstrap_part2]

==== Лекция 3. Ещё немного про бутстрэп, тест Уэлча ====
[https://youtu.be/3S60WStdb_w Запись лекции]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar3_welch welch]

==== Лекция 4. Манн Уитни, CUPED ====
[https://www.youtube.com/watch?v=oq9YAYzJZbw Запись лекции]

Полезно почитать:
* Deng, [https://exp-platform.com/Documents/2013-02-CUPED-ImprovingSensitivityOfControlledExperiments.pdf Improving the Sensitivity of Online Experiments]
* Victor Lei, [https://booking.ai/how-booking-com-increases-the-power-of-online-experiments-with-cuped-995d186fff1d How booking increases power with CUPED]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar4_mann_whitney mann_whitney]

==== Лекция 5. CUPED, DND ====
[https://youtu.be/saeAPdTTfTM Запись лекции]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar5_cuped cuped]

==== Лекция 6. Мэтчинг ====
[https://youtu.be/BQt-YZtknG4 Запись лекции]

==== Лекция 7. Поправка Бонферрони ====
[https://youtu.be/NNT4cVwZdmo Запись лекции]

== Полезные источники в перемешку ==

General AB:

* [https://vkteam.medium.com/practitioners-guide-to-statistical-tests-ed2d580ef04f VK practitioner guide]
* Deng, [https://alexdeng.github.io/public/files/wsdm2017-rup.pdf Trustworthy analysis of online A/B tests: Pitfalls, challenges and solutions]
* Deng, [https://alexdeng.github.io/ webpage]
* Stats SE, [https://stats.stackexchange.com/questions/398436/a-b-testing-ratio-of-sums AB testing for ratio of sums]
* [https://towardsdatascience.com/a-b-testing-a-complete-guide-to-statistical-testing-e3f1db140499 Guide to AB]. Тесты для таблиц сопряжённости, Welch test, Mann-Whitney.

Bootstrap:

* Tim Hestenberg, [https://arxiv.org/abs/1411.5279 What teachers should know about the bootstrap]. Лучшее первое знакомство с бутстрэпом. Если есть время на один источник по бутстрэпу, то это то, что нужно.
* [https://people.eecs.berkeley.edu/~jordan/sail/readings/edgeworth.pdf Edgeworth expansion]. Большая книжка с брутальной теорией, преобразованиями Фурье, доказательствами и картинкой с матрёшками.
* James MacKinnon, [https://core.ac.uk/download/pdf/6494253.pdf Bootstrap Methods in Econometrics (про дикий и парный бутстрэп)]
* [https://www.unofficialgoogledatascience.com/2015/08/an-introduction-to-poisson-bootstrap26.html Poisson bootstrap]
* [https://arxiv.org/abs/1304.7406 Evaluation of Bootstrap Methods]

Робастные ошибки в регрессии:

* James Mackinnon, [https://www.researchgate.net/publication/254447243_Thirty_Years_of_Heteroskedasticity-Robust_Inference 30 years of robust inference]

CUPED + CUPAC:

* Deng, [https://exp-platform.com/Documents/2013-02-CUPED-ImprovingSensitivityOfControlledExperiments.pdf Improving the Sensitivity of Online Experiments, CUPED]
Оригинальная статья, на CUPED можно смотреть как на две подряд применённых регрессии :)
* Victor Lei, [https://booking.ai/how-booking-com-increases-the-power-of-online-experiments-with-cuped-995d186fff1d How booking increases power with CUPED]
* [https://www.researchgate.net/publication/345698207_Control_Using_Predictions_as_Covariates_in_Switchback_Experiments CUPAC]
Де-факто: признак генерируется любым алгоритмом машинного обучения, затем множественная регрессия с кластер-робастными стандартными ошибками.

Linearization + Delta-method:

* [https://dl.acm.org/doi/10.1145/3159652.3159699 Transformation of Ratio Metrics]
* [https://www.stat.cmu.edu/~hseltman/files/ratio.pdf Approximate E, Var for ratio]
* Deng, [https://arxiv.org/abs/1803.06336 Applying delta method:] practical guide with novel ideas

Эффекты воздействия:

* Рубен Ениколопоп, [http://quantile.ru/06/06-RE.pdf Эффекты воздействия]. Мэтчинг, propensity score.
* Matheus Facure, [https://matheusfacure.github.io/python-causality-handbook/landing-page.html Causal inference for Brave and True]. Инструментальные переменные, мэтчинг, RDD и прочие попытки выяснить причинно-следственные связи на неэкспериментальных данных. С мемасиками и в питоне.

Statistics 4mr 2021-22

2021-10-15T17:15:16Z

Vvkodzaeva: лекция 6

Statistics 4mr 2021-22

2021-10-08T06:06:15Z

Vvkodzaeva: =

Statistics 4mr 2021-22

2021-10-08T06:05:36Z

Vvkodzaeva: лекция 5

Statistics 4mr 2021-22

2021-10-04T19:48:11Z

Vvkodzaeva: лекция 4

== О курсе ==
[https://www.youtube.com/channel/UC8PQpPltnaMvlr6g1wkkTqw/featured Youtube-канал с лекциями]

'''Оценивание'''

UoL = Экзамен * 0.7 + Письменная (или курсовая) работа * 0.3

Итоговая оценка = UoL * 0.6 + 0.3 * Контрольная работа + 0.1 * Домашняя работа

== Литература ==
Вспоминаем тервер и матстат

''Книжки попроще''
* '''Frederick Gravetter, Larry Wallnau. Statistics for the Behavioral Sciences'''
* '''Феллер В. Введение в теорию вероятностей и её приложения'''

''Посложнее''

* '''Larry Wasserman. All of Statistics: A Concise Course in Statistical Inference'''
* '''David Williams. Weighing the Odds. A Course in Probability and Statistics'''
* '''Ширяев А.Н. Вероятность - 1''' .

Советы от UoL
* '''Malhotra, N.K. D.F. Birks and P.A. Wills Marketing Research, Pearson, fourth edition'''

== Материалы ==
==== Лекция 1. Наивный bootstrap, bootstrap t-статистики, bootstrap в bootstrap ====
[https://www.youtube.com/watch?v=wIPq_OoYcjc Запись лекции]

Полезно почитать:
* [https://arxiv.org/abs/1411.5279 Tim Hestenberg, What teachers should know about the bootstrap]
* [https://people.eecs.berkeley.edu/~jordan/sail/readings/edgeworth.pdf Если хотите теорию и доказательства]
Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar1 bootstrap_part1]

==== Лекция 2. Дикий bootstrap, парный bootstrap, пуассоновский bootstrap ====
[https://youtu.be/1cJzSioPAjM Запись лекции]

Полезно почитать:
* [https://core.ac.uk/download/pdf/6494253.pdf James MacKinnon, Bootstrap Methods in Econometrics (про дикий и парный бутстрэп)]
* [https://www.unofficialgoogledatascience.com/2015/08/an-introduction-to-poisson-bootstrap26.html Про пуассоновский бутстрэп]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar2 bootstrap_part2]

==== Лекция 3. Ещё немного про бутстрэп, тест Уэлча ====
[https://youtu.be/3S60WStdb_w Запись лекции]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar3_welch welch]

==== Лекция 4. Манн Уитни, CUPED ====
[https://www.youtube.com/watch?v=oq9YAYzJZbw Запись лекции]

Полезно почитать:
* [https://exp-platform.com/Documents/2013-02-CUPED-ImprovingSensitivityOfControlledExperiments.pdf Improving the Sensitivity of Online Controlled Experimentsby Utilizing Pre-Experiment Data]
* [https://booking.ai/how-booking-com-increases-the-power-of-online-experiments-with-cuped-995d186fff1d Про классное применение парной регресси]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar4_mann_whitney mann_whitney]

Statistics 4mr 2021-22

2021-09-24T07:41:28Z

Vvkodzaeva: лекция 4

== О курсе ==
[https://www.youtube.com/channel/UC8PQpPltnaMvlr6g1wkkTqw/featured Youtube-канал с лекциями]

'''Оценивание'''

UoL = Экзамен * 0.7 + Письменная (или курсовая) работа * 0.3

Итоговая оценка = UoL * 0.6 + 0.3 * Контрольная работа + 0.1 * Домашняя работа

== Литература ==
Вспоминаем тервер и матстат

''Книжки попроще''
* '''Frederick Gravetter, Larry Wallnau. Statistics for the Behavioral Sciences'''
* '''Феллер В. Введение в теорию вероятностей и её приложения'''

''Посложнее''

* '''Larry Wasserman. All of Statistics: A Concise Course in Statistical Inference'''
* '''David Williams. Weighing the Odds. A Course in Probability and Statistics'''
* '''Ширяев А.Н. Вероятность - 1''' .

Советы от UoL
* '''Malhotra, N.K. D.F. Birks and P.A. Wills Marketing Research, Pearson, fourth edition'''

== Материалы ==
==== Лекция 1. Наивный bootstrap, bootstrap t-статистики, bootstrap в bootstrap ====
[https://www.youtube.com/watch?v=wIPq_OoYcjc Запись лекции]

Полезно почитать:
* [https://arxiv.org/abs/1411.5279 Tim Hestenberg, What teachers should know about the bootstrap]
* [https://people.eecs.berkeley.edu/~jordan/sail/readings/edgeworth.pdf Если хотите теорию и доказательства]
Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar1 bootstrap_part1]

==== Лекция 2. Дикий bootstrap, парный bootstrap, пуассоновский bootstrap ====
[https://youtu.be/1cJzSioPAjM Запись лекции]

Полезно почитать:
* [https://core.ac.uk/download/pdf/6494253.pdf James MacKinnon, Bootstrap Methods in Econometrics (про дикий и парный бутстрэп)]
* [https://www.unofficialgoogledatascience.com/2015/08/an-introduction-to-poisson-bootstrap26.html Про пуассоновский бутстрэп]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar2 bootstrap_part2]

==== Лекция 3. Ещё немного про бутстрэп, тест Уэлча ====
[https://youtu.be/3S60WStdb_w Запись лекции]

Statistics 4mr 2021-22

2021-09-20T07:01:00Z

Vvkodzaeva: семинар 2

== О курсе ==
[https://www.youtube.com/channel/UC8PQpPltnaMvlr6g1wkkTqw/featured Youtube-канал с лекциями]

'''Оценивание'''

UoL = Экзамен * 0.7 + Письменная (или курсовая) работа * 0.3

Итоговая оценка = UoL * 0.6 + 0.3 * Контрольная работа + 0.1 * Домашняя работа

== Литература ==
Вспоминаем тервер и матстат

''Книжки попроще''
* '''Frederick Gravetter, Larry Wallnau. Statistics for the Behavioral Sciences'''
* '''Феллер В. Введение в теорию вероятностей и её приложения'''

''Посложнее''

* '''Larry Wasserman. All of Statistics: A Concise Course in Statistical Inference'''
* '''David Williams. Weighing the Odds. A Course in Probability and Statistics'''
* '''Ширяев А.Н. Вероятность - 1''' .

Советы от UoL
* '''Malhotra, N.K. D.F. Birks and P.A. Wills Marketing Research, Pearson, fourth edition'''

== Материалы ==
==== Лекция 1. Наивный bootstrap, bootstrap t-статистики, bootstrap в bootstrap ====
[https://www.youtube.com/watch?v=wIPq_OoYcjc Запись лекции]

Полезно почитать:
* [https://arxiv.org/abs/1411.5279 Tim Hestenberg, What teachers should know about the bootstrap]
* [https://people.eecs.berkeley.edu/~jordan/sail/readings/edgeworth.pdf Если хотите теорию и доказательства]
Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar1 bootstrap_part1]

==== Лекция 2. Дикий bootstrap, парный bootstrap, пуассоновский bootstrap ====
[https://youtu.be/1cJzSioPAjM Запись лекции]

Полезно почитать:
* [https://core.ac.uk/download/pdf/6494253.pdf James MacKinnon, Bootstrap Methods in Econometrics (про дикий и парный бутстрэп)]
* [https://www.unofficialgoogledatascience.com/2015/08/an-introduction-to-poisson-bootstrap26.html Про пуассоновский бутстрэп]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar2 bootstrap_part2]

Statistics 4mr 2021-22

2021-09-20T07:00:27Z

Vvkodzaeva: семинар 2

== О курсе ==
[https://www.youtube.com/channel/UC8PQpPltnaMvlr6g1wkkTqw/featured Youtube-канал с лекциями]

'''Оценивание'''

UoL = Экзамен * 0.7 + Письменная (или курсовая) работа * 0.3

Итоговая оценка = UoL * 0.6 + 0.3 * Контрольная работа + 0.1 * Домашняя работа

== Литература ==
Вспоминаем тервер и матстат

''Книжки попроще''
* '''Frederick Gravetter, Larry Wallnau. Statistics for the Behavioral Sciences'''
* '''Феллер В. Введение в теорию вероятностей и её приложения'''

''Посложнее''

* '''Larry Wasserman. All of Statistics: A Concise Course in Statistical Inference'''
* '''David Williams. Weighing the Odds. A Course in Probability and Statistics'''
* '''Ширяев А.Н. Вероятность - 1''' .

Советы от UoL
* '''Malhotra, N.K. D.F. Birks and P.A. Wills Marketing Research, Pearson, fourth edition'''

== Материалы ==
==== Лекция 1. Наивный bootstrap, bootstrap t-статистики, bootstrap в bootstrap ====
[https://www.youtube.com/watch?v=wIPq_OoYcjc Запись лекции]

Полезно почитать:
* [https://arxiv.org/abs/1411.5279 Tim Hestenberg, What teachers should know about the bootstrap]
* [https://people.eecs.berkeley.edu/~jordan/sail/readings/edgeworth.pdf Если хотите теорию и доказательства]
Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar1 bootstrap_part1]

==== Лекция 2. Дикий bootstrap, парный bootstrap, пуассоновский bootstrap ====
[https://youtu.be/1cJzSioPAjM Запись лекции]

Полезно почитать:
* [https://core.ac.uk/download/pdf/6494253.pdf James MacKinnon, Bootstrap Methods in Econometrics (про дикий и парный бутстрэп)]
* [https://www.unofficialgoogledatascience.com/2015/08/an-introduction-to-poisson-bootstrap26.html Про пуассоновский бутстрэп]

Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar2]

Statistics 4mr 2021-22

2021-09-14T13:28:11Z

Vvkodzaeva: лекция 2

== О курсе ==
[https://www.youtube.com/channel/UC8PQpPltnaMvlr6g1wkkTqw/featured Youtube-канал с лекциями]

'''Оценивание'''

UoL = Экзамен * 0.7 + Письменная (или курсовая) работа * 0.3

Итоговая оценка = UoL * 0.6 + 0.3 * Контрольная работа + 0.1 * Домашняя работа

== Литература ==
Вспоминаем тервер и матстат

''Книжки попроще''
* '''Frederick Gravetter, Larry Wallnau. Statistics for the Behavioral Sciences'''
* '''Феллер В. Введение в теорию вероятностей и её приложения'''

''Посложнее''

* '''Larry Wasserman. All of Statistics: A Concise Course in Statistical Inference'''
* '''David Williams. Weighing the Odds. A Course in Probability and Statistics'''
* '''Ширяев А.Н. Вероятность - 1''' .

Советы от UoL
* '''Malhotra, N.K. D.F. Birks and P.A. Wills Marketing Research, Pearson, fourth edition'''

== Материалы ==
==== Лекция 1. Наивный bootstrap, bootstrap t-статистики, bootstrap в bootstrap ====
[https://www.youtube.com/watch?v=wIPq_OoYcjc Запись лекции]

Полезно почитать:
* [https://arxiv.org/abs/1411.5279 Tim Hestenberg, What teachers should know about the bootstrap]
* [https://people.eecs.berkeley.edu/~jordan/sail/readings/edgeworth.pdf Если хотите теорию и доказательства]
Тетрадка с семинара:
* [https://github.com/xenakas/stat4mr_2021/tree/main/seminar1 bootstrap_part1]

==== Лекция 2. Дикий bootstrap, парный bootstrap, пуассоновский bootstrap ====
[https://youtu.be/1cJzSioPAjM Запись лекции]

Полезно почитать:
* [https://core.ac.uk/download/pdf/6494253.pdf James MacKinnon, Bootstrap Methods in Econometrics (про дикий и парный бутстрэп)]
* [https://www.unofficialgoogledatascience.com/2015/08/an-introduction-to-poisson-bootstrap26.html Про пуассоновский бутстрэп]

Statistics 4mr 2021-22

2021-09-08T08:50:45Z

Vvkodzaeva: ссылка на youtube

== О курсе ==
[https://www.youtube.com/channel/UC8PQpPltnaMvlr6g1wkkTqw/featured Youtube-канал с лекциями]

== Литература ==

== Материалы ==
==== Лекция 1. Наивный bootstrap, bootstrap t-статистики, bootstrap в bootstrap ====
[https://www.youtube.com/watch?v=wIPq_OoYcjc Запись лекции]

Полезно почитать:
* [https://arxiv.org/abs/1411.5279 Tim Hestenberg, What teachers should know about the bootstrap]

Statistics 4mr 2021-22

2021-09-03T05:57:59Z

Vvkodzaeva: лекция 1

== О курсе ==

== Литература ==

== Материалы ==
==== Лекция 1. Наивный bootstrap, bootstrap t-статистики, bootstrap в bootstrap ====
[https://eduhseru.sharepoint.com/:v:/s/Stats4mr/ETnLxC4bxe9PjRdvgnQHZNIBpxf_nb10rri6Mz8tsAvCdg Запись лекции]

Полезно почитать:
* [https://arxiv.org/abs/1411.5279 Tim Hestenberg, What teachers should know about the bootstrap]

Statistics 4mr 2021-22

2021-09-02T07:10:43Z

Vvkodzaeva: создание страницы

== О курсе ==

== Литература ==

== Материалы ==