Wiki - Факультет компьютерных наук - Вклад [ru]

Прикладные задачи анализа данных (майнор - весна 2019)

2019-06-03T12:17:32Z

Shnurre: Почта для сдачи дз

=== О курсе ===

Читается для студентов 3 курса в 3-4 модулях.

Лекции проходят по четвергам, 10:30 – 11:50, ауд. 5306 (Шаболовка, 26).

'''Лекторы:'''

В 3 модуле: Александр Панов (обучение с подкреплением) - apanov[at]hse.ru

В 4 модуле: Дмитрий Игнатов (майнинг данных), Иван Смуров (автоматическая обработка текстов)

[https://t.me/joinchat/AAAAAEj7vNXCzgevidEIEg Канал для оповещений в Telegram]

[https://goo.gl/forms/vtohl1tZsxvao13f1 Оставить] анонимный отзыв или предложение для курса.

=== Семинары ===

Семинары проходят по четвергам (Шаболовка, 26).

{| class="wikitable"
|-
! Группа !! Преподаватель !! Расписание !! Telegram
|-
| ИАД1 || Александр Панов || 09:00 – 10:20, ауд. 4336 || [https://t.me/sonyabur Вопросы по семинарам и ДЗ]
|-
| ИАД2 || Алексей Скрынник || 12:10 – 13:30, ауд. 3202 || [https://t.me/joinchat/A98O_RX9s_OUSaEyeOE6qg Чат группы]
|-
| ИАД3 || Наталия Козловская || 09:00 – 10:20, ауд. 3316 ||
|-
| ИАД4|| Дмитрий Светличный || 09:00 – 10:20, ауд. 4335 ||
|-
| ИАД5|| Дмитрий Светличный || 12:10 – 13:30, ауд. 4335 ||
|-
|}

=== Домашние задания ===

ДЗ 1. Обучение с подкреплением I: [https://github.com/grafft/hse-tasks/tree/master/minor-module4/hw1 имитационное обучение], срок - 20.02.2019 23:59, вопросы задавать [https://t.me/purple_frog ассистенту].

ДЗ 2. Обучение с подкреплением II: [https://github.com/grafft/hse-tasks/tree/master/minor-module4/hw2 алгоритм актор-критик], срок - 24.03.2019 23:59, вопросы задавать [https://t.me/sonyabur ассистенту].

ДЗ 3. Анализ текстов: [https://yadi.sk/d/OUcDK6o3iUZGTw Текстовая классификация], срок - 10.06.2019 09:59, решения присылать на dz3.iad@yandex.ru

=== Система оценок ===

Результирующая оценка рассчитывается по формуле:

Oитоговая = 0.6 * Oнакопл + 0.4 * Оэкз

Накопленная оценка рассчитывается по формуле:

Oнакопл = 0.6 * OДЗ (4 шт) + 0.2 * Oауд + 0.2 * Oколл

При накопленное оценке в 8, 9, 10 баллов такая же оценка за экзамен выставляется автоматом.

[https://docs.google.com/spreadsheets/d/1gXsuQMNVuC2rsjoIg5sa_1g9uxtmS9DAg8inMHT_wYE/edit?usp=sharing Таблица с оценками]

=== Программа ===

==== Неделя 1. 17.01.2019 ====

'''Лекция''': Введение в обучение с подкреплением. Основные понятия [https://yadi.sk/i/kqbwWX_1sNzkUg (слайды)]

'''Семинар''': [https://github.com/grafft/hse-tasks/tree/master/minor-module4/seminar1 MDP + CrossEntropy]

==== Неделя 2. 24.01.2019 ====

'''Лекция''': Динамическое программирование [https://yadi.sk/i/6mH8sFKfgGY2LA (слайды)]

'''Семинар''': [https://github.com/grafft/hse-tasks/blob/master/minor-module4/seminar2/sem2_dp.ipynb DP + ADP]

==== Неделя 3. 31.01.2019 ====

'''Лекция''': Монте-Карло и временные различия [https://yadi.sk/i/fZbj8IpbBW3nIQ (слайды)]

'''Семинар''': [https://github.com/grafft/hse-tasks/blob/master/minor-module4/seminar3/sem3_qlearn.ipynb TD + Q-learning]

==== Неделя 4. 07.02.2019 ====

Занятия перенесены.

==== Неделя 5. 14.02.2019 ====

'''Лекция''': Аппроксимация функции полезности [https://yadi.sk/i/tlVbPXY1rvC-Kw (слайды)]

'''Семинар''': [https://github.com/grafft/hse-tasks/tree/master/minor-module4/seminar4 DQN]

==== Неделя 6. 21.02.2019 ====

'''Лекция''': Иерархическое обучение с подкреплением [https://yadi.sk/i/Qpv09MbQJdNTAQ (слайды)]

'''Семинар''': [https://github.com/grafft/hse-tasks/blob/master/minor-module4/seminar5/sem5_options.ipynb Options]

==== Неделя 7. 28.02.2019 ====

'''Лекция''': Градиент стратегии [https://yadi.sk/i/N37h4VH2Oa7Q1w (слайды)]

'''Семинар''': [https://github.com/grafft/hse-tasks/blob/master/minor-module4/seminar6/sem6_pg.ipynb Vanilla PG]

==== Неделя 8. 07.03.2019 ====

'''Лекция''': Актор-критик [https://yadi.sk/i/fTtRg5QTxr0yYA (слайды)]

'''Семинар''': [https://github.com/grafft/hse-tasks/blob/master/minor-module4/seminar7/sem7_ac.ipynb ActorCritic]

==== Неделя 9. 14.03.2019 ====

'''Лекция''': Обучение и планирование [https://yadi.sk/i/_K-rive0oythxg (слайды)]

'''Семинар''': [https://github.com/grafft/hse-tasks/tree/master/minor-module4/seminar8 Dyna]

==== Неделя 10. 21.03.2019 ====

'''Лекция''': Обучение в частично-наблюдаемой среде [https://yadi.sk/i/v7pHOgTKt2oj_Q (слайды)]

'''Семинар''':

==== NLP: Неделя 1. 04.04.2019 ====

'''Лекция''': NLP: введение, базовые элементы пайплайна [https://yadi.sk/i/i9Qh5YTWCjlj0A (слайды)]

'''Семинар''': [https://yadi.sk/d/bN-HPvFzPF9IIQ Sem_tokenize_morph]

==== NLP: Недели 2-3. 11.04.2019, 18.04.2019 ====

'''Лекции''': Векторные признаки в NLP: От мешка слов к языковым моделям [https://yadi.sk/i/G9Ni7Otf5D1_Hw (слайды)]

'''Семинары''': [https://yadi.sk/d/y4qxxPkUts7sbg Sem_emb_lm]

==== NLP: Неделя 4. 25.04.2019 ====

'''Лекция''': NER:Извлечение именованных сущностей [https://yadi.sk/i/9ZpzDL6bP69mUg (слайды)]

'''Семинар''': [https://yadi.sk/d/ZO5dTTfWzFitQg Sem_NER]

==== NLP: Неделя 5. 16.05.2019 ====

'''Лекция''': Текстовая классификация [https://yadi.sk/d/Y1rLhNRGFpq6WQ (слайды)]

'''Семинар''': [https://yadi.sk/d/D17JFFQLhRtNeg sem_classification]

==== NLP: Неделя 6. 23.05.2019 ====

'''Лекция''': Машинный перевод [https://yadi.sk/i/I6MJ8JGbYp825A (слайды)]

'''Семинар''': [https://yadi.sk/d/Ps0RxIFuLMFG5w Sem_MT]

=== Рекомендуемые ресурсы и литература===

Обучение с подкреплением:
* Книга Sutton, Barto Reinforcement learning: An Introdu [http://webdocs.cs.ualberta.ca/~sutton/book/the-book.html (ссылка)]
* Курс от Яндекса [https://github.com/yandexdataschool/Practical_RL (ссылка)]
* Идеи нейрофизиологии и психологии [http://www.scholarpedia.org/article/Reinforcement_learning (ссылка)]
* Глубокое обучение с подкреплением [http://rail.eecs.berkeley.edu/deeprlcourse/ (ссылка)]
* Лекции от Berkley [https://sites.google.com/view/deep-rl-bootcamp/lectures (ссылка)]
* Лекции от University of Edinburg [http://www.inf.ed.ac.uk/teaching/courses/rl/ (ссылка)]
* Лекции Дэвида Сильвера [http://www0.cs.ucl.ac.uk/staff/d.silver/web/Teaching.html (ссылка)]
* Курс Паскаля Попарта [https://cs.uwaterloo.ca/~ppoupart/teaching/cs885-spring18/ (ссылка)]
* Курс Саттона [https://drive.google.com/drive/folders/0B3w765rOKuKANmxNbXdwaE1YU1k (ссылка)]
* Материалы OpenAI [https://spinningup.openai.com/en/latest/index.html (ссылка)]
* Репозиторий различных материалов по RL [https://github.com/aikorea/awesome-rl (ссылка)]

Прикладные задачи анализа данных (майнор - весна 2019)

2019-05-28T18:46:33Z

Shnurre: Дз по NLP

=== О курсе ===

Читается для студентов 3 курса в 3-4 модулях.

Лекции проходят по четвергам, 10:30 – 11:50, ауд. 5306 (Шаболовка, 26).

'''Лекторы:'''

В 3 модуле: Александр Панов (обучение с подкреплением) - apanov[at]hse.ru

В 4 модуле: Дмитрий Игнатов (майнинг данных), Иван Смуров (автоматическая обработка текстов)

[https://t.me/joinchat/AAAAAEj7vNXCzgevidEIEg Канал для оповещений в Telegram]

[https://goo.gl/forms/vtohl1tZsxvao13f1 Оставить] анонимный отзыв или предложение для курса.

=== Семинары ===

Семинары проходят по четвергам (Шаболовка, 26).

{| class="wikitable"
|-
! Группа !! Преподаватель !! Расписание !! Telegram
|-
| ИАД1 || Александр Панов || 09:00 – 10:20, ауд. 4336 || [https://t.me/sonyabur Вопросы по семинарам и ДЗ]
|-
| ИАД2 || Алексей Скрынник || 12:10 – 13:30, ауд. 3202 || [https://t.me/joinchat/A98O_RX9s_OUSaEyeOE6qg Чат группы]
|-
| ИАД3 || Наталия Козловская || 09:00 – 10:20, ауд. 3316 ||
|-
| ИАД4|| Дмитрий Светличный || 09:00 – 10:20, ауд. 4335 ||
|-
| ИАД5|| Дмитрий Светличный || 12:10 – 13:30, ауд. 4335 ||
|-
|}

=== Домашние задания ===

ДЗ 1. Обучение с подкреплением I: [https://github.com/grafft/hse-tasks/tree/master/minor-module4/hw1 имитационное обучение], срок - 20.02.2019 23:59, вопросы задавать [https://t.me/purple_frog ассистенту].

ДЗ 2. Обучение с подкреплением II: [https://github.com/grafft/hse-tasks/tree/master/minor-module4/hw2 алгоритм актор-критик], срок - 24.03.2019 23:59, вопросы задавать [https://t.me/sonyabur ассистенту].

ДЗ 3. Анализ текстов: [https://yadi.sk/d/OUcDK6o3iUZGTw Текстовая классификация], срок - 10.06.2019 09:59

=== Система оценок ===

Результирующая оценка рассчитывается по формуле:

Oитоговая = 0.6 * Oнакопл + 0.4 * Оэкз

Накопленная оценка рассчитывается по формуле:

Oнакопл = 0.6 * OДЗ (4 шт) + 0.2 * Oауд + 0.2 * Oколл

При накопленное оценке в 8, 9, 10 баллов такая же оценка за экзамен выставляется автоматом.

[https://docs.google.com/spreadsheets/d/1gXsuQMNVuC2rsjoIg5sa_1g9uxtmS9DAg8inMHT_wYE/edit?usp=sharing Таблица с оценками]

=== Программа ===

==== Неделя 1. 17.01.2019 ====

'''Лекция''': Введение в обучение с подкреплением. Основные понятия [https://yadi.sk/i/kqbwWX_1sNzkUg (слайды)]

'''Семинар''': [https://github.com/grafft/hse-tasks/tree/master/minor-module4/seminar1 MDP + CrossEntropy]

==== Неделя 2. 24.01.2019 ====

'''Лекция''': Динамическое программирование [https://yadi.sk/i/6mH8sFKfgGY2LA (слайды)]

'''Семинар''': [https://github.com/grafft/hse-tasks/blob/master/minor-module4/seminar2/sem2_dp.ipynb DP + ADP]

==== Неделя 3. 31.01.2019 ====

'''Лекция''': Монте-Карло и временные различия [https://yadi.sk/i/fZbj8IpbBW3nIQ (слайды)]

'''Семинар''': [https://github.com/grafft/hse-tasks/blob/master/minor-module4/seminar3/sem3_qlearn.ipynb TD + Q-learning]

==== Неделя 4. 07.02.2019 ====

Занятия перенесены.

==== Неделя 5. 14.02.2019 ====

'''Лекция''': Аппроксимация функции полезности [https://yadi.sk/i/tlVbPXY1rvC-Kw (слайды)]

'''Семинар''': [https://github.com/grafft/hse-tasks/tree/master/minor-module4/seminar4 DQN]

==== Неделя 6. 21.02.2019 ====

'''Лекция''': Иерархическое обучение с подкреплением [https://yadi.sk/i/Qpv09MbQJdNTAQ (слайды)]

'''Семинар''': [https://github.com/grafft/hse-tasks/blob/master/minor-module4/seminar5/sem5_options.ipynb Options]

==== Неделя 7. 28.02.2019 ====

'''Лекция''': Градиент стратегии [https://yadi.sk/i/N37h4VH2Oa7Q1w (слайды)]

'''Семинар''': [https://github.com/grafft/hse-tasks/blob/master/minor-module4/seminar6/sem6_pg.ipynb Vanilla PG]

==== Неделя 8. 07.03.2019 ====

'''Лекция''': Актор-критик [https://yadi.sk/i/fTtRg5QTxr0yYA (слайды)]

'''Семинар''': [https://github.com/grafft/hse-tasks/blob/master/minor-module4/seminar7/sem7_ac.ipynb ActorCritic]

==== Неделя 9. 14.03.2019 ====

'''Лекция''': Обучение и планирование [https://yadi.sk/i/_K-rive0oythxg (слайды)]

'''Семинар''': [https://github.com/grafft/hse-tasks/tree/master/minor-module4/seminar8 Dyna]

==== Неделя 10. 21.03.2019 ====

'''Лекция''': Обучение в частично-наблюдаемой среде [https://yadi.sk/i/v7pHOgTKt2oj_Q (слайды)]

'''Семинар''':

==== NLP: Неделя 1. 04.04.2019 ====

'''Лекция''': NLP: введение, базовые элементы пайплайна [https://yadi.sk/i/i9Qh5YTWCjlj0A (слайды)]

'''Семинар''': [https://yadi.sk/d/bN-HPvFzPF9IIQ Sem_tokenize_morph]

==== NLP: Недели 2-3. 11.04.2019, 18.04.2019 ====

'''Лекции''': Векторные признаки в NLP: От мешка слов к языковым моделям [https://yadi.sk/i/G9Ni7Otf5D1_Hw (слайды)]

'''Семинары''': [https://yadi.sk/d/y4qxxPkUts7sbg Sem_emb_lm]

==== NLP: Неделя 4. 25.04.2019 ====

'''Лекция''': NER:Извлечение именованных сущностей [https://yadi.sk/i/9ZpzDL6bP69mUg (слайды)]

'''Семинар''': [https://yadi.sk/d/ZO5dTTfWzFitQg Sem_NER]

==== NLP: Неделя 5. 16.05.2019 ====

'''Лекция''': Текстовая классификация [https://yadi.sk/d/Y1rLhNRGFpq6WQ (слайды)]

'''Семинар''': [https://yadi.sk/d/D17JFFQLhRtNeg sem_classification]

==== NLP: Неделя 6. 23.05.2019 ====

'''Лекция''': Машинный перевод [https://yadi.sk/i/I6MJ8JGbYp825A (слайды)]

'''Семинар''': [https://yadi.sk/d/Ps0RxIFuLMFG5w Sem_MT]

=== Рекомендуемые ресурсы и литература===

Обучение с подкреплением:
* Книга Sutton, Barto Reinforcement learning: An Introdu [http://webdocs.cs.ualberta.ca/~sutton/book/the-book.html (ссылка)]
* Курс от Яндекса [https://github.com/yandexdataschool/Practical_RL (ссылка)]
* Идеи нейрофизиологии и психологии [http://www.scholarpedia.org/article/Reinforcement_learning (ссылка)]
* Глубокое обучение с подкреплением [http://rail.eecs.berkeley.edu/deeprlcourse/ (ссылка)]
* Лекции от Berkley [https://sites.google.com/view/deep-rl-bootcamp/lectures (ссылка)]
* Лекции от University of Edinburg [http://www.inf.ed.ac.uk/teaching/courses/rl/ (ссылка)]
* Лекции Дэвида Сильвера [http://www0.cs.ucl.ac.uk/staff/d.silver/web/Teaching.html (ссылка)]
* Курс Паскаля Попарта [https://cs.uwaterloo.ca/~ppoupart/teaching/cs885-spring18/ (ссылка)]
* Курс Саттона [https://drive.google.com/drive/folders/0B3w765rOKuKANmxNbXdwaE1YU1k (ссылка)]
* Материалы OpenAI [https://spinningup.openai.com/en/latest/index.html (ссылка)]
* Репозиторий различных материалов по RL [https://github.com/aikorea/awesome-rl (ссылка)]

Прикладные задачи анализа данных (майнор - весна 2019)

2019-05-28T18:08:15Z

Shnurre:

=== О курсе ===

Читается для студентов 3 курса в 3-4 модулях.

Лекции проходят по четвергам, 10:30 – 11:50, ауд. 5306 (Шаболовка, 26).

'''Лекторы:'''

В 3 модуле: Александр Панов (обучение с подкреплением) - apanov[at]hse.ru

В 4 модуле: Дмитрий Игнатов (майнинг данных), Иван Смуров (автоматическая обработка текстов)

[https://t.me/joinchat/AAAAAEj7vNXCzgevidEIEg Канал для оповещений в Telegram]

[https://goo.gl/forms/vtohl1tZsxvao13f1 Оставить] анонимный отзыв или предложение для курса.

=== Семинары ===

Семинары проходят по четвергам (Шаболовка, 26).

{| class="wikitable"
|-
! Группа !! Преподаватель !! Расписание !! Telegram
|-
| ИАД1 || Александр Панов || 09:00 – 10:20, ауд. 4336 || [https://t.me/sonyabur Вопросы по семинарам и ДЗ]
|-
| ИАД2 || Алексей Скрынник || 12:10 – 13:30, ауд. 3202 || [https://t.me/joinchat/A98O_RX9s_OUSaEyeOE6qg Чат группы]
|-
| ИАД3 || Наталия Козловская || 09:00 – 10:20, ауд. 3316 ||
|-
| ИАД4|| Дмитрий Светличный || 09:00 – 10:20, ауд. 4335 ||
|-
| ИАД5|| Дмитрий Светличный || 12:10 – 13:30, ауд. 4335 ||
|-
|}

=== Домашние задания ===

ДЗ 1. Обучение с подкреплением I: [https://github.com/grafft/hse-tasks/tree/master/minor-module4/hw1 имитационное обучение], срок - 20.02.2019 23:59, вопросы задавать [https://t.me/purple_frog ассистенту].

ДЗ 2. Обучение с подкреплением II: [https://github.com/grafft/hse-tasks/tree/master/minor-module4/hw2 алгоритм актор-критик], срок - 24.03.2019 23:59, вопросы задавать [https://t.me/sonyabur ассистенту].

ДЗ 3. Анализ текстов I:

ДЗ 4. Анализ текстов II:

=== Система оценок ===

Результирующая оценка рассчитывается по формуле:

Oитоговая = 0.6 * Oнакопл + 0.4 * Оэкз

Накопленная оценка рассчитывается по формуле:

Oнакопл = 0.6 * OДЗ (4 шт) + 0.2 * Oауд + 0.2 * Oколл

При накопленное оценке в 8, 9, 10 баллов такая же оценка за экзамен выставляется автоматом.

[https://docs.google.com/spreadsheets/d/1gXsuQMNVuC2rsjoIg5sa_1g9uxtmS9DAg8inMHT_wYE/edit?usp=sharing Таблица с оценками]

=== Программа ===

==== Неделя 1. 17.01.2019 ====

'''Лекция''': Введение в обучение с подкреплением. Основные понятия [https://yadi.sk/i/kqbwWX_1sNzkUg (слайды)]

'''Семинар''': [https://github.com/grafft/hse-tasks/tree/master/minor-module4/seminar1 MDP + CrossEntropy]

==== Неделя 2. 24.01.2019 ====

'''Лекция''': Динамическое программирование [https://yadi.sk/i/6mH8sFKfgGY2LA (слайды)]

'''Семинар''': [https://github.com/grafft/hse-tasks/blob/master/minor-module4/seminar2/sem2_dp.ipynb DP + ADP]

==== Неделя 3. 31.01.2019 ====

'''Лекция''': Монте-Карло и временные различия [https://yadi.sk/i/fZbj8IpbBW3nIQ (слайды)]

'''Семинар''': [https://github.com/grafft/hse-tasks/blob/master/minor-module4/seminar3/sem3_qlearn.ipynb TD + Q-learning]

==== Неделя 4. 07.02.2019 ====

Занятия перенесены.

==== Неделя 5. 14.02.2019 ====

'''Лекция''': Аппроксимация функции полезности [https://yadi.sk/i/tlVbPXY1rvC-Kw (слайды)]

'''Семинар''': [https://github.com/grafft/hse-tasks/tree/master/minor-module4/seminar4 DQN]

==== Неделя 6. 21.02.2019 ====

'''Лекция''': Иерархическое обучение с подкреплением [https://yadi.sk/i/Qpv09MbQJdNTAQ (слайды)]

'''Семинар''': [https://github.com/grafft/hse-tasks/blob/master/minor-module4/seminar5/sem5_options.ipynb Options]

==== Неделя 7. 28.02.2019 ====

'''Лекция''': Градиент стратегии [https://yadi.sk/i/N37h4VH2Oa7Q1w (слайды)]

'''Семинар''': [https://github.com/grafft/hse-tasks/blob/master/minor-module4/seminar6/sem6_pg.ipynb Vanilla PG]

==== Неделя 8. 07.03.2019 ====

'''Лекция''': Актор-критик [https://yadi.sk/i/fTtRg5QTxr0yYA (слайды)]

'''Семинар''': [https://github.com/grafft/hse-tasks/blob/master/minor-module4/seminar7/sem7_ac.ipynb ActorCritic]

==== Неделя 9. 14.03.2019 ====

'''Лекция''': Обучение и планирование [https://yadi.sk/i/_K-rive0oythxg (слайды)]

'''Семинар''': [https://github.com/grafft/hse-tasks/tree/master/minor-module4/seminar8 Dyna]

==== Неделя 10. 21.03.2019 ====

'''Лекция''': Обучение в частично-наблюдаемой среде [https://yadi.sk/i/v7pHOgTKt2oj_Q (слайды)]

'''Семинар''':

==== NLP: Неделя 1. 04.04.2019 ====

'''Лекция''': NLP: введение, базовые элементы пайплайна [https://yadi.sk/i/i9Qh5YTWCjlj0A (слайды)]

'''Семинар''': [https://yadi.sk/d/bN-HPvFzPF9IIQ Sem_tokenize_morph]

==== NLP: Недели 2-3. 11.04.2019, 18.04.2019 ====

'''Лекции''': Векторные признаки в NLP: От мешка слов к языковым моделям [https://yadi.sk/i/G9Ni7Otf5D1_Hw (слайды)]

'''Семинары''': [https://yadi.sk/d/y4qxxPkUts7sbg Sem_emb_lm]

==== NLP: Неделя 4. 25.04.2019 ====

'''Лекция''': NER:Извлечение именованных сущностей [https://yadi.sk/i/9ZpzDL6bP69mUg (слайды)]

'''Семинар''': [https://yadi.sk/d/ZO5dTTfWzFitQg Sem_NER]

==== NLP: Неделя 5. 16.05.2019 ====

'''Лекция''': Текстовая классификация [https://yadi.sk/d/Y1rLhNRGFpq6WQ (слайды)]

'''Семинар''': [https://yadi.sk/d/D17JFFQLhRtNeg sem_classification]

==== NLP: Неделя 6. 23.05.2019 ====

'''Лекция''': Машинный перевод [https://yadi.sk/i/I6MJ8JGbYp825A (слайды)]

'''Семинар''': [https://yadi.sk/d/Ps0RxIFuLMFG5w Sem_MT]

=== Рекомендуемые ресурсы и литература===

Обучение с подкреплением:
* Книга Sutton, Barto Reinforcement learning: An Introdu [http://webdocs.cs.ualberta.ca/~sutton/book/the-book.html (ссылка)]
* Курс от Яндекса [https://github.com/yandexdataschool/Practical_RL (ссылка)]
* Идеи нейрофизиологии и психологии [http://www.scholarpedia.org/article/Reinforcement_learning (ссылка)]
* Глубокое обучение с подкреплением [http://rail.eecs.berkeley.edu/deeprlcourse/ (ссылка)]
* Лекции от Berkley [https://sites.google.com/view/deep-rl-bootcamp/lectures (ссылка)]
* Лекции от University of Edinburg [http://www.inf.ed.ac.uk/teaching/courses/rl/ (ссылка)]
* Лекции Дэвида Сильвера [http://www0.cs.ucl.ac.uk/staff/d.silver/web/Teaching.html (ссылка)]
* Курс Паскаля Попарта [https://cs.uwaterloo.ca/~ppoupart/teaching/cs885-spring18/ (ссылка)]
* Курс Саттона [https://drive.google.com/drive/folders/0B3w765rOKuKANmxNbXdwaE1YU1k (ссылка)]
* Материалы OpenAI [https://spinningup.openai.com/en/latest/index.html (ссылка)]
* Репозиторий различных материалов по RL [https://github.com/aikorea/awesome-rl (ссылка)]

Прикладные задачи анализа данных (майнор - весна 2019)

2019-05-28T18:07:50Z

Shnurre: Материалы по NLP

=== О курсе ===

Читается для студентов 3 курса в 3-4 модулях.

Лекции проходят по четвергам, 10:30 – 11:50, ауд. 5306 (Шаболовка, 26).

'''Лекторы:'''

В 3 модуле: Александр Панов (обучение с подкреплением) - apanov[at]hse.ru

В 4 модуле: Дмитрий Игнатов (майнинг данных), Иван Смуров (автоматическая обработка текстов)

[https://t.me/joinchat/AAAAAEj7vNXCzgevidEIEg Канал для оповещений в Telegram]

[https://goo.gl/forms/vtohl1tZsxvao13f1 Оставить] анонимный отзыв или предложение для курса.

=== Семинары ===

Семинары проходят по четвергам (Шаболовка, 26).

{| class="wikitable"
|-
! Группа !! Преподаватель !! Расписание !! Telegram
|-
| ИАД1 || Александр Панов || 09:00 – 10:20, ауд. 4336 || [https://t.me/sonyabur Вопросы по семинарам и ДЗ]
|-
| ИАД2 || Алексей Скрынник || 12:10 – 13:30, ауд. 3202 || [https://t.me/joinchat/A98O_RX9s_OUSaEyeOE6qg Чат группы]
|-
| ИАД3 || Наталия Козловская || 09:00 – 10:20, ауд. 3316 ||
|-
| ИАД4|| Дмитрий Светличный || 09:00 – 10:20, ауд. 4335 ||
|-
| ИАД5|| Дмитрий Светличный || 12:10 – 13:30, ауд. 4335 ||
|-
|}

=== Домашние задания ===

ДЗ 1. Обучение с подкреплением I: [https://github.com/grafft/hse-tasks/tree/master/minor-module4/hw1 имитационное обучение], срок - 20.02.2019 23:59, вопросы задавать [https://t.me/purple_frog ассистенту].

ДЗ 2. Обучение с подкреплением II: [https://github.com/grafft/hse-tasks/tree/master/minor-module4/hw2 алгоритм актор-критик], срок - 24.03.2019 23:59, вопросы задавать [https://t.me/sonyabur ассистенту].

ДЗ 3. Анализ текстов I:

ДЗ 4. Анализ текстов II:

=== Система оценок ===

Результирующая оценка рассчитывается по формуле:

Oитоговая = 0.6 * Oнакопл + 0.4 * Оэкз

Накопленная оценка рассчитывается по формуле:

Oнакопл = 0.6 * OДЗ (4 шт) + 0.2 * Oауд + 0.2 * Oколл

При накопленное оценке в 8, 9, 10 баллов такая же оценка за экзамен выставляется автоматом.

[https://docs.google.com/spreadsheets/d/1gXsuQMNVuC2rsjoIg5sa_1g9uxtmS9DAg8inMHT_wYE/edit?usp=sharing Таблица с оценками]

=== Программа ===

==== Неделя 1. 17.01.2019 ====

'''Лекция''': Введение в обучение с подкреплением. Основные понятия [https://yadi.sk/i/kqbwWX_1sNzkUg (слайды)]

'''Семинар''': [https://github.com/grafft/hse-tasks/tree/master/minor-module4/seminar1 MDP + CrossEntropy]

==== Неделя 2. 24.01.2019 ====

'''Лекция''': Динамическое программирование [https://yadi.sk/i/6mH8sFKfgGY2LA (слайды)]

'''Семинар''': [https://github.com/grafft/hse-tasks/blob/master/minor-module4/seminar2/sem2_dp.ipynb DP + ADP]

==== Неделя 3. 31.01.2019 ====

'''Лекция''': Монте-Карло и временные различия [https://yadi.sk/i/fZbj8IpbBW3nIQ (слайды)]

'''Семинар''': [https://github.com/grafft/hse-tasks/blob/master/minor-module4/seminar3/sem3_qlearn.ipynb TD + Q-learning]

==== Неделя 4. 07.02.2019 ====

Занятия перенесены.

==== Неделя 5. 14.02.2019 ====

'''Лекция''': Аппроксимация функции полезности [https://yadi.sk/i/tlVbPXY1rvC-Kw (слайды)]

'''Семинар''': [https://github.com/grafft/hse-tasks/tree/master/minor-module4/seminar4 DQN]

==== Неделя 6. 21.02.2019 ====

'''Лекция''': Иерархическое обучение с подкреплением [https://yadi.sk/i/Qpv09MbQJdNTAQ (слайды)]

'''Семинар''': [https://github.com/grafft/hse-tasks/blob/master/minor-module4/seminar5/sem5_options.ipynb Options]

==== Неделя 7. 28.02.2019 ====

'''Лекция''': Градиент стратегии [https://yadi.sk/i/N37h4VH2Oa7Q1w (слайды)]

'''Семинар''': [https://github.com/grafft/hse-tasks/blob/master/minor-module4/seminar6/sem6_pg.ipynb Vanilla PG]

==== Неделя 8. 07.03.2019 ====

'''Лекция''': Актор-критик [https://yadi.sk/i/fTtRg5QTxr0yYA (слайды)]

'''Семинар''': [https://github.com/grafft/hse-tasks/blob/master/minor-module4/seminar7/sem7_ac.ipynb ActorCritic]

==== Неделя 9. 14.03.2019 ====

'''Лекция''': Обучение и планирование [https://yadi.sk/i/_K-rive0oythxg (слайды)]

'''Семинар''': [https://github.com/grafft/hse-tasks/tree/master/minor-module4/seminar8 Dyna]

==== Неделя 10. 21.03.2019 ====

'''Лекция''': Обучение в частично-наблюдаемой среде [https://yadi.sk/i/v7pHOgTKt2oj_Q (слайды)]

'''Семинар''':

==== NLP: Неделя 1. 04.04.2019 ====

'''Лекция''': NLP: введение, базовые элементы пайплайна [https://yadi.sk/i/i9Qh5YTWCjlj0A (слайды)]

'''Семинар''': [https://yadi.sk/d/bN-HPvFzPF9IIQ Sem_tokenize_morph]

==== NLP: Недели 2-3. 11.04.2019, 18.04.2019 ====

'''Лекции''': Векторные признаки в NLP: От мешка слов к языковым моделям [https://yadi.sk/i/G9Ni7Otf5D1_Hw (слайды)]

'''Семинары''': [https://yadi.sk/d/y4qxxPkUts7sbg Sem_emb_lm]

==== NLP: Неделя 4. 25.04.2019 ====

'''Лекция''': NER:Извлечение именованных сущностей [https://yadi.sk/i/9ZpzDL6bP69mUg (слайды)]

'''Семинар''': [https://yadi.sk/d/ZO5dTTfWzFitQg Sem_NER]

==== NLP: Неделя 5. 16.05.2019 ====

'''Лекция''': Текстовая классификация [https://yadi.sk/d/Y1rLhNRGFpq6WQ(слайды)]

'''Семинар''': [https://yadi.sk/d/D17JFFQLhRtNeg sem_classification]

==== NLP: Неделя 6. 23.05.2019 ====

'''Лекция''': Машинный перевод [https://yadi.sk/i/I6MJ8JGbYp825A (слайды)]

'''Семинар''': [https://yadi.sk/d/Ps0RxIFuLMFG5w Sem_MT]

=== Рекомендуемые ресурсы и литература===

Обучение с подкреплением:
* Книга Sutton, Barto Reinforcement learning: An Introdu [http://webdocs.cs.ualberta.ca/~sutton/book/the-book.html (ссылка)]
* Курс от Яндекса [https://github.com/yandexdataschool/Practical_RL (ссылка)]
* Идеи нейрофизиологии и психологии [http://www.scholarpedia.org/article/Reinforcement_learning (ссылка)]
* Глубокое обучение с подкреплением [http://rail.eecs.berkeley.edu/deeprlcourse/ (ссылка)]
* Лекции от Berkley [https://sites.google.com/view/deep-rl-bootcamp/lectures (ссылка)]
* Лекции от University of Edinburg [http://www.inf.ed.ac.uk/teaching/courses/rl/ (ссылка)]
* Лекции Дэвида Сильвера [http://www0.cs.ucl.ac.uk/staff/d.silver/web/Teaching.html (ссылка)]
* Курс Паскаля Попарта [https://cs.uwaterloo.ca/~ppoupart/teaching/cs885-spring18/ (ссылка)]
* Курс Саттона [https://drive.google.com/drive/folders/0B3w765rOKuKANmxNbXdwaE1YU1k (ссылка)]
* Материалы OpenAI [https://spinningup.openai.com/en/latest/index.html (ссылка)]
* Репозиторий различных материалов по RL [https://github.com/aikorea/awesome-rl (ссылка)]

Прикладные задачи анализа данных (майнор - весна 2019)

2019-04-29T21:39:10Z

Shnurre: NER

=== О курсе ===

Читается для студентов 3 курса в 3-4 модулях.

Лекции проходят по четвергам, 10:30 – 11:50, ауд. 5306 (Шаболовка, 26).

'''Лекторы:'''

В 3 модуле: Александр Панов (обучение с подкреплением) - apanov[at]hse.ru

В 4 модуле: Дмитрий Игнатов (майнинг данных), Иван Смуров (автоматическая обработка текстов)

[https://t.me/joinchat/AAAAAEj7vNXCzgevidEIEg Канал для оповещений в Telegram]

[https://goo.gl/forms/vtohl1tZsxvao13f1 Оставить] анонимный отзыв или предложение для курса.

=== Семинары ===

Семинары проходят по четвергам (Шаболовка, 26).

{| class="wikitable"
|-
! Группа !! Преподаватель !! Расписание !! Telegram
|-
| ИАД1 || Александр Панов || 09:00 – 10:20, ауд. 4336 || [https://t.me/sonyabur Вопросы по семинарам и ДЗ]
|-
| ИАД2 || Алексей Скрынник || 12:10 – 13:30, ауд. 3202 || [https://t.me/joinchat/A98O_RX9s_OUSaEyeOE6qg Чат группы]
|-
| ИАД3 || Наталия Козловская || 09:00 – 10:20, ауд. 3316 ||
|-
| ИАД4|| Дмитрий Светличный || 09:00 – 10:20, ауд. 4335 ||
|-
| ИАД5|| Дмитрий Светличный || 12:10 – 13:30, ауд. 4335 ||
|-
|}

=== Домашние задания ===

ДЗ 1. Обучение с подкреплением I: [https://github.com/grafft/hse-tasks/tree/master/minor-module4/hw1 имитационное обучение], срок - 20.02.2019 23:59, вопросы задавать [https://t.me/purple_frog ассистенту].

ДЗ 2. Обучение с подкреплением II: [https://github.com/grafft/hse-tasks/tree/master/minor-module4/hw2 алгоритм актор-критик], срок - 24.03.2019 23:59, вопросы задавать [https://t.me/sonyabur ассистенту].

ДЗ 3. Анализ текстов I:

ДЗ 4. Анализ текстов II:

=== Система оценок ===

Результирующая оценка рассчитывается по формуле:

Oитоговая = 0.6 * Oнакопл + 0.4 * Оэкз

Накопленная оценка рассчитывается по формуле:

Oнакопл = 0.6 * OДЗ (4 шт) + 0.2 * Oауд + 0.2 * Oколл

При накопленное оценке в 8, 9, 10 баллов такая же оценка за экзамен выставляется автоматом.

[https://docs.google.com/spreadsheets/d/1gXsuQMNVuC2rsjoIg5sa_1g9uxtmS9DAg8inMHT_wYE/edit?usp=sharing Таблица с оценками]

=== Программа ===

==== Неделя 1. 17.01.2019 ====

'''Лекция''': Введение в обучение с подкреплением. Основные понятия [https://yadi.sk/i/kqbwWX_1sNzkUg (слайды)]

'''Семинар''': [https://github.com/grafft/hse-tasks/tree/master/minor-module4/seminar1 MDP + CrossEntropy]

==== Неделя 2. 24.01.2019 ====

'''Лекция''': Динамическое программирование [https://yadi.sk/i/6mH8sFKfgGY2LA (слайды)]

'''Семинар''': [https://github.com/grafft/hse-tasks/blob/master/minor-module4/seminar2/sem2_dp.ipynb DP + ADP]

==== Неделя 3. 31.01.2019 ====

'''Лекция''': Монте-Карло и временные различия [https://yadi.sk/i/fZbj8IpbBW3nIQ (слайды)]

'''Семинар''': [https://github.com/grafft/hse-tasks/blob/master/minor-module4/seminar3/sem3_qlearn.ipynb TD + Q-learning]

==== Неделя 4. 07.02.2019 ====

Занятия перенесены.

==== Неделя 5. 14.02.2019 ====

'''Лекция''': Аппроксимация функции полезности [https://yadi.sk/i/tlVbPXY1rvC-Kw (слайды)]

'''Семинар''': [https://github.com/grafft/hse-tasks/tree/master/minor-module4/seminar4 DQN]

==== Неделя 6. 21.02.2019 ====

'''Лекция''': Иерархическое обучение с подкреплением [https://yadi.sk/i/Qpv09MbQJdNTAQ (слайды)]

'''Семинар''': [https://github.com/grafft/hse-tasks/blob/master/minor-module4/seminar5/sem5_options.ipynb Options]

==== Неделя 7. 28.02.2019 ====

'''Лекция''': Градиент стратегии [https://yadi.sk/i/N37h4VH2Oa7Q1w (слайды)]

'''Семинар''': [https://github.com/grafft/hse-tasks/blob/master/minor-module4/seminar6/sem6_pg.ipynb Vanilla PG]

==== Неделя 8. 07.03.2019 ====

'''Лекция''': Актор-критик [https://yadi.sk/i/fTtRg5QTxr0yYA (слайды)]

'''Семинар''': [https://github.com/grafft/hse-tasks/blob/master/minor-module4/seminar7/sem7_ac.ipynb ActorCritic]

==== Неделя 9. 14.03.2019 ====

'''Лекция''': Обучение и планирование [https://yadi.sk/i/_K-rive0oythxg (слайды)]

'''Семинар''': [https://github.com/grafft/hse-tasks/tree/master/minor-module4/seminar8 Dyna]

==== Неделя 10. 21.03.2019 ====

'''Лекция''': Обучение в частично-наблюдаемой среде [https://yadi.sk/i/v7pHOgTKt2oj_Q (слайды)]

'''Семинар''':

==== NLP: Неделя 1. 04.04.2019 ====

'''Лекция''': NLP: введение, базовые элементы пайплайна [https://yadi.sk/i/i9Qh5YTWCjlj0A (слайды)]

'''Семинар''': [https://yadi.sk/d/bN-HPvFzPF9IIQ Sem_tokenize_morph]

==== NLP: Недели 2-3. 11.04.2019, 18.04.2019 ====

'''Лекции''': Векторные признаки в NLP: От мешка слов к языковым моделям [https://yadi.sk/i/G9Ni7Otf5D1_Hw (слайды)]

'''Семинары''': [https://yadi.sk/d/y4qxxPkUts7sbg Sem_emb_lm]

==== NLP: Неделя 4. 25.04.2019 ====

'''Лекция''': NER:Извлечение именованных сущностей [https://yadi.sk/i/9ZpzDL6bP69mUg (слайды)]

'''Семинар''': [https://yadi.sk/d/ZO5dTTfWzFitQg Sem_NER]

=== Рекомендуемые ресурсы и литература===

Обучение с подкреплением:
* Книга Sutton, Barto Reinforcement learning: An Introdu [http://webdocs.cs.ualberta.ca/~sutton/book/the-book.html (ссылка)]
* Курс от Яндекса [https://github.com/yandexdataschool/Practical_RL (ссылка)]
* Идеи нейрофизиологии и психологии [http://www.scholarpedia.org/article/Reinforcement_learning (ссылка)]
* Глубокое обучение с подкреплением [http://rail.eecs.berkeley.edu/deeprlcourse/ (ссылка)]
* Лекции от Berkley [https://sites.google.com/view/deep-rl-bootcamp/lectures (ссылка)]
* Лекции от University of Edinburg [http://www.inf.ed.ac.uk/teaching/courses/rl/ (ссылка)]
* Лекции Дэвида Сильвера [http://www0.cs.ucl.ac.uk/staff/d.silver/web/Teaching.html (ссылка)]
* Курс Паскаля Попарта [https://cs.uwaterloo.ca/~ppoupart/teaching/cs885-spring18/ (ссылка)]
* Курс Саттона [https://drive.google.com/drive/folders/0B3w765rOKuKANmxNbXdwaE1YU1k (ссылка)]
* Материалы OpenAI [https://spinningup.openai.com/en/latest/index.html (ссылка)]
* Репозиторий различных материалов по RL [https://github.com/aikorea/awesome-rl (ссылка)]

Прикладные задачи анализа данных (майнор - весна 2019)

2019-04-22T14:52:17Z

Shnurre: Добавлены первые лекции и семинары по NLP

=== О курсе ===

Читается для студентов 3 курса в 3-4 модулях.

Лекции проходят по четвергам, 10:30 – 11:50, ауд. 5306 (Шаболовка, 26).

'''Лекторы:'''

В 3 модуле: Александр Панов (обучение с подкреплением) - apanov[at]hse.ru

В 4 модуле: Дмитрий Игнатов (майнинг данных), Иван Смуров (автоматическая обработка текстов)

[https://t.me/joinchat/AAAAAEj7vNXCzgevidEIEg Канал для оповещений в Telegram]

[https://goo.gl/forms/vtohl1tZsxvao13f1 Оставить] анонимный отзыв или предложение для курса.

=== Семинары ===

Семинары проходят по четвергам (Шаболовка, 26).

{| class="wikitable"
|-
! Группа !! Преподаватель !! Расписание !! Telegram
|-
| ИАД1 || Александр Панов || 09:00 – 10:20, ауд. 4336 || [https://t.me/sonyabur Вопросы по семинарам и ДЗ]
|-
| ИАД2 || Алексей Скрынник || 12:10 – 13:30, ауд. 3202 || [https://t.me/joinchat/A98O_RX9s_OUSaEyeOE6qg Чат группы]
|-
| ИАД3 || Наталия Козловская || 09:00 – 10:20, ауд. 3316 ||
|-
| ИАД4|| Дмитрий Светличный || 09:00 – 10:20, ауд. 4335 ||
|-
| ИАД5|| Дмитрий Светличный || 12:10 – 13:30, ауд. 4335 ||
|-
|}

=== Домашние задания ===

ДЗ 1. Обучение с подкреплением I: [https://github.com/grafft/hse-tasks/tree/master/minor-module4/hw1 имитационное обучение], срок - 20.02.2019 23:59, вопросы задавать [https://t.me/purple_frog ассистенту].

ДЗ 2. Обучение с подкреплением II: [https://github.com/grafft/hse-tasks/tree/master/minor-module4/hw2 алгоритм актор-критик], срок - 24.03.2019 23:59, вопросы задавать [https://t.me/sonyabur ассистенту].

ДЗ 3. Анализ текстов I:

ДЗ 4. Анализ текстов II:

=== Система оценок ===

Результирующая оценка рассчитывается по формуле:

Oитоговая = 0.6 * Oнакопл + 0.4 * Оэкз

Накопленная оценка рассчитывается по формуле:

Oнакопл = 0.6 * OДЗ (4 шт) + 0.2 * Oауд + 0.2 * Oколл

При накопленное оценке в 8, 9, 10 баллов такая же оценка за экзамен выставляется автоматом.

[https://docs.google.com/spreadsheets/d/1gXsuQMNVuC2rsjoIg5sa_1g9uxtmS9DAg8inMHT_wYE/edit?usp=sharing Таблица с оценками]

=== Программа ===

==== Неделя 1. 17.01.2019 ====

'''Лекция''': Введение в обучение с подкреплением. Основные понятия [https://yadi.sk/i/kqbwWX_1sNzkUg (слайды)]

'''Семинар''': [https://github.com/grafft/hse-tasks/tree/master/minor-module4/seminar1 MDP + CrossEntropy]

==== Неделя 2. 24.01.2019 ====

'''Лекция''': Динамическое программирование [https://yadi.sk/i/6mH8sFKfgGY2LA (слайды)]

'''Семинар''': [https://github.com/grafft/hse-tasks/blob/master/minor-module4/seminar2/sem2_dp.ipynb DP + ADP]

==== Неделя 3. 31.01.2019 ====

'''Лекция''': Монте-Карло и временные различия [https://yadi.sk/i/fZbj8IpbBW3nIQ (слайды)]

'''Семинар''': [https://github.com/grafft/hse-tasks/blob/master/minor-module4/seminar3/sem3_qlearn.ipynb TD + Q-learning]

==== Неделя 4. 07.02.2019 ====

Занятия перенесены.

==== Неделя 5. 14.02.2019 ====

'''Лекция''': Аппроксимация функции полезности [https://yadi.sk/i/tlVbPXY1rvC-Kw (слайды)]

'''Семинар''': [https://github.com/grafft/hse-tasks/tree/master/minor-module4/seminar4 DQN]

==== Неделя 6. 21.02.2019 ====

'''Лекция''': Иерархическое обучение с подкреплением [https://yadi.sk/i/Qpv09MbQJdNTAQ (слайды)]

'''Семинар''': [https://github.com/grafft/hse-tasks/blob/master/minor-module4/seminar5/sem5_options.ipynb Options]

==== Неделя 7. 28.02.2019 ====

'''Лекция''': Градиент стратегии [https://yadi.sk/i/N37h4VH2Oa7Q1w (слайды)]

'''Семинар''': [https://github.com/grafft/hse-tasks/blob/master/minor-module4/seminar6/sem6_pg.ipynb Vanilla PG]

==== Неделя 8. 07.03.2019 ====

'''Лекция''': Актор-критик [https://yadi.sk/i/fTtRg5QTxr0yYA (слайды)]

'''Семинар''': [https://github.com/grafft/hse-tasks/blob/master/minor-module4/seminar7/sem7_ac.ipynb ActorCritic]

==== Неделя 9. 14.03.2019 ====

'''Лекция''': Обучение и планирование [https://yadi.sk/i/_K-rive0oythxg (слайды)]

'''Семинар''': [https://github.com/grafft/hse-tasks/tree/master/minor-module4/seminar8 Dyna]

==== Неделя 10. 21.03.2019 ====

'''Лекция''': Обучение в частично-наблюдаемой среде [https://yadi.sk/i/v7pHOgTKt2oj_Q (слайды)]

'''Семинар''':

==== NLP: Неделя 1. 04.04.2019 ====

'''Лекция''': NLP: введение, базовые элементы пайплайна [https://yadi.sk/i/i9Qh5YTWCjlj0A (слайды)]

'''Семинар''': [https://yadi.sk/d/bN-HPvFzPF9IIQ Sem_tokenize_morph]

==== NLP: Недели 2-3. 11.04.2019, 18.04.2019 ====

'''Лекции''': Векторные признаки в NLP: От мешка слов к языковым моделям [https://yadi.sk/i/G9Ni7Otf5D1_Hw (слайды)]

'''Семинары''': [https://yadi.sk/d/y4qxxPkUts7sbg Sem_emb_lm]

=== Рекомендуемые ресурсы и литература===

Обучение с подкреплением:
* Книга Sutton, Barto Reinforcement learning: An Introdu [http://webdocs.cs.ualberta.ca/~sutton/book/the-book.html (ссылка)]
* Курс от Яндекса [https://github.com/yandexdataschool/Practical_RL (ссылка)]
* Идеи нейрофизиологии и психологии [http://www.scholarpedia.org/article/Reinforcement_learning (ссылка)]
* Глубокое обучение с подкреплением [http://rail.eecs.berkeley.edu/deeprlcourse/ (ссылка)]
* Лекции от Berkley [https://sites.google.com/view/deep-rl-bootcamp/lectures (ссылка)]
* Лекции от University of Edinburg [http://www.inf.ed.ac.uk/teaching/courses/rl/ (ссылка)]
* Лекции Дэвида Сильвера [http://www0.cs.ucl.ac.uk/staff/d.silver/web/Teaching.html (ссылка)]
* Курс Паскаля Попарта [https://cs.uwaterloo.ca/~ppoupart/teaching/cs885-spring18/ (ссылка)]
* Курс Саттона [https://drive.google.com/drive/folders/0B3w765rOKuKANmxNbXdwaE1YU1k (ссылка)]
* Материалы OpenAI [https://spinningup.openai.com/en/latest/index.html (ссылка)]
* Репозиторий различных материалов по RL [https://github.com/aikorea/awesome-rl (ссылка)]