Wiki - Факультет компьютерных наук - Вклад [ru]

Глубинное обучение для текстовых данных 24/25

2024-09-26T11:02:54Z

Isadrtdinov 1: /* Темы курса */

== О курсе ==

NLP (Natural Language Processing) — это область машинного обучения, которая пытается научить компьютер понимать и обрабатывать текстовые данные. NLP лежит в основе множества технологий, таких как системы перевода и генерации текстов, голосовые помощники, суммаризаторы текстов, спам детекторы и так далее. В настоящее время такие технологии не только облегчают жизнь людям, решая несложные задачи быстрее них. Часто модели машинного обучения позволяют достигать более высокого качества и оказываются “умнее” многих людей. Примером такой модели может стать нашумевшая ChatGPT, способная корректно отвечать на вопросы по самым различным темам. В курсе мы пройдем весь путь развития подходов NLP от классического машинного обучения до современных больших языковых моделей и узнаем, какие задачи встречаются в NLP и как правильно подходить к их решению. Особое внимание мы уделим Трансформерным моделям и обсудим, как обучать их наиболее эффективно, а так же какими свойствами обладают предобученные модели.
Каждая тема будет сопровождаться домашним заданием, при решении которого студенты смогут лучше разобраться в тонкостях реализаций обсуждаемых подходов на практике.

== Расписание ==

'''Лекция:''' Вторник 16:20. Ссылка на [https://us06web.zoom.us/j/82583958930?pwd=ZuJXR3T1oo2SepCVtOFeOdWlgCGaF8.1 zoom].

'''Семинары:'''

* Группа 1 (Биршерт): Четверг 18:10. Ссылка на [https://us06web.zoom.us/j/83582653324?pwd=Q3o2FyGfRWOgZ5TNSBsvn5GjvyFjlC.1 zoom].
* Группа 2 (Панков): Вторник 18:10. Ссылка на [https://us06web.zoom.us/j/88476820471?pwd=EUglqWPrsLotvvWEFcNbWoUhOJBGDb.1 zoom].

== Полезные ссылки ==

Общий чат курса в telegram: https://t.me/+y3lpNwqty_9iYjYy

Github курса: https://github.com/ashaba1in/hse-nlp/tree/main/2024

== Темы курса ==

1. Классификация текста. Записи: [https://disk.yandex.ru/i/VZBjWbskRzyDWg лекция], [https://disk.yandex.ru/i/NeZPJoCaLyfXTQ семинар]

2. Генерация текста. Методы токенизации. Записи: [https://disk.yandex.ru/i/QFKbGoLQaPgdQQ лекция], [https://disk.yandex.ru/i/FFTIFnsKRk9mnw семинар]

== Преподаватели и ассистенты ==

{| class="wikitable"
|-
! Преподаватели !! Ассистенты
|-
| [https://t.me/amshabalin Александр Шабалин] || [https://t.me/aishutin Андрей Ишутин]
|-
| [https://t.me/Birshert Алексей Биршерт] || [https://t.me/neyudin Николай Юдин]
|-
| [https://t.me/leksious Алексей Панков] || [https://t.me/kemmeritocracy Анастасия Кеммер]
|-
|}

== Домашние задания ==

== Контрольная работа ==

== Формула оценок ==

Определим накопленную оценку как ''Накоп'' = (0.4 * ДЗ + 0.3 * КР) / 0.7.

''Итог'' = ''Округление''(0.7 * Накоп + 0.3 * Э). Округление арифметическое.

* ДЗ — средняя оценка за домашние задания
* КР — оценка за контрольную работу
* Э — оценка за экзамен

Если ''Накоп'' >= 8, то студент может получить ''Округление''(''Накоп'') в качестве итоговой оценки, не приходя на экзамен.

'''Формат экзамена''': устный.

Глубинное обучение 1 23/24

2023-11-17T17:33:21Z

Isadrtdinov 1: /* МОП */

== О курсе ==

Это страничка курсов 2023-2024 года (1-3 модуль 3 курса ПМИ):
* '''Глубинное обучение 1''' (для групп МОП: 211-213)
* '''Введение в глубинное обучение''' (группы 214 (ТИ), 217 (АПР) и 218 (АДИС)).

Курс посвящен глубинному обучению – самой активно развивающейся области машинного обучения. Слушатели курса узнают, какие задачи машинного обучения можно решать с помощью нейронных сетей и какие виды нейронных сетей находят свои применения на сегодняшний день. Курс имеет явную практическую направленность, студентам предлагаются задания на обучение нейронных сетей на фреймворке PyTorch языка программирования Python. В курсе обзорно, но достаточно для ознакомления разбираются задачи на изображения и тексты.

=== Цели освоения курса ===
# Знать принцип работы и уметь обучать следующие виды нейронных сетей: полносвязные, сверточные, рекуррентные, трансформеры.
# Владение фреймворком PyTorch для обучения нейронных сетей.
# Понимание различных задач, которые решаются с применением глубинного обучения.
# Умение обрабатывать данные и составлять пайплайны для обучения нейронных сетей.

== Полезные ссылки ==

* Репозиторий курса: https://github.com/isadrtdinov/intro-to-dl-hse

* Таблица с оценками: https://docs.google.com/spreadsheets/d/1D0m5CFlj6CJPUhYPTsCAhD-euPCV31iZGDnib08SGuI/edit?usp=sharing

* Anytask: https://anytask.org/course/1054

* Чат с обсуждением (МОП): +NO2tyNRZtYUyOGRi (добавить после хттпс://т.ме/)

* Чат с обсуждением (не МОП): +f3zZiP2HHllhYzUy (добавить после хтппс://т.ме/)

== Преподаватели и ассистенты ==

Лекции (МОП); кому писать, если кажется, что все пропало: [https://t.me/isadrtdinov Ильдус Садртдинов]

{| class="wikitable"
|-
! Группа !! Семинарист !! Ассистенты !! Инвайт в anytask
|-
| 211 (МОП) || [https://www.hse.ru/org/persons/225560347 Морозов Никита Витальевич] || [https://t.me/jeembogod Березовский Валерий] [https://t.me/aiziks Максутова Айза] || 7wB0jXP
|-
| 212 (МОП) || [https://t.me/Birshert Биршерт Алексей Дмитриевич] || [https://t.me/bayesian_monster Максимов Ян] [https://t.me/murkyfella Аксёнов Ярослав] || uvtz7mP
|-
| 213 (МОП) || [https://t.me/foma2u Шипилов Фома Александрович] || [https://t.me/mcnckc Гусев Михаил] [https://t.me/kvdmitrieva Екатерина Дмитриева] || 1Jn1jST
|-
| ГО-1 не МОП ПМИ || любой из трех выше || см. таблицу с оценками || YFuosZt
|-
| 214 (ТИ) + 217 (АПР) || [https://t.me/messlav Пирогов Вячеслав Григорьевич] || TBA || TBA
|-
| 218 (АДИС) || [https://t.me/bor_loco Боревский Андрей Олегович] || TBA || TBA
|}

== Формулы оценок ==

=== МОП ===

''Итог'' = ''Округление''(0.3 * БДЗ + 0.25 * МДЗ + 0.15 ПР + 0.3 * Э)

* БДЗ - оценка за большие домашние задания
* МДЗ - оценка за маленькие домашние задания
* ПР - оценка за проверочные работы (проводятся на семинарах)
* Э - оценка за экзамен

Округление арифметическое. Определим накопленную оценку как ''Накоп'' = ''Округление''((0.3 * БДЗ + 0.25 МДЗ + 0.15 * ПР) / 0.7). Если Накоп >= 8, то студент может получить ''Накоп'' в качестве итоговой оценки, не приходя на экзамен.

'''Формат экзамена''': письменный, в аудитории, материалами пользоваться не разрешается, 2 часа.

'''Формат пересдачи''': накопленная оценка сохраняется, формат аналогичен экзамену.

=== Не МОП ===

''Итог'' = ''Округление''(0.7 * МДЗ + 0.3 * ПР)

* МДЗ - оценка за маленькие домашние задания
* ПР - оценка за проверочные работы (проводятся на семинарах)

Округление арифметическое.

'''Формат экзамена''': экзамен не предусмотрен.

'''Формат пересдачи''': досдача МДЗ.

== Лекции ==

=== МОП ===

# Backpropagation algorithm, fully-connected networks: [https://youtu.be/DXZK3rpDp4U?si=UpS9dkXpNXB4uF0Q запись] [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2023-2024/lecture-notes/notes-01-mlp.pdf доска]
# Cross-entropy loss, Dropout, Batch Normalization: [https://youtu.be/SWD-Zk4P1j0?si=hzIUcGtfzrx27FGC запись] [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2023-2024/lecture-notes/notes-02-dropout-batchnorm.pdf доска]

=== Не МОП ===

== Семинары ==

=== МОП ===

# Введение в PyTorch: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2023-2024/seminars/213/seminar_1.ipynb ноутбук]
# Обучение полносвязных нейронных сетей: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2023-2024/seminars/213/seminar_2.ipynb ноутбук]

=== Не МОП ===

== Маленькие домашние задания ==

=== МОП ===

'''МДЗ №1.''' Автоматическое дифференцирование и полносвязные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/tree/2023-2024/homeworks-small/shw-01-mlp ссылка]

Дата выдачи: '''07.10.23 (сб)'''

Мягкий дедлайн: '''29.10.22 23:59 (вс)'''

Жесткий дедлайн: '''01.11.22 23:59 (ср)'''

'''МДЗ №2.''' Сверточный классификатор: [https://github.com/isadrtdinov/intro-to-dl-hse/tree/2023-2024/homeworks-small/shw-02-cnn.ipynb ссылка]

Дата выдачи: '''06.11.23 (пн)'''

Мягкий дедлайн: '''21.11.23 23:59 (вт)'''

Жесткий дедлайн: '''24.11.23 23:59 (пт)'''

=== Не МОП ===

== Большие домашние задания ==

== Теоретические домашние задания ==

Глубинное обучение 1 23/24

2023-11-16T14:01:34Z

Isadrtdinov 1: /* Преподаватели и ассистенты */

== О курсе ==

Это страничка курсов 2023-2024 года (1-3 модуль 3 курса ПМИ):
* '''Глубинное обучение 1''' (для групп МОП: 211-213)
* '''Введение в глубинное обучение''' (группы 214 (ТИ), 217 (АПР) и 218 (АДИС)).

Курс посвящен глубинному обучению – самой активно развивающейся области машинного обучения. Слушатели курса узнают, какие задачи машинного обучения можно решать с помощью нейронных сетей и какие виды нейронных сетей находят свои применения на сегодняшний день. Курс имеет явную практическую направленность, студентам предлагаются задания на обучение нейронных сетей на фреймворке PyTorch языка программирования Python. В курсе обзорно, но достаточно для ознакомления разбираются задачи на изображения и тексты.

=== Цели освоения курса ===
# Знать принцип работы и уметь обучать следующие виды нейронных сетей: полносвязные, сверточные, рекуррентные, трансформеры.
# Владение фреймворком PyTorch для обучения нейронных сетей.
# Понимание различных задач, которые решаются с применением глубинного обучения.
# Умение обрабатывать данные и составлять пайплайны для обучения нейронных сетей.

== Полезные ссылки ==

* Репозиторий курса: https://github.com/isadrtdinov/intro-to-dl-hse

* Таблица с оценками: https://docs.google.com/spreadsheets/d/1D0m5CFlj6CJPUhYPTsCAhD-euPCV31iZGDnib08SGuI/edit?usp=sharing

* Anytask: https://anytask.org/course/1054

* Чат с обсуждением (МОП): +NO2tyNRZtYUyOGRi (добавить после хттпс://т.ме/)

* Чат с обсуждением (не МОП): +f3zZiP2HHllhYzUy (добавить после хтппс://т.ме/)

== Преподаватели и ассистенты ==

Лекции (МОП); кому писать, если кажется, что все пропало: [https://t.me/isadrtdinov Ильдус Садртдинов]

{| class="wikitable"
|-
! Группа !! Семинарист !! Ассистенты !! Инвайт в anytask
|-
| 211 (МОП) || [https://www.hse.ru/org/persons/225560347 Морозов Никита Витальевич] || [https://t.me/jeembogod Березовский Валерий] [https://t.me/aiziks Максутова Айза] || 7wB0jXP
|-
| 212 (МОП) || [https://t.me/Birshert Биршерт Алексей Дмитриевич] || [https://t.me/bayesian_monster Максимов Ян] [https://t.me/murkyfella Аксёнов Ярослав] || uvtz7mP
|-
| 213 (МОП) || [https://t.me/foma2u Шипилов Фома Александрович] || [https://t.me/mcnckc Гусев Михаил] [https://t.me/kvdmitrieva Екатерина Дмитриева] || 1Jn1jST
|-
| ГО-1 не МОП ПМИ || любой из трех выше || см. таблицу с оценками || YFuosZt
|-
| 214 (ТИ) + 217 (АПР) || [https://t.me/messlav Пирогов Вячеслав Григорьевич] || TBA || TBA
|-
| 218 (АДИС) || [https://t.me/bor_loco Боревский Андрей Олегович] || TBA || TBA
|}

== Формулы оценок ==

=== МОП ===

''Итог'' = ''Округление''(0.3 * БДЗ + 0.25 * МДЗ + 0.15 ПР + 0.3 * Э)

* БДЗ - оценка за большие домашние задания
* МДЗ - оценка за маленькие домашние задания
* ПР - оценка за проверочные работы (проводятся на семинарах)
* Э - оценка за экзамен

Округление арифметическое. Определим накопленную оценку как ''Накоп'' = ''Округление''((0.3 * БДЗ + 0.25 МДЗ + 0.15 * ПР) / 0.7). Если Накоп >= 8, то студент может получить ''Накоп'' в качестве итоговой оценки, не приходя на экзамен.

'''Формат экзамена''': письменный, в аудитории, материалами пользоваться не разрешается, 2 часа.

'''Формат пересдачи''': накопленная оценка сохраняется, формат аналогичен экзамену.

=== Не МОП ===

''Итог'' = ''Округление''(0.7 * МДЗ + 0.3 * ПР)

* МДЗ - оценка за маленькие домашние задания
* ПР - оценка за проверочные работы (проводятся на семинарах)

Округление арифметическое.

'''Формат экзамена''': экзамен не предусмотрен.

'''Формат пересдачи''': досдача МДЗ.

== Лекции ==

=== МОП ===

# Backpropagation algorithm, fully-connected networks: [https://youtu.be/DXZK3rpDp4U?si=UpS9dkXpNXB4uF0Q запись] [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2023-2024/lecture-notes/notes-01-mlp.pdf доска]
# Cross-entropy loss, Dropout, Batch Normalization: [https://youtu.be/SWD-Zk4P1j0?si=hzIUcGtfzrx27FGC запись] [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2023-2024/lecture-notes/notes-02-dropout-batchnorm.pdf доска]

=== Не МОП ===

== Семинары ==

=== МОП ===

# Введение в PyTorch: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2023-2024/seminars/213/seminar_1.ipynb ноутбук]
# Обучение полносвязных нейронных сетей: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2023-2024/seminars/213/seminar_2.ipynb ноутбук]

=== Не МОП ===

== Маленькие домашние задания ==

=== МОП ===

'''МДЗ №1.''' Автоматическое дифференцирование и полносвязные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/tree/2023-2024/homeworks-small/shw-01-mlp ссылка]

Дата выдачи: '''07.10.23 (сб)'''

Мягкий дедлайн: '''29.10.22 23:59 (вс)'''

Жесткий дедлайн: '''01.11.22 23:59 (ср)'''

=== Не МОП ===

== Большие домашние задания ==

== Теоретические домашние задания ==

Глубинное обучение 1 23/24

2023-11-16T14:00:02Z

Isadrtdinov 1: /* Полезные ссылки */

== О курсе ==

Это страничка курсов 2023-2024 года (1-3 модуль 3 курса ПМИ):
* '''Глубинное обучение 1''' (для групп МОП: 211-213)
* '''Введение в глубинное обучение''' (группы 214 (ТИ), 217 (АПР) и 218 (АДИС)).

Курс посвящен глубинному обучению – самой активно развивающейся области машинного обучения. Слушатели курса узнают, какие задачи машинного обучения можно решать с помощью нейронных сетей и какие виды нейронных сетей находят свои применения на сегодняшний день. Курс имеет явную практическую направленность, студентам предлагаются задания на обучение нейронных сетей на фреймворке PyTorch языка программирования Python. В курсе обзорно, но достаточно для ознакомления разбираются задачи на изображения и тексты.

=== Цели освоения курса ===
# Знать принцип работы и уметь обучать следующие виды нейронных сетей: полносвязные, сверточные, рекуррентные, трансформеры.
# Владение фреймворком PyTorch для обучения нейронных сетей.
# Понимание различных задач, которые решаются с применением глубинного обучения.
# Умение обрабатывать данные и составлять пайплайны для обучения нейронных сетей.

== Полезные ссылки ==

* Репозиторий курса: https://github.com/isadrtdinov/intro-to-dl-hse

* Таблица с оценками: https://docs.google.com/spreadsheets/d/1D0m5CFlj6CJPUhYPTsCAhD-euPCV31iZGDnib08SGuI/edit?usp=sharing

* Anytask: https://anytask.org/course/1054

* Чат с обсуждением (МОП): +NO2tyNRZtYUyOGRi (добавить после хттпс://т.ме/)

* Чат с обсуждением (не МОП): +f3zZiP2HHllhYzUy (добавить после хтппс://т.ме/)

== Преподаватели и ассистенты ==

Лекции (МОП); кому писать, если кажется, что все пропало: [https://t.me/isadrtdinov Ильдус Садртдинов]

{| class="wikitable"
|-
! Группа !! Семинарист !! Ассистенты !! Инвайт в anytask
|-
| 211 (МОП) || [https://www.hse.ru/org/persons/225560347 Морозов Никита Витальевич] || [https://t.me/jeembogod Березовский Валерий] [https://t.me/aiziks Максутова Айза] || 7wB0jXP
|-
| 212 (МОП) || [https://t.me/Birshert Биршерт Алексей Дмитриевич] || [https://t.me/bayesian_monster Максимов Ян] [https://t.me/murkyfella Аксёнов Ярослав] || uvtz7mP
|-
| 213 (МОП) || [https://t.me/foma2u Шипилов Фома Александрович] || [https://t.me/mcnckc Гусев Михаил] [https://t.me/kvdmitrieva Екатерина Дмитриева] || 1Jn1jST
|-
| ГО-1 не МОП ПМИ || любой из трех выше || см. таблицу с оценками || YFuosZt
|-
| 214 (ТИ) + 217 (АПР) || TBA || TBA || TBA
|-
| 218 (АДИС) || TBA || TBA || TBA
|}

== Формулы оценок ==

=== МОП ===

''Итог'' = ''Округление''(0.3 * БДЗ + 0.25 * МДЗ + 0.15 ПР + 0.3 * Э)

* БДЗ - оценка за большие домашние задания
* МДЗ - оценка за маленькие домашние задания
* ПР - оценка за проверочные работы (проводятся на семинарах)
* Э - оценка за экзамен

Округление арифметическое. Определим накопленную оценку как ''Накоп'' = ''Округление''((0.3 * БДЗ + 0.25 МДЗ + 0.15 * ПР) / 0.7). Если Накоп >= 8, то студент может получить ''Накоп'' в качестве итоговой оценки, не приходя на экзамен.

'''Формат экзамена''': письменный, в аудитории, материалами пользоваться не разрешается, 2 часа.

'''Формат пересдачи''': накопленная оценка сохраняется, формат аналогичен экзамену.

=== Не МОП ===

''Итог'' = ''Округление''(0.7 * МДЗ + 0.3 * ПР)

* МДЗ - оценка за маленькие домашние задания
* ПР - оценка за проверочные работы (проводятся на семинарах)

Округление арифметическое.

'''Формат экзамена''': экзамен не предусмотрен.

'''Формат пересдачи''': досдача МДЗ.

== Лекции ==

=== МОП ===

# Backpropagation algorithm, fully-connected networks: [https://youtu.be/DXZK3rpDp4U?si=UpS9dkXpNXB4uF0Q запись] [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2023-2024/lecture-notes/notes-01-mlp.pdf доска]
# Cross-entropy loss, Dropout, Batch Normalization: [https://youtu.be/SWD-Zk4P1j0?si=hzIUcGtfzrx27FGC запись] [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2023-2024/lecture-notes/notes-02-dropout-batchnorm.pdf доска]

=== Не МОП ===

== Семинары ==

=== МОП ===

# Введение в PyTorch: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2023-2024/seminars/213/seminar_1.ipynb ноутбук]
# Обучение полносвязных нейронных сетей: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2023-2024/seminars/213/seminar_2.ipynb ноутбук]

=== Не МОП ===

== Маленькие домашние задания ==

=== МОП ===

'''МДЗ №1.''' Автоматическое дифференцирование и полносвязные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/tree/2023-2024/homeworks-small/shw-01-mlp ссылка]

Дата выдачи: '''07.10.23 (сб)'''

Мягкий дедлайн: '''29.10.22 23:59 (вс)'''

Жесткий дедлайн: '''01.11.22 23:59 (ср)'''

=== Не МОП ===

== Большие домашние задания ==

== Теоретические домашние задания ==

Глубинное обучение 1 23/24

2023-10-08T07:33:43Z

Isadrtdinov 1: /* МОП */

== О курсе ==

Это страничка курсов 2023-2024 года (1-3 модуль 3 курса ПМИ):
* '''Глубинное обучение 1''' (для групп МОП: 211-213)
* '''Введение в глубинное обучение''' (группы 214 (ТИ), 217 (АПР) и 218 (АДИС)).

Курс посвящен глубинному обучению – самой активно развивающейся области машинного обучения. Слушатели курса узнают, какие задачи машинного обучения можно решать с помощью нейронных сетей и какие виды нейронных сетей находят свои применения на сегодняшний день. Курс имеет явную практическую направленность, студентам предлагаются задания на обучение нейронных сетей на фреймворке PyTorch языка программирования Python. В курсе обзорно, но достаточно для ознакомления разбираются задачи на изображения и тексты.

=== Цели освоения курса ===
# Знать принцип работы и уметь обучать следующие виды нейронных сетей: полносвязные, сверточные, рекуррентные, трансформеры.
# Владение фреймворком PyTorch для обучения нейронных сетей.
# Понимание различных задач, которые решаются с применением глубинного обучения.
# Умение обрабатывать данные и составлять пайплайны для обучения нейронных сетей.

== Полезные ссылки ==

* Репозиторий курса: https://github.com/isadrtdinov/intro-to-dl-hse

* Таблица с оценками: https://docs.google.com/spreadsheets/d/1D0m5CFlj6CJPUhYPTsCAhD-euPCV31iZGDnib08SGuI/edit?usp=sharing

* Anytask: https://anytask.org/course/1054

* Чат с обсуждением (МОП): +NO2tyNRZtYUyOGRi (добавить после хттпс://т.ме/)

* Чат с обсуждением (не МОП): TBA (добавить после хтппс://т.ме/)

== Преподаватели и ассистенты ==

Лекции (МОП); кому писать, если кажется, что все пропало: [https://t.me/isadrtdinov Ильдус Садртдинов]

{| class="wikitable"
|-
! Группа !! Семинарист !! Ассистенты !! Инвайт в anytask
|-
| 211 (МОП) || [https://www.hse.ru/org/persons/225560347 Морозов Никита Витальевич] || [https://t.me/jeembogod Березовский Валерий] [https://t.me/aiziks Максутова Айза] || 7wB0jXP
|-
| 212 (МОП) || [https://t.me/Birshert Биршерт Алексей Дмитриевич] || [https://t.me/bayesian_monster Максимов Ян] [https://t.me/murkyfella Аксёнов Ярослав] || uvtz7mP
|-
| 213 (МОП) || [https://t.me/foma2u Шипилов Фома Александрович] || [https://t.me/mcnckc Гусев Михаил] [https://t.me/kvdmitrieva Екатерина Дмитриева] || 1Jn1jST
|-
| ГО-1 не МОП ПМИ || любой из трех выше || см. таблицу с оценками || YFuosZt
|-
| 214 (ТИ) + 217 (АПР) || TBA || TBA || TBA
|-
| 218 (АДИС) || TBA || TBA || TBA
|}

== Формулы оценок ==

=== МОП ===

''Итог'' = ''Округление''(0.3 * БДЗ + 0.25 * МДЗ + 0.15 ПР + 0.3 * Э)

* БДЗ - оценка за большие домашние задания
* МДЗ - оценка за маленькие домашние задания
* ПР - оценка за проверочные работы (проводятся на семинарах)
* Э - оценка за экзамен

Округление арифметическое. Определим накопленную оценку как ''Накоп'' = ''Округление''((0.3 * БДЗ + 0.25 МДЗ + 0.15 * ПР) / 0.7). Если Накоп >= 8, то студент может получить ''Накоп'' в качестве итоговой оценки, не приходя на экзамен.

'''Формат экзамена''': письменный, в аудитории, материалами пользоваться не разрешается, 2 часа.

'''Формат пересдачи''': накопленная оценка сохраняется, формат аналогичен экзамену.

=== Не МОП ===

''Итог'' = ''Округление''(0.7 * МДЗ + 0.3 * ПР)

* МДЗ - оценка за маленькие домашние задания
* ПР - оценка за проверочные работы (проводятся на семинарах)

Округление арифметическое.

'''Формат экзамена''': экзамен не предусмотрен.

'''Формат пересдачи''': досдача МДЗ.

== Лекции ==

=== МОП ===

# Backpropagation algorithm, fully-connected networks: [https://youtu.be/DXZK3rpDp4U?si=UpS9dkXpNXB4uF0Q запись] [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2023-2024/lecture-notes/notes-01-mlp.pdf доска]
# Cross-entropy loss, Dropout, Batch Normalization: [https://youtu.be/SWD-Zk4P1j0?si=hzIUcGtfzrx27FGC запись] [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2023-2024/lecture-notes/notes-02-dropout-batchnorm.pdf доска]

=== Не МОП ===

== Семинары ==

=== МОП ===

# Введение в PyTorch: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2023-2024/seminars/213/seminar_1.ipynb ноутбук]
# Обучение полносвязных нейронных сетей: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2023-2024/seminars/213/seminar_2.ipynb ноутбук]

=== Не МОП ===

== Маленькие домашние задания ==

=== МОП ===

'''МДЗ №1.''' Автоматическое дифференцирование и полносвязные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/tree/2023-2024/homeworks-small/shw-01-mlp ссылка]

Дата выдачи: '''07.10.23 (сб)'''

Мягкий дедлайн: '''29.10.22 23:59 (вс)'''

Жесткий дедлайн: '''01.11.22 23:59 (ср)'''

=== Не МОП ===

== Большие домашние задания ==

== Теоретические домашние задания ==

Глубинное обучение 1 23/24

2023-10-08T07:33:27Z

Isadrtdinov 1: /* МОП */

== О курсе ==

Это страничка курсов 2023-2024 года (1-3 модуль 3 курса ПМИ):
* '''Глубинное обучение 1''' (для групп МОП: 211-213)
* '''Введение в глубинное обучение''' (группы 214 (ТИ), 217 (АПР) и 218 (АДИС)).

Курс посвящен глубинному обучению – самой активно развивающейся области машинного обучения. Слушатели курса узнают, какие задачи машинного обучения можно решать с помощью нейронных сетей и какие виды нейронных сетей находят свои применения на сегодняшний день. Курс имеет явную практическую направленность, студентам предлагаются задания на обучение нейронных сетей на фреймворке PyTorch языка программирования Python. В курсе обзорно, но достаточно для ознакомления разбираются задачи на изображения и тексты.

=== Цели освоения курса ===
# Знать принцип работы и уметь обучать следующие виды нейронных сетей: полносвязные, сверточные, рекуррентные, трансформеры.
# Владение фреймворком PyTorch для обучения нейронных сетей.
# Понимание различных задач, которые решаются с применением глубинного обучения.
# Умение обрабатывать данные и составлять пайплайны для обучения нейронных сетей.

== Полезные ссылки ==

* Репозиторий курса: https://github.com/isadrtdinov/intro-to-dl-hse

* Таблица с оценками: https://docs.google.com/spreadsheets/d/1D0m5CFlj6CJPUhYPTsCAhD-euPCV31iZGDnib08SGuI/edit?usp=sharing

* Anytask: https://anytask.org/course/1054

* Чат с обсуждением (МОП): +NO2tyNRZtYUyOGRi (добавить после хттпс://т.ме/)

* Чат с обсуждением (не МОП): TBA (добавить после хтппс://т.ме/)

== Преподаватели и ассистенты ==

Лекции (МОП); кому писать, если кажется, что все пропало: [https://t.me/isadrtdinov Ильдус Садртдинов]

{| class="wikitable"
|-
! Группа !! Семинарист !! Ассистенты !! Инвайт в anytask
|-
| 211 (МОП) || [https://www.hse.ru/org/persons/225560347 Морозов Никита Витальевич] || [https://t.me/jeembogod Березовский Валерий] [https://t.me/aiziks Максутова Айза] || 7wB0jXP
|-
| 212 (МОП) || [https://t.me/Birshert Биршерт Алексей Дмитриевич] || [https://t.me/bayesian_monster Максимов Ян] [https://t.me/murkyfella Аксёнов Ярослав] || uvtz7mP
|-
| 213 (МОП) || [https://t.me/foma2u Шипилов Фома Александрович] || [https://t.me/mcnckc Гусев Михаил] [https://t.me/kvdmitrieva Екатерина Дмитриева] || 1Jn1jST
|-
| ГО-1 не МОП ПМИ || любой из трех выше || см. таблицу с оценками || YFuosZt
|-
| 214 (ТИ) + 217 (АПР) || TBA || TBA || TBA
|-
| 218 (АДИС) || TBA || TBA || TBA
|}

== Формулы оценок ==

=== МОП ===

''Итог'' = ''Округление''(0.3 * БДЗ + 0.25 * МДЗ + 0.15 ПР + 0.3 * Э)

* БДЗ - оценка за большие домашние задания
* МДЗ - оценка за маленькие домашние задания
* ПР - оценка за проверочные работы (проводятся на семинарах)
* Э - оценка за экзамен

Округление арифметическое. Определим накопленную оценку как ''Накоп'' = ''Округление''((0.3 * БДЗ + 0.25 МДЗ + 0.15 * ПР) / 0.7). Если Накоп >= 8, то студент может получить ''Накоп'' в качестве итоговой оценки, не приходя на экзамен.

'''Формат экзамена''': письменный, в аудитории, материалами пользоваться не разрешается, 2 часа.

'''Формат пересдачи''': накопленная оценка сохраняется, формат аналогичен экзамену.

=== Не МОП ===

''Итог'' = ''Округление''(0.7 * МДЗ + 0.3 * ПР)

* МДЗ - оценка за маленькие домашние задания
* ПР - оценка за проверочные работы (проводятся на семинарах)

Округление арифметическое.

'''Формат экзамена''': экзамен не предусмотрен.

'''Формат пересдачи''': досдача МДЗ.

== Лекции ==

=== МОП ===

# Backpropagation algorithm, fully-connected networks: [https://youtu.be/DXZK3rpDp4U?si=UpS9dkXpNXB4uF0Q запись] [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2023-2024/lecture-notes/notes-01-mlp.pdf доска]
# Cross-entropy loss, Dropout, Batch Normalization: [https://youtu.be/SWD-Zk4P1j0?si=hzIUcGtfzrx27FGC запись] [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2023-2024/lecture-notes/notes-02-dropout-batchnorm.pdf доска]

=== Не МОП ===

== Семинары ==

=== МОП ===

# Введение в PyTorch [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2023-2024/seminars/213/seminar_1.ipynb ноутбук]
# Обучение полносвязных нейронных сетей [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2023-2024/seminars/213/seminar_2.ipynb ноутбук]

=== Не МОП ===

== Маленькие домашние задания ==

=== МОП ===

'''МДЗ №1.''' Автоматическое дифференцирование и полносвязные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/tree/2023-2024/homeworks-small/shw-01-mlp ссылка]

Дата выдачи: '''07.10.23 (сб)'''

Мягкий дедлайн: '''29.10.22 23:59 (вс)'''

Жесткий дедлайн: '''01.11.22 23:59 (ср)'''

=== Не МОП ===

== Большие домашние задания ==

== Теоретические домашние задания ==

Глубинное обучение 1 23/24

2023-10-08T07:31:39Z

Isadrtdinov 1: /* МОП */

== О курсе ==

Это страничка курсов 2023-2024 года (1-3 модуль 3 курса ПМИ):
* '''Глубинное обучение 1''' (для групп МОП: 211-213)
* '''Введение в глубинное обучение''' (группы 214 (ТИ), 217 (АПР) и 218 (АДИС)).

Курс посвящен глубинному обучению – самой активно развивающейся области машинного обучения. Слушатели курса узнают, какие задачи машинного обучения можно решать с помощью нейронных сетей и какие виды нейронных сетей находят свои применения на сегодняшний день. Курс имеет явную практическую направленность, студентам предлагаются задания на обучение нейронных сетей на фреймворке PyTorch языка программирования Python. В курсе обзорно, но достаточно для ознакомления разбираются задачи на изображения и тексты.

=== Цели освоения курса ===
# Знать принцип работы и уметь обучать следующие виды нейронных сетей: полносвязные, сверточные, рекуррентные, трансформеры.
# Владение фреймворком PyTorch для обучения нейронных сетей.
# Понимание различных задач, которые решаются с применением глубинного обучения.
# Умение обрабатывать данные и составлять пайплайны для обучения нейронных сетей.

== Полезные ссылки ==

* Репозиторий курса: https://github.com/isadrtdinov/intro-to-dl-hse

* Таблица с оценками: https://docs.google.com/spreadsheets/d/1D0m5CFlj6CJPUhYPTsCAhD-euPCV31iZGDnib08SGuI/edit?usp=sharing

* Anytask: https://anytask.org/course/1054

* Чат с обсуждением (МОП): +NO2tyNRZtYUyOGRi (добавить после хттпс://т.ме/)

* Чат с обсуждением (не МОП): TBA (добавить после хтппс://т.ме/)

== Преподаватели и ассистенты ==

Лекции (МОП); кому писать, если кажется, что все пропало: [https://t.me/isadrtdinov Ильдус Садртдинов]

{| class="wikitable"
|-
! Группа !! Семинарист !! Ассистенты !! Инвайт в anytask
|-
| 211 (МОП) || [https://www.hse.ru/org/persons/225560347 Морозов Никита Витальевич] || [https://t.me/jeembogod Березовский Валерий] [https://t.me/aiziks Максутова Айза] || 7wB0jXP
|-
| 212 (МОП) || [https://t.me/Birshert Биршерт Алексей Дмитриевич] || [https://t.me/bayesian_monster Максимов Ян] [https://t.me/murkyfella Аксёнов Ярослав] || uvtz7mP
|-
| 213 (МОП) || [https://t.me/foma2u Шипилов Фома Александрович] || [https://t.me/mcnckc Гусев Михаил] [https://t.me/kvdmitrieva Екатерина Дмитриева] || 1Jn1jST
|-
| ГО-1 не МОП ПМИ || любой из трех выше || см. таблицу с оценками || YFuosZt
|-
| 214 (ТИ) + 217 (АПР) || TBA || TBA || TBA
|-
| 218 (АДИС) || TBA || TBA || TBA
|}

== Формулы оценок ==

=== МОП ===

''Итог'' = ''Округление''(0.3 * БДЗ + 0.25 * МДЗ + 0.15 ПР + 0.3 * Э)

* БДЗ - оценка за большие домашние задания
* МДЗ - оценка за маленькие домашние задания
* ПР - оценка за проверочные работы (проводятся на семинарах)
* Э - оценка за экзамен

Округление арифметическое. Определим накопленную оценку как ''Накоп'' = ''Округление''((0.3 * БДЗ + 0.25 МДЗ + 0.15 * ПР) / 0.7). Если Накоп >= 8, то студент может получить ''Накоп'' в качестве итоговой оценки, не приходя на экзамен.

'''Формат экзамена''': письменный, в аудитории, материалами пользоваться не разрешается, 2 часа.

'''Формат пересдачи''': накопленная оценка сохраняется, формат аналогичен экзамену.

=== Не МОП ===

''Итог'' = ''Округление''(0.7 * МДЗ + 0.3 * ПР)

* МДЗ - оценка за маленькие домашние задания
* ПР - оценка за проверочные работы (проводятся на семинарах)

Округление арифметическое.

'''Формат экзамена''': экзамен не предусмотрен.

'''Формат пересдачи''': досдача МДЗ.

== Лекции ==

=== МОП ===

# Backpropagation algorithm, fully-connected networks: [https://youtu.be/DXZK3rpDp4U?si=UpS9dkXpNXB4uF0Q запись] [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2023-2024/lecture-notes/notes-01-mlp.pdf доска]
# Cross-entropy loss, Dropout, Batch Normalization: [https://youtu.be/SWD-Zk4P1j0?si=hzIUcGtfzrx27FGC запись] [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2023-2024/lecture-notes/notes-02-dropout-batchnorm.pdf доска]

=== Не МОП ===

== Семинары ==

=== МОП ===

=== Не МОП ===

== Маленькие домашние задания ==

=== МОП ===

'''МДЗ №1.''' Автоматическое дифференцирование и полносвязные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/tree/2023-2024/homeworks-small/shw-01-mlp ссылка]

Дата выдачи: '''07.10.23 (сб)'''

Мягкий дедлайн: '''29.10.22 23:59 (вс)'''

Жесткий дедлайн: '''01.11.22 23:59 (ср)'''

=== Не МОП ===

== Большие домашние задания ==

== Теоретические домашние задания ==

Глубинное обучение 1 23/24

2023-10-08T07:31:28Z

Isadrtdinov 1: /* МОП */

== О курсе ==

Это страничка курсов 2023-2024 года (1-3 модуль 3 курса ПМИ):
* '''Глубинное обучение 1''' (для групп МОП: 211-213)
* '''Введение в глубинное обучение''' (группы 214 (ТИ), 217 (АПР) и 218 (АДИС)).

Курс посвящен глубинному обучению – самой активно развивающейся области машинного обучения. Слушатели курса узнают, какие задачи машинного обучения можно решать с помощью нейронных сетей и какие виды нейронных сетей находят свои применения на сегодняшний день. Курс имеет явную практическую направленность, студентам предлагаются задания на обучение нейронных сетей на фреймворке PyTorch языка программирования Python. В курсе обзорно, но достаточно для ознакомления разбираются задачи на изображения и тексты.

=== Цели освоения курса ===
# Знать принцип работы и уметь обучать следующие виды нейронных сетей: полносвязные, сверточные, рекуррентные, трансформеры.
# Владение фреймворком PyTorch для обучения нейронных сетей.
# Понимание различных задач, которые решаются с применением глубинного обучения.
# Умение обрабатывать данные и составлять пайплайны для обучения нейронных сетей.

== Полезные ссылки ==

* Репозиторий курса: https://github.com/isadrtdinov/intro-to-dl-hse

* Таблица с оценками: https://docs.google.com/spreadsheets/d/1D0m5CFlj6CJPUhYPTsCAhD-euPCV31iZGDnib08SGuI/edit?usp=sharing

* Anytask: https://anytask.org/course/1054

* Чат с обсуждением (МОП): +NO2tyNRZtYUyOGRi (добавить после хттпс://т.ме/)

* Чат с обсуждением (не МОП): TBA (добавить после хтппс://т.ме/)

== Преподаватели и ассистенты ==

Лекции (МОП); кому писать, если кажется, что все пропало: [https://t.me/isadrtdinov Ильдус Садртдинов]

{| class="wikitable"
|-
! Группа !! Семинарист !! Ассистенты !! Инвайт в anytask
|-
| 211 (МОП) || [https://www.hse.ru/org/persons/225560347 Морозов Никита Витальевич] || [https://t.me/jeembogod Березовский Валерий] [https://t.me/aiziks Максутова Айза] || 7wB0jXP
|-
| 212 (МОП) || [https://t.me/Birshert Биршерт Алексей Дмитриевич] || [https://t.me/bayesian_monster Максимов Ян] [https://t.me/murkyfella Аксёнов Ярослав] || uvtz7mP
|-
| 213 (МОП) || [https://t.me/foma2u Шипилов Фома Александрович] || [https://t.me/mcnckc Гусев Михаил] [https://t.me/kvdmitrieva Екатерина Дмитриева] || 1Jn1jST
|-
| ГО-1 не МОП ПМИ || любой из трех выше || см. таблицу с оценками || YFuosZt
|-
| 214 (ТИ) + 217 (АПР) || TBA || TBA || TBA
|-
| 218 (АДИС) || TBA || TBA || TBA
|}

== Формулы оценок ==

=== МОП ===

''Итог'' = ''Округление''(0.3 * БДЗ + 0.25 * МДЗ + 0.15 ПР + 0.3 * Э)

* БДЗ - оценка за большие домашние задания
* МДЗ - оценка за маленькие домашние задания
* ПР - оценка за проверочные работы (проводятся на семинарах)
* Э - оценка за экзамен

Округление арифметическое. Определим накопленную оценку как ''Накоп'' = ''Округление''((0.3 * БДЗ + 0.25 МДЗ + 0.15 * ПР) / 0.7). Если Накоп >= 8, то студент может получить ''Накоп'' в качестве итоговой оценки, не приходя на экзамен.

'''Формат экзамена''': письменный, в аудитории, материалами пользоваться не разрешается, 2 часа.

'''Формат пересдачи''': накопленная оценка сохраняется, формат аналогичен экзамену.

=== Не МОП ===

''Итог'' = ''Округление''(0.7 * МДЗ + 0.3 * ПР)

* МДЗ - оценка за маленькие домашние задания
* ПР - оценка за проверочные работы (проводятся на семинарах)

Округление арифметическое.

'''Формат экзамена''': экзамен не предусмотрен.

'''Формат пересдачи''': досдача МДЗ.

== Лекции ==

=== МОП ===

# Backpropagation algorithm, fully-connected networks: [https://youtu.be/DXZK3rpDp4U?si=UpS9dkXpNXB4uF0Q запись] [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2023-2024/lecture-notes/notes-01-mlp.pdf доска]
# Cross-entropy loss, Dropout, Batch Normalization: [https://youtu.be/SWD-Zk4P1j0?si=hzIUcGtfzrx27FGC запись] [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2023-2024/lecture-notes/notes-02-dropout-batchnorm.pdf доска]

=== Не МОП ===

== Семинары ==

=== МОП ===

=== Не МОП ===

== Маленькие домашние задания ==

=== МОП ===

'''МДЗ №1.''' Автоматическое дифференцирование и полносвязные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/tree/2022-2023/homeworks-small/shw-01-mlp ссылка]

Дата выдачи: '''07.10.23 (сб)'''

Мягкий дедлайн: '''29.10.22 23:59 (вс)'''

Жесткий дедлайн: '''01.11.22 23:59 (ср)'''

=== Не МОП ===

== Большие домашние задания ==

== Теоретические домашние задания ==

Глубинное обучение 1 23/24

2023-10-08T07:29:22Z

Isadrtdinov 1: /* МОП */

== О курсе ==

Это страничка курсов 2023-2024 года (1-3 модуль 3 курса ПМИ):
* '''Глубинное обучение 1''' (для групп МОП: 211-213)
* '''Введение в глубинное обучение''' (группы 214 (ТИ), 217 (АПР) и 218 (АДИС)).

Курс посвящен глубинному обучению – самой активно развивающейся области машинного обучения. Слушатели курса узнают, какие задачи машинного обучения можно решать с помощью нейронных сетей и какие виды нейронных сетей находят свои применения на сегодняшний день. Курс имеет явную практическую направленность, студентам предлагаются задания на обучение нейронных сетей на фреймворке PyTorch языка программирования Python. В курсе обзорно, но достаточно для ознакомления разбираются задачи на изображения и тексты.

=== Цели освоения курса ===
# Знать принцип работы и уметь обучать следующие виды нейронных сетей: полносвязные, сверточные, рекуррентные, трансформеры.
# Владение фреймворком PyTorch для обучения нейронных сетей.
# Понимание различных задач, которые решаются с применением глубинного обучения.
# Умение обрабатывать данные и составлять пайплайны для обучения нейронных сетей.

== Полезные ссылки ==

* Репозиторий курса: https://github.com/isadrtdinov/intro-to-dl-hse

* Таблица с оценками: https://docs.google.com/spreadsheets/d/1D0m5CFlj6CJPUhYPTsCAhD-euPCV31iZGDnib08SGuI/edit?usp=sharing

* Anytask: https://anytask.org/course/1054

* Чат с обсуждением (МОП): +NO2tyNRZtYUyOGRi (добавить после хттпс://т.ме/)

* Чат с обсуждением (не МОП): TBA (добавить после хтппс://т.ме/)

== Преподаватели и ассистенты ==

Лекции (МОП); кому писать, если кажется, что все пропало: [https://t.me/isadrtdinov Ильдус Садртдинов]

{| class="wikitable"
|-
! Группа !! Семинарист !! Ассистенты !! Инвайт в anytask
|-
| 211 (МОП) || [https://www.hse.ru/org/persons/225560347 Морозов Никита Витальевич] || [https://t.me/jeembogod Березовский Валерий] [https://t.me/aiziks Максутова Айза] || 7wB0jXP
|-
| 212 (МОП) || [https://t.me/Birshert Биршерт Алексей Дмитриевич] || [https://t.me/bayesian_monster Максимов Ян] [https://t.me/murkyfella Аксёнов Ярослав] || uvtz7mP
|-
| 213 (МОП) || [https://t.me/foma2u Шипилов Фома Александрович] || [https://t.me/mcnckc Гусев Михаил] [https://t.me/kvdmitrieva Екатерина Дмитриева] || 1Jn1jST
|-
| ГО-1 не МОП ПМИ || любой из трех выше || см. таблицу с оценками || YFuosZt
|-
| 214 (ТИ) + 217 (АПР) || TBA || TBA || TBA
|-
| 218 (АДИС) || TBA || TBA || TBA
|}

== Формулы оценок ==

=== МОП ===

''Итог'' = ''Округление''(0.3 * БДЗ + 0.25 * МДЗ + 0.15 ПР + 0.3 * Э)

* БДЗ - оценка за большие домашние задания
* МДЗ - оценка за маленькие домашние задания
* ПР - оценка за проверочные работы (проводятся на семинарах)
* Э - оценка за экзамен

Округление арифметическое. Определим накопленную оценку как ''Накоп'' = ''Округление''((0.3 * БДЗ + 0.25 МДЗ + 0.15 * ПР) / 0.7). Если Накоп >= 8, то студент может получить ''Накоп'' в качестве итоговой оценки, не приходя на экзамен.

'''Формат экзамена''': письменный, в аудитории, материалами пользоваться не разрешается, 2 часа.

'''Формат пересдачи''': накопленная оценка сохраняется, формат аналогичен экзамену.

=== Не МОП ===

''Итог'' = ''Округление''(0.7 * МДЗ + 0.3 * ПР)

* МДЗ - оценка за маленькие домашние задания
* ПР - оценка за проверочные работы (проводятся на семинарах)

Округление арифметическое.

'''Формат экзамена''': экзамен не предусмотрен.

'''Формат пересдачи''': досдача МДЗ.

== Лекции ==

=== МОП ===

# Backpropagation algorithm, fully-connected networks: [https://youtu.be/DXZK3rpDp4U?si=UpS9dkXpNXB4uF0Q запись] [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2023-2024/lecture-notes/notes-01-mlp.pdf доска]
# Cross-entropy loss, Dropout, Batch Normalization: [https://youtu.be/SWD-Zk4P1j0?si=hzIUcGtfzrx27FGC запись] [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2023-2024/lecture-notes/notes-02-dropout-batchnorm.pdf доска]

=== Не МОП ===

== Семинары ==

=== МОП ===

=== Не МОП ===

== Маленькие домашние задания ==

=== МОП ===

=== Не МОП ===

== Большие домашние задания ==

== Теоретические домашние задания ==

Глубинное обучение 1 23/24

2023-09-26T09:13:47Z

Isadrtdinov 1: /* Преподаватели и ассистенты */

== О курсе ==

Это страничка курсов 2023-2024 года (1-3 модуль 3 курса ПМИ):
* '''Глубинное обучение 1''' (для групп МОП: 211-213)
* '''Введение в глубинное обучение''' (группы 214 (ТИ), 217 (АПР) и 218 (АДИС)).

Курс посвящен глубинному обучению – самой активно развивающейся области машинного обучения. Слушатели курса узнают, какие задачи машинного обучения можно решать с помощью нейронных сетей и какие виды нейронных сетей находят свои применения на сегодняшний день. Курс имеет явную практическую направленность, студентам предлагаются задания на обучение нейронных сетей на фреймворке PyTorch языка программирования Python. В курсе обзорно, но достаточно для ознакомления разбираются задачи на изображения и тексты.

=== Цели освоения курса ===
# Знать принцип работы и уметь обучать следующие виды нейронных сетей: полносвязные, сверточные, рекуррентные, трансформеры.
# Владение фреймворком PyTorch для обучения нейронных сетей.
# Понимание различных задач, которые решаются с применением глубинного обучения.
# Умение обрабатывать данные и составлять пайплайны для обучения нейронных сетей.

== Полезные ссылки ==

* Репозиторий курса: https://github.com/isadrtdinov/intro-to-dl-hse

* Таблица с оценками: https://docs.google.com/spreadsheets/d/1D0m5CFlj6CJPUhYPTsCAhD-euPCV31iZGDnib08SGuI/edit?usp=sharing

* Anytask: https://anytask.org/course/1054

* Чат с обсуждением (МОП): +NO2tyNRZtYUyOGRi (добавить после хттпс://т.ме/)

* Чат с обсуждением (не МОП): TBA (добавить после хтппс://т.ме/)

== Преподаватели и ассистенты ==

Лекции (МОП); кому писать, если кажется, что все пропало: [https://t.me/isadrtdinov Ильдус Садртдинов]

{| class="wikitable"
|-
! Группа !! Семинарист !! Ассистенты !! Инвайт в anytask
|-
| 211 (МОП) || [https://www.hse.ru/org/persons/225560347 Морозов Никита Витальевич] || [https://t.me/jeembogod Березовский Валерий] [https://t.me/aiziks Максутова Айза] || 7wB0jXP
|-
| 212 (МОП) || [https://t.me/Birshert Биршерт Алексей Дмитриевич] || [https://t.me/bayesian_monster Максимов Ян] [https://t.me/murkyfella Аксёнов Ярослав] || uvtz7mP
|-
| 213 (МОП) || [https://t.me/foma2u Шипилов Фома Александрович] || [https://t.me/mcnckc Гусев Михаил] [https://t.me/kvdmitrieva Екатерина Дмитриева] || 1Jn1jST
|-
| ГО-1 не МОП ПМИ || любой из трех выше || см. таблицу с оценками || YFuosZt
|-
| 214 (ТИ) + 217 (АПР) || TBA || TBA || TBA
|-
| 218 (АДИС) || TBA || TBA || TBA
|}

== Формулы оценок ==

=== МОП ===

''Итог'' = ''Округление''(0.3 * БДЗ + 0.25 * МДЗ + 0.15 ПР + 0.3 * Э)

* БДЗ - оценка за большие домашние задания
* МДЗ - оценка за маленькие домашние задания
* ПР - оценка за проверочные работы (проводятся на семинарах)
* Э - оценка за экзамен

Округление арифметическое. Определим накопленную оценку как ''Накоп'' = ''Округление''((0.3 * БДЗ + 0.25 МДЗ + 0.15 * ПР) / 0.7). Если Накоп >= 8, то студент может получить ''Накоп'' в качестве итоговой оценки, не приходя на экзамен.

'''Формат экзамена''': письменный, в аудитории, материалами пользоваться не разрешается, 2 часа.

'''Формат пересдачи''': накопленная оценка сохраняется, формат аналогичен экзамену.

=== Не МОП ===

''Итог'' = ''Округление''(0.7 * МДЗ + 0.3 * ПР)

* МДЗ - оценка за маленькие домашние задания
* ПР - оценка за проверочные работы (проводятся на семинарах)

Округление арифметическое.

'''Формат экзамена''': экзамен не предусмотрен.

'''Формат пересдачи''': досдача МДЗ.

== Лекции ==

=== МОП ===

=== Не МОП ===

== Семинары ==

=== МОП ===

=== Не МОП ===

== Маленькие домашние задания ==

=== МОП ===

=== Не МОП ===

== Большие домашние задания ==

== Теоретические домашние задания ==

Глубинное обучение 1 23/24

2023-09-26T09:11:43Z

Isadrtdinov 1: /* Преподаватели и ассистенты */

== О курсе ==

Это страничка курсов 2023-2024 года (1-3 модуль 3 курса ПМИ):
* '''Глубинное обучение 1''' (для групп МОП: 211-213)
* '''Введение в глубинное обучение''' (группы 214 (ТИ), 217 (АПР) и 218 (АДИС)).

Курс посвящен глубинному обучению – самой активно развивающейся области машинного обучения. Слушатели курса узнают, какие задачи машинного обучения можно решать с помощью нейронных сетей и какие виды нейронных сетей находят свои применения на сегодняшний день. Курс имеет явную практическую направленность, студентам предлагаются задания на обучение нейронных сетей на фреймворке PyTorch языка программирования Python. В курсе обзорно, но достаточно для ознакомления разбираются задачи на изображения и тексты.

=== Цели освоения курса ===
# Знать принцип работы и уметь обучать следующие виды нейронных сетей: полносвязные, сверточные, рекуррентные, трансформеры.
# Владение фреймворком PyTorch для обучения нейронных сетей.
# Понимание различных задач, которые решаются с применением глубинного обучения.
# Умение обрабатывать данные и составлять пайплайны для обучения нейронных сетей.

== Полезные ссылки ==

* Репозиторий курса: https://github.com/isadrtdinov/intro-to-dl-hse

* Таблица с оценками: https://docs.google.com/spreadsheets/d/1D0m5CFlj6CJPUhYPTsCAhD-euPCV31iZGDnib08SGuI/edit?usp=sharing

* Anytask: https://anytask.org/course/1054

* Чат с обсуждением (МОП): +NO2tyNRZtYUyOGRi (добавить после хттпс://т.ме/)

* Чат с обсуждением (не МОП): TBA (добавить после хтппс://т.ме/)

== Преподаватели и ассистенты ==

Лекции (МОП); кому писать, если кажется, что все пропало: [https://t.me/isadrtdinov Ильдус Садртдинов]

{| class="wikitable"
|-
! Группа !! Семинарист !! Ассистенты !! Инвайт в anytask
|-
| 211 || [https://www.hse.ru/org/persons/225560347 Морозов Никита Витальевич] || [https://t.me/jeembogod Березовский Валерий] [https://t.me/aiziks Максутова Айза] || 7wB0jXP
|-
| 212 || [https://t.me/Birshert Биршерт Алексей Дмитриевич] || [https://t.me/bayesian_monster Максимов Ян] [https://t.me/murkyfella Аксёнов Ярослав] || uvtz7mP
|-
| 213 || [https://t.me/foma2u Шипилов Фома Александрович] || [https://t.me/mcnckc Гусев Михаил] [https://t.me/kvdmitrieva Екатерина Дмитриева] || 1Jn1jST
|-
| ГО-1 не МОП ПМИ || любой из трех выше || см. таблицу с оценками || YFuosZt
|-
| ВвГО-1 || TBA || TBA || TBA
|-
| ВвГО-2 || TBA || TBA || TBA
|}

== Формулы оценок ==

=== МОП ===

''Итог'' = ''Округление''(0.3 * БДЗ + 0.25 * МДЗ + 0.15 ПР + 0.3 * Э)

* БДЗ - оценка за большие домашние задания
* МДЗ - оценка за маленькие домашние задания
* ПР - оценка за проверочные работы (проводятся на семинарах)
* Э - оценка за экзамен

Округление арифметическое. Определим накопленную оценку как ''Накоп'' = ''Округление''((0.3 * БДЗ + 0.25 МДЗ + 0.15 * ПР) / 0.7). Если Накоп >= 8, то студент может получить ''Накоп'' в качестве итоговой оценки, не приходя на экзамен.

'''Формат экзамена''': письменный, в аудитории, материалами пользоваться не разрешается, 2 часа.

'''Формат пересдачи''': накопленная оценка сохраняется, формат аналогичен экзамену.

=== Не МОП ===

''Итог'' = ''Округление''(0.7 * МДЗ + 0.3 * ПР)

* МДЗ - оценка за маленькие домашние задания
* ПР - оценка за проверочные работы (проводятся на семинарах)

Округление арифметическое.

'''Формат экзамена''': экзамен не предусмотрен.

'''Формат пересдачи''': досдача МДЗ.

== Лекции ==

=== МОП ===

=== Не МОП ===

== Семинары ==

=== МОП ===

=== Не МОП ===

== Маленькие домашние задания ==

=== МОП ===

=== Не МОП ===

== Большие домашние задания ==

== Теоретические домашние задания ==

Глубинное обучение 1 23/24

2023-09-26T09:09:35Z

Isadrtdinov 1: /* Полезные ссылки */

== О курсе ==

Это страничка курсов 2023-2024 года (1-3 модуль 3 курса ПМИ):
* '''Глубинное обучение 1''' (для групп МОП: 211-213)
* '''Введение в глубинное обучение''' (группы 214 (ТИ), 217 (АПР) и 218 (АДИС)).

Курс посвящен глубинному обучению – самой активно развивающейся области машинного обучения. Слушатели курса узнают, какие задачи машинного обучения можно решать с помощью нейронных сетей и какие виды нейронных сетей находят свои применения на сегодняшний день. Курс имеет явную практическую направленность, студентам предлагаются задания на обучение нейронных сетей на фреймворке PyTorch языка программирования Python. В курсе обзорно, но достаточно для ознакомления разбираются задачи на изображения и тексты.

=== Цели освоения курса ===
# Знать принцип работы и уметь обучать следующие виды нейронных сетей: полносвязные, сверточные, рекуррентные, трансформеры.
# Владение фреймворком PyTorch для обучения нейронных сетей.
# Понимание различных задач, которые решаются с применением глубинного обучения.
# Умение обрабатывать данные и составлять пайплайны для обучения нейронных сетей.

== Полезные ссылки ==

* Репозиторий курса: https://github.com/isadrtdinov/intro-to-dl-hse

* Таблица с оценками: https://docs.google.com/spreadsheets/d/1D0m5CFlj6CJPUhYPTsCAhD-euPCV31iZGDnib08SGuI/edit?usp=sharing

* Anytask: https://anytask.org/course/1054

* Чат с обсуждением (МОП): +NO2tyNRZtYUyOGRi (добавить после хттпс://т.ме/)

* Чат с обсуждением (не МОП): TBA (добавить после хтппс://т.ме/)

== Преподаватели и ассистенты ==

Лекции (МОП); кому писать, если кажется, что все пропало: [https://t.me/isadrtdinov Ильдус Садртдинов]

{| class="wikitable"
|-
! Группа !! Семинарист !! Ассистенты !! Инвайт в anytask
|-
| 211 || [https://www.hse.ru/org/persons/225560347 Морозов Никита Витальевич] || [https://t.me/jeembogod Березовский Валерий] [https://t.me/aiziks Максутова Айза] || TBA
|-
| 212 || [https://t.me/Birshert Биршерт Алексей Дмитриевич] || [https://t.me/bayesian_monster Максимов Ян] [https://t.me/murkyfella Аксёнов Ярослав] || TBA
|-
| 213 || [https://t.me/foma2u Шипилов Фома Александрович] || [https://t.me/mcnckc Гусев Михаил] [https://t.me/kvdmitrieva Екатерина Дмитриева] || TBA
|-
| ВвГО-1 || TBA || TBA || TBA
|-
| ВвГО-2 || TBA || TBA || TBA
|}

== Формулы оценок ==

=== МОП ===

''Итог'' = ''Округление''(0.3 * БДЗ + 0.25 * МДЗ + 0.15 ПР + 0.3 * Э)

* БДЗ - оценка за большие домашние задания
* МДЗ - оценка за маленькие домашние задания
* ПР - оценка за проверочные работы (проводятся на семинарах)
* Э - оценка за экзамен

Округление арифметическое. Определим накопленную оценку как ''Накоп'' = ''Округление''((0.3 * БДЗ + 0.25 МДЗ + 0.15 * ПР) / 0.7). Если Накоп >= 8, то студент может получить ''Накоп'' в качестве итоговой оценки, не приходя на экзамен.

'''Формат экзамена''': письменный, в аудитории, материалами пользоваться не разрешается, 2 часа.

'''Формат пересдачи''': накопленная оценка сохраняется, формат аналогичен экзамену.

=== Не МОП ===

''Итог'' = ''Округление''(0.7 * МДЗ + 0.3 * ПР)

* МДЗ - оценка за маленькие домашние задания
* ПР - оценка за проверочные работы (проводятся на семинарах)

Округление арифметическое.

'''Формат экзамена''': экзамен не предусмотрен.

'''Формат пересдачи''': досдача МДЗ.

== Лекции ==

=== МОП ===

=== Не МОП ===

== Семинары ==

=== МОП ===

=== Не МОП ===

== Маленькие домашние задания ==

=== МОП ===

=== Не МОП ===

== Большие домашние задания ==

== Теоретические домашние задания ==

Глубинное обучение 1 23/24

2023-09-25T06:31:34Z

Isadrtdinov 1: /* Преподаватели и ассистенты */

== О курсе ==

Это страничка курсов 2023-2024 года (1-3 модуль 3 курса ПМИ):
* '''Глубинное обучение 1''' (для групп МОП: 211-213)
* '''Введение в глубинное обучение''' (группы 214 (ТИ), 217 (АПР) и 218 (АДИС)).

Курс посвящен глубинному обучению – самой активно развивающейся области машинного обучения. Слушатели курса узнают, какие задачи машинного обучения можно решать с помощью нейронных сетей и какие виды нейронных сетей находят свои применения на сегодняшний день. Курс имеет явную практическую направленность, студентам предлагаются задания на обучение нейронных сетей на фреймворке PyTorch языка программирования Python. В курсе обзорно, но достаточно для ознакомления разбираются задачи на изображения и тексты.

=== Цели освоения курса ===
# Знать принцип работы и уметь обучать следующие виды нейронных сетей: полносвязные, сверточные, рекуррентные, трансформеры.
# Владение фреймворком PyTorch для обучения нейронных сетей.
# Понимание различных задач, которые решаются с применением глубинного обучения.
# Умение обрабатывать данные и составлять пайплайны для обучения нейронных сетей.

== Полезные ссылки ==

* Репозиторий курса: https://github.com/isadrtdinov/intro-to-dl-hse

* Таблица с оценками: https://docs.google.com/spreadsheets/d/1D0m5CFlj6CJPUhYPTsCAhD-euPCV31iZGDnib08SGuI/edit?usp=sharing

* Чат с обсуждением (МОП): +NO2tyNRZtYUyOGRi (добавить после хттпс://т.ме/)

* Чат с обсуждением (не МОП): TBA (добавить после хтппс://т.ме/)

== Преподаватели и ассистенты ==

Лекции (МОП); кому писать, если кажется, что все пропало: [https://t.me/isadrtdinov Ильдус Садртдинов]

{| class="wikitable"
|-
! Группа !! Семинарист !! Ассистенты !! Инвайт в anytask
|-
| 211 || [https://www.hse.ru/org/persons/225560347 Морозов Никита Витальевич] || [https://t.me/jeembogod Березовский Валерий] [https://t.me/aiziks Максутова Айза] || TBA
|-
| 212 || [https://t.me/Birshert Биршерт Алексей Дмитриевич] || [https://t.me/bayesian_monster Максимов Ян] [https://t.me/murkyfella Аксёнов Ярослав] || TBA
|-
| 213 || [https://t.me/foma2u Шипилов Фома Александрович] || [https://t.me/mcnckc Гусев Михаил] [https://t.me/kvdmitrieva Екатерина Дмитриева] || TBA
|-
| ВвГО-1 || TBA || TBA || TBA
|-
| ВвГО-2 || TBA || TBA || TBA
|}

== Формулы оценок ==

=== МОП ===

''Итог'' = ''Округление''(0.3 * БДЗ + 0.25 * МДЗ + 0.15 ПР + 0.3 * Э)

* БДЗ - оценка за большие домашние задания
* МДЗ - оценка за маленькие домашние задания
* ПР - оценка за проверочные работы (проводятся на семинарах)
* Э - оценка за экзамен

Округление арифметическое. Определим накопленную оценку как ''Накоп'' = ''Округление''((0.3 * БДЗ + 0.25 МДЗ + 0.15 * ПР) / 0.7). Если Накоп >= 8, то студент может получить ''Накоп'' в качестве итоговой оценки, не приходя на экзамен.

'''Формат экзамена''': письменный, в аудитории, материалами пользоваться не разрешается, 2 часа.

'''Формат пересдачи''': накопленная оценка сохраняется, формат аналогичен экзамену.

=== Не МОП ===

''Итог'' = ''Округление''(0.7 * МДЗ + 0.3 * ПР)

* МДЗ - оценка за маленькие домашние задания
* ПР - оценка за проверочные работы (проводятся на семинарах)

Округление арифметическое.

'''Формат экзамена''': экзамен не предусмотрен.

'''Формат пересдачи''': досдача МДЗ.

== Лекции ==

=== МОП ===

=== Не МОП ===

== Семинары ==

=== МОП ===

=== Не МОП ===

== Маленькие домашние задания ==

=== МОП ===

=== Не МОП ===

== Большие домашние задания ==

== Теоретические домашние задания ==

Глубинное обучение 1 22/23

2023-09-23T10:51:12Z

Isadrtdinov 1: /* МОП */

== О курсе ==

Это страничка курсов 2022-2023 года (1-3 модуль 3 курса ПМИ):
* '''Глубинное обучение 1''' (для групп МОП: 201-203)
* '''Введение в глубинное обучение''' (для групп остальных специализаций, кроме РС: 204, 207-2010).

Курс посвящен глубинному обучению – самой активно развивающейся области машинного обучения. Слушатели курса узнают, какие задачи машинного обучения можно решать с помощью нейронных сетей и какие виды нейронных сетей находят свои применения на сегодняшний день. Курс имеет явную практическую направленность, студентам предлагаются задания на обучение нейронных сетей на фреймворке PyTorch языка программирования Python. В курсе обзорно, но достаточно для ознакомления разбираются задачи на изображения и тексты.

=== Цели освоения курса ===
# Знать принцип работы и уметь обучать следующие виды нейронных сетей: полносвязные, сверточные, рекуррентные, трансформеры.
# Владение фреймворком PyTorch для обучения нейронных сетей.
# Понимание различных задач, которые решаются с применением глубинного обучения.
# Умение обрабатывать данные и составлять пайплайны для обучения нейронных сетей.

== Полезные ссылки ==

* Репозиторий курса: https://github.com/isadrtdinov/intro-to-dl-hse

* Таблица с оценками: https://docs.google.com/spreadsheets/d/1GUChnaG3M9zVVY-p8qtgsYrLas43w__BxrnyobNGctw/edit?usp=sharing

* Чат с обсуждением (МОП): +F6omM9r5jDYyZWMy (добавить после хттпс://т.ме/)

* Чат с обсуждением (не МОП): +SDpvrQwM4g0yZWFi (добавить после хтппс://т.ме/)

== Преподаватели и ассистенты ==

Лекции (МОП); кому писать, если кажется, что все пропало: [https://t.me/isadrtdinov Ильдус Садртдинов]

{| class="wikitable"
|-
! Группа !! Семинарист !! Ассистенты !! Инвайт в anytask
|-
| 201 || [https://t.me/baranovskayadaria Дарья Барановская] || [https://t.me/JohanDDC Иван Пешехонов], [https://t.me/nikoryagin Никита Корягин] || gMVmQgY
|-
| 202 || [https://t.me/isadrtdinov Ильдус Садртдинов] || [https://t.me/territhing Сергей Пилипенко], [https://t.me/huwar Мадина Халматова] || oDu4b6c
|-
| 203 || [https://t.me/Birshert Алексей Биршерт] || [https://t.me/maripkl Мария Поклонская], [https://t.me/DimaLishudi Дмитрий Лишуди] || eqbgrKV
|-
| 204 || [https://t.me/madn_boi Никита Морозов] || [https://t.me/SergejVolkov Фома Шипилов] || STMB5yV
|-
| 207 || [https://t.me/asukhareva Анжела Сухарева] || [https://t.me/zzlatazz Злата Клименко] || I6JUg1f
|-
| 208 || [https://t.me/aktsvigun Аким Цвигун] || [https://t.me/lily_kurchenko Лилия Курченко] || WSekHxn
|-
| 209 || [https://t.me/call_me_Dory Диана Сусла] || [https://t.me/KrupetsSanches Александр Крупецков] || D4Vl7P4
|-
| 2010 || [https://t.me/mrkimster Сергей Ким] || [https://t.me/messlav Вячеслав Пирогов] || 5sfP4yz
|}

== Формулы оценок ==

=== МОП ===

''Итог'' = ''Округление''(0.3 * БДЗ + 0.25 * МДЗ + 0.15 ПР + 0.3 * Э)

* БДЗ - оценка за большие домашние задания
* МДЗ - оценка за маленькие домашние задания
* ПР - оценка за проверочные работы (проводятся на семинарах)
* Э - оценка за экзамен

Округление арифметическое. Определим накопленную оценку как ''Накоп'' = ''Округление''((0.3 * БДЗ + 0.25 МДЗ + 0.15 * ПР) / 0.7). Если Накоп >= 8, то студент может получить ''Накоп'' в качестве итоговой оценки, не приходя на экзамен.

'''Формат экзамена''': письменный, в аудитории, материалами пользоваться не разрешается, 2 часа.

'''Формат пересдачи''': накопленная оценка сохраняется, формат аналогичен экзамену.

=== Не МОП ===

''Итог'' = ''Округление''(0.7 * МДЗ + 0.3 * ПР)

* МДЗ - оценка за маленькие домашние задания
* ПР - оценка за проверочные работы (проводятся на семинарах)

Округление арифметическое.

'''Формат экзамена''': экзамен не предусмотрен.

'''Формат пересдачи''': досдача МДЗ.

== Лекции ==

=== МОП ===

Конспект от @ninachely: [https://exuberant-arthropod-be8.notion.site/DL-1-07582f084f5148a19c31a84200bb9b58 notion]

# Автоматическое дифференцирование, полносвязные нейронные сети: [https://www.youtube.com/watch?v=g552oCpg-NE&list=PLEwK9wdS5g0onnKgvKxuUJN1Ojchl9Q9P&index=1&t=1756s&ab_channel=ФКНВШЭ—дистанционныезанятия запись]
# Оптимизация нейронных сетей, SGD, Adam/AdamW. Dropout и Batch-нормализация: [https://www.youtube.com/watch?v=O9JV_Kgd31E&list=PLEwK9wdS5g0onnKgvKxuUJN1Ojchl9Q9P&index=3&t=1939s&ab_channel=ФКНВШЭ—дистанционныезанятия запись]
# Разбор дифференцирования из МДЗ 1, операция свертки: [https://youtu.be/xa69n0yCid8 запись]
# Архитектуры сверточных нейронных сетей: [https://youtu.be/5S5HpbDm7eA запись]
# Задачи компьютерного зрения, сегментация и детекция: [https://youtu.be/gJfDJoLEZIY запись]
# Токенизация текстов, эмбеддинги слов, TextCNN: [https://youtu.be/WihC2R5lNmg запись]
# Рекуррентные нейронные сети, языковые модели: [https://youtu.be/Ysj4i2S0D6c запись]
# Архитектура трансформера: [https://youtu.be/wLUJVRqzEyM запись]
# Self-supervised learning, BERT, SimCLR: [https://youtu.be/VpfqcP8HRmQ запись]
# Трансформеры для компьютерного зрения: [https://youtu.be/Dd7uQiAzrnA запись]
# Оценка неопределенности, дистилляция, прунинг, квантизация: [https://youtu.be/Jc-wbLCHtns запись]
# Соревновательные атаки, генеративно-состязательные сети (GAN): [https://youtu.be/banZhpreS2Y запись]
# Автокодировщик, вариационный автокодировщик: [https://youtu.be/sscXFM9jcHA запись]
# Loss landscape, mode connectivity: [https://youtu.be/3II2nWX4GQ0 запись]

=== Не МОП ===

В качестве лекционного материала используется онлайн-курс "Основы глубинного обучения", который охватывает следующие темы:

# Введение в нейронные сети, полносвязные нейронные сети, оптимизация
# Сверточные нейронные сети
# Современные архитектуры для работы с изображениями
# Работа с последовательностями и рекуррентные архитектуры

== Семинары ==

=== МОП ===

# Введение в библиотеку PyTorch. Автоматическое дифференцирование: [https://www.youtube.com/watch?v=j6JxUpGaav4&list=PLEwK9wdS5g0onnKgvKxuUJN1Ojchl9Q9P&index=2&t=3s&ab_channel=ФКНВШЭ—дистанционныезанятия запись (группа 202)]
# Полносвязные нейронные сети. Общая схема пайплайна обучения на PyTorch: [https://www.youtube.com/watch?v=LZQVBuzttjM&list=PLEwK9wdS5g0onnKgvKxuUJN1Ojchl9Q9P&index=4&t=1799s&ab_channel=ФКНВШЭ—дистанционныезанятия запись (группа 202)]
# Свертки в PyTorch, реализация архитектуры LeNet: [https://youtu.be/CCCiGacZAVo запись (группа 202)]
# Обучение моделей из torchvision, аугментации и fine-tuning: [https://youtu.be/1wCd23p2l98 запись (группа 202)]
# Семантическая сегментация и детекция: [https://youtu.be/NSNYSEYAHa8 запись (группа 202)]
# Word2Vec, Fasttext и TextCNN: [https://youtu.be/2r67B1sPlDU запись (группа 202)]
# Генерация последовательностей, image captioning: [https://youtu.be/-KdvXtUhwEk запись (группа 202)]
# Архитектура трансформера: [https://youtu.be/QY456sQVTrM запись (группа 202)]
# Дообучение модели BERT: [https://youtu.be/XeFc3-_AYl8 запись (группа 202)]
# Семинар по теме не проводился
# Дистилляция, прунинг, квантизация: [https://youtu.be/vbvsqvcipO8 запись (группа 202)]
# Соревновательные атаки, генеративно-состязательные сети (GAN): [https://youtu.be/KgVkxjxf_T0 запись (группа 202)]
# Автокодировщик, вариационный автокодировщик: [https://youtu.be/BCvYmiIsNqQ запись (группа 202)]
# Семинар по теме не проводился

=== Не МОП ===

== Маленькие домашние задания ==

=== МОП ===

'''МДЗ №1.''' Автоматическое дифференцирование и полносвязные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/tree/2022-2023/homeworks-small/shw-01-mlp ссылка]

Дата выдачи: '''27.09.22 (вт)'''

Мягкий дедлайн: '''19.10.22 23:59 (ср)'''

Жесткий дедлайн: '''23.10.22 23:59 (вс)'''

'''МДЗ №2.''' Сверточный классификатор: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-02-cnn.ipynb ссылка]

Дата выдачи: '''21.10.22 (пт)'''

Мягкий дедлайн: '''06.11.22 23:59 (вс)'''

Жесткий дедлайн: '''10.11.22 23:59 (чт)'''

'''МДЗ №3.''' RNN и языковые модели: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-03-rnn/shw-03-rnn.ipynb ссылка]

Дата выдачи: '''12.01.22 (чт)'''

Мягкий дедлайн: '''29.01.23 23:59 (вс)'''

Жесткий дедлайн: '''02.02.23 23:59 (чт)'''

=== Не МОП ===

'''МДЗ №1.''' Полносвязные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-01-mlp-light.ipynb ссылка]

Дата выдачи: '''08.11.22 (вт)'''

Мягкий дедлайн: '''23.11.22 23:59 (ср)'''

Жесткий дедлайн: '''27.11.22 23:59 (вс)'''

'''МДЗ №2.''' Сверточный классификатор: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-02-cnn.ipynb ссылка]

Дата выдачи: '''02.12.22 (вт)'''

Мягкий дедлайн: '''16.12.22 23:59 (ср)'''

Жесткий дедлайн: '''18.12.22 23:59 (вс)'''

'''МДЗ №3.''' RNN и языковые модели: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-03-rnn/shw-03-rnn.ipynb ссылка]

Дата выдачи: '''01.03.23 (ср)'''

Мягкий дедлайн: '''20.03.23 23:59 (пн)'''

Жесткий дедлайн: '''22.03.23 23:59 (ср)'''

== Большие домашние задания ==

Большие домашние задания подразумевают реализацию пайплайна обучения и тестирования нейросети на выданных данных. '''Выдаются только группам МОПа.'''

'''БДЗ №1.''' Классификация изображений.

Подробности задания ищите по ссылке в канале с объявлениями.

Дата выдачи: '''14.11.22 (пн)'''

Мягкий дедлайн (чекпойнт): '''29.11.22 23:59 (вт)'''

Жесткий дедлайн (чекпойнт): '''06.12.22 23:59 (вт)'''

Мягкий дедлайн (финальная сдача): '''13.12.22 23:59 (вт)'''

Жесткий дедлайн (финальная сдача): '''17.12.22 23:59 (сб)'''

'''БДЗ №2.''' Машинный перевод.

Подробности задания ищите по ссылке в канале с объявлениями.

Дата выдачи: '''19.02.23 (вс)'''

Мягкий дедлайн (чекпойнт): '''05.03.23 23:59 (вс)'''

Жесткий дедлайн (чекпойнт): '''12.03.23 23:59 (вс)'''

Мягкий дедлайн (финальная сдача): '''19.03.23 23:59 (вс)'''

Жесткий дедлайн (финальная сдача): '''22.03.23 23:59 (ср)'''

== Теоретические домашние задания ==

Теоретические ДЗ не сдаются и предлагаются студентам для самостоятельного решения и ознакомления

'''ТДЗ №1.''' Полносвязные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-theory/thw-01-mlp.pdf ссылка]

'''ТДЗ №2.''' Сверточные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-theory/thw-02-cnn.pdf ссылка]

Глубинное обучение 1 22/23

2023-09-23T10:50:34Z

Isadrtdinov 1: /* МОП */

== О курсе ==

Это страничка курсов 2022-2023 года (1-3 модуль 3 курса ПМИ):
* '''Глубинное обучение 1''' (для групп МОП: 201-203)
* '''Введение в глубинное обучение''' (для групп остальных специализаций, кроме РС: 204, 207-2010).

Курс посвящен глубинному обучению – самой активно развивающейся области машинного обучения. Слушатели курса узнают, какие задачи машинного обучения можно решать с помощью нейронных сетей и какие виды нейронных сетей находят свои применения на сегодняшний день. Курс имеет явную практическую направленность, студентам предлагаются задания на обучение нейронных сетей на фреймворке PyTorch языка программирования Python. В курсе обзорно, но достаточно для ознакомления разбираются задачи на изображения и тексты.

=== Цели освоения курса ===
# Знать принцип работы и уметь обучать следующие виды нейронных сетей: полносвязные, сверточные, рекуррентные, трансформеры.
# Владение фреймворком PyTorch для обучения нейронных сетей.
# Понимание различных задач, которые решаются с применением глубинного обучения.
# Умение обрабатывать данные и составлять пайплайны для обучения нейронных сетей.

== Полезные ссылки ==

* Репозиторий курса: https://github.com/isadrtdinov/intro-to-dl-hse

* Таблица с оценками: https://docs.google.com/spreadsheets/d/1GUChnaG3M9zVVY-p8qtgsYrLas43w__BxrnyobNGctw/edit?usp=sharing

* Чат с обсуждением (МОП): +F6omM9r5jDYyZWMy (добавить после хттпс://т.ме/)

* Чат с обсуждением (не МОП): +SDpvrQwM4g0yZWFi (добавить после хтппс://т.ме/)

== Преподаватели и ассистенты ==

Лекции (МОП); кому писать, если кажется, что все пропало: [https://t.me/isadrtdinov Ильдус Садртдинов]

{| class="wikitable"
|-
! Группа !! Семинарист !! Ассистенты !! Инвайт в anytask
|-
| 201 || [https://t.me/baranovskayadaria Дарья Барановская] || [https://t.me/JohanDDC Иван Пешехонов], [https://t.me/nikoryagin Никита Корягин] || gMVmQgY
|-
| 202 || [https://t.me/isadrtdinov Ильдус Садртдинов] || [https://t.me/territhing Сергей Пилипенко], [https://t.me/huwar Мадина Халматова] || oDu4b6c
|-
| 203 || [https://t.me/Birshert Алексей Биршерт] || [https://t.me/maripkl Мария Поклонская], [https://t.me/DimaLishudi Дмитрий Лишуди] || eqbgrKV
|-
| 204 || [https://t.me/madn_boi Никита Морозов] || [https://t.me/SergejVolkov Фома Шипилов] || STMB5yV
|-
| 207 || [https://t.me/asukhareva Анжела Сухарева] || [https://t.me/zzlatazz Злата Клименко] || I6JUg1f
|-
| 208 || [https://t.me/aktsvigun Аким Цвигун] || [https://t.me/lily_kurchenko Лилия Курченко] || WSekHxn
|-
| 209 || [https://t.me/call_me_Dory Диана Сусла] || [https://t.me/KrupetsSanches Александр Крупецков] || D4Vl7P4
|-
| 2010 || [https://t.me/mrkimster Сергей Ким] || [https://t.me/messlav Вячеслав Пирогов] || 5sfP4yz
|}

== Формулы оценок ==

=== МОП ===

''Итог'' = ''Округление''(0.3 * БДЗ + 0.25 * МДЗ + 0.15 ПР + 0.3 * Э)

* БДЗ - оценка за большие домашние задания
* МДЗ - оценка за маленькие домашние задания
* ПР - оценка за проверочные работы (проводятся на семинарах)
* Э - оценка за экзамен

Округление арифметическое. Определим накопленную оценку как ''Накоп'' = ''Округление''((0.3 * БДЗ + 0.25 МДЗ + 0.15 * ПР) / 0.7). Если Накоп >= 8, то студент может получить ''Накоп'' в качестве итоговой оценки, не приходя на экзамен.

'''Формат экзамена''': письменный, в аудитории, материалами пользоваться не разрешается, 2 часа.

'''Формат пересдачи''': накопленная оценка сохраняется, формат аналогичен экзамену.

=== Не МОП ===

''Итог'' = ''Округление''(0.7 * МДЗ + 0.3 * ПР)

* МДЗ - оценка за маленькие домашние задания
* ПР - оценка за проверочные работы (проводятся на семинарах)

Округление арифметическое.

'''Формат экзамена''': экзамен не предусмотрен.

'''Формат пересдачи''': досдача МДЗ.

== Лекции ==

=== МОП ===

Конспект от @ninachely: [https://exuberant-arthropod-be8.notion.site/DL-1-07582f084f5148a19c31a84200bb9b58 notion]

# Автоматическое дифференцирование, полносвязные нейронные сети: [https://www.youtube.com/watch?v=g552oCpg-NE&list=PLEwK9wdS5g0onnKgvKxuUJN1Ojchl9Q9P&index=1&t=1756s&ab_channel=ФКНВШЭ—дистанционныезанятия запись]
# Оптимизация нейронных сетей, SGD, Adam/AdamW. Dropout и Batch-нормализация: [https://www.youtube.com/watch?v=O9JV_Kgd31E&list=PLEwK9wdS5g0onnKgvKxuUJN1Ojchl9Q9P&index=3&t=1939s&ab_channel=ФКНВШЭ—дистанционныезанятия запись]
# Разбор дифференцирования из МДЗ 1, операция свертки: [https://youtu.be/xa69n0yCid8 запись]
# Архитектуры сверточных нейронных сетей: [https://youtu.be/5S5HpbDm7eA запись]
# Задачи компьютерного зрения, сегментация и детекция: [https://youtu.be/gJfDJoLEZIY запись]
# Токенизация текстов, эмбеддинги слов, TextCNN: [https://youtu.be/WihC2R5lNmg запись]
# Рекуррентные нейронные сети, языковые модели: [https://youtu.be/Ysj4i2S0D6c запись]
# Архитектура трансформера: [https://youtu.be/wLUJVRqzEyM запись]
# Self-supervised learning, BERT, SimCLR: [https://youtu.be/VpfqcP8HRmQ запись]
# Трансформеры для компьютерного зрения: [https://youtu.be/Dd7uQiAzrnA запись]
# Оценка неопределенности, дистилляция, прунинг, квантизация: [https://youtu.be/Jc-wbLCHtns запись]
# Соревновательные атаки, генеративно-состязательные сети (GAN): [https://youtu.be/banZhpreS2Y запись]
# Автокодировщик, вариационный автокодировщик: [https://youtu.be/sscXFM9jcHA запись]
# Loss landscape, mode connectivity: [https://youtu.be/3II2nWX4GQ0 запись]

=== Не МОП ===

В качестве лекционного материала используется онлайн-курс "Основы глубинного обучения", который охватывает следующие темы:

# Введение в нейронные сети, полносвязные нейронные сети, оптимизация
# Сверточные нейронные сети
# Современные архитектуры для работы с изображениями
# Работа с последовательностями и рекуррентные архитектуры

== Семинары ==

=== МОП ===

# Введение в библиотеку PyTorch. Автоматическое дифференцирование: [https://www.youtube.com/watch?v=j6JxUpGaav4&list=PLEwK9wdS5g0onnKgvKxuUJN1Ojchl9Q9P&index=2&t=3s&ab_channel=ФКНВШЭ—дистанционныезанятия запись (группа 202)]
# Полносвязные нейронные сети. Общая схема пайплайна обучения на PyTorch: [https://www.youtube.com/watch?v=LZQVBuzttjM&list=PLEwK9wdS5g0onnKgvKxuUJN1Ojchl9Q9P&index=4&t=1799s&ab_channel=ФКНВШЭ—дистанционныезанятия запись (группа 202)]
# Свертки в PyTorch, реализация архитектуры LeNet: [https://youtu.be/CCCiGacZAVo запись (группа 202)]
# Обучение моделей из torchvision, аугментации и fine-tuning: [https://youtu.be/1wCd23p2l98 запись (группа 202)]
# Семантическая сегментация и детекция: [https://youtu.be/NSNYSEYAHa8 запись (группа 202)]
# Word2Vec, Fasttext и TextCNN: [https://youtu.be/2r67B1sPlDU запись (группа 202)]
# Генерация последовательностей, image captioning: [https://youtu.be/-KdvXtUhwEk запись (группа 202)]
# Архитектура трансформера: [https://youtu.be/QY456sQVTrM запись (группа 202)]
# Дообучение модели BERT: [https://youtu.be/XeFc3-_AYl8 запись (группа 202)]
# Семинар по теме не проводился
# Дистилляция, прунинг, квантизация: [https://youtu.be/vbvsqvcipO8 запись (группа 202)]
# Соревновательные атаки, генеративно-состязательные сети (GAN): [https://youtu.be/KgVkxjxf_T0 запись (группа 202)]
# Автокодировщик, вариационный автокодировщик: [https://youtu.be/BCvYmiIsNqQ запись (группа 202)]

=== Не МОП ===

== Маленькие домашние задания ==

=== МОП ===

'''МДЗ №1.''' Автоматическое дифференцирование и полносвязные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/tree/2022-2023/homeworks-small/shw-01-mlp ссылка]

Дата выдачи: '''27.09.22 (вт)'''

Мягкий дедлайн: '''19.10.22 23:59 (ср)'''

Жесткий дедлайн: '''23.10.22 23:59 (вс)'''

'''МДЗ №2.''' Сверточный классификатор: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-02-cnn.ipynb ссылка]

Дата выдачи: '''21.10.22 (пт)'''

Мягкий дедлайн: '''06.11.22 23:59 (вс)'''

Жесткий дедлайн: '''10.11.22 23:59 (чт)'''

'''МДЗ №3.''' RNN и языковые модели: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-03-rnn/shw-03-rnn.ipynb ссылка]

Дата выдачи: '''12.01.22 (чт)'''

Мягкий дедлайн: '''29.01.23 23:59 (вс)'''

Жесткий дедлайн: '''02.02.23 23:59 (чт)'''

=== Не МОП ===

'''МДЗ №1.''' Полносвязные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-01-mlp-light.ipynb ссылка]

Дата выдачи: '''08.11.22 (вт)'''

Мягкий дедлайн: '''23.11.22 23:59 (ср)'''

Жесткий дедлайн: '''27.11.22 23:59 (вс)'''

'''МДЗ №2.''' Сверточный классификатор: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-02-cnn.ipynb ссылка]

Дата выдачи: '''02.12.22 (вт)'''

Мягкий дедлайн: '''16.12.22 23:59 (ср)'''

Жесткий дедлайн: '''18.12.22 23:59 (вс)'''

'''МДЗ №3.''' RNN и языковые модели: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-03-rnn/shw-03-rnn.ipynb ссылка]

Дата выдачи: '''01.03.23 (ср)'''

Мягкий дедлайн: '''20.03.23 23:59 (пн)'''

Жесткий дедлайн: '''22.03.23 23:59 (ср)'''

== Большие домашние задания ==

Большие домашние задания подразумевают реализацию пайплайна обучения и тестирования нейросети на выданных данных. '''Выдаются только группам МОПа.'''

'''БДЗ №1.''' Классификация изображений.

Подробности задания ищите по ссылке в канале с объявлениями.

Дата выдачи: '''14.11.22 (пн)'''

Мягкий дедлайн (чекпойнт): '''29.11.22 23:59 (вт)'''

Жесткий дедлайн (чекпойнт): '''06.12.22 23:59 (вт)'''

Мягкий дедлайн (финальная сдача): '''13.12.22 23:59 (вт)'''

Жесткий дедлайн (финальная сдача): '''17.12.22 23:59 (сб)'''

'''БДЗ №2.''' Машинный перевод.

Подробности задания ищите по ссылке в канале с объявлениями.

Дата выдачи: '''19.02.23 (вс)'''

Мягкий дедлайн (чекпойнт): '''05.03.23 23:59 (вс)'''

Жесткий дедлайн (чекпойнт): '''12.03.23 23:59 (вс)'''

Мягкий дедлайн (финальная сдача): '''19.03.23 23:59 (вс)'''

Жесткий дедлайн (финальная сдача): '''22.03.23 23:59 (ср)'''

== Теоретические домашние задания ==

Теоретические ДЗ не сдаются и предлагаются студентам для самостоятельного решения и ознакомления

'''ТДЗ №1.''' Полносвязные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-theory/thw-01-mlp.pdf ссылка]

'''ТДЗ №2.''' Сверточные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-theory/thw-02-cnn.pdf ссылка]

Глубинное обучение 1 23/24

2023-09-17T09:40:51Z

Isadrtdinov 1: /* Полезные ссылки */

Глубинное обучение 1 23/24

2023-09-11T17:53:54Z

Isadrtdinov 1: Новая страница: «== О курсе == Это страничка курсов 2023-2024 года (1-3 модуль 3 курса ПМИ): * '''Глубинное обучение 1'…»

Глубинное обучение 1 22/23

2023-03-08T08:21:20Z

Isadrtdinov 1: /* МОП */

== О курсе ==

Это страничка курсов 2022-2023 года (1-3 модуль 3 курса ПМИ):
* '''Глубинное обучение 1''' (для групп МОП: 201-203)
* '''Введение в глубинное обучение''' (для групп остальных специализаций, кроме РС: 204, 207-2010).

Курс посвящен глубинному обучению – самой активно развивающейся области машинного обучения. Слушатели курса узнают, какие задачи машинного обучения можно решать с помощью нейронных сетей и какие виды нейронных сетей находят свои применения на сегодняшний день. Курс имеет явную практическую направленность, студентам предлагаются задания на обучение нейронных сетей на фреймворке PyTorch языка программирования Python. В курсе обзорно, но достаточно для ознакомления разбираются задачи на изображения и тексты.

=== Цели освоения курса ===
# Знать принцип работы и уметь обучать следующие виды нейронных сетей: полносвязные, сверточные, рекуррентные, трансформеры.
# Владение фреймворком PyTorch для обучения нейронных сетей.
# Понимание различных задач, которые решаются с применением глубинного обучения.
# Умение обрабатывать данные и составлять пайплайны для обучения нейронных сетей.

== Полезные ссылки ==

* Репозиторий курса: https://github.com/isadrtdinov/intro-to-dl-hse

* Таблица с оценками: https://docs.google.com/spreadsheets/d/1GUChnaG3M9zVVY-p8qtgsYrLas43w__BxrnyobNGctw/edit?usp=sharing

* Чат с обсуждением (МОП): +F6omM9r5jDYyZWMy (добавить после хттпс://т.ме/)

* Чат с обсуждением (не МОП): +SDpvrQwM4g0yZWFi (добавить после хтппс://т.ме/)

== Преподаватели и ассистенты ==

Лекции (МОП); кому писать, если кажется, что все пропало: [https://t.me/isadrtdinov Ильдус Садртдинов]

{| class="wikitable"
|-
! Группа !! Семинарист !! Ассистенты !! Инвайт в anytask
|-
| 201 || [https://t.me/baranovskayadaria Дарья Барановская] || [https://t.me/JohanDDC Иван Пешехонов], [https://t.me/nikoryagin Никита Корягин] || gMVmQgY
|-
| 202 || [https://t.me/isadrtdinov Ильдус Садртдинов] || [https://t.me/territhing Сергей Пилипенко], [https://t.me/huwar Мадина Халматова] || oDu4b6c
|-
| 203 || [https://t.me/Birshert Алексей Биршерт] || [https://t.me/maripkl Мария Поклонская], [https://t.me/DimaLishudi Дмитрий Лишуди] || eqbgrKV
|-
| 204 || [https://t.me/madn_boi Никита Морозов] || [https://t.me/SergejVolkov Фома Шипилов] || STMB5yV
|-
| 207 || [https://t.me/asukhareva Анжела Сухарева] || [https://t.me/zzlatazz Злата Клименко] || I6JUg1f
|-
| 208 || [https://t.me/aktsvigun Аким Цвигун] || [https://t.me/lily_kurchenko Лилия Курченко] || WSekHxn
|-
| 209 || [https://t.me/call_me_Dory Диана Сусла] || [https://t.me/KrupetsSanches Александр Крупецков] || D4Vl7P4
|-
| 2010 || [https://t.me/mrkimster Сергей Ким] || [https://t.me/messlav Вячеслав Пирогов] || 5sfP4yz
|}

== Формулы оценок ==

=== МОП ===

''Итог'' = ''Округление''(0.3 * БДЗ + 0.25 * МДЗ + 0.15 ПР + 0.3 * Э)

* БДЗ - оценка за большие домашние задания
* МДЗ - оценка за маленькие домашние задания
* ПР - оценка за проверочные работы (проводятся на семинарах)
* Э - оценка за экзамен

Округление арифметическое. Определим накопленную оценку как ''Накоп'' = ''Округление''((0.3 * БДЗ + 0.25 МДЗ + 0.15 * ПР) / 0.7). Если Накоп >= 8, то студент может получить ''Накоп'' в качестве итоговой оценки, не приходя на экзамен.

'''Формат экзамена''': письменный, в аудитории, материалами пользоваться не разрешается, 2 часа.

'''Формат пересдачи''': накопленная оценка сохраняется, формат аналогичен экзамену.

=== Не МОП ===

''Итог'' = ''Округление''(0.7 * МДЗ + 0.3 * ПР)

* МДЗ - оценка за маленькие домашние задания
* ПР - оценка за проверочные работы (проводятся на семинарах)

Округление арифметическое.

'''Формат экзамена''': экзамен не предусмотрен.

'''Формат пересдачи''': досдача МДЗ.

== Лекции ==

=== МОП ===

Конспект от @ninachely: [https://exuberant-arthropod-be8.notion.site/DL-1-07582f084f5148a19c31a84200bb9b58 notion]

# Автоматическое дифференцирование, полносвязные нейронные сети: [https://www.youtube.com/watch?v=g552oCpg-NE&list=PLEwK9wdS5g0onnKgvKxuUJN1Ojchl9Q9P&index=1&t=1756s&ab_channel=ФКНВШЭ—дистанционныезанятия запись]
# Оптимизация нейронных сетей, SGD, Adam/AdamW. Dropout и Batch-нормализация: [https://www.youtube.com/watch?v=O9JV_Kgd31E&list=PLEwK9wdS5g0onnKgvKxuUJN1Ojchl9Q9P&index=3&t=1939s&ab_channel=ФКНВШЭ—дистанционныезанятия запись]
# Разбор дифференцирования из МДЗ 1, операция свертки: [https://youtu.be/xa69n0yCid8 запись]
# Архитектуры сверточных нейронных сетей: [https://youtu.be/5S5HpbDm7eA запись]
# Задачи компьютерного зрения, сегментация и детекция: [https://youtu.be/gJfDJoLEZIY запись]
# Токенизация текстов, эмбеддинги слов, TextCNN: [https://youtu.be/WihC2R5lNmg запись]
# Рекуррентные нейронные сети, языковые модели: [https://youtu.be/Ysj4i2S0D6c запись]
# Архитектура трансформера: [https://youtu.be/wLUJVRqzEyM запись]
# Self-supervised learning, BERT, SimCLR: [https://youtu.be/VpfqcP8HRmQ запись]
# Трансформеры для компьютерного зрения: [https://youtu.be/Dd7uQiAzrnA запись]
# Оценка неопределенности, дистилляция, прунинг, квантизация: [https://youtu.be/Jc-wbLCHtns запись]
# Соревновательные атаки, генеративно-состязательные сети (GAN): [https://youtu.be/banZhpreS2Y запись]
# Автокодировщик, вариационный автокодировщик: [https://youtu.be/sscXFM9jcHA запись]

=== Не МОП ===

В качестве лекционного материала используется онлайн-курс "Основы глубинного обучения", который охватывает следующие темы:

# Введение в нейронные сети, полносвязные нейронные сети, оптимизация
# Сверточные нейронные сети
# Современные архитектуры для работы с изображениями
# Работа с последовательностями и рекуррентные архитектуры

== Семинары ==

=== МОП ===

# Введение в библиотеку PyTorch. Автоматическое дифференцирование: [https://www.youtube.com/watch?v=j6JxUpGaav4&list=PLEwK9wdS5g0onnKgvKxuUJN1Ojchl9Q9P&index=2&t=3s&ab_channel=ФКНВШЭ—дистанционныезанятия запись (группа 202)]
# Полносвязные нейронные сети. Общая схема пайплайна обучения на PyTorch: [https://www.youtube.com/watch?v=LZQVBuzttjM&list=PLEwK9wdS5g0onnKgvKxuUJN1Ojchl9Q9P&index=4&t=1799s&ab_channel=ФКНВШЭ—дистанционныезанятия запись (группа 202)]
# Свертки в PyTorch, реализация архитектуры LeNet: [https://youtu.be/CCCiGacZAVo запись (группа 202)]
# Обучение моделей из torchvision, аугментации и fine-tuning: [https://youtu.be/1wCd23p2l98 запись (группа 202)]
# Семантическая сегментация и детекция: [https://youtu.be/NSNYSEYAHa8 запись (группа 202)]
# Word2Vec, Fasttext и TextCNN: [https://youtu.be/2r67B1sPlDU запись (группа 202)]
# Генерация последовательностей, image captioning: [https://youtu.be/-KdvXtUhwEk запись (группа 202)]
# Архитектура трансформера: [https://youtu.be/QY456sQVTrM запись (группа 202)]
# Дообучение модели BERT: [https://youtu.be/XeFc3-_AYl8 запись (группа 202)]
# Семинар по теме не проводился
# Дистилляция, прунинг, квантизация: [https://youtu.be/vbvsqvcipO8 запись (группа 202)]
# Соревновательные атаки, генеративно-состязательные сети (GAN): [https://youtu.be/KgVkxjxf_T0 запись (группа 202)]
# Автокодировщик, вариационный автокодировщик: [https://youtu.be/BCvYmiIsNqQ запись (группа 202)]

=== Не МОП ===

== Маленькие домашние задания ==

=== МОП ===

'''МДЗ №1.''' Автоматическое дифференцирование и полносвязные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/tree/2022-2023/homeworks-small/shw-01-mlp ссылка]

Дата выдачи: '''27.09.22 (вт)'''

Мягкий дедлайн: '''19.10.22 23:59 (ср)'''

Жесткий дедлайн: '''23.10.22 23:59 (вс)'''

'''МДЗ №2.''' Сверточный классификатор: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-02-cnn.ipynb ссылка]

Дата выдачи: '''21.10.22 (пт)'''

Мягкий дедлайн: '''06.11.22 23:59 (вс)'''

Жесткий дедлайн: '''10.11.22 23:59 (чт)'''

'''МДЗ №3.''' RNN и языковые модели: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-03-rnn/shw-03-rnn.ipynb ссылка]

Дата выдачи: '''12.01.22 (чт)'''

Мягкий дедлайн: '''29.01.23 23:59 (вс)'''

Жесткий дедлайн: '''02.02.23 23:59 (чт)'''

=== Не МОП ===

'''МДЗ №1.''' Полносвязные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-01-mlp-light.ipynb ссылка]

Дата выдачи: '''08.11.22 (вт)'''

Мягкий дедлайн: '''23.11.22 23:59 (ср)'''

Жесткий дедлайн: '''27.11.22 23:59 (вс)'''

'''МДЗ №2.''' Сверточный классификатор: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-02-cnn.ipynb ссылка]

Дата выдачи: '''02.12.22 (вт)'''

Мягкий дедлайн: '''16.12.22 23:59 (ср)'''

Жесткий дедлайн: '''18.12.22 23:59 (вс)'''

'''МДЗ №3.''' RNN и языковые модели: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-03-rnn/shw-03-rnn.ipynb ссылка]

Дата выдачи: '''01.03.23 (ср)'''

Мягкий дедлайн: '''20.03.23 23:59 (пн)'''

Жесткий дедлайн: '''22.03.23 23:59 (ср)'''

== Большие домашние задания ==

Большие домашние задания подразумевают реализацию пайплайна обучения и тестирования нейросети на выданных данных. '''Выдаются только группам МОПа.'''

'''БДЗ №1.''' Классификация изображений.

Подробности задания ищите по ссылке в канале с объявлениями.

Дата выдачи: '''14.11.22 (пн)'''

Мягкий дедлайн (чекпойнт): '''29.11.22 23:59 (вт)'''

Жесткий дедлайн (чекпойнт): '''06.12.22 23:59 (вт)'''

Мягкий дедлайн (финальная сдача): '''13.12.22 23:59 (вт)'''

Жесткий дедлайн (финальная сдача): '''17.12.22 23:59 (сб)'''

'''БДЗ №2.''' Машинный перевод.

Подробности задания ищите по ссылке в канале с объявлениями.

Дата выдачи: '''19.02.23 (вс)'''

Мягкий дедлайн (чекпойнт): '''05.03.23 23:59 (вс)'''

Жесткий дедлайн (чекпойнт): '''12.03.23 23:59 (вс)'''

Мягкий дедлайн (финальная сдача): '''19.03.23 23:59 (вс)'''

Жесткий дедлайн (финальная сдача): '''22.03.23 23:59 (ср)'''

== Теоретические домашние задания ==

Теоретические ДЗ не сдаются и предлагаются студентам для самостоятельного решения и ознакомления

'''ТДЗ №1.''' Полносвязные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-theory/thw-01-mlp.pdf ссылка]

'''ТДЗ №2.''' Сверточные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-theory/thw-02-cnn.pdf ссылка]

Глубинное обучение 1 22/23

2023-03-08T08:20:53Z

Isadrtdinov 1: /* МОП */

== О курсе ==

Это страничка курсов 2022-2023 года (1-3 модуль 3 курса ПМИ):
* '''Глубинное обучение 1''' (для групп МОП: 201-203)
* '''Введение в глубинное обучение''' (для групп остальных специализаций, кроме РС: 204, 207-2010).

Курс посвящен глубинному обучению – самой активно развивающейся области машинного обучения. Слушатели курса узнают, какие задачи машинного обучения можно решать с помощью нейронных сетей и какие виды нейронных сетей находят свои применения на сегодняшний день. Курс имеет явную практическую направленность, студентам предлагаются задания на обучение нейронных сетей на фреймворке PyTorch языка программирования Python. В курсе обзорно, но достаточно для ознакомления разбираются задачи на изображения и тексты.

=== Цели освоения курса ===
# Знать принцип работы и уметь обучать следующие виды нейронных сетей: полносвязные, сверточные, рекуррентные, трансформеры.
# Владение фреймворком PyTorch для обучения нейронных сетей.
# Понимание различных задач, которые решаются с применением глубинного обучения.
# Умение обрабатывать данные и составлять пайплайны для обучения нейронных сетей.

== Полезные ссылки ==

* Репозиторий курса: https://github.com/isadrtdinov/intro-to-dl-hse

* Таблица с оценками: https://docs.google.com/spreadsheets/d/1GUChnaG3M9zVVY-p8qtgsYrLas43w__BxrnyobNGctw/edit?usp=sharing

* Чат с обсуждением (МОП): +F6omM9r5jDYyZWMy (добавить после хттпс://т.ме/)

* Чат с обсуждением (не МОП): +SDpvrQwM4g0yZWFi (добавить после хтппс://т.ме/)

== Преподаватели и ассистенты ==

Лекции (МОП); кому писать, если кажется, что все пропало: [https://t.me/isadrtdinov Ильдус Садртдинов]

{| class="wikitable"
|-
! Группа !! Семинарист !! Ассистенты !! Инвайт в anytask
|-
| 201 || [https://t.me/baranovskayadaria Дарья Барановская] || [https://t.me/JohanDDC Иван Пешехонов], [https://t.me/nikoryagin Никита Корягин] || gMVmQgY
|-
| 202 || [https://t.me/isadrtdinov Ильдус Садртдинов] || [https://t.me/territhing Сергей Пилипенко], [https://t.me/huwar Мадина Халматова] || oDu4b6c
|-
| 203 || [https://t.me/Birshert Алексей Биршерт] || [https://t.me/maripkl Мария Поклонская], [https://t.me/DimaLishudi Дмитрий Лишуди] || eqbgrKV
|-
| 204 || [https://t.me/madn_boi Никита Морозов] || [https://t.me/SergejVolkov Фома Шипилов] || STMB5yV
|-
| 207 || [https://t.me/asukhareva Анжела Сухарева] || [https://t.me/zzlatazz Злата Клименко] || I6JUg1f
|-
| 208 || [https://t.me/aktsvigun Аким Цвигун] || [https://t.me/lily_kurchenko Лилия Курченко] || WSekHxn
|-
| 209 || [https://t.me/call_me_Dory Диана Сусла] || [https://t.me/KrupetsSanches Александр Крупецков] || D4Vl7P4
|-
| 2010 || [https://t.me/mrkimster Сергей Ким] || [https://t.me/messlav Вячеслав Пирогов] || 5sfP4yz
|}

== Формулы оценок ==

=== МОП ===

''Итог'' = ''Округление''(0.3 * БДЗ + 0.25 * МДЗ + 0.15 ПР + 0.3 * Э)

* БДЗ - оценка за большие домашние задания
* МДЗ - оценка за маленькие домашние задания
* ПР - оценка за проверочные работы (проводятся на семинарах)
* Э - оценка за экзамен

Округление арифметическое. Определим накопленную оценку как ''Накоп'' = ''Округление''((0.3 * БДЗ + 0.25 МДЗ + 0.15 * ПР) / 0.7). Если Накоп >= 8, то студент может получить ''Накоп'' в качестве итоговой оценки, не приходя на экзамен.

'''Формат экзамена''': письменный, в аудитории, материалами пользоваться не разрешается, 2 часа.

'''Формат пересдачи''': накопленная оценка сохраняется, формат аналогичен экзамену.

=== Не МОП ===

''Итог'' = ''Округление''(0.7 * МДЗ + 0.3 * ПР)

* МДЗ - оценка за маленькие домашние задания
* ПР - оценка за проверочные работы (проводятся на семинарах)

Округление арифметическое.

'''Формат экзамена''': экзамен не предусмотрен.

'''Формат пересдачи''': досдача МДЗ.

== Лекции ==

=== МОП ===

Конспект от @ninachely: [https://exuberant-arthropod-be8.notion.site/DL-1-07582f084f5148a19c31a84200bb9b58 notion]

# Автоматическое дифференцирование, полносвязные нейронные сети: [https://www.youtube.com/watch?v=g552oCpg-NE&list=PLEwK9wdS5g0onnKgvKxuUJN1Ojchl9Q9P&index=1&t=1756s&ab_channel=ФКНВШЭ—дистанционныезанятия запись]
# Оптимизация нейронных сетей, SGD, Adam/AdamW. Dropout и Batch-нормализация: [https://www.youtube.com/watch?v=O9JV_Kgd31E&list=PLEwK9wdS5g0onnKgvKxuUJN1Ojchl9Q9P&index=3&t=1939s&ab_channel=ФКНВШЭ—дистанционныезанятия запись]
# Разбор дифференцирования из МДЗ 1, операция свертки: [https://youtu.be/xa69n0yCid8 запись]
# Архитектуры сверточных нейронных сетей: [https://youtu.be/5S5HpbDm7eA запись]
# Задачи компьютерного зрения, сегментация и детекция: [https://youtu.be/gJfDJoLEZIY запись]
# Токенизация текстов, эмбеддинги слов, TextCNN: [https://youtu.be/WihC2R5lNmg запись]
# Рекуррентные нейронные сети, языковые модели: [https://youtu.be/Ysj4i2S0D6c запись]
# Архитектура трансформера: [https://youtu.be/wLUJVRqzEyM запись]
# Self-supervised learning, BERT, SimCLR: [https://youtu.be/VpfqcP8HRmQ запись]
# Трансформеры для компьютерного зрения: [https://youtu.be/Dd7uQiAzrnA запись]
# Оценка неопределенности, дистилляция, прунинг, квантизация: [https://youtu.be/Jc-wbLCHtns запись]
# Соревновательные атаки, генеративно-состязательные сети (GAN): [https://youtu.be/banZhpreS2Y запись]
# Автокодировщик, вариационный автокодировщик: [https://youtu.be/sscXFM9jcHA запись]

=== Не МОП ===

В качестве лекционного материала используется онлайн-курс "Основы глубинного обучения", который охватывает следующие темы:

# Введение в нейронные сети, полносвязные нейронные сети, оптимизация
# Сверточные нейронные сети
# Современные архитектуры для работы с изображениями
# Работа с последовательностями и рекуррентные архитектуры

== Семинары ==

=== МОП ===

# Введение в библиотеку PyTorch. Автоматическое дифференцирование: [https://www.youtube.com/watch?v=j6JxUpGaav4&list=PLEwK9wdS5g0onnKgvKxuUJN1Ojchl9Q9P&index=2&t=3s&ab_channel=ФКНВШЭ—дистанционныезанятия запись (группа 202)]
# Полносвязные нейронные сети. Общая схема пайплайна обучения на PyTorch: [https://www.youtube.com/watch?v=LZQVBuzttjM&list=PLEwK9wdS5g0onnKgvKxuUJN1Ojchl9Q9P&index=4&t=1799s&ab_channel=ФКНВШЭ—дистанционныезанятия запись (группа 202)]
# Свертки в PyTorch, реализация архитектуры LeNet: [https://youtu.be/CCCiGacZAVo запись (группа 202)]
# Обучение моделей из torchvision, аугментации и fine-tuning: [https://youtu.be/1wCd23p2l98 запись (группа 202)]
# Семантическая сегментация и детекция: [https://youtu.be/NSNYSEYAHa8 запись (группа 202)]
# Word2Vec, Fasttext и TextCNN: [https://youtu.be/2r67B1sPlDU запись (группа 202)]
# Генерация последовательностей, image captioning: [https://youtu.be/-KdvXtUhwEk запись (группа 202)]
# Архитектура трансформера: [https://youtu.be/QY456sQVTrM запись (группа 202)]
# Дообучение модели BERT: [https://youtu.be/XeFc3-_AYl8 запись (группа 202)]
# Семинар по теме не проводился
# Дистилляция, прунинг, квантизация: [https://youtu.be/vbvsqvcipO8 запись (группа 202)]
# Соревновательные атаки, генеративно-состязательные сети (GAN): [https://youtu.be/KgVkxjxf_T0 запись (группа 202)]

=== Не МОП ===

== Маленькие домашние задания ==

=== МОП ===

'''МДЗ №1.''' Автоматическое дифференцирование и полносвязные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/tree/2022-2023/homeworks-small/shw-01-mlp ссылка]

Дата выдачи: '''27.09.22 (вт)'''

Мягкий дедлайн: '''19.10.22 23:59 (ср)'''

Жесткий дедлайн: '''23.10.22 23:59 (вс)'''

'''МДЗ №2.''' Сверточный классификатор: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-02-cnn.ipynb ссылка]

Дата выдачи: '''21.10.22 (пт)'''

Мягкий дедлайн: '''06.11.22 23:59 (вс)'''

Жесткий дедлайн: '''10.11.22 23:59 (чт)'''

'''МДЗ №3.''' RNN и языковые модели: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-03-rnn/shw-03-rnn.ipynb ссылка]

Дата выдачи: '''12.01.22 (чт)'''

Мягкий дедлайн: '''29.01.23 23:59 (вс)'''

Жесткий дедлайн: '''02.02.23 23:59 (чт)'''

=== Не МОП ===

'''МДЗ №1.''' Полносвязные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-01-mlp-light.ipynb ссылка]

Дата выдачи: '''08.11.22 (вт)'''

Мягкий дедлайн: '''23.11.22 23:59 (ср)'''

Жесткий дедлайн: '''27.11.22 23:59 (вс)'''

'''МДЗ №2.''' Сверточный классификатор: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-02-cnn.ipynb ссылка]

Дата выдачи: '''02.12.22 (вт)'''

Мягкий дедлайн: '''16.12.22 23:59 (ср)'''

Жесткий дедлайн: '''18.12.22 23:59 (вс)'''

'''МДЗ №3.''' RNN и языковые модели: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-03-rnn/shw-03-rnn.ipynb ссылка]

Дата выдачи: '''01.03.23 (ср)'''

Мягкий дедлайн: '''20.03.23 23:59 (пн)'''

Жесткий дедлайн: '''22.03.23 23:59 (ср)'''

== Большие домашние задания ==

Большие домашние задания подразумевают реализацию пайплайна обучения и тестирования нейросети на выданных данных. '''Выдаются только группам МОПа.'''

'''БДЗ №1.''' Классификация изображений.

Подробности задания ищите по ссылке в канале с объявлениями.

Дата выдачи: '''14.11.22 (пн)'''

Мягкий дедлайн (чекпойнт): '''29.11.22 23:59 (вт)'''

Жесткий дедлайн (чекпойнт): '''06.12.22 23:59 (вт)'''

Мягкий дедлайн (финальная сдача): '''13.12.22 23:59 (вт)'''

Жесткий дедлайн (финальная сдача): '''17.12.22 23:59 (сб)'''

'''БДЗ №2.''' Машинный перевод.

Подробности задания ищите по ссылке в канале с объявлениями.

Дата выдачи: '''19.02.23 (вс)'''

Мягкий дедлайн (чекпойнт): '''05.03.23 23:59 (вс)'''

Жесткий дедлайн (чекпойнт): '''12.03.23 23:59 (вс)'''

Мягкий дедлайн (финальная сдача): '''19.03.23 23:59 (вс)'''

Жесткий дедлайн (финальная сдача): '''22.03.23 23:59 (ср)'''

== Теоретические домашние задания ==

Теоретические ДЗ не сдаются и предлагаются студентам для самостоятельного решения и ознакомления

'''ТДЗ №1.''' Полносвязные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-theory/thw-01-mlp.pdf ссылка]

'''ТДЗ №2.''' Сверточные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-theory/thw-02-cnn.pdf ссылка]

Глубинное обучение 1 22/23

2023-03-01T20:01:28Z

Isadrtdinov 1: /* Не МОП */

== О курсе ==

Это страничка курсов 2022-2023 года (1-3 модуль 3 курса ПМИ):
* '''Глубинное обучение 1''' (для групп МОП: 201-203)
* '''Введение в глубинное обучение''' (для групп остальных специализаций, кроме РС: 204, 207-2010).

Курс посвящен глубинному обучению – самой активно развивающейся области машинного обучения. Слушатели курса узнают, какие задачи машинного обучения можно решать с помощью нейронных сетей и какие виды нейронных сетей находят свои применения на сегодняшний день. Курс имеет явную практическую направленность, студентам предлагаются задания на обучение нейронных сетей на фреймворке PyTorch языка программирования Python. В курсе обзорно, но достаточно для ознакомления разбираются задачи на изображения и тексты.

=== Цели освоения курса ===
# Знать принцип работы и уметь обучать следующие виды нейронных сетей: полносвязные, сверточные, рекуррентные, трансформеры.
# Владение фреймворком PyTorch для обучения нейронных сетей.
# Понимание различных задач, которые решаются с применением глубинного обучения.
# Умение обрабатывать данные и составлять пайплайны для обучения нейронных сетей.

== Полезные ссылки ==

* Репозиторий курса: https://github.com/isadrtdinov/intro-to-dl-hse

* Таблица с оценками: https://docs.google.com/spreadsheets/d/1GUChnaG3M9zVVY-p8qtgsYrLas43w__BxrnyobNGctw/edit?usp=sharing

* Чат с обсуждением (МОП): +F6omM9r5jDYyZWMy (добавить после хттпс://т.ме/)

* Чат с обсуждением (не МОП): +SDpvrQwM4g0yZWFi (добавить после хтппс://т.ме/)

== Преподаватели и ассистенты ==

Лекции (МОП); кому писать, если кажется, что все пропало: [https://t.me/isadrtdinov Ильдус Садртдинов]

{| class="wikitable"
|-
! Группа !! Семинарист !! Ассистенты !! Инвайт в anytask
|-
| 201 || [https://t.me/baranovskayadaria Дарья Барановская] || [https://t.me/JohanDDC Иван Пешехонов], [https://t.me/nikoryagin Никита Корягин] || gMVmQgY
|-
| 202 || [https://t.me/isadrtdinov Ильдус Садртдинов] || [https://t.me/territhing Сергей Пилипенко], [https://t.me/huwar Мадина Халматова] || oDu4b6c
|-
| 203 || [https://t.me/Birshert Алексей Биршерт] || [https://t.me/maripkl Мария Поклонская], [https://t.me/DimaLishudi Дмитрий Лишуди] || eqbgrKV
|-
| 204 || [https://t.me/madn_boi Никита Морозов] || [https://t.me/SergejVolkov Фома Шипилов] || STMB5yV
|-
| 207 || [https://t.me/asukhareva Анжела Сухарева] || [https://t.me/zzlatazz Злата Клименко] || I6JUg1f
|-
| 208 || [https://t.me/aktsvigun Аким Цвигун] || [https://t.me/lily_kurchenko Лилия Курченко] || WSekHxn
|-
| 209 || [https://t.me/call_me_Dory Диана Сусла] || [https://t.me/KrupetsSanches Александр Крупецков] || D4Vl7P4
|-
| 2010 || [https://t.me/mrkimster Сергей Ким] || [https://t.me/messlav Вячеслав Пирогов] || 5sfP4yz
|}

== Формулы оценок ==

=== МОП ===

''Итог'' = ''Округление''(0.3 * БДЗ + 0.25 * МДЗ + 0.15 ПР + 0.3 * Э)

* БДЗ - оценка за большие домашние задания
* МДЗ - оценка за маленькие домашние задания
* ПР - оценка за проверочные работы (проводятся на семинарах)
* Э - оценка за экзамен

Округление арифметическое. Определим накопленную оценку как ''Накоп'' = ''Округление''((0.3 * БДЗ + 0.25 МДЗ + 0.15 * ПР) / 0.7). Если Накоп >= 8, то студент может получить ''Накоп'' в качестве итоговой оценки, не приходя на экзамен.

'''Формат экзамена''': письменный, в аудитории, материалами пользоваться не разрешается, 2 часа.

'''Формат пересдачи''': накопленная оценка сохраняется, формат аналогичен экзамену.

=== Не МОП ===

''Итог'' = ''Округление''(0.7 * МДЗ + 0.3 * ПР)

* МДЗ - оценка за маленькие домашние задания
* ПР - оценка за проверочные работы (проводятся на семинарах)

Округление арифметическое.

'''Формат экзамена''': экзамен не предусмотрен.

'''Формат пересдачи''': досдача МДЗ.

== Лекции ==

=== МОП ===

Конспект от @ninachely: [https://exuberant-arthropod-be8.notion.site/DL-1-07582f084f5148a19c31a84200bb9b58 notion]

# Автоматическое дифференцирование, полносвязные нейронные сети: [https://www.youtube.com/watch?v=g552oCpg-NE&list=PLEwK9wdS5g0onnKgvKxuUJN1Ojchl9Q9P&index=1&t=1756s&ab_channel=ФКНВШЭ—дистанционныезанятия запись]
# Оптимизация нейронных сетей, SGD, Adam/AdamW. Dropout и Batch-нормализация: [https://www.youtube.com/watch?v=O9JV_Kgd31E&list=PLEwK9wdS5g0onnKgvKxuUJN1Ojchl9Q9P&index=3&t=1939s&ab_channel=ФКНВШЭ—дистанционныезанятия запись]
# Разбор дифференцирования из МДЗ 1, операция свертки: [https://youtu.be/xa69n0yCid8 запись]
# Архитектуры сверточных нейронных сетей: [https://youtu.be/5S5HpbDm7eA запись]
# Задачи компьютерного зрения, сегментация и детекция: [https://youtu.be/gJfDJoLEZIY запись]
# Токенизация текстов, эмбеддинги слов, TextCNN: [https://youtu.be/WihC2R5lNmg запись]
# Рекуррентные нейронные сети, языковые модели: [https://youtu.be/Ysj4i2S0D6c запись]
# Архитектура трансформера: [https://youtu.be/wLUJVRqzEyM запись]
# Self-supervised learning, BERT, SimCLR: [https://youtu.be/VpfqcP8HRmQ запись]
# Трансформеры для компьютерного зрения: [https://youtu.be/Dd7uQiAzrnA запись]
# Оценка неопределенности, дистилляция, прунинг, квантизация: [https://youtu.be/Jc-wbLCHtns запись]
# Соревновательные атаки, генеративно-состязательные сети (GAN): [https://youtu.be/banZhpreS2Y запись]

=== Не МОП ===

В качестве лекционного материала используется онлайн-курс "Основы глубинного обучения", который охватывает следующие темы:

# Введение в нейронные сети, полносвязные нейронные сети, оптимизация
# Сверточные нейронные сети
# Современные архитектуры для работы с изображениями
# Работа с последовательностями и рекуррентные архитектуры

== Семинары ==

=== МОП ===

# Введение в библиотеку PyTorch. Автоматическое дифференцирование: [https://www.youtube.com/watch?v=j6JxUpGaav4&list=PLEwK9wdS5g0onnKgvKxuUJN1Ojchl9Q9P&index=2&t=3s&ab_channel=ФКНВШЭ—дистанционныезанятия запись (группа 202)]
# Полносвязные нейронные сети. Общая схема пайплайна обучения на PyTorch: [https://www.youtube.com/watch?v=LZQVBuzttjM&list=PLEwK9wdS5g0onnKgvKxuUJN1Ojchl9Q9P&index=4&t=1799s&ab_channel=ФКНВШЭ—дистанционныезанятия запись (группа 202)]
# Свертки в PyTorch, реализация архитектуры LeNet: [https://youtu.be/CCCiGacZAVo запись (группа 202)]
# Обучение моделей из torchvision, аугментации и fine-tuning: [https://youtu.be/1wCd23p2l98 запись (группа 202)]
# Семантическая сегментация и детекция: [https://youtu.be/NSNYSEYAHa8 запись (группа 202)]
# Word2Vec, Fasttext и TextCNN: [https://youtu.be/2r67B1sPlDU запись (группа 202)]
# Генерация последовательностей, image captioning: [https://youtu.be/-KdvXtUhwEk запись (группа 202)]
# Архитектура трансформера: [https://youtu.be/QY456sQVTrM запись (группа 202)]
# Дообучение модели BERT: [https://youtu.be/XeFc3-_AYl8 запись (группа 202)]
# Семинар по теме не проводился
# Дистилляция, прунинг, квантизация: [https://youtu.be/vbvsqvcipO8 запись (группа 202)]
# Соревновательные атаки, генеративно-состязательные сети (GAN): [https://youtu.be/KgVkxjxf_T0 запись (группа 202)]

=== Не МОП ===

== Маленькие домашние задания ==

=== МОП ===

'''МДЗ №1.''' Автоматическое дифференцирование и полносвязные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/tree/2022-2023/homeworks-small/shw-01-mlp ссылка]

Дата выдачи: '''27.09.22 (вт)'''

Мягкий дедлайн: '''19.10.22 23:59 (ср)'''

Жесткий дедлайн: '''23.10.22 23:59 (вс)'''

'''МДЗ №2.''' Сверточный классификатор: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-02-cnn.ipynb ссылка]

Дата выдачи: '''21.10.22 (пт)'''

Мягкий дедлайн: '''06.11.22 23:59 (вс)'''

Жесткий дедлайн: '''10.11.22 23:59 (чт)'''

'''МДЗ №3.''' RNN и языковые модели: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-03-rnn/shw-03-rnn.ipynb ссылка]

Дата выдачи: '''12.01.22 (чт)'''

Мягкий дедлайн: '''29.01.23 23:59 (вс)'''

Жесткий дедлайн: '''02.02.23 23:59 (чт)'''

=== Не МОП ===

'''МДЗ №1.''' Полносвязные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-01-mlp-light.ipynb ссылка]

Дата выдачи: '''08.11.22 (вт)'''

Мягкий дедлайн: '''23.11.22 23:59 (ср)'''

Жесткий дедлайн: '''27.11.22 23:59 (вс)'''

'''МДЗ №2.''' Сверточный классификатор: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-02-cnn.ipynb ссылка]

Дата выдачи: '''02.12.22 (вт)'''

Мягкий дедлайн: '''16.12.22 23:59 (ср)'''

Жесткий дедлайн: '''18.12.22 23:59 (вс)'''

'''МДЗ №3.''' RNN и языковые модели: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-03-rnn/shw-03-rnn.ipynb ссылка]

Дата выдачи: '''01.03.23 (ср)'''

Мягкий дедлайн: '''20.03.23 23:59 (пн)'''

Жесткий дедлайн: '''22.03.23 23:59 (ср)'''

== Большие домашние задания ==

Большие домашние задания подразумевают реализацию пайплайна обучения и тестирования нейросети на выданных данных. '''Выдаются только группам МОПа.'''

'''БДЗ №1.''' Классификация изображений.

Подробности задания ищите по ссылке в канале с объявлениями.

Дата выдачи: '''14.11.22 (пн)'''

Мягкий дедлайн (чекпойнт): '''29.11.22 23:59 (вт)'''

Жесткий дедлайн (чекпойнт): '''06.12.22 23:59 (вт)'''

Мягкий дедлайн (финальная сдача): '''13.12.22 23:59 (вт)'''

Жесткий дедлайн (финальная сдача): '''17.12.22 23:59 (сб)'''

'''БДЗ №2.''' Машинный перевод.

Подробности задания ищите по ссылке в канале с объявлениями.

Дата выдачи: '''19.02.23 (вс)'''

Мягкий дедлайн (чекпойнт): '''05.03.23 23:59 (вс)'''

Жесткий дедлайн (чекпойнт): '''12.03.23 23:59 (вс)'''

Мягкий дедлайн (финальная сдача): '''19.03.23 23:59 (вс)'''

Жесткий дедлайн (финальная сдача): '''22.03.23 23:59 (ср)'''

== Теоретические домашние задания ==

Теоретические ДЗ не сдаются и предлагаются студентам для самостоятельного решения и ознакомления

'''ТДЗ №1.''' Полносвязные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-theory/thw-01-mlp.pdf ссылка]

'''ТДЗ №2.''' Сверточные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-theory/thw-02-cnn.pdf ссылка]

Глубинное обучение 1 22/23

2023-03-01T19:57:58Z

Isadrtdinov 1: /* Маленькие домашние задания */

== О курсе ==

Это страничка курсов 2022-2023 года (1-3 модуль 3 курса ПМИ):
* '''Глубинное обучение 1''' (для групп МОП: 201-203)
* '''Введение в глубинное обучение''' (для групп остальных специализаций, кроме РС: 204, 207-2010).

Курс посвящен глубинному обучению – самой активно развивающейся области машинного обучения. Слушатели курса узнают, какие задачи машинного обучения можно решать с помощью нейронных сетей и какие виды нейронных сетей находят свои применения на сегодняшний день. Курс имеет явную практическую направленность, студентам предлагаются задания на обучение нейронных сетей на фреймворке PyTorch языка программирования Python. В курсе обзорно, но достаточно для ознакомления разбираются задачи на изображения и тексты.

=== Цели освоения курса ===
# Знать принцип работы и уметь обучать следующие виды нейронных сетей: полносвязные, сверточные, рекуррентные, трансформеры.
# Владение фреймворком PyTorch для обучения нейронных сетей.
# Понимание различных задач, которые решаются с применением глубинного обучения.
# Умение обрабатывать данные и составлять пайплайны для обучения нейронных сетей.

== Полезные ссылки ==

* Репозиторий курса: https://github.com/isadrtdinov/intro-to-dl-hse

* Таблица с оценками: https://docs.google.com/spreadsheets/d/1GUChnaG3M9zVVY-p8qtgsYrLas43w__BxrnyobNGctw/edit?usp=sharing

* Чат с обсуждением (МОП): +F6omM9r5jDYyZWMy (добавить после хттпс://т.ме/)

* Чат с обсуждением (не МОП): +SDpvrQwM4g0yZWFi (добавить после хтппс://т.ме/)

== Преподаватели и ассистенты ==

Лекции (МОП); кому писать, если кажется, что все пропало: [https://t.me/isadrtdinov Ильдус Садртдинов]

{| class="wikitable"
|-
! Группа !! Семинарист !! Ассистенты !! Инвайт в anytask
|-
| 201 || [https://t.me/baranovskayadaria Дарья Барановская] || [https://t.me/JohanDDC Иван Пешехонов], [https://t.me/nikoryagin Никита Корягин] || gMVmQgY
|-
| 202 || [https://t.me/isadrtdinov Ильдус Садртдинов] || [https://t.me/territhing Сергей Пилипенко], [https://t.me/huwar Мадина Халматова] || oDu4b6c
|-
| 203 || [https://t.me/Birshert Алексей Биршерт] || [https://t.me/maripkl Мария Поклонская], [https://t.me/DimaLishudi Дмитрий Лишуди] || eqbgrKV
|-
| 204 || [https://t.me/madn_boi Никита Морозов] || [https://t.me/SergejVolkov Фома Шипилов] || STMB5yV
|-
| 207 || [https://t.me/asukhareva Анжела Сухарева] || [https://t.me/zzlatazz Злата Клименко] || I6JUg1f
|-
| 208 || [https://t.me/aktsvigun Аким Цвигун] || [https://t.me/lily_kurchenko Лилия Курченко] || WSekHxn
|-
| 209 || [https://t.me/call_me_Dory Диана Сусла] || [https://t.me/KrupetsSanches Александр Крупецков] || D4Vl7P4
|-
| 2010 || [https://t.me/mrkimster Сергей Ким] || [https://t.me/messlav Вячеслав Пирогов] || 5sfP4yz
|}

== Формулы оценок ==

=== МОП ===

''Итог'' = ''Округление''(0.3 * БДЗ + 0.25 * МДЗ + 0.15 ПР + 0.3 * Э)

* БДЗ - оценка за большие домашние задания
* МДЗ - оценка за маленькие домашние задания
* ПР - оценка за проверочные работы (проводятся на семинарах)
* Э - оценка за экзамен

Округление арифметическое. Определим накопленную оценку как ''Накоп'' = ''Округление''((0.3 * БДЗ + 0.25 МДЗ + 0.15 * ПР) / 0.7). Если Накоп >= 8, то студент может получить ''Накоп'' в качестве итоговой оценки, не приходя на экзамен.

'''Формат экзамена''': письменный, в аудитории, материалами пользоваться не разрешается, 2 часа.

'''Формат пересдачи''': накопленная оценка сохраняется, формат аналогичен экзамену.

=== Не МОП ===

''Итог'' = ''Округление''(0.7 * МДЗ + 0.3 * ПР)

* МДЗ - оценка за маленькие домашние задания
* ПР - оценка за проверочные работы (проводятся на семинарах)

Округление арифметическое.

'''Формат экзамена''': экзамен не предусмотрен.

'''Формат пересдачи''': досдача МДЗ.

== Лекции ==

=== МОП ===

Конспект от @ninachely: [https://exuberant-arthropod-be8.notion.site/DL-1-07582f084f5148a19c31a84200bb9b58 notion]

# Автоматическое дифференцирование, полносвязные нейронные сети: [https://www.youtube.com/watch?v=g552oCpg-NE&list=PLEwK9wdS5g0onnKgvKxuUJN1Ojchl9Q9P&index=1&t=1756s&ab_channel=ФКНВШЭ—дистанционныезанятия запись]
# Оптимизация нейронных сетей, SGD, Adam/AdamW. Dropout и Batch-нормализация: [https://www.youtube.com/watch?v=O9JV_Kgd31E&list=PLEwK9wdS5g0onnKgvKxuUJN1Ojchl9Q9P&index=3&t=1939s&ab_channel=ФКНВШЭ—дистанционныезанятия запись]
# Разбор дифференцирования из МДЗ 1, операция свертки: [https://youtu.be/xa69n0yCid8 запись]
# Архитектуры сверточных нейронных сетей: [https://youtu.be/5S5HpbDm7eA запись]
# Задачи компьютерного зрения, сегментация и детекция: [https://youtu.be/gJfDJoLEZIY запись]
# Токенизация текстов, эмбеддинги слов, TextCNN: [https://youtu.be/WihC2R5lNmg запись]
# Рекуррентные нейронные сети, языковые модели: [https://youtu.be/Ysj4i2S0D6c запись]
# Архитектура трансформера: [https://youtu.be/wLUJVRqzEyM запись]
# Self-supervised learning, BERT, SimCLR: [https://youtu.be/VpfqcP8HRmQ запись]
# Трансформеры для компьютерного зрения: [https://youtu.be/Dd7uQiAzrnA запись]
# Оценка неопределенности, дистилляция, прунинг, квантизация: [https://youtu.be/Jc-wbLCHtns запись]
# Соревновательные атаки, генеративно-состязательные сети (GAN): [https://youtu.be/banZhpreS2Y запись]

=== Не МОП ===

В качестве лекционного материала используется онлайн-курс "Основы глубинного обучения", который охватывает следующие темы:

# Введение в нейронные сети, полносвязные нейронные сети, оптимизация

== Семинары ==

=== МОП ===

# Введение в библиотеку PyTorch. Автоматическое дифференцирование: [https://www.youtube.com/watch?v=j6JxUpGaav4&list=PLEwK9wdS5g0onnKgvKxuUJN1Ojchl9Q9P&index=2&t=3s&ab_channel=ФКНВШЭ—дистанционныезанятия запись (группа 202)]
# Полносвязные нейронные сети. Общая схема пайплайна обучения на PyTorch: [https://www.youtube.com/watch?v=LZQVBuzttjM&list=PLEwK9wdS5g0onnKgvKxuUJN1Ojchl9Q9P&index=4&t=1799s&ab_channel=ФКНВШЭ—дистанционныезанятия запись (группа 202)]
# Свертки в PyTorch, реализация архитектуры LeNet: [https://youtu.be/CCCiGacZAVo запись (группа 202)]
# Обучение моделей из torchvision, аугментации и fine-tuning: [https://youtu.be/1wCd23p2l98 запись (группа 202)]
# Семантическая сегментация и детекция: [https://youtu.be/NSNYSEYAHa8 запись (группа 202)]
# Word2Vec, Fasttext и TextCNN: [https://youtu.be/2r67B1sPlDU запись (группа 202)]
# Генерация последовательностей, image captioning: [https://youtu.be/-KdvXtUhwEk запись (группа 202)]
# Архитектура трансформера: [https://youtu.be/QY456sQVTrM запись (группа 202)]
# Дообучение модели BERT: [https://youtu.be/XeFc3-_AYl8 запись (группа 202)]
# Семинар по теме не проводился
# Дистилляция, прунинг, квантизация: [https://youtu.be/vbvsqvcipO8 запись (группа 202)]
# Соревновательные атаки, генеративно-состязательные сети (GAN): [https://youtu.be/KgVkxjxf_T0 запись (группа 202)]

=== Не МОП ===

== Маленькие домашние задания ==

=== МОП ===

'''МДЗ №1.''' Автоматическое дифференцирование и полносвязные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/tree/2022-2023/homeworks-small/shw-01-mlp ссылка]

Дата выдачи: '''27.09.22 (вт)'''

Мягкий дедлайн: '''19.10.22 23:59 (ср)'''

Жесткий дедлайн: '''23.10.22 23:59 (вс)'''

'''МДЗ №2.''' Сверточный классификатор: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-02-cnn.ipynb ссылка]

Дата выдачи: '''21.10.22 (пт)'''

Мягкий дедлайн: '''06.11.22 23:59 (вс)'''

Жесткий дедлайн: '''10.11.22 23:59 (чт)'''

'''МДЗ №3.''' RNN и языковые модели: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-03-rnn/shw-03-rnn.ipynb ссылка]

Дата выдачи: '''12.01.22 (чт)'''

Мягкий дедлайн: '''29.01.23 23:59 (вс)'''

Жесткий дедлайн: '''02.02.23 23:59 (чт)'''

=== Не МОП ===

'''МДЗ №1.''' Полносвязные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-01-mlp-light.ipynb ссылка]

Дата выдачи: '''08.11.22 (вт)'''

Мягкий дедлайн: '''23.11.22 23:59 (ср)'''

Жесткий дедлайн: '''27.11.22 23:59 (вс)'''

'''МДЗ №2.''' Сверточный классификатор: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-02-cnn.ipynb ссылка]

Дата выдачи: '''02.12.22 (вт)'''

Мягкий дедлайн: '''16.12.22 23:59 (ср)'''

Жесткий дедлайн: '''18.12.22 23:59 (вс)'''

'''МДЗ №3.''' RNN и языковые модели: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-03-rnn/shw-03-rnn.ipynb ссылка]

Дата выдачи: '''01.03.23 (ср)'''

Мягкий дедлайн: '''20.03.23 23:59 (пн)'''

Жесткий дедлайн: '''22.03.23 23:59 (ср)'''

== Большие домашние задания ==

Большие домашние задания подразумевают реализацию пайплайна обучения и тестирования нейросети на выданных данных. '''Выдаются только группам МОПа.'''

'''БДЗ №1.''' Классификация изображений.

Подробности задания ищите по ссылке в канале с объявлениями.

Дата выдачи: '''14.11.22 (пн)'''

Мягкий дедлайн (чекпойнт): '''29.11.22 23:59 (вт)'''

Жесткий дедлайн (чекпойнт): '''06.12.22 23:59 (вт)'''

Мягкий дедлайн (финальная сдача): '''13.12.22 23:59 (вт)'''

Жесткий дедлайн (финальная сдача): '''17.12.22 23:59 (сб)'''

'''БДЗ №2.''' Машинный перевод.

Подробности задания ищите по ссылке в канале с объявлениями.

Дата выдачи: '''19.02.23 (вс)'''

Мягкий дедлайн (чекпойнт): '''05.03.23 23:59 (вс)'''

Жесткий дедлайн (чекпойнт): '''12.03.23 23:59 (вс)'''

Мягкий дедлайн (финальная сдача): '''19.03.23 23:59 (вс)'''

Жесткий дедлайн (финальная сдача): '''22.03.23 23:59 (ср)'''

== Теоретические домашние задания ==

Теоретические ДЗ не сдаются и предлагаются студентам для самостоятельного решения и ознакомления

'''ТДЗ №1.''' Полносвязные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-theory/thw-01-mlp.pdf ссылка]

'''ТДЗ №2.''' Сверточные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-theory/thw-02-cnn.pdf ссылка]

Глубинное обучение 1 22/23

2023-02-19T15:44:41Z

Isadrtdinov 1: /* Большие домашние задания */

== О курсе ==

Это страничка курсов 2022-2023 года (1-3 модуль 3 курса ПМИ):
* '''Глубинное обучение 1''' (для групп МОП: 201-203)
* '''Введение в глубинное обучение''' (для групп остальных специализаций, кроме РС: 204, 207-2010).

Курс посвящен глубинному обучению – самой активно развивающейся области машинного обучения. Слушатели курса узнают, какие задачи машинного обучения можно решать с помощью нейронных сетей и какие виды нейронных сетей находят свои применения на сегодняшний день. Курс имеет явную практическую направленность, студентам предлагаются задания на обучение нейронных сетей на фреймворке PyTorch языка программирования Python. В курсе обзорно, но достаточно для ознакомления разбираются задачи на изображения и тексты.

=== Цели освоения курса ===
# Знать принцип работы и уметь обучать следующие виды нейронных сетей: полносвязные, сверточные, рекуррентные, трансформеры.
# Владение фреймворком PyTorch для обучения нейронных сетей.
# Понимание различных задач, которые решаются с применением глубинного обучения.
# Умение обрабатывать данные и составлять пайплайны для обучения нейронных сетей.

== Полезные ссылки ==

* Репозиторий курса: https://github.com/isadrtdinov/intro-to-dl-hse

* Таблица с оценками: https://docs.google.com/spreadsheets/d/1GUChnaG3M9zVVY-p8qtgsYrLas43w__BxrnyobNGctw/edit?usp=sharing

* Чат с обсуждением (МОП): +F6omM9r5jDYyZWMy (добавить после хттпс://т.ме/)

* Чат с обсуждением (не МОП): +SDpvrQwM4g0yZWFi (добавить после хтппс://т.ме/)

== Преподаватели и ассистенты ==

Лекции (МОП); кому писать, если кажется, что все пропало: [https://t.me/isadrtdinov Ильдус Садртдинов]

{| class="wikitable"
|-
! Группа !! Семинарист !! Ассистенты !! Инвайт в anytask
|-
| 201 || [https://t.me/baranovskayadaria Дарья Барановская] || [https://t.me/JohanDDC Иван Пешехонов], [https://t.me/nikoryagin Никита Корягин] || gMVmQgY
|-
| 202 || [https://t.me/isadrtdinov Ильдус Садртдинов] || [https://t.me/territhing Сергей Пилипенко], [https://t.me/huwar Мадина Халматова] || oDu4b6c
|-
| 203 || [https://t.me/Birshert Алексей Биршерт] || [https://t.me/maripkl Мария Поклонская], [https://t.me/DimaLishudi Дмитрий Лишуди] || eqbgrKV
|-
| 204 || [https://t.me/madn_boi Никита Морозов] || [https://t.me/SergejVolkov Фома Шипилов] || STMB5yV
|-
| 207 || [https://t.me/asukhareva Анжела Сухарева] || [https://t.me/zzlatazz Злата Клименко] || I6JUg1f
|-
| 208 || [https://t.me/aktsvigun Аким Цвигун] || [https://t.me/lily_kurchenko Лилия Курченко] || WSekHxn
|-
| 209 || [https://t.me/call_me_Dory Диана Сусла] || [https://t.me/KrupetsSanches Александр Крупецков] || D4Vl7P4
|-
| 2010 || [https://t.me/mrkimster Сергей Ким] || [https://t.me/messlav Вячеслав Пирогов] || 5sfP4yz
|}

== Формулы оценок ==

=== МОП ===

''Итог'' = ''Округление''(0.3 * БДЗ + 0.25 * МДЗ + 0.15 ПР + 0.3 * Э)

* БДЗ - оценка за большие домашние задания
* МДЗ - оценка за маленькие домашние задания
* ПР - оценка за проверочные работы (проводятся на семинарах)
* Э - оценка за экзамен

Округление арифметическое. Определим накопленную оценку как ''Накоп'' = ''Округление''((0.3 * БДЗ + 0.25 МДЗ + 0.15 * ПР) / 0.7). Если Накоп >= 8, то студент может получить ''Накоп'' в качестве итоговой оценки, не приходя на экзамен.

'''Формат экзамена''': письменный, в аудитории, материалами пользоваться не разрешается, 2 часа.

'''Формат пересдачи''': накопленная оценка сохраняется, формат аналогичен экзамену.

=== Не МОП ===

''Итог'' = ''Округление''(0.7 * МДЗ + 0.3 * ПР)

* МДЗ - оценка за маленькие домашние задания
* ПР - оценка за проверочные работы (проводятся на семинарах)

Округление арифметическое.

'''Формат экзамена''': экзамен не предусмотрен.

'''Формат пересдачи''': досдача МДЗ.

== Лекции ==

=== МОП ===

Конспект от @ninachely: [https://exuberant-arthropod-be8.notion.site/DL-1-07582f084f5148a19c31a84200bb9b58 notion]

# Автоматическое дифференцирование, полносвязные нейронные сети: [https://www.youtube.com/watch?v=g552oCpg-NE&list=PLEwK9wdS5g0onnKgvKxuUJN1Ojchl9Q9P&index=1&t=1756s&ab_channel=ФКНВШЭ—дистанционныезанятия запись]
# Оптимизация нейронных сетей, SGD, Adam/AdamW. Dropout и Batch-нормализация: [https://www.youtube.com/watch?v=O9JV_Kgd31E&list=PLEwK9wdS5g0onnKgvKxuUJN1Ojchl9Q9P&index=3&t=1939s&ab_channel=ФКНВШЭ—дистанционныезанятия запись]
# Разбор дифференцирования из МДЗ 1, операция свертки: [https://youtu.be/xa69n0yCid8 запись]
# Архитектуры сверточных нейронных сетей: [https://youtu.be/5S5HpbDm7eA запись]
# Задачи компьютерного зрения, сегментация и детекция: [https://youtu.be/gJfDJoLEZIY запись]
# Токенизация текстов, эмбеддинги слов, TextCNN: [https://youtu.be/WihC2R5lNmg запись]
# Рекуррентные нейронные сети, языковые модели: [https://youtu.be/Ysj4i2S0D6c запись]
# Архитектура трансформера: [https://youtu.be/wLUJVRqzEyM запись]
# Self-supervised learning, BERT, SimCLR: [https://youtu.be/VpfqcP8HRmQ запись]
# Трансформеры для компьютерного зрения: [https://youtu.be/Dd7uQiAzrnA запись]
# Оценка неопределенности, дистилляция, прунинг, квантизация: [https://youtu.be/Jc-wbLCHtns запись]
# Соревновательные атаки, генеративно-состязательные сети (GAN): [https://youtu.be/banZhpreS2Y запись]

=== Не МОП ===

В качестве лекционного материала используется онлайн-курс "Основы глубинного обучения", который охватывает следующие темы:

# Введение в нейронные сети, полносвязные нейронные сети, оптимизация

== Семинары ==

=== МОП ===

# Введение в библиотеку PyTorch. Автоматическое дифференцирование: [https://www.youtube.com/watch?v=j6JxUpGaav4&list=PLEwK9wdS5g0onnKgvKxuUJN1Ojchl9Q9P&index=2&t=3s&ab_channel=ФКНВШЭ—дистанционныезанятия запись (группа 202)]
# Полносвязные нейронные сети. Общая схема пайплайна обучения на PyTorch: [https://www.youtube.com/watch?v=LZQVBuzttjM&list=PLEwK9wdS5g0onnKgvKxuUJN1Ojchl9Q9P&index=4&t=1799s&ab_channel=ФКНВШЭ—дистанционныезанятия запись (группа 202)]
# Свертки в PyTorch, реализация архитектуры LeNet: [https://youtu.be/CCCiGacZAVo запись (группа 202)]
# Обучение моделей из torchvision, аугментации и fine-tuning: [https://youtu.be/1wCd23p2l98 запись (группа 202)]
# Семантическая сегментация и детекция: [https://youtu.be/NSNYSEYAHa8 запись (группа 202)]
# Word2Vec, Fasttext и TextCNN: [https://youtu.be/2r67B1sPlDU запись (группа 202)]
# Генерация последовательностей, image captioning: [https://youtu.be/-KdvXtUhwEk запись (группа 202)]
# Архитектура трансформера: [https://youtu.be/QY456sQVTrM запись (группа 202)]
# Дообучение модели BERT: [https://youtu.be/XeFc3-_AYl8 запись (группа 202)]
# Семинар по теме не проводился
# Дистилляция, прунинг, квантизация: [https://youtu.be/vbvsqvcipO8 запись (группа 202)]
# Соревновательные атаки, генеративно-состязательные сети (GAN): [https://youtu.be/KgVkxjxf_T0 запись (группа 202)]

=== Не МОП ===

== Маленькие домашние задания ==

=== МОП ===

'''МДЗ №1.''' Автоматическое дифференцирование и полносвязные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/tree/2022-2023/homeworks-small/shw-01-mlp ссылка]

Дата выдачи: '''27.09.22 (вт)'''

Мягкий дедлайн: '''19.10.22 23:59 (ср)'''

Жесткий дедлайн: '''23.10.22 23:59 (вс)'''

'''МДЗ №2.''' Сверточный классификатор: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-02-cnn.ipynb ссылка]

Дата выдачи: '''21.10.22 (пт)'''

Мягкий дедлайн: '''06.11.22 23:59 (вс)'''

Жесткий дедлайн: '''10.11.22 23:59 (чт)'''

'''МДЗ №3.''' RNN и языковые модели: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-03-rnn/shw-03-rnn.ipynb ссылка]

Дата выдачи: '''12.01.22 (чт)'''

Мягкий дедлайн: '''29.01.23 23:59 (вс)'''

Жесткий дедлайн: '''02.02.23 23:59 (чт)'''

=== Не МОП ===

'''МДЗ №1.''' Полносвязные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-01-mlp-light.ipynb ссылка]

Дата выдачи: '''08.11.22 (вт)'''

Мягкий дедлайн: '''23.11.22 23:59 (ср)'''

Жесткий дедлайн: '''27.11.22 23:59 (вс)'''

'''МДЗ №2.''' Сверточный классификатор: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-02-cnn.ipynb ссылка]

Дата выдачи: '''02.12.22 (вт)'''

Мягкий дедлайн: '''16.12.22 23:59 (ср)'''

Жесткий дедлайн: '''18.12.22 23:59 (вс)'''

== Большие домашние задания ==

Большие домашние задания подразумевают реализацию пайплайна обучения и тестирования нейросети на выданных данных. '''Выдаются только группам МОПа.'''

'''БДЗ №1.''' Классификация изображений.

Подробности задания ищите по ссылке в канале с объявлениями.

Дата выдачи: '''14.11.22 (пн)'''

Мягкий дедлайн (чекпойнт): '''29.11.22 23:59 (вт)'''

Жесткий дедлайн (чекпойнт): '''06.12.22 23:59 (вт)'''

Мягкий дедлайн (финальная сдача): '''13.12.22 23:59 (вт)'''

Жесткий дедлайн (финальная сдача): '''17.12.22 23:59 (сб)'''

'''БДЗ №2.''' Машинный перевод.

Подробности задания ищите по ссылке в канале с объявлениями.

Дата выдачи: '''19.02.23 (вс)'''

Мягкий дедлайн (чекпойнт): '''05.03.23 23:59 (вс)'''

Жесткий дедлайн (чекпойнт): '''12.03.23 23:59 (вс)'''

Мягкий дедлайн (финальная сдача): '''19.03.23 23:59 (вс)'''

Жесткий дедлайн (финальная сдача): '''22.03.23 23:59 (ср)'''

== Теоретические домашние задания ==

Теоретические ДЗ не сдаются и предлагаются студентам для самостоятельного решения и ознакомления

'''ТДЗ №1.''' Полносвязные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-theory/thw-01-mlp.pdf ссылка]

'''ТДЗ №2.''' Сверточные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-theory/thw-02-cnn.pdf ссылка]

Глубинное обучение 1 22/23

2023-02-16T14:21:27Z

Isadrtdinov 1: /* МОП */

== О курсе ==

Это страничка курсов 2022-2023 года (1-3 модуль 3 курса ПМИ):
* '''Глубинное обучение 1''' (для групп МОП: 201-203)
* '''Введение в глубинное обучение''' (для групп остальных специализаций, кроме РС: 204, 207-2010).

Курс посвящен глубинному обучению – самой активно развивающейся области машинного обучения. Слушатели курса узнают, какие задачи машинного обучения можно решать с помощью нейронных сетей и какие виды нейронных сетей находят свои применения на сегодняшний день. Курс имеет явную практическую направленность, студентам предлагаются задания на обучение нейронных сетей на фреймворке PyTorch языка программирования Python. В курсе обзорно, но достаточно для ознакомления разбираются задачи на изображения и тексты.

=== Цели освоения курса ===
# Знать принцип работы и уметь обучать следующие виды нейронных сетей: полносвязные, сверточные, рекуррентные, трансформеры.
# Владение фреймворком PyTorch для обучения нейронных сетей.
# Понимание различных задач, которые решаются с применением глубинного обучения.
# Умение обрабатывать данные и составлять пайплайны для обучения нейронных сетей.

== Полезные ссылки ==

* Репозиторий курса: https://github.com/isadrtdinov/intro-to-dl-hse

* Таблица с оценками: https://docs.google.com/spreadsheets/d/1GUChnaG3M9zVVY-p8qtgsYrLas43w__BxrnyobNGctw/edit?usp=sharing

* Чат с обсуждением (МОП): +F6omM9r5jDYyZWMy (добавить после хттпс://т.ме/)

* Чат с обсуждением (не МОП): +SDpvrQwM4g0yZWFi (добавить после хтппс://т.ме/)

== Преподаватели и ассистенты ==

Лекции (МОП); кому писать, если кажется, что все пропало: [https://t.me/isadrtdinov Ильдус Садртдинов]

{| class="wikitable"
|-
! Группа !! Семинарист !! Ассистенты !! Инвайт в anytask
|-
| 201 || [https://t.me/baranovskayadaria Дарья Барановская] || [https://t.me/JohanDDC Иван Пешехонов], [https://t.me/nikoryagin Никита Корягин] || gMVmQgY
|-
| 202 || [https://t.me/isadrtdinov Ильдус Садртдинов] || [https://t.me/territhing Сергей Пилипенко], [https://t.me/huwar Мадина Халматова] || oDu4b6c
|-
| 203 || [https://t.me/Birshert Алексей Биршерт] || [https://t.me/maripkl Мария Поклонская], [https://t.me/DimaLishudi Дмитрий Лишуди] || eqbgrKV
|-
| 204 || [https://t.me/madn_boi Никита Морозов] || [https://t.me/SergejVolkov Фома Шипилов] || STMB5yV
|-
| 207 || [https://t.me/asukhareva Анжела Сухарева] || [https://t.me/zzlatazz Злата Клименко] || I6JUg1f
|-
| 208 || [https://t.me/aktsvigun Аким Цвигун] || [https://t.me/lily_kurchenko Лилия Курченко] || WSekHxn
|-
| 209 || [https://t.me/call_me_Dory Диана Сусла] || [https://t.me/KrupetsSanches Александр Крупецков] || D4Vl7P4
|-
| 2010 || [https://t.me/mrkimster Сергей Ким] || [https://t.me/messlav Вячеслав Пирогов] || 5sfP4yz
|}

== Формулы оценок ==

=== МОП ===

''Итог'' = ''Округление''(0.3 * БДЗ + 0.25 * МДЗ + 0.15 ПР + 0.3 * Э)

* БДЗ - оценка за большие домашние задания
* МДЗ - оценка за маленькие домашние задания
* ПР - оценка за проверочные работы (проводятся на семинарах)
* Э - оценка за экзамен

Округление арифметическое. Определим накопленную оценку как ''Накоп'' = ''Округление''((0.3 * БДЗ + 0.25 МДЗ + 0.15 * ПР) / 0.7). Если Накоп >= 8, то студент может получить ''Накоп'' в качестве итоговой оценки, не приходя на экзамен.

'''Формат экзамена''': письменный, в аудитории, материалами пользоваться не разрешается, 2 часа.

'''Формат пересдачи''': накопленная оценка сохраняется, формат аналогичен экзамену.

=== Не МОП ===

''Итог'' = ''Округление''(0.7 * МДЗ + 0.3 * ПР)

* МДЗ - оценка за маленькие домашние задания
* ПР - оценка за проверочные работы (проводятся на семинарах)

Округление арифметическое.

'''Формат экзамена''': экзамен не предусмотрен.

'''Формат пересдачи''': досдача МДЗ.

== Лекции ==

=== МОП ===

Конспект от @ninachely: [https://exuberant-arthropod-be8.notion.site/DL-1-07582f084f5148a19c31a84200bb9b58 notion]

# Автоматическое дифференцирование, полносвязные нейронные сети: [https://www.youtube.com/watch?v=g552oCpg-NE&list=PLEwK9wdS5g0onnKgvKxuUJN1Ojchl9Q9P&index=1&t=1756s&ab_channel=ФКНВШЭ—дистанционныезанятия запись]
# Оптимизация нейронных сетей, SGD, Adam/AdamW. Dropout и Batch-нормализация: [https://www.youtube.com/watch?v=O9JV_Kgd31E&list=PLEwK9wdS5g0onnKgvKxuUJN1Ojchl9Q9P&index=3&t=1939s&ab_channel=ФКНВШЭ—дистанционныезанятия запись]
# Разбор дифференцирования из МДЗ 1, операция свертки: [https://youtu.be/xa69n0yCid8 запись]
# Архитектуры сверточных нейронных сетей: [https://youtu.be/5S5HpbDm7eA запись]
# Задачи компьютерного зрения, сегментация и детекция: [https://youtu.be/gJfDJoLEZIY запись]
# Токенизация текстов, эмбеддинги слов, TextCNN: [https://youtu.be/WihC2R5lNmg запись]
# Рекуррентные нейронные сети, языковые модели: [https://youtu.be/Ysj4i2S0D6c запись]
# Архитектура трансформера: [https://youtu.be/wLUJVRqzEyM запись]
# Self-supervised learning, BERT, SimCLR: [https://youtu.be/VpfqcP8HRmQ запись]
# Трансформеры для компьютерного зрения: [https://youtu.be/Dd7uQiAzrnA запись]
# Оценка неопределенности, дистилляция, прунинг, квантизация: [https://youtu.be/Jc-wbLCHtns запись]
# Соревновательные атаки, генеративно-состязательные сети (GAN): [https://youtu.be/banZhpreS2Y запись]

=== Не МОП ===

В качестве лекционного материала используется онлайн-курс "Основы глубинного обучения", который охватывает следующие темы:

# Введение в нейронные сети, полносвязные нейронные сети, оптимизация

== Семинары ==

=== МОП ===

# Введение в библиотеку PyTorch. Автоматическое дифференцирование: [https://www.youtube.com/watch?v=j6JxUpGaav4&list=PLEwK9wdS5g0onnKgvKxuUJN1Ojchl9Q9P&index=2&t=3s&ab_channel=ФКНВШЭ—дистанционныезанятия запись (группа 202)]
# Полносвязные нейронные сети. Общая схема пайплайна обучения на PyTorch: [https://www.youtube.com/watch?v=LZQVBuzttjM&list=PLEwK9wdS5g0onnKgvKxuUJN1Ojchl9Q9P&index=4&t=1799s&ab_channel=ФКНВШЭ—дистанционныезанятия запись (группа 202)]
# Свертки в PyTorch, реализация архитектуры LeNet: [https://youtu.be/CCCiGacZAVo запись (группа 202)]
# Обучение моделей из torchvision, аугментации и fine-tuning: [https://youtu.be/1wCd23p2l98 запись (группа 202)]
# Семантическая сегментация и детекция: [https://youtu.be/NSNYSEYAHa8 запись (группа 202)]
# Word2Vec, Fasttext и TextCNN: [https://youtu.be/2r67B1sPlDU запись (группа 202)]
# Генерация последовательностей, image captioning: [https://youtu.be/-KdvXtUhwEk запись (группа 202)]
# Архитектура трансформера: [https://youtu.be/QY456sQVTrM запись (группа 202)]
# Дообучение модели BERT: [https://youtu.be/XeFc3-_AYl8 запись (группа 202)]
# Семинар по теме не проводился
# Дистилляция, прунинг, квантизация: [https://youtu.be/vbvsqvcipO8 запись (группа 202)]
# Соревновательные атаки, генеративно-состязательные сети (GAN): [https://youtu.be/KgVkxjxf_T0 запись (группа 202)]

=== Не МОП ===

== Маленькие домашние задания ==

=== МОП ===

'''МДЗ №1.''' Автоматическое дифференцирование и полносвязные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/tree/2022-2023/homeworks-small/shw-01-mlp ссылка]

Дата выдачи: '''27.09.22 (вт)'''

Мягкий дедлайн: '''19.10.22 23:59 (ср)'''

Жесткий дедлайн: '''23.10.22 23:59 (вс)'''

'''МДЗ №2.''' Сверточный классификатор: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-02-cnn.ipynb ссылка]

Дата выдачи: '''21.10.22 (пт)'''

Мягкий дедлайн: '''06.11.22 23:59 (вс)'''

Жесткий дедлайн: '''10.11.22 23:59 (чт)'''

'''МДЗ №3.''' RNN и языковые модели: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-03-rnn/shw-03-rnn.ipynb ссылка]

Дата выдачи: '''12.01.22 (чт)'''

Мягкий дедлайн: '''29.01.23 23:59 (вс)'''

Жесткий дедлайн: '''02.02.23 23:59 (чт)'''

=== Не МОП ===

'''МДЗ №1.''' Полносвязные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-01-mlp-light.ipynb ссылка]

Дата выдачи: '''08.11.22 (вт)'''

Мягкий дедлайн: '''23.11.22 23:59 (ср)'''

Жесткий дедлайн: '''27.11.22 23:59 (вс)'''

'''МДЗ №2.''' Сверточный классификатор: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-02-cnn.ipynb ссылка]

Дата выдачи: '''02.12.22 (вт)'''

Мягкий дедлайн: '''16.12.22 23:59 (ср)'''

Жесткий дедлайн: '''18.12.22 23:59 (вс)'''

== Большие домашние задания ==

Большие домашние задания подразумевают реализацию пайплайна обучения и тестирования нейросети на выданных данных. '''Выдаются только группам МОПа.'''

'''БДЗ №1.''' Классификация изображений.

Подробности задания ищите по ссылке в канале с объявлениями.

Дата выдачи: '''14.11.22 (пн)'''

Мягкий дедлайн (чекпойнт): '''29.11.22 23:59 (вт)'''

Жесткий дедлайн (чекпойнт): '''06.12.22 23:59 (вт)'''

Мягкий дедлайн (финальная сдача): '''13.12.22 23:59 (вт)'''

Жесткий дедлайн (финальная сдача): '''17.12.22 23:59 (сб)'''

== Теоретические домашние задания ==

Теоретические ДЗ не сдаются и предлагаются студентам для самостоятельного решения и ознакомления

'''ТДЗ №1.''' Полносвязные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-theory/thw-01-mlp.pdf ссылка]

'''ТДЗ №2.''' Сверточные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-theory/thw-02-cnn.pdf ссылка]

Глубинное обучение 1 22/23

2023-02-16T14:20:21Z

Isadrtdinov 1: /* МОП */

== О курсе ==

Это страничка курсов 2022-2023 года (1-3 модуль 3 курса ПМИ):
* '''Глубинное обучение 1''' (для групп МОП: 201-203)
* '''Введение в глубинное обучение''' (для групп остальных специализаций, кроме РС: 204, 207-2010).

Курс посвящен глубинному обучению – самой активно развивающейся области машинного обучения. Слушатели курса узнают, какие задачи машинного обучения можно решать с помощью нейронных сетей и какие виды нейронных сетей находят свои применения на сегодняшний день. Курс имеет явную практическую направленность, студентам предлагаются задания на обучение нейронных сетей на фреймворке PyTorch языка программирования Python. В курсе обзорно, но достаточно для ознакомления разбираются задачи на изображения и тексты.

=== Цели освоения курса ===
# Знать принцип работы и уметь обучать следующие виды нейронных сетей: полносвязные, сверточные, рекуррентные, трансформеры.
# Владение фреймворком PyTorch для обучения нейронных сетей.
# Понимание различных задач, которые решаются с применением глубинного обучения.
# Умение обрабатывать данные и составлять пайплайны для обучения нейронных сетей.

== Полезные ссылки ==

* Репозиторий курса: https://github.com/isadrtdinov/intro-to-dl-hse

* Таблица с оценками: https://docs.google.com/spreadsheets/d/1GUChnaG3M9zVVY-p8qtgsYrLas43w__BxrnyobNGctw/edit?usp=sharing

* Чат с обсуждением (МОП): +F6omM9r5jDYyZWMy (добавить после хттпс://т.ме/)

* Чат с обсуждением (не МОП): +SDpvrQwM4g0yZWFi (добавить после хтппс://т.ме/)

== Преподаватели и ассистенты ==

Лекции (МОП); кому писать, если кажется, что все пропало: [https://t.me/isadrtdinov Ильдус Садртдинов]

{| class="wikitable"
|-
! Группа !! Семинарист !! Ассистенты !! Инвайт в anytask
|-
| 201 || [https://t.me/baranovskayadaria Дарья Барановская] || [https://t.me/JohanDDC Иван Пешехонов], [https://t.me/nikoryagin Никита Корягин] || gMVmQgY
|-
| 202 || [https://t.me/isadrtdinov Ильдус Садртдинов] || [https://t.me/territhing Сергей Пилипенко], [https://t.me/huwar Мадина Халматова] || oDu4b6c
|-
| 203 || [https://t.me/Birshert Алексей Биршерт] || [https://t.me/maripkl Мария Поклонская], [https://t.me/DimaLishudi Дмитрий Лишуди] || eqbgrKV
|-
| 204 || [https://t.me/madn_boi Никита Морозов] || [https://t.me/SergejVolkov Фома Шипилов] || STMB5yV
|-
| 207 || [https://t.me/asukhareva Анжела Сухарева] || [https://t.me/zzlatazz Злата Клименко] || I6JUg1f
|-
| 208 || [https://t.me/aktsvigun Аким Цвигун] || [https://t.me/lily_kurchenko Лилия Курченко] || WSekHxn
|-
| 209 || [https://t.me/call_me_Dory Диана Сусла] || [https://t.me/KrupetsSanches Александр Крупецков] || D4Vl7P4
|-
| 2010 || [https://t.me/mrkimster Сергей Ким] || [https://t.me/messlav Вячеслав Пирогов] || 5sfP4yz
|}

== Формулы оценок ==

=== МОП ===

''Итог'' = ''Округление''(0.3 * БДЗ + 0.25 * МДЗ + 0.15 ПР + 0.3 * Э)

* БДЗ - оценка за большие домашние задания
* МДЗ - оценка за маленькие домашние задания
* ПР - оценка за проверочные работы (проводятся на семинарах)
* Э - оценка за экзамен

Округление арифметическое. Определим накопленную оценку как ''Накоп'' = ''Округление''((0.3 * БДЗ + 0.25 МДЗ + 0.15 * ПР) / 0.7). Если Накоп >= 8, то студент может получить ''Накоп'' в качестве итоговой оценки, не приходя на экзамен.

'''Формат экзамена''': письменный, в аудитории, материалами пользоваться не разрешается, 2 часа.

'''Формат пересдачи''': накопленная оценка сохраняется, формат аналогичен экзамену.

=== Не МОП ===

''Итог'' = ''Округление''(0.7 * МДЗ + 0.3 * ПР)

* МДЗ - оценка за маленькие домашние задания
* ПР - оценка за проверочные работы (проводятся на семинарах)

Округление арифметическое.

'''Формат экзамена''': экзамен не предусмотрен.

'''Формат пересдачи''': досдача МДЗ.

== Лекции ==

=== МОП ===

Конспект от @ninachely: [https://exuberant-arthropod-be8.notion.site/DL-1-07582f084f5148a19c31a84200bb9b58 notion]

# Автоматическое дифференцирование, полносвязные нейронные сети: [https://www.youtube.com/watch?v=g552oCpg-NE&list=PLEwK9wdS5g0onnKgvKxuUJN1Ojchl9Q9P&index=1&t=1756s&ab_channel=ФКНВШЭ—дистанционныезанятия запись]
# Оптимизация нейронных сетей, SGD, Adam/AdamW. Dropout и Batch-нормализация: [https://www.youtube.com/watch?v=O9JV_Kgd31E&list=PLEwK9wdS5g0onnKgvKxuUJN1Ojchl9Q9P&index=3&t=1939s&ab_channel=ФКНВШЭ—дистанционныезанятия запись]
# Разбор дифференцирования из МДЗ 1, операция свертки: [https://youtu.be/xa69n0yCid8 запись]
# Архитектуры сверточных нейронных сетей: [https://youtu.be/5S5HpbDm7eA запись]
# Задачи компьютерного зрения, сегментация и детекция: [https://youtu.be/gJfDJoLEZIY запись]
# Токенизация текстов, эмбеддинги слов, TextCNN: [https://youtu.be/WihC2R5lNmg запись]
# Рекуррентные нейронные сети, языковые модели: [https://youtu.be/Ysj4i2S0D6c запись]
# Архитектура трансформера: [https://youtu.be/wLUJVRqzEyM запись]
# Self-supervised learning, BERT, SimCLR: [https://youtu.be/VpfqcP8HRmQ запись]
# Трансформеры для компьютерного зрения: [https://youtu.be/Dd7uQiAzrnA запись]
# Оценка неопределенности, дистилляция, прунинг, квантизация: [https://youtu.be/Jc-wbLCHtns запись]

=== Не МОП ===

В качестве лекционного материала используется онлайн-курс "Основы глубинного обучения", который охватывает следующие темы:

# Введение в нейронные сети, полносвязные нейронные сети, оптимизация

== Семинары ==

=== МОП ===

# Введение в библиотеку PyTorch. Автоматическое дифференцирование: [https://www.youtube.com/watch?v=j6JxUpGaav4&list=PLEwK9wdS5g0onnKgvKxuUJN1Ojchl9Q9P&index=2&t=3s&ab_channel=ФКНВШЭ—дистанционныезанятия запись (группа 202)]
# Полносвязные нейронные сети. Общая схема пайплайна обучения на PyTorch: [https://www.youtube.com/watch?v=LZQVBuzttjM&list=PLEwK9wdS5g0onnKgvKxuUJN1Ojchl9Q9P&index=4&t=1799s&ab_channel=ФКНВШЭ—дистанционныезанятия запись (группа 202)]
# Свертки в PyTorch, реализация архитектуры LeNet: [https://youtu.be/CCCiGacZAVo запись (группа 202)]
# Обучение моделей из torchvision, аугментации и fine-tuning: [https://youtu.be/1wCd23p2l98 запись (группа 202)]
# Семантическая сегментация и детекция: [https://youtu.be/NSNYSEYAHa8 запись (группа 202)]
# Word2Vec, Fasttext и TextCNN: [https://youtu.be/2r67B1sPlDU запись (группа 202)]
# Генерация последовательностей, image captioning: [https://youtu.be/-KdvXtUhwEk запись (группа 202)]
# Архитектура трансформера: [https://youtu.be/QY456sQVTrM запись (группа 202)]
# Дообучение модели BERT: [https://youtu.be/XeFc3-_AYl8 запись (группа 202)]
# Семинар по теме не проводился
# Дистилляция, прунинг, квантизация: [https://youtu.be/vbvsqvcipO8 запись (группа 202)]
# Соревновательные атаки, генеративно-состязательные сети (GAN): [https://youtu.be/KgVkxjxf_T0 запись (группа 202)]

=== Не МОП ===

== Маленькие домашние задания ==

=== МОП ===

'''МДЗ №1.''' Автоматическое дифференцирование и полносвязные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/tree/2022-2023/homeworks-small/shw-01-mlp ссылка]

Дата выдачи: '''27.09.22 (вт)'''

Мягкий дедлайн: '''19.10.22 23:59 (ср)'''

Жесткий дедлайн: '''23.10.22 23:59 (вс)'''

'''МДЗ №2.''' Сверточный классификатор: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-02-cnn.ipynb ссылка]

Дата выдачи: '''21.10.22 (пт)'''

Мягкий дедлайн: '''06.11.22 23:59 (вс)'''

Жесткий дедлайн: '''10.11.22 23:59 (чт)'''

'''МДЗ №3.''' RNN и языковые модели: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-03-rnn/shw-03-rnn.ipynb ссылка]

Дата выдачи: '''12.01.22 (чт)'''

Мягкий дедлайн: '''29.01.23 23:59 (вс)'''

Жесткий дедлайн: '''02.02.23 23:59 (чт)'''

=== Не МОП ===

'''МДЗ №1.''' Полносвязные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-01-mlp-light.ipynb ссылка]

Дата выдачи: '''08.11.22 (вт)'''

Мягкий дедлайн: '''23.11.22 23:59 (ср)'''

Жесткий дедлайн: '''27.11.22 23:59 (вс)'''

'''МДЗ №2.''' Сверточный классификатор: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-02-cnn.ipynb ссылка]

Дата выдачи: '''02.12.22 (вт)'''

Мягкий дедлайн: '''16.12.22 23:59 (ср)'''

Жесткий дедлайн: '''18.12.22 23:59 (вс)'''

== Большие домашние задания ==

Большие домашние задания подразумевают реализацию пайплайна обучения и тестирования нейросети на выданных данных. '''Выдаются только группам МОПа.'''

'''БДЗ №1.''' Классификация изображений.

Подробности задания ищите по ссылке в канале с объявлениями.

Дата выдачи: '''14.11.22 (пн)'''

Мягкий дедлайн (чекпойнт): '''29.11.22 23:59 (вт)'''

Жесткий дедлайн (чекпойнт): '''06.12.22 23:59 (вт)'''

Мягкий дедлайн (финальная сдача): '''13.12.22 23:59 (вт)'''

Жесткий дедлайн (финальная сдача): '''17.12.22 23:59 (сб)'''

== Теоретические домашние задания ==

Теоретические ДЗ не сдаются и предлагаются студентам для самостоятельного решения и ознакомления

'''ТДЗ №1.''' Полносвязные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-theory/thw-01-mlp.pdf ссылка]

'''ТДЗ №2.''' Сверточные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-theory/thw-02-cnn.pdf ссылка]

Методы предобучения без учителя 22/23

2023-02-03T18:44:12Z

Isadrtdinov 1: /* Домашние задания */

== О курсе ==

С развитием глубинного обучения стало появляться все больше новых задач и наборов данных, с помощью которых можно учить модели. Однако, в то время как собрать данные можно алгоритмически без особого труда, их разметка является очень трудоемкой и дорогостоящей задачей. В связи с этим появилась потребность обучать модели на данных без разметки. Именно так зародилась парадигма self-supervised learning, о которой и пойдет речь в данном курсе. Слушатели курса познакомятся как со старыми, так и с самыми современными подходами для предобучения на неразмеченных данных и поработают с различными доменами: от изображений и текстов до аудио и графов.

== Расписание ==

Занятия проводятся оффлайн по вторникам.

Лекция: 11:10 - 12:30

Семинары: 13:00 - 14:20

== Полезные ссылки ==

Чат курса в telegram: https://t.me/+D4_1rqQttEwwODhi

Канал с объявлениями в telegram: https://t.me/+ADIqh4XT1qNkMDEy

Плейлист с записями лекций: https://www.youtube.com/playlist?list=PLEwK9wdS5g0rg9Cf9Tsfeuesv5H6XDdeY.

Anytask: https://anytask.org/course/1001, инвайт: K3cHMRT

== Преподаватели и ассистенты ==

{| class="wikitable"
|-
! Преподаватели !! Ассистенты
|-
| [https://t.me/isadrtdinov Ильдус Садртдинов] || [https://t.me/Birshert Алексей Биршерт]
|-
| [https://t.me/amshabalin Александр Шабалин] ||
|-
|}

== Домашние задания ==

'''Домашнее задание №1:''' Задание посвящено реализации классических методов предобучения.

Ссылка на [https://docs.google.com/document/d/1EbD5fTB3uMYdqxhRj-_CLYpMuEQSJmBcEhFhoRPB9cY/edit?usp=sharing условие], ссылка на [https://docs.google.com/document/d/1EbD5fTB3uMYdqxhRj-_CLYpMuEQSJmBcEhFhoRPB9cY/edit?usp=sharing соревнование] в kaggle.

'''Домашнее задание №2:''' Задание посвящено контрастным методам для изображений.

Ссылка на [https://github.com/ashaba1in/hse-ssl/blob/main/homeworks/homework2_contrastive.ipynb ноутбук] с заданием.

== Формула оценок ==

Определим накопленную оценку как ''Накоп'' = 1/4 * [ДЗ1 + ДЗ2 + ДЗ3 + (МДЗ1 + МДЗ2) / 2].

''Итог'' = ''Округление''(0.7 * Накоп + 0.3 * Э). Округление арифметическое.

* ДЗ — оценка за домашнее задание
* МДЗ — оценка за мини домашнее задание
* Э — оценка за экзамен

Если ''Накоп'' >= 8, то студент может получить ''Округление''(''Накоп'') в качестве итоговой оценки, не приходя на экзамен.

'''Формат экзамена''': устный.

Глубинное обучение 1 22/23

2023-02-01T20:19:27Z

Isadrtdinov 1: /* Семинары */

== О курсе ==

Это страничка курсов 2022-2023 года (1-3 модуль 3 курса ПМИ):
* '''Глубинное обучение 1''' (для групп МОП: 201-203)
* '''Введение в глубинное обучение''' (для групп остальных специализаций, кроме РС: 204, 207-2010).

Курс посвящен глубинному обучению – самой активно развивающейся области машинного обучения. Слушатели курса узнают, какие задачи машинного обучения можно решать с помощью нейронных сетей и какие виды нейронных сетей находят свои применения на сегодняшний день. Курс имеет явную практическую направленность, студентам предлагаются задания на обучение нейронных сетей на фреймворке PyTorch языка программирования Python. В курсе обзорно, но достаточно для ознакомления разбираются задачи на изображения и тексты.

=== Цели освоения курса ===
# Знать принцип работы и уметь обучать следующие виды нейронных сетей: полносвязные, сверточные, рекуррентные, трансформеры.
# Владение фреймворком PyTorch для обучения нейронных сетей.
# Понимание различных задач, которые решаются с применением глубинного обучения.
# Умение обрабатывать данные и составлять пайплайны для обучения нейронных сетей.

== Полезные ссылки ==

* Репозиторий курса: https://github.com/isadrtdinov/intro-to-dl-hse

* Таблица с оценками: https://docs.google.com/spreadsheets/d/1GUChnaG3M9zVVY-p8qtgsYrLas43w__BxrnyobNGctw/edit?usp=sharing

* Чат с обсуждением (МОП): +F6omM9r5jDYyZWMy (добавить после хттпс://т.ме/)

* Чат с обсуждением (не МОП): +SDpvrQwM4g0yZWFi (добавить после хтппс://т.ме/)

== Преподаватели и ассистенты ==

Лекции (МОП); кому писать, если кажется, что все пропало: [https://t.me/isadrtdinov Ильдус Садртдинов]

{| class="wikitable"
|-
! Группа !! Семинарист !! Ассистенты !! Инвайт в anytask
|-
| 201 || [https://t.me/baranovskayadaria Дарья Барановская] || [https://t.me/JohanDDC Иван Пешехонов], [https://t.me/nikoryagin Никита Корягин] || gMVmQgY
|-
| 202 || [https://t.me/isadrtdinov Ильдус Садртдинов] || [https://t.me/territhing Сергей Пилипенко], [https://t.me/huwar Мадина Халматова] || oDu4b6c
|-
| 203 || [https://t.me/Birshert Алексей Биршерт] || [https://t.me/maripkl Мария Поклонская], [https://t.me/DimaLishudi Дмитрий Лишуди] || eqbgrKV
|-
| 204 || [https://t.me/madn_boi Никита Морозов] || [https://t.me/SergejVolkov Фома Шипилов] || STMB5yV
|-
| 207 || [https://t.me/asukhareva Анжела Сухарева] || [https://t.me/zzlatazz Злата Клименко] || I6JUg1f
|-
| 208 || [https://t.me/aktsvigun Аким Цвигун] || [https://t.me/lily_kurchenko Лилия Курченко] || WSekHxn
|-
| 209 || [https://t.me/call_me_Dory Диана Сусла] || [https://t.me/KrupetsSanches Александр Крупецков] || D4Vl7P4
|-
| 2010 || [https://t.me/mrkimster Сергей Ким] || [https://t.me/messlav Вячеслав Пирогов] || 5sfP4yz
|}

== Формулы оценок ==

=== МОП ===

''Итог'' = ''Округление''(0.3 * БДЗ + 0.25 * МДЗ + 0.15 ПР + 0.3 * Э)

* БДЗ - оценка за большие домашние задания
* МДЗ - оценка за маленькие домашние задания
* ПР - оценка за проверочные работы (проводятся на семинарах)
* Э - оценка за экзамен

Округление арифметическое. Определим накопленную оценку как ''Накоп'' = ''Округление''((0.3 * БДЗ + 0.25 МДЗ + 0.15 * ПР) / 0.7). Если Накоп >= 8, то студент может получить ''Накоп'' в качестве итоговой оценки, не приходя на экзамен.

'''Формат экзамена''': письменный, в аудитории, материалами пользоваться не разрешается, 2 часа.

'''Формат пересдачи''': накопленная оценка сохраняется, формат аналогичен экзамену.

=== Не МОП ===

''Итог'' = ''Округление''(0.7 * МДЗ + 0.3 * ПР)

* МДЗ - оценка за маленькие домашние задания
* ПР - оценка за проверочные работы (проводятся на семинарах)

Округление арифметическое.

'''Формат экзамена''': экзамен не предусмотрен.

'''Формат пересдачи''': досдача МДЗ.

== Лекции ==

=== МОП ===

Конспект от @ninachely: [https://exuberant-arthropod-be8.notion.site/DL-1-07582f084f5148a19c31a84200bb9b58 notion]

# Автоматическое дифференцирование, полносвязные нейронные сети: [https://www.youtube.com/watch?v=g552oCpg-NE&list=PLEwK9wdS5g0onnKgvKxuUJN1Ojchl9Q9P&index=1&t=1756s&ab_channel=ФКНВШЭ—дистанционныезанятия запись]
# Оптимизация нейронных сетей, SGD, Adam/AdamW. Dropout и Batch-нормализация: [https://www.youtube.com/watch?v=O9JV_Kgd31E&list=PLEwK9wdS5g0onnKgvKxuUJN1Ojchl9Q9P&index=3&t=1939s&ab_channel=ФКНВШЭ—дистанционныезанятия запись]
# Разбор дифференцирования из МДЗ 1, операция свертки: [https://youtu.be/xa69n0yCid8 запись]
# Архитектуры сверточных нейронных сетей: [https://youtu.be/5S5HpbDm7eA запись]
# Задачи компьютерного зрения, сегментация и детекция: [https://youtu.be/gJfDJoLEZIY запись]
# Токенизация текстов, эмбеддинги слов, TextCNN: [https://youtu.be/WihC2R5lNmg запись]
# Рекуррентные нейронные сети, языковые модели: [https://youtu.be/Ysj4i2S0D6c запись]
# Архитектура трансформера: [https://youtu.be/wLUJVRqzEyM запись]
# Self-supervised learning, BERT, SimCLR: [https://youtu.be/VpfqcP8HRmQ запись]
# Трансформеры для компьютерного зрения: [https://youtu.be/Dd7uQiAzrnA запись]
# Оценка неопределенности, дистилляция, прунинг, квантизация: [https://youtu.be/Jc-wbLCHtns запись]

=== Не МОП ===

В качестве лекционного материала используется онлайн-курс "Основы глубинного обучения", который охватывает следующие темы:

# Введение в нейронные сети, полносвязные нейронные сети, оптимизация

== Семинары ==

=== МОП ===

# Введение в библиотеку PyTorch. Автоматическое дифференцирование: [https://www.youtube.com/watch?v=j6JxUpGaav4&list=PLEwK9wdS5g0onnKgvKxuUJN1Ojchl9Q9P&index=2&t=3s&ab_channel=ФКНВШЭ—дистанционныезанятия запись (группа 202)]
# Полносвязные нейронные сети. Общая схема пайплайна обучения на PyTorch: [https://www.youtube.com/watch?v=LZQVBuzttjM&list=PLEwK9wdS5g0onnKgvKxuUJN1Ojchl9Q9P&index=4&t=1799s&ab_channel=ФКНВШЭ—дистанционныезанятия запись (группа 202)]
# Свертки в PyTorch, реализация архитектуры LeNet: [https://youtu.be/CCCiGacZAVo запись (группа 202)]
# Обучение моделей из torchvision, аугментации и fine-tuning: [https://youtu.be/1wCd23p2l98 запись (группа 202)]
# Семантическая сегментация и детекция: [https://youtu.be/NSNYSEYAHa8 запись (группа 202)]
# Word2Vec, Fasttext и TextCNN: [https://youtu.be/2r67B1sPlDU запись (группа 202)]
# Генерация последовательностей, image captioning: [https://youtu.be/-KdvXtUhwEk запись (группа 202)]
# Архитектура трансформера: [https://youtu.be/QY456sQVTrM запись (группа 202)]
# Дообучение модели BERT: [https://youtu.be/XeFc3-_AYl8 запись (группа 202)]
# Семинар по не проводился
# Дистилляция, прунинг, квантизация: [https://youtu.be/vbvsqvcipO8 запись (группа 202)]

=== Не МОП ===

== Маленькие домашние задания ==

=== МОП ===

'''МДЗ №1.''' Автоматическое дифференцирование и полносвязные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/tree/2022-2023/homeworks-small/shw-01-mlp ссылка]

Дата выдачи: '''27.09.22 (вт)'''

Мягкий дедлайн: '''19.10.22 23:59 (ср)'''

Жесткий дедлайн: '''23.10.22 23:59 (вс)'''

'''МДЗ №2.''' Сверточный классификатор: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-02-cnn.ipynb ссылка]

Дата выдачи: '''21.10.22 (пт)'''

Мягкий дедлайн: '''06.11.22 23:59 (вс)'''

Жесткий дедлайн: '''10.11.22 23:59 (чт)'''

'''МДЗ №3.''' RNN и языковые модели: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-03-rnn/shw-03-rnn.ipynb ссылка]

Дата выдачи: '''12.01.22 (чт)'''

Мягкий дедлайн: '''29.01.23 23:59 (вс)'''

Жесткий дедлайн: '''02.02.23 23:59 (чт)'''

=== Не МОП ===

'''МДЗ №1.''' Полносвязные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-01-mlp-light.ipynb ссылка]

Дата выдачи: '''08.11.22 (вт)'''

Мягкий дедлайн: '''23.11.22 23:59 (ср)'''

Жесткий дедлайн: '''27.11.22 23:59 (вс)'''

'''МДЗ №2.''' Сверточный классификатор: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-02-cnn.ipynb ссылка]

Дата выдачи: '''02.12.22 (вт)'''

Мягкий дедлайн: '''16.12.22 23:59 (ср)'''

Жесткий дедлайн: '''18.12.22 23:59 (вс)'''

== Большие домашние задания ==

Большие домашние задания подразумевают реализацию пайплайна обучения и тестирования нейросети на выданных данных. '''Выдаются только группам МОПа.'''

'''БДЗ №1.''' Классификация изображений.

Подробности задания ищите по ссылке в канале с объявлениями.

Дата выдачи: '''14.11.22 (пн)'''

Мягкий дедлайн (чекпойнт): '''29.11.22 23:59 (вт)'''

Жесткий дедлайн (чекпойнт): '''06.12.22 23:59 (вт)'''

Мягкий дедлайн (финальная сдача): '''13.12.22 23:59 (вт)'''

Жесткий дедлайн (финальная сдача): '''17.12.22 23:59 (сб)'''

== Теоретические домашние задания ==

Теоретические ДЗ не сдаются и предлагаются студентам для самостоятельного решения и ознакомления

'''ТДЗ №1.''' Полносвязные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-theory/thw-01-mlp.pdf ссылка]

'''ТДЗ №2.''' Сверточные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-theory/thw-02-cnn.pdf ссылка]

Глубинное обучение 1 22/23

2023-02-01T20:18:47Z

Isadrtdinov 1: /* Лекции */

== О курсе ==

Это страничка курсов 2022-2023 года (1-3 модуль 3 курса ПМИ):
* '''Глубинное обучение 1''' (для групп МОП: 201-203)
* '''Введение в глубинное обучение''' (для групп остальных специализаций, кроме РС: 204, 207-2010).

Курс посвящен глубинному обучению – самой активно развивающейся области машинного обучения. Слушатели курса узнают, какие задачи машинного обучения можно решать с помощью нейронных сетей и какие виды нейронных сетей находят свои применения на сегодняшний день. Курс имеет явную практическую направленность, студентам предлагаются задания на обучение нейронных сетей на фреймворке PyTorch языка программирования Python. В курсе обзорно, но достаточно для ознакомления разбираются задачи на изображения и тексты.

=== Цели освоения курса ===
# Знать принцип работы и уметь обучать следующие виды нейронных сетей: полносвязные, сверточные, рекуррентные, трансформеры.
# Владение фреймворком PyTorch для обучения нейронных сетей.
# Понимание различных задач, которые решаются с применением глубинного обучения.
# Умение обрабатывать данные и составлять пайплайны для обучения нейронных сетей.

== Полезные ссылки ==

* Репозиторий курса: https://github.com/isadrtdinov/intro-to-dl-hse

* Таблица с оценками: https://docs.google.com/spreadsheets/d/1GUChnaG3M9zVVY-p8qtgsYrLas43w__BxrnyobNGctw/edit?usp=sharing

* Чат с обсуждением (МОП): +F6omM9r5jDYyZWMy (добавить после хттпс://т.ме/)

* Чат с обсуждением (не МОП): +SDpvrQwM4g0yZWFi (добавить после хтппс://т.ме/)

== Преподаватели и ассистенты ==

Лекции (МОП); кому писать, если кажется, что все пропало: [https://t.me/isadrtdinov Ильдус Садртдинов]

{| class="wikitable"
|-
! Группа !! Семинарист !! Ассистенты !! Инвайт в anytask
|-
| 201 || [https://t.me/baranovskayadaria Дарья Барановская] || [https://t.me/JohanDDC Иван Пешехонов], [https://t.me/nikoryagin Никита Корягин] || gMVmQgY
|-
| 202 || [https://t.me/isadrtdinov Ильдус Садртдинов] || [https://t.me/territhing Сергей Пилипенко], [https://t.me/huwar Мадина Халматова] || oDu4b6c
|-
| 203 || [https://t.me/Birshert Алексей Биршерт] || [https://t.me/maripkl Мария Поклонская], [https://t.me/DimaLishudi Дмитрий Лишуди] || eqbgrKV
|-
| 204 || [https://t.me/madn_boi Никита Морозов] || [https://t.me/SergejVolkov Фома Шипилов] || STMB5yV
|-
| 207 || [https://t.me/asukhareva Анжела Сухарева] || [https://t.me/zzlatazz Злата Клименко] || I6JUg1f
|-
| 208 || [https://t.me/aktsvigun Аким Цвигун] || [https://t.me/lily_kurchenko Лилия Курченко] || WSekHxn
|-
| 209 || [https://t.me/call_me_Dory Диана Сусла] || [https://t.me/KrupetsSanches Александр Крупецков] || D4Vl7P4
|-
| 2010 || [https://t.me/mrkimster Сергей Ким] || [https://t.me/messlav Вячеслав Пирогов] || 5sfP4yz
|}

== Формулы оценок ==

=== МОП ===

''Итог'' = ''Округление''(0.3 * БДЗ + 0.25 * МДЗ + 0.15 ПР + 0.3 * Э)

* БДЗ - оценка за большие домашние задания
* МДЗ - оценка за маленькие домашние задания
* ПР - оценка за проверочные работы (проводятся на семинарах)
* Э - оценка за экзамен

Округление арифметическое. Определим накопленную оценку как ''Накоп'' = ''Округление''((0.3 * БДЗ + 0.25 МДЗ + 0.15 * ПР) / 0.7). Если Накоп >= 8, то студент может получить ''Накоп'' в качестве итоговой оценки, не приходя на экзамен.

'''Формат экзамена''': письменный, в аудитории, материалами пользоваться не разрешается, 2 часа.

'''Формат пересдачи''': накопленная оценка сохраняется, формат аналогичен экзамену.

=== Не МОП ===

''Итог'' = ''Округление''(0.7 * МДЗ + 0.3 * ПР)

* МДЗ - оценка за маленькие домашние задания
* ПР - оценка за проверочные работы (проводятся на семинарах)

Округление арифметическое.

'''Формат экзамена''': экзамен не предусмотрен.

'''Формат пересдачи''': досдача МДЗ.

== Лекции ==

=== МОП ===

Конспект от @ninachely: [https://exuberant-arthropod-be8.notion.site/DL-1-07582f084f5148a19c31a84200bb9b58 notion]

# Автоматическое дифференцирование, полносвязные нейронные сети: [https://www.youtube.com/watch?v=g552oCpg-NE&list=PLEwK9wdS5g0onnKgvKxuUJN1Ojchl9Q9P&index=1&t=1756s&ab_channel=ФКНВШЭ—дистанционныезанятия запись]
# Оптимизация нейронных сетей, SGD, Adam/AdamW. Dropout и Batch-нормализация: [https://www.youtube.com/watch?v=O9JV_Kgd31E&list=PLEwK9wdS5g0onnKgvKxuUJN1Ojchl9Q9P&index=3&t=1939s&ab_channel=ФКНВШЭ—дистанционныезанятия запись]
# Разбор дифференцирования из МДЗ 1, операция свертки: [https://youtu.be/xa69n0yCid8 запись]
# Архитектуры сверточных нейронных сетей: [https://youtu.be/5S5HpbDm7eA запись]
# Задачи компьютерного зрения, сегментация и детекция: [https://youtu.be/gJfDJoLEZIY запись]
# Токенизация текстов, эмбеддинги слов, TextCNN: [https://youtu.be/WihC2R5lNmg запись]
# Рекуррентные нейронные сети, языковые модели: [https://youtu.be/Ysj4i2S0D6c запись]
# Архитектура трансформера: [https://youtu.be/wLUJVRqzEyM запись]
# Self-supervised learning, BERT, SimCLR: [https://youtu.be/VpfqcP8HRmQ запись]
# Трансформеры для компьютерного зрения: [https://youtu.be/Dd7uQiAzrnA запись]
# Оценка неопределенности, дистилляция, прунинг, квантизация: [https://youtu.be/Jc-wbLCHtns запись]

=== Не МОП ===

В качестве лекционного материала используется онлайн-курс "Основы глубинного обучения", который охватывает следующие темы:

# Введение в нейронные сети, полносвязные нейронные сети, оптимизация

== Семинары ==

=== МОП ===

# Введение в библиотеку PyTorch. Автоматическое дифференцирование: [https://www.youtube.com/watch?v=j6JxUpGaav4&list=PLEwK9wdS5g0onnKgvKxuUJN1Ojchl9Q9P&index=2&t=3s&ab_channel=ФКНВШЭ—дистанционныезанятия запись (группа 202)]
# Полносвязные нейронные сети. Общая схема пайплайна обучения на PyTorch: [https://www.youtube.com/watch?v=LZQVBuzttjM&list=PLEwK9wdS5g0onnKgvKxuUJN1Ojchl9Q9P&index=4&t=1799s&ab_channel=ФКНВШЭ—дистанционныезанятия запись (группа 202)]
# Свертки в PyTorch, реализация архитектуры LeNet: [https://youtu.be/CCCiGacZAVo запись (группа 202)]
# Обучение моделей из torchvision, аугментации и fine-tuning: [https://youtu.be/1wCd23p2l98 запись (группа 202)]
# Семантическая сегментация и детекция: [https://youtu.be/NSNYSEYAHa8 запись (группа 202)]
# Word2Vec, Fasttext и TextCNN: [https://youtu.be/2r67B1sPlDU запись (группа 202)]
# Генерация последовательностей, image captioning: [https://youtu.be/-KdvXtUhwEk запись (группа 202)]
# Архитектура трансформера: [https://youtu.be/QY456sQVTrM запись (группа 202)]
# Дообучение модели BERT: [https://youtu.be/XeFc3-_AYl8 запись (группа 202)]
# Семинар по не проводился

=== Не МОП ===

== Маленькие домашние задания ==

=== МОП ===

'''МДЗ №1.''' Автоматическое дифференцирование и полносвязные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/tree/2022-2023/homeworks-small/shw-01-mlp ссылка]

Дата выдачи: '''27.09.22 (вт)'''

Мягкий дедлайн: '''19.10.22 23:59 (ср)'''

Жесткий дедлайн: '''23.10.22 23:59 (вс)'''

'''МДЗ №2.''' Сверточный классификатор: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-02-cnn.ipynb ссылка]

Дата выдачи: '''21.10.22 (пт)'''

Мягкий дедлайн: '''06.11.22 23:59 (вс)'''

Жесткий дедлайн: '''10.11.22 23:59 (чт)'''

'''МДЗ №3.''' RNN и языковые модели: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-03-rnn/shw-03-rnn.ipynb ссылка]

Дата выдачи: '''12.01.22 (чт)'''

Мягкий дедлайн: '''29.01.23 23:59 (вс)'''

Жесткий дедлайн: '''02.02.23 23:59 (чт)'''

=== Не МОП ===

'''МДЗ №1.''' Полносвязные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-01-mlp-light.ipynb ссылка]

Дата выдачи: '''08.11.22 (вт)'''

Мягкий дедлайн: '''23.11.22 23:59 (ср)'''

Жесткий дедлайн: '''27.11.22 23:59 (вс)'''

'''МДЗ №2.''' Сверточный классификатор: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-02-cnn.ipynb ссылка]

Дата выдачи: '''02.12.22 (вт)'''

Мягкий дедлайн: '''16.12.22 23:59 (ср)'''

Жесткий дедлайн: '''18.12.22 23:59 (вс)'''

== Большие домашние задания ==

Большие домашние задания подразумевают реализацию пайплайна обучения и тестирования нейросети на выданных данных. '''Выдаются только группам МОПа.'''

'''БДЗ №1.''' Классификация изображений.

Подробности задания ищите по ссылке в канале с объявлениями.

Дата выдачи: '''14.11.22 (пн)'''

Мягкий дедлайн (чекпойнт): '''29.11.22 23:59 (вт)'''

Жесткий дедлайн (чекпойнт): '''06.12.22 23:59 (вт)'''

Мягкий дедлайн (финальная сдача): '''13.12.22 23:59 (вт)'''

Жесткий дедлайн (финальная сдача): '''17.12.22 23:59 (сб)'''

== Теоретические домашние задания ==

Теоретические ДЗ не сдаются и предлагаются студентам для самостоятельного решения и ознакомления

'''ТДЗ №1.''' Полносвязные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-theory/thw-01-mlp.pdf ссылка]

'''ТДЗ №2.''' Сверточные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-theory/thw-02-cnn.pdf ссылка]

Глубинное обучение 1 22/23

2023-01-26T13:56:32Z

Isadrtdinov 1: /* МОП */

== О курсе ==

Это страничка курсов 2022-2023 года (1-3 модуль 3 курса ПМИ):
* '''Глубинное обучение 1''' (для групп МОП: 201-203)
* '''Введение в глубинное обучение''' (для групп остальных специализаций, кроме РС: 204, 207-2010).

Курс посвящен глубинному обучению – самой активно развивающейся области машинного обучения. Слушатели курса узнают, какие задачи машинного обучения можно решать с помощью нейронных сетей и какие виды нейронных сетей находят свои применения на сегодняшний день. Курс имеет явную практическую направленность, студентам предлагаются задания на обучение нейронных сетей на фреймворке PyTorch языка программирования Python. В курсе обзорно, но достаточно для ознакомления разбираются задачи на изображения и тексты.

=== Цели освоения курса ===
# Знать принцип работы и уметь обучать следующие виды нейронных сетей: полносвязные, сверточные, рекуррентные, трансформеры.
# Владение фреймворком PyTorch для обучения нейронных сетей.
# Понимание различных задач, которые решаются с применением глубинного обучения.
# Умение обрабатывать данные и составлять пайплайны для обучения нейронных сетей.

== Полезные ссылки ==

* Репозиторий курса: https://github.com/isadrtdinov/intro-to-dl-hse

* Таблица с оценками: https://docs.google.com/spreadsheets/d/1GUChnaG3M9zVVY-p8qtgsYrLas43w__BxrnyobNGctw/edit?usp=sharing

* Чат с обсуждением (МОП): +F6omM9r5jDYyZWMy (добавить после хттпс://т.ме/)

* Чат с обсуждением (не МОП): +SDpvrQwM4g0yZWFi (добавить после хтппс://т.ме/)

== Преподаватели и ассистенты ==

Лекции (МОП); кому писать, если кажется, что все пропало: [https://t.me/isadrtdinov Ильдус Садртдинов]

{| class="wikitable"
|-
! Группа !! Семинарист !! Ассистенты !! Инвайт в anytask
|-
| 201 || [https://t.me/baranovskayadaria Дарья Барановская] || [https://t.me/JohanDDC Иван Пешехонов], [https://t.me/nikoryagin Никита Корягин] || gMVmQgY
|-
| 202 || [https://t.me/isadrtdinov Ильдус Садртдинов] || [https://t.me/territhing Сергей Пилипенко], [https://t.me/huwar Мадина Халматова] || oDu4b6c
|-
| 203 || [https://t.me/Birshert Алексей Биршерт] || [https://t.me/maripkl Мария Поклонская], [https://t.me/DimaLishudi Дмитрий Лишуди] || eqbgrKV
|-
| 204 || [https://t.me/madn_boi Никита Морозов] || [https://t.me/SergejVolkov Фома Шипилов] || STMB5yV
|-
| 207 || [https://t.me/asukhareva Анжела Сухарева] || [https://t.me/zzlatazz Злата Клименко] || I6JUg1f
|-
| 208 || [https://t.me/aktsvigun Аким Цвигун] || [https://t.me/lily_kurchenko Лилия Курченко] || WSekHxn
|-
| 209 || [https://t.me/call_me_Dory Диана Сусла] || [https://t.me/KrupetsSanches Александр Крупецков] || D4Vl7P4
|-
| 2010 || [https://t.me/mrkimster Сергей Ким] || [https://t.me/messlav Вячеслав Пирогов] || 5sfP4yz
|}

== Формулы оценок ==

=== МОП ===

''Итог'' = ''Округление''(0.3 * БДЗ + 0.25 * МДЗ + 0.15 ПР + 0.3 * Э)

* БДЗ - оценка за большие домашние задания
* МДЗ - оценка за маленькие домашние задания
* ПР - оценка за проверочные работы (проводятся на семинарах)
* Э - оценка за экзамен

Округление арифметическое. Определим накопленную оценку как ''Накоп'' = ''Округление''((0.3 * БДЗ + 0.25 МДЗ + 0.15 * ПР) / 0.7). Если Накоп >= 8, то студент может получить ''Накоп'' в качестве итоговой оценки, не приходя на экзамен.

'''Формат экзамена''': письменный, в аудитории, материалами пользоваться не разрешается, 2 часа.

'''Формат пересдачи''': накопленная оценка сохраняется, формат аналогичен экзамену.

=== Не МОП ===

''Итог'' = ''Округление''(0.7 * МДЗ + 0.3 * ПР)

* МДЗ - оценка за маленькие домашние задания
* ПР - оценка за проверочные работы (проводятся на семинарах)

Округление арифметическое.

'''Формат экзамена''': экзамен не предусмотрен.

'''Формат пересдачи''': досдача МДЗ.

== Лекции ==

=== МОП ===

Конспект от @ninachely: [https://exuberant-arthropod-be8.notion.site/DL-1-07582f084f5148a19c31a84200bb9b58 notion]

# Автоматическое дифференцирование, полносвязные нейронные сети: [https://www.youtube.com/watch?v=g552oCpg-NE&list=PLEwK9wdS5g0onnKgvKxuUJN1Ojchl9Q9P&index=1&t=1756s&ab_channel=ФКНВШЭ—дистанционныезанятия запись]
# Оптимизация нейронных сетей, SGD, Adam/AdamW. Dropout и Batch-нормализация: [https://www.youtube.com/watch?v=O9JV_Kgd31E&list=PLEwK9wdS5g0onnKgvKxuUJN1Ojchl9Q9P&index=3&t=1939s&ab_channel=ФКНВШЭ—дистанционныезанятия запись]
# Разбор дифференцирования из МДЗ 1, операция свертки: [https://youtu.be/xa69n0yCid8 запись]
# Архитектуры сверточных нейронных сетей: [https://youtu.be/5S5HpbDm7eA запись]
# Задачи компьютерного зрения, сегментация и детекция: [https://youtu.be/gJfDJoLEZIY запись]
# Токенизация текстов, эмбеддинги слов, TextCNN: [https://youtu.be/WihC2R5lNmg запись]
# Рекуррентные нейронные сети, языковые модели: [https://youtu.be/Ysj4i2S0D6c запись]
# Архитектура трансформера: [https://youtu.be/wLUJVRqzEyM запись]
# Self-supervised learning, BERT, SimCLR: [https://youtu.be/VpfqcP8HRmQ запись]
# Трансформеры для компьютерного зрения: [https://youtu.be/Dd7uQiAzrnA запись]

=== Не МОП ===

В качестве лекционного материала используется онлайн-курс "Основы глубинного обучения", который охватывает следующие темы:

# Введение в нейронные сети, полносвязные нейронные сети, оптимизация

== Семинары ==

=== МОП ===

# Введение в библиотеку PyTorch. Автоматическое дифференцирование: [https://www.youtube.com/watch?v=j6JxUpGaav4&list=PLEwK9wdS5g0onnKgvKxuUJN1Ojchl9Q9P&index=2&t=3s&ab_channel=ФКНВШЭ—дистанционныезанятия запись (группа 202)]
# Полносвязные нейронные сети. Общая схема пайплайна обучения на PyTorch: [https://www.youtube.com/watch?v=LZQVBuzttjM&list=PLEwK9wdS5g0onnKgvKxuUJN1Ojchl9Q9P&index=4&t=1799s&ab_channel=ФКНВШЭ—дистанционныезанятия запись (группа 202)]
# Свертки в PyTorch, реализация архитектуры LeNet: [https://youtu.be/CCCiGacZAVo запись (группа 202)]
# Обучение моделей из torchvision, аугментации и fine-tuning: [https://youtu.be/1wCd23p2l98 запись (группа 202)]
# Семантическая сегментация и детекция: [https://youtu.be/NSNYSEYAHa8 запись (группа 202)]
# Word2Vec, Fasttext и TextCNN: [https://youtu.be/2r67B1sPlDU запись (группа 202)]
# Генерация последовательностей, image captioning: [https://youtu.be/-KdvXtUhwEk запись (группа 202)]
# Архитектура трансформера: [https://youtu.be/QY456sQVTrM запись (группа 202)]
# Дообучение модели BERT: [https://youtu.be/XeFc3-_AYl8 запись (группа 202)]
# Семинар по не проводился

=== Не МОП ===

== Маленькие домашние задания ==

=== МОП ===

'''МДЗ №1.''' Автоматическое дифференцирование и полносвязные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/tree/2022-2023/homeworks-small/shw-01-mlp ссылка]

Дата выдачи: '''27.09.22 (вт)'''

Мягкий дедлайн: '''19.10.22 23:59 (ср)'''

Жесткий дедлайн: '''23.10.22 23:59 (вс)'''

'''МДЗ №2.''' Сверточный классификатор: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-02-cnn.ipynb ссылка]

Дата выдачи: '''21.10.22 (пт)'''

Мягкий дедлайн: '''06.11.22 23:59 (вс)'''

Жесткий дедлайн: '''10.11.22 23:59 (чт)'''

'''МДЗ №3.''' RNN и языковые модели: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-03-rnn/shw-03-rnn.ipynb ссылка]

Дата выдачи: '''12.01.22 (чт)'''

Мягкий дедлайн: '''29.01.23 23:59 (вс)'''

Жесткий дедлайн: '''02.02.23 23:59 (чт)'''

=== Не МОП ===

'''МДЗ №1.''' Полносвязные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-01-mlp-light.ipynb ссылка]

Дата выдачи: '''08.11.22 (вт)'''

Мягкий дедлайн: '''23.11.22 23:59 (ср)'''

Жесткий дедлайн: '''27.11.22 23:59 (вс)'''

'''МДЗ №2.''' Сверточный классификатор: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-02-cnn.ipynb ссылка]

Дата выдачи: '''02.12.22 (вт)'''

Мягкий дедлайн: '''16.12.22 23:59 (ср)'''

Жесткий дедлайн: '''18.12.22 23:59 (вс)'''

== Большие домашние задания ==

Большие домашние задания подразумевают реализацию пайплайна обучения и тестирования нейросети на выданных данных. '''Выдаются только группам МОПа.'''

'''БДЗ №1.''' Классификация изображений.

Подробности задания ищите по ссылке в канале с объявлениями.

Дата выдачи: '''14.11.22 (пн)'''

Мягкий дедлайн (чекпойнт): '''29.11.22 23:59 (вт)'''

Жесткий дедлайн (чекпойнт): '''06.12.22 23:59 (вт)'''

Мягкий дедлайн (финальная сдача): '''13.12.22 23:59 (вт)'''

Жесткий дедлайн (финальная сдача): '''17.12.22 23:59 (сб)'''

== Теоретические домашние задания ==

Теоретические ДЗ не сдаются и предлагаются студентам для самостоятельного решения и ознакомления

'''ТДЗ №1.''' Полносвязные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-theory/thw-01-mlp.pdf ссылка]

'''ТДЗ №2.''' Сверточные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-theory/thw-02-cnn.pdf ссылка]

Глубинное обучение 1 22/23

2023-01-26T13:55:26Z

Isadrtdinov 1: /* МОП */

== О курсе ==

Это страничка курсов 2022-2023 года (1-3 модуль 3 курса ПМИ):
* '''Глубинное обучение 1''' (для групп МОП: 201-203)
* '''Введение в глубинное обучение''' (для групп остальных специализаций, кроме РС: 204, 207-2010).

Курс посвящен глубинному обучению – самой активно развивающейся области машинного обучения. Слушатели курса узнают, какие задачи машинного обучения можно решать с помощью нейронных сетей и какие виды нейронных сетей находят свои применения на сегодняшний день. Курс имеет явную практическую направленность, студентам предлагаются задания на обучение нейронных сетей на фреймворке PyTorch языка программирования Python. В курсе обзорно, но достаточно для ознакомления разбираются задачи на изображения и тексты.

=== Цели освоения курса ===
# Знать принцип работы и уметь обучать следующие виды нейронных сетей: полносвязные, сверточные, рекуррентные, трансформеры.
# Владение фреймворком PyTorch для обучения нейронных сетей.
# Понимание различных задач, которые решаются с применением глубинного обучения.
# Умение обрабатывать данные и составлять пайплайны для обучения нейронных сетей.

== Полезные ссылки ==

* Репозиторий курса: https://github.com/isadrtdinov/intro-to-dl-hse

* Таблица с оценками: https://docs.google.com/spreadsheets/d/1GUChnaG3M9zVVY-p8qtgsYrLas43w__BxrnyobNGctw/edit?usp=sharing

* Чат с обсуждением (МОП): +F6omM9r5jDYyZWMy (добавить после хттпс://т.ме/)

* Чат с обсуждением (не МОП): +SDpvrQwM4g0yZWFi (добавить после хтппс://т.ме/)

== Преподаватели и ассистенты ==

Лекции (МОП); кому писать, если кажется, что все пропало: [https://t.me/isadrtdinov Ильдус Садртдинов]

{| class="wikitable"
|-
! Группа !! Семинарист !! Ассистенты !! Инвайт в anytask
|-
| 201 || [https://t.me/baranovskayadaria Дарья Барановская] || [https://t.me/JohanDDC Иван Пешехонов], [https://t.me/nikoryagin Никита Корягин] || gMVmQgY
|-
| 202 || [https://t.me/isadrtdinov Ильдус Садртдинов] || [https://t.me/territhing Сергей Пилипенко], [https://t.me/huwar Мадина Халматова] || oDu4b6c
|-
| 203 || [https://t.me/Birshert Алексей Биршерт] || [https://t.me/maripkl Мария Поклонская], [https://t.me/DimaLishudi Дмитрий Лишуди] || eqbgrKV
|-
| 204 || [https://t.me/madn_boi Никита Морозов] || [https://t.me/SergejVolkov Фома Шипилов] || STMB5yV
|-
| 207 || [https://t.me/asukhareva Анжела Сухарева] || [https://t.me/zzlatazz Злата Клименко] || I6JUg1f
|-
| 208 || [https://t.me/aktsvigun Аким Цвигун] || [https://t.me/lily_kurchenko Лилия Курченко] || WSekHxn
|-
| 209 || [https://t.me/call_me_Dory Диана Сусла] || [https://t.me/KrupetsSanches Александр Крупецков] || D4Vl7P4
|-
| 2010 || [https://t.me/mrkimster Сергей Ким] || [https://t.me/messlav Вячеслав Пирогов] || 5sfP4yz
|}

== Формулы оценок ==

=== МОП ===

''Итог'' = ''Округление''(0.3 * БДЗ + 0.25 * МДЗ + 0.15 ПР + 0.3 * Э)

* БДЗ - оценка за большие домашние задания
* МДЗ - оценка за маленькие домашние задания
* ПР - оценка за проверочные работы (проводятся на семинарах)
* Э - оценка за экзамен

Округление арифметическое. Определим накопленную оценку как ''Накоп'' = ''Округление''((0.3 * БДЗ + 0.25 МДЗ + 0.15 * ПР) / 0.7). Если Накоп >= 8, то студент может получить ''Накоп'' в качестве итоговой оценки, не приходя на экзамен.

'''Формат экзамена''': письменный, в аудитории, материалами пользоваться не разрешается, 2 часа.

'''Формат пересдачи''': накопленная оценка сохраняется, формат аналогичен экзамену.

=== Не МОП ===

''Итог'' = ''Округление''(0.7 * МДЗ + 0.3 * ПР)

* МДЗ - оценка за маленькие домашние задания
* ПР - оценка за проверочные работы (проводятся на семинарах)

Округление арифметическое.

'''Формат экзамена''': экзамен не предусмотрен.

'''Формат пересдачи''': досдача МДЗ.

== Лекции ==

=== МОП ===

Конспект от @ninachely: [https://exuberant-arthropod-be8.notion.site/DL-1-07582f084f5148a19c31a84200bb9b58 notion]

# Автоматическое дифференцирование, полносвязные нейронные сети: [https://www.youtube.com/watch?v=g552oCpg-NE&list=PLEwK9wdS5g0onnKgvKxuUJN1Ojchl9Q9P&index=1&t=1756s&ab_channel=ФКНВШЭ—дистанционныезанятия запись]
# Оптимизация нейронных сетей, SGD, Adam/AdamW. Dropout и Batch-нормализация: [https://www.youtube.com/watch?v=O9JV_Kgd31E&list=PLEwK9wdS5g0onnKgvKxuUJN1Ojchl9Q9P&index=3&t=1939s&ab_channel=ФКНВШЭ—дистанционныезанятия запись]
# Разбор дифференцирования из МДЗ 1, операция свертки: [https://youtu.be/xa69n0yCid8 запись]
# Архитектуры сверточных нейронных сетей: [https://youtu.be/5S5HpbDm7eA запись]
# Задачи компьютерного зрения, сегментация и детекция: [https://youtu.be/gJfDJoLEZIY запись]
# Токенизация текстов, эмбеддинги слов, TextCNN: [https://youtu.be/WihC2R5lNmg запись]
# Рекуррентные нейронные сети, языковые модели: [https://youtu.be/Ysj4i2S0D6c запись]
# Архитектура трансформера: [https://youtu.be/wLUJVRqzEyM запись]
# Self-supervised learning, BERT, SimCLR: [https://youtu.be/VpfqcP8HRmQ запись]
# Трансформеры для компьютерного зрения: [https://youtu.be/Dd7uQiAzrnA запись]

=== Не МОП ===

В качестве лекционного материала используется онлайн-курс "Основы глубинного обучения", который охватывает следующие темы:

# Введение в нейронные сети, полносвязные нейронные сети, оптимизация

== Семинары ==

=== МОП ===

# Введение в библиотеку PyTorch. Автоматическое дифференцирование: [https://www.youtube.com/watch?v=j6JxUpGaav4&list=PLEwK9wdS5g0onnKgvKxuUJN1Ojchl9Q9P&index=2&t=3s&ab_channel=ФКНВШЭ—дистанционныезанятия запись (группа 202)]
# Полносвязные нейронные сети. Общая схема пайплайна обучения на PyTorch: [https://www.youtube.com/watch?v=LZQVBuzttjM&list=PLEwK9wdS5g0onnKgvKxuUJN1Ojchl9Q9P&index=4&t=1799s&ab_channel=ФКНВШЭ—дистанционныезанятия запись (группа 202)]
# Свертки в PyTorch, реализация архитектуры LeNet: [https://youtu.be/CCCiGacZAVo запись (группа 202)]
# Обучение моделей из torchvision, аугментации и fine-tuning: [https://youtu.be/1wCd23p2l98 запись (группа 202)]
# Семантическая сегментация и детекция: [https://youtu.be/NSNYSEYAHa8 запись (группа 202)]
# Word2Vec, Fasttext и TextCNN: [https://youtu.be/2r67B1sPlDU запись (группа 202)]
# Генерация последовательностей, image captioning: [https://youtu.be/-KdvXtUhwEk запись (группа 202)]
# Архитектура трансформера: [https://youtu.be/QY456sQVTrM запись (группа 202)]
# Дообучение модели BERT: [https://youtu.be/XeFc3-_AYl8 запись (группа 202)]

=== Не МОП ===

== Маленькие домашние задания ==

=== МОП ===

'''МДЗ №1.''' Автоматическое дифференцирование и полносвязные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/tree/2022-2023/homeworks-small/shw-01-mlp ссылка]

Дата выдачи: '''27.09.22 (вт)'''

Мягкий дедлайн: '''19.10.22 23:59 (ср)'''

Жесткий дедлайн: '''23.10.22 23:59 (вс)'''

'''МДЗ №2.''' Сверточный классификатор: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-02-cnn.ipynb ссылка]

Дата выдачи: '''21.10.22 (пт)'''

Мягкий дедлайн: '''06.11.22 23:59 (вс)'''

Жесткий дедлайн: '''10.11.22 23:59 (чт)'''

'''МДЗ №3.''' RNN и языковые модели: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-03-rnn/shw-03-rnn.ipynb ссылка]

Дата выдачи: '''12.01.22 (чт)'''

Мягкий дедлайн: '''29.01.23 23:59 (вс)'''

Жесткий дедлайн: '''02.02.23 23:59 (чт)'''

=== Не МОП ===

'''МДЗ №1.''' Полносвязные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-01-mlp-light.ipynb ссылка]

Дата выдачи: '''08.11.22 (вт)'''

Мягкий дедлайн: '''23.11.22 23:59 (ср)'''

Жесткий дедлайн: '''27.11.22 23:59 (вс)'''

'''МДЗ №2.''' Сверточный классификатор: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-02-cnn.ipynb ссылка]

Дата выдачи: '''02.12.22 (вт)'''

Мягкий дедлайн: '''16.12.22 23:59 (ср)'''

Жесткий дедлайн: '''18.12.22 23:59 (вс)'''

== Большие домашние задания ==

Большие домашние задания подразумевают реализацию пайплайна обучения и тестирования нейросети на выданных данных. '''Выдаются только группам МОПа.'''

'''БДЗ №1.''' Классификация изображений.

Подробности задания ищите по ссылке в канале с объявлениями.

Дата выдачи: '''14.11.22 (пн)'''

Мягкий дедлайн (чекпойнт): '''29.11.22 23:59 (вт)'''

Жесткий дедлайн (чекпойнт): '''06.12.22 23:59 (вт)'''

Мягкий дедлайн (финальная сдача): '''13.12.22 23:59 (вт)'''

Жесткий дедлайн (финальная сдача): '''17.12.22 23:59 (сб)'''

== Теоретические домашние задания ==

Теоретические ДЗ не сдаются и предлагаются студентам для самостоятельного решения и ознакомления

'''ТДЗ №1.''' Полносвязные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-theory/thw-01-mlp.pdf ссылка]

'''ТДЗ №2.''' Сверточные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-theory/thw-02-cnn.pdf ссылка]

Глубинное обучение 1 22/23

2023-01-18T09:49:04Z

Isadrtdinov 1: /* МОП */

== О курсе ==

Это страничка курсов 2022-2023 года (1-3 модуль 3 курса ПМИ):
* '''Глубинное обучение 1''' (для групп МОП: 201-203)
* '''Введение в глубинное обучение''' (для групп остальных специализаций, кроме РС: 204, 207-2010).

Курс посвящен глубинному обучению – самой активно развивающейся области машинного обучения. Слушатели курса узнают, какие задачи машинного обучения можно решать с помощью нейронных сетей и какие виды нейронных сетей находят свои применения на сегодняшний день. Курс имеет явную практическую направленность, студентам предлагаются задания на обучение нейронных сетей на фреймворке PyTorch языка программирования Python. В курсе обзорно, но достаточно для ознакомления разбираются задачи на изображения и тексты.

=== Цели освоения курса ===
# Знать принцип работы и уметь обучать следующие виды нейронных сетей: полносвязные, сверточные, рекуррентные, трансформеры.
# Владение фреймворком PyTorch для обучения нейронных сетей.
# Понимание различных задач, которые решаются с применением глубинного обучения.
# Умение обрабатывать данные и составлять пайплайны для обучения нейронных сетей.

== Полезные ссылки ==

* Репозиторий курса: https://github.com/isadrtdinov/intro-to-dl-hse

* Таблица с оценками: https://docs.google.com/spreadsheets/d/1GUChnaG3M9zVVY-p8qtgsYrLas43w__BxrnyobNGctw/edit?usp=sharing

* Чат с обсуждением (МОП): +F6omM9r5jDYyZWMy (добавить после хттпс://т.ме/)

* Чат с обсуждением (не МОП): +SDpvrQwM4g0yZWFi (добавить после хтппс://т.ме/)

== Преподаватели и ассистенты ==

Лекции (МОП); кому писать, если кажется, что все пропало: [https://t.me/isadrtdinov Ильдус Садртдинов]

{| class="wikitable"
|-
! Группа !! Семинарист !! Ассистенты !! Инвайт в anytask
|-
| 201 || [https://t.me/baranovskayadaria Дарья Барановская] || [https://t.me/JohanDDC Иван Пешехонов], [https://t.me/nikoryagin Никита Корягин] || gMVmQgY
|-
| 202 || [https://t.me/isadrtdinov Ильдус Садртдинов] || [https://t.me/territhing Сергей Пилипенко], [https://t.me/huwar Мадина Халматова] || oDu4b6c
|-
| 203 || [https://t.me/Birshert Алексей Биршерт] || [https://t.me/maripkl Мария Поклонская], [https://t.me/DimaLishudi Дмитрий Лишуди] || eqbgrKV
|-
| 204 || [https://t.me/madn_boi Никита Морозов] || [https://t.me/SergejVolkov Фома Шипилов] || STMB5yV
|-
| 207 || [https://t.me/asukhareva Анжела Сухарева] || [https://t.me/zzlatazz Злата Клименко] || I6JUg1f
|-
| 208 || [https://t.me/aktsvigun Аким Цвигун] || [https://t.me/lily_kurchenko Лилия Курченко] || WSekHxn
|-
| 209 || [https://t.me/call_me_Dory Диана Сусла] || [https://t.me/KrupetsSanches Александр Крупецков] || D4Vl7P4
|-
| 2010 || [https://t.me/mrkimster Сергей Ким] || [https://t.me/messlav Вячеслав Пирогов] || 5sfP4yz
|}

== Формулы оценок ==

=== МОП ===

''Итог'' = ''Округление''(0.3 * БДЗ + 0.25 * МДЗ + 0.15 ПР + 0.3 * Э)

* БДЗ - оценка за большие домашние задания
* МДЗ - оценка за маленькие домашние задания
* ПР - оценка за проверочные работы (проводятся на семинарах)
* Э - оценка за экзамен

Округление арифметическое. Определим накопленную оценку как ''Накоп'' = ''Округление''((0.3 * БДЗ + 0.25 МДЗ + 0.15 * ПР) / 0.7). Если Накоп >= 8, то студент может получить ''Накоп'' в качестве итоговой оценки, не приходя на экзамен.

'''Формат экзамена''': письменный, в аудитории, материалами пользоваться не разрешается, 2 часа.

'''Формат пересдачи''': накопленная оценка сохраняется, формат аналогичен экзамену.

=== Не МОП ===

''Итог'' = ''Округление''(0.7 * МДЗ + 0.3 * ПР)

* МДЗ - оценка за маленькие домашние задания
* ПР - оценка за проверочные работы (проводятся на семинарах)

Округление арифметическое.

'''Формат экзамена''': экзамен не предусмотрен.

'''Формат пересдачи''': досдача МДЗ.

== Лекции ==

=== МОП ===

Конспект от @ninachely: [https://exuberant-arthropod-be8.notion.site/DL-1-07582f084f5148a19c31a84200bb9b58 notion]

# Автоматическое дифференцирование, полносвязные нейронные сети: [https://www.youtube.com/watch?v=g552oCpg-NE&list=PLEwK9wdS5g0onnKgvKxuUJN1Ojchl9Q9P&index=1&t=1756s&ab_channel=ФКНВШЭ—дистанционныезанятия запись]
# Оптимизация нейронных сетей, SGD, Adam/AdamW. Dropout и Batch-нормализация: [https://www.youtube.com/watch?v=O9JV_Kgd31E&list=PLEwK9wdS5g0onnKgvKxuUJN1Ojchl9Q9P&index=3&t=1939s&ab_channel=ФКНВШЭ—дистанционныезанятия запись]
# Разбор дифференцирования из МДЗ 1, операция свертки: [https://youtu.be/xa69n0yCid8 запись]
# Архитектуры сверточных нейронных сетей: [https://youtu.be/5S5HpbDm7eA запись]
# Задачи компьютерного зрения, сегментация и детекция: [https://youtu.be/gJfDJoLEZIY запись]
# Токенизация текстов, эмбеддинги слов, TextCNN: [https://youtu.be/WihC2R5lNmg запись]
# Рекуррентные нейронные сети, языковые модели: [https://youtu.be/Ysj4i2S0D6c запись]
# Архитектура трансформера: [https://youtu.be/wLUJVRqzEyM запись]
# Self-supervised learning, BERT, SimCLR: [https://youtu.be/VpfqcP8HRmQ запись]

=== Не МОП ===

В качестве лекционного материала используется онлайн-курс "Основы глубинного обучения", который охватывает следующие темы:

# Введение в нейронные сети, полносвязные нейронные сети, оптимизация

== Семинары ==

=== МОП ===

# Введение в библиотеку PyTorch. Автоматическое дифференцирование: [https://www.youtube.com/watch?v=j6JxUpGaav4&list=PLEwK9wdS5g0onnKgvKxuUJN1Ojchl9Q9P&index=2&t=3s&ab_channel=ФКНВШЭ—дистанционныезанятия запись (группа 202)]
# Полносвязные нейронные сети. Общая схема пайплайна обучения на PyTorch: [https://www.youtube.com/watch?v=LZQVBuzttjM&list=PLEwK9wdS5g0onnKgvKxuUJN1Ojchl9Q9P&index=4&t=1799s&ab_channel=ФКНВШЭ—дистанционныезанятия запись (группа 202)]
# Свертки в PyTorch, реализация архитектуры LeNet: [https://youtu.be/CCCiGacZAVo запись (группа 202)]
# Обучение моделей из torchvision, аугментации и fine-tuning: [https://youtu.be/1wCd23p2l98 запись (группа 202)]
# Семантическая сегментация и детекция: [https://youtu.be/NSNYSEYAHa8 запись (группа 202)]
# Word2Vec, Fasttext и TextCNN: [https://youtu.be/2r67B1sPlDU запись (группа 202)]
# Генерация последовательностей, image captioning: [https://youtu.be/-KdvXtUhwEk запись (группа 202)]
# Архитектура трансформера: [https://youtu.be/QY456sQVTrM запись (группа 202)]
# Дообучение модели BERT: [https://youtu.be/XeFc3-_AYl8 запись (группа 202)]

=== Не МОП ===

== Маленькие домашние задания ==

=== МОП ===

'''МДЗ №1.''' Автоматическое дифференцирование и полносвязные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/tree/2022-2023/homeworks-small/shw-01-mlp ссылка]

Дата выдачи: '''27.09.22 (вт)'''

Мягкий дедлайн: '''19.10.22 23:59 (ср)'''

Жесткий дедлайн: '''23.10.22 23:59 (вс)'''

'''МДЗ №2.''' Сверточный классификатор: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-02-cnn.ipynb ссылка]

Дата выдачи: '''21.10.22 (пт)'''

Мягкий дедлайн: '''06.11.22 23:59 (вс)'''

Жесткий дедлайн: '''10.11.22 23:59 (чт)'''

'''МДЗ №3.''' RNN и языковые модели: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-03-rnn/shw-03-rnn.ipynb ссылка]

Дата выдачи: '''12.01.22 (чт)'''

Мягкий дедлайн: '''29.01.23 23:59 (вс)'''

Жесткий дедлайн: '''02.02.23 23:59 (чт)'''

=== Не МОП ===

'''МДЗ №1.''' Полносвязные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-01-mlp-light.ipynb ссылка]

Дата выдачи: '''08.11.22 (вт)'''

Мягкий дедлайн: '''23.11.22 23:59 (ср)'''

Жесткий дедлайн: '''27.11.22 23:59 (вс)'''

'''МДЗ №2.''' Сверточный классификатор: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-02-cnn.ipynb ссылка]

Дата выдачи: '''02.12.22 (вт)'''

Мягкий дедлайн: '''16.12.22 23:59 (ср)'''

Жесткий дедлайн: '''18.12.22 23:59 (вс)'''

== Большие домашние задания ==

Большие домашние задания подразумевают реализацию пайплайна обучения и тестирования нейросети на выданных данных. '''Выдаются только группам МОПа.'''

'''БДЗ №1.''' Классификация изображений.

Подробности задания ищите по ссылке в канале с объявлениями.

Дата выдачи: '''14.11.22 (пн)'''

Мягкий дедлайн (чекпойнт): '''29.11.22 23:59 (вт)'''

Жесткий дедлайн (чекпойнт): '''06.12.22 23:59 (вт)'''

Мягкий дедлайн (финальная сдача): '''13.12.22 23:59 (вт)'''

Жесткий дедлайн (финальная сдача): '''17.12.22 23:59 (сб)'''

== Теоретические домашние задания ==

Теоретические ДЗ не сдаются и предлагаются студентам для самостоятельного решения и ознакомления

'''ТДЗ №1.''' Полносвязные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-theory/thw-01-mlp.pdf ссылка]

'''ТДЗ №2.''' Сверточные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-theory/thw-02-cnn.pdf ссылка]

Глубинное обучение 1 22/23

2023-01-18T09:47:57Z

Isadrtdinov 1: /* МОП */

== О курсе ==

Это страничка курсов 2022-2023 года (1-3 модуль 3 курса ПМИ):
* '''Глубинное обучение 1''' (для групп МОП: 201-203)
* '''Введение в глубинное обучение''' (для групп остальных специализаций, кроме РС: 204, 207-2010).

Курс посвящен глубинному обучению – самой активно развивающейся области машинного обучения. Слушатели курса узнают, какие задачи машинного обучения можно решать с помощью нейронных сетей и какие виды нейронных сетей находят свои применения на сегодняшний день. Курс имеет явную практическую направленность, студентам предлагаются задания на обучение нейронных сетей на фреймворке PyTorch языка программирования Python. В курсе обзорно, но достаточно для ознакомления разбираются задачи на изображения и тексты.

=== Цели освоения курса ===
# Знать принцип работы и уметь обучать следующие виды нейронных сетей: полносвязные, сверточные, рекуррентные, трансформеры.
# Владение фреймворком PyTorch для обучения нейронных сетей.
# Понимание различных задач, которые решаются с применением глубинного обучения.
# Умение обрабатывать данные и составлять пайплайны для обучения нейронных сетей.

== Полезные ссылки ==

* Репозиторий курса: https://github.com/isadrtdinov/intro-to-dl-hse

* Таблица с оценками: https://docs.google.com/spreadsheets/d/1GUChnaG3M9zVVY-p8qtgsYrLas43w__BxrnyobNGctw/edit?usp=sharing

* Чат с обсуждением (МОП): +F6omM9r5jDYyZWMy (добавить после хттпс://т.ме/)

* Чат с обсуждением (не МОП): +SDpvrQwM4g0yZWFi (добавить после хтппс://т.ме/)

== Преподаватели и ассистенты ==

Лекции (МОП); кому писать, если кажется, что все пропало: [https://t.me/isadrtdinov Ильдус Садртдинов]

{| class="wikitable"
|-
! Группа !! Семинарист !! Ассистенты !! Инвайт в anytask
|-
| 201 || [https://t.me/baranovskayadaria Дарья Барановская] || [https://t.me/JohanDDC Иван Пешехонов], [https://t.me/nikoryagin Никита Корягин] || gMVmQgY
|-
| 202 || [https://t.me/isadrtdinov Ильдус Садртдинов] || [https://t.me/territhing Сергей Пилипенко], [https://t.me/huwar Мадина Халматова] || oDu4b6c
|-
| 203 || [https://t.me/Birshert Алексей Биршерт] || [https://t.me/maripkl Мария Поклонская], [https://t.me/DimaLishudi Дмитрий Лишуди] || eqbgrKV
|-
| 204 || [https://t.me/madn_boi Никита Морозов] || [https://t.me/SergejVolkov Фома Шипилов] || STMB5yV
|-
| 207 || [https://t.me/asukhareva Анжела Сухарева] || [https://t.me/zzlatazz Злата Клименко] || I6JUg1f
|-
| 208 || [https://t.me/aktsvigun Аким Цвигун] || [https://t.me/lily_kurchenko Лилия Курченко] || WSekHxn
|-
| 209 || [https://t.me/call_me_Dory Диана Сусла] || [https://t.me/KrupetsSanches Александр Крупецков] || D4Vl7P4
|-
| 2010 || [https://t.me/mrkimster Сергей Ким] || [https://t.me/messlav Вячеслав Пирогов] || 5sfP4yz
|}

== Формулы оценок ==

=== МОП ===

''Итог'' = ''Округление''(0.3 * БДЗ + 0.25 * МДЗ + 0.15 ПР + 0.3 * Э)

* БДЗ - оценка за большие домашние задания
* МДЗ - оценка за маленькие домашние задания
* ПР - оценка за проверочные работы (проводятся на семинарах)
* Э - оценка за экзамен

Округление арифметическое. Определим накопленную оценку как ''Накоп'' = ''Округление''((0.3 * БДЗ + 0.25 МДЗ + 0.15 * ПР) / 0.7). Если Накоп >= 8, то студент может получить ''Накоп'' в качестве итоговой оценки, не приходя на экзамен.

'''Формат экзамена''': письменный, в аудитории, материалами пользоваться не разрешается, 2 часа.

'''Формат пересдачи''': накопленная оценка сохраняется, формат аналогичен экзамену.

=== Не МОП ===

''Итог'' = ''Округление''(0.7 * МДЗ + 0.3 * ПР)

* МДЗ - оценка за маленькие домашние задания
* ПР - оценка за проверочные работы (проводятся на семинарах)

Округление арифметическое.

'''Формат экзамена''': экзамен не предусмотрен.

'''Формат пересдачи''': досдача МДЗ.

== Лекции ==

=== МОП ===

Конспект от @ninachely: [https://exuberant-arthropod-be8.notion.site/DL-1-07582f084f5148a19c31a84200bb9b58 notion]

# Автоматическое дифференцирование, полносвязные нейронные сети: [https://www.youtube.com/watch?v=g552oCpg-NE&list=PLEwK9wdS5g0onnKgvKxuUJN1Ojchl9Q9P&index=1&t=1756s&ab_channel=ФКНВШЭ—дистанционныезанятия запись]
# Оптимизация нейронных сетей, SGD, Adam/AdamW. Dropout и Batch-нормализация: [https://www.youtube.com/watch?v=O9JV_Kgd31E&list=PLEwK9wdS5g0onnKgvKxuUJN1Ojchl9Q9P&index=3&t=1939s&ab_channel=ФКНВШЭ—дистанционныезанятия запись]
# Разбор дифференцирования из МДЗ 1, операция свертки: [https://youtu.be/xa69n0yCid8 запись]
# Архитектуры сверточных нейронных сетей: [https://youtu.be/5S5HpbDm7eA запись]
# Задачи компьютерного зрения, сегментация и детекция: [https://youtu.be/gJfDJoLEZIY запись]
# Токенизация текстов, эмбеддинги слов, TextCNN: [https://youtu.be/WihC2R5lNmg запись]
# Рекуррентные нейронные сети, языковые модели: [https://youtu.be/Ysj4i2S0D6c запись]
# Архитектура трансформера: [https://youtu.be/wLUJVRqzEyM запись]
# Self-supervised learning, BERT, SimCLR: [https://youtu.be/VpfqcP8HRmQ запись]

=== Не МОП ===

В качестве лекционного материала используется онлайн-курс "Основы глубинного обучения", который охватывает следующие темы:

# Введение в нейронные сети, полносвязные нейронные сети, оптимизация

== Семинары ==

=== МОП ===

# Введение в библиотеку PyTorch. Автоматическое дифференцирование: [https://www.youtube.com/watch?v=j6JxUpGaav4&list=PLEwK9wdS5g0onnKgvKxuUJN1Ojchl9Q9P&index=2&t=3s&ab_channel=ФКНВШЭ—дистанционныезанятия запись (группа 202)]
# Полносвязные нейронные сети. Общая схема пайплайна обучения на PyTorch: [https://www.youtube.com/watch?v=LZQVBuzttjM&list=PLEwK9wdS5g0onnKgvKxuUJN1Ojchl9Q9P&index=4&t=1799s&ab_channel=ФКНВШЭ—дистанционныезанятия запись (группа 202)]
# Свертки в PyTorch, реализация архитектуры LeNet: [https://youtu.be/CCCiGacZAVo запись (группа 202)]
# Обучение моделей из torchvision, аугментации и fine-tuning: [https://youtu.be/1wCd23p2l98 запись (группа 202)]
# Семантическая сегментация и детекция: [https://youtu.be/NSNYSEYAHa8 запись (группа 202)]

=== Не МОП ===

== Маленькие домашние задания ==

=== МОП ===

'''МДЗ №1.''' Автоматическое дифференцирование и полносвязные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/tree/2022-2023/homeworks-small/shw-01-mlp ссылка]

Дата выдачи: '''27.09.22 (вт)'''

Мягкий дедлайн: '''19.10.22 23:59 (ср)'''

Жесткий дедлайн: '''23.10.22 23:59 (вс)'''

'''МДЗ №2.''' Сверточный классификатор: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-02-cnn.ipynb ссылка]

Дата выдачи: '''21.10.22 (пт)'''

Мягкий дедлайн: '''06.11.22 23:59 (вс)'''

Жесткий дедлайн: '''10.11.22 23:59 (чт)'''

'''МДЗ №3.''' RNN и языковые модели: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-03-rnn/shw-03-rnn.ipynb ссылка]

Дата выдачи: '''12.01.22 (чт)'''

Мягкий дедлайн: '''29.01.23 23:59 (вс)'''

Жесткий дедлайн: '''02.02.23 23:59 (чт)'''

=== Не МОП ===

'''МДЗ №1.''' Полносвязные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-01-mlp-light.ipynb ссылка]

Дата выдачи: '''08.11.22 (вт)'''

Мягкий дедлайн: '''23.11.22 23:59 (ср)'''

Жесткий дедлайн: '''27.11.22 23:59 (вс)'''

'''МДЗ №2.''' Сверточный классификатор: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-02-cnn.ipynb ссылка]

Дата выдачи: '''02.12.22 (вт)'''

Мягкий дедлайн: '''16.12.22 23:59 (ср)'''

Жесткий дедлайн: '''18.12.22 23:59 (вс)'''

== Большие домашние задания ==

Большие домашние задания подразумевают реализацию пайплайна обучения и тестирования нейросети на выданных данных. '''Выдаются только группам МОПа.'''

'''БДЗ №1.''' Классификация изображений.

Подробности задания ищите по ссылке в канале с объявлениями.

Дата выдачи: '''14.11.22 (пн)'''

Мягкий дедлайн (чекпойнт): '''29.11.22 23:59 (вт)'''

Жесткий дедлайн (чекпойнт): '''06.12.22 23:59 (вт)'''

Мягкий дедлайн (финальная сдача): '''13.12.22 23:59 (вт)'''

Жесткий дедлайн (финальная сдача): '''17.12.22 23:59 (сб)'''

== Теоретические домашние задания ==

Теоретические ДЗ не сдаются и предлагаются студентам для самостоятельного решения и ознакомления

'''ТДЗ №1.''' Полносвязные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-theory/thw-01-mlp.pdf ссылка]

'''ТДЗ №2.''' Сверточные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-theory/thw-02-cnn.pdf ссылка]

Глубинное обучение 1 22/23

2023-01-18T09:46:20Z

Isadrtdinov 1: /* МОП */

== О курсе ==

Это страничка курсов 2022-2023 года (1-3 модуль 3 курса ПМИ):
* '''Глубинное обучение 1''' (для групп МОП: 201-203)
* '''Введение в глубинное обучение''' (для групп остальных специализаций, кроме РС: 204, 207-2010).

Курс посвящен глубинному обучению – самой активно развивающейся области машинного обучения. Слушатели курса узнают, какие задачи машинного обучения можно решать с помощью нейронных сетей и какие виды нейронных сетей находят свои применения на сегодняшний день. Курс имеет явную практическую направленность, студентам предлагаются задания на обучение нейронных сетей на фреймворке PyTorch языка программирования Python. В курсе обзорно, но достаточно для ознакомления разбираются задачи на изображения и тексты.

=== Цели освоения курса ===
# Знать принцип работы и уметь обучать следующие виды нейронных сетей: полносвязные, сверточные, рекуррентные, трансформеры.
# Владение фреймворком PyTorch для обучения нейронных сетей.
# Понимание различных задач, которые решаются с применением глубинного обучения.
# Умение обрабатывать данные и составлять пайплайны для обучения нейронных сетей.

== Полезные ссылки ==

* Репозиторий курса: https://github.com/isadrtdinov/intro-to-dl-hse

* Таблица с оценками: https://docs.google.com/spreadsheets/d/1GUChnaG3M9zVVY-p8qtgsYrLas43w__BxrnyobNGctw/edit?usp=sharing

* Чат с обсуждением (МОП): +F6omM9r5jDYyZWMy (добавить после хттпс://т.ме/)

* Чат с обсуждением (не МОП): +SDpvrQwM4g0yZWFi (добавить после хтппс://т.ме/)

== Преподаватели и ассистенты ==

Лекции (МОП); кому писать, если кажется, что все пропало: [https://t.me/isadrtdinov Ильдус Садртдинов]

{| class="wikitable"
|-
! Группа !! Семинарист !! Ассистенты !! Инвайт в anytask
|-
| 201 || [https://t.me/baranovskayadaria Дарья Барановская] || [https://t.me/JohanDDC Иван Пешехонов], [https://t.me/nikoryagin Никита Корягин] || gMVmQgY
|-
| 202 || [https://t.me/isadrtdinov Ильдус Садртдинов] || [https://t.me/territhing Сергей Пилипенко], [https://t.me/huwar Мадина Халматова] || oDu4b6c
|-
| 203 || [https://t.me/Birshert Алексей Биршерт] || [https://t.me/maripkl Мария Поклонская], [https://t.me/DimaLishudi Дмитрий Лишуди] || eqbgrKV
|-
| 204 || [https://t.me/madn_boi Никита Морозов] || [https://t.me/SergejVolkov Фома Шипилов] || STMB5yV
|-
| 207 || [https://t.me/asukhareva Анжела Сухарева] || [https://t.me/zzlatazz Злата Клименко] || I6JUg1f
|-
| 208 || [https://t.me/aktsvigun Аким Цвигун] || [https://t.me/lily_kurchenko Лилия Курченко] || WSekHxn
|-
| 209 || [https://t.me/call_me_Dory Диана Сусла] || [https://t.me/KrupetsSanches Александр Крупецков] || D4Vl7P4
|-
| 2010 || [https://t.me/mrkimster Сергей Ким] || [https://t.me/messlav Вячеслав Пирогов] || 5sfP4yz
|}

== Формулы оценок ==

=== МОП ===

''Итог'' = ''Округление''(0.3 * БДЗ + 0.25 * МДЗ + 0.15 ПР + 0.3 * Э)

* БДЗ - оценка за большие домашние задания
* МДЗ - оценка за маленькие домашние задания
* ПР - оценка за проверочные работы (проводятся на семинарах)
* Э - оценка за экзамен

Округление арифметическое. Определим накопленную оценку как ''Накоп'' = ''Округление''((0.3 * БДЗ + 0.25 МДЗ + 0.15 * ПР) / 0.7). Если Накоп >= 8, то студент может получить ''Накоп'' в качестве итоговой оценки, не приходя на экзамен.

'''Формат экзамена''': письменный, в аудитории, материалами пользоваться не разрешается, 2 часа.

'''Формат пересдачи''': накопленная оценка сохраняется, формат аналогичен экзамену.

=== Не МОП ===

''Итог'' = ''Округление''(0.7 * МДЗ + 0.3 * ПР)

* МДЗ - оценка за маленькие домашние задания
* ПР - оценка за проверочные работы (проводятся на семинарах)

Округление арифметическое.

'''Формат экзамена''': экзамен не предусмотрен.

'''Формат пересдачи''': досдача МДЗ.

== Лекции ==

=== МОП ===

Конспект от @ninachely: [https://exuberant-arthropod-be8.notion.site/DL-1-07582f084f5148a19c31a84200bb9b58 notion]

# Автоматическое дифференцирование, полносвязные нейронные сети: [https://www.youtube.com/watch?v=g552oCpg-NE&list=PLEwK9wdS5g0onnKgvKxuUJN1Ojchl9Q9P&index=1&t=1756s&ab_channel=ФКНВШЭ—дистанционныезанятия запись]
# Оптимизация нейронных сетей, SGD, Adam/AdamW. Dropout и Batch-нормализация: [https://www.youtube.com/watch?v=O9JV_Kgd31E&list=PLEwK9wdS5g0onnKgvKxuUJN1Ojchl9Q9P&index=3&t=1939s&ab_channel=ФКНВШЭ—дистанционныезанятия запись]
# Разбор дифференцирования из МДЗ 1, операция свертки: [https://youtu.be/xa69n0yCid8 запись]
# Архитектуры сверточных нейронных сетей: [https://youtu.be/5S5HpbDm7eA запись]
# Задачи компьютерного зрения, сегментация и детекция: [https://youtu.be/gJfDJoLEZIY запись]

=== Не МОП ===

В качестве лекционного материала используется онлайн-курс "Основы глубинного обучения", который охватывает следующие темы:

# Введение в нейронные сети, полносвязные нейронные сети, оптимизация

== Семинары ==

=== МОП ===

# Введение в библиотеку PyTorch. Автоматическое дифференцирование: [https://www.youtube.com/watch?v=j6JxUpGaav4&list=PLEwK9wdS5g0onnKgvKxuUJN1Ojchl9Q9P&index=2&t=3s&ab_channel=ФКНВШЭ—дистанционныезанятия запись (группа 202)]
# Полносвязные нейронные сети. Общая схема пайплайна обучения на PyTorch: [https://www.youtube.com/watch?v=LZQVBuzttjM&list=PLEwK9wdS5g0onnKgvKxuUJN1Ojchl9Q9P&index=4&t=1799s&ab_channel=ФКНВШЭ—дистанционныезанятия запись (группа 202)]
# Свертки в PyTorch, реализация архитектуры LeNet: [https://youtu.be/CCCiGacZAVo запись (группа 202)]
# Обучение моделей из torchvision, аугментации и fine-tuning: [https://youtu.be/1wCd23p2l98 запись (группа 202)]
# Семантическая сегментация и детекция: [https://youtu.be/NSNYSEYAHa8 запись (группа 202)]

=== Не МОП ===

== Маленькие домашние задания ==

=== МОП ===

'''МДЗ №1.''' Автоматическое дифференцирование и полносвязные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/tree/2022-2023/homeworks-small/shw-01-mlp ссылка]

Дата выдачи: '''27.09.22 (вт)'''

Мягкий дедлайн: '''19.10.22 23:59 (ср)'''

Жесткий дедлайн: '''23.10.22 23:59 (вс)'''

'''МДЗ №2.''' Сверточный классификатор: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-02-cnn.ipynb ссылка]

Дата выдачи: '''21.10.22 (пт)'''

Мягкий дедлайн: '''06.11.22 23:59 (вс)'''

Жесткий дедлайн: '''10.11.22 23:59 (чт)'''

'''МДЗ №3.''' RNN и языковые модели: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-03-rnn/shw-03-rnn.ipynb ссылка]

Дата выдачи: '''12.01.22 (чт)'''

Мягкий дедлайн: '''29.01.23 23:59 (вс)'''

Жесткий дедлайн: '''02.02.23 23:59 (чт)'''

=== Не МОП ===

'''МДЗ №1.''' Полносвязные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-01-mlp-light.ipynb ссылка]

Дата выдачи: '''08.11.22 (вт)'''

Мягкий дедлайн: '''23.11.22 23:59 (ср)'''

Жесткий дедлайн: '''27.11.22 23:59 (вс)'''

'''МДЗ №2.''' Сверточный классификатор: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-02-cnn.ipynb ссылка]

Дата выдачи: '''02.12.22 (вт)'''

Мягкий дедлайн: '''16.12.22 23:59 (ср)'''

Жесткий дедлайн: '''18.12.22 23:59 (вс)'''

== Большие домашние задания ==

Большие домашние задания подразумевают реализацию пайплайна обучения и тестирования нейросети на выданных данных. '''Выдаются только группам МОПа.'''

'''БДЗ №1.''' Классификация изображений.

Подробности задания ищите по ссылке в канале с объявлениями.

Дата выдачи: '''14.11.22 (пн)'''

Мягкий дедлайн (чекпойнт): '''29.11.22 23:59 (вт)'''

Жесткий дедлайн (чекпойнт): '''06.12.22 23:59 (вт)'''

Мягкий дедлайн (финальная сдача): '''13.12.22 23:59 (вт)'''

Жесткий дедлайн (финальная сдача): '''17.12.22 23:59 (сб)'''

== Теоретические домашние задания ==

Теоретические ДЗ не сдаются и предлагаются студентам для самостоятельного решения и ознакомления

'''ТДЗ №1.''' Полносвязные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-theory/thw-01-mlp.pdf ссылка]

'''ТДЗ №2.''' Сверточные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-theory/thw-02-cnn.pdf ссылка]

Глубинное обучение 1 22/23

2022-12-11T18:43:51Z

Isadrtdinov 1: /* Не МОП */

== О курсе ==

Это страничка курсов 2022-2023 года (1-3 модуль 3 курса ПМИ):
* '''Глубинное обучение 1''' (для групп МОП: 201-203)
* '''Введение в глубинное обучение''' (для групп остальных специализаций, кроме РС: 204, 207-2010).

Курс посвящен глубинному обучению – самой активно развивающейся области машинного обучения. Слушатели курса узнают, какие задачи машинного обучения можно решать с помощью нейронных сетей и какие виды нейронных сетей находят свои применения на сегодняшний день. Курс имеет явную практическую направленность, студентам предлагаются задания на обучение нейронных сетей на фреймворке PyTorch языка программирования Python. В курсе обзорно, но достаточно для ознакомления разбираются задачи на изображения и тексты.

=== Цели освоения курса ===
# Знать принцип работы и уметь обучать следующие виды нейронных сетей: полносвязные, сверточные, рекуррентные, трансформеры.
# Владение фреймворком PyTorch для обучения нейронных сетей.
# Понимание различных задач, которые решаются с применением глубинного обучения.
# Умение обрабатывать данные и составлять пайплайны для обучения нейронных сетей.

== Полезные ссылки ==

* Репозиторий курса: https://github.com/isadrtdinov/intro-to-dl-hse

* Таблица с оценками: https://docs.google.com/spreadsheets/d/1GUChnaG3M9zVVY-p8qtgsYrLas43w__BxrnyobNGctw/edit?usp=sharing

* Чат с обсуждением (МОП): +F6omM9r5jDYyZWMy (добавить после хттпс://т.ме/)

* Чат с обсуждением (не МОП): +SDpvrQwM4g0yZWFi (добавить после хтппс://т.ме/)

== Преподаватели и ассистенты ==

Лекции (МОП); кому писать, если кажется, что все пропало: [https://t.me/isadrtdinov Ильдус Садртдинов]

{| class="wikitable"
|-
! Группа !! Семинарист !! Ассистенты !! Инвайт в anytask
|-
| 201 || [https://t.me/baranovskayadaria Дарья Барановская] || [https://t.me/JohanDDC Иван Пешехонов], [https://t.me/nikoryagin Никита Корягин] || gMVmQgY
|-
| 202 || [https://t.me/isadrtdinov Ильдус Садртдинов] || [https://t.me/territhing Сергей Пилипенко], [https://t.me/huwar Мадина Халматова] || oDu4b6c
|-
| 203 || [https://t.me/Birshert Алексей Биршерт] || [https://t.me/maripkl Мария Поклонская], [https://t.me/DimaLishudi Дмитрий Лишуди] || eqbgrKV
|-
| 204 || [https://t.me/madn_boi Никита Морозов] || [https://t.me/SergejVolkov Фома Шипилов] || STMB5yV
|-
| 207 || [https://t.me/asukhareva Анжела Сухарева] || [https://t.me/zzlatazz Злата Клименко] || I6JUg1f
|-
| 208 || [https://t.me/aktsvigun Аким Цвигун] || [https://t.me/lily_kurchenko Лилия Курченко] || WSekHxn
|-
| 209 || [https://t.me/call_me_Dory Диана Сусла] || [https://t.me/KrupetsSanches Александр Крупецков] || D4Vl7P4
|-
| 2010 || [https://t.me/mrkimster Сергей Ким] || [https://t.me/messlav Вячеслав Пирогов] || 5sfP4yz
|}

== Формулы оценок ==

=== МОП ===

''Итог'' = ''Округление''(0.3 * БДЗ + 0.25 * МДЗ + 0.15 ПР + 0.3 * Э)

* БДЗ - оценка за большие домашние задания
* МДЗ - оценка за маленькие домашние задания
* ПР - оценка за проверочные работы (проводятся на семинарах)
* Э - оценка за экзамен

Округление арифметическое. Определим накопленную оценку как ''Накоп'' = ''Округление''((0.3 * БДЗ + 0.25 МДЗ + 0.15 * ПР) / 0.7). Если Накоп >= 8, то студент может получить ''Накоп'' в качестве итоговой оценки, не приходя на экзамен.

'''Формат экзамена''': письменный, в аудитории, материалами пользоваться не разрешается, 2 часа.

'''Формат пересдачи''': накопленная оценка сохраняется, формат аналогичен экзамену.

=== Не МОП ===

''Итог'' = ''Округление''(0.7 * МДЗ + 0.3 * ПР)

* МДЗ - оценка за маленькие домашние задания
* ПР - оценка за проверочные работы (проводятся на семинарах)

Округление арифметическое.

'''Формат экзамена''': экзамен не предусмотрен.

'''Формат пересдачи''': досдача МДЗ.

== Лекции ==

=== МОП ===

Конспект от @ninachely: [https://exuberant-arthropod-be8.notion.site/DL-1-07582f084f5148a19c31a84200bb9b58 notion]

# Автоматическое дифференцирование, полносвязные нейронные сети: [https://www.youtube.com/watch?v=g552oCpg-NE&list=PLEwK9wdS5g0onnKgvKxuUJN1Ojchl9Q9P&index=1&t=1756s&ab_channel=ФКНВШЭ—дистанционныезанятия запись]
# Оптимизация нейронных сетей, SGD, Adam/AdamW. Dropout и Batch-нормализация: [https://www.youtube.com/watch?v=O9JV_Kgd31E&list=PLEwK9wdS5g0onnKgvKxuUJN1Ojchl9Q9P&index=3&t=1939s&ab_channel=ФКНВШЭ—дистанционныезанятия запись]
# Разбор дифференцирования из МДЗ 1, операция свертки: [https://youtu.be/xa69n0yCid8 запись]
# Архитектуры сверточных нейронных сетей: [https://youtu.be/5S5HpbDm7eA запись]
# Задачи компьютерного зрения, сегментация и детекция: [https://youtu.be/gJfDJoLEZIY запись]

=== Не МОП ===

В качестве лекционного материала используется онлайн-курс "Основы глубинного обучения", который охватывает следующие темы:

# Введение в нейронные сети, полносвязные нейронные сети, оптимизация

== Семинары ==

=== МОП ===

# Введение в библиотеку PyTorch. Автоматическое дифференцирование: [https://www.youtube.com/watch?v=j6JxUpGaav4&list=PLEwK9wdS5g0onnKgvKxuUJN1Ojchl9Q9P&index=2&t=3s&ab_channel=ФКНВШЭ—дистанционныезанятия запись (группа 202)]
# Полносвязные нейронные сети. Общая схема пайплайна обучения на PyTorch: [https://www.youtube.com/watch?v=LZQVBuzttjM&list=PLEwK9wdS5g0onnKgvKxuUJN1Ojchl9Q9P&index=4&t=1799s&ab_channel=ФКНВШЭ—дистанционныезанятия запись (группа 202)]
# Свертки в PyTorch, реализация архитектуры LeNet: [https://youtu.be/CCCiGacZAVo запись (группа 202)]
# Обучение моделей из torchvision, аугментации и fine-tuning: [https://youtu.be/1wCd23p2l98 запись (группа 202)]
# Семантическая сегментация и детекция: [https://youtu.be/NSNYSEYAHa8 запись (группа 202)]

=== Не МОП ===

== Маленькие домашние задания ==

=== МОП ===

'''МДЗ №1.''' Автоматическое дифференцирование и полносвязные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/tree/2022-2023/homeworks-small/shw-01-mlp ссылка]

Дата выдачи: '''27.09.22 (вт)'''

Мягкий дедлайн: '''19.10.22 23:59 (ср)'''

Жесткий дедлайн: '''23.10.22 23:59 (вс)'''

'''МДЗ №2.''' Сверточный классификатор: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-02-cnn.ipynb ссылка]

Дата выдачи: '''21.10.22 (пт)'''

Мягкий дедлайн: '''06.11.22 23:59 (вс)'''

Жесткий дедлайн: '''10.11.22 23:59 (чт)'''

=== Не МОП ===

'''МДЗ №1.''' Полносвязные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-01-mlp-light.ipynb ссылка]

Дата выдачи: '''08.11.22 (вт)'''

Мягкий дедлайн: '''23.11.22 23:59 (ср)'''

Жесткий дедлайн: '''27.11.22 23:59 (вс)'''

'''МДЗ №2.''' Сверточный классификатор: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-02-cnn.ipynb ссылка]

Дата выдачи: '''02.12.22 (вт)'''

Мягкий дедлайн: '''16.12.22 23:59 (ср)'''

Жесткий дедлайн: '''18.12.22 23:59 (вс)'''

== Большие домашние задания ==

Большие домашние задания подразумевают реализацию пайплайна обучения и тестирования нейросети на выданных данных. '''Выдаются только группам МОПа.'''

'''БДЗ №1.''' Классификация изображений.

Подробности задания ищите по ссылке в канале с объявлениями.

Дата выдачи: '''14.11.22 (пн)'''

Мягкий дедлайн (чекпойнт): '''29.11.22 23:59 (вт)'''

Жесткий дедлайн (чекпойнт): '''06.12.22 23:59 (вт)'''

Мягкий дедлайн (финальная сдача): '''13.12.22 23:59 (вт)'''

Жесткий дедлайн (финальная сдача): '''17.12.22 23:59 (сб)'''

== Теоретические домашние задания ==

Теоретические ДЗ не сдаются и предлагаются студентам для самостоятельного решения и ознакомления

'''ТДЗ №1.''' Полносвязные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-theory/thw-01-mlp.pdf ссылка]

'''ТДЗ №2.''' Сверточные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-theory/thw-02-cnn.pdf ссылка]

Глубинное обучение 1 22/23

2022-11-16T09:48:12Z

Isadrtdinov 1: /* Преподаватели и ассистенты */

== О курсе ==

Это страничка курсов 2022-2023 года (1-3 модуль 3 курса ПМИ):
* '''Глубинное обучение 1''' (для групп МОП: 201-203)
* '''Введение в глубинное обучение''' (для групп остальных специализаций, кроме РС: 204, 207-2010).

Курс посвящен глубинному обучению – самой активно развивающейся области машинного обучения. Слушатели курса узнают, какие задачи машинного обучения можно решать с помощью нейронных сетей и какие виды нейронных сетей находят свои применения на сегодняшний день. Курс имеет явную практическую направленность, студентам предлагаются задания на обучение нейронных сетей на фреймворке PyTorch языка программирования Python. В курсе обзорно, но достаточно для ознакомления разбираются задачи на изображения и тексты.

=== Цели освоения курса ===
# Знать принцип работы и уметь обучать следующие виды нейронных сетей: полносвязные, сверточные, рекуррентные, трансформеры.
# Владение фреймворком PyTorch для обучения нейронных сетей.
# Понимание различных задач, которые решаются с применением глубинного обучения.
# Умение обрабатывать данные и составлять пайплайны для обучения нейронных сетей.

== Полезные ссылки ==

* Репозиторий курса: https://github.com/isadrtdinov/intro-to-dl-hse

* Таблица с оценками: https://docs.google.com/spreadsheets/d/1GUChnaG3M9zVVY-p8qtgsYrLas43w__BxrnyobNGctw/edit?usp=sharing

* Чат с обсуждением (МОП): +F6omM9r5jDYyZWMy (добавить после хттпс://т.ме/)

* Чат с обсуждением (не МОП): +SDpvrQwM4g0yZWFi (добавить после хтппс://т.ме/)

== Преподаватели и ассистенты ==

Лекции (МОП); кому писать, если кажется, что все пропало: [https://t.me/isadrtdinov Ильдус Садртдинов]

{| class="wikitable"
|-
! Группа !! Семинарист !! Ассистенты !! Инвайт в anytask
|-
| 201 || [https://t.me/baranovskayadaria Дарья Барановская] || [https://t.me/JohanDDC Иван Пешехонов], [https://t.me/nikoryagin Никита Корягин] || gMVmQgY
|-
| 202 || [https://t.me/isadrtdinov Ильдус Садртдинов] || [https://t.me/territhing Сергей Пилипенко], [https://t.me/huwar Мадина Халматова] || oDu4b6c
|-
| 203 || [https://t.me/Birshert Алексей Биршерт] || [https://t.me/maripkl Мария Поклонская], [https://t.me/DimaLishudi Дмитрий Лишуди] || eqbgrKV
|-
| 204 || [https://t.me/madn_boi Никита Морозов] || [https://t.me/SergejVolkov Фома Шипилов] || STMB5yV
|-
| 207 || [https://t.me/asukhareva Анжела Сухарева] || [https://t.me/zzlatazz Злата Клименко] || I6JUg1f
|-
| 208 || [https://t.me/aktsvigun Аким Цвигун] || [https://t.me/lily_kurchenko Лилия Курченко] || WSekHxn
|-
| 209 || [https://t.me/call_me_Dory Диана Сусла] || [https://t.me/KrupetsSanches Александр Крупецков] || D4Vl7P4
|-
| 2010 || [https://t.me/mrkimster Сергей Ким] || [https://t.me/messlav Вячеслав Пирогов] || 5sfP4yz
|}

== Формулы оценок ==

=== МОП ===

''Итог'' = ''Округление''(0.3 * БДЗ + 0.25 * МДЗ + 0.15 ПР + 0.3 * Э)

* БДЗ - оценка за большие домашние задания
* МДЗ - оценка за маленькие домашние задания
* ПР - оценка за проверочные работы (проводятся на семинарах)
* Э - оценка за экзамен

Округление арифметическое. Определим накопленную оценку как ''Накоп'' = ''Округление''((0.3 * БДЗ + 0.25 МДЗ + 0.15 * ПР) / 0.7). Если Накоп >= 8, то студент может получить ''Накоп'' в качестве итоговой оценки, не приходя на экзамен.

'''Формат экзамена''': письменный, в аудитории, материалами пользоваться не разрешается, 2 часа.

'''Формат пересдачи''': накопленная оценка сохраняется, формат аналогичен экзамену.

=== Не МОП ===

''Итог'' = ''Округление''(0.7 * МДЗ + 0.3 * ПР)

* МДЗ - оценка за маленькие домашние задания
* ПР - оценка за проверочные работы (проводятся на семинарах)

Округление арифметическое.

'''Формат экзамена''': экзамен не предусмотрен.

'''Формат пересдачи''': досдача МДЗ.

== Лекции ==

=== МОП ===

Конспект от @ninachely: [https://exuberant-arthropod-be8.notion.site/DL-1-07582f084f5148a19c31a84200bb9b58 notion]

# Автоматическое дифференцирование, полносвязные нейронные сети: [https://www.youtube.com/watch?v=g552oCpg-NE&list=PLEwK9wdS5g0onnKgvKxuUJN1Ojchl9Q9P&index=1&t=1756s&ab_channel=ФКНВШЭ—дистанционныезанятия запись]
# Оптимизация нейронных сетей, SGD, Adam/AdamW. Dropout и Batch-нормализация: [https://www.youtube.com/watch?v=O9JV_Kgd31E&list=PLEwK9wdS5g0onnKgvKxuUJN1Ojchl9Q9P&index=3&t=1939s&ab_channel=ФКНВШЭ—дистанционныезанятия запись]
# Разбор дифференцирования из МДЗ 1, операция свертки: [https://youtu.be/xa69n0yCid8 запись]
# Архитектуры сверточных нейронных сетей: [https://youtu.be/5S5HpbDm7eA запись]
# Задачи компьютерного зрения, сегментация и детекция: [https://youtu.be/gJfDJoLEZIY запись]

=== Не МОП ===

В качестве лекционного материала используется онлайн-курс "Основы глубинного обучения", который охватывает следующие темы:

# Введение в нейронные сети, полносвязные нейронные сети, оптимизация

== Семинары ==

=== МОП ===

# Введение в библиотеку PyTorch. Автоматическое дифференцирование: [https://www.youtube.com/watch?v=j6JxUpGaav4&list=PLEwK9wdS5g0onnKgvKxuUJN1Ojchl9Q9P&index=2&t=3s&ab_channel=ФКНВШЭ—дистанционныезанятия запись (группа 202)]
# Полносвязные нейронные сети. Общая схема пайплайна обучения на PyTorch: [https://www.youtube.com/watch?v=LZQVBuzttjM&list=PLEwK9wdS5g0onnKgvKxuUJN1Ojchl9Q9P&index=4&t=1799s&ab_channel=ФКНВШЭ—дистанционныезанятия запись (группа 202)]
# Свертки в PyTorch, реализация архитектуры LeNet: [https://youtu.be/CCCiGacZAVo запись (группа 202)]
# Обучение моделей из torchvision, аугментации и fine-tuning: [https://youtu.be/1wCd23p2l98 запись (группа 202)]
# Семантическая сегментация и детекция: [https://youtu.be/NSNYSEYAHa8 запись (группа 202)]

=== Не МОП ===

== Маленькие домашние задания ==

=== МОП ===

'''МДЗ №1.''' Автоматическое дифференцирование и полносвязные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/tree/2022-2023/homeworks-small/shw-01-mlp ссылка]

Дата выдачи: '''27.09.22 (вт)'''

Мягкий дедлайн: '''19.10.22 23:59 (ср)'''

Жесткий дедлайн: '''23.10.22 23:59 (вс)'''

'''МДЗ №2.''' Сверточный классификатор: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-02-cnn.ipynb ссылка]

Дата выдачи: '''21.10.22 (пт)'''

Мягкий дедлайн: '''06.11.22 23:59 (вс)'''

Жесткий дедлайн: '''10.11.22 23:59 (чт)'''

=== Не МОП ===

'''МДЗ №1.''' Полносвязные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-01-mlp-light.ipynb ссылка]

Дата выдачи: '''08.11.22 (вт)'''

Мягкий дедлайн: '''23.11.22 23:59 (ср)'''

Жесткий дедлайн: '''27.11.22 23:59 (вс)'''

== Большие домашние задания ==

Большие домашние задания подразумевают реализацию пайплайна обучения и тестирования нейросети на выданных данных. '''Выдаются только группам МОПа.'''

'''БДЗ №1.''' Классификация изображений.

Подробности задания ищите по ссылке в канале с объявлениями.

Дата выдачи: '''14.11.22 (пн)'''

Мягкий дедлайн (чекпойнт): '''29.11.22 23:59 (вт)'''

Жесткий дедлайн (чекпойнт): '''06.12.22 23:59 (вт)'''

Мягкий дедлайн (финальная сдача): '''13.12.22 23:59 (вт)'''

Жесткий дедлайн (финальная сдача): '''17.12.22 23:59 (сб)'''

== Теоретические домашние задания ==

Теоретические ДЗ не сдаются и предлагаются студентам для самостоятельного решения и ознакомления

'''ТДЗ №1.''' Полносвязные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-theory/thw-01-mlp.pdf ссылка]

'''ТДЗ №2.''' Сверточные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-theory/thw-02-cnn.pdf ссылка]

Глубинное обучение 1 22/23

2022-11-16T09:04:10Z

Isadrtdinov 1: /* Большие домашние задания */

== О курсе ==

Это страничка курсов 2022-2023 года (1-3 модуль 3 курса ПМИ):
* '''Глубинное обучение 1''' (для групп МОП: 201-203)
* '''Введение в глубинное обучение''' (для групп остальных специализаций, кроме РС: 204, 207-2010).

Курс посвящен глубинному обучению – самой активно развивающейся области машинного обучения. Слушатели курса узнают, какие задачи машинного обучения можно решать с помощью нейронных сетей и какие виды нейронных сетей находят свои применения на сегодняшний день. Курс имеет явную практическую направленность, студентам предлагаются задания на обучение нейронных сетей на фреймворке PyTorch языка программирования Python. В курсе обзорно, но достаточно для ознакомления разбираются задачи на изображения и тексты.

=== Цели освоения курса ===
# Знать принцип работы и уметь обучать следующие виды нейронных сетей: полносвязные, сверточные, рекуррентные, трансформеры.
# Владение фреймворком PyTorch для обучения нейронных сетей.
# Понимание различных задач, которые решаются с применением глубинного обучения.
# Умение обрабатывать данные и составлять пайплайны для обучения нейронных сетей.

== Полезные ссылки ==

* Репозиторий курса: https://github.com/isadrtdinov/intro-to-dl-hse

* Таблица с оценками: https://docs.google.com/spreadsheets/d/1GUChnaG3M9zVVY-p8qtgsYrLas43w__BxrnyobNGctw/edit?usp=sharing

* Чат с обсуждением (МОП): +F6omM9r5jDYyZWMy (добавить после хттпс://т.ме/)

* Чат с обсуждением (не МОП): +SDpvrQwM4g0yZWFi (добавить после хтппс://т.ме/)

== Преподаватели и ассистенты ==

Лекции (МОП); кому писать, если кажется, что все пропало: [https://t.me/isadrtdinov Ильдус Садртдинов]

{| class="wikitable"
|-
! Группа !! Семинарист !! Ассистенты !! Инвайт в anytask
|-
| 201 || [https://t.me/baranovskayadaria Дарья Барановская] || [https://t.me/JohanDDC Иван Пешехонов], [https://t.me/nikoryagin Никита Корягин] || gMVmQgY
|-
| 202 || [https://t.me/isadrtdinov Ильдус Садртдинов] || [https://t.me/territhing Сергей Пилипенко], [https://t.me/huwar Мадина Халматова] || oDu4b6c
|-
| 203 || [https://t.me/Birshert Алексей Биршерт] || [https://t.me/maripkl Мария Поклонская], [https://t.me/DimaLishudi Дмитрий Лишуди] || eqbgrKV
|-
| 204 || [https://t.me/madn_boi Никита Морозов] || [https://t.me/SergejVolkov Фома Шипилов] || TBA
|-
| 207 || [https://t.me/asukhareva Анжела Сухарева] || [https://t.me/zzlatazz Злата Клименко] || TBA
|-
| 208 || [https://t.me/aktsvigun Аким Цвигун] || [https://t.me/lily_kurchenko Лилия Курченко] || TBA
|-
| 209 || [https://t.me/call_me_Dory Диана Сусла] || [https://t.me/KrupetsSanches Александр Крупецков] || TBA
|-
| 2010 || [https://t.me/mrkimster Сергей Ким] || [https://t.me/messlav Вячеслав Пирогов] || TBA
|}

== Формулы оценок ==

=== МОП ===

''Итог'' = ''Округление''(0.3 * БДЗ + 0.25 * МДЗ + 0.15 ПР + 0.3 * Э)

* БДЗ - оценка за большие домашние задания
* МДЗ - оценка за маленькие домашние задания
* ПР - оценка за проверочные работы (проводятся на семинарах)
* Э - оценка за экзамен

Округление арифметическое. Определим накопленную оценку как ''Накоп'' = ''Округление''((0.3 * БДЗ + 0.25 МДЗ + 0.15 * ПР) / 0.7). Если Накоп >= 8, то студент может получить ''Накоп'' в качестве итоговой оценки, не приходя на экзамен.

'''Формат экзамена''': письменный, в аудитории, материалами пользоваться не разрешается, 2 часа.

'''Формат пересдачи''': накопленная оценка сохраняется, формат аналогичен экзамену.

=== Не МОП ===

''Итог'' = ''Округление''(0.7 * МДЗ + 0.3 * ПР)

* МДЗ - оценка за маленькие домашние задания
* ПР - оценка за проверочные работы (проводятся на семинарах)

Округление арифметическое.

'''Формат экзамена''': экзамен не предусмотрен.

'''Формат пересдачи''': досдача МДЗ.

== Лекции ==

=== МОП ===

Конспект от @ninachely: [https://exuberant-arthropod-be8.notion.site/DL-1-07582f084f5148a19c31a84200bb9b58 notion]

# Автоматическое дифференцирование, полносвязные нейронные сети: [https://www.youtube.com/watch?v=g552oCpg-NE&list=PLEwK9wdS5g0onnKgvKxuUJN1Ojchl9Q9P&index=1&t=1756s&ab_channel=ФКНВШЭ—дистанционныезанятия запись]
# Оптимизация нейронных сетей, SGD, Adam/AdamW. Dropout и Batch-нормализация: [https://www.youtube.com/watch?v=O9JV_Kgd31E&list=PLEwK9wdS5g0onnKgvKxuUJN1Ojchl9Q9P&index=3&t=1939s&ab_channel=ФКНВШЭ—дистанционныезанятия запись]
# Разбор дифференцирования из МДЗ 1, операция свертки: [https://youtu.be/xa69n0yCid8 запись]
# Архитектуры сверточных нейронных сетей: [https://youtu.be/5S5HpbDm7eA запись]
# Задачи компьютерного зрения, сегментация и детекция: [https://youtu.be/gJfDJoLEZIY запись]

=== Не МОП ===

В качестве лекционного материала используется онлайн-курс "Основы глубинного обучения", который охватывает следующие темы:

# Введение в нейронные сети, полносвязные нейронные сети, оптимизация

== Семинары ==

=== МОП ===

# Введение в библиотеку PyTorch. Автоматическое дифференцирование: [https://www.youtube.com/watch?v=j6JxUpGaav4&list=PLEwK9wdS5g0onnKgvKxuUJN1Ojchl9Q9P&index=2&t=3s&ab_channel=ФКНВШЭ—дистанционныезанятия запись (группа 202)]
# Полносвязные нейронные сети. Общая схема пайплайна обучения на PyTorch: [https://www.youtube.com/watch?v=LZQVBuzttjM&list=PLEwK9wdS5g0onnKgvKxuUJN1Ojchl9Q9P&index=4&t=1799s&ab_channel=ФКНВШЭ—дистанционныезанятия запись (группа 202)]
# Свертки в PyTorch, реализация архитектуры LeNet: [https://youtu.be/CCCiGacZAVo запись (группа 202)]
# Обучение моделей из torchvision, аугментации и fine-tuning: [https://youtu.be/1wCd23p2l98 запись (группа 202)]
# Семантическая сегментация и детекция: [https://youtu.be/NSNYSEYAHa8 запись (группа 202)]

=== Не МОП ===

== Маленькие домашние задания ==

=== МОП ===

'''МДЗ №1.''' Автоматическое дифференцирование и полносвязные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/tree/2022-2023/homeworks-small/shw-01-mlp ссылка]

Дата выдачи: '''27.09.22 (вт)'''

Мягкий дедлайн: '''19.10.22 23:59 (ср)'''

Жесткий дедлайн: '''23.10.22 23:59 (вс)'''

'''МДЗ №2.''' Сверточный классификатор: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-02-cnn.ipynb ссылка]

Дата выдачи: '''21.10.22 (пт)'''

Мягкий дедлайн: '''06.11.22 23:59 (вс)'''

Жесткий дедлайн: '''10.11.22 23:59 (чт)'''

=== Не МОП ===

'''МДЗ №1.''' Полносвязные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-01-mlp-light.ipynb ссылка]

Дата выдачи: '''08.11.22 (вт)'''

Мягкий дедлайн: '''23.11.22 23:59 (ср)'''

Жесткий дедлайн: '''27.11.22 23:59 (вс)'''

== Большие домашние задания ==

Большие домашние задания подразумевают реализацию пайплайна обучения и тестирования нейросети на выданных данных. '''Выдаются только группам МОПа.'''

'''БДЗ №1.''' Классификация изображений.

Подробности задания ищите по ссылке в канале с объявлениями.

Дата выдачи: '''14.11.22 (пн)'''

Мягкий дедлайн (чекпойнт): '''29.11.22 23:59 (вт)'''

Жесткий дедлайн (чекпойнт): '''06.12.22 23:59 (вт)'''

Мягкий дедлайн (финальная сдача): '''13.12.22 23:59 (вт)'''

Жесткий дедлайн (финальная сдача): '''17.12.22 23:59 (сб)'''

== Теоретические домашние задания ==

Теоретические ДЗ не сдаются и предлагаются студентам для самостоятельного решения и ознакомления

'''ТДЗ №1.''' Полносвязные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-theory/thw-01-mlp.pdf ссылка]

'''ТДЗ №2.''' Сверточные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-theory/thw-02-cnn.pdf ссылка]

Глубинное обучение 1 22/23

2022-11-10T20:27:35Z

Isadrtdinov 1: /* Теоретические домашние задания */

Глубинное обучение 1 22/23

2022-11-08T07:50:26Z

Isadrtdinov 1: /* Маленькие домашние задания */

Глубинное обучение 1 22/23

2022-11-01T10:52:26Z

Isadrtdinov 1: /* МОП */

Глубинное обучение 1 22/23

2022-11-01T10:51:34Z

Isadrtdinov 1: /* МОП */

Глубинное обучение 1 22/23

2022-10-21T13:35:11Z

Isadrtdinov 1: /* Маленькие домашние задания */

Глубинное обучение 1 22/23

2022-10-21T13:31:26Z

Isadrtdinov 1: /* МОП */

Глубинное обучение 1 22/23

2022-10-18T08:56:02Z

Isadrtdinov 1: /* МОП */

Глубинное обучение 1 22/23

2022-10-18T08:54:52Z

Isadrtdinov 1: /* Не МОП */

Глубинное обучение 1 22/23

2022-10-18T08:52:22Z

Isadrtdinov 1: /* МОП */

Глубинное обучение 1 22/23

2022-10-18T08:51:44Z

Isadrtdinov 1: /* МОП */

Глубинное обучение 1 22/23

2022-10-18T08:50:50Z

Isadrtdinov 1: /* Преподаватели и ассистенты */

Глубинное обучение 1 22/23

2022-10-16T16:57:13Z

Isadrtdinov 1: /* Маленькие домашние задания */

Глубинное обучение 1 22/23

2022-10-12T20:39:37Z

Isadrtdinov 1: /* МОП */

Глубинное обучение 1 22/23

2022-10-11T07:12:16Z

Isadrtdinov 1: /* МОП */

Глубинное обучение 1 22/23

2022-10-11T07:11:33Z

Isadrtdinov 1: /* МОП */