Глубинное обучение 2 2026: различия между версиями
Maliev (обсуждение | вклад) Новая страница: «== Общая информация == Курс предназначен для студентов 4 курса ФКН ПМИ (МОП, ИИ360 и КНАД). Занятия проходят '''по вторникам 14:40-17:40''' (переносы будут сообщаться в чате). Полезные ссылки: * Чат с обсуждением: https://t.me/+h1nvhREsiXQ0NGQy * Репозиторий курса: https://github.com/thecrazymage...» |
|||
| (не показано 10 промежуточных версий 2 участников) | |||
| Строка 7: | Строка 7: | ||
* Чат с обсуждением: https://t.me/+h1nvhREsiXQ0NGQy | * Чат с обсуждением: https://t.me/+h1nvhREsiXQ0NGQy | ||
* Репозиторий курса: https://github.com/thecrazymage/DL2_HSE | * Репозиторий курса: https://github.com/thecrazymage/DL2_HSE | ||
* Таблица с оценками: ? | * Таблица с оценками: https://docs.google.com/spreadsheets/d/19IIemHxu_egO2rsuvYZYqDGbAhtENa2x/edit?usp=sharing&ouid=115132401804687564737&rtpof=true&sd=true | ||
* Anytask: | * Anytask: https://anytask.org/course/1298 | ||
Формула итоговой оценки (округление арифметическое): | Формула итоговой оценки (округление арифметическое): | ||
# МОП, ИИ360: | # МОП, ИИ360: О<sub>итог</sub> = 0.4 * О<sub>практика</sub> + 0.4 * О<sub>ДЗ</sub> + 0.2 * О<sub>финальный тест</sub>, | ||
# КНАД: | # КНАД: О<sub>итог</sub> = 0.7 * О<sub>ДЗ</sub> + 0.3 * О<sub>финальный тест</sub>. | ||
== Преподаватели и ассистенты == | == Преподаватели и ассистенты == | ||
| Строка 22: | Строка 22: | ||
! Группа !! Ассистенты !! Инвайт в anytask | ! Группа !! Ассистенты !! Инвайт в anytask | ||
|- | |- | ||
| ИИ360 || [https://t.me/Sllaavva Вячеслав Юсупов] || | | ИИ360 || [https://t.me/Sllaavva Вячеслав Юсупов] || SxPwMH5 | ||
|- | |- | ||
| 231 (МОП) || [https://t.me/ | | 231 (МОП) || [https://t.me/leokostyan Константин Леонтьев], [https://t.me/podmabsterio Борис Жуков] || OS4doYN | ||
|- | |- | ||
| 232 (МОП) || [https://t.me/tsesskid Даниил Цесарев]|| | | 232 (МОП) || [https://t.me/tsesskid Даниил Цесарев]|| 2EgU2Y5 | ||
|- | |- | ||
| 233 (МОП) || [https://t.me/Rerum_nn Владимир Васенев]|| | | 233 (МОП) || [https://t.me/Rerum_nn Владимир Васенев]|| vSTloCG | ||
|- | |- | ||
| | | 234 (МОП) || [https://t.me/HandleW1thCare Амир Афлятунов]|| ZYQmJWA | ||
|- | |- | ||
| КНАД || [https://t.me/ | | КНАД || [https://t.me/nastyaaglbk Анастасия Голубкова] || IYvh4rN | ||
|} | |} | ||
== Лекции и семинары == | == Лекции и семинары == | ||
'''Лекция / Семинар 1 ( | '''Лекция / Семинар 1 (01.09).''' | ||
<u>Тема:</u> | <u>Тема:</u> DL 1 compressed | ||
<u>Аннотация:</u> | <u>Аннотация:</u> In this lecture, we’ll compress the core deep learning pipeline into one coherent picture: from data splits, tensor semantics, batching, and masking to objectives, backpropagation, optimization, evaluation, and fine-tuning. In the second part, we’ll stress-test this pipeline through interactive cases: each case begins with a suspicious result or a broken piece of code, and together we’ll diagnose which DL contract has failed. The goal is not to revisit every architecture from DL-1, but to refresh the fundamental mechanisms we’ll rely on throughout DL-2. During the seminar, we’ll translate the same pipeline and cases into code and reproduce each failure mode in practice. | ||
<u>Лектор и семинарист:</u> | <u>Лектор и семинарист:</u> [https://www.hse.ru/org/persons/885876805/ Mishan Aliev] | ||
<u> | <u>Материалы:</u> [https://github.com/thecrazymage/DL2_HSE/tree/main/week_01 материалы]. | ||
<u>Материалы:</u> | |||
'''Лекция / Семинар 2 (08.09).''' | |||
<u>Тема:</u> Essentials of GPU, Deep Learning Bottlenecks, and Benchmarking Basics | |||
<u>Аннотация:</u> In this session, we will explore the reasons behind the dominance of GPUs in Deep Learning and examine the common sources of performance bottlenecks in DL code. You will learn how to identify these bottlenecks using profiling tools and apply techniques to optimize and accelerate your code. | |||
<u>Лектор и семинарист:</u> [https://www.hse.ru/org/persons/816100677/ Fedor Velikonivtsev] | |||
<u>Материалы:</u> [https://disk.yandex.ru/i/dRtRgWONMLiyPA запись лекции], [https://disk.yandex.ru/i/SlolCzoBYGdBwg запись семинара], [https://github.com/thecrazymage/DL2_HSE/tree/main/week_02 материалы]. | |||
'''Лекция / Семинар 3 (15.09).''' | |||
<u>Тема:</u> The Evolution of Transformers | |||
<u>Аннотация:</u> This lecture follows twelve years of Transformer architecture, from the original attention mechanism to Kimi Delta Attention, treating each step as an answer to one specific bottleneck. We close by seeing how all of it comes together in a 2026 frontier model. The accompanying seminar goes deeper into the main alternative - state space models. | |||
<u>Лектор и семинарист:</u> [https://fallnlove.github.io/ Askar Tsyganov] | |||
<u>Материалы:</u> [https://disk.yandex.ru/i/ot8M-XxSySTmGw запись лекции], [https://disk.yandex.ru/i/jSGzIis9f7tnVQ запись семинара], | |||
[https://github.com/thecrazymage/DL2_HSE/tree/main/week_03 материалы]. | |||
'''Лекция / Семинар 4 (22.09).''' | |||
<u>Тема:</u> RLHF and LLM Agents | |||
<u>Аннотация:</u> We’ll go from RLHF and RLVR basics to tool use, agent harnesses, and MCP. We’ll also discuss how agent behavior depends not only on the model, but on the runtime around it, and what more interactive and asynchronous agents might look like. | |||
<u>Лектор и семинарист:</u> [https://github.com/Mr-DarkTesla/ George Yakushev] | |||
== Домашние задания == | == Домашние задания == | ||
| Строка 54: | Строка 84: | ||
! № !! Домашнее задание !! Ссылка !! Дедлайн (мягкий) !! Дедлайн (жёсткий) | ! № !! Домашнее задание !! Ссылка !! Дедлайн (мягкий) !! Дедлайн (жёсткий) | ||
|- | |- | ||
| 1 || Tensor and DL Libraries || | | 1 || Tensor and DL Libraries || [https://github.com/thecrazymage/DL2_HSE/tree/main/homeworks/homework_01 ссылка] || 16 сентября 23:59 || 23 сентября 23:59 | ||
|- | |- | ||
| 2 || Transformers for Named Entity Recognition || ??? || ??? || ??? | | 2 || Transformers for Named Entity Recognition || ??? || ??? || ??? | ||
Текущая версия от 21:33, 18 сентября 2026
Общая информация
Курс предназначен для студентов 4 курса ФКН ПМИ (МОП, ИИ360 и КНАД).
Занятия проходят по вторникам 14:40-17:40 (переносы будут сообщаться в чате).
Полезные ссылки:
- Чат с обсуждением: https://t.me/+h1nvhREsiXQ0NGQy
- Репозиторий курса: https://github.com/thecrazymage/DL2_HSE
- Таблица с оценками: https://docs.google.com/spreadsheets/d/19IIemHxu_egO2rsuvYZYqDGbAhtENa2x/edit?usp=sharing&ouid=115132401804687564737&rtpof=true&sd=true
- Anytask: https://anytask.org/course/1298
Формула итоговой оценки (округление арифметическое):
- МОП, ИИ360: Оитог = 0.4 * Опрактика + 0.4 * ОДЗ + 0.2 * Офинальный тест,
- КНАД: Оитог = 0.7 * ОДЗ + 0.3 * Офинальный тест.
Преподаватели и ассистенты
Кому писать, если кажется, что все пропало: Мишан Алиев
| Группа | Ассистенты | Инвайт в anytask |
|---|---|---|
| ИИ360 | Вячеслав Юсупов | SxPwMH5 |
| 231 (МОП) | Константин Леонтьев, Борис Жуков | OS4doYN |
| 232 (МОП) | Даниил Цесарев | 2EgU2Y5 |
| 233 (МОП) | Владимир Васенев | vSTloCG |
| 234 (МОП) | Амир Афлятунов | ZYQmJWA |
| КНАД | Анастасия Голубкова | IYvh4rN |
Лекции и семинары
Лекция / Семинар 1 (01.09).
Тема: DL 1 compressed
Аннотация: In this lecture, we’ll compress the core deep learning pipeline into one coherent picture: from data splits, tensor semantics, batching, and masking to objectives, backpropagation, optimization, evaluation, and fine-tuning. In the second part, we’ll stress-test this pipeline through interactive cases: each case begins with a suspicious result or a broken piece of code, and together we’ll diagnose which DL contract has failed. The goal is not to revisit every architecture from DL-1, but to refresh the fundamental mechanisms we’ll rely on throughout DL-2. During the seminar, we’ll translate the same pipeline and cases into code and reproduce each failure mode in practice.
Лектор и семинарист: Mishan Aliev
Материалы: материалы.
Лекция / Семинар 2 (08.09).
Тема: Essentials of GPU, Deep Learning Bottlenecks, and Benchmarking Basics
Аннотация: In this session, we will explore the reasons behind the dominance of GPUs in Deep Learning and examine the common sources of performance bottlenecks in DL code. You will learn how to identify these bottlenecks using profiling tools and apply techniques to optimize and accelerate your code.
Лектор и семинарист: Fedor Velikonivtsev
Материалы: запись лекции, запись семинара, материалы.
Лекция / Семинар 3 (15.09).
Тема: The Evolution of Transformers
Аннотация: This lecture follows twelve years of Transformer architecture, from the original attention mechanism to Kimi Delta Attention, treating each step as an answer to one specific bottleneck. We close by seeing how all of it comes together in a 2026 frontier model. The accompanying seminar goes deeper into the main alternative - state space models.
Лектор и семинарист: Askar Tsyganov
Материалы: запись лекции, запись семинара, материалы.
Лекция / Семинар 4 (22.09).
Тема: RLHF and LLM Agents
Аннотация: We’ll go from RLHF and RLVR basics to tool use, agent harnesses, and MCP. We’ll also discuss how agent behavior depends not only on the model, but on the runtime around it, and what more interactive and asynchronous agents might look like.
Лектор и семинарист: George Yakushev
Домашние задания
| № | Домашнее задание | Ссылка | Дедлайн (мягкий) | Дедлайн (жёсткий) |
|---|---|---|---|---|
| 1 | Tensor and DL Libraries | ссылка | 16 сентября 23:59 | 23 сентября 23:59 |
| 2 | Transformers for Named Entity Recognition | ??? | ??? | ??? |
| 3 | CV | ??? | ??? | ??? |
| 4 | Diffusion Models | ??? | ??? | ??? |