Глубинное обучение 2 2026

Общая информация

Курс предназначен для студентов 4 курса ФКН ПМИ (МОП, ИИ360 и КНАД).

Занятия проходят по вторникам 14:40-17:40 (переносы будут сообщаться в чате).

Полезные ссылки:

• Чат с обсуждением: https://t.me/+h1nvhREsiXQ0NGQy
• Репозиторий курса: https://github.com/thecrazymage/DL2_HSE
• Таблица с оценками: ???
• Anytask: https://anytask.org/course/1298

Формула итоговой оценки (округление арифметическое):

1. МОП, ИИ360: О_итог = 0.4 * О_{практика} + 0.4 * О_ДЗ + 0.2 * О_{финальный тест},
2. КНАД: О_итог = 0.7 * О_ДЗ + 0.3 * О_{финальный тест}.

Преподаватели и ассистенты

Кому писать, если кажется, что все пропало: Мишан Алиев

Группа	Ассистенты	Инвайт в anytask
ИИ360	Вячеслав Юсупов	SxPwMH5
231 (МОП)	Константин Леонтьев, Борис Жуков	OS4doYN
232 (МОП)	Даниил Цесарев	2EgU2Y5
233 (МОП)	Владимир Васенев	vSTloCG
234 (МОП)	Амир Афлятунов	ZYQmJWA
КНАД	Анастасия Голубкова	IYvh4rN

Лекции и семинары

Лекция / Семинар 1 (01.09).

Тема: DL 1 compressed

Аннотация: In this lecture, we’ll compress the core deep learning pipeline into one coherent picture: from data splits, tensor semantics, batching, and masking to objectives, backpropagation, optimization, evaluation, and fine-tuning. In the second part, we’ll stress-test this pipeline through interactive cases: each case begins with a suspicious result or a broken piece of code, and together we’ll diagnose which DL contract has failed. The goal is not to revisit every architecture from DL-1, but to refresh the fundamental mechanisms we’ll rely on throughout DL-2. During the seminar, we’ll translate the same pipeline and cases into code and reproduce each failure mode in practice.

Лектор и семинарист: Mishan Aliev

Материалы: материалы.

Лекция / Семинар 2 (08.09).

Тема: Essentials of GPU, Deep Learning Bottlenecks, and Benchmarking Basics

Аннотация: In this session, we will explore the reasons behind the dominance of GPUs in Deep Learning and examine the common sources of performance bottlenecks in DL code. You will learn how to identify these bottlenecks using profiling tools and apply techniques to optimize and accelerate your code.

Лектор и семинарист: Fedor Velikonivtsev

Материалы: запись лекции, запись семинара, материалы.

Лекция / Семинар 3 (15.09).

Тема: The Evolution of Transformers

Аннотация: This lecture follows twelve years of Transformer architecture, from the original attention mechanism to Kimi Delta Attention, treating each step as an answer to one specific bottleneck. We close by seeing how all of it comes together in a 2026 frontier model. The accompanying seminar goes deeper into the main alternative - state space models.

Лектор и семинарист: Askar Tsyganov

Материалы: материалы.

Домашние задания

№	Домашнее задание	Ссылка	Дедлайн (мягкий)	Дедлайн (жёсткий)
1	Tensor and DL Libraries	ссылка	16 сентября 23:59	23 сентября 23:59
2	Transformers for Named Entity Recognition	???	???	???
3	CV	???	???	???
4	Diffusion Models	???	???	???