Глубинное обучение КНАД 2026/27
О курсе
Пройдём обзорный курс по основам глубинного обучения: основные архитектуры, их модификации и применение к некоторым областям: компьютерному зрению, обработке текста, временным рядам, звуку, и другим.
Расписание
Лекция: Вторник 16:20.
Семинары: Вторник 18:10.
Полезные ссылки
- Общий чат курса в telegram: https://t.me/+xXrYwaMIgDlmNTcy
- Github курса: https://github.com/xufana/dl-knad-course/tree/main
- Таблица с оценками: TBA
Темы курса
(могут слегка варьироваться в дальнейшем в соответствие с запросами аудитории и техническим прогрессом в течение семестра)
1. Метод обратного распространения ошибки, полносвязные нейронные сети
2. Функции потерь, Dropout, Batch Normalization
3. Оптимизация нейронных сетей + практика обучения (schedulers, warmup, AMP, grad clipping / accumulation)
4. Операция свертки
5. Сверточные архитектуры
6. Задачи компьютерного зрения: сегментация, детекция, классификация
7. Последовательности I: RNN / LSTM / GRU полноценно, BPTT; примеры — временные ряды и текст. Временные ряды обзорно: в чём сложность, почему выделяем в отдельный тип данных
8. Последовательности II: звук — спектрограммы, 1D-свертки vs RNN, CTC (ASR обзорно), связь с временными рядами (WaveNet / TCN)
9. Эмбеддинги и токенизация как общий принцип (текст, аудио-токены, категориальные признаки) + attention как идея
10. Архитектура трансформера (ест любые последовательности: текст, патчи, аудио, ряды). Sampling / temperature. BERT.
11. Vision Transformer + transfer learning / fine-tuning как практика общего назначения
12. GAN + соревновательные атаки
13. Разные модальности: мультимодальные модели и их обучение
14. Индустриальный интенсив
Преподаватели
| Преподаватели |
|---|
| Дарья Андреева |
| Глеб Панин |
| Анастасия Изюмова |
Формула оценок
Итог = 0,5*О_проект + 0,35*О_коллок + 0,15*О_квизы
Формат экзамена: защита проекта (блокирующая).
Коллоквиум
TBA
Проект
Формат: воспроизведение научной статьи + улучшение или исправление найденных недочётов
Группа: 2–4 человека. Тема: уникальна для группы, выбирается самостоятельно из списка ниже, либо может быть предложена группой по собственной инициативе, но необходимо согласование с преподавателями.
Остальные подробности на гите