Wiki - Факультет компьютерных наук - Вклад [ru]

DL для звука (ИИ24, 6-7 модуль)

2025-12-14T21:17:29Z

Mkgoldshteyn:

==О курсе==

Занятия проводятся в [ Zoom] '''по ...<день>... в ...<время>...'''

Онлайн-курс в дополнение к парам: [[ online-course link]]

==Контакты==

Канал курса в TG: [[ channel link]]

Чат курса в TG: [[ chat link]]

Преподаватель:

{| class="wikitable"
|-
!Ассистенты
|-
| [https://t.me/Einstein_30 Карагодин Никита] || [https://t.me/kalxon Демиденко Никита] || [https://t.me/lKhoroshenina Хорошенина Лилия] || [https://t.me/zuikovaov Зуйкова Ольга]
|
|}

==Материалы курса==
Ссылка на плейлист курса на YouTube: [[ YouTube-playlist]]

Ссылка на GitHub с материалами курса: [https://github.com/NickKar30/DLA-HSE-AI-masters-course GitHub repository]

{| class="wikitable"
|-
! Занятие !! Тема !! Дата !! Материалы для самоподготовки к семинарам !! Дополнительные материалы
|-
| style="background:#eaecf0;" | '''1''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| style="background:#eaecf0;" | '''2''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| style="background:#eaecf0;" | '''3''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| style="background:#eaecf0;" | '''4''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| style="background:#eaecf0;" | '''5''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| style="background:#eaecf0;" | '''6''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| Конец первого модуля |
|-
| style="background:#eaecf0;" | '''7''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| style="background:#eaecf0;" | '''8''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| style="background:#eaecf0;" | '''9''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| style="background:#eaecf0;" | '''10''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| style="background:#eaecf0;" | '''11''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| style="background:#eaecf0;" | '''12''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
|}

=== Записи консультаций ===

==Формула оценивания==

Оценка = ...<вес 1>...*О...<форма контроля 1>... + ...<вес 2>...*О...<форма контроля 2>... + ...<вес 3>...*О...<форма контроля 3>...

== Домашние задания ==
#
#
#
#

== Литература ==
#
#
#
#

DL для звука (ИИ24, 6-7 модуль)

2025-12-14T21:14:47Z

Mkgoldshteyn:

==О курсе==

Занятия проводятся в [ Zoom] '''по ...<день>... в ...<время>...'''

Онлайн-курс в дополнение к парам: [[ online-course link]]

==Контакты==

Канал курса в TG: [[ channel link]]

Чат курса в TG: [[ chat link]]

Преподаватель:

{| class="wikitable"
|-
!Ассистенты
|-
| [https://t.me/htutb Уваров Николай] || [https://t.me/sodeniZz Матвеев Денис] || [https://t.me/perkyfever Тихонов Даниил]
|
|}

==Материалы курса==
Ссылка на плейлист курса на YouTube: [[ YouTube-playlist]]

Ссылка на GitHub с материалами курса: [https://github.com/NickKar30/DLA-HSE-AI-masters-course GitHub repository]

{| class="wikitable"
|-
! Занятие !! Тема !! Дата !! Материалы для самоподготовки к семинарам !! Дополнительные материалы
|-
| style="background:#eaecf0;" | '''1''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| style="background:#eaecf0;" | '''2''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| style="background:#eaecf0;" | '''3''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| style="background:#eaecf0;" | '''4''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| style="background:#eaecf0;" | '''5''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| style="background:#eaecf0;" | '''6''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| Конец первого модуля |
|-
| style="background:#eaecf0;" | '''7''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| style="background:#eaecf0;" | '''8''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| style="background:#eaecf0;" | '''9''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| style="background:#eaecf0;" | '''10''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| style="background:#eaecf0;" | '''11''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| style="background:#eaecf0;" | '''12''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
|}

=== Записи консультаций ===

==Формула оценивания==

Оценка = ...<вес 1>...*О...<форма контроля 1>... + ...<вес 2>...*О...<форма контроля 2>... + ...<вес 3>...*О...<форма контроля 3>...

== Домашние задания ==
#
#
#
#

== Литература ==
#
#
#
#

DL для звука (ИИ24, 6-7 модуль)

2025-12-14T21:13:54Z

Mkgoldshteyn:

==О курсе==

Занятия проводятся в [ Zoom] '''по ...<день>... в ...<время>...'''

Онлайн-курс в дополнение к парам: [[ online-course link]]

==Контакты==

Канал курса в TG: [[ channel link]]

Чат курса в TG: [[ chat link]]

Преподаватель:

{| class="wikitable"
|-
! Ассистент !! Контакты
|-
| [https://t.me/Einstein_30 Карагодин Никита] | ||
|-
|}

==Материалы курса==
Ссылка на плейлист курса на YouTube: [[ YouTube-playlist]]

Ссылка на GitHub с материалами курса: [https://github.com/NickKar30/DLA-HSE-AI-masters-course GitHub repository]

{| class="wikitable"
|-
! Занятие !! Тема !! Дата !! Материалы для самоподготовки к семинарам !! Дополнительные материалы
|-
| style="background:#eaecf0;" | '''1''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| style="background:#eaecf0;" | '''2''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| style="background:#eaecf0;" | '''3''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| style="background:#eaecf0;" | '''4''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| style="background:#eaecf0;" | '''5''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| style="background:#eaecf0;" | '''6''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| Конец первого модуля |
|-
| style="background:#eaecf0;" | '''7''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| style="background:#eaecf0;" | '''8''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| style="background:#eaecf0;" | '''9''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| style="background:#eaecf0;" | '''10''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| style="background:#eaecf0;" | '''11''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| style="background:#eaecf0;" | '''12''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
|}

=== Записи консультаций ===

==Формула оценивания==

Оценка = ...<вес 1>...*О...<форма контроля 1>... + ...<вес 2>...*О...<форма контроля 2>... + ...<вес 3>...*О...<форма контроля 3>...

== Домашние задания ==
#
#
#
#

== Литература ==
#
#
#
#

DL для звука (ИИ24, 6-7 модуль)

2025-12-14T21:12:53Z

Mkgoldshteyn:

==О курсе==

Занятия проводятся в [ Zoom] '''по ...<день>... в ...<время>...'''

Онлайн-курс в дополнение к парам: [[ online-course link]]

==Контакты==

Канал курса в TG: [[ channel link]]

Чат курса в TG: [[ chat link]]

Преподаватель:

{| class="wikitable"
|-
! Ассистент !! Контакты
|-
| [https://t.me/Einstein_30 Карагодин Никита] | ||
|}

==Материалы курса==
Ссылка на плейлист курса на YouTube: [[ YouTube-playlist]]

Ссылка на GitHub с материалами курса: [https://github.com/NickKar30/DLA-HSE-AI-masters-course GitHub repository]

{| class="wikitable"
|-
! Занятие !! Тема !! Дата !! Материалы для самоподготовки к семинарам !! Дополнительные материалы
|-
| style="background:#eaecf0;" | '''1''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| style="background:#eaecf0;" | '''2''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| style="background:#eaecf0;" | '''3''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| style="background:#eaecf0;" | '''4''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| style="background:#eaecf0;" | '''5''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| style="background:#eaecf0;" | '''6''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| Конец первого модуля |
|-
| style="background:#eaecf0;" | '''7''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| style="background:#eaecf0;" | '''8''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| style="background:#eaecf0;" | '''9''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| style="background:#eaecf0;" | '''10''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| style="background:#eaecf0;" | '''11''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| style="background:#eaecf0;" | '''12''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
|}

=== Записи консультаций ===

==Формула оценивания==

Оценка = ...<вес 1>...*О...<форма контроля 1>... + ...<вес 2>...*О...<форма контроля 2>... + ...<вес 3>...*О...<форма контроля 3>...

== Домашние задания ==
#
#
#
#

== Литература ==
#
#
#
#

Генеративные модели в машинном обучении (ИИ 2025)

2025-12-05T15:13:07Z

Mkgoldshteyn:

==О курсе ==
Курс читается в первом семестре студентам магистерской образовательной программы [https://www.hse.ru/ma/mlds/ "Искусственный интеллект"].

{| class="wikitable"
|-
! Группа !! Преподаватели
|-
| Базовая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/murr4a Кантонистова Елена]
|-
| Продвинутая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/Einstein_30 Карагодин Никита]
|}

{| class="wikitable"
|-
! colspan="4" | Ассистенты
|-
| [https://t.me/htutb Уваров Николай] || [https://t.me/sodeniZz Матвеев Денис] || [https://t.me/perkyfever Тихонов Даниил]
|-
| [https://t.me/eiky0u Прудников Николай] || [https://t.me/llllllllllIlIIllIllIIIlllIllI Хасенов Ильяс] || [https://t.me/kolx0znik Саргсян Нарек]
|-
| [https://t.me/the_overfeeling Герасимов Борис] || [https://t.me/Oleg_Oleg_Ch Черников Олег] || [https://t.me/brickckirb Семенов Иван]
|}

==Материалы курса ==
Ссылка на плейлист курса на VK: [https://vkvideo.ru/playlist/-227011779_46 VK-playlist]

Ссылка на плейлист курса на YouTube: [https://www.youtube.com/playlist?list=PLmA-1xX7IuzC-MkRlR8XdGJQlQUKigDR9 YouTube-playlist]

Ссылка на GitHub с материалами курса: [https://github.com/NickKar30/GM-HSE-AI-masters-course GitHub]

Ссылка на stepik: [https://stepik.org/course/179805/promo#toc Stepik]

===Расписание базовой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Дополнительные материалы
|-

| style="background:#eaecf0;" | '''1''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''2''' || Токенизация, BERT, дообучение трансформерных моделей || [https://m.vkvideo.ru/video-227011779_456239498?from=video&t=1h1m7s Лекция VK] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''4''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''5''' || Нормализующие потоки || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Автокодировщики, вариационные автокодировщики|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''7''' || Генеративно-состязательные сети, StyleGAN|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''8''' || Диффузионные модели || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Мультимодальные модели, CLIP, Stable Diffusion|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

===Расписание продвинутой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Домашние задания
|-

| style="background:#eaecf0;" | '''1''' || Применения генеративных моделей, метод максимального правдоподобия, энтропия и KL-дивергенция, задачи генеративных моделей, AR модели || [https://m.vkvideo.ru/video-227011779_456239487?from=video&t=41m52s Лекция VK] [https://m.vkvideo.ru/video-227011779_456239494?from=video&t=42m58s Семинар VK]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec1_intro.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem1_pixelcnn.ipynb Семинар] || rowspan="5" | [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/homeworks/pro/hw1.ipynb ImageGPT]
|-

| style="background:#eaecf0;" | '''2''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Токенизация, BERT, дообучение трансформерных моделей || [https://m.vkvideo.ru/video-227011779_456239498?from=video&t=1h1m7s Лекция VK] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''4''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''5''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Нормализующие потоки, авторегрессионные и линейные потоки, модели NICE, RealNVP и Glow|| [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239512?linked=1 Лекция VK] [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239513?linked=1 Семинар VK] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec2_flows.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem2_flow.ipynb Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/homeworks/pro/hw2/hw2.ipynb Glow]
|-
| style="background:#eaecf0;" | '''7''' || Модели скрытых переменных, ЕМ-алгоритм, вывод вариационной нижней оценки (ELBO)|| [https://m.vkvideo.ru/video-227011779_456239540?t=21m48s Лекция]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec3_lvm.pdf Лекция VK] ||
|-
| style="background:#eaecf0;" | '''8''' || Амортизированный вариационный вывод, трюк репараметризации, VAE, ELBO Surgery, Learnable Prior|| [https://m.vkvideo.ru/video-227011779_456239552?t=1h9m44s Лекция VK] [https://m.vkvideo.ru/video-227011779_456239554?t=19m46s Семинар VK] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec4_vae.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem4_vae.ipynb Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Discrete VAE, VQ-VAE, VQ-VAE2, likelihood free-learning, GANs || [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239577?linked=1 Лекция VK] [https://www.youtube.com/watch?v=7R6Odp_PQck&list=PLmA-1xX7IuzC-MkRlR8XdGJQlQUKigDR9&index=9 Лекция Ytb]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec5_vqvae_gans.pdf Лекция]||
|-
| style="background:#eaecf0;" | '''10''' || Проблемы GANs: Mode collapse, Manifold Hypotesis; Wasserstain Distance, WGAN, WGAN-GP, PG-GAN, SAGAN, StyleGAN|| [https://m.vkvideo.ru/video-227011779_456239598 Лекция VK] [https://m.vkvideo.ru/video-227011779_456239612?t=50m4s Семинар VK] [https://www.youtube.com/watch?v=OIWZnWtw_Eg&list=PLmA-1xX7IuzC-MkRlR8XdGJQlQUKigDR9&index=7 Лекция Ytb]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec6_gans.pdf Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''11''' || Energy based models, динамика Ланжевена, score matching: Implicit score matching, sliced score matching, denoising score matching, Noise conditioned score network|| [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239621?linked=1&t=1h15m13s Лекция VK] [https://www.youtube.com/watch?v=O7KdDHsaY5w&list=PLmA-1xX7IuzC-MkRlR8XdGJQlQUKigDR9&index=4 Лекция Ytb]|| [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''12''' || Прямой и обратный диффузионные процессы, диффузия как модель VAE || [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239631?linked=1&t=40m38s Лекция VK] [Семинар VK] [https://www.youtube.com/watch?v=VsF0MU-6754&list=PLmA-1xX7IuzC-MkRlR8XdGJQlQUKigDR9&index=2 Лекция Ytb]|| [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''13''' || || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

==Формула оценивания ==
Общая оценка: <code>𝟎.𝟔×ДЗ + 𝟎.𝟏×Степик + 𝟎.𝟏×Теормин + 𝟎.𝟐×Экзамен</code>

==Stepik ==
В оценку за Stepik идут только следующие модули:

* [https://stepik.org/lesson/1260768 Модуль 10 Attention]

* [https://stepik.org/lesson/1260773 Модуль 11 Трансформеры: теория]

* [https://stepik.org/lesson/1322959 Модуль 12 Трансформеры: практика]

* [https://stepik.org/lesson/1366006 Модуль 14 Классические генеративные модели]

* [https://stepik.org/lesson/1366010 Модуль 15 Современные генеративные модели]

* [https://stepik.org/lesson/1366014 Модуль 16 Методы оптимизации нейронных сетей]

'''Важно:''' Части степика с домашними заданиями делать не нужно (15.4, например). Но нужно ответить на квизы в других его частях (15.1, например).

== Домашние задания ==

===Инвайты в Anytask===

Base Group: <code>WhnrWvK</code>

Pro Group: <code>iYcTpI5</code>

'''Base / Pro - мягкий дедлайн:'''

1. NLP / ImageGPT - дедлайн 12 октября 23:59

2. GAN&VAE / Glow - дедлайн 6 ноября 23:59

3. Diffusion&Flows / VQ VAE - 14 ноября 23:59

4. MM AR / GANs - 28 ноября 23:59

Жесткий дедлайн по всем заданиям: 1 декабря 2025*

* Для сдачи курса на зачет (4 балла) можно досдавать домашние задания после жесткого дедлайна - до 20 декабря 23:59. Только в случае, если речь идет про зачет/незачет. Выше оценки 4 в случае поздней досдачи получить нельзя.

'''Правила дедлайнов по курсу:'''

- за каждую неделю просрочки после мягкого дедлайна штраф 2 балла

- после трех недель просрочки штраф 6 баллов и он не увеличивается

- после трех недель просрочки и до -1 недели до конца модуля можно сдавать задания с максимальным баллом 4.

== Теормин и Экзамен ==

'''Теормин''' - устный опрос по заранее фиксированному списку вопросов с кратким ответом. Необходимо ответить на 3 вопроса за не более, чем 5 минут.

- Теормин ожидается 1 декабря.

- Балл за теормин: 0 / 5 / 10.

'''Экзамен''' - устный разговор по темам курса, не более 10 минут, ожидаются развернутые ответы в свободной форме.

- На экзамен допускаются только те, кто получил полный балл (10) за теормин.

- Экзамен пройдет в сессию 2го модуля.

Генеративные модели в машинном обучении (ИИ 2025)

2025-12-05T15:11:55Z

Mkgoldshteyn:

==О курсе ==
Курс читается в первом семестре студентам магистерской образовательной программы [https://www.hse.ru/ma/mlds/ "Искусственный интеллект"].

{| class="wikitable"
|-
! Группа !! Преподаватели
|-
| Базовая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/murr4a Кантонистова Елена]
|-
| Продвинутая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/Einstein_30 Карагодин Никита]
|}

{| class="wikitable"
|-
! colspan="4" | Ассистенты
|-
| [https://t.me/htutb Уваров Николай] || [https://t.me/sodeniZz Матвеев Денис] || [https://t.me/perkyfever Тихонов Даниил]
|-
| [https://t.me/eiky0u Прудников Николай] || [https://t.me/llllllllllIlIIllIllIIIlllIllI Хасенов Ильяс] || [https://t.me/kolx0znik Саргсян Нарек]
|-
| [https://t.me/the_overfeeling Герасимов Борис] || [https://t.me/Oleg_Oleg_Ch Черников Олег] || [https://t.me/brickckirb Семенов Иван]
|}

==Материалы курса ==
Ссылка на плейлист курса на VK: [https://vkvideo.ru/playlist/-227011779_46 VK-playlist]

Ссылка на плейлист курса на YouTube: [https://www.youtube.com/playlist?list=PLmA-1xX7IuzC-MkRlR8XdGJQlQUKigDR9 YouTube-playlist]

Ссылка на GitHub с материалами курса: [https://github.com/NickKar30/GM-HSE-AI-masters-course GitHub]

Ссылка на stepik: [https://stepik.org/course/179805/promo#toc Stepik]

===Расписание базовой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Дополнительные материалы
|-

| style="background:#eaecf0;" | '''1''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''2''' || Токенизация, BERT, дообучение трансформерных моделей || [https://m.vkvideo.ru/video-227011779_456239498?from=video&t=1h1m7s Лекция VK] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''4''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''5''' || Нормализующие потоки || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Автокодировщики, вариационные автокодировщики|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''7''' || Генеративно-состязательные сети, StyleGAN|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''8''' || Диффузионные модели || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Мультимодальные модели, CLIP, Stable Diffusion|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

===Расписание продвинутой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Домашние задания
|-

| style="background:#eaecf0;" | '''1''' || Применения генеративных моделей, метод максимального правдоподобия, энтропия и KL-дивергенция, задачи генеративных моделей, AR модели || [https://m.vkvideo.ru/video-227011779_456239487?from=video&t=41m52s Лекция VK] [https://m.vkvideo.ru/video-227011779_456239494?from=video&t=42m58s Семинар VK]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec1_intro.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem1_pixelcnn.ipynb Семинар] || rowspan="5" | [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/homeworks/pro/hw1.ipynb ImageGPT]
|-

| style="background:#eaecf0;" | '''2''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Токенизация, BERT, дообучение трансформерных моделей || [https://m.vkvideo.ru/video-227011779_456239498?from=video&t=1h1m7s Лекция VK] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''4''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''5''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Нормализующие потоки, авторегрессионные и линейные потоки, модели NICE, RealNVP и Glow|| [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239512?linked=1 Лекция VK] [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239513?linked=1 Семинар VK] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec2_flows.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem2_flow.ipynb Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/homeworks/pro/hw2/hw2.ipynb Glow]
|-
| style="background:#eaecf0;" | '''7''' || Модели скрытых переменных, ЕМ-алгоритм, вывод вариационной нижней оценки (ELBO)|| [https://m.vkvideo.ru/video-227011779_456239540?t=21m48s Лекция]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec3_lvm.pdf Лекция VK] ||
|-
| style="background:#eaecf0;" | '''8''' || Амортизированный вариационный вывод, трюк репараметризации, VAE, ELBO Surgery, Learnable Prior|| [https://m.vkvideo.ru/video-227011779_456239552?t=1h9m44s Лекция VK] [https://m.vkvideo.ru/video-227011779_456239554?t=19m46s Семинар VK] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec4_vae.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem4_vae.ipynb Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Discrete VAE, VQ-VAE, VQ-VAE2, likelihood free-learning, GANs || [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239577?linked=1 Лекция VK]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec5_vqvae_gans.pdf Лекция]||
|-
| style="background:#eaecf0;" | '''10''' || Проблемы GANs: Mode collapse, Manifold Hypotesis; Wasserstain Distance, WGAN, WGAN-GP, PG-GAN, SAGAN, StyleGAN|| [https://m.vkvideo.ru/video-227011779_456239598 Лекция VK] [https://m.vkvideo.ru/video-227011779_456239612?t=50m4s Семинар VK] [https://www.youtube.com/watch?v=OIWZnWtw_Eg&list=PLmA-1xX7IuzC-MkRlR8XdGJQlQUKigDR9&index=7 Лекция Ytb]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec6_gans.pdf Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''11''' || Energy based models, динамика Ланжевена, score matching: Implicit score matching, sliced score matching, denoising score matching, Noise conditioned score network|| [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239621?linked=1&t=1h15m13s Лекция VK] [https://www.youtube.com/watch?v=O7KdDHsaY5w&list=PLmA-1xX7IuzC-MkRlR8XdGJQlQUKigDR9&index=4 Лекция Ytb]|| [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''12''' || Прямой и обратный диффузионные процессы, диффузия как модель VAE || [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239631?linked=1&t=40m38s Лекция VK] [Семинар VK] [https://www.youtube.com/watch?v=VsF0MU-6754&list=PLmA-1xX7IuzC-MkRlR8XdGJQlQUKigDR9&index=2 Лекция Ytb]|| [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''13''' || || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

==Формула оценивания ==
Общая оценка: <code>𝟎.𝟔×ДЗ + 𝟎.𝟏×Степик + 𝟎.𝟏×Теормин + 𝟎.𝟐×Экзамен</code>

==Stepik ==
В оценку за Stepik идут только следующие модули:

* [https://stepik.org/lesson/1260768 Модуль 10 Attention]

* [https://stepik.org/lesson/1260773 Модуль 11 Трансформеры: теория]

* [https://stepik.org/lesson/1322959 Модуль 12 Трансформеры: практика]

* [https://stepik.org/lesson/1366006 Модуль 14 Классические генеративные модели]

* [https://stepik.org/lesson/1366010 Модуль 15 Современные генеративные модели]

* [https://stepik.org/lesson/1366014 Модуль 16 Методы оптимизации нейронных сетей]

'''Важно:''' Части степика с домашними заданиями делать не нужно (15.4, например). Но нужно ответить на квизы в других его частях (15.1, например).

== Домашние задания ==

===Инвайты в Anytask===

Base Group: <code>WhnrWvK</code>

Pro Group: <code>iYcTpI5</code>

'''Base / Pro - мягкий дедлайн:'''

1. NLP / ImageGPT - дедлайн 12 октября 23:59

2. GAN&VAE / Glow - дедлайн 6 ноября 23:59

3. Diffusion&Flows / VQ VAE - 14 ноября 23:59

4. MM AR / GANs - 28 ноября 23:59

Жесткий дедлайн по всем заданиям: 1 декабря 2025*

* Для сдачи курса на зачет (4 балла) можно досдавать домашние задания после жесткого дедлайна - до 20 декабря 23:59. Только в случае, если речь идет про зачет/незачет. Выше оценки 4 в случае поздней досдачи получить нельзя.

'''Правила дедлайнов по курсу:'''

- за каждую неделю просрочки после мягкого дедлайна штраф 2 балла

- после трех недель просрочки штраф 6 баллов и он не увеличивается

- после трех недель просрочки и до -1 недели до конца модуля можно сдавать задания с максимальным баллом 4.

== Теормин и Экзамен ==

'''Теормин''' - устный опрос по заранее фиксированному списку вопросов с кратким ответом. Необходимо ответить на 3 вопроса за не более, чем 5 минут.

- Теормин ожидается 1 декабря.

- Балл за теормин: 0 / 5 / 10.

'''Экзамен''' - устный разговор по темам курса, не более 10 минут, ожидаются развернутые ответы в свободной форме.

- На экзамен допускаются только те, кто получил полный балл (10) за теормин.

- Экзамен пройдет в сессию 2го модуля.

Генеративные модели в машинном обучении (ИИ 2025)

2025-12-05T15:11:29Z

Mkgoldshteyn:

==О курсе ==
Курс читается в первом семестре студентам магистерской образовательной программы [https://www.hse.ru/ma/mlds/ "Искусственный интеллект"].

{| class="wikitable"
|-
! Группа !! Преподаватели
|-
| Базовая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/murr4a Кантонистова Елена]
|-
| Продвинутая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/Einstein_30 Карагодин Никита]
|}

{| class="wikitable"
|-
! colspan="4" | Ассистенты
|-
| [https://t.me/htutb Уваров Николай] || [https://t.me/sodeniZz Матвеев Денис] || [https://t.me/perkyfever Тихонов Даниил]
|-
| [https://t.me/eiky0u Прудников Николай] || [https://t.me/llllllllllIlIIllIllIIIlllIllI Хасенов Ильяс] || [https://t.me/kolx0znik Саргсян Нарек]
|-
| [https://t.me/the_overfeeling Герасимов Борис] || [https://t.me/Oleg_Oleg_Ch Черников Олег] || [https://t.me/brickckirb Семенов Иван]
|}

==Материалы курса ==
Ссылка на плейлист курса на VK: [https://vkvideo.ru/playlist/-227011779_46 VK-playlist]

Ссылка на плейлист курса на YouTube: [https://www.youtube.com/playlist?list=PLmA-1xX7IuzC-MkRlR8XdGJQlQUKigDR9 YouTube-playlist]

Ссылка на GitHub с материалами курса: [https://github.com/NickKar30/GM-HSE-AI-masters-course GitHub]

Ссылка на stepik: [https://stepik.org/course/179805/promo#toc Stepik]

===Расписание базовой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Дополнительные материалы
|-

| style="background:#eaecf0;" | '''1''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''2''' || Токенизация, BERT, дообучение трансформерных моделей || [https://m.vkvideo.ru/video-227011779_456239498?from=video&t=1h1m7s Лекция VK] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''4''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''5''' || Нормализующие потоки || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Автокодировщики, вариационные автокодировщики|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''7''' || Генеративно-состязательные сети, StyleGAN|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''8''' || Диффузионные модели || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Мультимодальные модели, CLIP, Stable Diffusion|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

===Расписание продвинутой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Домашние задания
|-

| style="background:#eaecf0;" | '''1''' || Применения генеративных моделей, метод максимального правдоподобия, энтропия и KL-дивергенция, задачи генеративных моделей, AR модели || [https://m.vkvideo.ru/video-227011779_456239487?from=video&t=41m52s Лекция VK] [https://m.vkvideo.ru/video-227011779_456239494?from=video&t=42m58s Семинар VK]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec1_intro.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem1_pixelcnn.ipynb Семинар] || rowspan="5" | [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/homeworks/pro/hw1.ipynb ImageGPT]
|-

| style="background:#eaecf0;" | '''2''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Токенизация, BERT, дообучение трансформерных моделей || [https://m.vkvideo.ru/video-227011779_456239498?from=video&t=1h1m7s Лекция VK] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''4''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''5''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Нормализующие потоки, авторегрессионные и линейные потоки, модели NICE, RealNVP и Glow|| [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239512?linked=1 Лекция VK] [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239513?linked=1 Семинар VK] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec2_flows.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem2_flow.ipynb Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/homeworks/pro/hw2/hw2.ipynb Glow]
|-
| style="background:#eaecf0;" | '''7''' || Модели скрытых переменных, ЕМ-алгоритм, вывод вариационной нижней оценки (ELBO)|| [https://m.vkvideo.ru/video-227011779_456239540?t=21m48s Лекция]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec3_lvm.pdf Лекция VK] ||
|-
| style="background:#eaecf0;" | '''8''' || Амортизированный вариационный вывод, трюк репараметризации, VAE, ELBO Surgery, Learnable Prior|| [https://m.vkvideo.ru/video-227011779_456239552?t=1h9m44s Лекция VK] [https://m.vkvideo.ru/video-227011779_456239554?t=19m46s Семинар VK] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec4_vae.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem4_vae.ipynb Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Discrete VAE, VQ-VAE, VQ-VAE2, likelihood free-learning, GANs || [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239577?linked=1 Лекция VK]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec5_vqvae_gans.pdf Лекция]||
|-
| style="background:#eaecf0;" | '''10''' || Проблемы GANs: Mode collapse, Manifold Hypotesis; Wasserstain Distance, WGAN, WGAN-GP, PG-GAN, SAGAN, StyleGAN|| [https://m.vkvideo.ru/video-227011779_456239598 Лекция VK] [https://m.vkvideo.ru/video-227011779_456239612?t=50m4s Семинар VK]
[https://www.youtube.com/watch?v=OIWZnWtw_Eg&list=PLmA-1xX7IuzC-MkRlR8XdGJQlQUKigDR9&index=7 Лекция Ytb] [https://www.youtube.com/watch?v=MSPbBngj8ec&list=PLmA-1xX7IuzC-MkRlR8XdGJQlQUKigDR9&index=6 Семинар Ytb]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec6_gans.pdf Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''11''' || Energy based models, динамика Ланжевена, score matching: Implicit score matching, sliced score matching, denoising score matching, Noise conditioned score network|| [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239621?linked=1&t=1h15m13s Лекция VK] [https://www.youtube.com/watch?v=O7KdDHsaY5w&list=PLmA-1xX7IuzC-MkRlR8XdGJQlQUKigDR9&index=4 Лекция Ytb]|| [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''12''' || Прямой и обратный диффузионные процессы, диффузия как модель VAE || [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239631?linked=1&t=40m38s Лекция VK] [Семинар VK] [https://www.youtube.com/watch?v=VsF0MU-6754&list=PLmA-1xX7IuzC-MkRlR8XdGJQlQUKigDR9&index=2 Лекция Ytb]|| [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''13''' || || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

==Формула оценивания ==
Общая оценка: <code>𝟎.𝟔×ДЗ + 𝟎.𝟏×Степик + 𝟎.𝟏×Теормин + 𝟎.𝟐×Экзамен</code>

==Stepik ==
В оценку за Stepik идут только следующие модули:

* [https://stepik.org/lesson/1260768 Модуль 10 Attention]

* [https://stepik.org/lesson/1260773 Модуль 11 Трансформеры: теория]

* [https://stepik.org/lesson/1322959 Модуль 12 Трансформеры: практика]

* [https://stepik.org/lesson/1366006 Модуль 14 Классические генеративные модели]

* [https://stepik.org/lesson/1366010 Модуль 15 Современные генеративные модели]

* [https://stepik.org/lesson/1366014 Модуль 16 Методы оптимизации нейронных сетей]

'''Важно:''' Части степика с домашними заданиями делать не нужно (15.4, например). Но нужно ответить на квизы в других его частях (15.1, например).

== Домашние задания ==

===Инвайты в Anytask===

Base Group: <code>WhnrWvK</code>

Pro Group: <code>iYcTpI5</code>

'''Base / Pro - мягкий дедлайн:'''

1. NLP / ImageGPT - дедлайн 12 октября 23:59

2. GAN&VAE / Glow - дедлайн 6 ноября 23:59

3. Diffusion&Flows / VQ VAE - 14 ноября 23:59

4. MM AR / GANs - 28 ноября 23:59

Жесткий дедлайн по всем заданиям: 1 декабря 2025*

* Для сдачи курса на зачет (4 балла) можно досдавать домашние задания после жесткого дедлайна - до 20 декабря 23:59. Только в случае, если речь идет про зачет/незачет. Выше оценки 4 в случае поздней досдачи получить нельзя.

'''Правила дедлайнов по курсу:'''

- за каждую неделю просрочки после мягкого дедлайна штраф 2 балла

- после трех недель просрочки штраф 6 баллов и он не увеличивается

- после трех недель просрочки и до -1 недели до конца модуля можно сдавать задания с максимальным баллом 4.

== Теормин и Экзамен ==

'''Теормин''' - устный опрос по заранее фиксированному списку вопросов с кратким ответом. Необходимо ответить на 3 вопроса за не более, чем 5 минут.

- Теормин ожидается 1 декабря.

- Балл за теормин: 0 / 5 / 10.

'''Экзамен''' - устный разговор по темам курса, не более 10 минут, ожидаются развернутые ответы в свободной форме.

- На экзамен допускаются только те, кто получил полный балл (10) за теормин.

- Экзамен пройдет в сессию 2го модуля.

Генеративные модели в машинном обучении (ИИ 2025)

2025-12-05T15:11:04Z

Mkgoldshteyn:

==О курсе ==
Курс читается в первом семестре студентам магистерской образовательной программы [https://www.hse.ru/ma/mlds/ "Искусственный интеллект"].

{| class="wikitable"
|-
! Группа !! Преподаватели
|-
| Базовая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/murr4a Кантонистова Елена]
|-
| Продвинутая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/Einstein_30 Карагодин Никита]
|}

{| class="wikitable"
|-
! colspan="4" | Ассистенты
|-
| [https://t.me/htutb Уваров Николай] || [https://t.me/sodeniZz Матвеев Денис] || [https://t.me/perkyfever Тихонов Даниил]
|-
| [https://t.me/eiky0u Прудников Николай] || [https://t.me/llllllllllIlIIllIllIIIlllIllI Хасенов Ильяс] || [https://t.me/kolx0znik Саргсян Нарек]
|-
| [https://t.me/the_overfeeling Герасимов Борис] || [https://t.me/Oleg_Oleg_Ch Черников Олег] || [https://t.me/brickckirb Семенов Иван]
|}

==Материалы курса ==
Ссылка на плейлист курса на VK: [https://vkvideo.ru/playlist/-227011779_46 VK-playlist]

Ссылка на плейлист курса на YouTube: [https://www.youtube.com/playlist?list=PLmA-1xX7IuzC-MkRlR8XdGJQlQUKigDR9 YouTube-playlist]

Ссылка на GitHub с материалами курса: [https://github.com/NickKar30/GM-HSE-AI-masters-course GitHub]

Ссылка на stepik: [https://stepik.org/course/179805/promo#toc Stepik]

===Расписание базовой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Дополнительные материалы
|-

| style="background:#eaecf0;" | '''1''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''2''' || Токенизация, BERT, дообучение трансформерных моделей || [https://m.vkvideo.ru/video-227011779_456239498?from=video&t=1h1m7s Лекция VK] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''4''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''5''' || Нормализующие потоки || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Автокодировщики, вариационные автокодировщики|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''7''' || Генеративно-состязательные сети, StyleGAN|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''8''' || Диффузионные модели || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Мультимодальные модели, CLIP, Stable Diffusion|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

===Расписание продвинутой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Домашние задания
|-

| style="background:#eaecf0;" | '''1''' || Применения генеративных моделей, метод максимального правдоподобия, энтропия и KL-дивергенция, задачи генеративных моделей, AR модели || [https://m.vkvideo.ru/video-227011779_456239487?from=video&t=41m52s Лекция VK] [https://m.vkvideo.ru/video-227011779_456239494?from=video&t=42m58s Семинар VK]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec1_intro.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem1_pixelcnn.ipynb Семинар] || rowspan="5" | [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/homeworks/pro/hw1.ipynb ImageGPT]
|-

| style="background:#eaecf0;" | '''2''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Токенизация, BERT, дообучение трансформерных моделей || [https://m.vkvideo.ru/video-227011779_456239498?from=video&t=1h1m7s Лекция VK] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''4''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''5''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Нормализующие потоки, авторегрессионные и линейные потоки, модели NICE, RealNVP и Glow|| [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239512?linked=1 Лекция VK] [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239513?linked=1 Семинар VK] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec2_flows.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem2_flow.ipynb Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/homeworks/pro/hw2/hw2.ipynb Glow]
|-
| style="background:#eaecf0;" | '''7''' || Модели скрытых переменных, ЕМ-алгоритм, вывод вариационной нижней оценки (ELBO)|| [https://m.vkvideo.ru/video-227011779_456239540?t=21m48s Лекция]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec3_lvm.pdf Лекция VK] ||
|-
| style="background:#eaecf0;" | '''8''' || Амортизированный вариационный вывод, трюк репараметризации, VAE, ELBO Surgery, Learnable Prior|| [https://m.vkvideo.ru/video-227011779_456239552?t=1h9m44s Лекция VK] [https://m.vkvideo.ru/video-227011779_456239554?t=19m46s Семинар VK] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec4_vae.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem4_vae.ipynb Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Discrete VAE, VQ-VAE, VQ-VAE2, likelihood free-learning, GANs || [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239577?linked=1 Лекция VK]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec5_vqvae_gans.pdf Лекция]||
|-
| style="background:#eaecf0;" | '''10''' || Проблемы GANs: Mode collapse, Manifold Hypotesis; Wasserstain Distance, WGAN, WGAN-GP, PG-GAN, SAGAN, StyleGAN|| [https://m.vkvideo.ru/video-227011779_456239598 Лекция VK] [https://m.vkvideo.ru/video-227011779_456239612?t=50m4s Семинар VK] [https://www.youtube.com/watch?v=OIWZnWtw_Eg&list=PLmA-1xX7IuzC-MkRlR8XdGJQlQUKigDR9&index=7 Лекция Ytb] [https://www.youtube.com/watch?v=MSPbBngj8ec&list=PLmA-1xX7IuzC-MkRlR8XdGJQlQUKigDR9&index=6 Семинар Ytb]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec6_gans.pdf Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''11''' || Energy based models, динамика Ланжевена, score matching: Implicit score matching, sliced score matching, denoising score matching, Noise conditioned score network|| [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239621?linked=1&t=1h15m13s Лекция VK] [https://www.youtube.com/watch?v=O7KdDHsaY5w&list=PLmA-1xX7IuzC-MkRlR8XdGJQlQUKigDR9&index=4 Лекция Ytb]|| [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''12''' || Прямой и обратный диффузионные процессы, диффузия как модель VAE || [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239631?linked=1&t=40m38s Лекция VK] [Семинар VK] [https://www.youtube.com/watch?v=VsF0MU-6754&list=PLmA-1xX7IuzC-MkRlR8XdGJQlQUKigDR9&index=2 Лекция Ytb]|| [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''13''' || || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

==Формула оценивания ==
Общая оценка: <code>𝟎.𝟔×ДЗ + 𝟎.𝟏×Степик + 𝟎.𝟏×Теормин + 𝟎.𝟐×Экзамен</code>

==Stepik ==
В оценку за Stepik идут только следующие модули:

* [https://stepik.org/lesson/1260768 Модуль 10 Attention]

* [https://stepik.org/lesson/1260773 Модуль 11 Трансформеры: теория]

* [https://stepik.org/lesson/1322959 Модуль 12 Трансформеры: практика]

* [https://stepik.org/lesson/1366006 Модуль 14 Классические генеративные модели]

* [https://stepik.org/lesson/1366010 Модуль 15 Современные генеративные модели]

* [https://stepik.org/lesson/1366014 Модуль 16 Методы оптимизации нейронных сетей]

'''Важно:''' Части степика с домашними заданиями делать не нужно (15.4, например). Но нужно ответить на квизы в других его частях (15.1, например).

== Домашние задания ==

===Инвайты в Anytask===

Base Group: <code>WhnrWvK</code>

Pro Group: <code>iYcTpI5</code>

'''Base / Pro - мягкий дедлайн:'''

1. NLP / ImageGPT - дедлайн 12 октября 23:59

2. GAN&VAE / Glow - дедлайн 6 ноября 23:59

3. Diffusion&Flows / VQ VAE - 14 ноября 23:59

4. MM AR / GANs - 28 ноября 23:59

Жесткий дедлайн по всем заданиям: 1 декабря 2025*

* Для сдачи курса на зачет (4 балла) можно досдавать домашние задания после жесткого дедлайна - до 20 декабря 23:59. Только в случае, если речь идет про зачет/незачет. Выше оценки 4 в случае поздней досдачи получить нельзя.

'''Правила дедлайнов по курсу:'''

- за каждую неделю просрочки после мягкого дедлайна штраф 2 балла

- после трех недель просрочки штраф 6 баллов и он не увеличивается

- после трех недель просрочки и до -1 недели до конца модуля можно сдавать задания с максимальным баллом 4.

== Теормин и Экзамен ==

'''Теормин''' - устный опрос по заранее фиксированному списку вопросов с кратким ответом. Необходимо ответить на 3 вопроса за не более, чем 5 минут.

- Теормин ожидается 1 декабря.

- Балл за теормин: 0 / 5 / 10.

'''Экзамен''' - устный разговор по темам курса, не более 10 минут, ожидаются развернутые ответы в свободной форме.

- На экзамен допускаются только те, кто получил полный балл (10) за теормин.

- Экзамен пройдет в сессию 2го модуля.

Генеративные модели в машинном обучении (ИИ 2025)

2025-12-05T15:10:36Z

Mkgoldshteyn:

==О курсе ==
Курс читается в первом семестре студентам магистерской образовательной программы [https://www.hse.ru/ma/mlds/ "Искусственный интеллект"].

{| class="wikitable"
|-
! Группа !! Преподаватели
|-
| Базовая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/murr4a Кантонистова Елена]
|-
| Продвинутая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/Einstein_30 Карагодин Никита]
|}

{| class="wikitable"
|-
! colspan="4" | Ассистенты
|-
| [https://t.me/htutb Уваров Николай] || [https://t.me/sodeniZz Матвеев Денис] || [https://t.me/perkyfever Тихонов Даниил]
|-
| [https://t.me/eiky0u Прудников Николай] || [https://t.me/llllllllllIlIIllIllIIIlllIllI Хасенов Ильяс] || [https://t.me/kolx0znik Саргсян Нарек]
|-
| [https://t.me/the_overfeeling Герасимов Борис] || [https://t.me/Oleg_Oleg_Ch Черников Олег] || [https://t.me/brickckirb Семенов Иван]
|}

==Материалы курса ==
Ссылка на плейлист курса на VK: [https://vkvideo.ru/playlist/-227011779_46 VK-playlist]

Ссылка на плейлист курса на YouTube: [https://www.youtube.com/playlist?list=PLmA-1xX7IuzC-MkRlR8XdGJQlQUKigDR9 YouTube-playlist]

Ссылка на GitHub с материалами курса: [https://github.com/NickKar30/GM-HSE-AI-masters-course GitHub]

Ссылка на stepik: [https://stepik.org/course/179805/promo#toc Stepik]

===Расписание базовой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Дополнительные материалы
|-

| style="background:#eaecf0;" | '''1''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''2''' || Токенизация, BERT, дообучение трансформерных моделей || [https://m.vkvideo.ru/video-227011779_456239498?from=video&t=1h1m7s Лекция VK] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''4''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''5''' || Нормализующие потоки || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Автокодировщики, вариационные автокодировщики|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''7''' || Генеративно-состязательные сети, StyleGAN|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''8''' || Диффузионные модели || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Мультимодальные модели, CLIP, Stable Diffusion|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

===Расписание продвинутой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Домашние задания
|-

| style="background:#eaecf0;" | '''1''' || Применения генеративных моделей, метод максимального правдоподобия, энтропия и KL-дивергенция, задачи генеративных моделей, AR модели || [https://m.vkvideo.ru/video-227011779_456239487?from=video&t=41m52s Лекция VK] [https://m.vkvideo.ru/video-227011779_456239494?from=video&t=42m58s Семинар VK]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec1_intro.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem1_pixelcnn.ipynb Семинар] || rowspan="5" | [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/homeworks/pro/hw1.ipynb ImageGPT]
|-

| style="background:#eaecf0;" | '''2''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Токенизация, BERT, дообучение трансформерных моделей || [https://m.vkvideo.ru/video-227011779_456239498?from=video&t=1h1m7s Лекция VK] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''4''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''5''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Нормализующие потоки, авторегрессионные и линейные потоки, модели NICE, RealNVP и Glow|| [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239512?linked=1 Лекция VK] [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239513?linked=1 Семинар VK] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec2_flows.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem2_flow.ipynb Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/homeworks/pro/hw2/hw2.ipynb Glow]
|-
| style="background:#eaecf0;" | '''7''' || Модели скрытых переменных, ЕМ-алгоритм, вывод вариационной нижней оценки (ELBO)|| [https://m.vkvideo.ru/video-227011779_456239540?t=21m48s Лекция]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec3_lvm.pdf Лекция VK] ||
|-
| style="background:#eaecf0;" | '''8''' || Амортизированный вариационный вывод, трюк репараметризации, VAE, ELBO Surgery, Learnable Prior|| [https://m.vkvideo.ru/video-227011779_456239552?t=1h9m44s Лекция VK] [https://m.vkvideo.ru/video-227011779_456239554?t=19m46s Семинар VK] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec4_vae.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem4_vae.ipynb Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Discrete VAE, VQ-VAE, VQ-VAE2, likelihood free-learning, GANs || [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239577?linked=1 Лекция VK]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec5_vqvae_gans.pdf Лекция]||
|-
| style="background:#eaecf0;" | '''10''' || Проблемы GANs: Mode collapse, Manifold Hypotesis; Wasserstain Distance, WGAN, WGAN-GP, PG-GAN, SAGAN, StyleGAN|| [https://m.vkvideo.ru/video-227011779_456239598 Лекция VK] [https://m.vkvideo.ru/video-227011779_456239612?t=50m4s Семинар VK] [https://www.youtube.com/watch?v=OIWZnWtw_Eg&list=PLmA-1xX7IuzC-MkRlR8XdGJQlQUKigDR9&index=7 Лекция Ytb][https://www.youtube.com/watch?v=MSPbBngj8ec&list=PLmA-1xX7IuzC-MkRlR8XdGJQlQUKigDR9&index=6 Семинар Ytb]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec6_gans.pdf Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''11''' || Energy based models, динамика Ланжевена, score matching: Implicit score matching, sliced score matching, denoising score matching, Noise conditioned score network|| [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239621?linked=1&t=1h15m13s Лекция VK] [https://www.youtube.com/watch?v=O7KdDHsaY5w&list=PLmA-1xX7IuzC-MkRlR8XdGJQlQUKigDR9&index=4 Лекция Ytb]|| [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''12''' || Прямой и обратный диффузионные процессы, диффузия как модель VAE || [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239631?linked=1&t=40m38s Лекция VK] [Семинар VK] [https://www.youtube.com/watch?v=VsF0MU-6754&list=PLmA-1xX7IuzC-MkRlR8XdGJQlQUKigDR9&index=2 Лекция Ytb]|| [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''13''' || || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

==Формула оценивания ==
Общая оценка: <code>𝟎.𝟔×ДЗ + 𝟎.𝟏×Степик + 𝟎.𝟏×Теормин + 𝟎.𝟐×Экзамен</code>

==Stepik ==
В оценку за Stepik идут только следующие модули:

* [https://stepik.org/lesson/1260768 Модуль 10 Attention]

* [https://stepik.org/lesson/1260773 Модуль 11 Трансформеры: теория]

* [https://stepik.org/lesson/1322959 Модуль 12 Трансформеры: практика]

* [https://stepik.org/lesson/1366006 Модуль 14 Классические генеративные модели]

* [https://stepik.org/lesson/1366010 Модуль 15 Современные генеративные модели]

* [https://stepik.org/lesson/1366014 Модуль 16 Методы оптимизации нейронных сетей]

'''Важно:''' Части степика с домашними заданиями делать не нужно (15.4, например). Но нужно ответить на квизы в других его частях (15.1, например).

== Домашние задания ==

===Инвайты в Anytask===

Base Group: <code>WhnrWvK</code>

Pro Group: <code>iYcTpI5</code>

'''Base / Pro - мягкий дедлайн:'''

1. NLP / ImageGPT - дедлайн 12 октября 23:59

2. GAN&VAE / Glow - дедлайн 6 ноября 23:59

3. Diffusion&Flows / VQ VAE - 14 ноября 23:59

4. MM AR / GANs - 28 ноября 23:59

Жесткий дедлайн по всем заданиям: 1 декабря 2025*

* Для сдачи курса на зачет (4 балла) можно досдавать домашние задания после жесткого дедлайна - до 20 декабря 23:59. Только в случае, если речь идет про зачет/незачет. Выше оценки 4 в случае поздней досдачи получить нельзя.

'''Правила дедлайнов по курсу:'''

- за каждую неделю просрочки после мягкого дедлайна штраф 2 балла

- после трех недель просрочки штраф 6 баллов и он не увеличивается

- после трех недель просрочки и до -1 недели до конца модуля можно сдавать задания с максимальным баллом 4.

== Теормин и Экзамен ==

'''Теормин''' - устный опрос по заранее фиксированному списку вопросов с кратким ответом. Необходимо ответить на 3 вопроса за не более, чем 5 минут.

- Теормин ожидается 1 декабря.

- Балл за теормин: 0 / 5 / 10.

'''Экзамен''' - устный разговор по темам курса, не более 10 минут, ожидаются развернутые ответы в свободной форме.

- На экзамен допускаются только те, кто получил полный балл (10) за теормин.

- Экзамен пройдет в сессию 2го модуля.

Генеративные модели в машинном обучении (ИИ 2025)

2025-12-05T15:09:24Z

Mkgoldshteyn:

==О курсе ==
Курс читается в первом семестре студентам магистерской образовательной программы [https://www.hse.ru/ma/mlds/ "Искусственный интеллект"].

{| class="wikitable"
|-
! Группа !! Преподаватели
|-
| Базовая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/murr4a Кантонистова Елена]
|-
| Продвинутая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/Einstein_30 Карагодин Никита]
|}

{| class="wikitable"
|-
! colspan="4" | Ассистенты
|-
| [https://t.me/htutb Уваров Николай] || [https://t.me/sodeniZz Матвеев Денис] || [https://t.me/perkyfever Тихонов Даниил]
|-
| [https://t.me/eiky0u Прудников Николай] || [https://t.me/llllllllllIlIIllIllIIIlllIllI Хасенов Ильяс] || [https://t.me/kolx0znik Саргсян Нарек]
|-
| [https://t.me/the_overfeeling Герасимов Борис] || [https://t.me/Oleg_Oleg_Ch Черников Олег] || [https://t.me/brickckirb Семенов Иван]
|}

==Материалы курса ==
Ссылка на плейлист курса на VK: [https://vkvideo.ru/playlist/-227011779_46 VK-playlist]

Ссылка на плейлист курса на YouTube: [https://www.youtube.com/playlist?list=PLmA-1xX7IuzC-MkRlR8XdGJQlQUKigDR9 YouTube-playlist]

Ссылка на GitHub с материалами курса: [https://github.com/NickKar30/GM-HSE-AI-masters-course GitHub]

Ссылка на stepik: [https://stepik.org/course/179805/promo#toc Stepik]

===Расписание базовой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Дополнительные материалы
|-

| style="background:#eaecf0;" | '''1''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''2''' || Токенизация, BERT, дообучение трансформерных моделей || [https://m.vkvideo.ru/video-227011779_456239498?from=video&t=1h1m7s Лекция VK] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''4''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''5''' || Нормализующие потоки || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Автокодировщики, вариационные автокодировщики|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''7''' || Генеративно-состязательные сети, StyleGAN|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''8''' || Диффузионные модели || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Мультимодальные модели, CLIP, Stable Diffusion|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

===Расписание продвинутой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Домашние задания
|-

| style="background:#eaecf0;" | '''1''' || Применения генеративных моделей, метод максимального правдоподобия, энтропия и KL-дивергенция, задачи генеративных моделей, AR модели || [https://m.vkvideo.ru/video-227011779_456239487?from=video&t=41m52s Лекция VK] [https://m.vkvideo.ru/video-227011779_456239494?from=video&t=42m58s Семинар VK]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec1_intro.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem1_pixelcnn.ipynb Семинар] || rowspan="5" | [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/homeworks/pro/hw1.ipynb ImageGPT]
|-

| style="background:#eaecf0;" | '''2''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Токенизация, BERT, дообучение трансформерных моделей || [https://m.vkvideo.ru/video-227011779_456239498?from=video&t=1h1m7s Лекция VK] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''4''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''5''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Нормализующие потоки, авторегрессионные и линейные потоки, модели NICE, RealNVP и Glow|| [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239512?linked=1 Лекция VK] [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239513?linked=1 Семинар VK] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec2_flows.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem2_flow.ipynb Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/homeworks/pro/hw2/hw2.ipynb Glow]
|-
| style="background:#eaecf0;" | '''7''' || Модели скрытых переменных, ЕМ-алгоритм, вывод вариационной нижней оценки (ELBO)|| [https://m.vkvideo.ru/video-227011779_456239540?t=21m48s Лекция]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec3_lvm.pdf Лекция VK] ||
|-
| style="background:#eaecf0;" | '''8''' || Амортизированный вариационный вывод, трюк репараметризации, VAE, ELBO Surgery, Learnable Prior|| [https://m.vkvideo.ru/video-227011779_456239552?t=1h9m44s Лекция VK] [https://m.vkvideo.ru/video-227011779_456239554?t=19m46s Семинар VK] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec4_vae.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem4_vae.ipynb Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Discrete VAE, VQ-VAE, VQ-VAE2, likelihood free-learning, GANs || [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239577?linked=1 Лекция VK]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec5_vqvae_gans.pdf Лекция]||
|-
| style="background:#eaecf0;" | '''10''' || Проблемы GANs: Mode collapse, Manifold Hypotesis; Wasserstain Distance, WGAN, WGAN-GP, PG-GAN, SAGAN, StyleGAN|| [https://m.vkvideo.ru/video-227011779_456239598 Лекция VK] [https://m.vkvideo.ru/video-227011779_456239612?t=50m4s Семинар VK] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec6_gans.pdf Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''11''' || Energy based models, динамика Ланжевена, score matching: Implicit score matching, sliced score matching, denoising score matching, Noise conditioned score network|| [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239621?linked=1&t=1h15m13s Лекция VK] [https://www.youtube.com/watch?v=O7KdDHsaY5w&list=PLmA-1xX7IuzC-MkRlR8XdGJQlQUKigDR9&index=4 Лекция Ytb]|| [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''12''' || Прямой и обратный диффузионные процессы, диффузия как модель VAE || [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239631?linked=1&t=40m38s Лекция VK] [Семинар VK] [https://www.youtube.com/watch?v=VsF0MU-6754&list=PLmA-1xX7IuzC-MkRlR8XdGJQlQUKigDR9&index=2 Лекция Ytb]|| [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''13''' || || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

==Формула оценивания ==
Общая оценка: <code>𝟎.𝟔×ДЗ + 𝟎.𝟏×Степик + 𝟎.𝟏×Теормин + 𝟎.𝟐×Экзамен</code>

==Stepik ==
В оценку за Stepik идут только следующие модули:

* [https://stepik.org/lesson/1260768 Модуль 10 Attention]

* [https://stepik.org/lesson/1260773 Модуль 11 Трансформеры: теория]

* [https://stepik.org/lesson/1322959 Модуль 12 Трансформеры: практика]

* [https://stepik.org/lesson/1366006 Модуль 14 Классические генеративные модели]

* [https://stepik.org/lesson/1366010 Модуль 15 Современные генеративные модели]

* [https://stepik.org/lesson/1366014 Модуль 16 Методы оптимизации нейронных сетей]

'''Важно:''' Части степика с домашними заданиями делать не нужно (15.4, например). Но нужно ответить на квизы в других его частях (15.1, например).

== Домашние задания ==

===Инвайты в Anytask===

Base Group: <code>WhnrWvK</code>

Pro Group: <code>iYcTpI5</code>

'''Base / Pro - мягкий дедлайн:'''

1. NLP / ImageGPT - дедлайн 12 октября 23:59

2. GAN&VAE / Glow - дедлайн 6 ноября 23:59

3. Diffusion&Flows / VQ VAE - 14 ноября 23:59

4. MM AR / GANs - 28 ноября 23:59

Жесткий дедлайн по всем заданиям: 1 декабря 2025*

* Для сдачи курса на зачет (4 балла) можно досдавать домашние задания после жесткого дедлайна - до 20 декабря 23:59. Только в случае, если речь идет про зачет/незачет. Выше оценки 4 в случае поздней досдачи получить нельзя.

'''Правила дедлайнов по курсу:'''

- за каждую неделю просрочки после мягкого дедлайна штраф 2 балла

- после трех недель просрочки штраф 6 баллов и он не увеличивается

- после трех недель просрочки и до -1 недели до конца модуля можно сдавать задания с максимальным баллом 4.

== Теормин и Экзамен ==

'''Теормин''' - устный опрос по заранее фиксированному списку вопросов с кратким ответом. Необходимо ответить на 3 вопроса за не более, чем 5 минут.

- Теормин ожидается 1 декабря.

- Балл за теормин: 0 / 5 / 10.

'''Экзамен''' - устный разговор по темам курса, не более 10 минут, ожидаются развернутые ответы в свободной форме.

- На экзамен допускаются только те, кто получил полный балл (10) за теормин.

- Экзамен пройдет в сессию 2го модуля.

Генеративные модели в машинном обучении (ИИ 2025)

2025-12-05T15:08:11Z

Mkgoldshteyn:

==О курсе ==
Курс читается в первом семестре студентам магистерской образовательной программы [https://www.hse.ru/ma/mlds/ "Искусственный интеллект"].

{| class="wikitable"
|-
! Группа !! Преподаватели
|-
| Базовая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/murr4a Кантонистова Елена]
|-
| Продвинутая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/Einstein_30 Карагодин Никита]
|}

{| class="wikitable"
|-
! colspan="4" | Ассистенты
|-
| [https://t.me/htutb Уваров Николай] || [https://t.me/sodeniZz Матвеев Денис] || [https://t.me/perkyfever Тихонов Даниил]
|-
| [https://t.me/eiky0u Прудников Николай] || [https://t.me/llllllllllIlIIllIllIIIlllIllI Хасенов Ильяс] || [https://t.me/kolx0znik Саргсян Нарек]
|-
| [https://t.me/the_overfeeling Герасимов Борис] || [https://t.me/Oleg_Oleg_Ch Черников Олег] || [https://t.me/brickckirb Семенов Иван]
|}

==Материалы курса ==
Ссылка на плейлист курса на VK: [https://vkvideo.ru/playlist/-227011779_46 VK-playlist]

Ссылка на плейлист курса на YouTube: [https://www.youtube.com/playlist?list=PLmA-1xX7IuzC-MkRlR8XdGJQlQUKigDR9 YouTube-playlist]

Ссылка на GitHub с материалами курса: [https://github.com/NickKar30/GM-HSE-AI-masters-course GitHub]

Ссылка на stepik: [https://stepik.org/course/179805/promo#toc Stepik]

===Расписание базовой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Дополнительные материалы
|-

| style="background:#eaecf0;" | '''1''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''2''' || Токенизация, BERT, дообучение трансформерных моделей || [https://m.vkvideo.ru/video-227011779_456239498?from=video&t=1h1m7s Лекция VK] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''4''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''5''' || Нормализующие потоки || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Автокодировщики, вариационные автокодировщики|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''7''' || Генеративно-состязательные сети, StyleGAN|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''8''' || Диффузионные модели || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Мультимодальные модели, CLIP, Stable Diffusion|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

===Расписание продвинутой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Домашние задания
|-

| style="background:#eaecf0;" | '''1''' || Применения генеративных моделей, метод максимального правдоподобия, энтропия и KL-дивергенция, задачи генеративных моделей, AR модели || [https://m.vkvideo.ru/video-227011779_456239487?from=video&t=41m52s Лекция VK] [https://m.vkvideo.ru/video-227011779_456239494?from=video&t=42m58s Семинар VK]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec1_intro.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem1_pixelcnn.ipynb Семинар] || rowspan="5" | [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/homeworks/pro/hw1.ipynb ImageGPT]
|-

| style="background:#eaecf0;" | '''2''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Токенизация, BERT, дообучение трансформерных моделей || [https://m.vkvideo.ru/video-227011779_456239498?from=video&t=1h1m7s Лекция VK] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''4''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''5''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Нормализующие потоки, авторегрессионные и линейные потоки, модели NICE, RealNVP и Glow|| [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239512?linked=1 Лекция VK] [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239513?linked=1 Семинар VK] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec2_flows.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem2_flow.ipynb Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/homeworks/pro/hw2/hw2.ipynb Glow]
|-
| style="background:#eaecf0;" | '''7''' || Модели скрытых переменных, ЕМ-алгоритм, вывод вариационной нижней оценки (ELBO)|| [https://m.vkvideo.ru/video-227011779_456239540?t=21m48s Лекция]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec3_lvm.pdf Лекция VK] ||
|-
| style="background:#eaecf0;" | '''8''' || Амортизированный вариационный вывод, трюк репараметризации, VAE, ELBO Surgery, Learnable Prior|| [https://m.vkvideo.ru/video-227011779_456239552?t=1h9m44s Лекция VK] [https://m.vkvideo.ru/video-227011779_456239554?t=19m46s Семинар VK] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec4_vae.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem4_vae.ipynb Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Discrete VAE, VQ-VAE, VQ-VAE2, likelihood free-learning, GANs || [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239577?linked=1 Лекция VK]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec5_vqvae_gans.pdf Лекция]||
|-
| style="background:#eaecf0;" | '''10''' || Проблемы GANs: Mode collapse, Manifold Hypotesis; Wasserstain Distance, WGAN, WGAN-GP, PG-GAN, SAGAN, StyleGAN|| [https://m.vkvideo.ru/video-227011779_456239598 Лекция VK] [https://m.vkvideo.ru/video-227011779_456239612?t=50m4s Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec6_gans.pdf Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''11''' || Energy based models, динамика Ланжевена, score matching: Implicit score matching, sliced score matching, denoising score matching, Noise conditioned score network|| [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239621?linked=1&t=1h15m13s Лекция VK] [https://www.youtube.com/watch?v=O7KdDHsaY5w&list=PLmA-1xX7IuzC-MkRlR8XdGJQlQUKigDR9&index=4 Лекция Ytb]|| [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''12''' || Прямой и обратный диффузионные процессы, диффузия как модель VAE || [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239631?linked=1&t=40m38s Лекция VK] [Семинар VK] [https://www.youtube.com/watch?v=VsF0MU-6754&list=PLmA-1xX7IuzC-MkRlR8XdGJQlQUKigDR9&index=2 Лекция Ytb]|| [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''13''' || || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

==Формула оценивания ==
Общая оценка: <code>𝟎.𝟔×ДЗ + 𝟎.𝟏×Степик + 𝟎.𝟏×Теормин + 𝟎.𝟐×Экзамен</code>

==Stepik ==
В оценку за Stepik идут только следующие модули:

* [https://stepik.org/lesson/1260768 Модуль 10 Attention]

* [https://stepik.org/lesson/1260773 Модуль 11 Трансформеры: теория]

* [https://stepik.org/lesson/1322959 Модуль 12 Трансформеры: практика]

* [https://stepik.org/lesson/1366006 Модуль 14 Классические генеративные модели]

* [https://stepik.org/lesson/1366010 Модуль 15 Современные генеративные модели]

* [https://stepik.org/lesson/1366014 Модуль 16 Методы оптимизации нейронных сетей]

'''Важно:''' Части степика с домашними заданиями делать не нужно (15.4, например). Но нужно ответить на квизы в других его частях (15.1, например).

== Домашние задания ==

===Инвайты в Anytask===

Base Group: <code>WhnrWvK</code>

Pro Group: <code>iYcTpI5</code>

'''Base / Pro - мягкий дедлайн:'''

1. NLP / ImageGPT - дедлайн 12 октября 23:59

2. GAN&VAE / Glow - дедлайн 6 ноября 23:59

3. Diffusion&Flows / VQ VAE - 14 ноября 23:59

4. MM AR / GANs - 28 ноября 23:59

Жесткий дедлайн по всем заданиям: 1 декабря 2025*

* Для сдачи курса на зачет (4 балла) можно досдавать домашние задания после жесткого дедлайна - до 20 декабря 23:59. Только в случае, если речь идет про зачет/незачет. Выше оценки 4 в случае поздней досдачи получить нельзя.

'''Правила дедлайнов по курсу:'''

- за каждую неделю просрочки после мягкого дедлайна штраф 2 балла

- после трех недель просрочки штраф 6 баллов и он не увеличивается

- после трех недель просрочки и до -1 недели до конца модуля можно сдавать задания с максимальным баллом 4.

== Теормин и Экзамен ==

'''Теормин''' - устный опрос по заранее фиксированному списку вопросов с кратким ответом. Необходимо ответить на 3 вопроса за не более, чем 5 минут.

- Теормин ожидается 1 декабря.

- Балл за теормин: 0 / 5 / 10.

'''Экзамен''' - устный разговор по темам курса, не более 10 минут, ожидаются развернутые ответы в свободной форме.

- На экзамен допускаются только те, кто получил полный балл (10) за теормин.

- Экзамен пройдет в сессию 2го модуля.

Генеративные модели в машинном обучении (ИИ 2025)

2025-12-05T15:07:00Z

Mkgoldshteyn:

==О курсе ==
Курс читается в первом семестре студентам магистерской образовательной программы [https://www.hse.ru/ma/mlds/ "Искусственный интеллект"].

{| class="wikitable"
|-
! Группа !! Преподаватели
|-
| Базовая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/murr4a Кантонистова Елена]
|-
| Продвинутая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/Einstein_30 Карагодин Никита]
|}

{| class="wikitable"
|-
! colspan="4" | Ассистенты
|-
| [https://t.me/htutb Уваров Николай] || [https://t.me/sodeniZz Матвеев Денис] || [https://t.me/perkyfever Тихонов Даниил]
|-
| [https://t.me/eiky0u Прудников Николай] || [https://t.me/llllllllllIlIIllIllIIIlllIllI Хасенов Ильяс] || [https://t.me/kolx0znik Саргсян Нарек]
|-
| [https://t.me/the_overfeeling Герасимов Борис] || [https://t.me/Oleg_Oleg_Ch Черников Олег] || [https://t.me/brickckirb Семенов Иван]
|}

==Материалы курса ==
Ссылка на плейлист курса на VK: [https://vkvideo.ru/playlist/-227011779_46 VK-playlist]

Ссылка на плейлист курса на YouTube: [https://www.youtube.com/playlist?list=PLmA-1xX7IuzC-MkRlR8XdGJQlQUKigDR9 YouTube-playlist]

Ссылка на GitHub с материалами курса: [https://github.com/NickKar30/GM-HSE-AI-masters-course GitHub]

Ссылка на stepik: [https://stepik.org/course/179805/promo#toc Stepik]

===Расписание базовой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Дополнительные материалы
|-

| style="background:#eaecf0;" | '''1''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''2''' || Токенизация, BERT, дообучение трансформерных моделей || [https://m.vkvideo.ru/video-227011779_456239498?from=video&t=1h1m7s Лекция VK] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''4''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''5''' || Нормализующие потоки || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Автокодировщики, вариационные автокодировщики|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''7''' || Генеративно-состязательные сети, StyleGAN|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''8''' || Диффузионные модели || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Мультимодальные модели, CLIP, Stable Diffusion|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

===Расписание продвинутой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Домашние задания
|-

| style="background:#eaecf0;" | '''1''' || Применения генеративных моделей, метод максимального правдоподобия, энтропия и KL-дивергенция, задачи генеративных моделей, AR модели || [https://m.vkvideo.ru/video-227011779_456239487?from=video&t=41m52s Лекция VK] [https://m.vkvideo.ru/video-227011779_456239494?from=video&t=42m58s Семинар VK]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec1_intro.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem1_pixelcnn.ipynb Семинар] || rowspan="5" | [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/homeworks/pro/hw1.ipynb ImageGPT]
|-

| style="background:#eaecf0;" | '''2''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Токенизация, BERT, дообучение трансформерных моделей || [https://m.vkvideo.ru/video-227011779_456239498?from=video&t=1h1m7s Лекция VK] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''4''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''5''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Нормализующие потоки, авторегрессионные и линейные потоки, модели NICE, RealNVP и Glow|| [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239512?linked=1 Лекция VK] [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239513?linked=1 Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec2_flows.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem2_flow.ipynb Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/homeworks/pro/hw2/hw2.ipynb Glow]
|-
| style="background:#eaecf0;" | '''7''' || Модели скрытых переменных, ЕМ-алгоритм, вывод вариационной нижней оценки (ELBO)|| [https://m.vkvideo.ru/video-227011779_456239540?t=21m48s Лекция]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec3_lvm.pdf Лекция VK] ||
|-
| style="background:#eaecf0;" | '''8''' || Амортизированный вариационный вывод, трюк репараметризации, VAE, ELBO Surgery, Learnable Prior|| [https://m.vkvideo.ru/video-227011779_456239552?t=1h9m44s Лекция VK] [https://m.vkvideo.ru/video-227011779_456239554?t=19m46s Семинар VK] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec4_vae.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem4_vae.ipynb Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Discrete VAE, VQ-VAE, VQ-VAE2, likelihood free-learning, GANs || [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239577?linked=1 Лекция VK]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec5_vqvae_gans.pdf Лекция]||
|-
| style="background:#eaecf0;" | '''10''' || Проблемы GANs: Mode collapse, Manifold Hypotesis; Wasserstain Distance, WGAN, WGAN-GP, PG-GAN, SAGAN, StyleGAN|| [https://m.vkvideo.ru/video-227011779_456239598 Лекция VK] [https://m.vkvideo.ru/video-227011779_456239612?t=50m4s Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec6_gans.pdf Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''11''' || Energy based models, динамика Ланжевена, score matching: Implicit score matching, sliced score matching, denoising score matching, Noise conditioned score network|| [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239621?linked=1&t=1h15m13s Лекция VK] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''12''' || Прямой и обратный диффузионные процессы, диффузия как модель VAE || [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239631?linked=1&t=40m38s Лекция VK] [Семинар VK] [https://www.youtube.com/watch?v=VsF0MU-6754&list=PLmA-1xX7IuzC-MkRlR8XdGJQlQUKigDR9&index=2 Лекция Ytb]|| [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''13''' || || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

==Формула оценивания ==
Общая оценка: <code>𝟎.𝟔×ДЗ + 𝟎.𝟏×Степик + 𝟎.𝟏×Теормин + 𝟎.𝟐×Экзамен</code>

==Stepik ==
В оценку за Stepik идут только следующие модули:

* [https://stepik.org/lesson/1260768 Модуль 10 Attention]

* [https://stepik.org/lesson/1260773 Модуль 11 Трансформеры: теория]

* [https://stepik.org/lesson/1322959 Модуль 12 Трансформеры: практика]

* [https://stepik.org/lesson/1366006 Модуль 14 Классические генеративные модели]

* [https://stepik.org/lesson/1366010 Модуль 15 Современные генеративные модели]

* [https://stepik.org/lesson/1366014 Модуль 16 Методы оптимизации нейронных сетей]

'''Важно:''' Части степика с домашними заданиями делать не нужно (15.4, например). Но нужно ответить на квизы в других его частях (15.1, например).

== Домашние задания ==

===Инвайты в Anytask===

Base Group: <code>WhnrWvK</code>

Pro Group: <code>iYcTpI5</code>

'''Base / Pro - мягкий дедлайн:'''

1. NLP / ImageGPT - дедлайн 12 октября 23:59

2. GAN&VAE / Glow - дедлайн 6 ноября 23:59

3. Diffusion&Flows / VQ VAE - 14 ноября 23:59

4. MM AR / GANs - 28 ноября 23:59

Жесткий дедлайн по всем заданиям: 1 декабря 2025*

* Для сдачи курса на зачет (4 балла) можно досдавать домашние задания после жесткого дедлайна - до 20 декабря 23:59. Только в случае, если речь идет про зачет/незачет. Выше оценки 4 в случае поздней досдачи получить нельзя.

'''Правила дедлайнов по курсу:'''

- за каждую неделю просрочки после мягкого дедлайна штраф 2 балла

- после трех недель просрочки штраф 6 баллов и он не увеличивается

- после трех недель просрочки и до -1 недели до конца модуля можно сдавать задания с максимальным баллом 4.

== Теормин и Экзамен ==

'''Теормин''' - устный опрос по заранее фиксированному списку вопросов с кратким ответом. Необходимо ответить на 3 вопроса за не более, чем 5 минут.

- Теормин ожидается 1 декабря.

- Балл за теормин: 0 / 5 / 10.

'''Экзамен''' - устный разговор по темам курса, не более 10 минут, ожидаются развернутые ответы в свободной форме.

- На экзамен допускаются только те, кто получил полный балл (10) за теормин.

- Экзамен пройдет в сессию 2го модуля.

Генеративные модели в машинном обучении (ИИ 2025)

2025-12-05T15:03:40Z

Mkgoldshteyn:

==О курсе ==
Курс читается в первом семестре студентам магистерской образовательной программы [https://www.hse.ru/ma/mlds/ "Искусственный интеллект"].

{| class="wikitable"
|-
! Группа !! Преподаватели
|-
| Базовая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/murr4a Кантонистова Елена]
|-
| Продвинутая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/Einstein_30 Карагодин Никита]
|}

{| class="wikitable"
|-
! colspan="4" | Ассистенты
|-
| [https://t.me/htutb Уваров Николай] || [https://t.me/sodeniZz Матвеев Денис] || [https://t.me/perkyfever Тихонов Даниил]
|-
| [https://t.me/eiky0u Прудников Николай] || [https://t.me/llllllllllIlIIllIllIIIlllIllI Хасенов Ильяс] || [https://t.me/kolx0znik Саргсян Нарек]
|-
| [https://t.me/the_overfeeling Герасимов Борис] || [https://t.me/Oleg_Oleg_Ch Черников Олег] || [https://t.me/brickckirb Семенов Иван]
|}

==Материалы курса ==
Ссылка на плейлист курса на VK: [https://vkvideo.ru/playlist/-227011779_46 VK-playlist]

Ссылка на плейлист курса на YouTube: [https://www.youtube.com/playlist?list=PLmA-1xX7IuzC-MkRlR8XdGJQlQUKigDR9 YouTube-playlist]

Ссылка на GitHub с материалами курса: [https://github.com/NickKar30/GM-HSE-AI-masters-course GitHub]

Ссылка на stepik: [https://stepik.org/course/179805/promo#toc Stepik]

===Расписание базовой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Дополнительные материалы
|-

| style="background:#eaecf0;" | '''1''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''2''' || Токенизация, BERT, дообучение трансформерных моделей || [https://m.vkvideo.ru/video-227011779_456239498?from=video&t=1h1m7s Лекция VK] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''4''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''5''' || Нормализующие потоки || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Автокодировщики, вариационные автокодировщики|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''7''' || Генеративно-состязательные сети, StyleGAN|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''8''' || Диффузионные модели || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Мультимодальные модели, CLIP, Stable Diffusion|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

===Расписание продвинутой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Домашние задания
|-

| style="background:#eaecf0;" | '''1''' || Применения генеративных моделей, метод максимального правдоподобия, энтропия и KL-дивергенция, задачи генеративных моделей, AR модели || [https://m.vkvideo.ru/video-227011779_456239487?from=video&t=41m52s Лекция VK] [https://m.vkvideo.ru/video-227011779_456239494?from=video&t=42m58s Семинар VK]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec1_intro.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem1_pixelcnn.ipynb Семинар] || rowspan="5" | [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/homeworks/pro/hw1.ipynb ImageGPT]
|-

| style="background:#eaecf0;" | '''2''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Токенизация, BERT, дообучение трансформерных моделей || [https://m.vkvideo.ru/video-227011779_456239498?from=video&t=1h1m7s Лекция VK] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''4''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''5''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Нормализующие потоки, авторегрессионные и линейные потоки, модели NICE, RealNVP и Glow|| [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239512?linked=1 Лекция VK] [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239513?linked=1 Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec2_flows.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem2_flow.ipynb Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/homeworks/pro/hw2/hw2.ipynb Glow]
|-
| style="background:#eaecf0;" | '''7''' || Модели скрытых переменных, ЕМ-алгоритм, вывод вариационной нижней оценки (ELBO)|| [https://m.vkvideo.ru/video-227011779_456239540?t=21m48s Лекция]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec3_lvm.pdf Лекция VK] ||
|-
| style="background:#eaecf0;" | '''8''' || Амортизированный вариационный вывод, трюк репараметризации, VAE, ELBO Surgery, Learnable Prior|| [https://m.vkvideo.ru/video-227011779_456239552?t=1h9m44s Лекция VK] [https://m.vkvideo.ru/video-227011779_456239554?t=19m46s Семинар VK] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec4_vae.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem4_vae.ipynb Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Discrete VAE, VQ-VAE, VQ-VAE2, likelihood free-learning, GANs || [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239577?linked=1 Лекция VK]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec5_vqvae_gans.pdf Лекция]||
|-
| style="background:#eaecf0;" | '''10''' || Проблемы GANs: Mode collapse, Manifold Hypotesis; Wasserstain Distance, WGAN, WGAN-GP, PG-GAN, SAGAN, StyleGAN|| [https://m.vkvideo.ru/video-227011779_456239598 Лекция VK] [https://m.vkvideo.ru/video-227011779_456239612?t=50m4s Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec6_gans.pdf Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''11''' || Energy based models, динамика Ланжевена, score matching: Implicit score matching, sliced score matching, denoising score matching, Noise conditioned score network|| [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239621?linked=1&t=1h15m13s Лекция VK] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''12''' || Прямой и обратный диффузионные процессы, диффузия как модель VAE || [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239631?linked=1&t=40m38s Лекция VK] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''13''' || || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

==Формула оценивания ==
Общая оценка: <code>𝟎.𝟔×ДЗ + 𝟎.𝟏×Степик + 𝟎.𝟏×Теормин + 𝟎.𝟐×Экзамен</code>

==Stepik ==
В оценку за Stepik идут только следующие модули:

* [https://stepik.org/lesson/1260768 Модуль 10 Attention]

* [https://stepik.org/lesson/1260773 Модуль 11 Трансформеры: теория]

* [https://stepik.org/lesson/1322959 Модуль 12 Трансформеры: практика]

* [https://stepik.org/lesson/1366006 Модуль 14 Классические генеративные модели]

* [https://stepik.org/lesson/1366010 Модуль 15 Современные генеративные модели]

* [https://stepik.org/lesson/1366014 Модуль 16 Методы оптимизации нейронных сетей]

'''Важно:''' Части степика с домашними заданиями делать не нужно (15.4, например). Но нужно ответить на квизы в других его частях (15.1, например).

== Домашние задания ==

===Инвайты в Anytask===

Base Group: <code>WhnrWvK</code>

Pro Group: <code>iYcTpI5</code>

'''Base / Pro - мягкий дедлайн:'''

1. NLP / ImageGPT - дедлайн 12 октября 23:59

2. GAN&VAE / Glow - дедлайн 6 ноября 23:59

3. Diffusion&Flows / VQ VAE - 14 ноября 23:59

4. MM AR / GANs - 28 ноября 23:59

Жесткий дедлайн по всем заданиям: 1 декабря 2025*

* Для сдачи курса на зачет (4 балла) можно досдавать домашние задания после жесткого дедлайна - до 20 декабря 23:59. Только в случае, если речь идет про зачет/незачет. Выше оценки 4 в случае поздней досдачи получить нельзя.

'''Правила дедлайнов по курсу:'''

- за каждую неделю просрочки после мягкого дедлайна штраф 2 балла

- после трех недель просрочки штраф 6 баллов и он не увеличивается

- после трех недель просрочки и до -1 недели до конца модуля можно сдавать задания с максимальным баллом 4.

== Теормин и Экзамен ==

'''Теормин''' - устный опрос по заранее фиксированному списку вопросов с кратким ответом. Необходимо ответить на 3 вопроса за не более, чем 5 минут.

- Теормин ожидается 1 декабря.

- Балл за теормин: 0 / 5 / 10.

'''Экзамен''' - устный разговор по темам курса, не более 10 минут, ожидаются развернутые ответы в свободной форме.

- На экзамен допускаются только те, кто получил полный балл (10) за теормин.

- Экзамен пройдет в сессию 2го модуля.

Генеративные модели в машинном обучении (ИИ 2025)

2025-12-05T15:03:10Z

Mkgoldshteyn:

==О курсе ==
Курс читается в первом семестре студентам магистерской образовательной программы [https://www.hse.ru/ma/mlds/ "Искусственный интеллект"].

{| class="wikitable"
|-
! Группа !! Преподаватели
|-
| Базовая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/murr4a Кантонистова Елена]
|-
| Продвинутая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/Einstein_30 Карагодин Никита]
|}

{| class="wikitable"
|-
! colspan="4" | Ассистенты
|-
| [https://t.me/htutb Уваров Николай] || [https://t.me/sodeniZz Матвеев Денис] || [https://t.me/perkyfever Тихонов Даниил]
|-
| [https://t.me/eiky0u Прудников Николай] || [https://t.me/llllllllllIlIIllIllIIIlllIllI Хасенов Ильяс] || [https://t.me/kolx0znik Саргсян Нарек]
|-
| [https://t.me/the_overfeeling Герасимов Борис] || [https://t.me/Oleg_Oleg_Ch Черников Олег] || [https://t.me/brickckirb Семенов Иван]
|}

==Материалы курса ==
Ссылка на плейлист курса на VK: [https://vkvideo.ru/playlist/-227011779_46 VK-playlist]

Ссылка на плейлист курса на YouTube: [https://www.youtube.com/playlist?list=PLmA-1xX7IuzC-MkRlR8XdGJQlQUKigDR9]

Ссылка на GitHub с материалами курса: [https://github.com/NickKar30/GM-HSE-AI-masters-course GitHub]

Ссылка на stepik: [https://stepik.org/course/179805/promo#toc Stepik]

===Расписание базовой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Дополнительные материалы
|-

| style="background:#eaecf0;" | '''1''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''2''' || Токенизация, BERT, дообучение трансформерных моделей || [https://m.vkvideo.ru/video-227011779_456239498?from=video&t=1h1m7s Лекция VK] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''4''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''5''' || Нормализующие потоки || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Автокодировщики, вариационные автокодировщики|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''7''' || Генеративно-состязательные сети, StyleGAN|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''8''' || Диффузионные модели || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Мультимодальные модели, CLIP, Stable Diffusion|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

===Расписание продвинутой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Домашние задания
|-

| style="background:#eaecf0;" | '''1''' || Применения генеративных моделей, метод максимального правдоподобия, энтропия и KL-дивергенция, задачи генеративных моделей, AR модели || [https://m.vkvideo.ru/video-227011779_456239487?from=video&t=41m52s Лекция VK] [https://m.vkvideo.ru/video-227011779_456239494?from=video&t=42m58s Семинар VK]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec1_intro.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem1_pixelcnn.ipynb Семинар] || rowspan="5" | [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/homeworks/pro/hw1.ipynb ImageGPT]
|-

| style="background:#eaecf0;" | '''2''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Токенизация, BERT, дообучение трансформерных моделей || [https://m.vkvideo.ru/video-227011779_456239498?from=video&t=1h1m7s Лекция VK] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''4''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''5''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Нормализующие потоки, авторегрессионные и линейные потоки, модели NICE, RealNVP и Glow|| [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239512?linked=1 Лекция VK] [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239513?linked=1 Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec2_flows.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem2_flow.ipynb Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/homeworks/pro/hw2/hw2.ipynb Glow]
|-
| style="background:#eaecf0;" | '''7''' || Модели скрытых переменных, ЕМ-алгоритм, вывод вариационной нижней оценки (ELBO)|| [https://m.vkvideo.ru/video-227011779_456239540?t=21m48s Лекция]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec3_lvm.pdf Лекция VK] ||
|-
| style="background:#eaecf0;" | '''8''' || Амортизированный вариационный вывод, трюк репараметризации, VAE, ELBO Surgery, Learnable Prior|| [https://m.vkvideo.ru/video-227011779_456239552?t=1h9m44s Лекция VK] [https://m.vkvideo.ru/video-227011779_456239554?t=19m46s Семинар VK] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec4_vae.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem4_vae.ipynb Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Discrete VAE, VQ-VAE, VQ-VAE2, likelihood free-learning, GANs || [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239577?linked=1 Лекция VK]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec5_vqvae_gans.pdf Лекция]||
|-
| style="background:#eaecf0;" | '''10''' || Проблемы GANs: Mode collapse, Manifold Hypotesis; Wasserstain Distance, WGAN, WGAN-GP, PG-GAN, SAGAN, StyleGAN|| [https://m.vkvideo.ru/video-227011779_456239598 Лекция VK] [https://m.vkvideo.ru/video-227011779_456239612?t=50m4s Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec6_gans.pdf Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''11''' || Energy based models, динамика Ланжевена, score matching: Implicit score matching, sliced score matching, denoising score matching, Noise conditioned score network|| [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239621?linked=1&t=1h15m13s Лекция VK] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''12''' || Прямой и обратный диффузионные процессы, диффузия как модель VAE || [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239631?linked=1&t=40m38s Лекция VK] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''13''' || || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

==Формула оценивания ==
Общая оценка: <code>𝟎.𝟔×ДЗ + 𝟎.𝟏×Степик + 𝟎.𝟏×Теормин + 𝟎.𝟐×Экзамен</code>

==Stepik ==
В оценку за Stepik идут только следующие модули:

* [https://stepik.org/lesson/1260768 Модуль 10 Attention]

* [https://stepik.org/lesson/1260773 Модуль 11 Трансформеры: теория]

* [https://stepik.org/lesson/1322959 Модуль 12 Трансформеры: практика]

* [https://stepik.org/lesson/1366006 Модуль 14 Классические генеративные модели]

* [https://stepik.org/lesson/1366010 Модуль 15 Современные генеративные модели]

* [https://stepik.org/lesson/1366014 Модуль 16 Методы оптимизации нейронных сетей]

'''Важно:''' Части степика с домашними заданиями делать не нужно (15.4, например). Но нужно ответить на квизы в других его частях (15.1, например).

== Домашние задания ==

===Инвайты в Anytask===

Base Group: <code>WhnrWvK</code>

Pro Group: <code>iYcTpI5</code>

'''Base / Pro - мягкий дедлайн:'''

1. NLP / ImageGPT - дедлайн 12 октября 23:59

2. GAN&VAE / Glow - дедлайн 6 ноября 23:59

3. Diffusion&Flows / VQ VAE - 14 ноября 23:59

4. MM AR / GANs - 28 ноября 23:59

Жесткий дедлайн по всем заданиям: 1 декабря 2025*

* Для сдачи курса на зачет (4 балла) можно досдавать домашние задания после жесткого дедлайна - до 20 декабря 23:59. Только в случае, если речь идет про зачет/незачет. Выше оценки 4 в случае поздней досдачи получить нельзя.

'''Правила дедлайнов по курсу:'''

- за каждую неделю просрочки после мягкого дедлайна штраф 2 балла

- после трех недель просрочки штраф 6 баллов и он не увеличивается

- после трех недель просрочки и до -1 недели до конца модуля можно сдавать задания с максимальным баллом 4.

== Теормин и Экзамен ==

'''Теормин''' - устный опрос по заранее фиксированному списку вопросов с кратким ответом. Необходимо ответить на 3 вопроса за не более, чем 5 минут.

- Теормин ожидается 1 декабря.

- Балл за теормин: 0 / 5 / 10.

'''Экзамен''' - устный разговор по темам курса, не более 10 минут, ожидаются развернутые ответы в свободной форме.

- На экзамен допускаются только те, кто получил полный балл (10) за теормин.

- Экзамен пройдет в сессию 2го модуля.

Генеративные модели в машинном обучении (ИИ 2025)

2025-12-05T15:00:45Z

Mkgoldshteyn:

==О курсе ==
Курс читается в первом семестре студентам магистерской образовательной программы [https://www.hse.ru/ma/mlds/ "Искусственный интеллект"].

{| class="wikitable"
|-
! Группа !! Преподаватели
|-
| Базовая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/murr4a Кантонистова Елена]
|-
| Продвинутая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/Einstein_30 Карагодин Никита]
|}

{| class="wikitable"
|-
! colspan="4" | Ассистенты
|-
| [https://t.me/htutb Уваров Николай] || [https://t.me/sodeniZz Матвеев Денис] || [https://t.me/perkyfever Тихонов Даниил]
|-
| [https://t.me/eiky0u Прудников Николай] || [https://t.me/llllllllllIlIIllIllIIIlllIllI Хасенов Ильяс] || [https://t.me/kolx0znik Саргсян Нарек]
|-
| [https://t.me/the_overfeeling Герасимов Борис] || [https://t.me/Oleg_Oleg_Ch Черников Олег] || [https://t.me/brickckirb Семенов Иван]
|}

==Материалы курса ==
Ссылка на плейлист курса на VK: [https://vkvideo.ru/playlist/-227011779_46 VK-playlist]

Ссылка на GitHub с материалами курса: [https://github.com/NickKar30/GM-HSE-AI-masters-course GitHub]

Ссылка на stepik: [https://stepik.org/course/179805/promo#toc Stepik]

===Расписание базовой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Дополнительные материалы
|-

| style="background:#eaecf0;" | '''1''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''2''' || Токенизация, BERT, дообучение трансформерных моделей || [https://m.vkvideo.ru/video-227011779_456239498?from=video&t=1h1m7s Лекция VK] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''4''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''5''' || Нормализующие потоки || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Автокодировщики, вариационные автокодировщики|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''7''' || Генеративно-состязательные сети, StyleGAN|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''8''' || Диффузионные модели || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Мультимодальные модели, CLIP, Stable Diffusion|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

===Расписание продвинутой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Домашние задания
|-

| style="background:#eaecf0;" | '''1''' || Применения генеративных моделей, метод максимального правдоподобия, энтропия и KL-дивергенция, задачи генеративных моделей, AR модели || [https://m.vkvideo.ru/video-227011779_456239487?from=video&t=41m52s Лекция VK] [https://m.vkvideo.ru/video-227011779_456239494?from=video&t=42m58s Семинар VK]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec1_intro.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem1_pixelcnn.ipynb Семинар] || rowspan="5" | [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/homeworks/pro/hw1.ipynb ImageGPT]
|-

| style="background:#eaecf0;" | '''2''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Токенизация, BERT, дообучение трансформерных моделей || [https://m.vkvideo.ru/video-227011779_456239498?from=video&t=1h1m7s Лекция VK] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''4''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''5''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Нормализующие потоки, авторегрессионные и линейные потоки, модели NICE, RealNVP и Glow|| [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239512?linked=1 Лекция VK] [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239513?linked=1 Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec2_flows.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem2_flow.ipynb Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/homeworks/pro/hw2/hw2.ipynb Glow]
|-
| style="background:#eaecf0;" | '''7''' || Модели скрытых переменных, ЕМ-алгоритм, вывод вариационной нижней оценки (ELBO)|| [https://m.vkvideo.ru/video-227011779_456239540?t=21m48s Лекция]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec3_lvm.pdf Лекция VK] ||
|-
| style="background:#eaecf0;" | '''8''' || Амортизированный вариационный вывод, трюк репараметризации, VAE, ELBO Surgery, Learnable Prior|| [https://m.vkvideo.ru/video-227011779_456239552?t=1h9m44s Лекция VK] [https://m.vkvideo.ru/video-227011779_456239554?t=19m46s Семинар VK] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec4_vae.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem4_vae.ipynb Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Discrete VAE, VQ-VAE, VQ-VAE2, likelihood free-learning, GANs || [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239577?linked=1 Лекция VK]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec5_vqvae_gans.pdf Лекция]||
|-
| style="background:#eaecf0;" | '''10''' || Проблемы GANs: Mode collapse, Manifold Hypotesis; Wasserstain Distance, WGAN, WGAN-GP, PG-GAN, SAGAN, StyleGAN|| [https://m.vkvideo.ru/video-227011779_456239598 Лекция VK] [https://m.vkvideo.ru/video-227011779_456239612?t=50m4s Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec6_gans.pdf Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''11''' || Energy based models, динамика Ланжевена, score matching: Implicit score matching, sliced score matching, denoising score matching, Noise conditioned score network|| [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239621?linked=1&t=1h15m13s Лекция VK] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''12''' || Прямой и обратный диффузионные процессы, диффузия как модель VAE || [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239631?linked=1&t=40m38s Лекция VK] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''13''' || || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

==Формула оценивания ==
Общая оценка: <code>𝟎.𝟔×ДЗ + 𝟎.𝟏×Степик + 𝟎.𝟏×Теормин + 𝟎.𝟐×Экзамен</code>

==Stepik ==
В оценку за Stepik идут только следующие модули:

* [https://stepik.org/lesson/1260768 Модуль 10 Attention]

* [https://stepik.org/lesson/1260773 Модуль 11 Трансформеры: теория]

* [https://stepik.org/lesson/1322959 Модуль 12 Трансформеры: практика]

* [https://stepik.org/lesson/1366006 Модуль 14 Классические генеративные модели]

* [https://stepik.org/lesson/1366010 Модуль 15 Современные генеративные модели]

* [https://stepik.org/lesson/1366014 Модуль 16 Методы оптимизации нейронных сетей]

'''Важно:''' Части степика с домашними заданиями делать не нужно (15.4, например). Но нужно ответить на квизы в других его частях (15.1, например).

== Домашние задания ==

===Инвайты в Anytask===

Base Group: <code>WhnrWvK</code>

Pro Group: <code>iYcTpI5</code>

'''Base / Pro - мягкий дедлайн:'''

1. NLP / ImageGPT - дедлайн 12 октября 23:59

2. GAN&VAE / Glow - дедлайн 6 ноября 23:59

3. Diffusion&Flows / VQ VAE - 14 ноября 23:59

4. MM AR / GANs - 28 ноября 23:59

Жесткий дедлайн по всем заданиям: 1 декабря 2025*

* Для сдачи курса на зачет (4 балла) можно досдавать домашние задания после жесткого дедлайна - до 20 декабря 23:59. Только в случае, если речь идет про зачет/незачет. Выше оценки 4 в случае поздней досдачи получить нельзя.

'''Правила дедлайнов по курсу:'''

- за каждую неделю просрочки после мягкого дедлайна штраф 2 балла

- после трех недель просрочки штраф 6 баллов и он не увеличивается

- после трех недель просрочки и до -1 недели до конца модуля можно сдавать задания с максимальным баллом 4.

== Теормин и Экзамен ==

'''Теормин''' - устный опрос по заранее фиксированному списку вопросов с кратким ответом. Необходимо ответить на 3 вопроса за не более, чем 5 минут.

- Теормин ожидается 1 декабря.

- Балл за теормин: 0 / 5 / 10.

'''Экзамен''' - устный разговор по темам курса, не более 10 минут, ожидаются развернутые ответы в свободной форме.

- На экзамен допускаются только те, кто получил полный балл (10) за теормин.

- Экзамен пройдет в сессию 2го модуля.

Генеративные модели в машинном обучении (ИИ 2025)

2025-11-18T09:33:19Z

Mkgoldshteyn:

==О курсе ==
Курс читается в первом семестре студентам магистерской образовательной программы [https://www.hse.ru/ma/mlds/ "Искусственный интеллект"].

{| class="wikitable"
|-
! Группа !! Преподаватели
|-
| Базовая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/murr4a Кантонистова Елена]
|-
| Продвинутая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/Einstein_30 Карагодин Никита]
|}

{| class="wikitable"
|-
! colspan="4" | Ассистенты
|-
| [https://t.me/htutb Уваров Николай] || [https://t.me/sodeniZz Матвеев Денис] || [https://t.me/perkyfever Тихонов Даниил]
|-
| [https://t.me/eiky0u Прудников Николай] || [https://t.me/llllllllllIlIIllIllIIIlllIllI Хасенов Ильяс] || [https://t.me/kolx0znik Саргсян Нарек]
|-
| [https://t.me/the_overfeeling Герасимов Борис] || [https://t.me/Oleg_Oleg_Ch Черников Олег] || [https://t.me/brickckirb Семенов Иван]
|}

==Материалы курса ==
Ссылка на плейлист курса на VK: [https://vkvideo.ru/playlist/-227011779_46 VK-playlist]

Ссылка на GitHub с материалами курса: [https://github.com/NickKar30/GM-HSE-AI-masters-course GitHub]

Ссылка на stepik: [https://stepik.org/course/179805/promo#toc Stepik]

===Расписание базовой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Дополнительные материалы
|-

| style="background:#eaecf0;" | '''1''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''2''' || Токенизация, BERT, дообучение трансформерных моделей || [https://m.vkvideo.ru/video-227011779_456239498?from=video&t=1h1m7s Лекция VK] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''4''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''5''' || Нормализующие потоки || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Автокодировщики, вариационные автокодировщики|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''7''' || Генеративно-состязательные сети, StyleGAN|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''8''' || Диффузионные модели || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Мультимодальные модели, CLIP, Stable Diffusion|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

===Расписание продвинутой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Домашние задания
|-

| style="background:#eaecf0;" | '''1''' || Применения генеративных моделей, метод максимального правдоподобия, энтропия и KL-дивергенция, задачи генеративных моделей, AR модели || [https://m.vkvideo.ru/video-227011779_456239487?from=video&t=41m52s Лекция VK] [https://m.vkvideo.ru/video-227011779_456239494?from=video&t=42m58s Семинар VK]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec1_intro.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem1_pixelcnn.ipynb Семинар] || rowspan="5" | [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/homeworks/pro/hw1.ipynb ImageGPT]
|-

| style="background:#eaecf0;" | '''2''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Токенизация, BERT, дообучение трансформерных моделей || [https://m.vkvideo.ru/video-227011779_456239498?from=video&t=1h1m7s Лекция VK] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''4''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''5''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Нормализующие потоки, авторегрессионные и линейные потоки, модели NICE, RealNVP и Glow|| [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239512?linked=1 Лекция] [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239513?linked=1 Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec2_flows.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem2_flow.ipynb Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/homeworks/pro/hw2/hw2.ipynb Glow]
|-
| style="background:#eaecf0;" | '''7''' || Модели скрытых переменных, ЕМ-алгоритм, вывод вариационной нижней оценки (ELBO)|| [https://m.vkvideo.ru/video-227011779_456239540?t=21m48s Лекция]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec3_lvm.pdf Лекция] ||
|-
| style="background:#eaecf0;" | '''8''' || Амортизированный вариационный вывод, трюк репараметризации, VAE, ELBO Surgery, Learnable Prior|| [https://m.vkvideo.ru/video-227011779_456239552?t=1h9m44s Лекция] [https://m.vkvideo.ru/video-227011779_456239554?t=19m46s Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec4_vae.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem4_vae.ipynb Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Discrete VAE, VQ-VAE, VQ-VAE2, likelihood free-learning, GANs || [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239577?linked=1 Лекция]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec5_vqvae_gans.pdf Лекция]||
|-
| style="background:#eaecf0;" | '''10''' || Проблемы GANs: Mode collapse, Manifold Hypotesis; Wasserstain Distance, WGAN, WGAN-GP, PG-GAN, SAGAN, StyleGAN|| [https://m.vkvideo.ru/video-227011779_456239598 Лекция] [https://m.vkvideo.ru/video-227011779_456239612?t=50m4s Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec6_gans.pdf Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''11''' || Energy based models, динамика Ланжевена, score matching: Implicit score matching, sliced score matching, denoising score matching, Noise conditioned score network|| [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239621?linked=1&t=1h15m13s Лекция] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''12''' || Прямой и обратный диффузионные процессы, диффузия как модель VAE || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''13''' || || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

==Формула оценивания ==
Общая оценка: <code>𝟎.𝟔×ДЗ + 𝟎.𝟏×Степик + 𝟎.𝟏×Теормин + 𝟎.𝟐×Экзамен</code>

==Stepik ==
В оценку за Stepik идут только следующие модули:

* [https://stepik.org/lesson/1260768 Модуль 10 Attention]

* [https://stepik.org/lesson/1260773 Модуль 11 Трансформеры: теория]

* [https://stepik.org/lesson/1322959 Модуль 12 Трансформеры: практика]

* [https://stepik.org/lesson/1366006 Модуль 14 Классические генеративные модели]

* [https://stepik.org/lesson/1366010 Модуль 15 Современные генеративные модели]

* [https://stepik.org/lesson/1366014 Модуль 16 Методы оптимизации нейронных сетей]

'''Важно:''' Части степика с домашними заданиями делать не нужно (15.4, например). Но нужно ответить на квизы в других его частях (15.1, например).

== Домашние задания ==

===Инвайты в Anytask===

Base Group: <code>WhnrWvK</code>

Pro Group: <code>iYcTpI5</code>

'''Base / Pro - мягкий дедлайн:'''

1. NLP / ImageGPT - дедлайн 12 октября 23:59

2. GAN&VAE / Glow - дедлайн 6 ноября 23:59

3. Diffusion&Flows / VQ VAE - 14 ноября 23:59

4. MM AR / GANs - 28 ноября 23:59

Жесткий дедлайн по всем заданиям: 1 декабря 2025*

* Для сдачи курса на зачет (4 балла) можно досдавать домашние задания после жесткого дедлайна - до 20 декабря 23:59. Только в случае, если речь идет про зачет/незачет. Выше оценки 4 в случае поздней досдачи получить нельзя.

'''Правила дедлайнов по курсу:'''

- за каждую неделю просрочки после мягкого дедлайна штраф 2 балла

- после трех недель просрочки штраф 6 баллов и он не увеличивается

- после трех недель просрочки и до -1 недели до конца модуля можно сдавать задания с максимальным баллом 4.

== Теормин и Экзамен ==

'''Теормин''' - устный опрос по заранее фиксированному списку вопросов с кратким ответом. Необходимо ответить на 3 вопроса за не более, чем 5 минут.

- Теормин ожидается 1 декабря.

- Балл за теормин: 0 / 5 / 10.

'''Экзамен''' - устный разговор по темам курса, не более 10 минут, ожидаются развернутые ответы в свободной форме.

- На экзамен допускаются только те, кто получил полный балл (10) за теормин.

- Экзамен пройдет в сессию 2го модуля.

DL для звука (ИИ24, 6-7 модуль)

2025-11-16T14:23:27Z

Mkgoldshteyn:

==О курсе==

Занятия проводятся в [ Zoom] '''по ...<день>... в ...<время>...'''

Онлайн-курс в дополнение к парам: [[ online-course link]]

==Контакты==

Канал курса в TG: [[ channel link]]

Чат курса в TG: [[ chat link]]

Преподаватель:

{| class="wikitable"
|-
! Ассистент !! Контакты
|-
| style="background:#eaecf0;" | ||
|-
| style="background:#eaecf0;" | ||
|}

==Материалы курса==
Ссылка на плейлист курса на YouTube: [[ YouTube-playlist]]

Ссылка на GitHub с материалами курса: [https://github.com/NickKar30/DLA-HSE-AI-masters-course GitHub repository]

{| class="wikitable"
|-
! Занятие !! Тема !! Дата !! Материалы для самоподготовки к семинарам !! Дополнительные материалы
|-
| style="background:#eaecf0;" | '''1''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| style="background:#eaecf0;" | '''2''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| style="background:#eaecf0;" | '''3''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| style="background:#eaecf0;" | '''4''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| style="background:#eaecf0;" | '''5''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| style="background:#eaecf0;" | '''6''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| Конец первого модуля |
|-
| style="background:#eaecf0;" | '''7''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| style="background:#eaecf0;" | '''8''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| style="background:#eaecf0;" | '''9''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| style="background:#eaecf0;" | '''10''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| style="background:#eaecf0;" | '''11''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| style="background:#eaecf0;" | '''12''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
|}

=== Записи консультаций ===

==Формула оценивания==

Оценка = ...<вес 1>...*О...<форма контроля 1>... + ...<вес 2>...*О...<форма контроля 2>... + ...<вес 3>...*О...<форма контроля 3>...

== Домашние задания ==
#
#
#
#

== Литература ==
#
#
#
#

Генеративные модели в машинном обучении (ИИ 2025)

2025-11-12T18:03:17Z

Mkgoldshteyn:

==О курсе ==
Курс читается в первом семестре студентам магистерской образовательной программы [https://www.hse.ru/ma/mlds/ "Искусственный интеллект"].

{| class="wikitable"
|-
! Группа !! Преподаватели
|-
| Базовая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/murr4a Кантонистова Елена]
|-
| Продвинутая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/Einstein_30 Карагодин Никита]
|}

{| class="wikitable"
|-
! colspan="4" | Ассистенты
|-
| [https://t.me/htutb Уваров Николай] || [https://t.me/sodeniZz Матвеев Денис] || [https://t.me/perkyfever Тихонов Даниил]
|-
| [https://t.me/eiky0u Прудников Николай] || [https://t.me/llllllllllIlIIllIllIIIlllIllI Хасенов Ильяс] || [https://t.me/kolx0znik Саргсян Нарек]
|-
| [https://t.me/the_overfeeling Герасимов Борис] || [https://t.me/Oleg_Oleg_Ch Черников Олег] || [https://t.me/brickckirb Семенов Иван]
|}

==Материалы курса ==
Ссылка на плейлист курса на VK: [https://vkvideo.ru/playlist/-227011779_46 VK-playlist]

Ссылка на GitHub с материалами курса: [https://github.com/NickKar30/GM-HSE-AI-masters-course GitHub]

Ссылка на stepik: [https://stepik.org/course/179805/promo#toc Stepik]

===Расписание базовой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Дополнительные материалы
|-

| style="background:#eaecf0;" | '''1''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''2''' || Токенизация, BERT, дообучение трансформерных моделей || [https://m.vkvideo.ru/video-227011779_456239498?from=video&t=1h1m7s Лекция VK] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''4''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''5''' || Нормализующие потоки || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Автокодировщики, вариационные автокодировщики|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''7''' || Генеративно-состязательные сети, StyleGAN|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''8''' || Диффузионные модели || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Мультимодальные модели, CLIP, Stable Diffusion|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

===Расписание продвинутой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Домашние задания
|-

| style="background:#eaecf0;" | '''1''' || Применения генеративных моделей, метод максимального правдоподобия, энтропия и KL-дивергенция, задачи генеративных моделей, AR модели || [https://m.vkvideo.ru/video-227011779_456239487?from=video&t=41m52s Лекция VK] [https://m.vkvideo.ru/video-227011779_456239494?from=video&t=42m58s Семинар VK]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec1_intro.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem1_pixelcnn.ipynb Семинар] || rowspan="5" | [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/homeworks/pro/hw1.ipynb ImageGPT]
|-

| style="background:#eaecf0;" | '''2''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Токенизация, BERT, дообучение трансформерных моделей || [https://m.vkvideo.ru/video-227011779_456239498?from=video&t=1h1m7s Лекция VK] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''4''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''5''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Нормализующие потоки, авторегрессионные и линейные потоки, модели NICE, RealNVP и Glow|| [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239512?linked=1 Лекция] [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239513?linked=1 Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec2_flows.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem2_flow.ipynb Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/homeworks/pro/hw2/hw2.ipynb Glow]
|-
| style="background:#eaecf0;" | '''7''' || Модели скрытых переменных, ЕМ-алгоритм, вывод вариационной нижней оценки (ELBO)|| [https://m.vkvideo.ru/video-227011779_456239540?t=21m48s Лекция]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec3_lvm.pdf Лекция] ||
|-
| style="background:#eaecf0;" | '''8''' || Амортизированный вариационный вывод, трюк репараметризации, VAE, ELBO Surgery, Learnable Prior|| [https://m.vkvideo.ru/video-227011779_456239552?t=1h9m44s Лекция] [https://m.vkvideo.ru/video-227011779_456239554?t=19m46s Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec4_vae.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem4_vae.ipynb Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Discrete VAE, VQ-VAE, VQ-VAE2, likelihood free-learning, GANs || [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239577?linked=1 Лекция]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec5_vqvae_gans.pdf Лекция]||
|-
| style="background:#eaecf0;" | '''10''' || Проблемы GANs: Mode collapse, Manifold Hypotesis; Wasserstain Distance, WGAN, WGAN-GP, PG-GAN, SAGAN, StyleGAN|| [https://m.vkvideo.ru/video-227011779_456239598 Лекция] [https://m.vkvideo.ru/video-227011779_456239612?t=50m4s Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec6_gans.pdf Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''11''' || Energy based models, динамика Ланжевена, score matching: Implicit score matching, sliced score matching, denoising score matching, Noise conditioned score network|| [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239621?linked=1&t=1h15m13s Лекция] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''12''' || Прямой и обратный диффузионные процессы, диффузия как модель VAE || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''13''' || || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

==Формула оценивания ==
Общая оценка: <code>𝟎.𝟔×ДЗ + 𝟎.𝟏×Степик + 𝟎.𝟏×Теормин + 𝟎.𝟐×Экзамен</code>

==Stepik ==
В оценку за Stepik идут только следующие модули:

* [https://stepik.org/lesson/1260768 Модуль 10 Attention]

* [https://stepik.org/lesson/1260773 Модуль 11 Трансформеры: теория]

* [https://stepik.org/lesson/1322959 Модуль 12 Трансформеры: практика]

* [https://stepik.org/lesson/1366006 Модуль 14 Классические генеративные модели]

* [https://stepik.org/lesson/1366010 Модуль 15 Современные генеративные модели]

* [https://stepik.org/lesson/1366014 Модуль 16 Методы оптимизации нейронных сетей]

'''Важно:''' Части степика с домашними заданиями делать не нужно (15.4, например). Но нужно ответить на квизы в других его частях (15.1, например).

== Домашние задания ==

===Инвайты в Anytask===

Base Group: <code>WhnrWvK</code>

Pro Group: <code>iYcTpI5</code>

'''Base / Pro - мягкий дедлайн:'''

1. NLP / ImageGPT - дедлайн 12 октября 23:59

2. GAN&VAE / Glow - дедлайн 6 ноября 23:59

3. Diffusion&Flows / GAN&VAE - 14 ноября 23:59

4. MM AR / Diffusion - 28 ноября 23:59

Жесткий дедлайн по всем заданиям: 1 декабря 2025*

* Для сдачи курса на зачет (4 балла) можно досдавать домашние задания после жесткого дедлайна - до 20 декабря 23:59. Только в случае, если речь идет про зачет/незачет. Выше оценки 4 в случае поздней досдачи получить нельзя.

'''Правила дедлайнов по курсу:'''

- за каждую неделю просрочки после мягкого дедлайна штраф 2 балла

- после трех недель просрочки штраф 6 баллов и он не увеличивается

- после трех недель просрочки и до -1 недели до конца модуля можно сдавать задания с максимальным баллом 4.

== Теормин и Экзамен ==

'''Теормин''' - устный опрос по заранее фиксированному списку вопросов с кратким ответом. Необходимо ответить на 3 вопроса за не более, чем 5 минут.

- Теормин ожидается 1 декабря.

- Балл за теормин: 0 / 5 / 10.

'''Экзамен''' - устный разговор по темам курса, не более 10 минут, ожидаются развернутые ответы в свободной форме.

- На экзамен допускаются только те, кто получил полный балл (10) за теормин.

- Экзамен пройдет в сессию 2го модуля.

Генеративные модели в машинном обучении (ИИ 2025)

2025-11-12T18:01:59Z

Mkgoldshteyn:

==О курсе ==
Курс читается в первом семестре студентам магистерской образовательной программы [https://www.hse.ru/ma/mlds/ "Искусственный интеллект"].

{| class="wikitable"
|-
! Группа !! Преподаватели
|-
| Базовая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/murr4a Кантонистова Елена]
|-
| Продвинутая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/Einstein_30 Карагодин Никита]
|}

{| class="wikitable"
|-
! colspan="4" | Ассистенты
|-
| [https://t.me/htutb Уваров Николай] || [https://t.me/sodeniZz Матвеев Денис] || [https://t.me/perkyfever Тихонов Даниил]
|-
| [https://t.me/eiky0u Прудников Николай] || [https://t.me/llllllllllIlIIllIllIIIlllIllI Хасенов Ильяс] || [https://t.me/kolx0znik Саргсян Нарек]
|-
| [https://t.me/the_overfeeling Герасимов Борис] || [https://t.me/Oleg_Oleg_Ch Черников Олег] || [https://t.me/brickckirb Семенов Иван]
|}

==Материалы курса ==
Ссылка на плейлист курса на VK: [https://vkvideo.ru/playlist/-227011779_46 VK-playlist]

Ссылка на GitHub с материалами курса: [https://github.com/NickKar30/GM-HSE-AI-masters-course GitHub]

Ссылка на stepik: [https://stepik.org/course/179805/promo#toc Stepik]

===Расписание базовой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Дополнительные материалы
|-

| style="background:#eaecf0;" | '''1''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''2''' || Токенизация, BERT, дообучение трансформерных моделей || [https://m.vkvideo.ru/video-227011779_456239498?from=video&t=1h1m7s Лекция VK] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''4''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''5''' || Нормализующие потоки || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Автокодировщики, вариационные автокодировщики|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''7''' || Генеративно-состязательные сети, StyleGAN|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''8''' || Диффузионные модели || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Мультимодальные модели, CLIP, Stable Diffusion|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

===Расписание продвинутой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Домашние задания
|-

| style="background:#eaecf0;" | '''1''' || Применения генеративных моделей, метод максимального правдоподобия, энтропия и KL-дивергенция, задачи генеративных моделей, AR модели || [https://m.vkvideo.ru/video-227011779_456239487?from=video&t=41m52s Лекция VK] [https://m.vkvideo.ru/video-227011779_456239494?from=video&t=42m58s Семинар VK]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec1_intro.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem1_pixelcnn.ipynb Семинар] || rowspan="5" | [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/homeworks/pro/hw1.ipynb ImageGPT]
|-

| style="background:#eaecf0;" | '''2''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Токенизация, BERT, дообучение трансформерных моделей || [https://m.vkvideo.ru/video-227011779_456239498?from=video&t=1h1m7s Лекция VK] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''4''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''5''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Нормализующие потоки, авторегрессионные и линейные потоки, модели NICE, RealNVP и Glow|| [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239512?linked=1 Лекция] [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239513?linked=1 Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec2_flows.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem2_flow.ipynb Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/homeworks/pro/hw2/hw2.ipynb Glow]
|-
| style="background:#eaecf0;" | '''7''' || Модели скрытых переменных, ЕМ-алгоритм, вывод вариационной нижней оценки (ELBO)|| [https://m.vkvideo.ru/video-227011779_456239540?t=21m48s Лекция]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec3_lvm.pdf Лекция] ||
|-
| style="background:#eaecf0;" | '''8''' || Амортизированный вариационный вывод, трюк репараметризации, VAE, ELBO Surgery, Learnable Prior|| [https://m.vkvideo.ru/video-227011779_456239552?t=1h9m44s Лекция] [https://m.vkvideo.ru/video-227011779_456239554?t=19m46s Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec4_vae.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem4_vae.ipynb Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Discrete VAE, VQ-VAE, VQ-VAE2, likelihood free-learning, GANs || [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239577?linked=1 Лекция]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec5_vqvae_gans.pdf Лекция]||
|-
| style="background:#eaecf0;" | '''10''' || Проблемы GANs: Mode collapse, Manifold Hypotesis; Wasserstain Distance, WGAN, WGAN-GP, PG-GAN, SAGAN, StyleGAN|| [https://m.vkvideo.ru/video-227011779_456239598 Лекция] [https://m.vkvideo.ru/video-227011779_456239612?t=50m4s Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec6_gans.pdf Лекция] [ Семинар] ||
|-
| style="background:#eaecf0;" | '''11''' || Energy based models, динамика Ланжевена, score matching: Implicit score matching, sliced score matching, denoising score matching, Noise conditioned score network|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''12''' || Прямой и обратный диффузионные процессы, диффузия как модель VAE || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''13''' || || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

==Формула оценивания ==
Общая оценка: <code>𝟎.𝟔×ДЗ + 𝟎.𝟏×Степик + 𝟎.𝟏×Теормин + 𝟎.𝟐×Экзамен</code>

==Stepik ==
В оценку за Stepik идут только следующие модули:

* [https://stepik.org/lesson/1260768 Модуль 10 Attention]

* [https://stepik.org/lesson/1260773 Модуль 11 Трансформеры: теория]

* [https://stepik.org/lesson/1322959 Модуль 12 Трансформеры: практика]

* [https://stepik.org/lesson/1366006 Модуль 14 Классические генеративные модели]

* [https://stepik.org/lesson/1366010 Модуль 15 Современные генеративные модели]

* [https://stepik.org/lesson/1366014 Модуль 16 Методы оптимизации нейронных сетей]

'''Важно:''' Части степика с домашними заданиями делать не нужно (15.4, например). Но нужно ответить на квизы в других его частях (15.1, например).

== Домашние задания ==

===Инвайты в Anytask===

Base Group: <code>WhnrWvK</code>

Pro Group: <code>iYcTpI5</code>

'''Base / Pro - мягкий дедлайн:'''

1. NLP / ImageGPT - дедлайн 12 октября 23:59

2. GAN&VAE / Glow - дедлайн 6 ноября 23:59

3. Diffusion&Flows / GAN&VAE - 14 ноября 23:59

4. MM AR / Diffusion - 28 ноября 23:59

Жесткий дедлайн по всем заданиям: 1 декабря 2025*

* Для сдачи курса на зачет (4 балла) можно досдавать домашние задания после жесткого дедлайна - до 20 декабря 23:59. Только в случае, если речь идет про зачет/незачет. Выше оценки 4 в случае поздней досдачи получить нельзя.

'''Правила дедлайнов по курсу:'''

- за каждую неделю просрочки после мягкого дедлайна штраф 2 балла

- после трех недель просрочки штраф 6 баллов и он не увеличивается

- после трех недель просрочки и до -1 недели до конца модуля можно сдавать задания с максимальным баллом 4.

== Теормин и Экзамен ==

'''Теормин''' - устный опрос по заранее фиксированному списку вопросов с кратким ответом. Необходимо ответить на 3 вопроса за не более, чем 5 минут.

- Теормин ожидается 1 декабря.

- Балл за теормин: 0 / 5 / 10.

'''Экзамен''' - устный разговор по темам курса, не более 10 минут, ожидаются развернутые ответы в свободной форме.

- На экзамен допускаются только те, кто получил полный балл (10) за теормин.

- Экзамен пройдет в сессию 2го модуля.

Генеративные модели в машинном обучении (ИИ 2025)

2025-11-12T18:00:54Z

Mkgoldshteyn:

==О курсе ==
Курс читается в первом семестре студентам магистерской образовательной программы [https://www.hse.ru/ma/mlds/ "Искусственный интеллект"].

{| class="wikitable"
|-
! Группа !! Преподаватели
|-
| Базовая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/murr4a Кантонистова Елена]
|-
| Продвинутая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/Einstein_30 Карагодин Никита]
|}

{| class="wikitable"
|-
! colspan="4" | Ассистенты
|-
| [https://t.me/htutb Уваров Николай] || [https://t.me/sodeniZz Матвеев Денис] || [https://t.me/perkyfever Тихонов Даниил]
|-
| [https://t.me/eiky0u Прудников Николай] || [https://t.me/llllllllllIlIIllIllIIIlllIllI Хасенов Ильяс] || [https://t.me/kolx0znik Саргсян Нарек]
|-
| [https://t.me/the_overfeeling Герасимов Борис] || [https://t.me/Oleg_Oleg_Ch Черников Олег] || [https://t.me/brickckirb Семенов Иван]
|}

==Материалы курса ==
Ссылка на плейлист курса на VK: [https://vkvideo.ru/playlist/-227011779_46 VK-playlist]

Ссылка на GitHub с материалами курса: [https://github.com/NickKar30/GM-HSE-AI-masters-course GitHub]

Ссылка на stepik: [https://stepik.org/course/179805/promo#toc Stepik]

===Расписание базовой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Дополнительные материалы
|-

| style="background:#eaecf0;" | '''1''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''2''' || Токенизация, BERT, дообучение трансформерных моделей || [https://m.vkvideo.ru/video-227011779_456239498?from=video&t=1h1m7s Лекция VK] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''4''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''5''' || Нормализующие потоки || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Автокодировщики, вариационные автокодировщики|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''7''' || Генеративно-состязательные сети, StyleGAN|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''8''' || Диффузионные модели || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Мультимодальные модели, CLIP, Stable Diffusion|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

===Расписание продвинутой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Домашние задания
|-

| style="background:#eaecf0;" | '''1''' || Применения генеративных моделей, метод максимального правдоподобия, энтропия и KL-дивергенция, задачи генеративных моделей, AR модели || [https://m.vkvideo.ru/video-227011779_456239487?from=video&t=41m52s Лекция VK] [https://m.vkvideo.ru/video-227011779_456239494?from=video&t=42m58s Семинар VK]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec1_intro.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem1_pixelcnn.ipynb Семинар] || rowspan="5" | [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/homeworks/pro/hw1.ipynb ImageGPT]
|-

| style="background:#eaecf0;" | '''2''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Токенизация, BERT, дообучение трансформерных моделей || [https://m.vkvideo.ru/video-227011779_456239498?from=video&t=1h1m7s Лекция VK] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''4''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''5''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Нормализующие потоки, авторегрессионные и линейные потоки, модели NICE, RealNVP и Glow|| [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239512?linked=1 Лекция] [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239513?linked=1 Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec2_flows.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem2_flow.ipynb Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/homeworks/pro/hw2/hw2.ipynb Glow]
|-
| style="background:#eaecf0;" | '''7''' || Модели скрытых переменных, ЕМ-алгоритм, вывод вариационной нижней оценки (ELBO)|| [https://m.vkvideo.ru/video-227011779_456239540?t=21m48s Лекция]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec3_lvm.pdf Лекция] ||
|-
| style="background:#eaecf0;" | '''8''' || Амортизированный вариационный вывод, трюк репараметризации, VAE, ELBO Surgery, Learnable Prior|| [https://m.vkvideo.ru/video-227011779_456239552?t=1h9m44s Лекция] [https://m.vkvideo.ru/video-227011779_456239554?t=19m46s Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec4_vae.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem4_vae.ipynb Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Discrete VAE, VQ-VAE, VQ-VAE2, likelihood free-learning, GANs || [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239577?linked=1 Лекция]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec5_vqvae_gans.pdf Лекция]||
|-
| style="background:#eaecf0;" | '''10''' || Проблемы GANs: Mode collapse, Manifold Hypotesis; Wasserstain Distance, WGAN, WGAN-GP, PG-GAN, SAGAN, StyleGAN|| [https://m.vkvideo.ru/video-227011779_456239598 Лекция] [Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec6_gans.pdf Лекция] [https://m.vkvideo.ru/video-227011779_456239612?t=50m4s Семинар] ||
|-
| style="background:#eaecf0;" | '''11''' || Energy based models, динамика Ланжевена, score matching: Implicit score matching, sliced score matching, denoising score matching, Noise conditioned score network|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''12''' || Прямой и обратный диффузионные процессы, диффузия как модель VAE || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''13''' || || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

==Формула оценивания ==
Общая оценка: <code>𝟎.𝟔×ДЗ + 𝟎.𝟏×Степик + 𝟎.𝟏×Теормин + 𝟎.𝟐×Экзамен</code>

==Stepik ==
В оценку за Stepik идут только следующие модули:

* [https://stepik.org/lesson/1260768 Модуль 10 Attention]

* [https://stepik.org/lesson/1260773 Модуль 11 Трансформеры: теория]

* [https://stepik.org/lesson/1322959 Модуль 12 Трансформеры: практика]

* [https://stepik.org/lesson/1366006 Модуль 14 Классические генеративные модели]

* [https://stepik.org/lesson/1366010 Модуль 15 Современные генеративные модели]

* [https://stepik.org/lesson/1366014 Модуль 16 Методы оптимизации нейронных сетей]

'''Важно:''' Части степика с домашними заданиями делать не нужно (15.4, например). Но нужно ответить на квизы в других его частях (15.1, например).

== Домашние задания ==

===Инвайты в Anytask===

Base Group: <code>WhnrWvK</code>

Pro Group: <code>iYcTpI5</code>

'''Base / Pro - мягкий дедлайн:'''

1. NLP / ImageGPT - дедлайн 12 октября 23:59

2. GAN&VAE / Glow - дедлайн 6 ноября 23:59

3. Diffusion&Flows / GAN&VAE - 14 ноября 23:59

4. MM AR / Diffusion - 28 ноября 23:59

Жесткий дедлайн по всем заданиям: 1 декабря 2025*

* Для сдачи курса на зачет (4 балла) можно досдавать домашние задания после жесткого дедлайна - до 20 декабря 23:59. Только в случае, если речь идет про зачет/незачет. Выше оценки 4 в случае поздней досдачи получить нельзя.

'''Правила дедлайнов по курсу:'''

- за каждую неделю просрочки после мягкого дедлайна штраф 2 балла

- после трех недель просрочки штраф 6 баллов и он не увеличивается

- после трех недель просрочки и до -1 недели до конца модуля можно сдавать задания с максимальным баллом 4.

== Теормин и Экзамен ==

'''Теормин''' - устный опрос по заранее фиксированному списку вопросов с кратким ответом. Необходимо ответить на 3 вопроса за не более, чем 5 минут.

- Теормин ожидается 1 декабря.

- Балл за теормин: 0 / 5 / 10.

'''Экзамен''' - устный разговор по темам курса, не более 10 минут, ожидаются развернутые ответы в свободной форме.

- На экзамен допускаются только те, кто получил полный балл (10) за теормин.

- Экзамен пройдет в сессию 2го модуля.

Генеративные модели в машинном обучении (ИИ 2025)

2025-11-12T17:59:58Z

Mkgoldshteyn:

==О курсе ==
Курс читается в первом семестре студентам магистерской образовательной программы [https://www.hse.ru/ma/mlds/ "Искусственный интеллект"].

{| class="wikitable"
|-
! Группа !! Преподаватели
|-
| Базовая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/murr4a Кантонистова Елена]
|-
| Продвинутая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/Einstein_30 Карагодин Никита]
|}

{| class="wikitable"
|-
! colspan="4" | Ассистенты
|-
| [https://t.me/htutb Уваров Николай] || [https://t.me/sodeniZz Матвеев Денис] || [https://t.me/perkyfever Тихонов Даниил]
|-
| [https://t.me/eiky0u Прудников Николай] || [https://t.me/llllllllllIlIIllIllIIIlllIllI Хасенов Ильяс] || [https://t.me/kolx0znik Саргсян Нарек]
|-
| [https://t.me/the_overfeeling Герасимов Борис] || [https://t.me/Oleg_Oleg_Ch Черников Олег] || [https://t.me/brickckirb Семенов Иван]
|}

==Материалы курса ==
Ссылка на плейлист курса на VK: [https://vkvideo.ru/playlist/-227011779_46 VK-playlist]

Ссылка на GitHub с материалами курса: [https://github.com/NickKar30/GM-HSE-AI-masters-course GitHub]

Ссылка на stepik: [https://stepik.org/course/179805/promo#toc Stepik]

===Расписание базовой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Дополнительные материалы
|-

| style="background:#eaecf0;" | '''1''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''2''' || Токенизация, BERT, дообучение трансформерных моделей || [https://m.vkvideo.ru/video-227011779_456239498?from=video&t=1h1m7s Лекция VK] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''4''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''5''' || Нормализующие потоки || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Автокодировщики, вариационные автокодировщики|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''7''' || Генеративно-состязательные сети, StyleGAN|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''8''' || Диффузионные модели || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Мультимодальные модели, CLIP, Stable Diffusion|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

===Расписание продвинутой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Домашние задания
|-

| style="background:#eaecf0;" | '''1''' || Применения генеративных моделей, метод максимального правдоподобия, энтропия и KL-дивергенция, задачи генеративных моделей, AR модели || [https://m.vkvideo.ru/video-227011779_456239487?from=video&t=41m52s Лекция VK] [https://m.vkvideo.ru/video-227011779_456239494?from=video&t=42m58s Семинар VK]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec1_intro.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem1_pixelcnn.ipynb Семинар] || rowspan="5" | [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/homeworks/pro/hw1.ipynb ImageGPT]
|-

| style="background:#eaecf0;" | '''2''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Токенизация, BERT, дообучение трансформерных моделей || [https://m.vkvideo.ru/video-227011779_456239498?from=video&t=1h1m7s Лекция VK] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''4''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''5''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Нормализующие потоки, авторегрессионные и линейные потоки, модели NICE, RealNVP и Glow|| [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239512?linked=1 Лекция] [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239513?linked=1 Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec2_flows.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem2_flow.ipynb Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/homeworks/pro/hw2/hw2.ipynb Glow]
|-
| style="background:#eaecf0;" | '''7''' || Модели скрытых переменных, ЕМ-алгоритм, вывод вариационной нижней оценки (ELBO)|| [https://m.vkvideo.ru/video-227011779_456239540?t=21m48s Лекция]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec3_lvm.pdf Лекция] ||
|-
| style="background:#eaecf0;" | '''8''' || Амортизированный вариационный вывод, трюк репараметризации, VAE, ELBO Surgery, Learnable Prior|| [https://m.vkvideo.ru/video-227011779_456239552?t=1h9m44s Лекция] [https://m.vkvideo.ru/video-227011779_456239554?t=19m46s Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec4_vae.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem4_vae.ipynb Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Discrete VAE, VQ-VAE, VQ-VAE2, likelihood free-learning, GANs || [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239577?linked=1 Лекция]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec5_vqvae_gans.pdf Лекция]||
|-
| style="background:#eaecf0;" | '''10''' || Проблемы GANs: Mode collapse, Manifold Hypotesis; Wasserstain Distance, WGAN, WGAN-GP, PG-GAN, SAGAN, StyleGAN|| [https://m.vkvideo.ru/video-227011779_456239598 Лекция] [Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec6_gans.pdf Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''11''' || Energy based models, динамика Ланжевена, score matching: Implicit score matching, sliced score matching, denoising score matching, Noise conditioned score network|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''12''' || Прямой и обратный диффузионные процессы, диффузия как модель VAE || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''13''' || || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

==Формула оценивания ==
Общая оценка: <code>𝟎.𝟔×ДЗ + 𝟎.𝟏×Степик + 𝟎.𝟏×Теормин + 𝟎.𝟐×Экзамен</code>

==Stepik ==
В оценку за Stepik идут только следующие модули:

* [https://stepik.org/lesson/1260768 Модуль 10 Attention]

* [https://stepik.org/lesson/1260773 Модуль 11 Трансформеры: теория]

* [https://stepik.org/lesson/1322959 Модуль 12 Трансформеры: практика]

* [https://stepik.org/lesson/1366006 Модуль 14 Классические генеративные модели]

* [https://stepik.org/lesson/1366010 Модуль 15 Современные генеративные модели]

* [https://stepik.org/lesson/1366014 Модуль 16 Методы оптимизации нейронных сетей]

'''Важно:''' Части степика с домашними заданиями делать не нужно (15.4, например). Но нужно ответить на квизы в других его частях (15.1, например).

== Домашние задания ==

===Инвайты в Anytask===

Base Group: <code>WhnrWvK</code>

Pro Group: <code>iYcTpI5</code>

'''Base / Pro - мягкий дедлайн:'''

1. NLP / ImageGPT - дедлайн 12 октября 23:59

2. GAN&VAE / Glow - дедлайн 6 ноября 23:59

3. Diffusion&Flows / GAN&VAE - 14 ноября 23:59

4. MM AR / Diffusion - 28 ноября 23:59

Жесткий дедлайн по всем заданиям: 1 декабря 2025*

* Для сдачи курса на зачет (4 балла) можно досдавать домашние задания после жесткого дедлайна - до 20 декабря 23:59. Только в случае, если речь идет про зачет/незачет. Выше оценки 4 в случае поздней досдачи получить нельзя.

'''Правила дедлайнов по курсу:'''

- за каждую неделю просрочки после мягкого дедлайна штраф 2 балла

- после трех недель просрочки штраф 6 баллов и он не увеличивается

- после трех недель просрочки и до -1 недели до конца модуля можно сдавать задания с максимальным баллом 4.

== Теормин и Экзамен ==

'''Теормин''' - устный опрос по заранее фиксированному списку вопросов с кратким ответом. Необходимо ответить на 3 вопроса за не более, чем 5 минут.

- Теормин ожидается 1 декабря.

- Балл за теормин: 0 / 5 / 10.

'''Экзамен''' - устный разговор по темам курса, не более 10 минут, ожидаются развернутые ответы в свободной форме.

- На экзамен допускаются только те, кто получил полный балл (10) за теормин.

- Экзамен пройдет в сессию 2го модуля.

Генеративные модели в машинном обучении (ИИ 2025)

2025-11-12T17:58:02Z

Mkgoldshteyn:

==О курсе ==
Курс читается в первом семестре студентам магистерской образовательной программы [https://www.hse.ru/ma/mlds/ "Искусственный интеллект"].

{| class="wikitable"
|-
! Группа !! Преподаватели
|-
| Базовая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/murr4a Кантонистова Елена]
|-
| Продвинутая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/Einstein_30 Карагодин Никита]
|}

{| class="wikitable"
|-
! colspan="4" | Ассистенты
|-
| [https://t.me/htutb Уваров Николай] || [https://t.me/sodeniZz Матвеев Денис] || [https://t.me/perkyfever Тихонов Даниил]
|-
| [https://t.me/eiky0u Прудников Николай] || [https://t.me/llllllllllIlIIllIllIIIlllIllI Хасенов Ильяс] || [https://t.me/kolx0znik Саргсян Нарек]
|-
| [https://t.me/the_overfeeling Герасимов Борис] || [https://t.me/Oleg_Oleg_Ch Черников Олег] || [https://t.me/brickckirb Семенов Иван]
|}

==Материалы курса ==
Ссылка на плейлист курса на VK: [https://vkvideo.ru/playlist/-227011779_46 VK-playlist]

Ссылка на GitHub с материалами курса: [https://github.com/NickKar30/GM-HSE-AI-masters-course GitHub]

Ссылка на stepik: [https://stepik.org/course/179805/promo#toc Stepik]

===Расписание базовой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Дополнительные материалы
|-

| style="background:#eaecf0;" | '''1''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''2''' || Токенизация, BERT, дообучение трансформерных моделей || [https://m.vkvideo.ru/video-227011779_456239498?from=video&t=1h1m7s Лекция VK] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''4''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''5''' || Нормализующие потоки || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Автокодировщики, вариационные автокодировщики|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''7''' || Генеративно-состязательные сети, StyleGAN|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''8''' || Диффузионные модели || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Мультимодальные модели, CLIP, Stable Diffusion|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

===Расписание продвинутой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Домашние задания
|-

| style="background:#eaecf0;" | '''1''' || Применения генеративных моделей, метод максимального правдоподобия, энтропия и KL-дивергенция, задачи генеративных моделей, AR модели || [https://m.vkvideo.ru/video-227011779_456239487?from=video&t=41m52s Лекция VK] [https://m.vkvideo.ru/video-227011779_456239494?from=video&t=42m58s Семинар VK]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec1_intro.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem1_pixelcnn.ipynb Семинар] || rowspan="5" | [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/homeworks/pro/hw1.ipynb ImageGPT]
|-

| style="background:#eaecf0;" | '''2''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Токенизация, BERT, дообучение трансформерных моделей || [https://m.vkvideo.ru/video-227011779_456239498?from=video&t=1h1m7s Лекция VK] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''4''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''5''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Нормализующие потоки, авторегрессионные и линейные потоки, модели NICE, RealNVP и Glow|| [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239512?linked=1 Лекция] [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239513?linked=1 Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec2_flows.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem2_flow.ipynb Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/homeworks/pro/hw2/hw2.ipynb Glow]
|-
| style="background:#eaecf0;" | '''7''' || Модели скрытых переменных, ЕМ-алгоритм, вывод вариационной нижней оценки (ELBO)|| [https://m.vkvideo.ru/video-227011779_456239540?t=21m48s Лекция]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec3_lvm.pdf Лекция] ||
|-
| style="background:#eaecf0;" | '''8''' || Амортизированный вариационный вывод, трюк репараметризации, VAE, ELBO Surgery, Learnable Prior|| [https://m.vkvideo.ru/video-227011779_456239552?t=1h9m44s Лекция] [https://m.vkvideo.ru/video-227011779_456239554?t=19m46s Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec4_vae.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem4_vae.ipynb Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Discrete VAE, VQ-VAE, VQ-VAE2, likelihood free-learning, GANs || [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239577?linked=1 Лекция]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec5_vqvae_gans.pdf Лекция]||
|-
| style="background:#eaecf0;" | '''10''' || Проблемы GANs: Mode collapse, Manifold Hypotesis; Wasserstain Distance, WGAN, WGAN-GP, PG-GAN, SAGAN, StyleGAN|| [Лекция] [Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec6_gans.pdf Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''11''' || Energy based models, динамика Ланжевена, score matching: Implicit score matching, sliced score matching, denoising score matching, Noise conditioned score network|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''12''' || Прямой и обратный диффузионные процессы, диффузия как модель VAE || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''13''' || || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

==Формула оценивания ==
Общая оценка: <code>𝟎.𝟔×ДЗ + 𝟎.𝟏×Степик + 𝟎.𝟏×Теормин + 𝟎.𝟐×Экзамен</code>

==Stepik ==
В оценку за Stepik идут только следующие модули:

* [https://stepik.org/lesson/1260768 Модуль 10 Attention]

* [https://stepik.org/lesson/1260773 Модуль 11 Трансформеры: теория]

* [https://stepik.org/lesson/1322959 Модуль 12 Трансформеры: практика]

* [https://stepik.org/lesson/1366006 Модуль 14 Классические генеративные модели]

* [https://stepik.org/lesson/1366010 Модуль 15 Современные генеративные модели]

* [https://stepik.org/lesson/1366014 Модуль 16 Методы оптимизации нейронных сетей]

'''Важно:''' Части степика с домашними заданиями делать не нужно (15.4, например). Но нужно ответить на квизы в других его частях (15.1, например).

== Домашние задания ==

===Инвайты в Anytask===

Base Group: <code>WhnrWvK</code>

Pro Group: <code>iYcTpI5</code>

'''Base / Pro - мягкий дедлайн:'''

1. NLP / ImageGPT - дедлайн 12 октября 23:59

2. GAN&VAE / Glow - дедлайн 6 ноября 23:59

3. Diffusion&Flows / GAN&VAE - 14 ноября 23:59

4. MM AR / Diffusion - 28 ноября 23:59

Жесткий дедлайн по всем заданиям: 1 декабря 2025*

* Для сдачи курса на зачет (4 балла) можно досдавать домашние задания после жесткого дедлайна - до 20 декабря 23:59. Только в случае, если речь идет про зачет/незачет. Выше оценки 4 в случае поздней досдачи получить нельзя.

'''Правила дедлайнов по курсу:'''

- за каждую неделю просрочки после мягкого дедлайна штраф 2 балла

- после трех недель просрочки штраф 6 баллов и он не увеличивается

- после трех недель просрочки и до -1 недели до конца модуля можно сдавать задания с максимальным баллом 4.

== Теормин и Экзамен ==

'''Теормин''' - устный опрос по заранее фиксированному списку вопросов с кратким ответом. Необходимо ответить на 3 вопроса за не более, чем 5 минут.

- Теормин ожидается 1 декабря.

- Балл за теормин: 0 / 5 / 10.

'''Экзамен''' - устный разговор по темам курса, не более 10 минут, ожидаются развернутые ответы в свободной форме.

- На экзамен допускаются только те, кто получил полный балл (10) за теормин.

- Экзамен пройдет в сессию 2го модуля.

Генеративные модели в машинном обучении (ИИ 2025)

2025-11-12T17:56:24Z

Mkgoldshteyn:

==О курсе ==
Курс читается в первом семестре студентам магистерской образовательной программы [https://www.hse.ru/ma/mlds/ "Искусственный интеллект"].

{| class="wikitable"
|-
! Группа !! Преподаватели
|-
| Базовая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/murr4a Кантонистова Елена]
|-
| Продвинутая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/Einstein_30 Карагодин Никита]
|}

{| class="wikitable"
|-
! colspan="4" | Ассистенты
|-
| [https://t.me/htutb Уваров Николай] || [https://t.me/sodeniZz Матвеев Денис] || [https://t.me/perkyfever Тихонов Даниил]
|-
| [https://t.me/eiky0u Прудников Николай] || [https://t.me/llllllllllIlIIllIllIIIlllIllI Хасенов Ильяс] || [https://t.me/kolx0znik Саргсян Нарек]
|-
| [https://t.me/the_overfeeling Герасимов Борис] || [https://t.me/Oleg_Oleg_Ch Черников Олег] || [https://t.me/brickckirb Семенов Иван]
|}

==Материалы курса ==
Ссылка на плейлист курса на VK: [https://vkvideo.ru/playlist/-227011779_46 VK-playlist]

Ссылка на GitHub с материалами курса: [https://github.com/NickKar30/GM-HSE-AI-masters-course GitHub]

Ссылка на stepik: [https://stepik.org/course/179805/promo#toc Stepik]

===Расписание базовой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Дополнительные материалы
|-

| style="background:#eaecf0;" | '''1''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''2''' || Токенизация, BERT, дообучение трансформерных моделей || [https://m.vkvideo.ru/video-227011779_456239498?from=video&t=1h1m7s Лекция VK] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''4''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''5''' || Нормализующие потоки || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Автокодировщики, вариационные автокодировщики|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''7''' || Генеративно-состязательные сети, StyleGAN|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''8''' || Диффузионные модели || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Мультимодальные модели, CLIP, Stable Diffusion|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

===Расписание продвинутой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Домашние задания
|-

| style="background:#eaecf0;" | '''1''' || Применения генеративных моделей, метод максимального правдоподобия, энтропия и KL-дивергенция, задачи генеративных моделей, AR модели || [https://m.vkvideo.ru/video-227011779_456239487?from=video&t=41m52s Лекция VK] [https://m.vkvideo.ru/video-227011779_456239494?from=video&t=42m58s Семинар VK]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec1_intro.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem1_pixelcnn.ipynb Семинар] || rowspan="5" | [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/homeworks/pro/hw1.ipynb ImageGPT]
|-

| style="background:#eaecf0;" | '''2''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Токенизация, BERT, дообучение трансформерных моделей || [https://m.vkvideo.ru/video-227011779_456239498?from=video&t=1h1m7s Лекция VK] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''4''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''5''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Нормализующие потоки, авторегрессионные и линейные потоки, модели NICE, RealNVP и Glow|| [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239512?linked=1 Лекция] [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239513?linked=1 Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec2_flows.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem2_flow.ipynb Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/homeworks/pro/hw2/hw2.ipynb Glow]
|-
| style="background:#eaecf0;" | '''7''' || Модели скрытых переменных, ЕМ-алгоритм, вывод вариационной нижней оценки (ELBO)|| [https://m.vkvideo.ru/video-227011779_456239540?t=21m48s Лекция]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec3_lvm.pdf Лекция] ||
|-
| style="background:#eaecf0;" | '''8''' || Амортизированный вариационный вывод, трюк репараметризации, VAE, ELBO Surgery, Learnable Prior|| [https://m.vkvideo.ru/video-227011779_456239552?t=1h9m44s Лекция] [Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec4_vae.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem4_vae.ipynb Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Discrete VAE, VQ-VAE, VQ-VAE2, likelihood free-learning, GANs || [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239577?linked=1 Лекция] [Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec5_vqvae_gans.pdf Лекция]||
|-
| style="background:#eaecf0;" | '''10''' || Проблемы GANs: Mode collapse, Manifold Hypotesis; Wasserstain Distance, WGAN, WGAN-GP, PG-GAN, SAGAN, StyleGAN|| [Лекция] [Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec6_gans.pdf Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''11''' || Energy based models, динамика Ланжевена, score matching: Implicit score matching, sliced score matching, denoising score matching, Noise conditioned score network|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''12''' || Прямой и обратный диффузионные процессы, диффузия как модель VAE || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''13''' || || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

==Формула оценивания ==
Общая оценка: <code>𝟎.𝟔×ДЗ + 𝟎.𝟏×Степик + 𝟎.𝟏×Теормин + 𝟎.𝟐×Экзамен</code>

==Stepik ==
В оценку за Stepik идут только следующие модули:

* [https://stepik.org/lesson/1260768 Модуль 10 Attention]

* [https://stepik.org/lesson/1260773 Модуль 11 Трансформеры: теория]

* [https://stepik.org/lesson/1322959 Модуль 12 Трансформеры: практика]

* [https://stepik.org/lesson/1366006 Модуль 14 Классические генеративные модели]

* [https://stepik.org/lesson/1366010 Модуль 15 Современные генеративные модели]

* [https://stepik.org/lesson/1366014 Модуль 16 Методы оптимизации нейронных сетей]

'''Важно:''' Части степика с домашними заданиями делать не нужно (15.4, например). Но нужно ответить на квизы в других его частях (15.1, например).

== Домашние задания ==

===Инвайты в Anytask===

Base Group: <code>WhnrWvK</code>

Pro Group: <code>iYcTpI5</code>

'''Base / Pro - мягкий дедлайн:'''

1. NLP / ImageGPT - дедлайн 12 октября 23:59

2. GAN&VAE / Glow - дедлайн 6 ноября 23:59

3. Diffusion&Flows / GAN&VAE - 14 ноября 23:59

4. MM AR / Diffusion - 28 ноября 23:59

Жесткий дедлайн по всем заданиям: 1 декабря 2025*

* Для сдачи курса на зачет (4 балла) можно досдавать домашние задания после жесткого дедлайна - до 20 декабря 23:59. Только в случае, если речь идет про зачет/незачет. Выше оценки 4 в случае поздней досдачи получить нельзя.

'''Правила дедлайнов по курсу:'''

- за каждую неделю просрочки после мягкого дедлайна штраф 2 балла

- после трех недель просрочки штраф 6 баллов и он не увеличивается

- после трех недель просрочки и до -1 недели до конца модуля можно сдавать задания с максимальным баллом 4.

== Теормин и Экзамен ==

'''Теормин''' - устный опрос по заранее фиксированному списку вопросов с кратким ответом. Необходимо ответить на 3 вопроса за не более, чем 5 минут.

- Теормин ожидается 1 декабря.

- Балл за теормин: 0 / 5 / 10.

'''Экзамен''' - устный разговор по темам курса, не более 10 минут, ожидаются развернутые ответы в свободной форме.

- На экзамен допускаются только те, кто получил полный балл (10) за теормин.

- Экзамен пройдет в сессию 2го модуля.

Генеративные модели в машинном обучении (ИИ 2025)

2025-11-12T17:55:26Z

Mkgoldshteyn:

==О курсе ==
Курс читается в первом семестре студентам магистерской образовательной программы [https://www.hse.ru/ma/mlds/ "Искусственный интеллект"].

{| class="wikitable"
|-
! Группа !! Преподаватели
|-
| Базовая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/murr4a Кантонистова Елена]
|-
| Продвинутая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/Einstein_30 Карагодин Никита]
|}

{| class="wikitable"
|-
! colspan="4" | Ассистенты
|-
| [https://t.me/htutb Уваров Николай] || [https://t.me/sodeniZz Матвеев Денис] || [https://t.me/perkyfever Тихонов Даниил]
|-
| [https://t.me/eiky0u Прудников Николай] || [https://t.me/llllllllllIlIIllIllIIIlllIllI Хасенов Ильяс] || [https://t.me/kolx0znik Саргсян Нарек]
|-
| [https://t.me/the_overfeeling Герасимов Борис] || [https://t.me/Oleg_Oleg_Ch Черников Олег] || [https://t.me/brickckirb Семенов Иван]
|}

==Материалы курса ==
Ссылка на плейлист курса на VK: [https://vkvideo.ru/playlist/-227011779_46 VK-playlist]

Ссылка на GitHub с материалами курса: [https://github.com/NickKar30/GM-HSE-AI-masters-course GitHub]

Ссылка на stepik: [https://stepik.org/course/179805/promo#toc Stepik]

===Расписание базовой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Дополнительные материалы
|-

| style="background:#eaecf0;" | '''1''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''2''' || Токенизация, BERT, дообучение трансформерных моделей || [https://m.vkvideo.ru/video-227011779_456239498?from=video&t=1h1m7s Лекция VK] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''4''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''5''' || Нормализующие потоки || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Автокодировщики, вариационные автокодировщики|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''7''' || Генеративно-состязательные сети, StyleGAN|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''8''' || Диффузионные модели || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Мультимодальные модели, CLIP, Stable Diffusion|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

===Расписание продвинутой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Домашние задания
|-

| style="background:#eaecf0;" | '''1''' || Применения генеративных моделей, метод максимального правдоподобия, энтропия и KL-дивергенция, задачи генеративных моделей, AR модели || [https://m.vkvideo.ru/video-227011779_456239487?from=video&t=41m52s Лекция VK] [https://m.vkvideo.ru/video-227011779_456239494?from=video&t=42m58s Семинар VK]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec1_intro.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem1_pixelcnn.ipynb Семинар] || rowspan="5" | [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/homeworks/pro/hw1.ipynb ImageGPT]
|-

| style="background:#eaecf0;" | '''2''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Токенизация, BERT, дообучение трансформерных моделей || [https://m.vkvideo.ru/video-227011779_456239498?from=video&t=1h1m7s Лекция VK] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''4''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''5''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Нормализующие потоки, авторегрессионные и линейные потоки, модели NICE, RealNVP и Glow|| [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239512?linked=1 Лекция] [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239513?linked=1 Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec2_flows.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem2_flow.ipynb Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/homeworks/pro/hw2/hw2.ipynb Glow]
|-
| style="background:#eaecf0;" | '''7''' || Модели скрытых переменных, ЕМ-алгоритм, вывод вариационной нижней оценки (ELBO)|| [https://m.vkvideo.ru/video-227011779_456239540?t=21m48s Лекция]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec3_lvm.pdf Лекция] ||
|-
| style="background:#eaecf0;" | '''8''' || Амортизированный вариационный вывод, трюк репараметризации, VAE, ELBO Surgery, Learnable Prior|| [Лекция] [Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec4_vae.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem4_vae.ipynb Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Discrete VAE, VQ-VAE, VQ-VAE2, likelihood free-learning, GANs || [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239577?linked=1 Лекция] [Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec5_vqvae_gans.pdf Лекция]||
|-
| style="background:#eaecf0;" | '''10''' || Проблемы GANs: Mode collapse, Manifold Hypotesis; Wasserstain Distance, WGAN, WGAN-GP, PG-GAN, SAGAN, StyleGAN|| [Лекция] [Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec6_gans.pdf Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''11''' || Energy based models, динамика Ланжевена, score matching: Implicit score matching, sliced score matching, denoising score matching, Noise conditioned score network|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''12''' || Прямой и обратный диффузионные процессы, диффузия как модель VAE || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''13''' || || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

==Формула оценивания ==
Общая оценка: <code>𝟎.𝟔×ДЗ + 𝟎.𝟏×Степик + 𝟎.𝟏×Теормин + 𝟎.𝟐×Экзамен</code>

==Stepik ==
В оценку за Stepik идут только следующие модули:

* [https://stepik.org/lesson/1260768 Модуль 10 Attention]

* [https://stepik.org/lesson/1260773 Модуль 11 Трансформеры: теория]

* [https://stepik.org/lesson/1322959 Модуль 12 Трансформеры: практика]

* [https://stepik.org/lesson/1366006 Модуль 14 Классические генеративные модели]

* [https://stepik.org/lesson/1366010 Модуль 15 Современные генеративные модели]

* [https://stepik.org/lesson/1366014 Модуль 16 Методы оптимизации нейронных сетей]

'''Важно:''' Части степика с домашними заданиями делать не нужно (15.4, например). Но нужно ответить на квизы в других его частях (15.1, например).

== Домашние задания ==

===Инвайты в Anytask===

Base Group: <code>WhnrWvK</code>

Pro Group: <code>iYcTpI5</code>

'''Base / Pro - мягкий дедлайн:'''

1. NLP / ImageGPT - дедлайн 12 октября 23:59

2. GAN&VAE / Glow - дедлайн 6 ноября 23:59

3. Diffusion&Flows / GAN&VAE - 14 ноября 23:59

4. MM AR / Diffusion - 28 ноября 23:59

Жесткий дедлайн по всем заданиям: 1 декабря 2025*

* Для сдачи курса на зачет (4 балла) можно досдавать домашние задания после жесткого дедлайна - до 20 декабря 23:59. Только в случае, если речь идет про зачет/незачет. Выше оценки 4 в случае поздней досдачи получить нельзя.

'''Правила дедлайнов по курсу:'''

- за каждую неделю просрочки после мягкого дедлайна штраф 2 балла

- после трех недель просрочки штраф 6 баллов и он не увеличивается

- после трех недель просрочки и до -1 недели до конца модуля можно сдавать задания с максимальным баллом 4.

== Теормин и Экзамен ==

'''Теормин''' - устный опрос по заранее фиксированному списку вопросов с кратким ответом. Необходимо ответить на 3 вопроса за не более, чем 5 минут.

- Теормин ожидается 1 декабря.

- Балл за теормин: 0 / 5 / 10.

'''Экзамен''' - устный разговор по темам курса, не более 10 минут, ожидаются развернутые ответы в свободной форме.

- На экзамен допускаются только те, кто получил полный балл (10) за теормин.

- Экзамен пройдет в сессию 2го модуля.

Генеративные модели в машинном обучении (ИИ 2025)

2025-11-12T17:52:46Z

Mkgoldshteyn:

==О курсе ==
Курс читается в первом семестре студентам магистерской образовательной программы [https://www.hse.ru/ma/mlds/ "Искусственный интеллект"].

{| class="wikitable"
|-
! Группа !! Преподаватели
|-
| Базовая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/murr4a Кантонистова Елена]
|-
| Продвинутая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/Einstein_30 Карагодин Никита]
|}

{| class="wikitable"
|-
! colspan="4" | Ассистенты
|-
| [https://t.me/htutb Уваров Николай] || [https://t.me/sodeniZz Матвеев Денис] || [https://t.me/perkyfever Тихонов Даниил]
|-
| [https://t.me/eiky0u Прудников Николай] || [https://t.me/llllllllllIlIIllIllIIIlllIllI Хасенов Ильяс] || [https://t.me/kolx0znik Саргсян Нарек]
|-
| [https://t.me/the_overfeeling Герасимов Борис] || [https://t.me/Oleg_Oleg_Ch Черников Олег] || [https://t.me/brickckirb Семенов Иван]
|}

==Материалы курса ==
Ссылка на плейлист курса на VK: [https://vkvideo.ru/playlist/-227011779_46 VK-playlist]

Ссылка на GitHub с материалами курса: [https://github.com/NickKar30/GM-HSE-AI-masters-course GitHub]

Ссылка на stepik: [https://stepik.org/course/179805/promo#toc Stepik]

===Расписание базовой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Дополнительные материалы
|-

| style="background:#eaecf0;" | '''1''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''2''' || Токенизация, BERT, дообучение трансформерных моделей || [https://m.vkvideo.ru/video-227011779_456239498?from=video&t=1h1m7s Лекция VK] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''4''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''5''' || Нормализующие потоки || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Автокодировщики, вариационные автокодировщики|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''7''' || Генеративно-состязательные сети, StyleGAN|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''8''' || Диффузионные модели || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Мультимодальные модели, CLIP, Stable Diffusion|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

===Расписание продвинутой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Домашние задания
|-

| style="background:#eaecf0;" | '''1''' || Применения генеративных моделей, метод максимального правдоподобия, энтропия и KL-дивергенция, задачи генеративных моделей, AR модели || [https://m.vkvideo.ru/video-227011779_456239487?from=video&t=41m52s Лекция VK] [https://m.vkvideo.ru/video-227011779_456239494?from=video&t=42m58s Семинар VK]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec1_intro.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem1_pixelcnn.ipynb Семинар] || rowspan="5" | [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/homeworks/pro/hw1.ipynb ImageGPT]
|-

| style="background:#eaecf0;" | '''2''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Токенизация, BERT, дообучение трансформерных моделей || [https://m.vkvideo.ru/video-227011779_456239498?from=video&t=1h1m7s Лекция VK] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''4''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''5''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Нормализующие потоки, авторегрессионные и линейные потоки, модели NICE, RealNVP и Glow|| [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239512?linked=1 Лекция] [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239513?linked=1 Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec2_flows.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem2_flow.ipynb Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/homeworks/pro/hw2/hw2.ipynb Glow]
|-
| style="background:#eaecf0;" | '''7''' || Модели скрытых переменных, ЕМ-алгоритм, вывод вариационной нижней оценки (ELBO)|| [Лекция]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec3_lvm.pdf Лекция] ||
|-
| style="background:#eaecf0;" | '''8''' || Амортизированный вариационный вывод, трюк репараметризации, VAE, ELBO Surgery, Learnable Prior|| [Лекция] [Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec4_vae.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem4_vae.ipynb Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Discrete VAE, VQ-VAE, VQ-VAE2, likelihood free-learning, GANs || [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239577?linked=1 Лекция] [Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec5_vqvae_gans.pdf Лекция]||
|-
| style="background:#eaecf0;" | '''10''' || Проблемы GANs: Mode collapse, Manifold Hypotesis; Wasserstain Distance, WGAN, WGAN-GP, PG-GAN, SAGAN, StyleGAN|| [Лекция] [Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec6_gans.pdf Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''11''' || Energy based models, динамика Ланжевена, score matching: Implicit score matching, sliced score matching, denoising score matching, Noise conditioned score network|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''12''' || Прямой и обратный диффузионные процессы, диффузия как модель VAE || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''13''' || || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

==Формула оценивания ==
Общая оценка: <code>𝟎.𝟔×ДЗ + 𝟎.𝟏×Степик + 𝟎.𝟏×Теормин + 𝟎.𝟐×Экзамен</code>

==Stepik ==
В оценку за Stepik идут только следующие модули:

* [https://stepik.org/lesson/1260768 Модуль 10 Attention]

* [https://stepik.org/lesson/1260773 Модуль 11 Трансформеры: теория]

* [https://stepik.org/lesson/1322959 Модуль 12 Трансформеры: практика]

* [https://stepik.org/lesson/1366006 Модуль 14 Классические генеративные модели]

* [https://stepik.org/lesson/1366010 Модуль 15 Современные генеративные модели]

* [https://stepik.org/lesson/1366014 Модуль 16 Методы оптимизации нейронных сетей]

'''Важно:''' Части степика с домашними заданиями делать не нужно (15.4, например). Но нужно ответить на квизы в других его частях (15.1, например).

== Домашние задания ==

===Инвайты в Anytask===

Base Group: <code>WhnrWvK</code>

Pro Group: <code>iYcTpI5</code>

'''Base / Pro - мягкий дедлайн:'''

1. NLP / ImageGPT - дедлайн 12 октября 23:59

2. GAN&VAE / Glow - дедлайн 6 ноября 23:59

3. Diffusion&Flows / GAN&VAE - 14 ноября 23:59

4. MM AR / Diffusion - 28 ноября 23:59

Жесткий дедлайн по всем заданиям: 1 декабря 2025*

* Для сдачи курса на зачет (4 балла) можно досдавать домашние задания после жесткого дедлайна - до 20 декабря 23:59. Только в случае, если речь идет про зачет/незачет. Выше оценки 4 в случае поздней досдачи получить нельзя.

'''Правила дедлайнов по курсу:'''

- за каждую неделю просрочки после мягкого дедлайна штраф 2 балла

- после трех недель просрочки штраф 6 баллов и он не увеличивается

- после трех недель просрочки и до -1 недели до конца модуля можно сдавать задания с максимальным баллом 4.

== Теормин и Экзамен ==

'''Теормин''' - устный опрос по заранее фиксированному списку вопросов с кратким ответом. Необходимо ответить на 3 вопроса за не более, чем 5 минут.

- Теормин ожидается 1 декабря.

- Балл за теормин: 0 / 5 / 10.

'''Экзамен''' - устный разговор по темам курса, не более 10 минут, ожидаются развернутые ответы в свободной форме.

- На экзамен допускаются только те, кто получил полный балл (10) за теормин.

- Экзамен пройдет в сессию 2го модуля.

Генеративные модели в машинном обучении (ИИ 2025)

2025-11-12T17:52:06Z

Mkgoldshteyn:

==О курсе ==
Курс читается в первом семестре студентам магистерской образовательной программы [https://www.hse.ru/ma/mlds/ "Искусственный интеллект"].

{| class="wikitable"
|-
! Группа !! Преподаватели
|-
| Базовая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/murr4a Кантонистова Елена]
|-
| Продвинутая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/Einstein_30 Карагодин Никита]
|}

{| class="wikitable"
|-
! colspan="4" | Ассистенты
|-
| [https://t.me/htutb Уваров Николай] || [https://t.me/sodeniZz Матвеев Денис] || [https://t.me/perkyfever Тихонов Даниил]
|-
| [https://t.me/eiky0u Прудников Николай] || [https://t.me/llllllllllIlIIllIllIIIlllIllI Хасенов Ильяс] || [https://t.me/kolx0znik Саргсян Нарек]
|-
| [https://t.me/the_overfeeling Герасимов Борис] || [https://t.me/Oleg_Oleg_Ch Черников Олег] || [https://t.me/brickckirb Семенов Иван]
|}

==Материалы курса ==
Ссылка на плейлист курса на VK: [https://vkvideo.ru/playlist/-227011779_46 VK-playlist]

Ссылка на GitHub с материалами курса: [https://github.com/NickKar30/GM-HSE-AI-masters-course GitHub]

Ссылка на stepik: [https://stepik.org/course/179805/promo#toc Stepik]

===Расписание базовой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Дополнительные материалы
|-

| style="background:#eaecf0;" | '''1''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''2''' || Токенизация, BERT, дообучение трансформерных моделей || [https://m.vkvideo.ru/video-227011779_456239498?from=video&t=1h1m7s Лекция VK] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''4''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''5''' || Нормализующие потоки || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Автокодировщики, вариационные автокодировщики|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''7''' || Генеративно-состязательные сети, StyleGAN|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''8''' || Диффузионные модели || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Мультимодальные модели, CLIP, Stable Diffusion|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

===Расписание продвинутой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Домашние задания
|-

| style="background:#eaecf0;" | '''1''' || Применения генеративных моделей, метод максимального правдоподобия, энтропия и KL-дивергенция, задачи генеративных моделей, AR модели || [https://m.vkvideo.ru/video-227011779_456239487?from=video&t=41m52s Лекция VK] [https://m.vkvideo.ru/video-227011779_456239494?from=video&t=42m58s Семинар VK]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec1_intro.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem1_pixelcnn.ipynb Семинар] || rowspan="5" | [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/homeworks/pro/hw1.ipynb ImageGPT]
|-

| style="background:#eaecf0;" | '''2''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Токенизация, BERT, дообучение трансформерных моделей || [https://m.vkvideo.ru/video-227011779_456239498?from=video&t=1h1m7s Лекция VK] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''4''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''5''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Нормализующие потоки, авторегрессионные и линейные потоки, модели NICE, RealNVP и Glow|| [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239512?linked=1 Лекция] [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239513?linked=1 Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec2_flows.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem2_flow.ipynb Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/homeworks/pro/hw2/hw2.ipynb Glow]
|-
| style="background:#eaecf0;" | '''7''' || Модели скрытых переменных, ЕМ-алгоритм, вывод вариационной нижней оценки (ELBO)|| [Лекция]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec3_lvm.pdf Лекция] ||
|-
| style="background:#eaecf0;" | '''8''' || Амортизированный вариационный вывод, трюк репараметризации, VAE, ELBO Surgery, Learnable Prior|| [Лекция] [Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec4_vae.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem4_vae.ipynb Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Discrete VAE, VQ-VAE, VQ-VAE2, likelihood free-learning, GANs || [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239577?linked=1 Лекция] [Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec5_vqvae_gans.pdf Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''10''' || Проблемы GANs: Mode collapse, Manifold Hypotesis; Wasserstain Distance, WGAN, WGAN-GP, PG-GAN, SAGAN, StyleGAN|| [Лекция] [Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec6_gans.pdf Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''11''' || Energy based models, динамика Ланжевена, score matching: Implicit score matching, sliced score matching, denoising score matching, Noise conditioned score network|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''12''' || Прямой и обратный диффузионные процессы, диффузия как модель VAE || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''13''' || || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

==Формула оценивания ==
Общая оценка: <code>𝟎.𝟔×ДЗ + 𝟎.𝟏×Степик + 𝟎.𝟏×Теормин + 𝟎.𝟐×Экзамен</code>

==Stepik ==
В оценку за Stepik идут только следующие модули:

* [https://stepik.org/lesson/1260768 Модуль 10 Attention]

* [https://stepik.org/lesson/1260773 Модуль 11 Трансформеры: теория]

* [https://stepik.org/lesson/1322959 Модуль 12 Трансформеры: практика]

* [https://stepik.org/lesson/1366006 Модуль 14 Классические генеративные модели]

* [https://stepik.org/lesson/1366010 Модуль 15 Современные генеративные модели]

* [https://stepik.org/lesson/1366014 Модуль 16 Методы оптимизации нейронных сетей]

'''Важно:''' Части степика с домашними заданиями делать не нужно (15.4, например). Но нужно ответить на квизы в других его частях (15.1, например).

== Домашние задания ==

===Инвайты в Anytask===

Base Group: <code>WhnrWvK</code>

Pro Group: <code>iYcTpI5</code>

'''Base / Pro - мягкий дедлайн:'''

1. NLP / ImageGPT - дедлайн 12 октября 23:59

2. GAN&VAE / Glow - дедлайн 6 ноября 23:59

3. Diffusion&Flows / GAN&VAE - 14 ноября 23:59

4. MM AR / Diffusion - 28 ноября 23:59

Жесткий дедлайн по всем заданиям: 1 декабря 2025*

* Для сдачи курса на зачет (4 балла) можно досдавать домашние задания после жесткого дедлайна - до 20 декабря 23:59. Только в случае, если речь идет про зачет/незачет. Выше оценки 4 в случае поздней досдачи получить нельзя.

'''Правила дедлайнов по курсу:'''

- за каждую неделю просрочки после мягкого дедлайна штраф 2 балла

- после трех недель просрочки штраф 6 баллов и он не увеличивается

- после трех недель просрочки и до -1 недели до конца модуля можно сдавать задания с максимальным баллом 4.

== Теормин и Экзамен ==

'''Теормин''' - устный опрос по заранее фиксированному списку вопросов с кратким ответом. Необходимо ответить на 3 вопроса за не более, чем 5 минут.

- Теормин ожидается 1 декабря.

- Балл за теормин: 0 / 5 / 10.

'''Экзамен''' - устный разговор по темам курса, не более 10 минут, ожидаются развернутые ответы в свободной форме.

- На экзамен допускаются только те, кто получил полный балл (10) за теормин.

- Экзамен пройдет в сессию 2го модуля.

Генеративные модели в машинном обучении (ИИ 2025)

2025-11-12T17:49:51Z

Mkgoldshteyn:

==О курсе ==
Курс читается в первом семестре студентам магистерской образовательной программы [https://www.hse.ru/ma/mlds/ "Искусственный интеллект"].

{| class="wikitable"
|-
! Группа !! Преподаватели
|-
| Базовая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/murr4a Кантонистова Елена]
|-
| Продвинутая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/Einstein_30 Карагодин Никита]
|}

{| class="wikitable"
|-
! colspan="4" | Ассистенты
|-
| [https://t.me/htutb Уваров Николай] || [https://t.me/sodeniZz Матвеев Денис] || [https://t.me/perkyfever Тихонов Даниил]
|-
| [https://t.me/eiky0u Прудников Николай] || [https://t.me/llllllllllIlIIllIllIIIlllIllI Хасенов Ильяс] || [https://t.me/kolx0znik Саргсян Нарек]
|-
| [https://t.me/the_overfeeling Герасимов Борис] || [https://t.me/Oleg_Oleg_Ch Черников Олег] || [https://t.me/brickckirb Семенов Иван]
|}

==Материалы курса ==
Ссылка на плейлист курса на VK: [https://vkvideo.ru/playlist/-227011779_46 VK-playlist]

Ссылка на GitHub с материалами курса: [https://github.com/NickKar30/GM-HSE-AI-masters-course GitHub]

Ссылка на stepik: [https://stepik.org/course/179805/promo#toc Stepik]

===Расписание базовой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Дополнительные материалы
|-

| style="background:#eaecf0;" | '''1''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''2''' || Токенизация, BERT, дообучение трансформерных моделей || [https://m.vkvideo.ru/video-227011779_456239498?from=video&t=1h1m7s Лекция VK] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''4''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''5''' || Нормализующие потоки || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Автокодировщики, вариационные автокодировщики|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''7''' || Генеративно-состязательные сети, StyleGAN|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''8''' || Диффузионные модели || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Мультимодальные модели, CLIP, Stable Diffusion|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

===Расписание продвинутой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Домашние задания
|-

| style="background:#eaecf0;" | '''1''' || Применения генеративных моделей, метод максимального правдоподобия, энтропия и KL-дивергенция, задачи генеративных моделей, AR модели || [https://m.vkvideo.ru/video-227011779_456239487?from=video&t=41m52s Лекция VK] [https://m.vkvideo.ru/video-227011779_456239494?from=video&t=42m58s Семинар VK]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec1_intro.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem1_pixelcnn.ipynb Семинар] || rowspan="5" | [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/homeworks/pro/hw1.ipynb ImageGPT]
|-

| style="background:#eaecf0;" | '''2''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Токенизация, BERT, дообучение трансформерных моделей || [https://m.vkvideo.ru/video-227011779_456239498?from=video&t=1h1m7s Лекция VK] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''4''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''5''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Нормализующие потоки, авторегрессионные и линейные потоки, модели NICE, RealNVP и Glow|| [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239512?linked=1 Лекция] [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239513?linked=1 Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec2_flows.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem2_flow.ipynb Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/homeworks/pro/hw2/hw2.ipynb Glow]
|-
| style="background:#eaecf0;" | '''7''' || Модели скрытых переменных, ЕМ-алгоритм, вывод вариационной нижней оценки (ELBO)|| [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239577?linked=1 Лекция]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec3_lvm.pdf Лекция] ||
|-
| style="background:#eaecf0;" | '''8''' || Амортизированный вариационный вывод, трюк репараметризации, VAE, ELBO Surgery, Learnable Prior|| [Лекция] [Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec4_vae.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem4_vae.ipynb Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Discrete VAE, VQ-VAE, VQ-VAE2, likelihood free-learning, GANs || [Лекция] [Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec5_vqvae_gans.pdf Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''10''' || Проблемы GANs: Mode collapse, Manifold Hypotesis; Wasserstain Distance, WGAN, WGAN-GP, PG-GAN, SAGAN, StyleGAN|| [Лекция] [Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec6_gans.pdf Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''11''' || Energy based models, динамика Ланжевена, score matching: Implicit score matching, sliced score matching, denoising score matching, Noise conditioned score network|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''12''' || Прямой и обратный диффузионные процессы, диффузия как модель VAE || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''13''' || || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

==Формула оценивания ==
Общая оценка: <code>𝟎.𝟔×ДЗ + 𝟎.𝟏×Степик + 𝟎.𝟏×Теормин + 𝟎.𝟐×Экзамен</code>

==Stepik ==
В оценку за Stepik идут только следующие модули:

* [https://stepik.org/lesson/1260768 Модуль 10 Attention]

* [https://stepik.org/lesson/1260773 Модуль 11 Трансформеры: теория]

* [https://stepik.org/lesson/1322959 Модуль 12 Трансформеры: практика]

* [https://stepik.org/lesson/1366006 Модуль 14 Классические генеративные модели]

* [https://stepik.org/lesson/1366010 Модуль 15 Современные генеративные модели]

* [https://stepik.org/lesson/1366014 Модуль 16 Методы оптимизации нейронных сетей]

'''Важно:''' Части степика с домашними заданиями делать не нужно (15.4, например). Но нужно ответить на квизы в других его частях (15.1, например).

== Домашние задания ==

===Инвайты в Anytask===

Base Group: <code>WhnrWvK</code>

Pro Group: <code>iYcTpI5</code>

'''Base / Pro - мягкий дедлайн:'''

1. NLP / ImageGPT - дедлайн 12 октября 23:59

2. GAN&VAE / Glow - дедлайн 6 ноября 23:59

3. Diffusion&Flows / GAN&VAE - 14 ноября 23:59

4. MM AR / Diffusion - 28 ноября 23:59

Жесткий дедлайн по всем заданиям: 1 декабря 2025*

* Для сдачи курса на зачет (4 балла) можно досдавать домашние задания после жесткого дедлайна - до 20 декабря 23:59. Только в случае, если речь идет про зачет/незачет. Выше оценки 4 в случае поздней досдачи получить нельзя.

'''Правила дедлайнов по курсу:'''

- за каждую неделю просрочки после мягкого дедлайна штраф 2 балла

- после трех недель просрочки штраф 6 баллов и он не увеличивается

- после трех недель просрочки и до -1 недели до конца модуля можно сдавать задания с максимальным баллом 4.

== Теормин и Экзамен ==

'''Теормин''' - устный опрос по заранее фиксированному списку вопросов с кратким ответом. Необходимо ответить на 3 вопроса за не более, чем 5 минут.

- Теормин ожидается 1 декабря.

- Балл за теормин: 0 / 5 / 10.

'''Экзамен''' - устный разговор по темам курса, не более 10 минут, ожидаются развернутые ответы в свободной форме.

- На экзамен допускаются только те, кто получил полный балл (10) за теормин.

- Экзамен пройдет в сессию 2го модуля.

Генеративные модели в машинном обучении (ИИ 2025)

2025-11-12T17:47:58Z

Mkgoldshteyn:

==О курсе ==
Курс читается в первом семестре студентам магистерской образовательной программы [https://www.hse.ru/ma/mlds/ "Искусственный интеллект"].

{| class="wikitable"
|-
! Группа !! Преподаватели
|-
| Базовая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/murr4a Кантонистова Елена]
|-
| Продвинутая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/Einstein_30 Карагодин Никита]
|}

{| class="wikitable"
|-
! colspan="4" | Ассистенты
|-
| [https://t.me/htutb Уваров Николай] || [https://t.me/sodeniZz Матвеев Денис] || [https://t.me/perkyfever Тихонов Даниил]
|-
| [https://t.me/eiky0u Прудников Николай] || [https://t.me/llllllllllIlIIllIllIIIlllIllI Хасенов Ильяс] || [https://t.me/kolx0znik Саргсян Нарек]
|-
| [https://t.me/the_overfeeling Герасимов Борис] || [https://t.me/Oleg_Oleg_Ch Черников Олег] || [https://t.me/brickckirb Семенов Иван]
|}

==Материалы курса ==
Ссылка на плейлист курса на VK: [https://vkvideo.ru/playlist/-227011779_46 VK-playlist]

Ссылка на GitHub с материалами курса: [https://github.com/NickKar30/GM-HSE-AI-masters-course GitHub]

Ссылка на stepik: [https://stepik.org/course/179805/promo#toc Stepik]

===Расписание базовой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Дополнительные материалы
|-

| style="background:#eaecf0;" | '''1''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''2''' || Токенизация, BERT, дообучение трансформерных моделей || [https://m.vkvideo.ru/video-227011779_456239498?from=video&t=1h1m7s Лекция VK] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''4''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''5''' || Нормализующие потоки || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Автокодировщики, вариационные автокодировщики|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''7''' || Генеративно-состязательные сети, StyleGAN|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''8''' || Диффузионные модели || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Мультимодальные модели, CLIP, Stable Diffusion|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

===Расписание продвинутой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Домашние задания
|-

| style="background:#eaecf0;" | '''1''' || Применения генеративных моделей, метод максимального правдоподобия, энтропия и KL-дивергенция, задачи генеративных моделей, AR модели || [https://m.vkvideo.ru/video-227011779_456239487?from=video&t=41m52s Лекция VK] [https://m.vkvideo.ru/video-227011779_456239494?from=video&t=42m58s Семинар VK]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec1_intro.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem1_pixelcnn.ipynb Семинар] || rowspan="5" | [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/homeworks/pro/hw1.ipynb ImageGPT]
|-

| style="background:#eaecf0;" | '''2''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Токенизация, BERT, дообучение трансформерных моделей || [https://m.vkvideo.ru/video-227011779_456239498?from=video&t=1h1m7s Лекция VK] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''4''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''5''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Нормализующие потоки, авторегрессионные и линейные потоки, модели NICE, RealNVP и Glow|| [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239512?linked=1 Лекция] [Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec2_flows.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem2_flow.ipynb Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/homeworks/pro/hw2/hw2.ipynb Glow]
|-
| style="background:#eaecf0;" | '''7''' || Модели скрытых переменных, ЕМ-алгоритм, вывод вариационной нижней оценки (ELBO)|| [Лекция]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec3_lvm.pdf Лекция] ||
|-
| style="background:#eaecf0;" | '''8''' || Амортизированный вариационный вывод, трюк репараметризации, VAE, ELBO Surgery, Learnable Prior|| [Лекция] [Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec4_vae.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem4_vae.ipynb Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Discrete VAE, VQ-VAE, VQ-VAE2, likelihood free-learning, GANs || [Лекция] [Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec5_vqvae_gans.pdf Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''10''' || Проблемы GANs: Mode collapse, Manifold Hypotesis; Wasserstain Distance, WGAN, WGAN-GP, PG-GAN, SAGAN, StyleGAN|| [Лекция] [Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec6_gans.pdf Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''11''' || Energy based models, динамика Ланжевена, score matching: Implicit score matching, sliced score matching, denoising score matching, Noise conditioned score network|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''12''' || Прямой и обратный диффузионные процессы, диффузия как модель VAE || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''13''' || || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

==Формула оценивания ==
Общая оценка: <code>𝟎.𝟔×ДЗ + 𝟎.𝟏×Степик + 𝟎.𝟏×Теормин + 𝟎.𝟐×Экзамен</code>

==Stepik ==
В оценку за Stepik идут только следующие модули:

* [https://stepik.org/lesson/1260768 Модуль 10 Attention]

* [https://stepik.org/lesson/1260773 Модуль 11 Трансформеры: теория]

* [https://stepik.org/lesson/1322959 Модуль 12 Трансформеры: практика]

* [https://stepik.org/lesson/1366006 Модуль 14 Классические генеративные модели]

* [https://stepik.org/lesson/1366010 Модуль 15 Современные генеративные модели]

* [https://stepik.org/lesson/1366014 Модуль 16 Методы оптимизации нейронных сетей]

'''Важно:''' Части степика с домашними заданиями делать не нужно (15.4, например). Но нужно ответить на квизы в других его частях (15.1, например).

== Домашние задания ==

===Инвайты в Anytask===

Base Group: <code>WhnrWvK</code>

Pro Group: <code>iYcTpI5</code>

'''Base / Pro - мягкий дедлайн:'''

1. NLP / ImageGPT - дедлайн 12 октября 23:59

2. GAN&VAE / Glow - дедлайн 6 ноября 23:59

3. Diffusion&Flows / GAN&VAE - 14 ноября 23:59

4. MM AR / Diffusion - 28 ноября 23:59

Жесткий дедлайн по всем заданиям: 1 декабря 2025*

* Для сдачи курса на зачет (4 балла) можно досдавать домашние задания после жесткого дедлайна - до 20 декабря 23:59. Только в случае, если речь идет про зачет/незачет. Выше оценки 4 в случае поздней досдачи получить нельзя.

'''Правила дедлайнов по курсу:'''

- за каждую неделю просрочки после мягкого дедлайна штраф 2 балла

- после трех недель просрочки штраф 6 баллов и он не увеличивается

- после трех недель просрочки и до -1 недели до конца модуля можно сдавать задания с максимальным баллом 4.

== Теормин и Экзамен ==

'''Теормин''' - устный опрос по заранее фиксированному списку вопросов с кратким ответом. Необходимо ответить на 3 вопроса за не более, чем 5 минут.

- Теормин ожидается 1 декабря.

- Балл за теормин: 0 / 5 / 10.

'''Экзамен''' - устный разговор по темам курса, не более 10 минут, ожидаются развернутые ответы в свободной форме.

- На экзамен допускаются только те, кто получил полный балл (10) за теормин.

- Экзамен пройдет в сессию 2го модуля.

Генеративные модели в машинном обучении (ИИ 2025)

2025-10-24T10:49:34Z

Mkgoldshteyn:

==О курсе ==
Курс читается в первом семестре студентам магистерской образовательной программы [https://www.hse.ru/ma/mlds/ "Искусственный интеллект"].

{| class="wikitable"
|-
! Группа !! Преподаватели
|-
| Базовая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/murr4a Кантонистова Елена]
|-
| Продвинутая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/Einstein_30 Карагодин Никита]
|}

{| class="wikitable"
|-
! colspan="4" | Ассистенты
|-
| [https://t.me/htutb Уваров Николай] || [https://t.me/sodeniZz Матвеев Денис] || [https://t.me/perkyfever Тихонов Даниил]
|-
| [https://t.me/eiky0u Прудников Николай] || [https://t.me/llllllllllIlIIllIllIIIlllIllI Хасенов Ильяс] || [https://t.me/kolx0znik Саргсян Нарек]
|-
| [https://t.me/the_overfeeling Герасимов Борис] || [https://t.me/Oleg_Oleg_Ch Черников Олег] || [https://t.me/brickckirb Семенов Иван]
|}

==Материалы курса ==
Ссылка на плейлист курса на VK: [https://vkvideo.ru/playlist/-227011779_46 VK-playlist]

Ссылка на GitHub с материалами курса: [https://github.com/NickKar30/GM-HSE-AI-masters-course GitHub]

Ссылка на stepik: [https://stepik.org/course/179805/promo#toc Stepik]

===Расписание базовой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Дополнительные материалы
|-

| style="background:#eaecf0;" | '''1''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''2''' || Токенизация, BERT, дообучение трансформерных моделей || [https://m.vkvideo.ru/video-227011779_456239498?from=video&t=1h1m7s Лекция VK] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''4''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''5''' || Нормализующие потоки || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Автокодировщики, вариационные автокодировщики|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''7''' || Генеративно-состязательные сети, StyleGAN|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''8''' || Диффузионные модели || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Мультимодальные модели, CLIP, Stable Diffusion|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

===Расписание продвинутой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Домашние задания
|-

| style="background:#eaecf0;" | '''1''' || Применения генеративных моделей, метод максимального правдоподобия, энтропия и KL-дивергенция, задачи генеративных моделей, AR модели || [https://m.vkvideo.ru/video-227011779_456239487?from=video&t=41m52s Лекция VK] [https://m.vkvideo.ru/video-227011779_456239494?from=video&t=42m58s Семинар VK]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec1_intro.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem1_pixelcnn.ipynb Семинар] || rowspan="5" | [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/homeworks/pro/hw1.ipynb ImageGPT]
|-

| style="background:#eaecf0;" | '''2''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Токенизация, BERT, дообучение трансформерных моделей || [https://m.vkvideo.ru/video-227011779_456239498?from=video&t=1h1m7s Лекция VK] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''4''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''5''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Нормализующие потоки, авторегрессионные и линейные потоки, модели NICE, RealNVP и Glow|| [Лекция] [Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec2_flows.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem2_flow.ipynb Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/homeworks/pro/hw2/hw2.ipynb Glow]
|-
| style="background:#eaecf0;" | '''7''' || Модели скрытых переменных, ЕМ-алгоритм, вывод вариационной нижней оценки (ELBO)|| [Лекция]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec3_lvm.pdf Лекция] ||
|-
| style="background:#eaecf0;" | '''8''' || Амортизированный вариационный вывод, трюк репараметризации, VAE, ELBO Surgery, Learnable Prior|| [Лекция] [Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec4_vae.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem4_vae.ipynb Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Discrete VAE, VQ-VAE, VQ-VAE2, likelihood free-learning, GANs || [Лекция] [Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec5_vqvae_gans.pdf Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''10''' || Проблемы GANs: Mode collapse, Manifold Hypotesis; Wasserstain Distance, WGAN, WGAN-GP, PG-GAN, SAGAN, StyleGAN|| [Лекция] [Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec6_gans.pdf Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''11''' || Energy based models, динамика Ланжевена, score matching: Implicit score matching, sliced score matching, denoising score matching, Noise conditioned score network|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''12''' || Прямой и обратный диффузионные процессы, диффузия как модель VAE || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''13''' || || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

==Формула оценивания ==
Общая оценка: <code>𝟎.𝟔×ДЗ + 𝟎.𝟏×Степик + 𝟎.𝟏×Теормин + 𝟎.𝟐×Экзамен</code>

==Stepik ==
В оценку за Stepik идут только следующие модули:

* [https://stepik.org/lesson/1260768 Модуль 10 Attention]

* [https://stepik.org/lesson/1260773 Модуль 11 Трансформеры: теория]

* [https://stepik.org/lesson/1322959 Модуль 12 Трансформеры: практика]

* [https://stepik.org/lesson/1366006 Модуль 14 Классические генеративные модели]

* [https://stepik.org/lesson/1366010 Модуль 15 Современные генеративные модели]

* [https://stepik.org/lesson/1366014 Модуль 16 Методы оптимизации нейронных сетей]

'''Важно:''' Части степика с домашними заданиями делать не нужно (15.4, например). Но нужно ответить на квизы в других его частях (15.1, например).

== Домашние задания ==

===Инвайты в Anytask===

Base Group: <code>WhnrWvK</code>

Pro Group: <code>iYcTpI5</code>

'''Base / Pro - мягкий дедлайн:'''

1. NLP / ImageGPT - дедлайн 12 октября 23:59

2. GAN&VAE / Glow - дедлайн 1 ноября 23:59

3. Diffusion&Flows / GAN&VAE - 14 ноября 23:59

4. MM AR / Diffusion - 23 ноября 23:59

'''Правила дедлайнов по курсу:'''

- за каждую неделю просрочки после мягкого дедлайна штраф 2 балла

- после трех недель просрочки штраф 6 баллов и он не увеличивается

- после трех недель просрочки и до -1 недели до конца модуля можно сдавать задания с максимальным баллом 4.

== Теормин и Экзамен ==

'''Теормин''' - устный опрос по заранее фиксированному списку вопросов с кратким ответом. Необходимо ответить на 3 вопроса за не более, чем 5 минут.

- Теормин ожидается 1 декабря.

- Балл за теормин: 0 / 5 / 10.

'''Экзамен''' - устный разговор по темам курса, не более 10 минут, ожидаются развернутые ответы в свободной форме.

- На экзамен допускаются только те, кто получил полный балл (10) за теормин.

- Экзамен пройдет в сессию 2го модуля.

Генеративные модели в машинном обучении (ИИ 2025)

2025-10-24T10:48:48Z

Mkgoldshteyn:

==О курсе ==
Курс читается в первом семестре студентам магистерской образовательной программы [https://www.hse.ru/ma/mlds/ "Искусственный интеллект"].

{| class="wikitable"
|-
! Группа !! Преподаватели
|-
| Базовая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/murr4a Кантонистова Елена]
|-
| Продвинутая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/Einstein_30 Карагодин Никита]
|}

{| class="wikitable"
|-
! colspan="4" | Ассистенты
|-
| [https://t.me/htutb Уваров Николай] || [https://t.me/sodeniZz Матвеев Денис] || [https://t.me/perkyfever Тихонов Даниил]
|-
| [https://t.me/eiky0u Прудников Николай] || [https://t.me/llllllllllIlIIllIllIIIlllIllI Хасенов Ильяс] || [https://t.me/kolx0znik Саргсян Нарек]
|-
| [https://t.me/the_overfeeling Герасимов Борис] || [https://t.me/Oleg_Oleg_Ch Черников Олег] || [https://t.me/brickckirb Семенов Иван]
|}

==Материалы курса ==
Ссылка на плейлист курса на VK: [https://vkvideo.ru/playlist/-227011779_46 VK-playlist]

Ссылка на GitHub с материалами курса: [https://github.com/NickKar30/GM-HSE-AI-masters-course GitHub]

Ссылка на stepik: [https://stepik.org/course/179805/promo#toc Stepik]

===Расписание базовой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Дополнительные материалы
|-

| style="background:#eaecf0;" | '''1''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''2''' || Токенизация, BERT, дообучение трансформерных моделей || [https://m.vkvideo.ru/video-227011779_456239498?from=video&t=1h1m7s Лекция VK] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''4''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''5''' || Нормализующие потоки || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Автокодировщики, вариационные автокодировщики|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''7''' || Генеративно-состязательные сети, StyleGAN|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''8''' || Диффузионные модели || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Мультимодальные модели, CLIP, Stable Diffusion|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

===Расписание продвинутой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Домашние задания
|-

| style="background:#eaecf0;" | '''1''' || Применения генеративных моделей, метод максимального правдоподобия, энтропия и KL-дивергенция, задачи генеративных моделей, AR модели || [https://m.vkvideo.ru/video-227011779_456239487?from=video&t=41m52s Лекция VK] [https://m.vkvideo.ru/video-227011779_456239494?from=video&t=42m58s Семинар VK]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec1_intro.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem1_pixelcnn.ipynb Семинар] || rowspan="5" | [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/homeworks/pro/hw1.ipynb ImageGPT]
|-

| style="background:#eaecf0;" | '''2''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Токенизация, BERT, дообучение трансформерных моделей || [https://m.vkvideo.ru/video-227011779_456239498?from=video&t=1h1m7s Лекция VK] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''4''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''5''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Нормализующие потоки, авторегрессионные и линейные потоки, модели NICE, RealNVP и Glow|| [Лекция] [Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec2_flows.pdf Лекция] [Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/homeworks/pro/hw2/hw2.ipynb Glow]
|-
| style="background:#eaecf0;" | '''7''' || Модели скрытых переменных, ЕМ-алгоритм, вывод вариационной нижней оценки (ELBO)|| [Лекция]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec3_lvm.pdf Лекция] ||
|-
| style="background:#eaecf0;" | '''8''' || Амортизированный вариационный вывод, трюк репараметризации, VAE, ELBO Surgery, Learnable Prior|| [Лекция] [Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec4_vae.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem4_vae.ipynb Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Discrete VAE, VQ-VAE, VQ-VAE2, likelihood free-learning, GANs || [Лекция] [Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec5_vqvae_gans.pdf Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''10''' || Проблемы GANs: Mode collapse, Manifold Hypotesis; Wasserstain Distance, WGAN, WGAN-GP, PG-GAN, SAGAN, StyleGAN|| [Лекция] [Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec6_gans.pdf Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''11''' || Energy based models, динамика Ланжевена, score matching: Implicit score matching, sliced score matching, denoising score matching, Noise conditioned score network|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''12''' || Прямой и обратный диффузионные процессы, диффузия как модель VAE || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''13''' || || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

==Формула оценивания ==
Общая оценка: <code>𝟎.𝟔×ДЗ + 𝟎.𝟏×Степик + 𝟎.𝟏×Теормин + 𝟎.𝟐×Экзамен</code>

==Stepik ==
В оценку за Stepik идут только следующие модули:

* [https://stepik.org/lesson/1260768 Модуль 10 Attention]

* [https://stepik.org/lesson/1260773 Модуль 11 Трансформеры: теория]

* [https://stepik.org/lesson/1322959 Модуль 12 Трансформеры: практика]

* [https://stepik.org/lesson/1366006 Модуль 14 Классические генеративные модели]

* [https://stepik.org/lesson/1366010 Модуль 15 Современные генеративные модели]

* [https://stepik.org/lesson/1366014 Модуль 16 Методы оптимизации нейронных сетей]

'''Важно:''' Части степика с домашними заданиями делать не нужно (15.4, например). Но нужно ответить на квизы в других его частях (15.1, например).

== Домашние задания ==

===Инвайты в Anytask===

Base Group: <code>WhnrWvK</code>

Pro Group: <code>iYcTpI5</code>

'''Base / Pro - мягкий дедлайн:'''

1. NLP / ImageGPT - дедлайн 12 октября 23:59

2. GAN&VAE / Glow - дедлайн 1 ноября 23:59

3. Diffusion&Flows / GAN&VAE - 14 ноября 23:59

4. MM AR / Diffusion - 23 ноября 23:59

'''Правила дедлайнов по курсу:'''

- за каждую неделю просрочки после мягкого дедлайна штраф 2 балла

- после трех недель просрочки штраф 6 баллов и он не увеличивается

- после трех недель просрочки и до -1 недели до конца модуля можно сдавать задания с максимальным баллом 4.

== Теормин и Экзамен ==

'''Теормин''' - устный опрос по заранее фиксированному списку вопросов с кратким ответом. Необходимо ответить на 3 вопроса за не более, чем 5 минут.

- Теормин ожидается 1 декабря.

- Балл за теормин: 0 / 5 / 10.

'''Экзамен''' - устный разговор по темам курса, не более 10 минут, ожидаются развернутые ответы в свободной форме.

- На экзамен допускаются только те, кто получил полный балл (10) за теормин.

- Экзамен пройдет в сессию 2го модуля.

Генеративные модели в машинном обучении (ИИ 2025)

2025-10-24T10:47:41Z

Mkgoldshteyn:

==О курсе ==
Курс читается в первом семестре студентам магистерской образовательной программы [https://www.hse.ru/ma/mlds/ "Искусственный интеллект"].

{| class="wikitable"
|-
! Группа !! Преподаватели
|-
| Базовая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/murr4a Кантонистова Елена]
|-
| Продвинутая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/Einstein_30 Карагодин Никита]
|}

{| class="wikitable"
|-
! colspan="4" | Ассистенты
|-
| [https://t.me/htutb Уваров Николай] || [https://t.me/sodeniZz Матвеев Денис] || [https://t.me/perkyfever Тихонов Даниил]
|-
| [https://t.me/eiky0u Прудников Николай] || [https://t.me/llllllllllIlIIllIllIIIlllIllI Хасенов Ильяс] || [https://t.me/kolx0znik Саргсян Нарек]
|-
| [https://t.me/the_overfeeling Герасимов Борис] || [https://t.me/Oleg_Oleg_Ch Черников Олег] || [https://t.me/brickckirb Семенов Иван]
|}

==Материалы курса ==
Ссылка на плейлист курса на VK: [https://vkvideo.ru/playlist/-227011779_46 VK-playlist]

Ссылка на GitHub с материалами курса: [https://github.com/NickKar30/GM-HSE-AI-masters-course GitHub]

Ссылка на stepik: [https://stepik.org/course/179805/promo#toc Stepik]

===Расписание базовой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Дополнительные материалы
|-

| style="background:#eaecf0;" | '''1''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''2''' || Токенизация, BERT, дообучение трансформерных моделей || [https://m.vkvideo.ru/video-227011779_456239498?from=video&t=1h1m7s Лекция VK] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''4''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''5''' || Нормализующие потоки || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Автокодировщики, вариационные автокодировщики|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''7''' || Генеративно-состязательные сети, StyleGAN|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''8''' || Диффузионные модели || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Мультимодальные модели, CLIP, Stable Diffusion|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

===Расписание продвинутой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Домашние задания
|-

| style="background:#eaecf0;" | '''1''' || Применения генеративных моделей, метод максимального правдоподобия, энтропия и KL-дивергенция, задачи генеративных моделей, AR модели || [https://m.vkvideo.ru/video-227011779_456239487?from=video&t=41m52s Лекция VK] [https://m.vkvideo.ru/video-227011779_456239494?from=video&t=42m58s Семинар VK]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec1_intro.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem1_pixelcnn.ipynb Семинар] || rowspan="5" | [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/homeworks/pro/hw1.ipynb ImageGPT]
|-

| style="background:#eaecf0;" | '''2''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Токенизация, BERT, дообучение трансформерных моделей || [https://m.vkvideo.ru/video-227011779_456239498?from=video&t=1h1m7s Лекция VK] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''4''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''5''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Нормализующие потоки, авторегрессионные и линейные потоки, модели NICE, RealNVP и Glow|| [Лекция] [Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec2_flows.pdf Лекция] [Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/homeworks/pro/hw2/hw2.ipynb Glow]
|-
| style="background:#eaecf0;" | '''7''' || Модели скрытых переменных, ЕМ-алгоритм, вывод вариационной нижней оценки (ELBO)|| [Лекция]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec3_lvm.pdf Лекция] ||
|-
| style="background:#eaecf0;" | '''8''' || Амортизированный вариационный вывод, трюк репараметризации, VAE, ELBO Surgery, Learnable Prior|| [Лекция] [Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec4_vae.pdf Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Discrete VAE, VQ-VAE, VQ-VAE2, likelihood free-learning, GANs || [Лекция] [Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec5_vqvae_gans.pdf Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''10''' || Проблемы GANs: Mode collapse, Manifold Hypotesis; Wasserstain Distance, WGAN, WGAN-GP, PG-GAN, SAGAN, StyleGAN|| [Лекция] [Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec6_gans.pdf Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''11''' || Energy based models, динамика Ланжевена, score matching: Implicit score matching, sliced score matching, denoising score matching, Noise conditioned score network|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''12''' || Прямой и обратный диффузионные процессы, диффузия как модель VAE || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''13''' || || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

==Формула оценивания ==
Общая оценка: <code>𝟎.𝟔×ДЗ + 𝟎.𝟏×Степик + 𝟎.𝟏×Теормин + 𝟎.𝟐×Экзамен</code>

==Stepik ==
В оценку за Stepik идут только следующие модули:

* [https://stepik.org/lesson/1260768 Модуль 10 Attention]

* [https://stepik.org/lesson/1260773 Модуль 11 Трансформеры: теория]

* [https://stepik.org/lesson/1322959 Модуль 12 Трансформеры: практика]

* [https://stepik.org/lesson/1366006 Модуль 14 Классические генеративные модели]

* [https://stepik.org/lesson/1366010 Модуль 15 Современные генеративные модели]

* [https://stepik.org/lesson/1366014 Модуль 16 Методы оптимизации нейронных сетей]

'''Важно:''' Части степика с домашними заданиями делать не нужно (15.4, например). Но нужно ответить на квизы в других его частях (15.1, например).

== Домашние задания ==

===Инвайты в Anytask===

Base Group: <code>WhnrWvK</code>

Pro Group: <code>iYcTpI5</code>

'''Base / Pro - мягкий дедлайн:'''

1. NLP / ImageGPT - дедлайн 12 октября 23:59

2. GAN&VAE / Glow - дедлайн 1 ноября 23:59

3. Diffusion&Flows / GAN&VAE - 14 ноября 23:59

4. MM AR / Diffusion - 23 ноября 23:59

'''Правила дедлайнов по курсу:'''

- за каждую неделю просрочки после мягкого дедлайна штраф 2 балла

- после трех недель просрочки штраф 6 баллов и он не увеличивается

- после трех недель просрочки и до -1 недели до конца модуля можно сдавать задания с максимальным баллом 4.

== Теормин и Экзамен ==

'''Теормин''' - устный опрос по заранее фиксированному списку вопросов с кратким ответом. Необходимо ответить на 3 вопроса за не более, чем 5 минут.

- Теормин ожидается 1 декабря.

- Балл за теормин: 0 / 5 / 10.

'''Экзамен''' - устный разговор по темам курса, не более 10 минут, ожидаются развернутые ответы в свободной форме.

- На экзамен допускаются только те, кто получил полный балл (10) за теормин.

- Экзамен пройдет в сессию 2го модуля.

Генеративные модели в машинном обучении (ИИ 2025)

2025-10-24T10:46:40Z

Mkgoldshteyn:

==О курсе ==
Курс читается в первом семестре студентам магистерской образовательной программы [https://www.hse.ru/ma/mlds/ "Искусственный интеллект"].

{| class="wikitable"
|-
! Группа !! Преподаватели
|-
| Базовая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/murr4a Кантонистова Елена]
|-
| Продвинутая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/Einstein_30 Карагодин Никита]
|}

{| class="wikitable"
|-
! colspan="4" | Ассистенты
|-
| [https://t.me/htutb Уваров Николай] || [https://t.me/sodeniZz Матвеев Денис] || [https://t.me/perkyfever Тихонов Даниил]
|-
| [https://t.me/eiky0u Прудников Николай] || [https://t.me/llllllllllIlIIllIllIIIlllIllI Хасенов Ильяс] || [https://t.me/kolx0znik Саргсян Нарек]
|-
| [https://t.me/the_overfeeling Герасимов Борис] || [https://t.me/Oleg_Oleg_Ch Черников Олег] || [https://t.me/brickckirb Семенов Иван]
|}

==Материалы курса ==
Ссылка на плейлист курса на VK: [https://vkvideo.ru/playlist/-227011779_46 VK-playlist]

Ссылка на GitHub с материалами курса: [https://github.com/NickKar30/GM-HSE-AI-masters-course GitHub]

Ссылка на stepik: [https://stepik.org/course/179805/promo#toc Stepik]

===Расписание базовой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Дополнительные материалы
|-

| style="background:#eaecf0;" | '''1''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''2''' || Токенизация, BERT, дообучение трансформерных моделей || [https://m.vkvideo.ru/video-227011779_456239498?from=video&t=1h1m7s Лекция VK] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''4''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''5''' || Нормализующие потоки || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Автокодировщики, вариационные автокодировщики|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''7''' || Генеративно-состязательные сети, StyleGAN|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''8''' || Диффузионные модели || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Мультимодальные модели, CLIP, Stable Diffusion|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

===Расписание продвинутой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Домашние задания
|-

| style="background:#eaecf0;" | '''1''' || Применения генеративных моделей, метод максимального правдоподобия, энтропия и KL-дивергенция, задачи генеративных моделей, AR модели || [https://m.vkvideo.ru/video-227011779_456239487?from=video&t=41m52s Лекция VK] [https://m.vkvideo.ru/video-227011779_456239494?from=video&t=42m58s Семинар VK]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec1_intro.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem1_pixelcnn.ipynb Семинар] || rowspan="5" | [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/homeworks/pro/hw1.ipynb ImageGPT]
|-

| style="background:#eaecf0;" | '''2''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Токенизация, BERT, дообучение трансформерных моделей || [https://m.vkvideo.ru/video-227011779_456239498?from=video&t=1h1m7s Лекция VK] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''4''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''5''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Нормализующие потоки, авторегрессионные и линейные потоки, модели NICE, RealNVP и Glow|| [Лекция] [Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec2_flows.pdf Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''7''' || Модели скрытых переменных, ЕМ-алгоритм, вывод вариационной нижней оценки (ELBO)|| [Лекция]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec3_lvm.pdf Лекция] ||
|-
| style="background:#eaecf0;" | '''8''' || Амортизированный вариационный вывод, трюк репараметризации, VAE, ELBO Surgery, Learnable Prior|| [Лекция] [Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec4_vae.pdf Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Discrete VAE, VQ-VAE, VQ-VAE2, likelihood free-learning, GANs || [Лекция] [Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec5_vqvae_gans.pdf Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''10''' || Проблемы GANs: Mode collapse, Manifold Hypotesis; Wasserstain Distance, WGAN, WGAN-GP, PG-GAN, SAGAN, StyleGAN|| [Лекция] [Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec6_gans.pdf Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''11''' || Energy based models, динамика Ланжевена, score matching: Implicit score matching, sliced score matching, denoising score matching, Noise conditioned score network|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''12''' || Прямой и обратный диффузионные процессы, диффузия как модель VAE || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''13''' || || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

==Формула оценивания ==
Общая оценка: <code>𝟎.𝟔×ДЗ + 𝟎.𝟏×Степик + 𝟎.𝟏×Теормин + 𝟎.𝟐×Экзамен</code>

==Stepik ==
В оценку за Stepik идут только следующие модули:

* [https://stepik.org/lesson/1260768 Модуль 10 Attention]

* [https://stepik.org/lesson/1260773 Модуль 11 Трансформеры: теория]

* [https://stepik.org/lesson/1322959 Модуль 12 Трансформеры: практика]

* [https://stepik.org/lesson/1366006 Модуль 14 Классические генеративные модели]

* [https://stepik.org/lesson/1366010 Модуль 15 Современные генеративные модели]

* [https://stepik.org/lesson/1366014 Модуль 16 Методы оптимизации нейронных сетей]

'''Важно:''' Части степика с домашними заданиями делать не нужно (15.4, например). Но нужно ответить на квизы в других его частях (15.1, например).

== Домашние задания ==

===Инвайты в Anytask===

Base Group: <code>WhnrWvK</code>

Pro Group: <code>iYcTpI5</code>

'''Base / Pro - мягкий дедлайн:'''

1. NLP / ImageGPT - дедлайн 12 октября 23:59

2. GAN&VAE / Glow - дедлайн 1 ноября 23:59

3. Diffusion&Flows / GAN&VAE - 14 ноября 23:59

4. MM AR / Diffusion - 23 ноября 23:59

'''Правила дедлайнов по курсу:'''

- за каждую неделю просрочки после мягкого дедлайна штраф 2 балла

- после трех недель просрочки штраф 6 баллов и он не увеличивается

- после трех недель просрочки и до -1 недели до конца модуля можно сдавать задания с максимальным баллом 4.

== Теормин и Экзамен ==

'''Теормин''' - устный опрос по заранее фиксированному списку вопросов с кратким ответом. Необходимо ответить на 3 вопроса за не более, чем 5 минут.

- Теормин ожидается 1 декабря.

- Балл за теормин: 0 / 5 / 10.

'''Экзамен''' - устный разговор по темам курса, не более 10 минут, ожидаются развернутые ответы в свободной форме.

- На экзамен допускаются только те, кто получил полный балл (10) за теормин.

- Экзамен пройдет в сессию 2го модуля.

Генеративные модели в машинном обучении (ИИ 2025)

2025-09-21T10:25:34Z

Mkgoldshteyn:

==О курсе ==
Курс читается в первом семестре студентам магистерской образовательной программы [https://www.hse.ru/ma/mlds/ "Искусственный интеллект"].

{| class="wikitable"
|-
! Группа !! Преподаватели
|-
| Базовая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/murr4a Кантонистова Елена]
|-
| Продвинутая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/Einstein_30 Карагодин Никита]
|}

{| class="wikitable"
|-
! colspan="4" | Ассистенты
|-
| [https://t.me/htutb Уваров Николай] || [https://t.me/sodeniZz Матвеев Денис] || [https://t.me/perkyfever Тихонов Даниил]
|-
| [https://t.me/eiky0u Прудников Николай] || [https://t.me/llllllllllIlIIllIllIIIlllIllI Хасенов Ильяс] || [https://t.me/kolx0znik Саргсян Нарек]
|-
| [https://t.me/the_overfeeling Герасимов Борис] || [https://t.me/Oleg_Oleg_Ch Черников Олег] || [https://t.me/brickckirb Семенов Иван]
|}

==Материалы курса ==
Ссылка на плейлист курса на VK: [https://vkvideo.ru/playlist/-227011779_46 VK-playlist]

Ссылка на GitHub с материалами курса: [https://github.com/NickKar30/GM-HSE-AI-masters-course GitHub]

Ссылка на stepik: [https://stepik.org/course/179805/promo#toc Stepik]

===Расписание базовой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Дополнительные материалы
|-

| style="background:#eaecf0;" | '''1''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''2''' || Токенизация, BERT, дообучение трансформерных моделей || [https://m.vkvideo.ru/video-227011779_456239498?from=video&t=1h1m7s Лекция VK] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''4''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''5''' || Нормализующие потоки || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Автокодировщики, вариационные автокодировщики|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''7''' || Генеративно-состязательные сети, StyleGAN|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''8''' || Диффузионные модели || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Мультимодальные модели, CLIP, Stable Diffusion|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

===Расписание продвинутой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Домашние задания
|-

| style="background:#eaecf0;" | '''1''' || Применения генеративных моделей, метод максимального правдоподобия, энтропия и KL-дивергенция, задачи генеративных моделей, AR модели || [https://m.vkvideo.ru/video-227011779_456239487?from=video&t=41m52s Лекция VK] [https://m.vkvideo.ru/video-227011779_456239494?from=video&t=42m58s Семинар VK]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec1_intro.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem1_pixelcnn.ipynb Семинар] || rowspan="5" | [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/homeworks/pro/hw1.ipynb ImageGPT]
|-

| style="background:#eaecf0;" | '''2''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Токенизация, BERT, дообучение трансформерных моделей || [https://m.vkvideo.ru/video-227011779_456239498?from=video&t=1h1m7s Лекция VK] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''4''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''5''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Нормализующие потоки, авторегрессионные и линейные потоки, модели NICE, RealNVP и Glow|| [Лекция] [Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec2_flows.pdf Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''7''' || Модели скрытых переменных, ЕМ-алгоритм, вывод вариационной нижней оценки (ELBO)|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''8''' || Амортизированный вариационный вывод, трюк репараметризации, VAE|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Prior в VAE, VQ-VAE, VQ-VAE2, связь VAE и Flow || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''10''' || Генеративно-состязательные сети|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''11''' || Energy based models, динамика Ланжевена, score matching: Implicit score matching, sliced score matching, denoising score matching, Noise conditioned score network|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''12''' || Прямой и обратный диффузионные процессы, диффузия как модель VAE || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''13''' || || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

==Формула оценивания ==
Общая оценка: <code>𝟎.𝟔×ДЗ + 𝟎.𝟏×Степик + 𝟎.𝟏×Теормин + 𝟎.𝟐×Экзамен</code>

==Stepik ==
В оценку за Stepik идут только следующие модули:

* [https://stepik.org/lesson/1260768 Модуль 10 Attention]

* [https://stepik.org/lesson/1260773 Модуль 11 Трансформеры: теория]

* [https://stepik.org/lesson/1322959 Модуль 12 Трансформеры: практика]

* [https://stepik.org/lesson/1366006 Модуль 14 Классические генеративные модели]

* [https://stepik.org/lesson/1366010 Модуль 15 Современные генеративные модели]

* [https://stepik.org/lesson/1366014 Модуль 16 Методы оптимизации нейронных сетей]

'''Важно:''' Части степика с домашними заданиями делать не нужно (15.4, например). Но нужно ответить на квизы в других его частях (15.1, например).

== Домашние задания ==

===Инвайты в Anytask===

Base Group: <code>WhnrWvK</code>

Pro Group: <code>iYcTpI5</code>

'''Base / Pro - мягкий дедлайн:'''

1. NLP / ImageGPT - дедлайн 12 октября 23:59

2. GAN&VAE / Glow - дедлайн 1 ноября 23:59

3. Diffusion&Flows / GAN&VAE - 14 ноября 23:59

4. MM AR / Diffusion - 23 ноября 23:59

'''Правила дедлайнов по курсу:'''

- за каждую неделю просрочки после мягкого дедлайна штраф 2 балла

- после трех недель просрочки штраф 6 баллов и он не увеличивается

- после трех недель просрочки и до -1 недели до конца модуля можно сдавать задания с максимальным баллом 4.

== Теормин и Экзамен ==

'''Теормин''' - устный опрос по заранее фиксированному списку вопросов с кратким ответом. Необходимо ответить на 3 вопроса за не более, чем 5 минут.

- Теормин ожидается 1 декабря.

- Балл за теормин: 0 / 5 / 10.

'''Экзамен''' - устный разговор по темам курса, не более 10 минут, ожидаются развернутые ответы в свободной форме.

- На экзамен допускаются только те, кто получил полный балл (10) за теормин.

- Экзамен пройдет в сессию 2го модуля.

Генеративные модели в машинном обучении (ИИ 2025)

2025-09-21T10:24:30Z

Mkgoldshteyn:

==О курсе ==
Курс читается в первом семестре студентам магистерской образовательной программы [https://www.hse.ru/ma/mlds/ "Искусственный интеллект"].

{| class="wikitable"
|-
! Группа !! Преподаватели
|-
| Базовая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/murr4a Кантонистова Елена]
|-
| Продвинутая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/Einstein_30 Карагодин Никита]
|}

{| class="wikitable"
|-
! colspan="4" | Ассистенты
|-
| [https://t.me/htutb Уваров Николай] || [https://t.me/sodeniZz Матвеев Денис] || [https://t.me/perkyfever Тихонов Даниил]
|-
| [https://t.me/eiky0u Прудников Николай] || [https://t.me/llllllllllIlIIllIllIIIlllIllI Хасенов Ильяс] || [https://t.me/kolx0znik Саргсян Нарек]
|-
| [https://t.me/the_overfeeling Герасимов Борис] || [https://t.me/Oleg_Oleg_Ch Черников Олег] || [https://t.me/brickckirb Семенов Иван]
|}

==Материалы курса ==
Ссылка на плейлист курса на VK: [https://vkvideo.ru/playlist/-227011779_46 VK-playlist]

Ссылка на GitHub с материалами курса: [https://github.com/NickKar30/GM-HSE-AI-masters-course GitHub]

Ссылка на stepik: [https://stepik.org/course/179805/promo#toc Stepik]

===Расписание базовой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Дополнительные материалы
|-

| style="background:#eaecf0;" | '''1''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''2''' || Токенизация, BERT, дообучение трансформерных моделей || [https://m.vkvideo.ru/video-227011779_456239498?from=video&t=1h1m7s Лекция VK] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''4''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''5''' || Нормализующие потоки || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Автокодировщики, вариационные автокодировщики|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''7''' || Генеративно-состязательные сети, StyleGAN|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''8''' || Диффузионные модели || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Мультимодальные модели, CLIP, Stable Diffusion|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

===Расписание продвинутой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Домашние задания
|-

| style="background:#eaecf0;" | '''1''' || Применения генеративных моделей, метод максимального правдоподобия, энтропия и KL-дивергенция, задачи генеративных моделей, AR модели || [https://m.vkvideo.ru/video-227011779_456239487?from=video&t=41m52s Лекция VK] [https://m.vkvideo.ru/video-227011779_456239494?from=video&t=42m58s Семинар VK]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec1_intro.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem1_pixelcnn.ipynb Семинар] || || rowspan="5" | [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/homeworks/pro/hw1.ipynb ImageGPT]
|-

| style="background:#eaecf0;" | '''2''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Токенизация, BERT, дообучение трансформерных моделей || [https://m.vkvideo.ru/video-227011779_456239498?from=video&t=1h1m7s Лекция VK] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''4''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''5''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Нормализующие потоки, авторегрессионные и линейные потоки, модели NICE, RealNVP и Glow|| [Лекция] [Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec2_flows.pdf Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''7''' || Модели скрытых переменных, ЕМ-алгоритм, вывод вариационной нижней оценки (ELBO)|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''8''' || Амортизированный вариационный вывод, трюк репараметризации, VAE|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Prior в VAE, VQ-VAE, VQ-VAE2, связь VAE и Flow || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''10''' || Генеративно-состязательные сети|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''11''' || Energy based models, динамика Ланжевена, score matching: Implicit score matching, sliced score matching, denoising score matching, Noise conditioned score network|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''12''' || Прямой и обратный диффузионные процессы, диффузия как модель VAE || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''13''' || || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

==Формула оценивания ==
Общая оценка: <code>𝟎.𝟔×ДЗ + 𝟎.𝟏×Степик + 𝟎.𝟏×Теормин + 𝟎.𝟐×Экзамен</code>

==Stepik ==
В оценку за Stepik идут только следующие модули:

* [https://stepik.org/lesson/1260768 Модуль 10 Attention]

* [https://stepik.org/lesson/1260773 Модуль 11 Трансформеры: теория]

* [https://stepik.org/lesson/1322959 Модуль 12 Трансформеры: практика]

* [https://stepik.org/lesson/1366006 Модуль 14 Классические генеративные модели]

* [https://stepik.org/lesson/1366010 Модуль 15 Современные генеративные модели]

* [https://stepik.org/lesson/1366014 Модуль 16 Методы оптимизации нейронных сетей]

'''Важно:''' Части степика с домашними заданиями делать не нужно (15.4, например). Но нужно ответить на квизы в других его частях (15.1, например).

== Домашние задания ==

===Инвайты в Anytask===

Base Group: <code>WhnrWvK</code>

Pro Group: <code>iYcTpI5</code>

'''Base / Pro - мягкий дедлайн:'''

1. NLP / ImageGPT - дедлайн 12 октября 23:59

2. GAN&VAE / Glow - дедлайн 1 ноября 23:59

3. Diffusion&Flows / GAN&VAE - 14 ноября 23:59

4. MM AR / Diffusion - 23 ноября 23:59

'''Правила дедлайнов по курсу:'''

- за каждую неделю просрочки после мягкого дедлайна штраф 2 балла

- после трех недель просрочки штраф 6 баллов и он не увеличивается

- после трех недель просрочки и до -1 недели до конца модуля можно сдавать задания с максимальным баллом 4.

== Теормин и Экзамен ==

'''Теормин''' - устный опрос по заранее фиксированному списку вопросов с кратким ответом. Необходимо ответить на 3 вопроса за не более, чем 5 минут.

- Теормин ожидается 1 декабря.

- Балл за теормин: 0 / 5 / 10.

'''Экзамен''' - устный разговор по темам курса, не более 10 минут, ожидаются развернутые ответы в свободной форме.

- На экзамен допускаются только те, кто получил полный балл (10) за теормин.

- Экзамен пройдет в сессию 2го модуля.

Генеративные модели в машинном обучении (ИИ 2025)

2025-09-21T10:21:09Z

Mkgoldshteyn:

==О курсе ==
Курс читается в первом семестре студентам магистерской образовательной программы [https://www.hse.ru/ma/mlds/ "Искусственный интеллект"].

{| class="wikitable"
|-
! Группа !! Преподаватели
|-
| Базовая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/murr4a Кантонистова Елена]
|-
| Продвинутая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/Einstein_30 Карагодин Никита]
|}

{| class="wikitable"
|-
! colspan="4" | Ассистенты
|-
| [https://t.me/htutb Уваров Николай] || [https://t.me/sodeniZz Матвеев Денис] || [https://t.me/perkyfever Тихонов Даниил]
|-
| [https://t.me/eiky0u Прудников Николай] || [https://t.me/llllllllllIlIIllIllIIIlllIllI Хасенов Ильяс] || [https://t.me/kolx0znik Саргсян Нарек]
|-
| [https://t.me/the_overfeeling Герасимов Борис] || [https://t.me/Oleg_Oleg_Ch Черников Олег] || [https://t.me/brickckirb Семенов Иван]
|}

==Материалы курса ==
Ссылка на плейлист курса на VK: [https://vkvideo.ru/playlist/-227011779_46 VK-playlist]

Ссылка на GitHub с материалами курса: [https://github.com/NickKar30/GM-HSE-AI-masters-course GitHub]

Ссылка на stepik: [https://stepik.org/course/179805/promo#toc Stepik]

===Расписание базовой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Дополнительные материалы
|-

| style="background:#eaecf0;" | '''1''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''2''' || Токенизация, BERT, дообучение трансформерных моделей || [https://m.vkvideo.ru/video-227011779_456239498?from=video&t=1h1m7s Лекция VK] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''4''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''5''' || Нормализующие потоки || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Автокодировщики, вариационные автокодировщики|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''7''' || Генеративно-состязательные сети, StyleGAN|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''8''' || Диффузионные модели || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Мультимодальные модели, CLIP, Stable Diffusion|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

===Расписание продвинутой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Домашние задания
|-

| style="background:#eaecf0;" | '''1''' || Применения генеративных моделей, метод максимального правдоподобия, энтропия и KL-дивергенция, задачи генеративных моделей, AR модели || [https://m.vkvideo.ru/video-227011779_456239487?from=video&t=41m52s Лекция VK] [https://m.vkvideo.ru/video-227011779_456239494?from=video&t=42m58s Семинар VK]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec1_intro.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem1_pixelcnn.ipynb Семинар] ||
|-

| style="background:#eaecf0;" | '''2''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Токенизация, BERT, дообучение трансформерных моделей || [https://m.vkvideo.ru/video-227011779_456239498?from=video&t=1h1m7s Лекция VK] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''4''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''5''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Нормализующие потоки, авторегрессионные и линейные потоки, модели NICE, RealNVP и Glow|| [Лекция] [Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec2_flows.pdf Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''7''' || Модели скрытых переменных, ЕМ-алгоритм, вывод вариационной нижней оценки (ELBO)|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''8''' || Амортизированный вариационный вывод, трюк репараметризации, VAE|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Prior в VAE, VQ-VAE, VQ-VAE2, связь VAE и Flow || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''10''' || Генеративно-состязательные сети|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''11''' || Energy based models, динамика Ланжевена, score matching: Implicit score matching, sliced score matching, denoising score matching, Noise conditioned score network|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''12''' || Прямой и обратный диффузионные процессы, диффузия как модель VAE || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''13''' || || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

==Формула оценивания ==
Общая оценка: <code>𝟎.𝟔×ДЗ + 𝟎.𝟏×Степик + 𝟎.𝟏×Теормин + 𝟎.𝟐×Экзамен</code>

==Stepik ==
В оценку за Stepik идут только следующие модули:

* [https://stepik.org/lesson/1260768 Модуль 10 Attention]

* [https://stepik.org/lesson/1260773 Модуль 11 Трансформеры: теория]

* [https://stepik.org/lesson/1322959 Модуль 12 Трансформеры: практика]

* [https://stepik.org/lesson/1366006 Модуль 14 Классические генеративные модели]

* [https://stepik.org/lesson/1366010 Модуль 15 Современные генеративные модели]

* [https://stepik.org/lesson/1366014 Модуль 16 Методы оптимизации нейронных сетей]

'''Важно:''' Части степика с домашними заданиями делать не нужно (15.4, например). Но нужно ответить на квизы в других его частях (15.1, например).

== Домашние задания ==

===Инвайты в Anytask===

Base Group: <code>WhnrWvK</code>

Pro Group: <code>iYcTpI5</code>

'''Base / Pro - мягкий дедлайн:'''

1. NLP / ImageGPT - дедлайн 12 октября 23:59

2. GAN&VAE / Glow - дедлайн 1 ноября 23:59

3. Diffusion&Flows / GAN&VAE - 14 ноября 23:59

4. MM AR / Diffusion - 23 ноября 23:59

'''Правила дедлайнов по курсу:'''

- за каждую неделю просрочки после мягкого дедлайна штраф 2 балла

- после трех недель просрочки штраф 6 баллов и он не увеличивается

- после трех недель просрочки и до -1 недели до конца модуля можно сдавать задания с максимальным баллом 4.

== Теормин и Экзамен ==

'''Теормин''' - устный опрос по заранее фиксированному списку вопросов с кратким ответом. Необходимо ответить на 3 вопроса за не более, чем 5 минут.

- Теормин ожидается 1 декабря.

- Балл за теормин: 0 / 5 / 10.

'''Экзамен''' - устный разговор по темам курса, не более 10 минут, ожидаются развернутые ответы в свободной форме.

- На экзамен допускаются только те, кто получил полный балл (10) за теормин.

- Экзамен пройдет в сессию 2го модуля.

Генеративные модели в машинном обучении (ИИ 2025)

2025-09-21T10:20:55Z

Mkgoldshteyn:

==О курсе ==
Курс читается в первом семестре студентам магистерской образовательной программы [https://www.hse.ru/ma/mlds/ "Искусственный интеллект"].

{| class="wikitable"
|-
! Группа !! Преподаватели
|-
| Базовая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/murr4a Кантонистова Елена]
|-
| Продвинутая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/Einstein_30 Карагодин Никита]
|}

{| class="wikitable"
|-
! colspan="4" | Ассистенты
|-
| [https://t.me/htutb Уваров Николай] || [https://t.me/sodeniZz Матвеев Денис] || [https://t.me/perkyfever Тихонов Даниил]
|-
| [https://t.me/eiky0u Прудников Николай] || [https://t.me/llllllllllIlIIllIllIIIlllIllI Хасенов Ильяс] || [https://t.me/kolx0znik Саргсян Нарек]
|-
| [https://t.me/the_overfeeling Герасимов Борис] || [https://t.me/Oleg_Oleg_Ch Черников Олег] || [https://t.me/brickckirb Семенов Иван]
|}

==Материалы курса ==
Ссылка на плейлист курса на VK: [https://vkvideo.ru/playlist/-227011779_46 VK-playlist]

Ссылка на GitHub с материалами курса: [https://github.com/NickKar30/GM-HSE-AI-masters-course GitHub]

Ссылка на stepik: [https://stepik.org/course/179805/promo#toc Stepik]

===Расписание базовой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Дополнительные материалы
|-

| style="background:#eaecf0;" | '''1''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''2''' || Токенизация, BERT, дообучение трансформерных моделей || [https://m.vkvideo.ru/video-227011779_456239498?from=video&t=1h1m7s Лекция VK] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''4''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''5''' || Нормализующие потоки || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Автокодировщики, вариационные автокодировщики|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''7''' || Генеративно-состязательные сети, StyleGAN|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''8''' || Диффузионные модели || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Мультимодальные модели, CLIP, Stable Diffusion|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

===Расписание продвинутой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Домашние задания
|-

| style="background:#eaecf0;" | '''1''' || Применения генеративных моделей, метод максимального правдоподобия, энтропия и KL-дивергенция, задачи генеративных моделей, AR модели || [https://m.vkvideo.ru/video-227011779_456239487?from=video&t=41m52s Лекция VK] [https://m.vkvideo.ru/video-227011779_456239494?from=video&t=42m58s Семинар VK]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec1_intro.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem1_pixelcnn.ipynb Семинар] ||
|-

| style="background:#eaecf0;" | '''2''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Токенизация, BERT, дообучение трансформерных моделей || [https://m.vkvideo.ru/video-227011779_456239498?from=video&t=1h1m7s Лекция VK] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''4''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''5''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Нормализующие потоки, авторегрессионные и линейные потоки, модели NICE, RealNVP и Glow|| [Лекция] [Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec2_flows.pdf Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''7''' || Модели скрытых переменных, ЕМ-алгоритм, вывод вариационной нижней оценки (ELBO)|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''8''' || Амортизированный вариационный вывод, трюк репараметризации, VAE|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Prior в VAE, VQ-VAE, VQ-VAE2, связь VAE и Flow || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''10''' || Генеративно-состязательные сети|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''11''' || Energy based models, динамика Ланжевена, score matching: Implicit score matching, sliced score matching, denoising score matching, Noise conditioned score network|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''12''' || Прямой и обратный диффузионные процессы, диффузия как модель VAE || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''13''' || || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

==Формула оценивания ==
Общая оценка: <code>𝟎.𝟔×ДЗ + 𝟎.𝟏×Степик + 𝟎.𝟏×Теормин + 𝟎.𝟐×Экзамен</code>

==Stepik ==
В оценку за Stepik идут только следующие модули:

* [https://stepik.org/lesson/1260768 Модуль 10 Attention]

* [https://stepik.org/lesson/1260773 Модуль 11 Трансформеры: теория]

* [https://stepik.org/lesson/1322959 Модуль 12 Трансформеры: практика]

* [https://stepik.org/lesson/1366006 Модуль 14 Классические генеративные модели]

* [https://stepik.org/lesson/1366010 Модуль 15 Современные генеративные модели]

* [https://stepik.org/lesson/1366014 Модуль 16 Методы оптимизации нейронных сетей]

'''Важно:''' Части степика с домашними заданиями делать не нужно (15.4, например). Но нужно ответить на квизы в других его частях (15.1, например).

== Домашние задания ==

===Инвайты в Anytask===

Base Group: <code>WhnrWvK</code>
Pro Group: <code>iYcTpI5</code>

'''Base / Pro - мягкий дедлайн:'''

1. NLP / ImageGPT - дедлайн 12 октября 23:59

2. GAN&VAE / Glow - дедлайн 1 ноября 23:59

3. Diffusion&Flows / GAN&VAE - 14 ноября 23:59

4. MM AR / Diffusion - 23 ноября 23:59

'''Правила дедлайнов по курсу:'''

- за каждую неделю просрочки после мягкого дедлайна штраф 2 балла

- после трех недель просрочки штраф 6 баллов и он не увеличивается

- после трех недель просрочки и до -1 недели до конца модуля можно сдавать задания с максимальным баллом 4.

== Теормин и Экзамен ==

'''Теормин''' - устный опрос по заранее фиксированному списку вопросов с кратким ответом. Необходимо ответить на 3 вопроса за не более, чем 5 минут.

- Теормин ожидается 1 декабря.

- Балл за теормин: 0 / 5 / 10.

'''Экзамен''' - устный разговор по темам курса, не более 10 минут, ожидаются развернутые ответы в свободной форме.

- На экзамен допускаются только те, кто получил полный балл (10) за теормин.

- Экзамен пройдет в сессию 2го модуля.

Генеративные модели в машинном обучении (ИИ 2025)

2025-09-18T20:48:07Z

Mkgoldshteyn:

==О курсе ==
Курс читается в первом семестре студентам магистерской образовательной программы [https://www.hse.ru/ma/mlds/ "Искусственный интеллект"].

{| class="wikitable"
|-
! Группа !! Преподаватели
|-
| Базовая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/murr4a Кантонистова Елена]
|-
| Продвинутая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/Einstein_30 Карагодин Никита]
|}

{| class="wikitable"
|-
! colspan="4" | Ассистенты
|-
| [https://t.me/htutb Уваров Николай] || [https://t.me/sodeniZz Матвеев Денис] || [https://t.me/perkyfever Тихонов Даниил]
|-
| [https://t.me/eiky0u Прудников Николай] || [https://t.me/llllllllllIlIIllIllIIIlllIllI Хасенов Ильяс] || [https://t.me/kolx0znik Саргсян Нарек]
|-
| [https://t.me/the_overfeeling Герасимов Борис] || [https://t.me/Oleg_Oleg_Ch Черников Олег] || [https://t.me/brickckirb Семенов Иван]
|}

==Материалы курса ==
Ссылка на плейлист курса на VK: [https://vkvideo.ru/playlist/-227011779_46 VK-playlist]

Ссылка на GitHub с материалами курса: [https://github.com/NickKar30/GM-HSE-AI-masters-course GitHub]

Ссылка на stepik: [https://stepik.org/course/179805/promo#toc Stepik]

===Расписание базовой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Дополнительные материалы
|-

| style="background:#eaecf0;" | '''1''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''2''' || Токенизация, BERT, дообучение трансформерных моделей || [https://m.vkvideo.ru/video-227011779_456239498?from=video&t=1h1m7s Лекция VK] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''4''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''5''' || Нормализующие потоки || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Автокодировщики, вариационные автокодировщики|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''7''' || Генеративно-состязательные сети, StyleGAN|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''8''' || Диффузионные модели || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Мультимодальные модели, CLIP, Stable Diffusion|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

===Расписание продвинутой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Домашние задания
|-

| style="background:#eaecf0;" | '''1''' || Применения генеративных моделей, метод максимального правдоподобия, энтропия и KL-дивергенция, задачи генеративных моделей, AR модели || [https://m.vkvideo.ru/video-227011779_456239487?from=video&t=41m52s Лекция VK] [https://m.vkvideo.ru/video-227011779_456239494?from=video&t=42m58s Семинар VK]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec1_intro.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem1_pixelcnn.ipynb Семинар] ||
|-

| style="background:#eaecf0;" | '''2''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Токенизация, BERT, дообучение трансформерных моделей || [https://m.vkvideo.ru/video-227011779_456239498?from=video&t=1h1m7s Лекция VK] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''4''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''5''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Нормализующие потоки, авторегрессионные и линейные потоки, модели NICE, RealNVP и Glow|| [Лекция] [Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec2_flows.pdf Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''7''' || Модели скрытых переменных, ЕМ-алгоритм, вывод вариационной нижней оценки (ELBO)|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''8''' || Амортизированный вариационный вывод, трюк репараметризации, VAE|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Prior в VAE, VQ-VAE, VQ-VAE2, связь VAE и Flow || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''10''' || Генеративно-состязательные сети|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''11''' || Energy based models, динамика Ланжевена, score matching: Implicit score matching, sliced score matching, denoising score matching, Noise conditioned score network|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''12''' || Прямой и обратный диффузионные процессы, диффузия как модель VAE || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''13''' || || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

==Формула оценивания ==
Общая оценка: <code>𝟎.𝟔×ДЗ + 𝟎.𝟏×Степик + 𝟎.𝟏×Теормин + 𝟎.𝟐×Экзамен</code>

==Stepik ==
В оценку за Stepik идут только следующие модули:

* [https://stepik.org/lesson/1260768 Модуль 10 Attention]

* [https://stepik.org/lesson/1260773 Модуль 11 Трансформеры: теория]

* [https://stepik.org/lesson/1322959 Модуль 12 Трансформеры: практика]

* [https://stepik.org/lesson/1366006 Модуль 14 Классические генеративные модели]

* [https://stepik.org/lesson/1366010 Модуль 15 Современные генеративные модели]

* [https://stepik.org/lesson/1366014 Модуль 16 Методы оптимизации нейронных сетей]

'''Важно:''' Части степика с домашними заданиями делать не нужно (15.4, например). Но нужно ответить на квизы в других его частях (15.1, например).

== Домашние задания ==

'''Base / Pro - мягкий дедлайн:'''

1. NLP / ImageGPT - дедлайн 12 октября 23:59

2. GAN&VAE / Glow - дедлайн 1 ноября 23:59

3. Diffusion&Flows / GAN&VAE - 14 ноября 23:59

4. MM AR / Diffusion - 23 ноября 23:59

'''Правила дедлайнов по курсу:'''

- за каждую неделю просрочки после мягкого дедлайна штраф 2 балла

- после трех недель просрочки штраф 6 баллов и он не увеличивается

- после трех недель просрочки и до -1 недели до конца модуля можно сдавать задания с максимальным баллом 4.

== Теормин и Экзамен ==

'''Теормин''' - устный опрос по заранее фиксированному списку вопросов с кратким ответом. Необходимо ответить на 3 вопроса за не более, чем 5 минут.

- Теормин ожидается 1 декабря.

- Балл за теормин: 0 / 5 / 10.

'''Экзамен''' - устный разговор по темам курса, не более 10 минут, ожидаются развернутые ответы в свободной форме.

- На экзамен допускаются только те, кто получил полный балл (10) за теормин.

- Экзамен пройдет в сессию 2го модуля.

Генеративные модели в машинном обучении (ИИ 2025)

2025-09-10T07:43:43Z

Mkgoldshteyn:

==О курсе ==
Курс читается в первом семестре студентам магистерской образовательной программы [https://www.hse.ru/ma/mlds/ "Искусственный интеллект"].

{| class="wikitable"
|-
! Группа !! Преподаватели
|-
| Базовая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/murr4a Кантонистова Елена]
|-
| Продвинутая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/Einstein_30 Карагодин Никита]
|}

{| class="wikitable"
|-
! colspan="4" | Ассистенты
|-
| [https://t.me/htutb Уваров Николай] || [https://t.me/sodeniZz Матвеев Денис] || [https://t.me/perkyfever Тихонов Даниил]
|-
| [https://t.me/eiky0u Прудников Николай] || [https://t.me/llllllllllIlIIllIllIIIlllIllI Хасенов Ильяс] || [https://t.me/kolx0znik Саргсян Нарек]
|-
| [https://t.me/the_overfeeling Герасимов Борис] || [https://t.me/Oleg_Oleg_Ch Черников Олег] || [https://t.me/brickckirb Семенов Иван]
|}

==Материалы курса ==
Ссылка на плейлист курса на VK: [https://vkvideo.ru/playlist/-227011779_46 VK-playlist]

Ссылка на GitHub с материалами курса: [https://github.com/NickKar30/GM-HSE-AI-masters-course GitHub]

Ссылка на stepik: [https://stepik.org/course/179805/promo#toc Stepik]

===Расписание базовой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Дополнительные материалы
|-

| style="background:#eaecf0;" | '''1''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''2''' || Токенизация, BERT, дообучение трансформерных моделей || [https://m.vkvideo.ru/video-227011779_456239498?from=video&t=1h1m7s Лекция VK] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''4''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''5''' || Нормализующие потоки || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Автокодировщики, вариационные автокодировщики|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''7''' || Генеративно-состязательные сети, StyleGAN|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''8''' || Диффузионные модели || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Мультимодальные модели, CLIP, Stable Diffusion|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

===Расписание продвинутой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Домашние задания
|-

| style="background:#eaecf0;" | '''1''' || Применения генеративных моделей, метод максимального правдоподобия, энтропия и KL-дивергенция, задачи генеративных моделей, AR модели || [https://m.vkvideo.ru/video-227011779_456239487?from=video&t=41m52s Лекция VK] [https://m.vkvideo.ru/video-227011779_456239494?from=video&t=42m58s Семинар VK]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec1_intro.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem1_pixelcnn.ipynb Семинар] ||
|-

| style="background:#eaecf0;" | '''2''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Токенизация, BERT, дообучение трансформерных моделей || [https://m.vkvideo.ru/video-227011779_456239498?from=video&t=1h1m7s Лекция VK] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''4''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''5''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Нормализующие потоки, авторегрессионные и линейные потоки, модели NICE, RealNVP и Glow|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''7''' || Модели скрытых переменных, ЕМ-алгоритм, вывод вариационной нижней оценки (ELBO)|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''8''' || Амортизированный вариационный вывод, трюк репараметризации, VAE|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Prior в VAE, VQ-VAE, VQ-VAE2, связь VAE и Flow || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''10''' || Генеративно-состязательные сети|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''11''' || Energy based models, динамика Ланжевена, score matching: Implicit score matching, sliced score matching, denoising score matching, Noise conditioned score network|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''12''' || Прямой и обратный диффузионные процессы, диффузия как модель VAE || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''13''' || || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

==Формула оценивания ==
Общая оценка: <code>𝟎.𝟔×ДЗ + 𝟎.𝟏×Степик + 𝟎.𝟏×Теормин + 𝟎.𝟐×Экзамен</code>

==Stepik ==
В оценку за Stepik идут только следующие модули:

* [https://stepik.org/lesson/1260768 Модуль 10 Attention]

* [https://stepik.org/lesson/1260773 Модуль 11 Трансформеры: теория]

* [https://stepik.org/lesson/1322959 Модуль 12 Трансформеры: практика]

* [https://stepik.org/lesson/1366006 Модуль 14 Классические генеративные модели]

* [https://stepik.org/lesson/1366010 Модуль 15 Современные генеративные модели]

* [https://stepik.org/lesson/1366014 Модуль 16 Методы оптимизации нейронных сетей]

'''Важно:''' Части степика с домашними заданиями делать не нужно (15.4, например). Но нужно ответить на квизы в других его частях (15.1, например).

== Домашние задания ==

'''Base / Pro - мягкий дедлайн:'''

1. NLP / ImageGPT - дедлайн 2 октября 23:59

2. GAN&VAE / Glow - дедлайн 18 октября 23:59

3. Diffusion&Flows / GAN&VAE - 9 ноября 23:59

4. MM AR / Diffusion - 23 ноября 23:59

'''Правила дедлайнов по курсу:'''

- за каждую неделю просрочки после мягкого дедлайна штраф 2 балла

- после трех недель просрочки штраф 6 баллов и он не увеличивается

- после трех недель просрочки и до -1 недели до конца модуля можно сдавать задания с максимальным баллом 4.

== Теормин и Экзамен ==

'''Теормин''' - устный опрос по заранее фиксированному списку вопросов с кратким ответом. Необходимо ответить на 3 вопроса за не более, чем 5 минут.

- Теормин ожидается 1 декабря.

- Балл за теормин: 0 / 5 / 10.

'''Экзамен''' - устный разговор по темам курса, не более 10 минут, ожидаются развернутые ответы в свободной форме.

- На экзамен допускаются только те, кто получил полный балл (10) за теормин.

- Экзамен пройдет в сессию 2го модуля.

Генеративные модели в машинном обучении (ИИ 2025)

2025-09-10T07:43:04Z

Mkgoldshteyn:

==О курсе ==
Курс читается в первом семестре студентам магистерской образовательной программы [https://www.hse.ru/ma/mlds/ "Искусственный интеллект"].

{| class="wikitable"
|-
! Группа !! Преподаватели
|-
| Базовая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/murr4a Кантонистова Елена]
|-
| Продвинутая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/Einstein_30 Карагодин Никита]
|}

{| class="wikitable"
|-
! colspan="4" | Ассистенты
|-
| [https://t.me/htutb Уваров Николай] || [https://t.me/sodeniZz Матвеев Денис] || [https://t.me/perkyfever Тихонов Даниил]
|-
| [https://t.me/eiky0u Прудников Николай] || [https://t.me/llllllllllIlIIllIllIIIlllIllI Хасенов Ильяс] || [https://t.me/kolx0znik Саргсян Нарек]
|-
| [https://t.me/the_overfeeling Герасимов Борис] || [https://t.me/Oleg_Oleg_Ch Черников Олег] || [https://t.me/brickckirb Семенов Иван]
|}

==Материалы курса ==
Ссылка на плейлист курса на VK: [https://vkvideo.ru/playlist/-227011779_46 VK-playlist]

Ссылка на GitHub с материалами курса: [https://github.com/NickKar30/GM-HSE-AI-masters-course GitHub]

Ссылка на stepik: [https://stepik.org/course/179805/promo#toc Stepik]

===Расписание базовой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Дополнительные материалы
|-

| style="background:#eaecf0;" | '''1''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''2''' || Токенизация, BERT, дообучение трансформерных моделей || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''4''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''5''' || Нормализующие потоки || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Автокодировщики, вариационные автокодировщики|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''7''' || Генеративно-состязательные сети, StyleGAN|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''8''' || Диффузионные модели || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Мультимодальные модели, CLIP, Stable Diffusion|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

===Расписание продвинутой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Домашние задания
|-

| style="background:#eaecf0;" | '''1''' || Применения генеративных моделей, метод максимального правдоподобия, энтропия и KL-дивергенция, задачи генеративных моделей, AR модели || [https://m.vkvideo.ru/video-227011779_456239487?from=video&t=41m52s Лекция VK] [https://m.vkvideo.ru/video-227011779_456239494?from=video&t=42m58s Семинар VK]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec1_intro.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem1_pixelcnn.ipynb Семинар] ||
|-

| style="background:#eaecf0;" | '''2''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Токенизация, BERT, дообучение трансформерных моделей || [https://m.vkvideo.ru/video-227011779_456239498?from=video&t=1h1m7s Лекция VK] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''4''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''5''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Нормализующие потоки, авторегрессионные и линейные потоки, модели NICE, RealNVP и Glow|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''7''' || Модели скрытых переменных, ЕМ-алгоритм, вывод вариационной нижней оценки (ELBO)|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''8''' || Амортизированный вариационный вывод, трюк репараметризации, VAE|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Prior в VAE, VQ-VAE, VQ-VAE2, связь VAE и Flow || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''10''' || Генеративно-состязательные сети|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''11''' || Energy based models, динамика Ланжевена, score matching: Implicit score matching, sliced score matching, denoising score matching, Noise conditioned score network|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''12''' || Прямой и обратный диффузионные процессы, диффузия как модель VAE || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''13''' || || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

==Формула оценивания ==
Общая оценка: <code>𝟎.𝟔×ДЗ + 𝟎.𝟏×Степик + 𝟎.𝟏×Теормин + 𝟎.𝟐×Экзамен</code>

==Stepik ==
В оценку за Stepik идут только следующие модули:

* [https://stepik.org/lesson/1260768 Модуль 10 Attention]

* [https://stepik.org/lesson/1260773 Модуль 11 Трансформеры: теория]

* [https://stepik.org/lesson/1322959 Модуль 12 Трансформеры: практика]

* [https://stepik.org/lesson/1366006 Модуль 14 Классические генеративные модели]

* [https://stepik.org/lesson/1366010 Модуль 15 Современные генеративные модели]

* [https://stepik.org/lesson/1366014 Модуль 16 Методы оптимизации нейронных сетей]

'''Важно:''' Части степика с домашними заданиями делать не нужно (15.4, например). Но нужно ответить на квизы в других его частях (15.1, например).

== Домашние задания ==

'''Base / Pro - мягкий дедлайн:'''

1. NLP / ImageGPT - дедлайн 2 октября 23:59

2. GAN&VAE / Glow - дедлайн 18 октября 23:59

3. Diffusion&Flows / GAN&VAE - 9 ноября 23:59

4. MM AR / Diffusion - 23 ноября 23:59

'''Правила дедлайнов по курсу:'''

- за каждую неделю просрочки после мягкого дедлайна штраф 2 балла

- после трех недель просрочки штраф 6 баллов и он не увеличивается

- после трех недель просрочки и до -1 недели до конца модуля можно сдавать задания с максимальным баллом 4.

== Теормин и Экзамен ==

'''Теормин''' - устный опрос по заранее фиксированному списку вопросов с кратким ответом. Необходимо ответить на 3 вопроса за не более, чем 5 минут.

- Теормин ожидается 1 декабря.

- Балл за теормин: 0 / 5 / 10.

'''Экзамен''' - устный разговор по темам курса, не более 10 минут, ожидаются развернутые ответы в свободной форме.

- На экзамен допускаются только те, кто получил полный балл (10) за теормин.

- Экзамен пройдет в сессию 2го модуля.

Генеративные модели в машинном обучении (ИИ 2025)

2025-09-10T07:40:53Z

Mkgoldshteyn:

==О курсе ==
Курс читается в первом семестре студентам магистерской образовательной программы [https://www.hse.ru/ma/mlds/ "Искусственный интеллект"].

{| class="wikitable"
|-
! Группа !! Преподаватели
|-
| Базовая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/murr4a Кантонистова Елена]
|-
| Продвинутая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/Einstein_30 Карагодин Никита]
|}

{| class="wikitable"
|-
! colspan="4" | Ассистенты
|-
| [https://t.me/htutb Уваров Николай] || [https://t.me/sodeniZz Матвеев Денис] || [https://t.me/perkyfever Тихонов Даниил]
|-
| [https://t.me/eiky0u Прудников Николай] || [https://t.me/llllllllllIlIIllIllIIIlllIllI Хасенов Ильяс] || [https://t.me/kolx0znik Саргсян Нарек]
|-
| [https://t.me/the_overfeeling Герасимов Борис] || [https://t.me/Oleg_Oleg_Ch Черников Олег] || [https://t.me/brickckirb Семенов Иван]
|}

==Материалы курса ==
Ссылка на плейлист курса на VK: [https://vkvideo.ru/playlist/-227011779_46 VK-playlist]

Ссылка на GitHub с материалами курса: [https://github.com/NickKar30/GM-HSE-AI-masters-course GitHub]

Ссылка на stepik: [https://stepik.org/course/179805/promo#toc Stepik]

===Расписание базовой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Дополнительные материалы
|-

| style="background:#eaecf0;" | '''1''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''2''' || Токенизация, BERT, дообучение трансформерных моделей || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''4''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''5''' || Нормализующие потоки || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Автокодировщики, вариационные автокодировщики|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''7''' || Генеративно-состязательные сети, StyleGAN|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''8''' || Диффузионные модели || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Мультимодальные модели, CLIP, Stable Diffusion|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

===Расписание продвинутой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Домашние задания
|-

| style="background:#eaecf0;" | '''1''' || Применения генеративных моделей, метод максимального правдоподобия, энтропия и KL-дивергенция, задачи генеративных моделей, AR модели || [https://m.vkvideo.ru/video-227011779_456239487?from=video&t=41m52s Лекция VK] [https://m.vkvideo.ru/video-227011779_456239494?from=video&t=42m58s Семинар VK]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec1_intro.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem1_pixelcnn.ipynb Семинар] ||
|-

| style="background:#eaecf0;" | '''2''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Токенизация, BERT, дообучение трансформерных моделей || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''4''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''5''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Нормализующие потоки, авторегрессионные и линейные потоки, модели NICE, RealNVP и Glow|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''7''' || Модели скрытых переменных, ЕМ-алгоритм, вывод вариационной нижней оценки (ELBO)|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''8''' || Амортизированный вариационный вывод, трюк репараметризации, VAE|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Prior в VAE, VQ-VAE, VQ-VAE2, связь VAE и Flow || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''10''' || Генеративно-состязательные сети|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''11''' || Energy based models, динамика Ланжевена, score matching: Implicit score matching, sliced score matching, denoising score matching, Noise conditioned score network|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''12''' || Прямой и обратный диффузионные процессы, диффузия как модель VAE || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''13''' || || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

==Формула оценивания ==
Общая оценка: <code>𝟎.𝟔×ДЗ + 𝟎.𝟏×Степик + 𝟎.𝟏×Теормин + 𝟎.𝟐×Экзамен</code>

==Stepik ==
В оценку за Stepik идут только следующие модули:

* [https://stepik.org/lesson/1260768 Модуль 10 Attention]

* [https://stepik.org/lesson/1260773 Модуль 11 Трансформеры: теория]

* [https://stepik.org/lesson/1322959 Модуль 12 Трансформеры: практика]

* [https://stepik.org/lesson/1366006 Модуль 14 Классические генеративные модели]

* [https://stepik.org/lesson/1366010 Модуль 15 Современные генеративные модели]

* [https://stepik.org/lesson/1366014 Модуль 16 Методы оптимизации нейронных сетей]

'''Важно:''' Части степика с домашними заданиями делать не нужно (15.4, например). Но нужно ответить на квизы в других его частях (15.1, например).

== Домашние задания ==

'''Base / Pro - мягкий дедлайн:'''

1. NLP / ImageGPT - дедлайн 2 октября 23:59

2. GAN&VAE / Glow - дедлайн 18 октября 23:59

3. Diffusion&Flows / GAN&VAE - 9 ноября 23:59

4. MM AR / Diffusion - 23 ноября 23:59

'''Правила дедлайнов по курсу:'''

- за каждую неделю просрочки после мягкого дедлайна штраф 2 балла

- после трех недель просрочки штраф 6 баллов и он не увеличивается

- после трех недель просрочки и до -1 недели до конца модуля можно сдавать задания с максимальным баллом 4.

== Теормин и Экзамен ==

'''Теормин''' - устный опрос по заранее фиксированному списку вопросов с кратким ответом. Необходимо ответить на 3 вопроса за не более, чем 5 минут.

- Теормин ожидается 1 декабря.

- Балл за теормин: 0 / 5 / 10.

'''Экзамен''' - устный разговор по темам курса, не более 10 минут, ожидаются развернутые ответы в свободной форме.

- На экзамен допускаются только те, кто получил полный балл (10) за теормин.

- Экзамен пройдет в сессию 2го модуля.

Генеративные модели в машинном обучении (ИИ 2025)

2025-09-09T10:10:50Z

Mkgoldshteyn:

==О курсе ==
Курс читается в первом семестре студентам магистерской образовательной программы [https://www.hse.ru/ma/mlds/ "Искусственный интеллект"].

{| class="wikitable"
|-
! Группа !! Преподаватели
|-
| Базовая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/murr4a Кантонистова Елена]
|-
| Продвинутая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/Einstein_30 Карагодин Никита]
|}

{| class="wikitable"
|-
! colspan="4" | Ассистенты
|-
| [https://t.me/htutb Уваров Николай] || [https://t.me/sodeniZz Матвеев Денис] || [https://t.me/perkyfever Тихонов Даниил]
|-
| [https://t.me/eiky0u Прудников Николай] || [https://t.me/llllllllllIlIIllIllIIIlllIllI Хасенов Ильяс] || [https://t.me/kolx0znik Саргсян Нарек]
|-
| [https://t.me/the_overfeeling Герасимов Борис] || [https://t.me/Oleg_Oleg_Ch Черников Олег] || [https://t.me/brickckirb Семенов Иван]
|}

==Материалы курса ==
Ссылка на плейлист курса на VK: [https://vkvideo.ru/playlist/-227011779_46 VK-playlist]

Ссылка на GitHub с материалами курса: [https://github.com/NickKar30/GM-HSE-AI-masters-course GitHub]

Ссылка на stepik: [https://stepik.org/course/179805/promo#toc Stepik]

===Расписание базовой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Дополнительные материалы
|-

| style="background:#eaecf0;" | '''1''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''2''' || Токенизация, BERT, дообучение трансформерных моделей || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''4''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''5''' || Нормализующие потоки || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Автокодировщики, вариационные автокодировщики|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''7''' || Генеративно-состязательные сети, StyleGAN|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''8''' || Диффузионные модели || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Мультимодальные модели, CLIP, Stable Diffusion|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

===Расписание продвинутой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Домашние задания
|-

| style="background:#eaecf0;" | '''1''' || Применения генеративных моделей, метод максимального правдоподобия, энтропия и KL-дивергенция, задачи генеративных моделей, AR модели || [https://m.vkvideo.ru/video-227011779_456239487?from=video&t=41m52s Лекция VK] [ Семинар ]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec1_intro.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem1_pixelcnn.ipynb Семинар] ||
|-

| style="background:#eaecf0;" | '''2''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Токенизация, BERT, дообучение трансформерных моделей || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''4''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''5''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Нормализующие потоки, авторегрессионные и линейные потоки, модели NICE, RealNVP и Glow|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''7''' || Модели скрытых переменных, ЕМ-алгоритм, вывод вариационной нижней оценки (ELBO)|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''8''' || Амортизированный вариационный вывод, трюк репараметризации, VAE|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Prior в VAE, VQ-VAE, VQ-VAE2, связь VAE и Flow || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''10''' || Генеративно-состязательные сети|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''11''' || Energy based models, динамика Ланжевена, score matching: Implicit score matching, sliced score matching, denoising score matching, Noise conditioned score network|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''12''' || Прямой и обратный диффузионные процессы, диффузия как модель VAE || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''13''' || || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

==Формула оценивания ==
Общая оценка: <code>𝟎.𝟔×ДЗ + 𝟎.𝟏×Степик + 𝟎.𝟏×Теормин + 𝟎.𝟐×Экзамен</code>

==Stepik ==
В оценку за Stepik идут только следующие модули:

* [https://stepik.org/lesson/1260768 Модуль 10 Attention]

* [https://stepik.org/lesson/1260773 Модуль 11 Трансформеры: теория]

* [https://stepik.org/lesson/1322959 Модуль 12 Трансформеры: практика]

* [https://stepik.org/lesson/1366006 Модуль 14 Классические генеративные модели]

* [https://stepik.org/lesson/1366010 Модуль 15 Современные генеративные модели]

* [https://stepik.org/lesson/1366014 Модуль 16 Методы оптимизации нейронных сетей]

'''Важно:''' Части степика с домашними заданиями делать не нужно (15.4, например). Но нужно ответить на квизы в других его частях (15.1, например).

== Домашние задания ==

'''Base / Pro - мягкий дедлайн:'''

1. NLP / ImageGPT - дедлайн 2 октября 23:59

2. GAN&VAE / Glow - дедлайн 18 октября 23:59

3. Diffusion&Flows / GAN&VAE - 9 ноября 23:59

4. MM AR / Diffusion - 23 ноября 23:59

'''Правила дедлайнов по курсу:'''

- за каждую неделю просрочки после мягкого дедлайна штраф 2 балла

- после трех недель просрочки штраф 6 баллов и он не увеличивается

- после трех недель просрочки и до -1 недели до конца модуля можно сдавать задания с максимальным баллом 4.

== Теормин и Экзамен ==

'''Теормин''' - устный опрос по заранее фиксированному списку вопросов с кратким ответом. Необходимо ответить на 3 вопроса за не более, чем 5 минут.

- Теормин ожидается 1 декабря.

- Балл за теормин: 0 / 5 / 10.

'''Экзамен''' - устный разговор по темам курса, не более 10 минут, ожидаются развернутые ответы в свободной форме.

- На экзамен допускаются только те, кто получил полный балл (10) за теормин.

- Экзамен пройдет в сессию 2го модуля.

Генеративные модели в машинном обучении (ИИ 2025)

2025-09-06T16:55:18Z

Mkgoldshteyn:

==О курсе ==
Курс читается в первом семестре студентам магистерской образовательной программы [https://www.hse.ru/ma/mlds/ "Искусственный интеллект"].

{| class="wikitable"
|-
! Группа !! Преподаватели
|-
| Базовая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/murr4a Кантонистова Елена]
|-
| Продвинутая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/Einstein_30 Карагодин Никита]
|}

{| class="wikitable"
|-
! colspan="4" | Ассистенты
|-
| [https://t.me/htutb Уваров Николай] || [https://t.me/sodeniZz Матвеев Денис] || [https://t.me/perkyfever Тихонов Даниил]
|-
| [https://t.me/eiky0u Прудников Николай] || [https://t.me/llllllllllIlIIllIllIIIlllIllI Хасенов Ильяс] || [https://t.me/kolx0znik Саргсян Нарек]
|-
| [https://t.me/the_overfeeling Герасимов Борис] || [https://t.me/Oleg_Oleg_Ch Черников Олег] || [https://t.me/brickckirb Семенов Иван]
|}

==Материалы курса ==
Ссылка на плейлист курса на VK: [https://vkvideo.ru/playlist/-227011779_46 VK-playlist]

Ссылка на GitHub с материалами курса: [https://github.com/NickKar30/GM-HSE-AI-masters-course GitHub]

Ссылка на stepik: [https://stepik.org/course/179805/promo#toc Stepik]

===Расписание базовой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Дополнительные материалы
|-

| style="background:#eaecf0;" | '''1''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''2''' || Токенизация, BERT, дообучение трансформерных моделей || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''4''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''5''' || Нормализующие потоки || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Автокодировщики, вариационные автокодировщики|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''7''' || Генеративно-состязательные сети, StyleGAN|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''8''' || Диффузионные модели || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Мультимодальные модели, CLIP, Stable Diffusion|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

===Расписание продвинутой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Дополнительные материалы
|-

| style="background:#eaecf0;" | '''1''' || Применения генеративных моделей, метод максимального правдоподобия, энтропия и KL-дивергенция, задачи генеративных моделей, AR модели || [https://m.vkvideo.ru/video-227011779_456239487?from=video&t=41m52s Лекция VK] [ Семинар ]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec1_intro.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem1_pixelcnn.ipynb Семинар] ||
|-

| style="background:#eaecf0;" | '''2''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Токенизация, BERT, дообучение трансформерных моделей || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''4''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''5''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Нормализующие потоки, авторегрессионные и линейные потоки, модели NICE, RealNVP и Glow|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''7''' || Модели скрытых переменных, ЕМ-алгоритм, вывод вариационной нижней оценки (ELBO)|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''8''' || Амортизированный вариационный вывод, трюк репараметризации, VAE|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Prior в VAE, VQ-VAE, VQ-VAE2, связь VAE и Flow || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''10''' || Генеративно-состязательные сети|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''11''' || Energy based models, динамика Ланжевена, score matching: Implicit score matching, sliced score matching, denoising score matching, Noise conditioned score network|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''12''' || Прямой и обратный диффузионные процессы, диффузия как модель VAE || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''13''' || || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

==Формула оценивания ==
Общая оценка: <code>𝟎.𝟔×ДЗ + 𝟎.𝟏×Степик + 𝟎.𝟏×Теормин + 𝟎.𝟐×Экзамен</code>

==Stepik ==
В оценку за Stepik идут только следующие модули:

* [https://stepik.org/lesson/1260768 Модуль 10 Attention]

* [https://stepik.org/lesson/1260773 Модуль 11 Трансформеры: теория]

* [https://stepik.org/lesson/1322959 Модуль 12 Трансформеры: практика]

* [https://stepik.org/lesson/1366006 Модуль 14 Классические генеративные модели]

* [https://stepik.org/lesson/1366010 Модуль 15 Современные генеративные модели]

* [https://stepik.org/lesson/1366014 Модуль 16 Методы оптимизации нейронных сетей]

'''Важно:''' Части степика с домашними заданиями делать не нужно (15.4, например). Но нужно ответить на квизы в других его частях (15.1, например).

== Домашние задания ==

'''Base / Pro - мягкий дедлайн:'''

1. NLP / ImageGPT - дедлайн 2 октября 23:59

2. GAN&VAE / Glow - дедлайн 18 октября 23:59

3. Diffusion&Flows / GAN&VAE - 9 ноября 23:59

4. MM AR / Diffusion - 23 ноября 23:59

'''Правила дедлайнов по курсу:'''

- за каждую неделю просрочки после мягкого дедлайна штраф 2 балла

- после трех недель просрочки штраф 6 баллов и он не увеличивается

- после трех недель просрочки и до -1 недели до конца модуля можно сдавать задания с максимальным баллом 4.

== Теормин и Экзамен ==

'''Теормин''' - устный опрос по заранее фиксированному списку вопросов с кратким ответом. Необходимо ответить на 3 вопроса за не более, чем 5 минут.

- Теормин ожидается 1 декабря.

- Балл за теормин: 0 / 5 / 10.

'''Экзамен''' - устный разговор по темам курса, не более 10 минут, ожидаются развернутые ответы в свободной форме.

- На экзамен допускаются только те, кто получил полный балл (10) за теормин.

- Экзамен пройдет в сессию 2го модуля.

Генеративные модели в машинном обучении (ИИ 2025)

2025-09-06T14:36:53Z

Mkgoldshteyn:

==О курсе ==
Курс читается в первом семестре студентам магистерской образовательной программы [https://www.hse.ru/ma/mlds/ "Искусственный интеллект"].

{| class="wikitable"
|-
! Группа !! Преподаватели
|-
| Базовая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/murr4a Кантонистова Елена]
|-
| Продвинутая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/Einstein_30 Карагодин Никита]
|}

{| class="wikitable"
|-
! colspan="4" | Ассистенты
|-
| [https://t.me/htutb Уваров Николай] || [https://t.me/sodeniZz Матвеев Денис] || [https://t.me/perkyfever Тихонов Даниил]
|-
| [https://t.me/eiky0u Прудников Николай] || [https://t.me/llllllllllIlIIllIllIIIlllIllI Хасенов Ильяс] || [https://t.me/kolx0znik Саргсян Нарек]
|-
| [https://t.me/the_overfeeling Герасимов Борис] || [https://t.me/Oleg_Oleg_Ch Черников Олег] || [https://t.me/brickckirb Семенов Иван]
|}

==Материалы курса ==
Ссылка на плейлист курса на VK: [ VK-playlist]

Ссылка на GitHub с материалами курса: [https://github.com/NickKar30/GM-HSE-AI-masters-course GitHub]

Ссылка на stepik: [https://stepik.org/course/179805/promo#toc Stepik]

===Расписание базовой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Дополнительные материалы
|-

| style="background:#eaecf0;" | '''1''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''2''' || Токенизация, BERT, дообучение трансформерных моделей || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''4''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''5''' || Нормализующие потоки || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Автокодировщики, вариационные автокодировщики|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''7''' || Генеративно-состязательные сети, StyleGAN|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''8''' || Диффузионные модели || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Мультимодальные модели, CLIP, Stable Diffusion|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

===Расписание продвинутой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Дополнительные материалы
|-

| style="background:#eaecf0;" | '''1''' || Применения генеративных моделей, метод максимального правдоподобия, энтропия и KL-дивергенция, задачи генеративных моделей, AR модели || [https://m.vkvideo.ru/video-227011779_456239487?from=video&t=41m52s Лекция VK] [ Семинар ]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec1_intro.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem1_pixelcnn.ipynb Семинар] ||
|-

| style="background:#eaecf0;" | '''2''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Токенизация, BERT, дообучение трансформерных моделей || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''4''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''5''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Нормализующие потоки, авторегрессионные и линейные потоки, модели NICE, RealNVP и Glow|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''7''' || Модели скрытых переменных, ЕМ-алгоритм, вывод вариационной нижней оценки (ELBO)|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''8''' || Амортизированный вариационный вывод, трюк репараметризации, VAE|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Prior в VAE, VQ-VAE, VQ-VAE2, связь VAE и Flow || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''10''' || Генеративно-состязательные сети|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''11''' || Energy based models, динамика Ланжевена, score matching: Implicit score matching, sliced score matching, denoising score matching, Noise conditioned score network|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''12''' || Прямой и обратный диффузионные процессы, диффузия как модель VAE || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''13''' || || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

==Формула оценивания ==
Общая оценка: <code>𝟎.𝟔×ДЗ + 𝟎.𝟏×Степик + 𝟎.𝟏×Теормин + 𝟎.𝟐×Экзамен</code>

==Stepik ==
В оценку за Stepik идут только следующие модули:

* [https://stepik.org/lesson/1260768 Модуль 10 Attention]

* [https://stepik.org/lesson/1260773 Модуль 11 Трансформеры: теория]

* [https://stepik.org/lesson/1322959 Модуль 12 Трансформеры: практика]

* [https://stepik.org/lesson/1366006 Модуль 14 Классические генеративные модели]

* [https://stepik.org/lesson/1366010 Модуль 15 Современные генеративные модели]

* [https://stepik.org/lesson/1366014 Модуль 16 Методы оптимизации нейронных сетей]

'''Важно:''' Части степика с домашними заданиями делать не нужно (15.4, например). Но нужно ответить на квизы в других его частях (15.1, например).

== Домашние задания ==

'''Base / Pro - мягкий дедлайн:'''

1. NLP / ImageGPT - дедлайн 2 октября 23:59

2. GAN&VAE / Glow - дедлайн 18 октября 23:59

3. Diffusion&Flows / GAN&VAE - 9 ноября 23:59

4. MM AR / Diffusion - 23 ноября 23:59

'''Правила дедлайнов по курсу:'''

- за каждую неделю просрочки после мягкого дедлайна штраф 2 балла

- после трех недель просрочки штраф 6 баллов и он не увеличивается

- после трех недель просрочки и до -1 недели до конца модуля можно сдавать задания с максимальным баллом 4.

== Теормин и Экзамен ==

'''Теормин''' - устный опрос по заранее фиксированному списку вопросов с кратким ответом. Необходимо ответить на 3 вопроса за не более, чем 5 минут.

- Теормин ожидается 1 декабря.

- Балл за теормин: 0 / 5 / 10.

'''Экзамен''' - устный разговор по темам курса, не более 10 минут, ожидаются развернутые ответы в свободной форме.

- На экзамен допускаются только те, кто получил полный балл (10) за теормин.

- Экзамен пройдет в сессию 2го модуля.

Генеративные модели в машинном обучении (ИИ 2025)

2025-09-06T06:46:34Z

Mkgoldshteyn:

==О курсе ==
Курс читается в первом семестре студентам магистерской образовательной программы [https://www.hse.ru/ma/mlds/ "Искусственный интеллект"].

{| class="wikitable"
|-
! Группа !! Преподаватели
|-
| Базовая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/murr4a Кантонистова Елена]
|-
| Продвинутая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/Einstein_30 Карагодин Никита]
|}

{| class="wikitable"
|-
! colspan="4" | Ассистенты
|-
| [https://t.me/htutb Уваров Николай] || [https://t.me/sodeniZz Матвеев Денис] || [https://t.me/perkyfever Тихонов Даниил]
|-
| [https://t.me/eiky0u Прудников Николай] || [https://t.me/llllllllllIlIIllIllIIIlllIllI Хасенов Ильяс] || [https://t.me/kolx0znik Саргсян Нарек]
|-
| [https://t.me/the_overfeeling Герасимов Борис] || [https://t.me/Oleg_Oleg_Ch Черников Олег] || [https://t.me/brickckirb Семенов Иван]
|}

==Материалы курса ==
Ссылка на плейлист курса на VK: [ VK-playlist]

Ссылка на GitHub с материалами курса: [https://github.com/NickKar30/GM-HSE-AI-masters-course GitHub]

Ссылка на stepik: [https://stepik.org/course/179805/promo#toc Stepik]

===Расписание базовой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Дополнительные материалы
|-

| style="background:#eaecf0;" | '''1''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''2''' || Токенизация, BERT, дообучение трансформерных моделей || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''4''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''5''' || Нормализующие потоки || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Автокодировщики, вариационные автокодировщики|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''7''' || Генеративно-состязательные сети, StyleGAN|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''8''' || Диффузионные модели || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Мультимодальные модели, CLIP, Stable Diffusion|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

===Расписание продвинутой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Дополнительные материалы
|-

| style="background:#eaecf0;" | '''1''' || Применения генеративных моделей, метод максимального правдоподобия, энтропия и KL-дивергенция, задачи генеративных моделей, AR модели || [https://m.vkvideo.ru/video-227011779_456239487?from=video&t=41m52s Лекция VK] [ Семинар ]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec1_intro.pdf Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''2''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Токенизация, BERT, дообучение трансформерных моделей || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''4''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''5''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Нормализующие потоки, авторегрессионные и линейные потоки, модели NICE, RealNVP и Glow|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''7''' || Модели скрытых переменных, ЕМ-алгоритм, вывод вариационной нижней оценки (ELBO)|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''8''' || Амортизированный вариационный вывод, трюк репараметризации, VAE|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Prior в VAE, VQ-VAE, VQ-VAE2, связь VAE и Flow || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''10''' || Генеративно-состязательные сети|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''11''' || Energy based models, динамика Ланжевена, score matching: Implicit score matching, sliced score matching, denoising score matching, Noise conditioned score network|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''12''' || Прямой и обратный диффузионные процессы, диффузия как модель VAE || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''13''' || || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

==Формула оценивания ==
Общая оценка: <code>𝟎.𝟔×ДЗ + 𝟎.𝟏×Степик + 𝟎.𝟏×Теормин + 𝟎.𝟐×Экзамен</code>

==Stepik ==
В оценку за Stepik идут только следующие модули:

* [https://stepik.org/lesson/1260768 Модуль 10 Attention]

* [https://stepik.org/lesson/1260773 Модуль 11 Трансформеры: теория]

* [https://stepik.org/lesson/1322959 Модуль 12 Трансформеры: практика]

* [https://stepik.org/lesson/1366006 Модуль 14 Классические генеративные модели]

* [https://stepik.org/lesson/1366010 Модуль 15 Современные генеративные модели]

* [https://stepik.org/lesson/1366014 Модуль 16 Методы оптимизации нейронных сетей]

'''Важно:''' Части степика с домашними заданиями делать не нужно (15.4, например). Но нужно ответить на квизы в других его частях (15.1, например).

== Домашние задания ==

'''Base / Pro - мягкий дедлайн:'''

1. NLP / ImageGPT - дедлайн 2 октября 23:59

2. GAN&VAE / Glow - дедлайн 18 октября 23:59

3. Diffusion&Flows / GAN&VAE - 9 ноября 23:59

4. MM AR / Diffusion - 23 ноября 23:59

'''Правила дедлайнов по курсу:'''

- за каждую неделю просрочки после мягкого дедлайна штраф 2 балла

- после трех недель просрочки штраф 6 баллов и он не увеличивается

- после трех недель просрочки и до -1 недели до конца модуля можно сдавать задания с максимальным баллом 4.

== Теормин и Экзамен ==

'''Теормин''' - устный опрос по заранее фиксированному списку вопросов с кратким ответом. Необходимо ответить на 3 вопроса за не более, чем 5 минут.

- Теормин ожидается 1 декабря.

- Балл за теормин: 0 / 5 / 10.

'''Экзамен''' - устный разговор по темам курса, не более 10 минут, ожидаются развернутые ответы в свободной форме.

- На экзамен допускаются только те, кто получил полный балл (10) за теормин.

- Экзамен пройдет в сессию 2го модуля.

Генеративные модели в машинном обучении (ИИ 2025)

2025-09-06T06:46:20Z

Mkgoldshteyn:

==О курсе ==
Курс читается в первом семестре студентам магистерской образовательной программы [https://www.hse.ru/ma/mlds/ "Искусственный интеллект"].

{| class="wikitable"
|-
! Группа !! Преподаватели
|-
| Базовая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/murr4a Кантонистова Елена]
|-
| Продвинутая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/Einstein_30 Карагодин Никита]
|}

{| class="wikitable"
|-
! colspan="4" | Ассистенты
|-
| [https://t.me/htutb Уваров Николай] || [https://t.me/sodeniZz Матвеев Денис] || [https://t.me/perkyfever Тихонов Даниил]
|-
| [https://t.me/eiky0u Прудников Николай] || [https://t.me/llllllllllIlIIllIllIIIlllIllI Хасенов Ильяс] || [https://t.me/kolx0znik Саргсян Нарек]
|-
| [https://t.me/the_overfeeling Герасимов Борис] || [https://t.me/Oleg_Oleg_Ch Черников Олег] || [https://t.me/brickckirb Семенов Иван]
|}

==Материалы курса ==
Ссылка на плейлист курса на VK: [ VK-playlist]

Ссылка на GitHub с материалами курса: [https://github.com/NickKar30/GM-HSE-AI-masters-course GitHub]

Ссылка на stepik: [https://stepik.org/course/179805/promo#toc Stepik]

===Расписание базовой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Дополнительные материалы
|-

| style="background:#eaecf0;" | '''1''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''2''' || Токенизация, BERT, дообучение трансформерных моделей || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''4''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''5''' || Нормализующие потоки || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Автокодировщики, вариационные автокодировщики|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''7''' || Генеративно-состязательные сети, StyleGAN|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''8''' || Диффузионные модели || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Мультимодальные модели, CLIP, Stable Diffusion|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

===Расписание продвинутой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Дополнительные материалы
|-

| style="background:#eaecf0;" | '''1''' || Применения генеративных моделей, метод максимального правдоподобия, энтропия и KL-дивергенция, задачи генеративных моделей, AR модели || [https://m.vkvideo.ru/video-227011779_456239487?from=video&t=41m52s Лекция VK] [ Семинар ]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec1_intro.pdf Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''2''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Токенизация, BERT, дообучение трансформерных моделей || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''4''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''5''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Нормализующие потоки, авторегрессионные и линейные потоки, модели NICE, RealNVP и Glow|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''7''' || Модели скрытых переменных, ЕМ-алгоритм, вывод вариационной нижней оценки (ELBO)|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''8''' || Амортизированный вариационный вывод, трюк репараметризации, VAE|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Prior в VAE, VQ-VAE, VQ-VAE2, связь VAE и Flow || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''10''' || Генеративно-состязательные сети|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''11''' || Energy based models, динамика Ланжевена, score matching: Implicit score matching, sliced score matching, denoising score matching, Noise conditioned score network|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''12''' || Прямой и обратный диффузионные процессы, диффузия как модель VAE || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''13''' || || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

==Формула оценивания ==
Общая оценка: <code>𝟎.𝟔×ДЗ + 𝟎.𝟏×Степик + 𝟎.𝟏×Теормин + 𝟎.𝟐×Экзамен</code>

==Stepik ==
В оценку за Stepik идут только следующие модули:

* [https://stepik.org/lesson/1260768 Модуль 10 Attention]

* [https://stepik.org/lesson/1260773 Модуль 11 Трансформеры: теория]

* [https://stepik.org/lesson/1322959 Модуль 12 Трансформеры: практика]

* [https://stepik.org/lesson/1366006 Модуль 14 Классические генеративные модели]

* [https://stepik.org/lesson/1366010 Модуль 15 Современные генеративные модели]

* [https://stepik.org/lesson/1366014 Модуль 16 Методы оптимизации нейронных сетей]

'''Важно:''' Части степика с домашними заданиями делать не нужно (15.4, например). Но нужно ответить на квизы в других его частях (15.1, например).

== Домашние задания ==

'''Base / Pro - мягкий дедлайн:'''

1. NLP / ImageGPT - дедлайн 2 октября 23:59

2. GAN&VAE / Glow - дедлайн 18 октября 23:59

3. Diffusion&Flows / GAN&VAE - 9 ноября 23:59

4. MM AR / Diffusion - 23 ноября 23:59

'''Правила дедлайнов по курсу:'''

- за каждую неделю просрочки после мягкого дедлайна штраф 2 балла

- после трех недель просрочки штраф 6 баллов и он не увеличивается

- после трех недель просрочки и до -1 недели до конца модуля можно сдавать задания с максимальным баллом 4.

== Теормин и Экзамен ==

'''Теормин''' - устный опрос по заранее фиксированному списку вопросов с кратким ответом. Необходимо ответить на 3 вопроса за не более, чем 5 минут.

- Теормин ожидается 1 декабря.

- Балл за теормин: 0 / 5 / 10.

'''Экзамен''' - устный разговор по темам курса, не более 10 минут, ожидаются развернутые ответы в свободной форме.

- На экзамен допускаются только те, кто получил полный балл (10) за теормин.

- Экзамен пройдет в сессию 2го модуля.

Генеративные модели в машинном обучении (ИИ 2025)

2025-09-06T06:45:41Z

Mkgoldshteyn:

==О курсе ==
Курс читается в первом семестре студентам магистерской образовательной программы [https://www.hse.ru/ma/mlds/ "Искусственный интеллект"].

{| class="wikitable"
|-
! Группа !! Преподаватели
|-
| Базовая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/murr4a Кантонистова Елена]
|-
| Продвинутая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/Einstein_30 Карагодин Никита]
|}

{| class="wikitable"
|-
! colspan="4" | Ассистенты
|-
| [https://t.me/htutb Уваров Николай] || [https://t.me/sodeniZz Матвеев Денис] || [https://t.me/perkyfever Тихонов Даниил]
|-
| [https://t.me/eiky0u Прудников Николай] || [https://t.me/llllllllllIlIIllIllIIIlllIllI Хасенов Ильяс] || [https://t.me/kolx0znik Саргсян Нарек]
|-
| [https://t.me/the_overfeeling Герасимов Борис] || [https://t.me/Oleg_Oleg_Ch Черников Олег] || [https://t.me/brickckirb Семенов Иван]
|}

==Материалы курса ==
Ссылка на плейлист курса на VK: [ VK-playlist]

Ссылка на GitHub с материалами курса: [https://github.com/NickKar30/GM-HSE-AI-masters-course GitHub]

Ссылка на stepik: [https://stepik.org/course/179805/promo#toc Stepik]

===Расписание базовой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Дополнительные материалы
|-

| style="background:#eaecf0;" | '''1''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''2''' || Токенизация, BERT, дообучение трансформерных моделей || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''4''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''5''' || Нормализующие потоки || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Автокодировщики, вариационные автокодировщики|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''7''' || Генеративно-состязательные сети, StyleGAN|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''8''' || Диффузионные модели || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Мультимодальные модели, CLIP, Stable Diffusion|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

===Расписание продвинутой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Дополнительные материалы
|-

| style="background:#eaecf0;" | '''1''' || Применения генеративных моделей, метод максимального правдоподобия, энтропия и KL-дивергенция, задачи генеративных моделей, AR модели || [https://m.vkvideo.ru/video-227011779_456239487?from=video&t=41m52s Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec1_intro.pdf Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''2''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция] [Семинар]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Токенизация, BERT, дообучение трансформерных моделей || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''4''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''5''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Нормализующие потоки, авторегрессионные и линейные потоки, модели NICE, RealNVP и Glow|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''7''' || Модели скрытых переменных, ЕМ-алгоритм, вывод вариационной нижней оценки (ELBO)|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''8''' || Амортизированный вариационный вывод, трюк репараметризации, VAE|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Prior в VAE, VQ-VAE, VQ-VAE2, связь VAE и Flow || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''10''' || Генеративно-состязательные сети|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''11''' || Energy based models, динамика Ланжевена, score matching: Implicit score matching, sliced score matching, denoising score matching, Noise conditioned score network|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''12''' || Прямой и обратный диффузионные процессы, диффузия как модель VAE || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''13''' || || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

==Формула оценивания ==
Общая оценка: <code>𝟎.𝟔×ДЗ + 𝟎.𝟏×Степик + 𝟎.𝟏×Теормин + 𝟎.𝟐×Экзамен</code>

==Stepik ==
В оценку за Stepik идут только следующие модули:

* [https://stepik.org/lesson/1260768 Модуль 10 Attention]

* [https://stepik.org/lesson/1260773 Модуль 11 Трансформеры: теория]

* [https://stepik.org/lesson/1322959 Модуль 12 Трансформеры: практика]

* [https://stepik.org/lesson/1366006 Модуль 14 Классические генеративные модели]

* [https://stepik.org/lesson/1366010 Модуль 15 Современные генеративные модели]

* [https://stepik.org/lesson/1366014 Модуль 16 Методы оптимизации нейронных сетей]

'''Важно:''' Части степика с домашними заданиями делать не нужно (15.4, например). Но нужно ответить на квизы в других его частях (15.1, например).

== Домашние задания ==

'''Base / Pro - мягкий дедлайн:'''

1. NLP / ImageGPT - дедлайн 2 октября 23:59

2. GAN&VAE / Glow - дедлайн 18 октября 23:59

3. Diffusion&Flows / GAN&VAE - 9 ноября 23:59

4. MM AR / Diffusion - 23 ноября 23:59

'''Правила дедлайнов по курсу:'''

- за каждую неделю просрочки после мягкого дедлайна штраф 2 балла

- после трех недель просрочки штраф 6 баллов и он не увеличивается

- после трех недель просрочки и до -1 недели до конца модуля можно сдавать задания с максимальным баллом 4.

== Теормин и Экзамен ==

'''Теормин''' - устный опрос по заранее фиксированному списку вопросов с кратким ответом. Необходимо ответить на 3 вопроса за не более, чем 5 минут.

- Теормин ожидается 1 декабря.

- Балл за теормин: 0 / 5 / 10.

'''Экзамен''' - устный разговор по темам курса, не более 10 минут, ожидаются развернутые ответы в свободной форме.

- На экзамен допускаются только те, кто получил полный балл (10) за теормин.

- Экзамен пройдет в сессию 2го модуля.

Генеративные модели в машинном обучении (ИИ 2025)

2025-09-06T06:45:00Z

Mkgoldshteyn:

==О курсе ==
Курс читается в первом семестре студентам магистерской образовательной программы [https://www.hse.ru/ma/mlds/ "Искусственный интеллект"].

{| class="wikitable"
|-
! Группа !! Преподаватели
|-
| Базовая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/murr4a Кантонистова Елена]
|-
| Продвинутая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/Einstein_30 Карагодин Никита]
|}

{| class="wikitable"
|-
! colspan="4" | Ассистенты
|-
| [https://t.me/htutb Уваров Николай] || [https://t.me/sodeniZz Матвеев Денис] || [https://t.me/perkyfever Тихонов Даниил]
|-
| [https://t.me/eiky0u Прудников Николай] || [https://t.me/llllllllllIlIIllIllIIIlllIllI Хасенов Ильяс] || [https://t.me/kolx0znik Саргсян Нарек]
|-
| [https://t.me/the_overfeeling Герасимов Борис] || [https://t.me/Oleg_Oleg_Ch Черников Олег] || [https://t.me/brickckirb Семенов Иван]
|}

==Материалы курса ==
Ссылка на плейлист курса на VK: [ VK-playlist]

Ссылка на GitHub с материалами курса: [https://github.com/NickKar30/GM-HSE-AI-masters-course GitHub]

Ссылка на stepik: [https://stepik.org/course/179805/promo#toc Stepik]

===Расписание базовой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Дополнительные материалы
|-

| style="background:#eaecf0;" | '''1''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''2''' || Токенизация, BERT, дообучение трансформерных моделей || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''4''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''5''' || Нормализующие потоки || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Автокодировщики, вариационные автокодировщики|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''7''' || Генеративно-состязательные сети, StyleGAN|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''8''' || Диффузионные модели || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Мультимодальные модели, CLIP, Stable Diffusion|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

===Расписание продвинутой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Дополнительные материалы
|-

| style="background:#eaecf0;" | '''1''' || Применения генеративных моделей, метод максимального правдоподобия, энтропия и KL-дивергенция, задачи генеративных моделей, AR модели || [https://m.vkvideo.ru/video-227011779_456239487?from=video&t=41m52s Лекция] [Семинар]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec1_intro.pdf Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''2''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция] [Семинар]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Токенизация, BERT, дообучение трансформерных моделей || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''4''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''5''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Нормализующие потоки, авторегрессионные и линейные потоки, модели NICE, RealNVP и Glow|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''7''' || Модели скрытых переменных, ЕМ-алгоритм, вывод вариационной нижней оценки (ELBO)|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''8''' || Амортизированный вариационный вывод, трюк репараметризации, VAE|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Prior в VAE, VQ-VAE, VQ-VAE2, связь VAE и Flow || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''10''' || Генеративно-состязательные сети|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''11''' || Energy based models, динамика Ланжевена, score matching: Implicit score matching, sliced score matching, denoising score matching, Noise conditioned score network|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''12''' || Прямой и обратный диффузионные процессы, диффузия как модель VAE || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''13''' || || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

==Формула оценивания ==
Общая оценка: <code>𝟎.𝟔×ДЗ + 𝟎.𝟏×Степик + 𝟎.𝟏×Теормин + 𝟎.𝟐×Экзамен</code>

==Stepik ==
В оценку за Stepik идут только следующие модули:

* [https://stepik.org/lesson/1260768 Модуль 10 Attention]

* [https://stepik.org/lesson/1260773 Модуль 11 Трансформеры: теория]

* [https://stepik.org/lesson/1322959 Модуль 12 Трансформеры: практика]

* [https://stepik.org/lesson/1366006 Модуль 14 Классические генеративные модели]

* [https://stepik.org/lesson/1366010 Модуль 15 Современные генеративные модели]

* [https://stepik.org/lesson/1366014 Модуль 16 Методы оптимизации нейронных сетей]

'''Важно:''' Части степика с домашними заданиями делать не нужно (15.4, например). Но нужно ответить на квизы в других его частях (15.1, например).

== Домашние задания ==

'''Base / Pro - мягкий дедлайн:'''

1. NLP / ImageGPT - дедлайн 2 октября 23:59

2. GAN&VAE / Glow - дедлайн 18 октября 23:59

3. Diffusion&Flows / GAN&VAE - 9 ноября 23:59

4. MM AR / Diffusion - 23 ноября 23:59

'''Правила дедлайнов по курсу:'''

- за каждую неделю просрочки после мягкого дедлайна штраф 2 балла

- после трех недель просрочки штраф 6 баллов и он не увеличивается

- после трех недель просрочки и до -1 недели до конца модуля можно сдавать задания с максимальным баллом 4.

== Теормин и Экзамен ==

'''Теормин''' - устный опрос по заранее фиксированному списку вопросов с кратким ответом. Необходимо ответить на 3 вопроса за не более, чем 5 минут.

- Теормин ожидается 1 декабря.

- Балл за теормин: 0 / 5 / 10.

'''Экзамен''' - устный разговор по темам курса, не более 10 минут, ожидаются развернутые ответы в свободной форме.

- На экзамен допускаются только те, кто получил полный балл (10) за теормин.

- Экзамен пройдет в сессию 2го модуля.

Генеративные модели в машинном обучении (ИИ 2025)

2025-09-06T06:43:40Z

Mkgoldshteyn:

==О курсе ==
Курс читается в первом семестре студентам магистерской образовательной программы [https://www.hse.ru/ma/mlds/ "Искусственный интеллект"].

{| class="wikitable"
|-
! Группа !! Преподаватели
|-
| Базовая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/murr4a Кантонистова Елена]
|-
| Продвинутая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/Einstein_30 Карагодин Никита]
|}

{| class="wikitable"
|-
! colspan="4" | Ассистенты
|-
| [https://t.me/htutb Уваров Николай] || [https://t.me/sodeniZz Матвеев Денис] || [https://t.me/perkyfever Тихонов Даниил]
|-
| [https://t.me/eiky0u Прудников Николай] || [https://t.me/llllllllllIlIIllIllIIIlllIllI Хасенов Ильяс] || [https://t.me/kolx0znik Саргсян Нарек]
|-
| [https://t.me/the_overfeeling Герасимов Борис] || [https://t.me/Oleg_Oleg_Ch Черников Олег] || [https://t.me/brickckirb Семенов Иван]
|}

==Материалы курса ==
Ссылка на плейлист курса на VK: [ VK-playlist]

Ссылка на GitHub с материалами курса: [https://github.com/NickKar30/GM-HSE-AI-masters-course GitHub]

Ссылка на stepik: [https://stepik.org/course/179805/promo#toc Stepik]

===Расписание базовой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Дополнительные материалы
|-

| style="background:#eaecf0;" | '''1''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция] [Семинар]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''2''' || Токенизация, BERT, дообучение трансформерных моделей || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''4''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''5''' || Нормализующие потоки || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Автокодировщики, вариационные автокодировщики|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''7''' || Генеративно-состязательные сети, StyleGAN|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''8''' || Диффузионные модели || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Мультимодальные модели, CLIP, Stable Diffusion|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

===Расписание продвинутой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Дополнительные материалы
|-

| style="background:#eaecf0;" | '''1''' || Применения генеративных моделей, метод максимального правдоподобия, энтропия и KL-дивергенция, задачи генеративных моделей, AR модели || [https://m.vkvideo.ru/video-227011779_456239487?from=video&t=41m52s Лекция] [Семинар]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec1_intro.pdf Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''2''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция] [Семинар]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Токенизация, BERT, дообучение трансформерных моделей || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''4''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''5''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Нормализующие потоки, авторегрессионные и линейные потоки, модели NICE, RealNVP и Glow|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''7''' || Модели скрытых переменных, ЕМ-алгоритм, вывод вариационной нижней оценки (ELBO)|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''8''' || Амортизированный вариационный вывод, трюк репараметризации, VAE|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Prior в VAE, VQ-VAE, VQ-VAE2, связь VAE и Flow || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''10''' || Генеративно-состязательные сети|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''11''' || Energy based models, динамика Ланжевена, score matching: Implicit score matching, sliced score matching, denoising score matching, Noise conditioned score network|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''12''' || Прямой и обратный диффузионные процессы, диффузия как модель VAE || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''13''' || || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

==Формула оценивания ==
Общая оценка: <code>𝟎.𝟔×ДЗ + 𝟎.𝟏×Степик + 𝟎.𝟏×Теормин + 𝟎.𝟐×Экзамен</code>

==Stepik ==
В оценку за Stepik идут только следующие модули:

* [https://stepik.org/lesson/1260768 Модуль 10 Attention]

* [https://stepik.org/lesson/1260773 Модуль 11 Трансформеры: теория]

* [https://stepik.org/lesson/1322959 Модуль 12 Трансформеры: практика]

* [https://stepik.org/lesson/1366006 Модуль 14 Классические генеративные модели]

* [https://stepik.org/lesson/1366010 Модуль 15 Современные генеративные модели]

* [https://stepik.org/lesson/1366014 Модуль 16 Методы оптимизации нейронных сетей]

'''Важно:''' Части степика с домашними заданиями делать не нужно (15.4, например). Но нужно ответить на квизы в других его частях (15.1, например).

== Домашние задания ==

'''Base / Pro - мягкий дедлайн:'''

1. NLP / ImageGPT - дедлайн 2 октября 23:59

2. GAN&VAE / Glow - дедлайн 18 октября 23:59

3. Diffusion&Flows / GAN&VAE - 9 ноября 23:59

4. MM AR / Diffusion - 23 ноября 23:59

'''Правила дедлайнов по курсу:'''

- за каждую неделю просрочки после мягкого дедлайна штраф 2 балла

- после трех недель просрочки штраф 6 баллов и он не увеличивается

- после трех недель просрочки и до -1 недели до конца модуля можно сдавать задания с максимальным баллом 4.

== Теормин и Экзамен ==

'''Теормин''' - устный опрос по заранее фиксированному списку вопросов с кратким ответом. Необходимо ответить на 3 вопроса за не более, чем 5 минут.

- Теормин ожидается 1 декабря.

- Балл за теормин: 0 / 5 / 10.

'''Экзамен''' - устный разговор по темам курса, не более 10 минут, ожидаются развернутые ответы в свободной форме.

- На экзамен допускаются только те, кто получил полный балл (10) за теормин.

- Экзамен пройдет в сессию 2го модуля.

Генеративные модели в машинном обучении (ИИ 2025)

2025-09-06T06:43:10Z

Mkgoldshteyn:

==О курсе ==
Курс читается в первом семестре студентам магистерской образовательной программы [https://www.hse.ru/ma/mlds/ "Искусственный интеллект"].

{| class="wikitable"
|-
! Группа !! Преподаватели
|-
| Базовая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/murr4a Кантонистова Елена]
|-
| Продвинутая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/Einstein_30 Карагодин Никита]
|}

{| class="wikitable"
|-
! colspan="4" | Ассистенты
|-
| [https://t.me/htutb Уваров Николай] || [https://t.me/sodeniZz Матвеев Денис] || [https://t.me/perkyfever Тихонов Даниил]
|-
| [https://t.me/eiky0u Прудников Николай] || [https://t.me/llllllllllIlIIllIllIIIlllIllI Хасенов Ильяс] || [https://t.me/kolx0znik Саргсян Нарек]
|-
| [https://t.me/the_overfeeling Герасимов Борис] || [https://t.me/Oleg_Oleg_Ch Черников Олег] || [https://t.me/brickckirb Семенов Иван]
|}

==Материалы курса ==
Ссылка на плейлист курса на VK: [ VK-playlist]

Ссылка на GitHub с материалами курса: [https://github.com/NickKar30/GM-HSE-AI-masters-course GitHub]

Ссылка на stepik: [https://stepik.org/course/179805/promo#toc Stepik]

===Расписание базовой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Дополнительные материалы
|-

| style="background:#eaecf0;" | '''1''' || Задача машинного перевода, механизм внимания, Transformer || [Лекция] [Семинар]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''2''' || Токенизация, BERT, дообучение трансформерных моделей || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''4''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''5''' || Нормализующие потоки || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Автокодировщики, вариационные автокодировщики|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''7''' || Генеративно-состязательные сети, StyleGAN|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''8''' || Диффузионные модели || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Мультимодальные модели, CLIP, Stable Diffusion|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

===Расписание продвинутой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Дополнительные материалы
|-

| style="background:#eaecf0;" | '''1''' || Применения генеративных моделей, метод максимального правдоподобия, энтропия и KL-дивергенция, задачи генеративных моделей, AR модели || [https://m.vkvideo.ru/video-227011779_456239487?from=video&t=41m52s Лекция] [Семинар]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec1_intro.pdf Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''2''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция] [Семинар]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Токенизация, BERT, дообучение трансформерных моделей || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''4''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''5''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Нормализующие потоки, авторегрессионные и линейные потоки, модели NICE, RealNVP и Glow|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''7''' || Модели скрытых переменных, ЕМ-алгоритм, вывод вариационной нижней оценки (ELBO)|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''8''' || Амортизированный вариационный вывод, трюк репараметризации, VAE|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Prior в VAE, VQ-VAE, VQ-VAE2, связь VAE и Flow || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''10''' || Генеративно-состязательные сети|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''11''' || Energy based models, динамика Ланжевена, score matching: Implicit score matching, sliced score matching, denoising score matching, Noise conditioned score network|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''12''' || Прямой и обратный диффузионные процессы, диффузия как модель VAE || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''13''' || || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

==Формула оценивания ==
Общая оценка: <code>𝟎.𝟔×ДЗ + 𝟎.𝟏×Степик + 𝟎.𝟏×Теормин + 𝟎.𝟐×Экзамен</code>

==Stepik ==
В оценку за Stepik идут только следующие модули:

* [https://stepik.org/lesson/1260768 Модуль 10 Attention]

* [https://stepik.org/lesson/1260773 Модуль 11 Трансформеры: теория]

* [https://stepik.org/lesson/1322959 Модуль 12 Трансформеры: практика]

* [https://stepik.org/lesson/1366006 Модуль 14 Классические генеративные модели]

* [https://stepik.org/lesson/1366010 Модуль 15 Современные генеративные модели]

* [https://stepik.org/lesson/1366014 Модуль 16 Методы оптимизации нейронных сетей]

'''Важно:''' Части степика с домашними заданиями делать не нужно (15.4, например). Но нужно ответить на квизы в других его частях (15.1, например).

== Домашние задания ==

'''Base / Pro - мягкий дедлайн:'''

1. NLP / ImageGPT - дедлайн 2 октября 23:59

2. GAN&VAE / Glow - дедлайн 18 октября 23:59

3. Diffusion&Flows / GAN&VAE - 9 ноября 23:59

4. MM AR / Diffusion - 23 ноября 23:59

'''Правила дедлайнов по курсу:'''

- за каждую неделю просрочки после мягкого дедлайна штраф 2 балла

- после трех недель просрочки штраф 6 баллов и он не увеличивается

- после трех недель просрочки и до -1 недели до конца модуля можно сдавать задания с максимальным баллом 4.

== Теормин и Экзамен ==

'''Теормин''' - устный опрос по заранее фиксированному списку вопросов с кратким ответом. Необходимо ответить на 3 вопроса за не более, чем 5 минут.

- Теормин ожидается 1 декабря.

- Балл за теормин: 0 / 5 / 10.

'''Экзамен''' - устный разговор по темам курса, не более 10 минут, ожидаются развернутые ответы в свободной форме.

- На экзамен допускаются только те, кто получил полный балл (10) за теормин.

- Экзамен пройдет в сессию 2го модуля.

Генеративные модели в машинном обучении (ИИ 2025)

2025-09-06T06:41:14Z

Mkgoldshteyn:

==О курсе ==
Курс читается в первом семестре студентам магистерской образовательной программы [https://www.hse.ru/ma/mlds/ "Искусственный интеллект"].

{| class="wikitable"
|-
! Группа !! Преподаватели
|-
| Базовая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/murr4a Кантонистова Елена]
|-
| Продвинутая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/Einstein_30 Карагодин Никита]
|}

{| class="wikitable"
|-
! colspan="4" | Ассистенты
|-
| [https://t.me/htutb Уваров Николай] || [https://t.me/sodeniZz Матвеев Денис] || [https://t.me/perkyfever Тихонов Даниил]
|-
| [https://t.me/eiky0u Прудников Николай] || [https://t.me/llllllllllIlIIllIllIIIlllIllI Хасенов Ильяс] || [https://t.me/kolx0znik Саргсян Нарек]
|-
| [https://t.me/the_overfeeling Герасимов Борис] || [https://t.me/Oleg_Oleg_Ch Черников Олег] || [https://t.me/brickckirb Семенов Иван]
|}

==Материалы курса ==
Ссылка на плейлист курса на VK: [ VK-playlist]

Ссылка на GitHub с материалами курса: [https://github.com/NickKar30/GM-HSE-AI-masters-course GitHub]

Ссылка на stepik: [https://stepik.org/course/179805/promo#toc Stepik]

===Расписание базовой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Дополнительные материалы
|-

| style="background:#eaecf0;" | '''1''' || Задача машинного перевода, механизм внимания, Transformer || [Лекция] [Семинар]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''2''' || Токенизация, BERT, дообучение трансформерных моделей || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''4''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''5''' || Нормализующие потоки || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Автокодировщики, вариационные автокодировщики|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''7''' || Генеративно-состязательные сети, StyleGAN|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''8''' || Диффузионные модели || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Мультимодальные модели, CLIP, Stable Diffusion|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

===Расписание продвинутой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Дополнительные материалы
|-

| style="background:#eaecf0;" | '''1''' || Применения генеративных моделей, метод максимального правдоподобия, энтропия и KL-дивергенция, задачи генеративных моделей, AR модели || [https://m.vkvideo.ru/video-227011779_456239487?from=video&t=41m52s Лекция] [Семинар]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec1_intro.pdf Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''2''' || Задача машинного перевода, механизм внимания, Transformer || [Лекция] [Семинар]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Токенизация, BERT, дообучение трансформерных моделей || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''4''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''5''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Нормализующие потоки, авторегрессионные и линейные потоки, модели NICE, RealNVP и Glow|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''7''' || Модели скрытых переменных, ЕМ-алгоритм, вывод вариационной нижней оценки (ELBO)|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''8''' || Амортизированный вариационный вывод, трюк репараметризации, VAE|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Prior в VAE, VQ-VAE, VQ-VAE2, связь VAE и Flow || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''10''' || Генеративно-состязательные сети|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''11''' || Energy based models, динамика Ланжевена, score matching: Implicit score matching, sliced score matching, denoising score matching, Noise conditioned score network|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''12''' || Прямой и обратный диффузионные процессы, диффузия как модель VAE || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''13''' || || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

==Формула оценивания ==
Общая оценка: <code>𝟎.𝟔×ДЗ + 𝟎.𝟏×Степик + 𝟎.𝟏×Теормин + 𝟎.𝟐×Экзамен</code>

==Stepik ==
В оценку за Stepik идут только следующие модули:

* [https://stepik.org/lesson/1260768 Модуль 10 Attention]

* [https://stepik.org/lesson/1260773 Модуль 11 Трансформеры: теория]

* [https://stepik.org/lesson/1322959 Модуль 12 Трансформеры: практика]

* [https://stepik.org/lesson/1366006 Модуль 14 Классические генеративные модели]

* [https://stepik.org/lesson/1366010 Модуль 15 Современные генеративные модели]

* [https://stepik.org/lesson/1366014 Модуль 16 Методы оптимизации нейронных сетей]

'''Важно:''' Части степика с домашними заданиями делать не нужно (15.4, например). Но нужно ответить на квизы в других его частях (15.1, например).

== Домашние задания ==

'''Base / Pro - мягкий дедлайн:'''

1. NLP / ImageGPT - дедлайн 2 октября 23:59

2. GAN&VAE / Glow - дедлайн 18 октября 23:59

3. Diffusion&Flows / GAN&VAE - 9 ноября 23:59

4. MM AR / Diffusion - 23 ноября 23:59

'''Правила дедлайнов по курсу:'''

- за каждую неделю просрочки после мягкого дедлайна штраф 2 балла

- после трех недель просрочки штраф 6 баллов и он не увеличивается

- после трех недель просрочки и до -1 недели до конца модуля можно сдавать задания с максимальным баллом 4.

== Теормин и Экзамен ==

'''Теормин''' - устный опрос по заранее фиксированному списку вопросов с кратким ответом. Необходимо ответить на 3 вопроса за не более, чем 5 минут.

- Теормин ожидается 1 декабря.

- Балл за теормин: 0 / 5 / 10.

'''Экзамен''' - устный разговор по темам курса, не более 10 минут, ожидаются развернутые ответы в свободной форме.

- На экзамен допускаются только те, кто получил полный балл (10) за теормин.

- Экзамен пройдет в сессию 2го модуля.