Мультимодальные нейронные сети (ИИ24, 6 модуль): различия между версиями

Материал из Wiki - Факультет компьютерных наук
Перейти к навигации Перейти к поиску
Следующая правка →
Новая страница: «==О курсе== Занятия проводятся в [ Zoom] '''по ...<день>... в ...<время>...''' Онлайн-курс в дополнение…»
 
Добавлена основная информация
Строка 1: Строка 1:
==О курсе==
==О курсе==


Занятия проводятся в [ Zoom] '''по ...<день>... в ...<время>...'''
Занятия проводятся в [ Zoom] '''по вторникам в 18:10'''


Онлайн-курс в дополнение к парам: [[ online-course link]]
Онлайн-курс в дополнение к парам: [[ online-course link]]
Строка 9: Строка 9:
Канал курса в TG: [[ channel link]]
Канал курса в TG: [[ channel link]]


Чат курса в TG: [[ chat link]]
Чат курса в TG: [https://t.me/+cjGyzTTECm9jMzg6 Телеграм-чат]
 
Преподаватель: Бурлова Альбина Сергеевна @planqua


Преподаватель:


{| class="wikitable"
{| class="wikitable"
|-
|-  
! Ассистент !! Контакты  
! Ассистент !! Контакты  
|-
|-  
| style="background:#eaecf0;" | ||  
| Никита || @amapassenger
|-
|-
| style="background:#eaecf0;" | ||  
| Александр || @wolf_golfa
|-  
| Данил || @shishiga_ceo
|-
| Игорь || @Igkart
|}
|}


==Материалы курса==
==Материалы курса==
Ссылка на плейлист курса на YouTube: [[ YouTube-playlist]]


Ссылка на GitHub с материалами курса: [[ GitHub repository]]
* [https://youtube.com/playlist?list=PLmA-1xX7IuzDiym85ggco8um6_BOay8JM&si=Z80UaHTYMKZ6c2-U Плейлист курса на YouTube]
* [https://github.com/AlbinaBurlova/hse-fcs-multimodal-course GitHub с материалами курса]
* [https://vkvideo.ru/playlist/-227011779_55 Плейлист курса на VK Видео]
 


{| class="wikitable"
{| class="wikitable"
Строка 31: Строка 40:
  ! Занятие !! Тема !! Дата !! Материалы для самоподготовки к семинарам !! Дополнительные материалы
  ! Занятие !! Тема !! Дата !! Материалы для самоподготовки к семинарам !! Дополнительные материалы
|-
|-
| style="background:#eaecf0;" | '''1''' [[ Запись]] || [[ Ноутбук]]  || ...<date>... || ||  
| style="background:#eaecf0;" | '''1''' [[https://vkvideo.ru/video-227011779_456239614]] || [[https://github.com/AlbinaBurlova/hse-fcs-multimodal-course/tree/main/w01_mm_basics Введение]]  || 05.11.2025 || ||  
|-
|-
| style="background:#eaecf0;" | '''2''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||  
| style="background:#eaecf0;" | '''2''' [[https://vkvideo.ru/playlist/-227011779_55/video-227011779_456239632?linked=1]] || [[https://github.com/AlbinaBurlova/hse-fcs-multimodal-course/tree/main/w02_clip_clap Контрастивное обучение]] || 15.11.2025 || ||  
|-
|-
| style="background:#eaecf0;" | '''3''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
| style="background:#eaecf0;" | '''3''' [[https://vkvideo.ru/playlist/-227011779_55/video-227011779_456239638?linked=1]] || [[https://github.com/AlbinaBurlova/hse-fcs-multimodal-course/tree/main/w03_encoders Энкодеры]] || 18.11.2025 || ||
|-
|-
| style="background:#eaecf0;" | '''4''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||  
| style="background:#eaecf0;" | '''4''' [[https://vkvideo.ru/playlist/-227011779_55/video-227011779_456239667?linked=1]] || [[https://github.com/AlbinaBurlova/hse-fcs-multimodal-course/tree/main/w04_fusion Мультимодальное слияние и совместные энкодеры]] || 03.12.2025 || ||  
|-
|-
| style="background:#eaecf0;" | '''5''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||  
| style="background:#eaecf0;" | '''5''' [[https://vkvideo.ru/playlist/-227011779_55/video-227011779_456239681?linked=1]] || [[https://github.com/AlbinaBurlova/hse-fcs-multimodal-course/tree/main/w05_gen Мультимодальные языковые модели]] || 09.12.2025 || ||  
|-
|-
| style="background:#eaecf0;" | '''6''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||  
| style="background:#eaecf0;" | '''6''' [[https://vkvideo.ru/video-227011779_456239691]] || [[https://github.com/AlbinaBurlova/hse-fcs-multimodal-course/tree/main/w06_mllm Q-Former и методы фьюжна ]] || 12.12.2025 || ||  
|-
|-
| Конец первого модуля |
 
|-
| style="background:#eaecf0;" | '''7''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| style="background:#eaecf0;" | '''8''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| style="background:#eaecf0;" | '''9''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
|-
| style="background:#eaecf0;" | '''10''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||  
| style="background:#eaecf0;" | '''7''' [[https://vkvideo.ru/video-227011779_456239704]] || [[https://github.com/AlbinaBurlova/hse-fcs-multimodal-course/tree/main/w07_eval Мультимодальные бенчмарки ]] || 16.12.2025 || ||  
|-
|-
| style="background:#eaecf0;" | '''11''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||  
| style="background:#eaecf0;" | '''8''' [[https://vkvideo.ru/video-227011779_456239712]] || [[Генеративные модели для изображений и видео]] || 20.12.2025 || ||  
|-
|-
| style="background:#eaecf0;" | '''12''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
}
|-
|}


=== Записи консультаций ===
=== Записи консультаций ===
Строка 64: Строка 65:
==Формула оценивания==
==Формула оценивания==


Оценка = ...<вес 1>...*О<sub>...<форма контроля 1>...</sub> + ...<вес 2>...*О<sub>...<форма контроля 2>...</sub> + ...<вес 3>...*О<sub>...<форма контроля 3>...</sub>
Оценка = 0.3 * ДЗ1 + 0.3 * ДЗ2 + 0.4 * ДЗ3; максимум = 10 баллов




== Домашние задания ==
== Домашние задания ==
#  
# [https://github.com/AlbinaBurlova/hse-fcs-multimodal-course/blob/main/homeworks/HW1_clip_clap.ipynb ДЗ1. CLAP. Обучение проекции из аудио в текстовое пространство CLIP]
#  
# [https://github.com/AlbinaBurlova/hse-fcs-multimodal-course/blob/main/homeworks/HW2_multimodal_adapter.ipynb ДЗ2. Мультимодальный адаптер к Qwen3-0.6B]
#  
# [https://github.com/AlbinaBurlova/hse-fcs-multimodal-course/blob/main/homeworks/HW3_vqa_challenge.ipynb ДЗ3. VQA Challenge (Kaggle-соревнование)]
#


== Литература ==
== Литература ==

Версия от 14:35, 18 января 2026

О курсе

Занятия проводятся в [ Zoom] по вторникам в 18:10

Онлайн-курс в дополнение к парам: online-course link

Контакты

Канал курса в TG: channel link

Чат курса в TG: Телеграм-чат

Преподаватель: Бурлова Альбина Сергеевна @planqua


Ассистент Контакты
Никита @amapassenger
Александр @wolf_golfa
Данил @shishiga_ceo
Игорь @Igkart


Материалы курса


}

Записи консультаций

Формула оценивания

Оценка = 0.3 * ДЗ1 + 0.3 * ДЗ2 + 0.4 * ДЗ3; максимум = 10 баллов


Домашние задания

  1. ДЗ1. CLAP. Обучение проекции из аудио в текстовое пространство CLIP
  2. ДЗ2. Мультимодальный адаптер к Qwen3-0.6B
  3. ДЗ3. VQA Challenge (Kaggle-соревнование)

Литература

Занятие Тема Дата Материалы для самоподготовки к семинарам Дополнительные материалы
1 [[1]] [Введение] 05.11.2025
2 [[2]] [Контрастивное обучение] 15.11.2025
3 [[3]] [Энкодеры] 18.11.2025
4 [[4]] [Мультимодальное слияние и совместные энкодеры] 03.12.2025
5 [[5]] [Мультимодальные языковые модели] 09.12.2025
6 [[6]] [Q-Former и методы фьюжна ] 12.12.2025
7 [[7]] [Мультимодальные бенчмарки ] 16.12.2025
8 [[8]] Генеративные модели для изображений и видео 20.12.2025
Источник — https://wiki.cs.hse.ru/index.php?title=Мультимодальные_нейронные_сети_(ИИ24,_6_модуль)&oldid=94687