Методы предобучения без учителя 22/23: различия между версиями
мНет описания правки |
мНет описания правки |
||
| (не показано 8 промежуточных версий 2 участников) | |||
| Строка 13: | Строка 13: | ||
== Полезные ссылки == | == Полезные ссылки == | ||
Чат курса в telegram : https://t.me/+D4_1rqQttEwwODhi | Чат курса в telegram: https://t.me/+D4_1rqQttEwwODhi | ||
Канал с объявлениями в telegram : https://t.me/+ADIqh4XT1qNkMDEy | Канал с объявлениями в telegram: https://t.me/+ADIqh4XT1qNkMDEy | ||
Плейлист с записями лекций: https://www.youtube.com/playlist?list=PLEwK9wdS5g0rg9Cf9Tsfeuesv5H6XDdeY. | |||
github курса: https://github.com/ashaba1in/hse-ssl | |||
Anytask: https://anytask.org/course/1001, инвайт: K3cHMRT | |||
== Преподаватели и ассистенты == | == Преподаватели и ассистенты == | ||
| Строка 28: | Строка 34: | ||
|- | |- | ||
|} | |} | ||
== Домашние задания == | |||
'''Домашнее задание №1:''' Задание посвящено реализации классических методов предобучения. | |||
Ссылка на [https://docs.google.com/document/d/1EbD5fTB3uMYdqxhRj-_CLYpMuEQSJmBcEhFhoRPB9cY/edit?usp=sharing условие], ссылка на [https://docs.google.com/document/d/1EbD5fTB3uMYdqxhRj-_CLYpMuEQSJmBcEhFhoRPB9cY/edit?usp=sharing соревнование] в kaggle. | |||
'''Домашнее задание №2:''' Задание посвящено контрастным методам для изображений. | |||
Ссылка на [https://github.com/ashaba1in/hse-ssl/blob/main/homeworks/homework2_contrastive.ipynb ноутбук] с заданием. | |||
'''Домашнее задание №3:''' Задание посвящено предобучению языковых моделей. | |||
Ссылка на [https://github.com/ashaba1in/hse-ssl/blob/main/homeworks/homework3_lms/homework3_lms.ipynb ноутбук] с заданием. | |||
== Формула оценок == | == Формула оценок == | ||
Текущая версия от 09:32, 24 мая 2023
О курсе
С развитием глубинного обучения стало появляться все больше новых задач и наборов данных, с помощью которых можно учить модели. Однако, в то время как собрать данные можно алгоритмически без особого труда, их разметка является очень трудоемкой и дорогостоящей задачей. В связи с этим появилась потребность обучать модели на данных без разметки. Именно так зародилась парадигма self-supervised learning, о которой и пойдет речь в данном курсе. Слушатели курса познакомятся как со старыми, так и с самыми современными подходами для предобучения на неразмеченных данных и поработают с различными доменами: от изображений и текстов до аудио и графов.
Расписание
Занятия проводятся оффлайн по вторникам.
Лекция: 11:10 - 12:30
Семинары: 13:00 - 14:20
Полезные ссылки
Чат курса в telegram: https://t.me/+D4_1rqQttEwwODhi
Канал с объявлениями в telegram: https://t.me/+ADIqh4XT1qNkMDEy
Плейлист с записями лекций: https://www.youtube.com/playlist?list=PLEwK9wdS5g0rg9Cf9Tsfeuesv5H6XDdeY.
github курса: https://github.com/ashaba1in/hse-ssl
Anytask: https://anytask.org/course/1001, инвайт: K3cHMRT
Преподаватели и ассистенты
| Преподаватели | Ассистенты |
|---|---|
| Ильдус Садртдинов | Алексей Биршерт |
| Александр Шабалин |
Домашние задания
Домашнее задание №1: Задание посвящено реализации классических методов предобучения.
Ссылка на условие, ссылка на соревнование в kaggle.
Домашнее задание №2: Задание посвящено контрастным методам для изображений.
Ссылка на ноутбук с заданием.
Домашнее задание №3: Задание посвящено предобучению языковых моделей.
Ссылка на ноутбук с заданием.
Формула оценок
Определим накопленную оценку как Накоп = 1/4 * [ДЗ1 + ДЗ2 + ДЗ3 + (МДЗ1 + МДЗ2) / 2].
Итог = Округление(0.7 * Накоп + 0.3 * Э). Округление арифметическое.
- ДЗ — оценка за домашнее задание
- МДЗ — оценка за мини домашнее задание
- Э — оценка за экзамен
Если Накоп >= 8, то студент может получить Округление(Накоп) в качестве итоговой оценки, не приходя на экзамен.
Формат экзамена: устный.