ML Research Seminar 2 - История изменений

Irubachev в 11:48, 16 октября 2025

2025-10-16T11:48:13Z

← Предыдущая версия		Версия от 11:48, 16 октября 2025
Строка 95:		Строка 95:
	Примеры проектов (людей из интернета) заслуживающих 10:		Примеры проектов (людей из интернета) заслуживающих 10:
	- https://main-horse.github.io/hnet/ (main horse изучает HNet - у нас кстати есть эта статья в списке, вообще отличный пример мотивации хорошей статьей)		- https://main-horse.github.io/hnet/ (main horse изучает HNet - у нас кстати есть эта статья в списке, вообще отличный пример мотивации хорошей статьей)
	- https://www.aleksagordic.com/blog/vllm + https://github.com/GeeeekExplorer/nano-vllm - блог-пост про vLLM (да, написать качественный блог пост достойно 10/10), либо vLLM-like инференс сервера с нуля с базовыми зависимостями (torch only)		- https://www.aleksagordic.com/blog/vllm + https://github.com/GeeeekExplorer/nano-vllm - блог-пост про vLLM (да, написать качественный блог пост достойно 10/10), либо vLLM-like инференс сервера с нуля с базовыми зависимостями (torch only). https://ggrigorev.me/posts/tokenizer-superbpe/ - делаем токенизацию с нуля и анализируем
	- https://x.com/FrancescoSacco1/status/1965794464653615589 - мини ресерч проект эксплорящий distributional Q-learning		- https://x.com/FrancescoSacco1/status/1965794464653615589 - мини ресерч проект эксплорящий distributional Q-learning
	- <next_token>		- <next_token>

Irubachev в 10:53, 16 октября 2025

2025-10-16T10:53:16Z

← Предыдущая версия		Версия от 10:53, 16 октября 2025
Строка 16:		Строка 16:
	=== Полезные Ссылки ===		=== Полезные Ссылки ===

	'''[https://docs.google.com/spreadsheets/d/~~1SqgTj8sQ~~-~~B4zGss6j6wG5RVGsyvmilujClfbABcU0yk~~/edit?usp=sharing Таблица с оценками и расписанием]''' <br />		'''[https://docs.google.com/spreadsheets/d/1ki_wkpXNJPiQ9r4RpmQ8kVUh-mfisKDs541qF1nH6CY/edit?usp=sharing Таблица с оценками и расписанием]''' <br />
	'''[https://rutube.ru/video/c6cc4d620b1d4338901770a44b3e82f4/ Записи онлайн занятий (coming soon)]''' <br />		'''[https://rutube.ru/video/c6cc4d620b1d4338901770a44b3e82f4/ Записи онлайн занятий (coming soon)]''' <br />

Tgritsaev: исправил таблицу [группа -- семинарист]

2025-09-30T18:46:06Z

исправил таблицу [группа -- семинарист]

← Предыдущая версия		Версия от 18:46, 30 сентября 2025
Строка 7:		Строка 7:
	\| 221 \|\| [https://puhsu.net Иван Рубачёв] \|\| [https://t.me/puhsuuu @puhsuuu] \|\| '''TODO'''		\| 221 \|\| [https://puhsu.net Иван Рубачёв] \|\| [https://t.me/puhsuuu @puhsuuu] \|\| '''TODO'''
	\|-		\|-
	\| 222 \|\|[https://~~rotot0~~.~~github~~.io/ ~~Аким Котельников~~]\|\| [https://t.me/~~akimkot~~ @~~akimkot~~] \|\| '''TODO'''		\| 222 \|\| [https://scholar.google.com/citations?user=lIiYB60AAAAJ&hl=en Тимофей Грицаев]\|\| [https://t.me/tgritsaev @tgritsaev] \|\| '''TODO'''
	\|-		\|-
	\| 223 \|\|[https://~~www~~.~~hse~~.ru/~~org/persons/225541629 Николай Карташев~~]\|\| [https://t.me/~~nickkartashev~~ @~~nickkartashev~~] \|\| '''TODO'''		\| 223 \|\| [https://rotot0.github.io/ Аким Котельников]\|\| [https://t.me/akimkot @akimkot] \|\| '''TODO'''
	\|-		\|-
	\| 224 \|\|[https://~~scholar~~.~~google~~.~~com~~/~~citations?user=lIiYB60AAAAJ&hl=en Тимофей Грицаев~~]\|\| [https://t.me/~~tgritsaev~~ @~~tgritsaev~~] \|\| '''TODO'''		\| 224 \|\| [https://www.hse.ru/org/persons/225541629 Николай Карташев]\|\| [https://t.me/nickkartashev @nickkartashev] \|\| '''TODO'''
	\|}		\|}

Irubachev: Irubachev переименовал страницу ML Research Seminar 25 4 в ML Research Seminar 2

2025-09-30T01:32:46Z

Irubachev переименовал страницу ML Research Seminar 25 4 в ML Research Seminar 2

← Предыдущая версия	Версия от 01:32, 30 сентября 2025
(нет различий)

Irubachev: Irubachev переименовал страницу ML Research Seminar в ML Research Seminar 25 4

2025-09-30T01:32:06Z

Irubachev переименовал страницу ML Research Seminar в ML Research Seminar 25 4

← Предыдущая версия	Версия от 01:32, 30 сентября 2025
(нет различий)

Irubachev в 01:25, 30 сентября 2025

2025-09-30T01:25:35Z

Внесённые изменения

Irubachev: init research seminar page for 4th year

2025-09-29T00:06:00Z

init research seminar page for 4th year

Новая страница

=== Расписание ===

{| class="wikitable"
|-
! Группа !! Руководители НИСа !! Контакты (tg) !! Расписание
|-
| 221 || [https://puhsu.net Иван Рубачёв] || [https://t.me/puhsuuu @puhsuuu] || '''TODO'''
|-
| 222 ||[https://rotot0.github.io/ Аким Котельников]|| [https://t.me/akimkot @akimkot] || '''TODO'''
|-
| 223 ||[https://www.hse.ru/org/persons/225541629 Николай Карташев]|| [https://t.me/nickkartashev @nickkartashev] || '''TODO'''
|-
| 224 ||[https://scholar.google.com/citations?user=lIiYB60AAAAJ&hl=en Тимофей Грицаев]|| [https://t.me/tgritsaev @tgritsaev] || '''TODO'''
|}

=== Полезные Ссылки ===

'''[https://docs.google.com/spreadsheets/d/1SqgTj8sQ-B4zGss6j6wG5RVGsyvmilujClfbABcU0yk/edit?usp=sharing Таблица с оценками и расписанием]''' 
'''[https://rutube.ru/video/c6cc4d620b1d4338901770a44b3e82f4/ Записи онлайн занятий (coming soon)]''' 

Рецензии на доклады писать здесь: [https://forms.gle/oVa7Sc1Yyt5vuYNz8 форма] 
Проверочные писать здесь: [https://forms.gle/eiS1AS6itpjYfS7r8 (форма - 221)], '''TODO''' (остальные сделаем тоже) 
Рецензии и проверочные можно сдавать '''примерно в течение суток после конца занятия (в нашем случае до 23:59 день_пары+1)'''

Оставить отзыв на курс: [https://docs.google.com/forms/d/e/1FAIpQLSfN2NjAYL9Ka7p75XBesQ7lR43rleQc_Id2NbNDv8G7mqMY-g/viewform форма] 

Все объявления по курсу будут в чате в телеграме, поэтому нужно '''обязательно''' добавиться в чат своей группы.

== Краткое описание ==

Данный семинар направлен на расширение кругозора студентов в области современного машинного обучения, а также на знакомство с основными принципами научно-исследовательской деятельности. На нём в течение года под руководством преподавателей студентам предлагается делать доклады по современным научным статьям в области машинного обучения. Семинар призван способствовать развитию навыков ведения научной дискуссии и презентации исследовательских результатов.

В ходе занятий подразумеваются следующие виды деятельности студентов:
* Выступление студентов с докладами, освещающими современные научных статьи с различных точек зрения.
* Посещение занятий, прослушивание и обсуждение докладов, написание рецензий на доклады одногруппников.
* Написание проверочных работ по материалам докладов.

== Доклады ==

Основной деятельностью в рамках НИСа является подготовка и выступление студентов с докладами. На 4 курсе формат значительно отличается от формата 3 курса (когда-то нам понравилась [https://colinraffel.com/blog/role-playing-seminar.html идея] и мы её адаптировали).

Каждую статью теперь разбирает '''группа из двух человек'''. В группе у каждого своя роль мотивированная ситуациям из жизни исследователя. На одном занятии планируется по два выступления, то есть одной команде выступающих выделяется 40 минут на всестороннее представление статьи (с учетом вопросов и обсуждений). Пара студентов совместно читает и разбирает статью, после чего готовит ее представление для одногруппников.

'''Роли распределены следующим образом:'''

# Первый человек выполняет роль '''докладчика''' – здесь всё очень похоже на НИС 3 курса. Нужно подготовить презентацию с представлением методов и результатов статьи. Дополнительно, стоит уделить внимание оценке статьи, например в конце доклада выделить основные сильные и слабые стороны статьи на ваш взгляд. Время на выступление - 20 минут.
# Второй человек выполняет роль либо '''хакера''', либо '''исследователя'''. Роль зависит от статьи, и преподаватель помечает в расписании какая роль ожидается для каждой статьи. Студент при этом может предложить поменять роль, если у него есть аргументы в пользу важности/интересности другой роли. Ниже приводится описание ролей хакера/исследователя с примерами.

'''Хакер''' (если вы это читаете, не читайте, правила поменяются этой ночью/завтра) – работает с кодом, ставит эксперименты по мотивам статьи, или готовит игрушечный пример иллюстрирующий идеи и находки статьи. По результатам своей работы готовит ноутбук (с комментариями и выводами). На занятии за 15-20 минут рассказывает о результатах, показывает сам ноутбук или 2-3 слайда с графиками/выводами если ноутбук выглядит слишком перегруженным для выступления. Пользоваться любым открытым кодом/моделями можно и нужно, но, естественно, оцениваться будут ваши идеи/усилия, так что просто взять ноутбук с чужого гитхаба нельзя. Вот несколько хороших примеров:
* иллюстрация основной идеи статьи на адекватных для имеющихся ресурсов данных/моделях: [https://github.com/bayesgroup/HSE_ML_research_seminar/blob/master/2021-2022/181/22%20-%20Imagenet-trained%20CNNs%20are%20biased%20towards%20texture/code.ipynb раз], [https://github.com/bayesgroup/HSE_ML_research_seminar_22_23/blob/main/4th%20year/%D0%92%D0%B0%D0%BD%D1%8F/01%20-%20Transformers%20for%20Graphs%20(Graphormer)/code.ipynb два]
* иллюстрация того, как работает сложный пайплайн с подробными примерами/пояснениями/лайв-кодингом: [https://github.com/bayesgroup/HSE_ML_research_seminar_22_23/blob/main/4th%20year/%D0%92%D0%B0%D0%BD%D1%8F/04%20-%20VITDet%20Object%20Detection/code.ipynb раз], [https://github.com/bayesgroup/HSE_ML_research_seminar/blob/master/2021-2022/181/29%20-%20Generative%20Spoken%20Language%20Modeling%20from%20Raw%20Audio/code.ipynb два]
* мини-исследование: [https://github.com/bayesgroup/HSE_ML_research_seminar/blob/master/2021-2022/181/19%20-%20mixup/code.ipynb раз] – поиграли с предложенным в статье методом, сравнили его с аналогами на практике, визуализировали поведение сети, обученной этим методом; [https://github.com/bayesgroup/HSE_ML_research_seminar/blob/master/2021-2022/181/04%20-%20Vocabulary%20Learning%20via%20Optimal%20Transport%20for%20Neural%20Machine%20Translation/code.ipynb два] – проверили работают ли идеи статьи для другой постановки задачи;

'''Исследователь''' – подробно изучает контекст статьи, анализирует как данная работа встраивается в существующую научную реальность (что было до, что случилось после, на какие работы опирается эта статья). Может есть что-то интересное в мета-информации про статью (почему-то интересны авторы, или то на какой конференции какую награду она получила – это интересно скорее в исключительных случаях). Основной посыл: исследователь не цитирует related work и аффилиации авторов, а готовит полезный доклад про область/подобласть. По результатам своей работы готовит презентацию на 15-20 минут. Примеры (слайдов) исследователей сделавших хорошую работу:
* [https://github.com/bayesgroup/HSE_ML_research_seminar_22_23/blob/main/4th%20year/%D0%92%D0%B0%D0%BD%D1%8F/15%20-%20Minecraft/review_slides.pdf слайды исследователя 1]: рассмотрели и структурировали много подходов к похожей задаче из литературы, в процессе описали чем выделяется (как хорошо так и плохо) текущая статья;
* [https://github.com/bayesgroup/HSE_ML_research_seminar_22_23/blob/main/4th%20year/%D0%92%D0%B0%D0%BD%D1%8F/10%20-%20LSSL/review_slides.pdf слайды исследователя 2]: подробно рассмотрели важный prior (и post)-work, местами углубились в его детали (как и в прошлом примере - важно сравнение с текущей работой), связали state space модели с neural ode (вообще творчество в роли исследователя).

В течение года каждый студент принимает участие в '''3 выступлениях''' (по одному выступлению в каждой роли + одно выступление в случайной роли). Оценки за все выступления берутся в финальную оценку с одинаковыми весами.

'''До выступления.''' Минимум '''за неделю''' до даты выступления группа докладчиков должна связаться с преподавателем и прислать ему или обсудить с ним план своего выступления. Основная суть данного требования -- понять, что все участники прочли статью, понимают что они будут рассказывать на занятии и не испытывают затруднений с темой.

'''После выступление.''' Сразу после доклада (а лучше до) нужно прислать презентацию докладчика и ноутбук/презентацию хакера/исследователя в общий чат.

При невыполнении перечисленных условий в поставленные сроки преподаватель имеет право снизить оценку за соответствующий доклад. Штраф за задержку с планом выступления -- до 2 баллов, за задержку с материалами -- до 1 балла.

== Отзывы на доклады ==

На каждый доклад трое одногруппников докладчиков, '''присутствовавшие на занятии''', пишут короткий отзыв на выступление, отдельно комментируя и оценивая его составляющие части (части разных выступающих), в форме, ссылка на которую находится в верхней части страницы. Рецензенты назначаются преподавателем на занятии. Оценки из отзывов будут учитываться при выставлении оценок за выступление на усмотрение преподавателя.

Отзыв должен обосновывать выставленную оценку, содержать описание положительных и отрицательных сторон, а также предложения по улучшению доклада. Главная цель отзыва - помочь докладчику улучшить свои навыки. Отзыв можно написать примерно в течение суток после занятия (точное время дедлайна указано в верхней части страницы). Некачественные отзывы или "отписки", к примеру, "Мне все понравилось, оценка 10", не будут засчитываться как в количество написанных студентом отзывов, так и в оценку выступающего.

== Проверочные работы ==
После каждого занятия студентам будет выдаваться небольшая проверочная работа, содержащая по одному вопросу на каждый доклад. Сдавать написанные ответы можно будет в форму, ссылка на которую указана в верхней части страницы, примерно в течение суток после занятия (точное время дедлайна указано в верхней части страницы). Предполагается, что студент либо присутствует на занятии и может ответить на вопрос после прослушивания доклада, либо у него есть время на то, чтобы разобрать по статье непонятные моменты, после чего уже написать проверочную.

В течение года студенту нужно написать ответы по половину вопросов (то есть можно выбирать на какие темы писать проверочные, а на какие нет). При этом если студент напишет больше ответов, то в его оценку будут засчитываться максимальные оценки. Итоговая оценка за проверочные работы будет рассчитываться как сумма максимальных N/2 оценок, где N это общее число докладов на НИСе за год.

Проверочные работы студент должен писать строго самостоятельно. Любые подозрения на списывание или совместное написание ответов будут строго караться вплоть до перевода проверочных в формат с написанием во время пары сразу после докладов с ограничением на время написания ответов.

== Система выставления оценок ==

Итоговая формула выставления оценки выглядит следующим образом:

О_результ = 0.6 * О_доклады + 0.3 * О_проверочные + 0.1 * О_отзывы

* О_доклады - суммарная оценка по всем выступлениям,
* О_проверочные - суммарная оценка за проверочные работы на семинарах,
* О_отзывы - суммарная оценка за написание отзывов на доклады.

Все промежуточные оценки не округляются. Итоговая оценка округляется математически.

Экзамена по курсу не будет!