Автоматическая обработка текста 25/26: различия между версиями

Материал из Wiki - Факультет компьютерных наук
Перейти к навигации Перейти к поиску
← Предыдущая правкаСледующая правка →
Нет описания правки
Нет описания правки
Строка 66: Строка 66:


=== При отказе от устного экзамене ===
=== При отказе от устного экзамене ===
Оценка = 1.0*О<sub>ДЗ</sub>
== Домашние задания ==
'''После выдачи домашнего задания студентам предоставляется 2 (две) недели на выполнение'''.
'''Каждый день просрочки штрафуется 1 баллом от максимальной оценки за соответствующее задание.'''
=== Main Track ===
# Обучение эмбеддингов с помощью библиотеки fasttext, реализация реального движка поиска эмбеддинга-ответа по запросу в векторной БД <br /> - Выдана 21.11.24, '''Дедлайн - 23:59 (МСК), 01.12.24 (Вс.)''', [https://github.com/greedisneutral/NLP-course/blob/master/2.Classification/NLP_hw_week_2.ipynb Ноутбук] <br /> - Весит 30% от итога (если выбираете идти на экзамен) и 40% при перевзвешивании в случае отказа от экзамена
# Тонкая настройка (fine-tuning) BERT на собственных данных // Имплементация GPT 2 <br /> - Выдана 03.12.24, '''Дедлайн - 23:59 (МСК), 15.12.24 (Вс.)''', [https://github.com/greedisneutral/NLP-course/blob/master/4.Transformers/HSE_NLP_HW_BERT.ipynb Ноутбук (BERT)], [https://github.com/greedisneutral/NLP-course/blob/master/4.Transformers/HSE_NLP_HW_GPT.ipynb Ноутбук (GPT)] <br /> - Весит 20% от итога (если выбираете идти на экзамен) и 30% при перевзвешивании в случае отказа от экзамена
# Тонкая настройка LLM (LLAMA 3 8b) с помощью PEFT <br /> - Выдана 12.12.24, '''Дедлайн - 23:59 (МСК), 22.12.2024 (Вс.)''', [https://github.com/greedisneutral/NLP-course/blob/master/5.Pretrain_finetune/NLP_seminar_finetuning_raw.ipynb Ноутбук] <br /> - Весит 20% от итога (если выбираете идти на экзамен) и 30% при перевзвешивании в случае отказа от экзамена
=== Optional Track ===
'''Мягкий дедлайн - 27.12.24 (Пт.)''', ''жёсткий - 30.12.24 (Пн.)''
* Тонкая настройка собственной модели с использованием библиотеки TRL <br /> - Выдана 14.12.24, [https://github.com/greedisneutral/NLP-course/blob/master/6.RLHF/HSE_NLP_HW_4_optional.ipynb Ноутбук] <br /> - Весит 15% от итога
* Реализация Round-to-Nearest (RTN), Generalized Post-Training Quantization (GPTQ) <br /> - Выдано 16.12.24, [https://github.com/greedisneutral/NLP-course/blob/master/7.Efficiency/HSE_NLP_HW_5_optional.ipynb.ipynb Ноутбук] <br /> - Весит 15% от итога
== Устный экзамен ==
Программой курса предусмотрен устный экзамен, в рамках которого студентам будет предложено тянуть случайный билет с вопросом по пройденному материалу.
== Автоматы ==
На курсе предусмотрены автоматы:
Если оценка студента за блок “домашние задания” ≥ 4 и устраивает студента, ее можно зачесть в виде автомата.
== Литература ==
Статьи, упомянутые в лекциях

Версия от 19:53, 16 апреля 2026

О курсе

Natural Language Processing (NLP) — это область искусственного интеллекта, направленная на решение задач, связанных с обработкой человеческого языка, таких как извлечение информации, машинный перевод, автоматическое суммирование и диалоговые системы. За последние годы мы увидели значительный прогресс благодаря статистическому и глубокому обучению. Демонстрация возможностей современных диалоговых систем по типу ChatGPT от OpenAI позволила нам переосмыслить перспективы NLP в повседневной жизни, что привлекло к области внимание как со стороны исследователей и инженеров, так и институциональных инвесторов, готовых финансировать бурный рост отрасли.

Данный курс ставит перед собой следующие цели:

- познакомить слушателя с ключевыми направлениями современного развития области, сформировать понимание запросов, с которыми сталкиваются инженеры и исследователи в повседневной работе. - развить понимание фундаментальных концепций, необходимых для самостоятельного решения задач как прикладного, так и исследовательского характера. - познакомить слушателя с инструментами, необходимыми для решения прикладных задач.

Курс основан на материалах Школы Анализа Данных Яндекса (ШАД), CS224n by Stanford, а также личном опыте автора. Курс приоритезирует понимание слушателями пространства существующих на сегодня в отрасли задач и умение их решать над полнотой освещения исторически важных, однако на текущий день устаревших концепций


Контакты

Преподаватель: Хажгериев Мурат Анзорович (@greedisneutral)

Материалы курса

Ссылка на плейлист курса на YouTube: YouTube-playlist

Ссылка на плейлист в VK: VK Видео

Ссылка на GitHub с материалами курса: GitHub repository

Занятие Тема Дата Материалы для самоподготовки к семинарам Дополнительные материалы
1 [Запись, YouTube] [Слайды, Тетрадка] Карта задач и методов NLP, эмбеддинги слов (word embeddings) 06.11.24 (Ср.)
2 [Запись, YouTube] [Слайды, Тетрадка] Классификация текста 14.11.24 (Чт.)
3 [Запись] [Слайды, Тетрадка, Доска] Seq2seq, Трансформер и механим внимания 21.11.24 (Чт.) Ссылка на качественное объяснение того, как работает LSTM (да и RNN вообще)
4 [Запись] [Слайды, Ноутбук] Transfer learning: BERT, ELMO, GPT 28.11.24 (Чт.)

Замечательный разбор архитектуры от Джея Аламмара

Прекрасный разбор от Лены Войты в рамках NLP Course | For You

Уже ставшая бородатой оригинальная статья Attention is all you need

5 [Запись] [Слайды, Доска] Обучение Больших языковых моделей (Large Language Models): Обучение с нуля vs Тонкая настройка (finetuning) 12.12.24 (Чт.)
6 [Запись] [Слайды, Доска] Reinforcement Learning From Human Feedback (RLHF), Direct Preference Optimization (DPO) 14.12.24 (Сб.)
7 [Запись] [Слайды] Практические подходы для эффективного обучения и развертывания LLM 16.12.24 (Пн.) Хороший курс по взрослой работе с моделями
8 [Запись] [Доска, Ноутбук] Retrieval-Augmented Generation (RAG), Tools, LLM-based System Overview 19.12.24 (Чт.)

RAG and Tooling Frameworks: https://www.llamaindex.ai/framework, https://www.langchain.com/, https://huggingface.co/docs/transformers/en/agents

Graph RAG-specific Repos: https://github.com/HKUDS/LightRAG, https://github.com/microsoft/graphrag

Faiss (vectorDB): https://github.com/facebookresearch/faiss, https://github.com/facebookresearch/faiss/wiki/Guidelines-to-choose-an-index

GraphDB (turn-on your VPN): https://neo4j.com/docs/getting-started/graph-database/

Записи консультаций

Формула оценивания

При участии в устном экзамене

Оценка = 0.3*ОУстный экзамен + 0.7*ОДЗ

При отказе от устного экзамене

Источник — https://wiki.cs.hse.ru/index.php?title=Автоматическая_обработка_текста_25/26&oldid=96265