|
|
| Строка 16: |
Строка 16: |
| Преподаватель: Хажгериев Мурат Анзорович ([https://t.me/greedisneutral @greedisneutral]) | | Преподаватель: Хажгериев Мурат Анзорович ([https://t.me/greedisneutral @greedisneutral]) |
|
| |
|
| ==Материалы курса== | | ==Материалы курса NLP-1== |
| Ссылка на плейлист курса на YouTube: [https://www.youtube.com/playlist?list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4 YouTube-playlist] | | Ссылка на плейлист курса на YouTube: [https://www.youtube.com/playlist?list=PLmA-1xX7IuzCAUh_IzWmdOldOlk4ttXY7 YouTube-playlist] |
|
| |
|
| Ссылка на плейлист в VK: [https://vk.com/video/playlist/-227011779_15 VK Видео] | | Ссылка на плейлист в VK: [https://vkvideo.ru/playlist/-227011779_50 VK Видео] |
|
| |
|
| Ссылка на GitHub с материалами курса: [https://github.com/greedisneutral/NLP-course GitHub repository] | | ==Материалы курса NLP-2== |
| | Ссылка на плейлист курса на YouTube: [https://www.youtube.com/playlist?list=PLmA-1xX7IuzBNvYG86AaqwYv96p6onnyV YouTube-playlist] |
|
| |
|
| {| class="wikitable"
| | Ссылка на плейлист в VK: [https://vkvideo.ru/playlist/-227011779_58 VK Видео] |
| |-
| |
| ! Занятие !! Тема !! Дата !! Материалы для самоподготовки к семинарам !! Дополнительные материалы
| |
| |-
| |
| | style="background:#eaecf0;" | '''1''' [[https://www.youtube.com/watch?v=QSLSIiQ6Mcs&list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4&index=2&pp=iAQB Запись, YouTube]] || [[https://github.com/greedisneutral/NLP-course/blob/master/1.Embeddings/Word_Embeddings.pdf Слайды], [https://github.com/greedisneutral/NLP-course/blob/master/1.Embeddings/NLP_seminar_week_1.ipynb Тетрадка]] Карта задач и методов NLP, эмбеддинги слов (word embeddings) || 06.11.24 (Ср.) || ||
| |
| |-
| |
| | style="background:#eaecf0;" | '''2''' [[https://www.youtube.com/watch?v=QjmqbOe84vY&list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4&index=1&pp=iAQB Запись, YouTube]] || [[https://github.com/greedisneutral/NLP-course/blob/master/2.Classification/Classification.pdf Слайды], [https://github.com/greedisneutral/NLP-course/blob/master/2.Classification/NLP_seminar_week_2.ipynb Тетрадка]] Классификация текста || 14.11.24 (Чт.) || ||
| |
| |-
| |
| | style="background:#eaecf0;" | '''3''' [[https://www.youtube.com/watch?v=q9EUpCF97VI&list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4&index=3&pp=iAQB Запись]] || [[https://github.com/greedisneutral/NLP-course/blob/master/3.Seq2seq/seq2seq_attention.pdf Слайды], [https://github.com/greedisneutral/NLP-course/blob/master/3.Seq2seq/NLP_seminar_week_3.ipynb Тетрадка], [https://github.com/greedisneutral/NLP-course/blob/master/3.Seq2seq/seq2seq_attention_whiteboard.pdf Доска]] Seq2seq, Трансформер и механим внимания || 21.11.24 (Чт.) || || [https://colah.github.io/posts/2015-08-Understanding-LSTMs/ Ссылка] на качественное объяснение того, как работает LSTM (да и RNN вообще)
| |
| |-
| |
| | style="background:#eaecf0;" | '''4''' [[https://www.youtube.com/watch?v=RFdDgHDiKMs&list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4&index=4&pp=iAQB Запись]] || [[https://github.com/greedisneutral/NLP-course/blob/master/4.Transformers/Transformers.pdf Слайды], [https://github.com/greedisneutral/NLP-course/blob/master/4.Transformers/HSE_NLP_seminar_4.ipynb Ноутбук]] Transfer learning: BERT, ELMO, GPT || 28.11.24 (Чт.) ||
| |
| Замечательный [https://jalammar.github.io/illustrated-transformer/ разбор] архитектуры от Джея Аламмара
| |
|
| |
|
| Прекрасный [https://lena-voita.github.io/nlp_course/seq2seq_and_attention.html разбор] от Лены Войты в рамках NLP Course | For You
| |
|
| |
|
| Уже ставшая бородатой [https://arxiv.org/abs/1706.03762 оригинальная статья] Attention is all you need
| | Ссылка на GitHub с материалами курсов: [https://github.com/greedisneutral/NLP-course GitHub repository] |
| ||
| |
| |-
| |
| | style="background:#eaecf0;" | '''5''' [[https://www.youtube.com/watch?v=Mi21czVUyCo&list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4&index=5&pp=iAQB Запись]] || [[https://github.com/greedisneutral/NLP-course/blob/master/5.Pretrain_finetune/Pretrain_finetune_slides.pdf Слайды], [https://github.com/greedisneutral/NLP-course/blob/master/5.Pretrain_finetune/Pretrain_finetune_whiteboard.pdf Доска]] Обучение Больших языковых моделей (Large Language Models): Обучение с нуля vs Тонкая настройка (finetuning) || 12.12.24 (Чт.) || ||
| |
| |-
| |
| | style="background:#eaecf0;" | '''6''' [[https://www.youtube.com/watch?v=C5HRjlQLMBM&list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4&index=6&pp=iAQB Запись]] || [[https://github.com/greedisneutral/NLP-course/blob/master/6.RLHF/RLHF_slides.pdf Слайды], [https://github.com/greedisneutral/NLP-course/blob/master/6.RLHF/RLHF_whiteboard.pdf Доска]] Reinforcement Learning From Human Feedback (RLHF), Direct Preference Optimization (DPO) || 14.12.24 (Сб.) || ||
| |
| |-
| |
| | style="background:#eaecf0;" | '''7''' [[https://www.youtube.com/watch?v=LT_pJ56tVso&list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4&index=7&pp=iAQB Запись]] || [[https://github.com/greedisneutral/NLP-course/blob/master/7.Efficiency/Efficiency_slides.pdf Слайды]] Практические подходы для эффективного обучения и развертывания LLM || 16.12.24 (Пн.) || [https://github.com/mryab/efficient-dl-systems Хороший курс] по взрослой работе с моделями ||
| |
| |-
| |
| | style="background:#eaecf0;" | '''8''' [[https://github.com/greedisneutral/NLP-course/blob/master/8.RAG_Tools/NLP%20system%20showcase_whiteboard.pdf Запись]] || [[https://github.com/greedisneutral/NLP-course/blob/master/8.RAG_Tools/RAG_Tools_slides.pdf Доска], [https://github.com/greedisneutral/NLP-course/blob/master/8.RAG_Tools/NLP%20system%20showcase_whiteboard.pdf Ноутбук]] Retrieval-Augmented Generation (RAG), Tools, LLM-based System Overview || 19.12.24 (Чт.) ||
| |
| RAG and Tooling Frameworks: https://www.llamaindex.ai/framework, https://www.langchain.com/, https://huggingface.co/docs/transformers/en/agents
| |
| | |
| Graph RAG-specific Repos: https://github.com/HKUDS/LightRAG, https://github.com/microsoft/graphrag
| |
| ||
| |
| Faiss (vectorDB): https://github.com/facebookresearch/faiss, https://github.com/facebookresearch/faiss/wiki/Guidelines-to-choose-an-index
| |
| | |
| GraphDB (turn-on your VPN): https://neo4j.com/docs/getting-started/graph-database/
| |
| |}
| |
| | |
| === Записи консультаций ===
| |
| | |
| ==Формула оценивания==
| |
| | |
| === При участии в устном экзамене ===
| |
| | |
| Оценка = 0.3*О<sub>Устный экзамен</sub> + 0.7*О<sub>ДЗ</sub>
| |
| | |
| === При отказе от устного экзамене ===
| |
О курсе
Natural Language Processing (NLP) — это область искусственного интеллекта, направленная на решение задач, связанных с обработкой человеческого языка, таких как извлечение информации, машинный перевод, автоматическое суммирование и диалоговые системы. За последние годы мы увидели значительный прогресс благодаря статистическому и глубокому обучению. Демонстрация возможностей современных диалоговых систем по типу ChatGPT от OpenAI позволила нам переосмыслить перспективы NLP в повседневной жизни, что привлекло к области внимание как со стороны исследователей и инженеров, так и институциональных инвесторов, готовых финансировать бурный рост отрасли.
Данный курс ставит перед собой следующие цели:
- познакомить слушателя с ключевыми направлениями современного развития области, сформировать понимание запросов, с которыми сталкиваются инженеры и исследователи в повседневной работе.
- развить понимание фундаментальных концепций, необходимых для самостоятельного решения задач как прикладного, так и исследовательского характера.
- познакомить слушателя с инструментами, необходимыми для решения прикладных задач.
Курс основан на материалах Школы Анализа Данных Яндекса (ШАД), CS224n by Stanford, а также личном опыте автора. Курс приоритезирует понимание слушателями пространства существующих на сегодня в отрасли задач и умение их решать над полнотой освещения исторически важных, однако на текущий день устаревших концепций
Контакты
Преподаватель: Хажгериев Мурат Анзорович (@greedisneutral)
Материалы курса NLP-1
Ссылка на плейлист курса на YouTube: YouTube-playlist
Ссылка на плейлист в VK: VK Видео
Материалы курса NLP-2
Ссылка на плейлист курса на YouTube: YouTube-playlist
Ссылка на плейлист в VK: VK Видео
Ссылка на GitHub с материалами курсов: GitHub repository