Автоматическая обработка текста 25/26
О курсе
Natural Language Processing (NLP) — это область искусственного интеллекта, направленная на решение задач, связанных с обработкой человеческого языка, таких как извлечение информации, машинный перевод, автоматическое суммирование и диалоговые системы. За последние годы мы увидели значительный прогресс благодаря статистическому и глубокому обучению. Демонстрация возможностей современных диалоговых систем по типу ChatGPT от OpenAI позволила нам переосмыслить перспективы NLP в повседневной жизни, что привлекло к области внимание как со стороны исследователей и инженеров, так и институциональных инвесторов, готовых финансировать бурный рост отрасли.
Данный курс ставит перед собой следующие цели:
- познакомить слушателя с ключевыми направлениями современного развития области, сформировать понимание запросов, с которыми сталкиваются инженеры и исследователи в повседневной работе. - развить понимание фундаментальных концепций, необходимых для самостоятельного решения задач как прикладного, так и исследовательского характера. - познакомить слушателя с инструментами, необходимыми для решения прикладных задач.
Курс основан на материалах Школы Анализа Данных Яндекса (ШАД), CS224n by Stanford, а также личном опыте автора. Курс приоритезирует понимание слушателями пространства существующих на сегодня в отрасли задач и умение их решать над полнотой освещения исторически важных, однако на текущий день устаревших концепций
Контакты
Преподаватель: Хажгериев Мурат Анзорович (@greedisneutral)
Материалы курса
Ссылка на плейлист курса на YouTube: YouTube-playlist
Ссылка на плейлист в VK: VK Видео
Ссылка на GitHub с материалами курса: GitHub repository
| Занятие | Тема | Дата | Материалы для самоподготовки к семинарам | Дополнительные материалы |
|---|---|---|---|---|
| 1 [Запись, YouTube] | [Слайды, Тетрадка] Карта задач и методов NLP, эмбеддинги слов (word embeddings) | 06.11.24 (Ср.) | ||
| 2 [Запись, YouTube] | [Слайды, Тетрадка] Классификация текста | 14.11.24 (Чт.) | ||
| 3 [Запись] | [Слайды, Тетрадка, Доска] Seq2seq, Трансформер и механим внимания | 21.11.24 (Чт.) | Ссылка на качественное объяснение того, как работает LSTM (да и RNN вообще) | |
| 4 [Запись] | [Слайды, Ноутбук] Transfer learning: BERT, ELMO, GPT | 28.11.24 (Чт.) |
Замечательный разбор архитектуры от Джея Аламмара Прекрасный разбор от Лены Войты в рамках NLP Course | For You Уже ставшая бородатой оригинальная статья Attention is all you need |
|
| 5 [Запись] | [Слайды, Доска] Обучение Больших языковых моделей (Large Language Models): Обучение с нуля vs Тонкая настройка (finetuning) | 12.12.24 (Чт.) | ||
| 6 [Запись] | [Слайды, Доска] Reinforcement Learning From Human Feedback (RLHF), Direct Preference Optimization (DPO) | 14.12.24 (Сб.) | ||
| 7 [Запись] | [Слайды] Практические подходы для эффективного обучения и развертывания LLM | 16.12.24 (Пн.) | Хороший курс по взрослой работе с моделями | |
| 8 [Запись] | [Доска, Ноутбук] Retrieval-Augmented Generation (RAG), Tools, LLM-based System Overview | 19.12.24 (Чт.) |
RAG and Tooling Frameworks: https://www.llamaindex.ai/framework, https://www.langchain.com/, https://huggingface.co/docs/transformers/en/agents Graph RAG-specific Repos: https://github.com/HKUDS/LightRAG, https://github.com/microsoft/graphrag |
Faiss (vectorDB): https://github.com/facebookresearch/faiss, https://github.com/facebookresearch/faiss/wiki/Guidelines-to-choose-an-index GraphDB (turn-on your VPN): https://neo4j.com/docs/getting-started/graph-database/ |
Записи консультаций
Формула оценивания
При участии в устном экзамене
Оценка = 0.3*ОУстный экзамен + 0.7*ОДЗ