https://wiki.cs.hse.ru/api.php?action=feedcontributions&feedformat=atom&user=Nikita+SmirnovWiki - Факультет компьютерных наук - Вклад [ru]2026-09-26T09:56:24ZВкладMediaWiki 1.43.9https://wiki.cs.hse.ru/index.php?title=%D0%98%D0%BD%D1%82%D0%B5%D0%BB%D0%BB%D0%B5%D0%BA%D1%82%D1%83%D0%B0%D0%BB%D1%8C%D0%BD%D1%8B%D0%B9_%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D1%82%D0%B5%D0%BA%D1%81%D1%82%D0%BE%D0%B2_2020/2021&diff=53117Интеллектуальный анализ текстов 2020/20212021-04-10T11:59:44Z<p>Nikita Smirnov: Добавлены материалы лекции 1</p>
<hr />
<div>== Аннотация ==<br />
<br />
Рост доступной текстовой информации ускорил развитие научной области, известной как автоматическая обработка естественного языка ''(англ. Natural Language Processing)''. В рамках данного курса студенты ознакомятся с задачами, которые решает NLP как с помощью классических, так и с помощью нейросетевых методов. В частности будут разобраны задачи классификации текстов, векторизации слов и выделения тематик в тексте. В качестве выпускного проекта студентам будет предложено провести анализ корпуса текста с использованием освоенных навыков. Курс основан на онлайн курсе “Natural Language Processing”, [https://www.coursera.org/learn/language-processing URL] (платформа – Coursera, разработчик – ВШЭ).<br />
<br />
== Цель освоения дисциплины ==<br />
<br />
# Формирование у студентов базовых теоретических знаний и практических навыков в области автоматической обработки естественного языка.<br />
<br />
<br />
== Планируемые результаты обучения ==<br />
<br />
* Понимание идеи языковых моделей, разработка языковой модели с помощью рекуррентной нейронной сети<br />
<br />
* Понимание основного пайплайна обработки текстовой информации и умение применять его на практике<br />
<br />
* Понимание принципов построения векторных представлений слов и текстов<br />
<br />
* Понимание принципов работы моделей машинного перевода<br />
<br />
* Понимание элементов архитектуры диалоговых систем<br />
<br />
* Разработка собственного классификатора текстов и алгоритма выявления тематик<br />
<br />
== Содержание учебной дисциплины ==<br />
<br />
*'''Введение в классификацию текстов'''<br />
<br />
Изучение основных шагов в обработке текстовой информации;<br />
Основы обработки текстов на Python. Библиотека Gensim. Представление текста как “мешка слов”. TF-IDF. Разработка классификатора текстов.<br />
<br />
*'''Языковые модели и разметка последовательностей'''<br />
<br />
Применение LSTM для задачи распознавания именованных сущностей; Моделирование языка с помощью n-gram и рекуррентных нейронных сетей; Оценка качества моделей<br />
<br />
*'''Дистрибутивная семантика и тематические модели'''<br />
<br />
Модели word2vec, skipgram, CBOW, fastText и другие способы векторного представления слов; Создание поисковой системы с помощью векторного представления предложений; Обзор тематических моделей<br />
<br />
*'''Модели преобразования последовательности в последовательность'''<br />
<br />
Модели машинного перевода; Обучение нейронной сети для решения задачи преобразования последовательностей; Механизмы внимания<br />
<br />
*'''Диалоговые системы'''<br />
<br />
Архитектуры диалоговых систем; <br />
<br />
== Текущий контроль ==<br />
<br />
=== Индивидуальный проект ===<br />
* '''Форма контроля:''' Индивидуальный проект<br />
* '''Критерии оценивания:''' Вместе с заданием по проекту выдаются требования к результатам и сообщается максимальный балл за выполнение каждого из требований. Итоговая оценка за работу вычисляется как сумма набранных баллов или по правилам, прописанным в тексте работы, при их наличии. За задания могут выставляться частичные баллы в соответствие с долей выполненного задания, если критерии сформулированы в тексте задания.<br />
* '''Комментарий:''' Индивидуальный проект состоит из отдельных заданий за которые выставляются частичные баллы<br />
<br />
=== Оценка онлайн курса ===<br />
* '''Форма контроля:''' Оценка онлайн курса<br />
* '''Критерии оценивания:''' Для каждого задания в работе указано, сколько баллов получает студент при его полностью корректном выполнении. Итоговая оценка за работу вычисляется как сумма набранных баллов или по правилам, прописанным в тексте работы, при их наличии, и приводится к десятибалльной шкале. За задания могут выставляться частичные баллы в соответствие с долей выполненного задания, если критерии сформулированы в тексте задания.<br />
* '''Комментарий:''' Курс “Natural Language Processing” на платформе Coursera [URL: https://www.coursera.org/learn/language-processing]<br />
<br />
=== Экзамен ===<br />
* '''Форма контроля:''' Экзамен<br />
* '''Критерии оценивания:''' Для каждого задания в работе указано, сколько баллов получает студент при его полностью корректном выполнении. Итоговая оценка за работу вычисляется как сумма набранных баллов или по правилам, прописанным в тексте работы, при их наличии. За задания могут выставляться частичные баллы в соответствие с долей выполненного задания, если критерии сформулированы в тексте задания.<br />
* '''Комментарий:''' Экзамен проводится в письменной форме. <br />
<br />
== Промежуточная аттестация ==<br />
'''Промежуточная аттестация (4 модуль)'''<br />
* 0.4 Оценка онлайн-курса<br />
* 0.3 Индивидуальный проект<br />
* 0.3 Экзамен<br />
<br />
'''Правила округления:'''<br />
<br />
Стандартное арифметическое округление<br />
<br />
== Материалы занятий ==<br />
* [https://docs.google.com/presentation/d/e/2PACX-1vTFlVkkj9ozrFIpTJes0yzTakg1RhWjYxcgsgxLhBXscPWnKBuZ3TMknBUhbjqTcQ/pub?start=false&loop=false&delayms=60000 Презентация с занятия 1] <br />
<br />
== Литература ==<br />
===Рекомендуемая основная литература===<br />
*Гудфеллоу Я., Бенджио И., Курвилль А. - Глубокое обучение - Издательство "ДМК Пресс" - 2018 - 652с. - ISBN: 978-5-97060-618-6 - Текст электронный // ЭБС ЛАНЬ - URL: https://e.lanbook.com/book/107901 <br />
<br />
===Рекомендуемая дополнительная литература===<br />
* Goldberg, Y. (2017). Neural Network Methods in Natural Language Processing. [San Rafael, California]: Morgan & Claypool Publishers. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsebk&AN=1506512 <br />
* Beysolow, T. (2018). Applied Natural Language Processing with Python : Implementing Machine Learning and Deep Learning Algorithms for Natural Language Processing. [Berkeley, CA]: Apress. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsebk&AN=1892182 <br />
<br />
== Программное обеспечение ==<br />
* Anaconda Community / ''Свободное лицензионное соглашение''<br />
* Microsoft Office Professional Plus 2010 / ''Из внутренней сети Университета''<br />
* Microsoft Windows 7 Professional RUS / ''Из внутренней сети Университета''</div>Nikita Smirnovhttps://wiki.cs.hse.ru/index.php?title=%D0%98%D0%BD%D1%82%D0%B5%D0%BB%D0%BB%D0%B5%D0%BA%D1%82%D1%83%D0%B0%D0%BB%D1%8C%D0%BD%D1%8B%D0%B9_%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D1%82%D0%B5%D0%BA%D1%81%D1%82%D0%BE%D0%B2_2020/2021&diff=53113Интеллектуальный анализ текстов 2020/20212021-04-10T10:42:28Z<p>Nikita Smirnov: Создана статья</p>
<hr />
<div>== Аннотация ==<br />
<br />
Рост доступной текстовой информации ускорил развитие научной области, известной как автоматическая обработка естественного языка ''(англ. Natural Language Processing)''. В рамках данного курса студенты ознакомятся с задачами, которые решает NLP как с помощью классических, так и с помощью нейросетевых методов. В частности будут разобраны задачи классификации текстов, векторизации слов и выделения тематик в тексте. В качестве выпускного проекта студентам будет предложено провести анализ корпуса текста с использованием освоенных навыков. Курс основан на онлайн курсе “Natural Language Processing”, [https://www.coursera.org/learn/language-processing URL] (платформа – Coursera, разработчик – ВШЭ).<br />
<br />
== Цель освоения дисциплины ==<br />
<br />
# Формирование у студентов базовых теоретических знаний и практических навыков в области автоматической обработки естественного языка.<br />
<br />
<br />
== Планируемые результаты обучения ==<br />
<br />
* Понимание идеи языковых моделей, разработка языковой модели с помощью рекуррентной нейронной сети<br />
<br />
* Понимание основного пайплайна обработки текстовой информации и умение применять его на практике<br />
<br />
* Понимание принципов построения векторных представлений слов и текстов<br />
<br />
* Понимание принципов работы моделей машинного перевода<br />
<br />
* Понимание элементов архитектуры диалоговых систем<br />
<br />
* Разработка собственного классификатора текстов и алгоритма выявления тематик<br />
<br />
== Содержание учебной дисциплины ==<br />
<br />
*'''Введение в классификацию текстов'''<br />
<br />
Изучение основных шагов в обработке текстовой информации;<br />
Основы обработки текстов на Python. Библиотека Gensim. Представление текста как “мешка слов”. TF-IDF. Разработка классификатора текстов.<br />
<br />
*'''Языковые модели и разметка последовательностей'''<br />
<br />
Применение LSTM для задачи распознавания именованных сущностей; Моделирование языка с помощью n-gram и рекуррентных нейронных сетей; Оценка качества моделей<br />
<br />
*'''Дистрибутивная семантика и тематические модели'''<br />
<br />
Модели word2vec, skipgram, CBOW, fastText и другие способы векторного представления слов; Создание поисковой системы с помощью векторного представления предложений; Обзор тематических моделей<br />
<br />
*'''Модели преобразования последовательности в последовательность'''<br />
<br />
Модели машинного перевода; Обучение нейронной сети для решения задачи преобразования последовательностей; Механизмы внимания<br />
<br />
*'''Диалоговые системы'''<br />
<br />
Архитектуры диалоговых систем; <br />
<br />
== Текущий контроль ==<br />
<br />
=== Индивидуальный проект ===<br />
* '''Форма контроля:''' Индивидуальный проект<br />
* '''Критерии оценивания:''' Вместе с заданием по проекту выдаются требования к результатам и сообщается максимальный балл за выполнение каждого из требований. Итоговая оценка за работу вычисляется как сумма набранных баллов или по правилам, прописанным в тексте работы, при их наличии. За задания могут выставляться частичные баллы в соответствие с долей выполненного задания, если критерии сформулированы в тексте задания.<br />
* '''Комментарий:''' Индивидуальный проект состоит из отдельных заданий за которые выставляются частичные баллы<br />
<br />
=== Оценка онлайн курса ===<br />
* '''Форма контроля:''' Оценка онлайн курса<br />
* '''Критерии оценивания:''' Для каждого задания в работе указано, сколько баллов получает студент при его полностью корректном выполнении. Итоговая оценка за работу вычисляется как сумма набранных баллов или по правилам, прописанным в тексте работы, при их наличии, и приводится к десятибалльной шкале. За задания могут выставляться частичные баллы в соответствие с долей выполненного задания, если критерии сформулированы в тексте задания.<br />
* '''Комментарий:''' Курс “Natural Language Processing” на платформе Coursera [URL: https://www.coursera.org/learn/language-processing]<br />
<br />
=== Экзамен ===<br />
* '''Форма контроля:''' Экзамен<br />
* '''Критерии оценивания:''' Для каждого задания в работе указано, сколько баллов получает студент при его полностью корректном выполнении. Итоговая оценка за работу вычисляется как сумма набранных баллов или по правилам, прописанным в тексте работы, при их наличии. За задания могут выставляться частичные баллы в соответствие с долей выполненного задания, если критерии сформулированы в тексте задания.<br />
* '''Комментарий:''' Экзамен проводится в письменной форме. <br />
<br />
== Промежуточная аттестация ==<br />
'''Промежуточная аттестация (4 модуль)'''<br />
* 0.4 Оценка онлайн-курса<br />
* 0.3 Индивидуальный проект<br />
* 0.3 Экзамен<br />
<br />
'''Правила округления:'''<br />
<br />
Стандартное арифметическое округление<br />
<br />
== Литература ==<br />
===Рекомендуемая основная литература===<br />
*Гудфеллоу Я., Бенджио И., Курвилль А. - Глубокое обучение - Издательство "ДМК Пресс" - 2018 - 652с. - ISBN: 978-5-97060-618-6 - Текст электронный // ЭБС ЛАНЬ - URL: https://e.lanbook.com/book/107901 <br />
<br />
===Рекомендуемая дополнительная литература===<br />
* Goldberg, Y. (2017). Neural Network Methods in Natural Language Processing. [San Rafael, California]: Morgan & Claypool Publishers. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsebk&AN=1506512 <br />
* Beysolow, T. (2018). Applied Natural Language Processing with Python : Implementing Machine Learning and Deep Learning Algorithms for Natural Language Processing. [Berkeley, CA]: Apress. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsebk&AN=1892182 <br />
<br />
== Программное обеспечение ==<br />
* Anaconda Community / ''Свободное лицензионное соглашение''<br />
* Microsoft Office Professional Plus 2010 / ''Из внутренней сети Университета''<br />
* Microsoft Windows 7 Professional RUS / ''Из внутренней сети Университета''</div>Nikita Smirnov