Wiki - Факультет компьютерных наук - Вклад [ru]

Анализ неструктурированных данных

2017-12-05T16:13:41Z

Dmitry:

== О курсе ==

Курс читается для студентов 3-го и 4-го курсов [https://cs.hse.ru/ami ПМИ ФКН ВШЭ] в 1-2 модулях.

'''Лекторы:''' Петр Алексеевич Ромов, Екатерина Леонидовна Черняк

Лекции проходят по вторникам, 15:10 – 16:30 , ауд. 509.

=== Полезные ссылки ===

[https://www.hse.ru/edu/courses/205512723 Карточка курса]

Репозиторий с материалами на GitHub: https://github.com/HSE-NLP

Сдача домашних заданий по электронной почте: [mailto:http://amilinguaHW@gmail.com amilinguaHW@gmail.com]

telegram: https://t.me/nlp_hse

=== Семинары ===

{| class="wikitable"
|-
! Группа !! Преподаватель !! Расписание
|-
| АДИС || Дмитрий Фролов || вторник, 18:10 – 19:30, ауд. 501
|-
| БПМИ141 МОП || Анна Шишкова || четверг, 13:40 – 15:00, ауд. 501
|-
| БПМИ142 МОП || Мурат Апишев || четверг, 10:30 – 11:50, ауд. 322
|-
|}

=== Дата выдачи/сдачи проектных заданий ===

# Проект 1, часть 1 до 23:59 10.10.2017 [https://www.dropbox.com/s/czzb0meu45l5tvj/NLP_project1.pdf?dl=0 (ссылка)]
# Проект 1, часть 2 до 23:59 26.11.2017 [https://www.dropbox.com/s/h8oqt082v6ac68f/NLP_project2.pdf?dl=0 (ссылка)]
# Проект 2, до 23:59 20.12.2017 [https://drive.google.com/open?id=1jLPAIUt5Eb_9ORFnD-XFAVHCyLj00jZQ (ссылка)]

=== Как писать отчёт ===

1) Содержание отчёта. Вне зависимости от того, пишете ли вы отчёт в latex, или в jupyter notebook или ещё где-то, нормальный отчёт должен включать в себя:

— Краткую постановку задачи и формулировку задания

— Описание минимума необходимой теории и/или описание используемых инструментов

— Подробное пошаговый рассказ о проделанной работе

— Аккуратно оформленные результаты

— Внятные выводы

Все эти пункты долны быть чётко отмечены заголовками, если они слишком велики, то можно использовать подзаголовки. Словом, читатель не должен тратить время на навигацию.

2) Стилистика. Отчёт —- это несколько формальный текст. Он не пишется от первого лица. В нём не надо рассказывать про свою криворукость, про то, как красиво поют птички за окном и т.п. Не надо обращаться к читателю (особенно на "ты", среди вас уже есть такие "отличившиеся"), ни в тексте, ни в комментах к коду (если это ноутбук). Комментарии к коду, кстати, лучше писать на английском.

Текст не должен содержать миллиарда опечаток и должен удовлетворять хоть каким-то минимальным стилистическим требованиям. Русский язык богат синонимами, и этим нужно пользоваться. Вот такие вещи писать НЕ надо:

"Самое важное улучшение было в улучшении Prior Model (путь улучшения тоже взят из Word Alignment Models")."

Слова в предложениях должны быть согласованными.

3) Если в отчёте (презентации) фигурируют картинки из сети, они должны быть в тему. И к ним надо обязательно ставить маленькую подпись с указанием источника, или же прописать его явно в тексте.

Подсказка (просто на всякий случай): задание делается гораздо качественнее и аккуратнее, если его не откладывать на последний вечер;)

=== Система оценок ===

Результирующая оценка рассчитывается по формуле:

Oитоговая = 0.8 * Oнакопл + 0.2 * Оэкз

Накопленная оценка рассчитывается по формуле:

Oнакопл = 0.4 * Oпроект1 + 0.4 * Oпроект2 + 0.2 * Одз+cем

[https://docs.google.com/spreadsheets/d/1T_1LqhQ4fWJGh3s-lA0MsNoMTYIXIH9iUY3bu-Vpcrg/edit?usp=sharing, (ведомость)]

=== Программа ===

==== Неделя 1 (4-10 сентября) ====

'''Лекция (Е. Черняк)''': Обзор курса: мастер-классы, кейсы, проекты. Введение в автоматическую обработку текстов. [https://www.dropbox.com/s/cisfnsahepuiac9/1_intro.pdf?dl=0 (слайды)]

'''Семинар''': Библиотека nltk
[https://www.dropbox.com/s/81ur98bn5wa9thq/sem1.pdf?dl=0 (слайды и дз)]
[https://www.dropbox.com/s/c9e1mqmmm7m2bcn/Sem%201.ipynb?dl=0 (код с семинара)]

==== Неделя 2 (11-17 сентября) ====

'''Лекция (П. Ромов)''': Форматы данных, способы хранения, принципы работы интернета. Краулинг. Regexp. Unicode. [https://www.dropbox.com/s/xm5ob8mkm7lrf3p/HSE_NLP_Lection2.pdf?dl=0 (слайды)]

'''Семинар''': Библиотеки lxml, beautifulsoup, scrapy. Задание для группы 3-4 курс, вечер: [http://dmitryfrolov.com/pdf/task_1.pdf (ссылка)] (дедлайн на все 23.59 14.09, делается и присылается индивидуально!). [https://www.dropbox.com/s/0kyl4w7rhaih90f/sem2.pdf?dl=0 (слайды с семинара)]

==== Неделя 3 (18-24 сентября) ====

'''Лекция (Е. Черняк)''': Морфологический анализ, основные задачи и подходы. Стеммер Портера, поиск по словарю, скрытые цепи Маркова. Современные задачи морфологического анализа. [https://www.dropbox.com/s/urdf9cpsnp6uvml/2_morph.pdf?dl=0 (слайды)]

'''Семинар''': SENNA, Томита-парсер, отношения между словами. Задание для группы 3-4 курс, вечер: [http://dmitryfrolov.com/pdf/task_3.pdf (ссылка)], слайды семинара 19.09 [http://dmitryfrolov.com/pdf/sem3_new.pdf (ссылка)]. Задание для БПМИ142 МОП [http://wiki.cs.hse.ru/images/7/7c/Task.png (ссылка)]. (дедлайн на все 23.59 21.09, делается и присылается индивидуально!). [https://www.dropbox.com/s/hvojoqp7zb3p4sk/sem3__Copy_.pdf?dl=0 (слайды с семинара вместе с заданием)]

==== Неделя 4 (25 сентября – 1 октября) ====

'''Лекция (приглашённый лектор Иван Смуров):''' Синтаксический анализ (syntactic parsing) - одна из классических задач NLP, заключающейся в построении по последовательности текста соответствующего ей синтаксического разбора. Задача имеет продолжительную и богатую историю и решалась с помощью различных методов - от вероятностных контекстно-свободных грамматик до нейросетей с использованием sequence-to-sequence архитектур. На лекции будет рассказано о популярном в литературе подходе - использованию transition-based парсеров. Этод подход, восходящий к shift-reduce анализаторам классических логик, был впервые использован в применении к задаче синтаксического анализа Й. Нивре в 2003 году. В 2014 году метод был адаптирован для использования нейросетей Д. Ченом и К. Маннингом из Стенфордского университета и, наконец, в 2016 он послужил основой для популярного парсера SynaxNet, разработанного в Google. [https://www.dropbox.com/s/yceqgugsc6tdcxs/transition-based_%D0%BF%D0%B0%D1%80%D1%81%D0%B5%D1%80%D1%8B.pptx?dl=0 (слайды)]

О лекторе:
Иван Смуров – сотрудник кафедр Алгоритмов и Технологий Программирования и Компьютерной Лингвистики МФТИ, разрабатчик научно-исследовательского отдела компании ABBYY. Является специалистом по машинному обучению, компьютерной и вычислительной лингвистике, математической логике. Область основных интересов – обработка текстов на естественных языках.

'''Семинар:''' SyntaxNet, cинтаксические парсеры, универсальные зависимости [https://yadi.sk/d/OddFv-y33NBshk (слайды)]

[http://dmitryfrolov.com/pdf/task4.jpg (дз для 3 курса)]

==== Неделя 5 (2 октября – 8 октября) ====

'''Лекция (Е. Черняк):''' Статистический анализ текстов. Законы Ципфа и Хипса. Методы извлечения ключевых слов и словосочетаний. Векторная модель. [https://www.dropbox.com/s/fzqcvqb7qu4d27j/4_StatAnalysis.pdf?dl=0 (слайды)]

'''Семинар:''' Ключевые слова, n-граммы, коллокации [https://www.dropbox.com/s/98grun1bl2pqy2p/sem5.pdf?dl=0 (слайды и дз)], [https://yadi.sk/i/BND6d9P73NZLCE (слайды для группы 142)]

==== Неделя 6 (9 октября – 15 октября) ====

'''Лекция (приглашенный лектор Анна Потапенко):''' Дистрибутивная семантика. В курсе вы уже поговорили о морфологии и синтаксисе, в этой лекции мы поднимемся на следующий уровень анализа языка и поговорим о семантике - о том, как из текстов извлекать смысл отдельных слов и целых предложений. Смысл будем кодировать векторами - обычными векторами вещественных чисел. Мы начнем с классических моделей - подсчета PMI слов и применения SVD для понижения размерности матриц. Затем поговорим о том, как в эту картину укладывается нашумевший word2vec. Разберемся, почему это не deep learning, и почему король - мужчина + женщина != королева. Затем поговорим о других популярных и более новых подходах обучения векторных представлений слов: GloVe, FastText, StarSpace. Во второй части лекции перейдем к предложениям и поговорим о 3 типах нейронных сетей, позволяющих строить их векторные представления: это конволюционные, рекуррентные и рекурсивные нейронные сети. Здесь мы увидим, что модели синтаксиса и другие лингвистические знания хорошо помогают собрать из отдельных слов смысл всего предложения. [https://www.dropbox.com/s/f3hklz6yko4ohqs/Potapenko_lecture_distr.pdf?dl=0 (слайды)]

О лекторе: Анна занимается построением векторных представлений текста в аспирантуре у К.В. Воронцова. За время аспирантуры Анна дважды стажировалась в компании Google, где оба раза занималась исследованиями в области NLP - дистрибутивной семантикой и диалоговыми системами. Анна закончила ВМК МГУ и Школу Анализа Данных Яндекса, теперь она ведет там семинары, а также готовит онлайн-курс по NLP на платформе Coursera.

==== Неделя 7 (16 октября – 22 октября) ====

'''Лекция (М. Апишев):''' Тематическое моделирование. Определения. PLSA, LDA, аддитивная регуляризация [https://www.dropbox.com/s/4mjxzjk6njvzzrl/MelLain_HSE_nlp_TM_lection%20%283%29.pdf?dl=0 (слайды)].

'''Лекция у журналистов данных (Е. Черняк):''' Классификация текстов, метод наивного Байеса, логистическая регрессия [https://www.dropbox.com/s/tcj33fdgvetdvg3/classification.slides.html?dl=0 (слайды)].

'''Семинар:''' [https://yadi.sk/i/zct5pith3PYAmz Тематическое моделирование]

==== Неделя 8 (30 октября – 5 ноября) ====

'''Лекция у журналистов данных (Е. Черняк):''' Классификация текстов, метод наивного Байеса, логистическая регрессия, сверточные нейронные сети, Fast Text. [https://www.dropbox.com/s/kdcs4mvpb7o9cte/classification.slides%202.html?dl=0 (слайды)]

'''Семинар:''' Классификация и анализ тональности. [https://www.dropbox.com/s/sid2nto8gmjys2y/sem8.pdf?dl=0 (слайды и дз)]

==== Неделя 9 (6 ноября – 12 ноября) ====

'''Лекция (приглашенный лектор Алексей Шаграев):''' Информационный поиск.

В лекции будут обсуждаться различные прикладные задачи машинного обучения в информационном поиске, возникающие при разработке поисковых систем. Среди них:
- кластеризация новостных сообщений
- построение метрик качества для поисковых систем и оптимизация под них
- классическое ранжирование и обучение ранжированию по пользовательским данным
- разнообразие и свежесть в поисковой выдаче

[https://www.dropbox.com/s/0btntom44qve5q5/ML%20-%20%D0%B4%D0%BB%D1%8F%20%D0%BA%D1%80%D1%83%D1%82%D1%8B%D1%85%20%D1%81%D1%82%D1%83%D0%B4%D0%B5%D0%BD%D1%82%D0%BE%D0%B2.pptx?dl=0 (слайды)]

О лекторе: Алексей Шаграев, к.т.н., руководитель службы разработки свеже-социального поиска Яндекса

'''Семинар''' Информационный поиск [https://www.dropbox.com/s/h2u3f26jjpbgd9u/sem9___final.pdf?dl=0 (слайды)]

==== Неделя 10 (13 ноября – 19 ноября) ====

'''Лекция (Е. Черняк)''' Языковые модели. Счетные модели и нейронные модели. Реккурентные нейронные сети. LSTM.

'''Семинар''' Автоматическая генерация текстов [https://www.dropbox.com/s/7p7l0azbj948cnk/sem10.pdf?dl=0 (слайды)] [https://yadi.sk/i/jTNrjF283PzYz8 (слайды группы 142)]

==== Неделя 11 (20 ноября – 25 ноября) ====

'''Лекция (Е. Черняк)''' Извлечение информации: именованные сущности, отношения, факты и события. Использование методов классификации и методов классификации последовательностей. MEMM, CRF, BiLSTM-CRF.

'''Семинар''' [http://dmitryfrolov.com/pdf/sem11.pdf (слайды)]

==== Неделя 12 (27 ноября – 1 декабря) ====

'''Лекция (Е. Черняк)''' Генерация текстов. Обучение с подкреплением (reinforcment learning) в задачах генерации текстов (обзор). [https://www.dropbox.com/s/god4t70rwe1zlwm/1_NLG.pdf?dl=0 (слайды)]

'''Семинар''' Вопросно-ответные системы [http://dmitryfrolov.com/pdf/sem12.pdf (слайды)]

==== Неделя 13 (4 декабря– 12 декабря) ====

'''Лекция (приглашенный лектор Сергей Губанов):''' Исправление опечаток

Начиная с самых основ и заканчивая машинным обучением, будет рассказано о том, как устроен современный спеллчекер, способный обрабатывать поток поисковых запросов Яндекса.

О лекторе: Сергей Губанов, руководитель группы ядра машинного перевода, работаю над исправлением опечаток и над нейросетевым машинным переводом.

=== Рекомендуемые ресурсы ===

На английском
* Jurafsky & Martin [https://web.stanford.edu/~jurafsky/slp3/ (link) ]
* Курс Лауры Каллмайер по МО для АОТ [https://user.phil.hhu.de/~kallmeyer/MachineLearning/index.html (link)]
* Курс Нильса Раймерса по DL для АОТ [https://github.com/UKPLab/deeplearning4nlp-tutorial (link)]
* Курс в Оксфорде по DL для АОТ [https://github.com/oxford-cs-deepnlp-2017 (link)]
* Курс в Стенфорде по DL для AOT [http://cs224d.stanford.edu (link)]
* Материалы по обучению с подкреплением (Reinforcment Learning) [https://github.com/jiyfeng/rl4nlp (link)]

На русском (и про русский, в основном)
* НКРЯ [http://ruscorpora.ru (link)]
* Открытый корпус [http://opencorpora.org (link)]
* Дистрибутивные семантические модели для русского языка [http://rusvectores.org/ru/ (link)]
* Морфология [https://tech.yandex.ru/mystem/ (link)]
* Синтаксис [https://habrahabr.ru/post/317564/ (link)]
* Томита-парсер [https://tech.yandex.ru/tomita/ (link)]
* Все на свете: [http://mathlingvo.ru (mathlingvo)], [https://nlpub.org (nlpub)]
* Text Visualisation browser: [http://textvis.lnu.se (link)]

Ссылка на дополнительную литературу:
* [https://machinelearningmastery.com/books-on-natural-language-processing/] Books on natural language processing
* [http://eprints.lse.ac.uk/62548/1/Schonhardt-Bailey_text%20mining%20handbook.pdf/] Text mining for central banks

Литература
# Manning, Christopher D., and Hinrich Schütze. Foundations of statistical natural language processing. Vol. 999. Cambridge: MIT press, 1999.
# Martin, James H., and Daniel Jurafsky. "Speech and language processing." International Edition 710 (2000): 25.
# Cohen, Shay. "Bayesian analysis in natural language processing." Synthesis Lectures on Human Language Technologies 9, no. 2 (2016): 1-274.
# Goldberg, Yoav. "Neural Network Methods for Natural Language Processing." Synthesis Lectures on Human Language Technologies 10, no. 1 (2017): 1-309.

=== Используемые библиотеки ===
# NLTK [http://www.nltk.org (link)]
# pymorphy2 [https://pymorphy2.readthedocs.io/en/latest/ (link)]
# pymystem3 [https://github.com/Digsolab/pymystem3 (link)]
# readability [https://github.com/buriy/python-readability (link)]

Анализ неструктурированных данных

2017-12-05T16:10:26Z

Dmitry:

== О курсе ==

Курс читается для студентов 3-го и 4-го курсов [https://cs.hse.ru/ami ПМИ ФКН ВШЭ] в 1-2 модулях.

'''Лекторы:''' Петр Алексеевич Ромов, Екатерина Леонидовна Черняк

Лекции проходят по вторникам, 15:10 – 16:30 , ауд. 509.

=== Полезные ссылки ===

[https://www.hse.ru/edu/courses/205512723 Карточка курса]

Репозиторий с материалами на GitHub: https://github.com/HSE-NLP

Сдача домашних заданий по электронной почте: [mailto:http://amilinguaHW@gmail.com amilinguaHW@gmail.com]

telegram: https://t.me/nlp_hse

=== Семинары ===

{| class="wikitable"
|-
! Группа !! Преподаватель !! Расписание
|-
| АДИС || Дмитрий Фролов || вторник, 18:10 – 19:30, ауд. 501
|-
| БПМИ141 МОП || Анна Шишкова || четверг, 13:40 – 15:00, ауд. 501
|-
| БПМИ142 МОП || Мурат Апишев || четверг, 10:30 – 11:50, ауд. 322
|-
|}

=== Дата выдачи/сдачи проектных заданий ===

# Проект 1, часть 1 до 23:59 10.10.2017 [https://www.dropbox.com/s/czzb0meu45l5tvj/NLP_project1.pdf?dl=0 (ссылка)]
# Проект 1, часть 2 до 23:59 26.11.2017 [https://www.dropbox.com/s/h8oqt082v6ac68f/NLP_project2.pdf?dl=0 (ссылка)]
# Проект 2, до 23:59 20.12.2017 [https://drive.google.com/open?id=1jLPAIUt5Eb_9ORFnD-XFAVHCyLj00jZQ (ссылка)]

=== Как писать отчёт ===

1) Содержание отчёта. Вне зависимости от того, пишете ли вы отчёт в latex, или в jupyter notebook или ещё где-то, нормальный отчёт должен включать в себя:

— Краткую постановку задачи и формулировку задания

— Описание минимума необходимой теории и/или описание используемых инструментов

— Подробное пошаговый рассказ о проделанной работе

— Аккуратно оформленные результаты

— Внятные выводы

Все эти пункты долны быть чётко отмечены заголовками, если они слишком велики, то можно использовать подзаголовки. Словом, читатель не должен тратить время на навигацию.

2) Стилистика. Отчёт —- это несколько формальный текст. Он не пишется от первого лица. В нём не надо рассказывать про свою криворукость, про то, как красиво поют птички за окном и т.п. Не надо обращаться к читателю (особенно на "ты", среди вас уже есть такие "отличившиеся"), ни в тексте, ни в комментах к коду (если это ноутбук). Комментарии к коду, кстати, лучше писать на английском.

Текст не должен содержать миллиарда опечаток и должен удовлетворять хоть каким-то минимальным стилистическим требованиям. Русский язык богат синонимами, и этим нужно пользоваться. Вот такие вещи писать НЕ надо:

"Самое важное улучшение было в улучшении Prior Model (путь улучшения тоже взят из Word Alignment Models")."

Слова в предложениях должны быть согласованными.

3) Если в отчёте (презентации) фигурируют картинки из сети, они должны быть в тему. И к ним надо обязательно ставить маленькую подпись с указанием источника, или же прописать его явно в тексте.

Подсказка (просто на всякий случай): задание делается гораздо качественнее и аккуратнее, если его не откладывать на последний вечер;)

=== Система оценок ===

Результирующая оценка рассчитывается по формуле:

Oитоговая = 0.8 * Oнакопл + 0.2 * Оэкз

Накопленная оценка рассчитывается по формуле:

Oнакопл = 0.4 * Oпроект1 + 0.4 * Oпроект2 + 0.2 * Одз+cем

[https://docs.google.com/spreadsheets/d/1T_1LqhQ4fWJGh3s-lA0MsNoMTYIXIH9iUY3bu-Vpcrg/edit?usp=sharing, (ведомость)]

=== Программа ===

==== Неделя 1 (4-10 сентября) ====

'''Лекция (Е. Черняк)''': Обзор курса: мастер-классы, кейсы, проекты. Введение в автоматическую обработку текстов. [https://www.dropbox.com/s/cisfnsahepuiac9/1_intro.pdf?dl=0 (слайды)]

'''Семинар''': Библиотека nltk
[https://www.dropbox.com/s/81ur98bn5wa9thq/sem1.pdf?dl=0 (слайды и дз)]
[https://www.dropbox.com/s/c9e1mqmmm7m2bcn/Sem%201.ipynb?dl=0 (код с семинара)]

==== Неделя 2 (11-17 сентября) ====

'''Лекция (П. Ромов)''': Форматы данных, способы хранения, принципы работы интернета. Краулинг. Regexp. Unicode. [https://www.dropbox.com/s/xm5ob8mkm7lrf3p/HSE_NLP_Lection2.pdf?dl=0 (слайды)]

'''Семинар''': Библиотеки lxml, beautifulsoup, scrapy. Задание для группы 3-4 курс, вечер: [http://dmitryfrolov.com/pdf/task_1.pdf (ссылка)] (дедлайн на все 23.59 14.09, делается и присылается индивидуально!). [https://www.dropbox.com/s/0kyl4w7rhaih90f/sem2.pdf?dl=0 (слайды с семинара)]

==== Неделя 3 (18-24 сентября) ====

'''Лекция (Е. Черняк)''': Морфологический анализ, основные задачи и подходы. Стеммер Портера, поиск по словарю, скрытые цепи Маркова. Современные задачи морфологического анализа. [https://www.dropbox.com/s/urdf9cpsnp6uvml/2_morph.pdf?dl=0 (слайды)]

'''Семинар''': SENNA, Томита-парсер, отношения между словами. Задание для группы 3-4 курс, вечер: [http://dmitryfrolov.com/pdf/task_3.pdf (ссылка)], слайды семинара 19.09 [http://dmitryfrolov.com/pdf/sem3_new.pdf (ссылка)]. Задание для БПМИ142 МОП [http://wiki.cs.hse.ru/images/7/7c/Task.png (ссылка)]. (дедлайн на все 23.59 21.09, делается и присылается индивидуально!). [https://www.dropbox.com/s/hvojoqp7zb3p4sk/sem3__Copy_.pdf?dl=0 (слайды с семинара вместе с заданием)]

==== Неделя 4 (25 сентября – 1 октября) ====

'''Лекция (приглашённый лектор Иван Смуров):''' Синтаксический анализ (syntactic parsing) - одна из классических задач NLP, заключающейся в построении по последовательности текста соответствующего ей синтаксического разбора. Задача имеет продолжительную и богатую историю и решалась с помощью различных методов - от вероятностных контекстно-свободных грамматик до нейросетей с использованием sequence-to-sequence архитектур. На лекции будет рассказано о популярном в литературе подходе - использованию transition-based парсеров. Этод подход, восходящий к shift-reduce анализаторам классических логик, был впервые использован в применении к задаче синтаксического анализа Й. Нивре в 2003 году. В 2014 году метод был адаптирован для использования нейросетей Д. Ченом и К. Маннингом из Стенфордского университета и, наконец, в 2016 он послужил основой для популярного парсера SynaxNet, разработанного в Google. [https://www.dropbox.com/s/yceqgugsc6tdcxs/transition-based_%D0%BF%D0%B0%D1%80%D1%81%D0%B5%D1%80%D1%8B.pptx?dl=0 (слайды)]

О лекторе:
Иван Смуров – сотрудник кафедр Алгоритмов и Технологий Программирования и Компьютерной Лингвистики МФТИ, разрабатчик научно-исследовательского отдела компании ABBYY. Является специалистом по машинному обучению, компьютерной и вычислительной лингвистике, математической логике. Область основных интересов – обработка текстов на естественных языках.

'''Семинар:''' SyntaxNet, cинтаксические парсеры, универсальные зависимости [https://yadi.sk/d/OddFv-y33NBshk (слайды)]

[http://dmitryfrolov.com/pdf/task4.jpg (дз для 3 курса)]

==== Неделя 5 (2 октября – 8 октября) ====

'''Лекция (Е. Черняк):''' Статистический анализ текстов. Законы Ципфа и Хипса. Методы извлечения ключевых слов и словосочетаний. Векторная модель. [https://www.dropbox.com/s/fzqcvqb7qu4d27j/4_StatAnalysis.pdf?dl=0 (слайды)]

'''Семинар:''' Ключевые слова, n-граммы, коллокации [https://www.dropbox.com/s/98grun1bl2pqy2p/sem5.pdf?dl=0 (слайды и дз)], [https://yadi.sk/i/BND6d9P73NZLCE (слайды для группы 142)]

==== Неделя 6 (9 октября – 15 октября) ====

'''Лекция (приглашенный лектор Анна Потапенко):''' Дистрибутивная семантика. В курсе вы уже поговорили о морфологии и синтаксисе, в этой лекции мы поднимемся на следующий уровень анализа языка и поговорим о семантике - о том, как из текстов извлекать смысл отдельных слов и целых предложений. Смысл будем кодировать векторами - обычными векторами вещественных чисел. Мы начнем с классических моделей - подсчета PMI слов и применения SVD для понижения размерности матриц. Затем поговорим о том, как в эту картину укладывается нашумевший word2vec. Разберемся, почему это не deep learning, и почему король - мужчина + женщина != королева. Затем поговорим о других популярных и более новых подходах обучения векторных представлений слов: GloVe, FastText, StarSpace. Во второй части лекции перейдем к предложениям и поговорим о 3 типах нейронных сетей, позволяющих строить их векторные представления: это конволюционные, рекуррентные и рекурсивные нейронные сети. Здесь мы увидим, что модели синтаксиса и другие лингвистические знания хорошо помогают собрать из отдельных слов смысл всего предложения. [https://www.dropbox.com/s/f3hklz6yko4ohqs/Potapenko_lecture_distr.pdf?dl=0 (слайды)]

О лекторе: Анна занимается построением векторных представлений текста в аспирантуре у К.В. Воронцова. За время аспирантуры Анна дважды стажировалась в компании Google, где оба раза занималась исследованиями в области NLP - дистрибутивной семантикой и диалоговыми системами. Анна закончила ВМК МГУ и Школу Анализа Данных Яндекса, теперь она ведет там семинары, а также готовит онлайн-курс по NLP на платформе Coursera.

==== Неделя 7 (16 октября – 22 октября) ====

'''Лекция (М. Апишев):''' Тематическое моделирование. Определения. PLSA, LDA, аддитивная регуляризация [https://www.dropbox.com/s/4mjxzjk6njvzzrl/MelLain_HSE_nlp_TM_lection%20%283%29.pdf?dl=0 (слайды)].

'''Лекция у журналистов данных (Е. Черняк):''' Классификация текстов, метод наивного Байеса, логистическая регрессия [https://www.dropbox.com/s/tcj33fdgvetdvg3/classification.slides.html?dl=0 (слайды)].

'''Семинар:''' [https://yadi.sk/i/zct5pith3PYAmz Тематическое моделирование]

==== Неделя 8 (30 октября – 5 ноября) ====

'''Лекция у журналистов данных (Е. Черняк):''' Классификация текстов, метод наивного Байеса, логистическая регрессия, сверточные нейронные сети, Fast Text. [https://www.dropbox.com/s/kdcs4mvpb7o9cte/classification.slides%202.html?dl=0 (слайды)]

'''Семинар:''' Классификация и анализ тональности. [https://www.dropbox.com/s/sid2nto8gmjys2y/sem8.pdf?dl=0 (слайды и дз)]

==== Неделя 9 (6 ноября – 12 ноября) ====

'''Лекция (приглашенный лектор Алексей Шаграев):''' Информационный поиск.

В лекции будут обсуждаться различные прикладные задачи машинного обучения в информационном поиске, возникающие при разработке поисковых систем. Среди них:
- кластеризация новостных сообщений
- построение метрик качества для поисковых систем и оптимизация под них
- классическое ранжирование и обучение ранжированию по пользовательским данным
- разнообразие и свежесть в поисковой выдаче

[https://www.dropbox.com/s/0btntom44qve5q5/ML%20-%20%D0%B4%D0%BB%D1%8F%20%D0%BA%D1%80%D1%83%D1%82%D1%8B%D1%85%20%D1%81%D1%82%D1%83%D0%B4%D0%B5%D0%BD%D1%82%D0%BE%D0%B2.pptx?dl=0 (слайды)]

О лекторе: Алексей Шаграев, к.т.н., руководитель службы разработки свеже-социального поиска Яндекса

'''Семинар''' Информационный поиск [https://www.dropbox.com/s/h2u3f26jjpbgd9u/sem9___final.pdf?dl=0 (слайды)]

==== Неделя 10 (13 ноября – 19 ноября) ====

'''Лекция (Е. Черняк)''' Языковые модели. Счетные модели и нейронные модели. Реккурентные нейронные сети. LSTM.

'''Семинар''' Автоматическая генерация текстов [https://www.dropbox.com/s/7p7l0azbj948cnk/sem10.pdf?dl=0 (слайды)] [https://yadi.sk/i/jTNrjF283PzYz8 (слайды группы 142)]

==== Неделя 11 (20 ноября – 25 ноября) ====

'''Лекция (Е. Черняк)''' Извлечение информации: именованные сущности, отношения, факты и события. Использование методов классификации и методов классификации последовательностей. MEMM, CRF, BiLSTM-CRF.

'''Семинар''' [https://www.dropbox.com/s/h2u3f26jjpbgd9u/sem9___final.pdf?dl=0 (слайды)]

==== Неделя 12 (27 ноября – 1 декабря) ====

'''Лекция (Е. Черняк)''' Генерация текстов. Обучение с подкреплением (reinforcment learning) в задачах генерации текстов (обзор). [https://www.dropbox.com/s/god4t70rwe1zlwm/1_NLG.pdf?dl=0 (слайды)]

'''Семинар''' Вопросно-ответные системы [http://dmitryfrolov.com/pdf/sem11.pdf (слайды)]

==== Неделя 13 (4 декабря– 12 декабря) ====

'''Лекция (приглашенный лектор Сергей Губанов):''' Исправление опечаток

Начиная с самых основ и заканчивая машинным обучением, будет рассказано о том, как устроен современный спеллчекер, способный обрабатывать поток поисковых запросов Яндекса.

О лекторе: Сергей Губанов, руководитель группы ядра машинного перевода, работаю над исправлением опечаток и над нейросетевым машинным переводом.

=== Рекомендуемые ресурсы ===

На английском
* Jurafsky & Martin [https://web.stanford.edu/~jurafsky/slp3/ (link) ]
* Курс Лауры Каллмайер по МО для АОТ [https://user.phil.hhu.de/~kallmeyer/MachineLearning/index.html (link)]
* Курс Нильса Раймерса по DL для АОТ [https://github.com/UKPLab/deeplearning4nlp-tutorial (link)]
* Курс в Оксфорде по DL для АОТ [https://github.com/oxford-cs-deepnlp-2017 (link)]
* Курс в Стенфорде по DL для AOT [http://cs224d.stanford.edu (link)]
* Материалы по обучению с подкреплением (Reinforcment Learning) [https://github.com/jiyfeng/rl4nlp (link)]

На русском (и про русский, в основном)
* НКРЯ [http://ruscorpora.ru (link)]
* Открытый корпус [http://opencorpora.org (link)]
* Дистрибутивные семантические модели для русского языка [http://rusvectores.org/ru/ (link)]
* Морфология [https://tech.yandex.ru/mystem/ (link)]
* Синтаксис [https://habrahabr.ru/post/317564/ (link)]
* Томита-парсер [https://tech.yandex.ru/tomita/ (link)]
* Все на свете: [http://mathlingvo.ru (mathlingvo)], [https://nlpub.org (nlpub)]
* Text Visualisation browser: [http://textvis.lnu.se (link)]

Ссылка на дополнительную литературу:
* [https://machinelearningmastery.com/books-on-natural-language-processing/] Books on natural language processing
* [http://eprints.lse.ac.uk/62548/1/Schonhardt-Bailey_text%20mining%20handbook.pdf/] Text mining for central banks

Литература
# Manning, Christopher D., and Hinrich Schütze. Foundations of statistical natural language processing. Vol. 999. Cambridge: MIT press, 1999.
# Martin, James H., and Daniel Jurafsky. "Speech and language processing." International Edition 710 (2000): 25.
# Cohen, Shay. "Bayesian analysis in natural language processing." Synthesis Lectures on Human Language Technologies 9, no. 2 (2016): 1-274.
# Goldberg, Yoav. "Neural Network Methods for Natural Language Processing." Synthesis Lectures on Human Language Technologies 10, no. 1 (2017): 1-309.

=== Используемые библиотеки ===
# NLTK [http://www.nltk.org (link)]
# pymorphy2 [https://pymorphy2.readthedocs.io/en/latest/ (link)]
# pymystem3 [https://github.com/Digsolab/pymystem3 (link)]
# readability [https://github.com/buriy/python-readability (link)]

Анализ неструктурированных данных

2017-11-30T16:18:24Z

Dmitry: /* Дата выдачи/сдачи проектных заданий */

== О курсе ==

Курс читается для студентов 3-го и 4-го курсов [https://cs.hse.ru/ami ПМИ ФКН ВШЭ] в 1-2 модулях.

'''Лекторы:''' Петр Алексеевич Ромов, Екатерина Леонидовна Черняк

Лекции проходят по вторникам, 15:10 – 16:30 , ауд. 509.

=== Полезные ссылки ===

[https://www.hse.ru/edu/courses/205512723 Карточка курса]

Репозиторий с материалами на GitHub: https://github.com/HSE-NLP

Сдача домашних заданий по электронной почте: [mailto:http://amilinguaHW@gmail.com amilinguaHW@gmail.com]

telegram: https://t.me/nlp_hse

=== Семинары ===

{| class="wikitable"
|-
! Группа !! Преподаватель !! Расписание
|-
| АДИС || Дмитрий Фролов || вторник, 18:10 – 19:30, ауд. 501
|-
| БПМИ141 МОП || Анна Шишкова || четверг, 13:40 – 15:00, ауд. 501
|-
| БПМИ142 МОП || Мурат Апишев || четверг, 10:30 – 11:50, ауд. 322
|-
|}

=== Дата выдачи/сдачи проектных заданий ===

# Проект 1, часть 1 до 23:59 10.10.2017 [https://www.dropbox.com/s/czzb0meu45l5tvj/NLP_project1.pdf?dl=0 (ссылка)]
# Проект 1, часть 2 до 23:59 26.11.2017 [https://www.dropbox.com/s/h8oqt082v6ac68f/NLP_project2.pdf?dl=0 (ссылка)]
# Проект 2, до 23:59 20.12.2017 [https://drive.google.com/open?id=1jLPAIUt5Eb_9ORFnD-XFAVHCyLj00jZQ (ссылка)]

=== Как писать отчёт ===

1) Содержание отчёта. Вне зависимости от того, пишете ли вы отчёт в latex, или в jupyter notebook или ещё где-то, нормальный отчёт должен включать в себя:

— Краткую постановку задачи и формулировку задания

— Описание минимума необходимой теории и/или описание используемых инструментов

— Подробное пошаговый рассказ о проделанной работе

— Аккуратно оформленные результаты

— Внятные выводы

Все эти пункты долны быть чётко отмечены заголовками, если они слишком велики, то можно использовать подзаголовки. Словом, читатель не должен тратить время на навигацию.

2) Стилистика. Отчёт —- это несколько формальный текст. Он не пишется от первого лица. В нём не надо рассказывать про свою криворукость, про то, как красиво поют птички за окном и т.п. Не надо обращаться к читателю (особенно на "ты", среди вас уже есть такие "отличившиеся"), ни в тексте, ни в комментах к коду (если это ноутбук). Комментарии к коду, кстати, лучше писать на английском.

Текст не должен содержать миллиарда опечаток и должен удовлетворять хоть каким-то минимальным стилистическим требованиям. Русский язык богат синонимами, и этим нужно пользоваться. Вот такие вещи писать НЕ надо:

"Самое важное улучшение было в улучшении Prior Model (путь улучшения тоже взят из Word Alignment Models")."

Слова в предложениях должны быть согласованными.

3) Если в отчёте (презентации) фигурируют картинки из сети, они должны быть в тему. И к ним надо обязательно ставить маленькую подпись с указанием источника, или же прописать его явно в тексте.

Подсказка (просто на всякий случай): задание делается гораздо качественнее и аккуратнее, если его не откладывать на последний вечер;)

=== Система оценок ===

Результирующая оценка рассчитывается по формуле:

Oитоговая = 0.8 * Oнакопл + 0.2 * Оэкз

Накопленная оценка рассчитывается по формуле:

Oнакопл = 0.4 * Oпроект1 + 0.4 * Oпроект2 + 0.2 * Одз+cем

[https://docs.google.com/spreadsheets/d/1T_1LqhQ4fWJGh3s-lA0MsNoMTYIXIH9iUY3bu-Vpcrg/edit?usp=sharing, (ведомость)]

=== Программа ===

==== Неделя 1 (4-10 сентября) ====

'''Лекция (Е. Черняк)''': Обзор курса: мастер-классы, кейсы, проекты. Введение в автоматическую обработку текстов. [https://www.dropbox.com/s/cisfnsahepuiac9/1_intro.pdf?dl=0 (слайды)]

'''Семинар''': Библиотека nltk
[https://www.dropbox.com/s/81ur98bn5wa9thq/sem1.pdf?dl=0 (слайды и дз)]
[https://www.dropbox.com/s/c9e1mqmmm7m2bcn/Sem%201.ipynb?dl=0 (код с семинара)]

==== Неделя 2 (11-17 сентября) ====

'''Лекция (П. Ромов)''': Форматы данных, способы хранения, принципы работы интернета. Краулинг. Regexp. Unicode. [https://www.dropbox.com/s/xm5ob8mkm7lrf3p/HSE_NLP_Lection2.pdf?dl=0 (слайды)]

'''Семинар''': Библиотеки lxml, beautifulsoup, scrapy. Задание для группы 3-4 курс, вечер: [http://dmitryfrolov.com/pdf/task_1.pdf (ссылка)] (дедлайн на все 23.59 14.09, делается и присылается индивидуально!). [https://www.dropbox.com/s/0kyl4w7rhaih90f/sem2.pdf?dl=0 (слайды с семинара)]

==== Неделя 3 (18-24 сентября) ====

'''Лекция (Е. Черняк)''': Морфологический анализ, основные задачи и подходы. Стеммер Портера, поиск по словарю, скрытые цепи Маркова. Современные задачи морфологического анализа. [https://www.dropbox.com/s/urdf9cpsnp6uvml/2_morph.pdf?dl=0 (слайды)]

'''Семинар''': SENNA, Томита-парсер, отношения между словами. Задание для группы 3-4 курс, вечер: [http://dmitryfrolov.com/pdf/task_3.pdf (ссылка)], слайды семинара 19.09 [http://dmitryfrolov.com/pdf/sem3_new.pdf (ссылка)]. Задание для БПМИ142 МОП [http://wiki.cs.hse.ru/images/7/7c/Task.png (ссылка)]. (дедлайн на все 23.59 21.09, делается и присылается индивидуально!). [https://www.dropbox.com/s/hvojoqp7zb3p4sk/sem3__Copy_.pdf?dl=0 (слайды с семинара вместе с заданием)]

==== Неделя 4 (25 сентября – 1 октября) ====

'''Лекция (приглашённый лектор Иван Смуров):''' Синтаксический анализ (syntactic parsing) - одна из классических задач NLP, заключающейся в построении по последовательности текста соответствующего ей синтаксического разбора. Задача имеет продолжительную и богатую историю и решалась с помощью различных методов - от вероятностных контекстно-свободных грамматик до нейросетей с использованием sequence-to-sequence архитектур. На лекции будет рассказано о популярном в литературе подходе - использованию transition-based парсеров. Этод подход, восходящий к shift-reduce анализаторам классических логик, был впервые использован в применении к задаче синтаксического анализа Й. Нивре в 2003 году. В 2014 году метод был адаптирован для использования нейросетей Д. Ченом и К. Маннингом из Стенфордского университета и, наконец, в 2016 он послужил основой для популярного парсера SynaxNet, разработанного в Google. [https://www.dropbox.com/s/yceqgugsc6tdcxs/transition-based_%D0%BF%D0%B0%D1%80%D1%81%D0%B5%D1%80%D1%8B.pptx?dl=0 (слайды)]

О лекторе:
Иван Смуров – сотрудник кафедр Алгоритмов и Технологий Программирования и Компьютерной Лингвистики МФТИ, разрабатчик научно-исследовательского отдела компании ABBYY. Является специалистом по машинному обучению, компьютерной и вычислительной лингвистике, математической логике. Область основных интересов – обработка текстов на естественных языках.

'''Семинар:''' SyntaxNet, cинтаксические парсеры, универсальные зависимости [https://yadi.sk/d/OddFv-y33NBshk (слайды)]

[http://dmitryfrolov.com/pdf/task4.jpg (дз для 3 курса)]

==== Неделя 5 (2 октября – 8 октября) ====

'''Лекция (Е. Черняк):''' Статистический анализ текстов. Законы Ципфа и Хипса. Методы извлечения ключевых слов и словосочетаний. Векторная модель. [https://www.dropbox.com/s/fzqcvqb7qu4d27j/4_StatAnalysis.pdf?dl=0 (слайды)]

'''Семинар:''' Ключевые слова, n-граммы, коллокации [https://www.dropbox.com/s/98grun1bl2pqy2p/sem5.pdf?dl=0 (слайды и дз)], [https://yadi.sk/i/BND6d9P73NZLCE (слайды для группы 142)]

==== Неделя 6 (9 октября – 15 октября) ====

'''Лекция (приглашенный лектор Анна Потапенко):''' Дистрибутивная семантика. В курсе вы уже поговорили о морфологии и синтаксисе, в этой лекции мы поднимемся на следующий уровень анализа языка и поговорим о семантике - о том, как из текстов извлекать смысл отдельных слов и целых предложений. Смысл будем кодировать векторами - обычными векторами вещественных чисел. Мы начнем с классических моделей - подсчета PMI слов и применения SVD для понижения размерности матриц. Затем поговорим о том, как в эту картину укладывается нашумевший word2vec. Разберемся, почему это не deep learning, и почему король - мужчина + женщина != королева. Затем поговорим о других популярных и более новых подходах обучения векторных представлений слов: GloVe, FastText, StarSpace. Во второй части лекции перейдем к предложениям и поговорим о 3 типах нейронных сетей, позволяющих строить их векторные представления: это конволюционные, рекуррентные и рекурсивные нейронные сети. Здесь мы увидим, что модели синтаксиса и другие лингвистические знания хорошо помогают собрать из отдельных слов смысл всего предложения. [https://www.dropbox.com/s/f3hklz6yko4ohqs/Potapenko_lecture_distr.pdf?dl=0 (слайды)]

О лекторе: Анна занимается построением векторных представлений текста в аспирантуре у К.В. Воронцова. За время аспирантуры Анна дважды стажировалась в компании Google, где оба раза занималась исследованиями в области NLP - дистрибутивной семантикой и диалоговыми системами. Анна закончила ВМК МГУ и Школу Анализа Данных Яндекса, теперь она ведет там семинары, а также готовит онлайн-курс по NLP на платформе Coursera.

==== Неделя 7 (16 октября – 22 октября) ====

'''Лекция (М. Апишев):''' Тематическое моделирование. Определения. PLSA, LDA, аддитивная регуляризация [https://www.dropbox.com/s/4mjxzjk6njvzzrl/MelLain_HSE_nlp_TM_lection%20%283%29.pdf?dl=0 (слайды)].

'''Лекция у журналистов данных (Е. Черняк):''' Классификация текстов, метод наивного Байеса, логистическая регрессия [https://www.dropbox.com/s/tcj33fdgvetdvg3/classification.slides.html?dl=0 (слайды)].

'''Семинар:''' [https://yadi.sk/i/zct5pith3PYAmz Тематическое моделирование]

==== Неделя 8 (30 октября – 5 ноября) ====

'''Лекция у журналистов данных (Е. Черняк):''' Классификация текстов, метод наивного Байеса, логистическая регрессия, сверточные нейронные сети, Fast Text. [https://www.dropbox.com/s/kdcs4mvpb7o9cte/classification.slides%202.html?dl=0 (слайды)]

'''Семинар:''' Классификация и анализ тональности. [https://www.dropbox.com/s/sid2nto8gmjys2y/sem8.pdf?dl=0 (слайды и дз)]

==== Неделя 9 (6 ноября – 12 ноября) ====

'''Лекция (приглашенный лектор Алексей Шаграев):''' Информационный поиск.

В лекции будут обсуждаться различные прикладные задачи машинного обучения в информационном поиске, возникающие при разработке поисковых систем. Среди них:
- кластеризация новостных сообщений
- построение метрик качества для поисковых систем и оптимизация под них
- классическое ранжирование и обучение ранжированию по пользовательским данным
- разнообразие и свежесть в поисковой выдаче

[https://www.dropbox.com/s/0btntom44qve5q5/ML%20-%20%D0%B4%D0%BB%D1%8F%20%D0%BA%D1%80%D1%83%D1%82%D1%8B%D1%85%20%D1%81%D1%82%D1%83%D0%B4%D0%B5%D0%BD%D1%82%D0%BE%D0%B2.pptx?dl=0 (слайды)]

О лекторе: Алексей Шаграев, к.т.н., руководитель службы разработки свеже-социального поиска Яндекса

'''Семинар''' Информационный поиск [https://www.dropbox.com/s/h2u3f26jjpbgd9u/sem9___final.pdf?dl=0 (слайды)]

==== Неделя 10 (13 ноября – 19 ноября) ====

'''Лекция (Е. Черняк)''' Языковые модели. Счетные модели и нейронные модели. Реккурентные нейронные сети. LSTM.

'''Семинар''' Автоматическая генерация текстов [https://www.dropbox.com/s/7p7l0azbj948cnk/sem10.pdf?dl=0 (слайды)] [https://yadi.sk/i/jTNrjF283PzYz8 (слайды группы 142)]

==== Неделя 11 (20 ноября – 25 ноября) ====

'''Лекция (Е. Черняк)''' Извлечение информации: именованные сущности, отношения, факты и события. Использование методов классификации и методов классификации последовательностей. MEMM, CRF, BiLSTM-CRF.

==== Неделя 12 (27 ноября – 1 декабя) ====

'''Лекция (Е. Черняк)''' Генерация текстов. Обучение с подкреплением (reinforcment learning) в задачах генерации текстов (обзор). [https://www.dropbox.com/s/god4t70rwe1zlwm/1_NLG.pdf?dl=0 (слайды)]

=== Рекомендуемые ресурсы ===

На английском
* Jurafsky & Martin [https://web.stanford.edu/~jurafsky/slp3/ (link) ]
* Курс Лауры Каллмайер по МО для АОТ [https://user.phil.hhu.de/~kallmeyer/MachineLearning/index.html (link)]
* Курс Нильса Раймерса по DL для АОТ [https://github.com/UKPLab/deeplearning4nlp-tutorial (link)]
* Курс в Оксфорде по DL для АОТ [https://github.com/oxford-cs-deepnlp-2017 (link)]
* Курс в Стенфорде по DL для AOT [http://cs224d.stanford.edu (link)]
* Материалы по обучению с подкреплением (Reinforcment Learning) [https://github.com/jiyfeng/rl4nlp (link)]

На русском (и про русский, в основном)
* НКРЯ [http://ruscorpora.ru (link)]
* Открытый корпус [http://opencorpora.org (link)]
* Дистрибутивные семантические модели для русского языка [http://rusvectores.org/ru/ (link)]
* Морфология [https://tech.yandex.ru/mystem/ (link)]
* Синтаксис [https://habrahabr.ru/post/317564/ (link)]
* Томита-парсер [https://tech.yandex.ru/tomita/ (link)]
* Все на свете: [http://mathlingvo.ru (mathlingvo)], [https://nlpub.org (nlpub)]
* Text Visualisation browser: [http://textvis.lnu.se (link)]

Ссылка на дополнительную литературу:
* [https://machinelearningmastery.com/books-on-natural-language-processing/] Books on natural language processing
* [http://eprints.lse.ac.uk/62548/1/Schonhardt-Bailey_text%20mining%20handbook.pdf/] Text mining for central banks

Литература
# Manning, Christopher D., and Hinrich Schütze. Foundations of statistical natural language processing. Vol. 999. Cambridge: MIT press, 1999.
# Martin, James H., and Daniel Jurafsky. "Speech and language processing." International Edition 710 (2000): 25.
# Cohen, Shay. "Bayesian analysis in natural language processing." Synthesis Lectures on Human Language Technologies 9, no. 2 (2016): 1-274.
# Goldberg, Yoav. "Neural Network Methods for Natural Language Processing." Synthesis Lectures on Human Language Technologies 10, no. 1 (2017): 1-309.

=== Используемые библиотеки ===
# NLTK [http://www.nltk.org (link)]
# pymorphy2 [https://pymorphy2.readthedocs.io/en/latest/ (link)]
# pymystem3 [https://github.com/Digsolab/pymystem3 (link)]
# readability [https://github.com/buriy/python-readability (link)]

Анализ неструктурированных данных

2017-09-21T16:34:36Z

Dmitry: /* Неделя 3 (18-26 сентября) */

Анализ неструктурированных данных

2017-09-19T17:03:09Z

Dmitry: /* Программа */

Анализ неструктурированных данных

2017-09-19T17:02:51Z

Dmitry: /* Программа */

Анализ неструктурированных данных

2017-09-12T16:36:21Z

Dmitry: /* Неделя 2 (11-17 сентября) */

Анализ неструктурированных данных

2017-09-12T16:35:54Z

Dmitry: /* Неделя 2 (11-17 сентября) */

Набор для корпуса "Сделай сам"

2016-01-22T22:41:01Z

Dmitry:

{{Карточка_проекта
|name=Набор для корпуса "Сделай сам"
|mentor=Дмитрий Фролов
|mentor_login={{URLENCODE:Dmitry|WIKI}}
|semester=Весна 2016
|course=1
|summer=
|number_of_students=5
|categorize=yes
}}

=== Что это за проект? ===
На факультете филологии НИУ ВШЭ имеется проект по сбору всех текстов, которые есть в Интернете (в том числе в соцсетях) на языках народов России. То есть получаются отдельные коллекции для башкирского, удмуртского, чувашского и т.д. Разного размера. В той части, которая вытянута из соцсетей, известно много об авторе: пол, возраст, дата рождения, город.
Необходим веб-сервис, который позволял бы не просто скачать все тексты архивом, а умел реагировать на такие, например, запросы от пользователя: "хочу коллекцию текстов на ингушском языке объёмом 100 000 слов, чтобы она состояла из записей в соцсетях людей из Назрани от 20 до 38 лет". В запросной форме пользователь отмечает галочки, посылает запрос к серверу, а он позволяет скачать архив с набором файлов (в XML) и метатаблицей.

=== Функциональность интерфейса ===

# сначала выбирается язык (один из имеющихся), а потом всё остальное.
# пользователь может выбрать, хочет он корпус текстов только из соц.сети, только из интернета, просто N (захардкоженное число) токенов текста на одном из имеющихся у нас языков или всё целиком
# только текст на этом языке или с вкраплениями русского
# выбор по всяким параметрам авторов в соц.сети (пол, возраст, город говорящего).
# сохранять или не сохранять диалоговую структуру ВК-стены

Примеры запросов:

# хочу получить все тексты только на этом языке, написанные мужчинами до 24 лет
# хочу получить тексты из соц.сетей с сохранением структуры диалога и с русским текстом
# тоже самое, только без русского текста
# хочу получить тексты из интернета с 5 доменов.

=== Чему вы научитесь? ===
# Основы проектирования и разработки клиент-серверных приложений
# Базовые знания Unix Shell
# Работа с нереляционными базами данных

=== Какие начальные требования? ===
# Представление о технологиях создания веб-страниц
# Основы языка программирования Python

=== Какие будут использоваться технологии? ===
# HTML/CSS, JavaScript, JQuery
# Python 2.7
# WebPy/Web2Py/Django
# Ubuntu Linux/OpenSUSE/FreeBSD, GNU Emacs или Vim - на выбор
# MongoDB
# git, github/bitbucket
# http-сервер Nginx/Apache (возможно - в связке с WSGI-сервером (Gunicorn))

=== Темы вводных занятий ===
# Архитектура клиент-серверных приложений и основные принципы разработки. Средства разработки клиентской и серверной частей.
# Нереляционные базы данных, преимущества, недостатки, особенности использования

=== Ориентировочное расписание занятий ===
СР 18.30-20.30

Набор для корпуса "Сделай сам"

2016-01-22T22:40:23Z

Dmitry: /* Темы вводных занятий */

Набор для корпуса "Сделай сам"

2016-01-22T22:39:26Z

Dmitry:

{{Карточка_проекта
|name=Набор для корпуса "Сделай сам"
|mentor=Дмитрий Фролов
|mentor_login={{URLENCODE:Dmitry|WIKI}}
|semester=Весна 2016
|course=1
|summer=
|number_of_students=5
|categorize=yes
}}

=== Что это за проект? ===
На факультете филологии НИУ ВШЭ имеется проект по сбору всех текстов, которые есть в Интернете (в том числе в соцсетях) на языках народов России. То есть получаются отдельные коллекции для башкирского, удмуртского, чувашского и т.д. Разного размера. В той части, которая вытянута из соцсетей, известно много об авторе: пол, возраст, дата рождения, город.
Необходим веб-сервис, который позволял бы не просто скачать все тексты архивом, а умел реагировать на такие, например, запросы от пользователя: "хочу коллекцию текстов на ингушском языке объёмом 100 000 слов, чтобы она состояла из записей в соцсетях людей из Назрани от 20 до 38 лет". В запросной форме пользователь отмечает галочки, посылает запрос к серверу, а он позволяет скачать архив с набором файлов (в XML) и метатаблицей.

=== Функциональность интерфейса ===

# сначала выбирается язык (один из имеющихся), а потом всё остальное.
# пользователь может выбрать, хочет он корпус текстов только из соц.сети, только из интернета, просто N (захардкоженное число) токенов текста на одном из имеющихся у нас языков или всё целиком
# только текст на этом языке или с вкраплениями русского
# выбор по всяким параметрам авторов в соц.сети (пол, возраст, город говорящего).
# сохранять или не сохранять диалоговую структуру ВК-стены

Примеры запросов:

# хочу получить все тексты только на этом языке, написанные мужчинами до 24 лет
# хочу получить тексты из соц.сетей с сохранением структуры диалога и с русским текстом
# тоже самое, только без русского текста
# хочу получить тексты из интернета с 5 доменов.

=== Чему вы научитесь? ===
# Основы проектирования и разработки клиент-серверных приложений
# Базовые знания Unix Shell
# Работа с нереляционными базами данных

=== Какие начальные требования? ===
# Представление о технологиях создания веб-страниц
# Основы языка программирования Python

=== Какие будут использоваться технологии? ===
# HTML/CSS, JavaScript, JQuery
# Python 2.7
# WebPy/Web2Py/Django
# Ubuntu Linux/OpenSUSE/FreeBSD, GNU Emacs или Vim - на выбор
# MongoDB
# git, github/bitbucket
# http-сервер Nginx/Apache (возможно - в связке с WSGI-сервером (Gunicorn))

=== Темы вводных занятий ===
# Архитектура клиент-серверных приложений и основные принципы разработки
# Нереляционные базы данных, преимущества, недостатки, особенности использования

=== Ориентировочное расписание занятий ===
СР 18.30-20.30

Участник:Dmitry

2016-01-20T20:45:34Z

Dmitry:

{{Карточка_ментора
|categorize = yes
}}

Фролов Дмитрий Сергеевич

=Контактная информация=
* e-mail: dmitsf@gmail.com

=Образование=
* Петрозаводский государственный университет (ПетрГУ), бакалавр прикладной математики и информатики, 2008-2012 (диплом с отличием)
* Национальный исследовательский университет "Высшая школа экономики", магистр системной и программной инженерии, 2012-2014
* Национальный исследовательский университет "Высшая школа экономики", факультет компьютерных наук, аспирант, 2014 - по н.в.

[[Файл:F6544.png|мини]]

=Языки=

* Русский (родной)
* Английский

= Опыт и основное место работы =

* инженер-программист, Петрозаводский государственный университет, Лаборатория информационно-телекоммуникационных систем (фев. 2010 - май 2012)
** разработка на C++ в проектах Nokia (Maemo, Symbian)
** дополнительные должности:
*** тренер по олимпиадному программированию
*** член комиссии муниципального этапа Всероссийской олимпиады по математике

* ведущий разработчик, SlickJump (сен. 2012 - окт. 2015)
** backend - разработка

* старший программист в стартапе (окт. 2015 - по н.в.)

* преподаватель, департамент анализа данных и искусственного интеллекта НИУ ВШЭ (окт. 2015 - по н.в.)

= Увлечения =

* Пауэрлифтинг, футбол
* Любительская наблюдательная астрономия
* Автопутешествия

Набор для корпуса "Сделай сам"

2016-01-20T20:35:51Z

Dmitry: Новая страница, с помощью формы Новый_проект

{{Карточка_проекта
|name=Веб-интерфейс для формирования текстовой коллекции по заданным параметрам
|mentor=Дмитрий Фролов
|mentor_login={{URLENCODE:Dmitry|WIKI}}
|semester=Весна 2016
|course=1
|summer=
|number_of_students=5
|categorize=yes
}}

=== Что это за проект? ===
На факультете филологии НИУ ВШЭ имеется проект по сбору всех текстов, которые есть в Интернете (в том числе в соцсетях) на языках народов России. То есть получаются отдельные коллекции для башкирского, удмуртского, чувашского и т.д. Разного размера. В той части, которая вытянута из соцсетей, известно много об авторе: пол, возраст, дата рождения, город.
Необходим веб-сервис, который позволял бы не просто скачать все тексты архивом, а умел реагировать на такие, например, запросы от пользователя: "хочу коллекцию текстов на ингушском языке объёмом 100 000 слов, чтобы она состояла из записей в соцсетях людей из Назрани от 20 до 38 лет". В запросной форме пользователь отмечает галочки, посылает запрос к серверу, а он позволяет скачать архив с набором файлов (в XML) и метатаблицей.

=== Чему вы научитесь? ===
# Основы проектирования и разработки клиент-серверных приложений
# Базовые знания Unix Shell
# Работа с нереляционными базами данных

=== Какие начальные требования? ===
# Представление о технологиях создания веб-страниц
# Основы языка программирования Python

=== Какие будут использоваться технологии? ===
# HTML/CSS, JavaScript, JQuery
# Python 2.7
# WebPy/Web2Py/Django
# Ubuntu Linux/OpenSUSE/FreeBSD, GNU Emacs или Vim - на выбор
# MongoDB
# git, github/bitbucket
# http-сервер Nginx/Apache (возможно - в связке с WSGI-сервером (Gunicorn))

=== Темы вводных занятий ===
# Архитектура клиент-серверных приложений и основные принципы разработки
# Нереляционные базы данных, преимущества, недостатки, особенности использования

=== Направления развития ===
...

=== Критерии оценки ===
...

=== Ориентировочное расписание занятий ===
СР 18.30-20.30

Редактор параллельных разметок (проект)

2015-01-12T21:23:26Z

Dmitry: /* Какие будут использоваться технологии? */

{{Карточка_проекта
|name=Редактор параллельных разметок
|mentor=Фролов Дмитрий
|mentor_login={{URLENCODE:Dmitry|WIKI}}
|semester=Весна 2015
|course=1
|summer=
|categorize=yes
}}

=== Что это за проект? ===
====Мотивировка====

Для разметки языковых данных в корпусах, базах данных и т.п. часто пользуются краудсорсингом, привлекая студентов, школьников, энтузиастов, низкооплачиваемых mechanical turks. Являясь непрофессионалами и не имея достаточного опыта, эти разметчики делают много ошибок, поэтому обычно одни и те же данные размечаются двумя-тремя-.. - пятью разметчиками. Нужен интерфейс для супервайзера-профессионала, который на основе этих параллельных разметок создаст правильную итоговую разметку. (Аналогично такую чистовую разметку делают на основе ответов нескольких автоматических разметчиков).

====Что такое разметка?====

Токен (слово или другая единица языка) с приписанным ему набором тегов ("разбором"), ср. пример из древнерусского: 
<ana lex="проблискатисѧ" gr="V,praes,sg,3p" source_el="ἀπαστράπτεται"/>проблискаѥтсѧ 
Пример параллельной разметки можно увидеть на картинке справа.

[[Файл:IMAG1097.jpg|мини]]

====Требования к разрабатываемой системе====

Система должна предоставлять следующие функции (I):

# создавать "новый проект" и загружать исходные файлы (от двух до N xml-файлов разметки)
# выравнивать данные из разных файлов по токенам (возможны мелкие расхождения)
# показывать расхождения
# давать возможность пользователю выбрать один вариант ("правильный вариант")
# автоматически выбирать "правильный вариант", если разметки для токена везде совпадают
# выделять или (как опция) автоматически выбирать наиболее вероятный разбор по принципу "большинство голосует" (если разметок 3 и больше)
# давать возможность вручную написать новый разбор, если другие не годятся (в поле для редактирования)
# сохранять итоговую разметку в xml-файл (токены, для которых ответ не выбран, остаются без разметки)
# сохранять информацию о текущем состоянии в файл "проекта"
# проверять валидность итогового xml-файла (с учетом п. 7)
# сообщать, сколько разборов осталось неразмеченными, и переходить к следующему неразмеченному
# давать возможность увидеть контекст (несколько токенов слева и справа от текущего), возможно - в виде всплывающего поля по клику (дизайн - на усмотрение разработчиков)

Дополнительные требования (II):

# отрисовывать блекло повторяющиеся разборы, чтобы они не отвлекали пользователя (совсем скрывать их нежелательно, чтобы пользователь видел, откуда пришел тот или иной разбор)
# показывать [http://en.wikipedia.org/wiki/Cohen%27s_kappa каппу] inter-annotator agreement
# ранжировать аннотаторов от "хороших" к "плохим" (по степени их согласования с большинством), сначала показывать "хороших", потом "плохих"
# вручную менять порядок показа их разборов
# особым образом помечать сложные случаи, чтобы потом можно было к ним вернуться (+ переходить между ними), иметь возможность писать к ним комментарии
# возможность оставить два и более разбора в итоговой разметке (такая потребность реально бывает)
# убирать и добавлять токены в разметку (связано с тем, что границы между токенами требуется поменять вручную).

=== Чему вы научитесь? ===

# Основы проектирования и разработки клиент-серверных приложений
# Базовые знания Unix Shell
# Работа с нереляционными базами данных

=== Какие начальные требования? ===

# Представление о технологиях создания веб-страниц
# Основы языка программирования Python

=== Какие будут использоваться технологии? ===

# HTML/CSS, JavaScript, JQuery
# Python 2.7
# WebPy/Web2Py/Django
# Ubuntu Linux/OpenSUSE/FreeBSD, GNU Emacs или Vim - на выбор
# MongoDB
# git, github/bitbucket
# http-сервер Nginx/Apache (возможно - в связке с WSGI-сервером (Gunicorn))

=== Темы вводных занятий ===

# Архитектура клиент-серверных приложений и основные принципы разработки
# Нереляционные базы данных, преимущества, недостатки, особенности использования

=== Направления развития ===

# Различные варианты усовершенствование архитектуры серверной части, механизмов и алгоритмов клиент-серверного взаимодействия


=== Критерии оценки ===

# 4-5 - Система представляет собой клиент-серверное приложение, реализующее как минимум половину функции из списка требований (I)
# 6-7 - Система, реализующая все функции из списка требований (I).
# 8-10 - Система, реализующая функции все функции из списка требований (I), и, кроме того, реализованы 1-2 или более функций из списка Дополнительных требований (II). Для получения самого высокого балла (10) разработанная система должна иметь защиту от использования незарегистрированными пользователями, предоставлять возможность регистрации и входа в систему.

Редактор параллельных разметок (проект)

2015-01-12T21:22:59Z

Dmitry: /* Какие будут использоваться технологии? */

{{Карточка_проекта
|name=Редактор параллельных разметок
|mentor=Фролов Дмитрий
|mentor_login={{URLENCODE:Dmitry|WIKI}}
|semester=Весна 2015
|course=1
|summer=
|categorize=yes
}}

=== Что это за проект? ===
====Мотивировка====

Для разметки языковых данных в корпусах, базах данных и т.п. часто пользуются краудсорсингом, привлекая студентов, школьников, энтузиастов, низкооплачиваемых mechanical turks. Являясь непрофессионалами и не имея достаточного опыта, эти разметчики делают много ошибок, поэтому обычно одни и те же данные размечаются двумя-тремя-.. - пятью разметчиками. Нужен интерфейс для супервайзера-профессионала, который на основе этих параллельных разметок создаст правильную итоговую разметку. (Аналогично такую чистовую разметку делают на основе ответов нескольких автоматических разметчиков).

====Что такое разметка?====

Токен (слово или другая единица языка) с приписанным ему набором тегов ("разбором"), ср. пример из древнерусского: 
<ana lex="проблискатисѧ" gr="V,praes,sg,3p" source_el="ἀπαστράπτεται"/>проблискаѥтсѧ 
Пример параллельной разметки можно увидеть на картинке справа.

[[Файл:IMAG1097.jpg|мини]]

====Требования к разрабатываемой системе====

Система должна предоставлять следующие функции (I):

# создавать "новый проект" и загружать исходные файлы (от двух до N xml-файлов разметки)
# выравнивать данные из разных файлов по токенам (возможны мелкие расхождения)
# показывать расхождения
# давать возможность пользователю выбрать один вариант ("правильный вариант")
# автоматически выбирать "правильный вариант", если разметки для токена везде совпадают
# выделять или (как опция) автоматически выбирать наиболее вероятный разбор по принципу "большинство голосует" (если разметок 3 и больше)
# давать возможность вручную написать новый разбор, если другие не годятся (в поле для редактирования)
# сохранять итоговую разметку в xml-файл (токены, для которых ответ не выбран, остаются без разметки)
# сохранять информацию о текущем состоянии в файл "проекта"
# проверять валидность итогового xml-файла (с учетом п. 7)
# сообщать, сколько разборов осталось неразмеченными, и переходить к следующему неразмеченному
# давать возможность увидеть контекст (несколько токенов слева и справа от текущего), возможно - в виде всплывающего поля по клику (дизайн - на усмотрение разработчиков)

Дополнительные требования (II):

# отрисовывать блекло повторяющиеся разборы, чтобы они не отвлекали пользователя (совсем скрывать их нежелательно, чтобы пользователь видел, откуда пришел тот или иной разбор)
# показывать [http://en.wikipedia.org/wiki/Cohen%27s_kappa каппу] inter-annotator agreement
# ранжировать аннотаторов от "хороших" к "плохим" (по степени их согласования с большинством), сначала показывать "хороших", потом "плохих"
# вручную менять порядок показа их разборов
# особым образом помечать сложные случаи, чтобы потом можно было к ним вернуться (+ переходить между ними), иметь возможность писать к ним комментарии
# возможность оставить два и более разбора в итоговой разметке (такая потребность реально бывает)
# убирать и добавлять токены в разметку (связано с тем, что границы между токенами требуется поменять вручную).

=== Чему вы научитесь? ===

# Основы проектирования и разработки клиент-серверных приложений
# Базовые знания Unix Shell
# Работа с нереляционными базами данных

=== Какие начальные требования? ===

# Представление о технологиях создания веб-страниц
# Основы языка программирования Python

=== Какие будут использоваться технологии? ===

# HTML/CSS, JavaScript, JQuery
# Python 2.7
# WebPy/Web2Py/Django
# Ubuntu Linux/OpenSUSE/FreeBSD, GNU Emacs или Vim - на выбор
# MongoDB
# git, github/bitbucket
# http-сервер Nginx/Apache (возможно - в связке с WSGI-сервером (Gunicorn), на усмотрение разработчиков)

=== Темы вводных занятий ===

# Архитектура клиент-серверных приложений и основные принципы разработки
# Нереляционные базы данных, преимущества, недостатки, особенности использования

=== Направления развития ===

# Различные варианты усовершенствование архитектуры серверной части, механизмов и алгоритмов клиент-серверного взаимодействия


=== Критерии оценки ===

# 4-5 - Система представляет собой клиент-серверное приложение, реализующее как минимум половину функции из списка требований (I)
# 6-7 - Система, реализующая все функции из списка требований (I).
# 8-10 - Система, реализующая функции все функции из списка требований (I), и, кроме того, реализованы 1-2 или более функций из списка Дополнительных требований (II). Для получения самого высокого балла (10) разработанная система должна иметь защиту от использования незарегистрированными пользователями, предоставлять возможность регистрации и входа в систему.

Редактор параллельных разметок (проект)

2015-01-12T21:18:55Z

Dmitry: /* Требования к разрабатываемой системе */

{{Карточка_проекта
|name=Редактор параллельных разметок
|mentor=Фролов Дмитрий
|mentor_login={{URLENCODE:Dmitry|WIKI}}
|semester=Весна 2015
|course=1
|summer=
|categorize=yes
}}

=== Что это за проект? ===
====Мотивировка====

Для разметки языковых данных в корпусах, базах данных и т.п. часто пользуются краудсорсингом, привлекая студентов, школьников, энтузиастов, низкооплачиваемых mechanical turks. Являясь непрофессионалами и не имея достаточного опыта, эти разметчики делают много ошибок, поэтому обычно одни и те же данные размечаются двумя-тремя-.. - пятью разметчиками. Нужен интерфейс для супервайзера-профессионала, который на основе этих параллельных разметок создаст правильную итоговую разметку. (Аналогично такую чистовую разметку делают на основе ответов нескольких автоматических разметчиков).

====Что такое разметка?====

Токен (слово или другая единица языка) с приписанным ему набором тегов ("разбором"), ср. пример из древнерусского: 
<ana lex="проблискатисѧ" gr="V,praes,sg,3p" source_el="ἀπαστράπτεται"/>проблискаѥтсѧ 
Пример параллельной разметки можно увидеть на картинке справа.

[[Файл:IMAG1097.jpg|мини]]

====Требования к разрабатываемой системе====

Система должна предоставлять следующие функции (I):

# создавать "новый проект" и загружать исходные файлы (от двух до N xml-файлов разметки)
# выравнивать данные из разных файлов по токенам (возможны мелкие расхождения)
# показывать расхождения
# давать возможность пользователю выбрать один вариант ("правильный вариант")
# автоматически выбирать "правильный вариант", если разметки для токена везде совпадают
# выделять или (как опция) автоматически выбирать наиболее вероятный разбор по принципу "большинство голосует" (если разметок 3 и больше)
# давать возможность вручную написать новый разбор, если другие не годятся (в поле для редактирования)
# сохранять итоговую разметку в xml-файл (токены, для которых ответ не выбран, остаются без разметки)
# сохранять информацию о текущем состоянии в файл "проекта"
# проверять валидность итогового xml-файла (с учетом п. 7)
# сообщать, сколько разборов осталось неразмеченными, и переходить к следующему неразмеченному
# давать возможность увидеть контекст (несколько токенов слева и справа от текущего), возможно - в виде всплывающего поля по клику (дизайн - на усмотрение разработчиков)

Дополнительные требования (II):

# отрисовывать блекло повторяющиеся разборы, чтобы они не отвлекали пользователя (совсем скрывать их нежелательно, чтобы пользователь видел, откуда пришел тот или иной разбор)
# показывать [http://en.wikipedia.org/wiki/Cohen%27s_kappa каппу] inter-annotator agreement
# ранжировать аннотаторов от "хороших" к "плохим" (по степени их согласования с большинством), сначала показывать "хороших", потом "плохих"
# вручную менять порядок показа их разборов
# особым образом помечать сложные случаи, чтобы потом можно было к ним вернуться (+ переходить между ними), иметь возможность писать к ним комментарии
# возможность оставить два и более разбора в итоговой разметке (такая потребность реально бывает)
# убирать и добавлять токены в разметку (связано с тем, что границы между токенами требуется поменять вручную).

=== Чему вы научитесь? ===

# Основы проектирования и разработки клиент-серверных приложений
# Базовые знания Unix Shell
# Работа с нереляционными базами данных

=== Какие начальные требования? ===

# Представление о технологиях создания веб-страниц
# Основы языка программирования Python

=== Какие будут использоваться технологии? ===

# HTML/CSS, JavaScript, JQuery
# Python 2.7
# WebPy/Web2Py/Django
# Ubuntu Linux/OpenSUSE/FreeBSD, GNU Emacs или Vim - на выбор
# MongoDB
# http-сервера Nginx, Gunicorn

=== Темы вводных занятий ===

# Архитектура клиент-серверных приложений и основные принципы разработки
# Нереляционные базы данных, преимущества, недостатки, особенности использования

=== Направления развития ===

# Различные варианты усовершенствование архитектуры серверной части, механизмов и алгоритмов клиент-серверного взаимодействия


=== Критерии оценки ===

# 4-5 - Система представляет собой клиент-серверное приложение, реализующее как минимум половину функции из списка требований (I)
# 6-7 - Система, реализующая все функции из списка требований (I).
# 8-10 - Система, реализующая функции все функции из списка требований (I), и, кроме того, реализованы 1-2 или более функций из списка Дополнительных требований (II). Для получения самого высокого балла (10) разработанная система должна иметь защиту от использования незарегистрированными пользователями, предоставлять возможность регистрации и входа в систему.

Участник:Dmitry

2015-01-12T21:13:11Z

Dmitry: /* Профессиональные навыки */

{{Карточка_ментора
|categorize = yes
}}

Фролов Дмитрий Сергеевич

=Контактная информация=
* e-mail: dmitsf@gmail.com
* телефон: 8-926-124-1152

=Образование=
* Петрозаводский государственный университет (ПетрГУ), бакалавр прикладной математики и информатики, 2008-2012 (диплом с отличием)
* Национальный исследовательский университет "Высшая школа экономики", магистр системной и программной инженерии, 2012-2014
* Национальный исследовательский университет "Высшая школа экономики", факультет компьютерных наук, аспирант, 2014 - по н.в.

[[Файл:F6544.png|мини]]

=Языки=

* Русский (родной)
* Английский

= Опыт и основное место работы =

* инженер-программист, Петрозаводский государственный университет, Лаборатория информационно-телекоммуникационных систем (фев. 2010 - май 2012)
** разработка на C++ в проектах Nokia (Maemo, Symbian)
** дополнительные должности:
*** тренер по олимпиадному программированию
*** член комиссии муниципального этапа Всероссийской олимпиады по математике

* ведущий разработчик, SlickJump (сен. 2012 - по н.в.)
** backend - разработка

= Профессиональные навыки =

* ОС: Linux (как рабочая и домашняя ОС: Ubuntu (Debian), SUSE), FreeBSD/OpenBSD, Unix shell, MS Windows
* Языки программирования: Python (как основной язык программирования: WebPy, Scikit-Learn, PyMorphy, NLTK и т.д.); C/C++
* Мобильная разработка: Symbian OS, Maemo OS (имел опыт разработки на C++)
* Web-разработка: опыт конфигурирования высоконагруженных серверов (Gunicorn, Nginx, свои собственные на Python), JavaScript (вкл. jQuery, Ajax, BackBone - имел опыт использования), HTML/CSS, PHP, CoffeeScript (имел опыт использования)
* Математическое ПО: Maxima, Statistica, SPSS, MatLab, Mathcad
* Базы данных: MongoDB (как основная БД: опыт конфигурирования распределенных кластеров БД, репликации, использования MapReduce и статистической обработки данных); MySQL
* Системы контроля версий: git
* Оптимизации программ (анализ сложности алгоритмов, profiling и т.д.)

= Увлечения =

* Пауэрлифтинг, футбол
* Любительская наблюдательная астрономия
* Автопутешествия

Участник:Dmitry

2015-01-12T21:12:35Z

Dmitry: /* Профессиональные навыки */

{{Карточка_ментора
|categorize = yes
}}

Фролов Дмитрий Сергеевич

=Контактная информация=
* e-mail: dmitsf@gmail.com
* телефон: 8-926-124-1152

=Образование=
* Петрозаводский государственный университет (ПетрГУ), бакалавр прикладной математики и информатики, 2008-2012 (диплом с отличием)
* Национальный исследовательский университет "Высшая школа экономики", магистр системной и программной инженерии, 2012-2014
* Национальный исследовательский университет "Высшая школа экономики", факультет компьютерных наук, аспирант, 2014 - по н.в.

[[Файл:F6544.png|мини]]

=Языки=

* Русский (родной)
* Английский

= Опыт и основное место работы =

* инженер-программист, Петрозаводский государственный университет, Лаборатория информационно-телекоммуникационных систем (фев. 2010 - май 2012)
** разработка на C++ в проектах Nokia (Maemo, Symbian)
** дополнительные должности:
*** тренер по олимпиадному программированию
*** член комиссии муниципального этапа Всероссийской олимпиады по математике

* ведущий разработчик, SlickJump (сен. 2012 - по н.в.)
** backend - разработка

= Профессиональные навыки =

* ОС: Linux (как рабочая и домашняя ОС: Ubuntu (Debian), OpenSUSE), FreeBSD, Unix shell, MS Windows
* Языки программирования: Python (как основной язык программирования: WebPy, Scikit-Learn, PyMorphy, NLTK и т.д.); C/C++
* Мобильная разработка: Symbian OS, Maemo OS (имел опыт разработки на C++)
* Web-разработка: опыт конфигурирования высоконагруженных серверов (Gunicorn, Nginx, свои собственные на Python), JavaScript (вкл. jQuery, Ajax, BackBone - имел опыт использования), HTML/CSS, PHP, CoffeeScript (имел опыт использования)
* Математическое ПО: Maxima, Statistica, SPSS, MatLab, Mathcad
* Базы данных: MongoDB (как основная БД: опыт конфигурирования распределенных кластеров БД, репликации, использования MapReduce и статистической обработки данных); MySQL
* Системы контроля версий: git
* Оптимизации программ (анализ сложности алгоритмов, profiling и т.д.)

= Увлечения =

* Пауэрлифтинг, футбол
* Любительская наблюдательная астрономия
* Автопутешествия

Участник:Dmitry

2015-01-12T21:11:52Z

Dmitry:

{{Карточка_ментора
|categorize = yes
}}

Фролов Дмитрий Сергеевич

=Контактная информация=
* e-mail: dmitsf@gmail.com
* телефон: 8-926-124-1152

=Образование=
* Петрозаводский государственный университет (ПетрГУ), бакалавр прикладной математики и информатики, 2008-2012 (диплом с отличием)
* Национальный исследовательский университет "Высшая школа экономики", магистр системной и программной инженерии, 2012-2014
* Национальный исследовательский университет "Высшая школа экономики", факультет компьютерных наук, аспирант, 2014 - по н.в.

[[Файл:F6544.png|мини]]

=Языки=

* Русский (родной)
* Английский

= Опыт и основное место работы =

* инженер-программист, Петрозаводский государственный университет, Лаборатория информационно-телекоммуникационных систем (фев. 2010 - май 2012)
** разработка на C++ в проектах Nokia (Maemo, Symbian)
** дополнительные должности:
*** тренер по олимпиадному программированию
*** член комиссии муниципального этапа Всероссийской олимпиады по математике

* ведущий разработчик, SlickJump (сен. 2012 - по н.в.)
** backend - разработка

= Профессиональные навыки =

* ОС: Linux (как рабочая и домашняя ОС: Ubuntu, OpenSUSE), FreeBSD, Unix shell, MS Windows
* Языки программирования: Python (как основной язык программирования: WebPy, Scikit-Learn, PyMorphy, NLTK и т.д.); C/C++
* Мобильная разработка: Symbian OS, Maemo OS (имел опыт разработки на C++)
* Web-разработка: опыт конфигурирования высоконагруженных серверов (Gunicorn, Nginx, свои собственные на Python), JavaScript (вкл. jQuery, Ajax, BackBone - имел опыт использования), HTML/CSS, PHP, CoffeeScript (имел опыт использования)
* Математическое ПО: Maxima, Statistica, SPSS, MatLab, Mathcad
* Базы данных: MongoDB (как основная БД: опыт конфигурирования распределенных кластеров БД, репликации, использования MapReduce и статистической обработки данных); MySQL
* Системы контроля версий: git
* Навыки оптимизации программ (анализ сложности алгоритмов, profiling и т.д.)

= Увлечения =

* Пауэрлифтинг, футбол
* Любительская наблюдательная астрономия
* Автопутешествия

Файл:F6544.png

2015-01-12T21:10:45Z

Dmitry: Dmitry загружена новая версия «Файл:F6544.png»

[[Файл:IMAG1097.jpg|мини]]
F6544.png

Файл:F6544.png

2015-01-12T21:08:39Z

Dmitry: мини F6544.png

[[Файл:IMAG1097.jpg|мини]]
F6544.png

Редактор параллельных разметок (проект)

2015-01-12T21:06:53Z

Dmitry: /* Что такое разметка? */

{{Карточка_проекта
|name=Редактор параллельных разметок
|mentor=Фролов Дмитрий
|mentor_login={{URLENCODE:Dmitry|WIKI}}
|semester=Весна 2015
|course=1
|summer=
|categorize=yes
}}

=== Что это за проект? ===
====Мотивировка====

Для разметки языковых данных в корпусах, базах данных и т.п. часто пользуются краудсорсингом, привлекая студентов, школьников, энтузиастов, низкооплачиваемых mechanical turks. Являясь непрофессионалами и не имея достаточного опыта, эти разметчики делают много ошибок, поэтому обычно одни и те же данные размечаются двумя-тремя-.. - пятью разметчиками. Нужен интерфейс для супервайзера-профессионала, который на основе этих параллельных разметок создаст правильную итоговую разметку. (Аналогично такую чистовую разметку делают на основе ответов нескольких автоматических разметчиков).

====Что такое разметка?====

Токен (слово или другая единица языка) с приписанным ему набором тегов ("разбором"), ср. пример из древнерусского: 
<ana lex="проблискатисѧ" gr="V,praes,sg,3p" source_el="ἀπαστράπτεται"/>проблискаѥтсѧ 
Пример параллельной разметки можно увидеть на картинке справа.

[[Файл:IMAG1097.jpg|мини]]

====Требования к разрабатываемой системе====

Система должна предоставлять следующие функции (I):

# создавать "проект" и загружать исходные файлы (от двух до N файлов с xml-разметкой в юникоде)
# выравнивать данные из разных файлов по токенам (NB возможны мелкие расхождения)
# показывать расхождения (подсветкой?)
# давать возможность пользователю выбрать один ("правильный"), кликнув на нем
# автоматически выбирать "правильный", если разметки для токена везде совпадают
# выделять или (как опция) автоматически выбирать наиболее вероятный разбор по принципу "большинство голосует" (если разметок 3 и больше)
# давать возможность вручную написать новый разбор, если другие не годятся (в поле для редактирования)
# сохранять итоговую разметку в xml-файл (токены, для которых ответ не выбран, остаются без разметки)
# сохранять информацию о текущем состоянии в файл "проекта"
# проверять валидность итогового xml-файла (с учетом п. 7)
# сообщать, сколько разборов осталось неразмеченными (в status bar?), и переходить к следующему неразмеченному
# давать возможность увидеть контекст (10 токенов слева и справа от текущего как сниппет) (NB всплывающее поле? в строке статуса по клику? отрисовывать его при каждом токене не хочется)

Дополнительные требования (II):

# отрисовывать блекло повторяющиеся разборы, чтобы они не отвлекали пользователя (совсем скрывать их нежелательно, чтобы пользователь видел, откуда пришел тот или иной разбор)
# показывать [http://en.wikipedia.org/wiki/Cohen%27s_kappa каппу] inter-annotator agreement
# ранжировать аннотаторов от "хороших" к "плохим" (по степени их согласования с большинством), сначала показывать "хороших", потом "плохих"
# вручную менять порядок показа их разборов
# особым образом помечать сложные случаи, чтобы потом можно было к ним вернуться (+ переходить между ними), иметь возможность писать к ним комментарии
# возможность оставить два и более разбора в итоговой разметке (такая потребность реально бывает)
# убирать и добавлять токены в разметку (связано с тем, что границы между токенами требуется поменять вручную).

=== Чему вы научитесь? ===

# Основы проектирования и разработки клиент-серверных приложений
# Базовые знания Unix Shell
# Работа с нереляционными базами данных

=== Какие начальные требования? ===

# Представление о технологиях создания веб-страниц
# Основы языка программирования Python

=== Какие будут использоваться технологии? ===

# HTML/CSS, JavaScript, JQuery
# Python 2.7
# WebPy/Web2Py/Django
# Ubuntu Linux/OpenSUSE/FreeBSD, GNU Emacs или Vim - на выбор
# MongoDB
# http-сервера Nginx, Gunicorn

=== Темы вводных занятий ===

# Архитектура клиент-серверных приложений и основные принципы разработки
# Нереляционные базы данных, преимущества, недостатки, особенности использования

=== Направления развития ===

# Различные варианты усовершенствование архитектуры серверной части, механизмов и алгоритмов клиент-серверного взаимодействия


=== Критерии оценки ===

# 4-5 - Система представляет собой клиент-серверное приложение, реализующее как минимум половину функции из списка требований (I)
# 6-7 - Система, реализующая все функции из списка требований (I).
# 8-10 - Система, реализующая функции все функции из списка требований (I), и, кроме того, реализованы 1-2 или более функций из списка Дополнительных требований (II). Для получения самого высокого балла (10) разработанная система должна иметь защиту от использования незарегистрированными пользователями, предоставлять возможность регистрации и входа в систему.

Редактор параллельных разметок (проект)

2015-01-12T21:06:01Z

Dmitry: /* Что это за проект? */

{{Карточка_проекта
|name=Редактор параллельных разметок
|mentor=Фролов Дмитрий
|mentor_login={{URLENCODE:Dmitry|WIKI}}
|semester=Весна 2015
|course=1
|summer=
|categorize=yes
}}

=== Что это за проект? ===
====Мотивировка====

Для разметки языковых данных в корпусах, базах данных и т.п. часто пользуются краудсорсингом, привлекая студентов, школьников, энтузиастов, низкооплачиваемых mechanical turks. Являясь непрофессионалами и не имея достаточного опыта, эти разметчики делают много ошибок, поэтому обычно одни и те же данные размечаются двумя-тремя-.. - пятью разметчиками. Нужен интерфейс для супервайзера-профессионала, который на основе этих параллельных разметок создаст правильную итоговую разметку. (Аналогично такую чистовую разметку делают на основе ответов нескольких автоматических разметчиков).

====Что такое разметка?====

Токен (слово или другая единица языка) с приписанным ему набором тегов ("разбором"), ср. пример из древнерусского: 
<ana lex="проблискатисѧ" gr="V,praes,sg,3p" source_el="ἀπαστράπτεται"/>проблискаѥтсѧ 
Параллельную разметку можно представить примерно так:

[[Файл:IMAG1097.jpg|мини]]

====Требования к разрабатываемой системе====

Система должна предоставлять следующие функции (I):

# создавать "проект" и загружать исходные файлы (от двух до N файлов с xml-разметкой в юникоде)
# выравнивать данные из разных файлов по токенам (NB возможны мелкие расхождения)
# показывать расхождения (подсветкой?)
# давать возможность пользователю выбрать один ("правильный"), кликнув на нем
# автоматически выбирать "правильный", если разметки для токена везде совпадают
# выделять или (как опция) автоматически выбирать наиболее вероятный разбор по принципу "большинство голосует" (если разметок 3 и больше)
# давать возможность вручную написать новый разбор, если другие не годятся (в поле для редактирования)
# сохранять итоговую разметку в xml-файл (токены, для которых ответ не выбран, остаются без разметки)
# сохранять информацию о текущем состоянии в файл "проекта"
# проверять валидность итогового xml-файла (с учетом п. 7)
# сообщать, сколько разборов осталось неразмеченными (в status bar?), и переходить к следующему неразмеченному
# давать возможность увидеть контекст (10 токенов слева и справа от текущего как сниппет) (NB всплывающее поле? в строке статуса по клику? отрисовывать его при каждом токене не хочется)

Дополнительные требования (II):

# отрисовывать блекло повторяющиеся разборы, чтобы они не отвлекали пользователя (совсем скрывать их нежелательно, чтобы пользователь видел, откуда пришел тот или иной разбор)
# показывать [http://en.wikipedia.org/wiki/Cohen%27s_kappa каппу] inter-annotator agreement
# ранжировать аннотаторов от "хороших" к "плохим" (по степени их согласования с большинством), сначала показывать "хороших", потом "плохих"
# вручную менять порядок показа их разборов
# особым образом помечать сложные случаи, чтобы потом можно было к ним вернуться (+ переходить между ними), иметь возможность писать к ним комментарии
# возможность оставить два и более разбора в итоговой разметке (такая потребность реально бывает)
# убирать и добавлять токены в разметку (связано с тем, что границы между токенами требуется поменять вручную).

=== Чему вы научитесь? ===

# Основы проектирования и разработки клиент-серверных приложений
# Базовые знания Unix Shell
# Работа с нереляционными базами данных

=== Какие начальные требования? ===

# Представление о технологиях создания веб-страниц
# Основы языка программирования Python

=== Какие будут использоваться технологии? ===

# HTML/CSS, JavaScript, JQuery
# Python 2.7
# WebPy/Web2Py/Django
# Ubuntu Linux/OpenSUSE/FreeBSD, GNU Emacs или Vim - на выбор
# MongoDB
# http-сервера Nginx, Gunicorn

=== Темы вводных занятий ===

# Архитектура клиент-серверных приложений и основные принципы разработки
# Нереляционные базы данных, преимущества, недостатки, особенности использования

=== Направления развития ===

# Различные варианты усовершенствование архитектуры серверной части, механизмов и алгоритмов клиент-серверного взаимодействия


=== Критерии оценки ===

# 4-5 - Система представляет собой клиент-серверное приложение, реализующее как минимум половину функции из списка требований (I)
# 6-7 - Система, реализующая все функции из списка требований (I).
# 8-10 - Система, реализующая функции все функции из списка требований (I), и, кроме того, реализованы 1-2 или более функций из списка Дополнительных требований (II). Для получения самого высокого балла (10) разработанная система должна иметь защиту от использования незарегистрированными пользователями, предоставлять возможность регистрации и входа в систему.

Участник:Dmitry

2015-01-12T21:02:52Z

Dmitry: /* Опыт и основное место работы */

{{Карточка_ментора
|categorize = yes
}}

Фролов Дмитрий Сергеевич

=Контактная информация=
* e-mail: dmitsf@gmail.com
* телефон: 8-926-124-1152

=Образование=
* Петрозаводский государственный университет (ПетрГУ), бакалавр прикладной математики и информатики, 2008-2012 (диплом с отличием)
* Национальный исследовательский университет "Высшая школа экономики", магистр системной и программной инженерии, 2012-2014
* Национальный исследовательский университет "Высшая школа экономики", факультет компьютерных наук, аспирант, 2014 - по н.в.

=Языки=

* Русский (родной)
* Английский (читаю профессиональную литературу)

= Опыт и основное место работы =

* инженер-программист, Петрозаводский государственный университет, Лаборатория информационно-телекоммуникационных систем (фев. 2010 - май 2012)
** разработка на C++ в проектах Nokia (Maemo, Symbian)
** дополнительные должности:
*** тренер по олимпиадному программированию
*** член комиссии муниципального этапа Всероссийской олимпиады по математике

* ведущий разработчик, SlickJump (сен. 2012 - по н.в.)
** backend - разработка

= Профессиональные навыки =

* ОС: Linux (как рабочая и домашняя ОС: Ubuntu, OpenSUSE), FreeBSD, Unix shell, MS Windows
* Языки программирования: Python (как основной язык программирования: WebPy, Scikit-Learn, PyMorphy, NLTK и т.д.); C/C++
* Мобильная разработка: Symbian OS, Maemo OS (имел опыт разработки на C++)
* Web-разработка: опыт конфигурирования высоконагруженных серверов (Gunicorn, Nginx, свои собственные на Python), JavaScript (вкл. jQuery, Ajax, BackBone - имел опыт использования), HTML/CSS, PHP, CoffeeScript (имел опыт использования)
* Математическое ПО: Maxima, Statistica, SPSS, MatLab, Mathcad
* Базы данных: MongoDB (как основная БД: опыт конфигурирования распределенных кластеров БД, репликации, использования MapReduce и статистической обработки данных); MySQL
* Системы контроля версий: git
* Навыки оптимизации программ (анализ сложности алгоритмов, profiling и т.д.)

= Увлечения =

* Пауэрлифтинг, футбол
* Любительская наблюдательная астрономия
* Автопутешествия

Поисковая система (проект)

2015-01-12T21:00:32Z

Dmitry: /* Какие будут использоваться технологии? */

{{Карточка_проекта
|name=Поисковая система
|mentor=Фролов Дмитрий
|mentor_login={{URLENCODE:Dmitry|WIKI}}
|semester=Весна 2015
|course=1
|summer=on
|categorize=yes
}}

=== Что это за проект? ===
Одной из важнейших задач, возникающих при обработке естественного языка, является работа с большими множествами (коллекциями) текстовых документов, в частности, проблема поиска документов по запросу.
Программы и программные комплексы, позволяющие решать эту задачу, называются поисковыми системами. Главными характеристиками качества поисковой системы является соответствие извлеченных документов исходному запросу и время выполнения запроса. Итогом работы над проектом должна быть программа, производящая извлечение релевантных запросу документов из коллекции.

=== Чему вы научитесь? ===
# Основные понятия из теории поисковых систем, основные алгоритмы поиска, методы обработки документов
# Базовые знания Unix Shell
# Работа с нереляционными базами данных
# Работа с системой управления версиями git

=== Какие начальные требования? ===
# Основы языка программирования Python



=== Какие будут использоваться технологии? ===
# Python 2.7
# MyStem, PyMorphy, NLTK
# Ubuntu Linux/OpenSUSE/FreeBSD, GNU Emacs или Vim - на выбор
# git, github/bitbucket
# MongoDB

=== Темы вводных занятий ===
# Общие понятия теории поисковых систем. Поисковые движки. Коллекции документов. Меры близости. Качество поиска.
# Общие методы разработки с использованием систем управления версиями.
# Нереляционные базы данных, преимущества, недостатки, особенности использования

=== Направления развития ===
# Реализация системы в виде: база данных + сервер + веб-интерфейс
# Модификация индекса в целью снижения временной сложности поиска
# Предобработка коллекции документов и поисковых запросов для возможности выполнения нечеткого поиска

=== Критерии оценки ===
# 4-5 - Система, выполняющая предобработку коллекции, строящая поисковый индекс, позволяющая производить поиск с простейшим синтаксисом запросов: слова, словосочетания, одновременная встреча слов из запроса в документе, хотя бы одно из слов, указанных в запросе. Найденные документы должны выдаваться системой в порядке убывания релевантности. Система должна быть оформлена в виде консольного приложения.
# 6-7 - Система, реализующая функции, перечисленные в Пункте (1), и, кроме того, позволяющая производить поиск вне зависимости от словоформ в запросе и в документах.
# 8-10 - Система, реализующая функции, перечисленные в Пункте (2), и, кроме того, позволяющая выполнять нечеткий поиск (например, для запросов с ошибками). Для поисковой системы необходимо произвести ее анализ на фиксированной коллекции, рассчитать метрики эффективности качества поиска.

Поисковая система (проект)

2014-12-13T20:31:01Z

Dmitry: /* Какие начальные требования? */

{{Карточка_проекта
|name=Поисковая система
|mentor=Фролов Дмитрий
|mentor_login={{URLENCODE:{{REVISIONUSER}}|WIKI}}
|semester=Весна 2015
|course=1
|summer=on
|categorize=yes
}}

=== Что это за проект? ===
Одной из важнейших задач, возникающих при обработке естественного языка, является работа с большими множествами (коллекциями) текстовых документов, в частности, проблема поиска документов по запросу.
Программы и программные комплексы, позволяющие решать эту задачу, называются поисковыми системами. Главными характеристиками качества поисковой системы является соответствие извлеченных документов исходному запросу и время выполнения запроса. Итогом работы над проектом должна быть программа, производящая извлечение релевантных запросу документов из коллекции.

=== Чему вы научитесь? ===
# Основные понятия из теории поисковых систем, основные алгоритмы поиска, методы обработки документов
# Базовые знания Unix Shell
# Работа с нереляционными базами данных
# Работа с системой управления версиями git

=== Какие начальные требования? ===
# Основы языка программирования Python



=== Какие будут использоваться технологии? ===
# Python 2.7
# MyStem, PyMorphy, NLTK
# Ubuntu Linux/OpenSUSE/FreeBSD, GNU Emacs или Vim - на выбор
# git, github
# MongoDB

=== Темы вводных занятий ===
# Общие понятия теории поисковых систем. Поисковые движки. Коллекции документов. Меры близости. Качество поиска.
# Общие методы разработки с использованием систем управления версиями.
# Нереляционные базы данных, преимущества, недостатки, особенности использования

=== Направления развития ===
# Реализация системы в виде: база данных + сервер + веб-интерфейс
# Модификация индекса в целью снижения временной сложности поиска
# Предобработка коллекции документов и поисковых запросов для возможности выполнения нечеткого поиска

=== Критерии оценки ===
# 4-5 - Система, выполняющая предобработку коллекции, строящая поисковый индекс, позволяющая производить поиск с простейшим синтаксисом запросов: слова, словосочетания, одновременная встреча слов из запроса в документе, хотя бы одно из слов, указанных в запросе. Найденные документы должны выдаваться системой в порядке убывания релевантности. Система должна быть оформлена в виде консольного приложения.
# 6-7 - Система, реализующая функции, перечисленные в Пункте (1), и, кроме того, позволяющая производить поиск вне зависимости от словоформ в запросе и в документах.
# 8-10 - Система, реализующая функции, перечисленные в Пункте (2), и, кроме того, позволяющая выполнять нечеткий поиск (например, для запросов с ошибками). Для поисковой системы необходимо произвести ее анализ на фиксированной коллекции, рассчитать метрики эффективности качества поиска.

Редактор параллельных разметок (проект)

2014-12-13T20:11:02Z

Dmitry: /* Направления развития */

{{Карточка_проекта
|name=Редактор параллельных разметок
|mentor=Фролов Дмитрий
|mentor_login=Dmitry
|semester=Весна 2015
|course=1
|summer=
|categorize=yes
}}

=== Что это за проект? ===
====Мотивировка====

Для разметки языковых данных в корпусах, базах данных и т.п. часто пользуются краудсорсингом, привлекая студентов, школьников, энтузиастов, низкооплачиваемых mechanical turks. Являясь непрофессионалами и не имея достаточного опыта, эти разметчики делают много ошибок, поэтому обычно одни и те же данные размечаются двумя-тремя-.. - пятью разметчиками. Нужен интерфейс для супервайзера-профессионала, который на основе этих параллельных разметок создаст правильную итоговую разметку. (Аналогично такую чистовую разметку делают на основе ответов нескольких автоматических разметчиков).

====Что такое разметка?====

Токен (слово или другая единица языка) с приписанным ему набором тегов ("разбором"), ср. пример из древнерусского: 
<ana lex="проблискатисѧ" gr="V,praes,sg,3p" source_el="ἀπαστράπτεται"/>проблискаѥтсѧ 
Параллельную разметку можно представить примерно так: 
[[Файл:IMAG1097.jpg|мини]]

====Требования к разрабатываемой системе====

Система должна предоставлять следующие функции (I):

# создавать "проект" и загружать исходные файлы (от двух до N файлов с xml-разметкой в юникоде)
# выравнивать данные из разных файлов по токенам (NB возможны мелкие расхождения)
# показывать расхождения (подсветкой?)
# давать возможность пользователю выбрать один ("правильный"), кликнув на нем
# автоматически выбирать "правильный", если разметки для токена везде совпадают
# выделять или (как опция) автоматически выбирать наиболее вероятный разбор по принципу "большинство голосует" (если разметок 3 и больше)
# давать возможность вручную написать новый разбор, если другие не годятся (в поле для редактирования)
# сохранять итоговую разметку в xml-файл (токены, для которых ответ не выбран, остаются без разметки)
# сохранять информацию о текущем состоянии в файл "проекта"
# проверять валидность итогового xml-файла (с учетом п. 7)
# сообщать, сколько разборов осталось неразмеченными (в status bar?), и переходить к следующему неразмеченному
# давать возможность увидеть контекст (10 токенов слева и справа от текущего как сниппет) (NB всплывающее поле? в строке статуса по клику? отрисовывать его при каждом токене не хочется)

Дополнительные требования (II):

# отрисовывать блекло повторяющиеся разборы, чтобы они не отвлекали пользователя (совсем скрывать их нежелательно, чтобы пользователь видел, откуда пришел тот или иной разбор)
# показывать [http://en.wikipedia.org/wiki/Cohen%27s_kappa каппу] inter-annotator agreement
# ранжировать аннотаторов от "хороших" к "плохим" (по степени их согласования с большинством), сначала показывать "хороших", потом "плохих"
# вручную менять порядок показа их разборов
# особым образом помечать сложные случаи, чтобы потом можно было к ним вернуться (+ переходить между ними), иметь возможность писать к ним комментарии
# возможность оставить два и более разбора в итоговой разметке (такая потребность реально бывает)
# убирать и добавлять токены в разметку (связано с тем, что границы между токенами требуется поменять вручную).

=== Чему вы научитесь? ===

# Основы проектирования и разработки клиент-серверных приложений
# Базовые знания Unix Shell
# Работа с нереляционными базами данных

=== Какие начальные требования? ===

# Представление о технологиях создания веб-страниц
# Основы языка программирования Python

=== Какие будут использоваться технологии? ===

# HTML/CSS, JavaScript, JQuery
# Python 2.7
# WebPy/Web2Py/Django
# Ubuntu Linux/OpenSUSE/FreeBSD, GNU Emacs или Vim - на выбор
# MongoDB
# http-сервера Nginx, Gunicorn

=== Темы вводных занятий ===

# Архитектура клиент-серверных приложений и основные принципы разработки
# Нереляционные базы данных, преимущества, недостатки, особенности использования

=== Направления развития ===

# Различные варианты усовершенствование архитектуры серверной части, механизмов и алгоритмов клиент-серверного взаимодействия


=== Критерии оценки ===

# 4-5 - Система представляет собой клиент-серверное приложение, реализующее как минимум половину функции из списка требований (I)
# 6-7 - Система, реализующая все функции из списка требований (I).
# 8-10 - Система, реализующая функции все функции из списка требований (I), и, кроме того, реализованы 1-2 или более функций из списка Дополнительных требований (II). Для получения самого высокого балла (10) разработанная система должна иметь защиту от использования незарегистрированными пользователями, предоставлять возможность регистрации и входа в систему.

Редактор параллельных разметок (проект)

2014-12-13T20:06:29Z

Dmitry: /* Какие начальные требования? */

{{Карточка_проекта
|name=Редактор параллельных разметок
|mentor=Фролов Дмитрий
|mentor_login=Dmitry
|semester=Весна 2015
|course=1
|summer=
|categorize=yes
}}

=== Что это за проект? ===
====Мотивировка====

Для разметки языковых данных в корпусах, базах данных и т.п. часто пользуются краудсорсингом, привлекая студентов, школьников, энтузиастов, низкооплачиваемых mechanical turks. Являясь непрофессионалами и не имея достаточного опыта, эти разметчики делают много ошибок, поэтому обычно одни и те же данные размечаются двумя-тремя-.. - пятью разметчиками. Нужен интерфейс для супервайзера-профессионала, который на основе этих параллельных разметок создаст правильную итоговую разметку. (Аналогично такую чистовую разметку делают на основе ответов нескольких автоматических разметчиков).

====Что такое разметка?====

Токен (слово или другая единица языка) с приписанным ему набором тегов ("разбором"), ср. пример из древнерусского: 
<ana lex="проблискатисѧ" gr="V,praes,sg,3p" source_el="ἀπαστράπτεται"/>проблискаѥтсѧ 
Параллельную разметку можно представить примерно так: 
[[Файл:IMAG1097.jpg|мини]]

====Требования к разрабатываемой системе====

Система должна предоставлять следующие функции (I):

# создавать "проект" и загружать исходные файлы (от двух до N файлов с xml-разметкой в юникоде)
# выравнивать данные из разных файлов по токенам (NB возможны мелкие расхождения)
# показывать расхождения (подсветкой?)
# давать возможность пользователю выбрать один ("правильный"), кликнув на нем
# автоматически выбирать "правильный", если разметки для токена везде совпадают
# выделять или (как опция) автоматически выбирать наиболее вероятный разбор по принципу "большинство голосует" (если разметок 3 и больше)
# давать возможность вручную написать новый разбор, если другие не годятся (в поле для редактирования)
# сохранять итоговую разметку в xml-файл (токены, для которых ответ не выбран, остаются без разметки)
# сохранять информацию о текущем состоянии в файл "проекта"
# проверять валидность итогового xml-файла (с учетом п. 7)
# сообщать, сколько разборов осталось неразмеченными (в status bar?), и переходить к следующему неразмеченному
# давать возможность увидеть контекст (10 токенов слева и справа от текущего как сниппет) (NB всплывающее поле? в строке статуса по клику? отрисовывать его при каждом токене не хочется)

Дополнительные требования (II):

# отрисовывать блекло повторяющиеся разборы, чтобы они не отвлекали пользователя (совсем скрывать их нежелательно, чтобы пользователь видел, откуда пришел тот или иной разбор)
# показывать [http://en.wikipedia.org/wiki/Cohen%27s_kappa каппу] inter-annotator agreement
# ранжировать аннотаторов от "хороших" к "плохим" (по степени их согласования с большинством), сначала показывать "хороших", потом "плохих"
# вручную менять порядок показа их разборов
# особым образом помечать сложные случаи, чтобы потом можно было к ним вернуться (+ переходить между ними), иметь возможность писать к ним комментарии
# возможность оставить два и более разбора в итоговой разметке (такая потребность реально бывает)
# убирать и добавлять токены в разметку (связано с тем, что границы между токенами требуется поменять вручную).

=== Чему вы научитесь? ===

# Основы проектирования и разработки клиент-серверных приложений
# Базовые знания Unix Shell
# Работа с нереляционными базами данных

=== Какие начальные требования? ===

# Представление о технологиях создания веб-страниц
# Основы языка программирования Python

=== Какие будут использоваться технологии? ===

# HTML/CSS, JavaScript, JQuery
# Python 2.7
# WebPy/Web2Py/Django
# Ubuntu Linux/OpenSUSE/FreeBSD, GNU Emacs или Vim - на выбор
# MongoDB
# http-сервера Nginx, Gunicorn

=== Темы вводных занятий ===

# Архитектура клиент-серверных приложений и основные принципы разработки
# Нереляционные базы данных, преимущества, недостатки, особенности использования

=== Направления развития ===

# Усовершенствование архитектуры серверной части
# Развертывание кластера серверов с распределением нагрузки (например, http-сервером)
# Развертывание кластера БД с шардами и репликацией

=== Критерии оценки ===

# 4-5 - Система представляет собой клиент-серверное приложение, реализующее как минимум половину функции из списка требований (I)
# 6-7 - Система, реализующая все функции из списка требований (I).
# 8-10 - Система, реализующая функции все функции из списка требований (I), и, кроме того, реализованы 1-2 или более функций из списка Дополнительных требований (II). Для получения самого высокого балла (10) разработанная система должна иметь защиту от использования незарегистрированными пользователями, предоставлять возможность регистрации и входа в систему.

Редактор параллельных разметок (проект)

2014-12-13T20:05:34Z

Dmitry: /* Критерии оценки */

{{Карточка_проекта
|name=Редактор параллельных разметок
|mentor=Фролов Дмитрий
|mentor_login=Dmitry
|semester=Весна 2015
|course=1
|summer=
|categorize=yes
}}

=== Что это за проект? ===
====Мотивировка====

Для разметки языковых данных в корпусах, базах данных и т.п. часто пользуются краудсорсингом, привлекая студентов, школьников, энтузиастов, низкооплачиваемых mechanical turks. Являясь непрофессионалами и не имея достаточного опыта, эти разметчики делают много ошибок, поэтому обычно одни и те же данные размечаются двумя-тремя-.. - пятью разметчиками. Нужен интерфейс для супервайзера-профессионала, который на основе этих параллельных разметок создаст правильную итоговую разметку. (Аналогично такую чистовую разметку делают на основе ответов нескольких автоматических разметчиков).

====Что такое разметка?====

Токен (слово или другая единица языка) с приписанным ему набором тегов ("разбором"), ср. пример из древнерусского: 
<ana lex="проблискатисѧ" gr="V,praes,sg,3p" source_el="ἀπαστράπτεται"/>проблискаѥтсѧ 
Параллельную разметку можно представить примерно так: 
[[Файл:IMAG1097.jpg|мини]]

====Требования к разрабатываемой системе====

Система должна предоставлять следующие функции (I):

# создавать "проект" и загружать исходные файлы (от двух до N файлов с xml-разметкой в юникоде)
# выравнивать данные из разных файлов по токенам (NB возможны мелкие расхождения)
# показывать расхождения (подсветкой?)
# давать возможность пользователю выбрать один ("правильный"), кликнув на нем
# автоматически выбирать "правильный", если разметки для токена везде совпадают
# выделять или (как опция) автоматически выбирать наиболее вероятный разбор по принципу "большинство голосует" (если разметок 3 и больше)
# давать возможность вручную написать новый разбор, если другие не годятся (в поле для редактирования)
# сохранять итоговую разметку в xml-файл (токены, для которых ответ не выбран, остаются без разметки)
# сохранять информацию о текущем состоянии в файл "проекта"
# проверять валидность итогового xml-файла (с учетом п. 7)
# сообщать, сколько разборов осталось неразмеченными (в status bar?), и переходить к следующему неразмеченному
# давать возможность увидеть контекст (10 токенов слева и справа от текущего как сниппет) (NB всплывающее поле? в строке статуса по клику? отрисовывать его при каждом токене не хочется)

Дополнительные требования (II):

# отрисовывать блекло повторяющиеся разборы, чтобы они не отвлекали пользователя (совсем скрывать их нежелательно, чтобы пользователь видел, откуда пришел тот или иной разбор)
# показывать [http://en.wikipedia.org/wiki/Cohen%27s_kappa каппу] inter-annotator agreement
# ранжировать аннотаторов от "хороших" к "плохим" (по степени их согласования с большинством), сначала показывать "хороших", потом "плохих"
# вручную менять порядок показа их разборов
# особым образом помечать сложные случаи, чтобы потом можно было к ним вернуться (+ переходить между ними), иметь возможность писать к ним комментарии
# возможность оставить два и более разбора в итоговой разметке (такая потребность реально бывает)
# убирать и добавлять токены в разметку (связано с тем, что границы между токенами требуется поменять вручную).

=== Чему вы научитесь? ===

# Основы проектирования и разработки клиент-серверных приложений
# Базовые знания Unix Shell
# Работа с нереляционными базами данных

=== Какие начальные требования? ===

# Основы HTML/CSS/JavaScript
# Основы языка программирования Python
# Представления о системах управления версиями
# Базовые представления о базах данных

=== Какие будут использоваться технологии? ===

# HTML/CSS, JavaScript, JQuery
# Python 2.7
# WebPy/Web2Py/Django
# Ubuntu Linux/OpenSUSE/FreeBSD, GNU Emacs или Vim - на выбор
# MongoDB
# http-сервера Nginx, Gunicorn

=== Темы вводных занятий ===

# Архитектура клиент-серверных приложений и основные принципы разработки
# Нереляционные базы данных, преимущества, недостатки, особенности использования

=== Направления развития ===

# Усовершенствование архитектуры серверной части
# Развертывание кластера серверов с распределением нагрузки (например, http-сервером)
# Развертывание кластера БД с шардами и репликацией

=== Критерии оценки ===

# 4-5 - Система представляет собой клиент-серверное приложение, реализующее как минимум половину функции из списка требований (I)
# 6-7 - Система, реализующая все функции из списка требований (I).
# 8-10 - Система, реализующая функции все функции из списка требований (I), и, кроме того, реализованы 1-2 или более функций из списка Дополнительных требований (II). Для получения самого высокого балла (10) разработанная система должна иметь защиту от использования незарегистрированными пользователями, предоставлять возможность регистрации и входа в систему.

Редактор параллельных разметок (проект)

2014-12-13T20:04:13Z

Dmitry: /* Критерии оценки */

{{Карточка_проекта
|name=Редактор параллельных разметок
|mentor=Фролов Дмитрий
|mentor_login=Dmitry
|semester=Весна 2015
|course=1
|summer=
|categorize=yes
}}

=== Что это за проект? ===
====Мотивировка====

Для разметки языковых данных в корпусах, базах данных и т.п. часто пользуются краудсорсингом, привлекая студентов, школьников, энтузиастов, низкооплачиваемых mechanical turks. Являясь непрофессионалами и не имея достаточного опыта, эти разметчики делают много ошибок, поэтому обычно одни и те же данные размечаются двумя-тремя-.. - пятью разметчиками. Нужен интерфейс для супервайзера-профессионала, который на основе этих параллельных разметок создаст правильную итоговую разметку. (Аналогично такую чистовую разметку делают на основе ответов нескольких автоматических разметчиков).

====Что такое разметка?====

Токен (слово или другая единица языка) с приписанным ему набором тегов ("разбором"), ср. пример из древнерусского: 
<ana lex="проблискатисѧ" gr="V,praes,sg,3p" source_el="ἀπαστράπτεται"/>проблискаѥтсѧ 
Параллельную разметку можно представить примерно так: 
[[Файл:IMAG1097.jpg|мини]]

====Требования к разрабатываемой системе====

Система должна предоставлять следующие функции (I):

# создавать "проект" и загружать исходные файлы (от двух до N файлов с xml-разметкой в юникоде)
# выравнивать данные из разных файлов по токенам (NB возможны мелкие расхождения)
# показывать расхождения (подсветкой?)
# давать возможность пользователю выбрать один ("правильный"), кликнув на нем
# автоматически выбирать "правильный", если разметки для токена везде совпадают
# выделять или (как опция) автоматически выбирать наиболее вероятный разбор по принципу "большинство голосует" (если разметок 3 и больше)
# давать возможность вручную написать новый разбор, если другие не годятся (в поле для редактирования)
# сохранять итоговую разметку в xml-файл (токены, для которых ответ не выбран, остаются без разметки)
# сохранять информацию о текущем состоянии в файл "проекта"
# проверять валидность итогового xml-файла (с учетом п. 7)
# сообщать, сколько разборов осталось неразмеченными (в status bar?), и переходить к следующему неразмеченному
# давать возможность увидеть контекст (10 токенов слева и справа от текущего как сниппет) (NB всплывающее поле? в строке статуса по клику? отрисовывать его при каждом токене не хочется)

Дополнительные требования (II):

# отрисовывать блекло повторяющиеся разборы, чтобы они не отвлекали пользователя (совсем скрывать их нежелательно, чтобы пользователь видел, откуда пришел тот или иной разбор)
# показывать [http://en.wikipedia.org/wiki/Cohen%27s_kappa каппу] inter-annotator agreement
# ранжировать аннотаторов от "хороших" к "плохим" (по степени их согласования с большинством), сначала показывать "хороших", потом "плохих"
# вручную менять порядок показа их разборов
# особым образом помечать сложные случаи, чтобы потом можно было к ним вернуться (+ переходить между ними), иметь возможность писать к ним комментарии
# возможность оставить два и более разбора в итоговой разметке (такая потребность реально бывает)
# убирать и добавлять токены в разметку (связано с тем, что границы между токенами требуется поменять вручную).

=== Чему вы научитесь? ===

# Основы проектирования и разработки клиент-серверных приложений
# Базовые знания Unix Shell
# Работа с нереляционными базами данных

=== Какие начальные требования? ===

# Основы HTML/CSS/JavaScript
# Основы языка программирования Python
# Представления о системах управления версиями
# Базовые представления о базах данных

=== Какие будут использоваться технологии? ===

# HTML/CSS, JavaScript, JQuery
# Python 2.7
# WebPy/Web2Py/Django
# Ubuntu Linux/OpenSUSE/FreeBSD, GNU Emacs или Vim - на выбор
# MongoDB
# http-сервера Nginx, Gunicorn

=== Темы вводных занятий ===

# Архитектура клиент-серверных приложений и основные принципы разработки
# Нереляционные базы данных, преимущества, недостатки, особенности использования

=== Направления развития ===

# Усовершенствование архитектуры серверной части
# Развертывание кластера серверов с распределением нагрузки (например, http-сервером)
# Развертывание кластера БД с шардами и репликацией

=== Критерии оценки ===

# 4-5 - Клиент-серверное приложение, реализующее как минимум половину функции из списка требований (I)
# 6-7 - Система, реализующая все функции из списка требований (I).
# 8-10 - Система, реализующая функции, перечисленные в Пункте (2), и, кроме того, реализованы 1-2 или более функций из списка Дополнительных требований (II). Для получения самого высокого балла (10) разработанная система должна иметь защиту от использования незарегистрированными пользователями, предоставлять возможность регистрации и входа в систему.

Редактор параллельных разметок (проект)

2014-12-13T20:03:20Z

Dmitry: /* Критерии оценки */

{{Карточка_проекта
|name=Редактор параллельных разметок
|mentor=Фролов Дмитрий
|mentor_login=Dmitry
|semester=Весна 2015
|course=1
|summer=
|categorize=yes
}}

=== Что это за проект? ===
====Мотивировка====

Для разметки языковых данных в корпусах, базах данных и т.п. часто пользуются краудсорсингом, привлекая студентов, школьников, энтузиастов, низкооплачиваемых mechanical turks. Являясь непрофессионалами и не имея достаточного опыта, эти разметчики делают много ошибок, поэтому обычно одни и те же данные размечаются двумя-тремя-.. - пятью разметчиками. Нужен интерфейс для супервайзера-профессионала, который на основе этих параллельных разметок создаст правильную итоговую разметку. (Аналогично такую чистовую разметку делают на основе ответов нескольких автоматических разметчиков).

====Что такое разметка?====

Токен (слово или другая единица языка) с приписанным ему набором тегов ("разбором"), ср. пример из древнерусского: 
<ana lex="проблискатисѧ" gr="V,praes,sg,3p" source_el="ἀπαστράπτεται"/>проблискаѥтсѧ 
Параллельную разметку можно представить примерно так: 
[[Файл:IMAG1097.jpg|мини]]

====Требования к разрабатываемой системе====

Система должна предоставлять следующие функции (I):

# создавать "проект" и загружать исходные файлы (от двух до N файлов с xml-разметкой в юникоде)
# выравнивать данные из разных файлов по токенам (NB возможны мелкие расхождения)
# показывать расхождения (подсветкой?)
# давать возможность пользователю выбрать один ("правильный"), кликнув на нем
# автоматически выбирать "правильный", если разметки для токена везде совпадают
# выделять или (как опция) автоматически выбирать наиболее вероятный разбор по принципу "большинство голосует" (если разметок 3 и больше)
# давать возможность вручную написать новый разбор, если другие не годятся (в поле для редактирования)
# сохранять итоговую разметку в xml-файл (токены, для которых ответ не выбран, остаются без разметки)
# сохранять информацию о текущем состоянии в файл "проекта"
# проверять валидность итогового xml-файла (с учетом п. 7)
# сообщать, сколько разборов осталось неразмеченными (в status bar?), и переходить к следующему неразмеченному
# давать возможность увидеть контекст (10 токенов слева и справа от текущего как сниппет) (NB всплывающее поле? в строке статуса по клику? отрисовывать его при каждом токене не хочется)

Дополнительные требования (II):

# отрисовывать блекло повторяющиеся разборы, чтобы они не отвлекали пользователя (совсем скрывать их нежелательно, чтобы пользователь видел, откуда пришел тот или иной разбор)
# показывать [http://en.wikipedia.org/wiki/Cohen%27s_kappa каппу] inter-annotator agreement
# ранжировать аннотаторов от "хороших" к "плохим" (по степени их согласования с большинством), сначала показывать "хороших", потом "плохих"
# вручную менять порядок показа их разборов
# особым образом помечать сложные случаи, чтобы потом можно было к ним вернуться (+ переходить между ними), иметь возможность писать к ним комментарии
# возможность оставить два и более разбора в итоговой разметке (такая потребность реально бывает)
# убирать и добавлять токены в разметку (связано с тем, что границы между токенами требуется поменять вручную).

=== Чему вы научитесь? ===

# Основы проектирования и разработки клиент-серверных приложений
# Базовые знания Unix Shell
# Работа с нереляционными базами данных

=== Какие начальные требования? ===

# Основы HTML/CSS/JavaScript
# Основы языка программирования Python
# Представления о системах управления версиями
# Базовые представления о базах данных

=== Какие будут использоваться технологии? ===

# HTML/CSS, JavaScript, JQuery
# Python 2.7
# WebPy/Web2Py/Django
# Ubuntu Linux/OpenSUSE/FreeBSD, GNU Emacs или Vim - на выбор
# MongoDB
# http-сервера Nginx, Gunicorn

=== Темы вводных занятий ===

# Архитектура клиент-серверных приложений и основные принципы разработки
# Нереляционные базы данных, преимущества, недостатки, особенности использования

=== Направления развития ===

# Усовершенствование архитектуры серверной части
# Развертывание кластера серверов с распределением нагрузки (например, http-сервером)
# Развертывание кластера БД с шардами и репликацией

=== Критерии оценки ===

# 4-5 - Клиент-серверное приложение, реализующее как минимум половину функции из списка требований (I)

# 6-7 - Система, реализующая все функции из списка требований (I).

# 8-10 - Система, реализующая функции, перечисленные в Пункте (2), и, кроме того, реализованы 1-2 или более функций из списка Дополнительных требований (II). Для получения самого высокого балла (10) разработанная система должна иметь защиту от использования незарегистрированными пользователями, предоставлять возможность регистрации и входа в систему.

Редактор параллельных разметок (проект)

2014-12-01T17:06:47Z

Dmitry: /* Направления развития */

{{Карточка_проекта
|name=Редактор параллельных разметок
|mentor=Фролов Дмитрий
|mentor_login=Dmitry
|semester=Весна 2015
|course=1
|summer=
|categorize=yes
}}

=== Что это за проект? ===
====Мотивировка====

Для разметки языковых данных в корпусах, базах данных и т.п. часто пользуются краудсорсингом, привлекая студентов, школьников, энтузиастов, низкооплачиваемых mechanical turks. Являясь непрофессионалами и не имея достаточного опыта, эти разметчики делают много ошибок, поэтому обычно одни и те же данные размечаются двумя-тремя-.. - пятью разметчиками. Нужен интерфейс для супервайзера-профессионала, который на основе этих параллельных разметок создаст правильную итоговую разметку. (Аналогично такую чистовую разметку делают на основе ответов нескольких автоматических разметчиков).

====Что такое разметка?====

Токен (слово или другая единица языка) с приписанным ему набором тегов ("разбором"), ср. пример из древнерусского: 
<ana lex="проблискатисѧ" gr="V,praes,sg,3p" source_el="ἀπαστράπτεται"/>проблискаѥтсѧ 
Параллельную разметку можно представить примерно так: 
[[Файл:IMAG1097.jpg|мини]]

====Требования к разрабатываемой системе====

Система должна предоставлять следующие функции (I):

# создавать "проект" и загружать исходные файлы (от двух до N файлов с xml-разметкой в юникоде)
# выравнивать данные из разных файлов по токенам (NB возможны мелкие расхождения)
# показывать расхождения (подсветкой?)
# давать возможность пользователю выбрать один ("правильный"), кликнув на нем
# автоматически выбирать "правильный", если разметки для токена везде совпадают
# выделять или (как опция) автоматически выбирать наиболее вероятный разбор по принципу "большинство голосует" (если разметок 3 и больше)
# давать возможность вручную написать новый разбор, если другие не годятся (в поле для редактирования)
# сохранять итоговую разметку в xml-файл (токены, для которых ответ не выбран, остаются без разметки)
# сохранять информацию о текущем состоянии в файл "проекта"
# проверять валидность итогового xml-файла (с учетом п. 7)
# сообщать, сколько разборов осталось неразмеченными (в status bar?), и переходить к следующему неразмеченному
# давать возможность увидеть контекст (10 токенов слева и справа от текущего как сниппет) (NB всплывающее поле? в строке статуса по клику? отрисовывать его при каждом токене не хочется)

Дополнительные требования (II):

# отрисовывать блекло повторяющиеся разборы, чтобы они не отвлекали пользователя (совсем скрывать их нежелательно, чтобы пользователь видел, откуда пришел тот или иной разбор)
# показывать [http://en.wikipedia.org/wiki/Cohen%27s_kappa каппу] inter-annotator agreement
# ранжировать аннотаторов от "хороших" к "плохим" (по степени их согласования с большинством), сначала показывать "хороших", потом "плохих"
# вручную менять порядок показа их разборов
# особым образом помечать сложные случаи, чтобы потом можно было к ним вернуться (+ переходить между ними), иметь возможность писать к ним комментарии
# возможность оставить два и более разбора в итоговой разметке (такая потребность реально бывает)
# убирать и добавлять токены в разметку (связано с тем, что границы между токенами требуется поменять вручную).

=== Чему вы научитесь? ===

# Основы проектирования и разработки клиент-серверных приложений
# Базовые знания Unix Shell
# Работа с нереляционными базами данных

=== Какие начальные требования? ===

# Основы HTML/CSS/JavaScript
# Основы языка программирования Python
# Представления о системах управления версиями
# Базовые представления о базах данных

=== Какие будут использоваться технологии? ===

# HTML/CSS, JavaScript, JQuery
# Python 2.7
# WebPy/Web2Py/Django
# Ubuntu Linux/OpenSUSE/FreeBSD, GNU Emacs или Vim - на выбор
# MongoDB
# http-сервера Nginx, Gunicorn

=== Темы вводных занятий ===

# Архитектура клиент-серверных приложений и основные принципы разработки
# Нереляционные базы данных, преимущества, недостатки, особенности использования

=== Направления развития ===

# Усовершенствование архитектуры серверной части
# Развертывание кластера серверов с распределением нагрузки (например, http-сервером)
# Развертывание кластера БД с шардами и репликацией

=== Критерии оценки ===

# 4-5 - Клиент-серверное приложение, реализующее все функции из списка требований (I)

# 6-7 - Система, реализующая функции, перечисленные в Пункте (1), и, кроме того, имеющая защиту от использования незарегистрированными пользователями, предоставляющая возможность регистрации и входа в систему. Реализованы 1-2 функций из списка Дополнительных требований (II).

# 8-10 Система, реализующая функции, перечисленные в Пункте (2), и, кроме того, реализованы 4-5 или более функций из списка Дополнительных требований (II). Разработанная система полностью соответствует требованиям к архитектуре.

Редактор параллельных разметок (проект)

2014-12-01T17:05:47Z

Dmitry: /* Какие будут использоваться технологии? */

{{Карточка_проекта
|name=Редактор параллельных разметок
|mentor=Фролов Дмитрий
|mentor_login=Dmitry
|semester=Весна 2015
|course=1
|summer=
|categorize=yes
}}

=== Что это за проект? ===
====Мотивировка====

Для разметки языковых данных в корпусах, базах данных и т.п. часто пользуются краудсорсингом, привлекая студентов, школьников, энтузиастов, низкооплачиваемых mechanical turks. Являясь непрофессионалами и не имея достаточного опыта, эти разметчики делают много ошибок, поэтому обычно одни и те же данные размечаются двумя-тремя-.. - пятью разметчиками. Нужен интерфейс для супервайзера-профессионала, который на основе этих параллельных разметок создаст правильную итоговую разметку. (Аналогично такую чистовую разметку делают на основе ответов нескольких автоматических разметчиков).

====Что такое разметка?====

Токен (слово или другая единица языка) с приписанным ему набором тегов ("разбором"), ср. пример из древнерусского: 
<ana lex="проблискатисѧ" gr="V,praes,sg,3p" source_el="ἀπαστράπτεται"/>проблискаѥтсѧ 
Параллельную разметку можно представить примерно так: 
[[Файл:IMAG1097.jpg|мини]]

====Требования к разрабатываемой системе====

Система должна предоставлять следующие функции (I):

# создавать "проект" и загружать исходные файлы (от двух до N файлов с xml-разметкой в юникоде)
# выравнивать данные из разных файлов по токенам (NB возможны мелкие расхождения)
# показывать расхождения (подсветкой?)
# давать возможность пользователю выбрать один ("правильный"), кликнув на нем
# автоматически выбирать "правильный", если разметки для токена везде совпадают
# выделять или (как опция) автоматически выбирать наиболее вероятный разбор по принципу "большинство голосует" (если разметок 3 и больше)
# давать возможность вручную написать новый разбор, если другие не годятся (в поле для редактирования)
# сохранять итоговую разметку в xml-файл (токены, для которых ответ не выбран, остаются без разметки)
# сохранять информацию о текущем состоянии в файл "проекта"
# проверять валидность итогового xml-файла (с учетом п. 7)
# сообщать, сколько разборов осталось неразмеченными (в status bar?), и переходить к следующему неразмеченному
# давать возможность увидеть контекст (10 токенов слева и справа от текущего как сниппет) (NB всплывающее поле? в строке статуса по клику? отрисовывать его при каждом токене не хочется)

Дополнительные требования (II):

# отрисовывать блекло повторяющиеся разборы, чтобы они не отвлекали пользователя (совсем скрывать их нежелательно, чтобы пользователь видел, откуда пришел тот или иной разбор)
# показывать [http://en.wikipedia.org/wiki/Cohen%27s_kappa каппу] inter-annotator agreement
# ранжировать аннотаторов от "хороших" к "плохим" (по степени их согласования с большинством), сначала показывать "хороших", потом "плохих"
# вручную менять порядок показа их разборов
# особым образом помечать сложные случаи, чтобы потом можно было к ним вернуться (+ переходить между ними), иметь возможность писать к ним комментарии
# возможность оставить два и более разбора в итоговой разметке (такая потребность реально бывает)
# убирать и добавлять токены в разметку (связано с тем, что границы между токенами требуется поменять вручную).

=== Чему вы научитесь? ===

# Основы проектирования и разработки клиент-серверных приложений
# Базовые знания Unix Shell
# Работа с нереляционными базами данных

=== Какие начальные требования? ===

# Основы HTML/CSS/JavaScript
# Основы языка программирования Python
# Представления о системах управления версиями
# Базовые представления о базах данных

=== Какие будут использоваться технологии? ===

# HTML/CSS, JavaScript, JQuery
# Python 2.7
# WebPy/Web2Py/Django
# Ubuntu Linux/OpenSUSE/FreeBSD, GNU Emacs или Vim - на выбор
# MongoDB
# http-сервера Nginx, Gunicorn

=== Темы вводных занятий ===

# Архитектура клиент-серверных приложений и основные принципы разработки
# Нереляционные базы данных, преимущества, недостатки, особенности использования

=== Направления развития ===

# Усовершенствование архитектуры серверной части, развертывание кластера серверов с распределением нагрузки http-сервером, развертывание кластера БД с шардами и репликацией

=== Критерии оценки ===

# 4-5 - Клиент-серверное приложение, реализующее все функции из списка требований (I)

# 6-7 - Система, реализующая функции, перечисленные в Пункте (1), и, кроме того, имеющая защиту от использования незарегистрированными пользователями, предоставляющая возможность регистрации и входа в систему. Реализованы 1-2 функций из списка Дополнительных требований (II).

# 8-10 Система, реализующая функции, перечисленные в Пункте (2), и, кроме того, реализованы 4-5 или более функций из списка Дополнительных требований (II). Разработанная система полностью соответствует требованиям к архитектуре.

Редактор параллельных разметок (проект)

2014-12-01T17:05:09Z

Dmitry:

{{Карточка_проекта
|name=Редактор параллельных разметок
|mentor=Фролов Дмитрий
|mentor_login=Dmitry
|semester=Весна 2015
|course=1
|summer=
|categorize=yes
}}

=== Что это за проект? ===
====Мотивировка====

Для разметки языковых данных в корпусах, базах данных и т.п. часто пользуются краудсорсингом, привлекая студентов, школьников, энтузиастов, низкооплачиваемых mechanical turks. Являясь непрофессионалами и не имея достаточного опыта, эти разметчики делают много ошибок, поэтому обычно одни и те же данные размечаются двумя-тремя-.. - пятью разметчиками. Нужен интерфейс для супервайзера-профессионала, который на основе этих параллельных разметок создаст правильную итоговую разметку. (Аналогично такую чистовую разметку делают на основе ответов нескольких автоматических разметчиков).

====Что такое разметка?====

Токен (слово или другая единица языка) с приписанным ему набором тегов ("разбором"), ср. пример из древнерусского: 
<ana lex="проблискатисѧ" gr="V,praes,sg,3p" source_el="ἀπαστράπτεται"/>проблискаѥтсѧ 
Параллельную разметку можно представить примерно так: 
[[Файл:IMAG1097.jpg|мини]]

====Требования к разрабатываемой системе====

Система должна предоставлять следующие функции (I):

# создавать "проект" и загружать исходные файлы (от двух до N файлов с xml-разметкой в юникоде)
# выравнивать данные из разных файлов по токенам (NB возможны мелкие расхождения)
# показывать расхождения (подсветкой?)
# давать возможность пользователю выбрать один ("правильный"), кликнув на нем
# автоматически выбирать "правильный", если разметки для токена везде совпадают
# выделять или (как опция) автоматически выбирать наиболее вероятный разбор по принципу "большинство голосует" (если разметок 3 и больше)
# давать возможность вручную написать новый разбор, если другие не годятся (в поле для редактирования)
# сохранять итоговую разметку в xml-файл (токены, для которых ответ не выбран, остаются без разметки)
# сохранять информацию о текущем состоянии в файл "проекта"
# проверять валидность итогового xml-файла (с учетом п. 7)
# сообщать, сколько разборов осталось неразмеченными (в status bar?), и переходить к следующему неразмеченному
# давать возможность увидеть контекст (10 токенов слева и справа от текущего как сниппет) (NB всплывающее поле? в строке статуса по клику? отрисовывать его при каждом токене не хочется)

Дополнительные требования (II):

# отрисовывать блекло повторяющиеся разборы, чтобы они не отвлекали пользователя (совсем скрывать их нежелательно, чтобы пользователь видел, откуда пришел тот или иной разбор)
# показывать [http://en.wikipedia.org/wiki/Cohen%27s_kappa каппу] inter-annotator agreement
# ранжировать аннотаторов от "хороших" к "плохим" (по степени их согласования с большинством), сначала показывать "хороших", потом "плохих"
# вручную менять порядок показа их разборов
# особым образом помечать сложные случаи, чтобы потом можно было к ним вернуться (+ переходить между ними), иметь возможность писать к ним комментарии
# возможность оставить два и более разбора в итоговой разметке (такая потребность реально бывает)
# убирать и добавлять токены в разметку (связано с тем, что границы между токенами требуется поменять вручную).

=== Чему вы научитесь? ===

# Основы проектирования и разработки клиент-серверных приложений
# Базовые знания Unix Shell
# Работа с нереляционными базами данных

=== Какие начальные требования? ===

# Основы HTML/CSS/JavaScript
# Основы языка программирования Python
# Представления о системах управления версиями
# Базовые представления о базах данных

=== Какие будут использоваться технологии? ===

* HTML/CSS, JavaScript, JQuery
* Python 2.7
* WebPy/Web2Py/Django
* Ubuntu Linux/OpenSUSE/FreeBSD, GNU Emacs или Vim - на выбор
* MongoDB
* http-сервера Nginx, Gunicorn

=== Темы вводных занятий ===

# Архитектура клиент-серверных приложений и основные принципы разработки
# Нереляционные базы данных, преимущества, недостатки, особенности использования

=== Направления развития ===

# Усовершенствование архитектуры серверной части, развертывание кластера серверов с распределением нагрузки http-сервером, развертывание кластера БД с шардами и репликацией

=== Критерии оценки ===

# 4-5 - Клиент-серверное приложение, реализующее все функции из списка требований (I)

# 6-7 - Система, реализующая функции, перечисленные в Пункте (1), и, кроме того, имеющая защиту от использования незарегистрированными пользователями, предоставляющая возможность регистрации и входа в систему. Реализованы 1-2 функций из списка Дополнительных требований (II).

# 8-10 Система, реализующая функции, перечисленные в Пункте (2), и, кроме того, реализованы 4-5 или более функций из списка Дополнительных требований (II). Разработанная система полностью соответствует требованиям к архитектуре.

Редактор параллельных разметок (проект)

2014-12-01T17:03:43Z

Dmitry:

{{Карточка_проекта
|name=Редактор параллельных разметок
|mentor=Фролов Дмитрий
|mentor_login=Dmitry
|semester=Весна 2015
|course=1
|summer=
|categorize=yes
}}

=== Что это за проект? ===
====Мотивировка====

Для разметки языковых данных в корпусах, базах данных и т.п. часто пользуются краудсорсингом, привлекая студентов, школьников, энтузиастов, низкооплачиваемых mechanical turks. Являясь непрофессионалами и не имея достаточного опыта, эти разметчики делают много ошибок, поэтому обычно одни и те же данные размечаются двумя-тремя-.. - пятью разметчиками. Нужен интерфейс для супервайзера-профессионала, который на основе этих параллельных разметок создаст правильную итоговую разметку. (Аналогично такую чистовую разметку делают на основе ответов нескольких автоматических разметчиков).

====Что такое разметка?====

Токен (слово или другая единица языка) с приписанным ему набором тегов ("разбором"), ср. пример из древнерусского: 
<ana lex="проблискатисѧ" gr="V,praes,sg,3p" source_el="ἀπαστράπτεται"/>проблискаѥтсѧ 
Параллельную разметку можно представить примерно так: 
[[Файл:IMAG1097.jpg|мини]]

====Требования к разрабатываемой системе====

Система должна предоставлять следующие функции (I):

# создавать "проект" и загружать исходные файлы (от двух до N файлов с xml-разметкой в юникоде)
# выравнивать данные из разных файлов по токенам (NB возможны мелкие расхождения)
# показывать расхождения (подсветкой?)
# давать возможность пользователю выбрать один ("правильный"), кликнув на нем
# автоматически выбирать "правильный", если разметки для токена везде совпадают
# выделять или (как опция) автоматически выбирать наиболее вероятный разбор по принципу "большинство голосует" (если разметок 3 и больше)
# давать возможность вручную написать новый разбор, если другие не годятся (в поле для редактирования)
# сохранять итоговую разметку в xml-файл (токены, для которых ответ не выбран, остаются без разметки)
# сохранять информацию о текущем состоянии в файл "проекта"
# проверять валидность итогового xml-файла (с учетом п. 7)
# сообщать, сколько разборов осталось неразмеченными (в status bar?), и переходить к следующему неразмеченному
# давать возможность увидеть контекст (10 токенов слева и справа от текущего как сниппет) (NB всплывающее поле? в строке статуса по клику? отрисовывать его при каждом токене не хочется)

Дополнительные требования (II):

# отрисовывать блекло повторяющиеся разборы, чтобы они не отвлекали пользователя (совсем скрывать их нежелательно, чтобы пользователь видел, откуда пришел тот или иной разбор)
# показывать [http://en.wikipedia.org/wiki/Cohen%27s_kappa каппу] inter-annotator agreement
# ранжировать аннотаторов от "хороших" к "плохим" (по степени их согласования с большинством), сначала показывать "хороших", потом "плохих"
# вручную менять порядок показа их разборов
# особым образом помечать сложные случаи, чтобы потом можно было к ним вернуться (+ переходить между ними), иметь возможность писать к ним комментарии
# возможность оставить два и более разбора в итоговой разметке (такая потребность реально бывает)
# убирать и добавлять токены в разметку (связано с тем, что границы между токенами требуется поменять вручную).

=== Чему вы научитесь? ===

# Основы проектирования и разработки клиент-серверных приложений
# Базовые знания Unix Shell
# Работа с нереляционными базами данных

=== Какие начальные требования? ===

# Основы HTML/CSS/JavaScript
# Основы языка программирования Python
# Представления о системах управления версиями
# Базовые представления о базах данных

=== Какие будут использоваться технологии? ===

* HTML/CSS, JavaScript, JQuery
* Python 2.7
* WebPy/Web2Py/Django
* Ubuntu Linux/OpenSUSE/FreeBSD, GNU Emacs или Vim - на выбор
* MongoDB
* http-сервера Nginx, Gunicorn

=== Темы вводных занятий ===

# Архитектура клиент-серверных приложений и основные принципы разработки
# Нереляционные базы данных, преимущества, недостатки, особенности использования

=== Направления развития ===

# Усовершенствование архитектуры серверной части, развертывание кластера серверов с распределением нагрузки http-сервером, развертывание кластера БД с шардами и репликацией

=== Критерии оценки ===

# 4-5 - Клиент-серверное приложение, реализующее все функции из списка требований (I)

# 6-7 - Система, реализующая функции, перечисленные в Пункте (1), и, кроме того, имеющая защиту от использования незарегистрированными пользователями, предоставляющая возможность регистрации и входа в систему. Реализованы несколько функций из списка Дополнительных требований (II).

# 8-10 Система, реализующая функции, перечисленные в Пункте (2), и, кроме того, реализованы все функции из списка Дополнительных требований (II). Разработанная система полностью соответствует требованиям к архитектуре.

Редактор параллельных разметок (проект)

2014-12-01T16:27:35Z

Dmitry:

{{Карточка_проекта
|name=Редактор параллельных разметок
|mentor=Фролов Дмитрий
|mentor_login=Dmitry
|semester=Весна 2015
|course=1
|summer=
|categorize=yes
}}

=== Что это за проект? ===
====Мотивировка====
Для разметки языковых данных в корпусах, базах данных и т.п. часто пользуются краудсорсингом, привлекая студентов, школьников, энтузиастов, низкооплачиваемых mechanical turks. Являясь непрофессионалами и не имея достаточного опыта, эти разметчики делают много ошибок, поэтому обычно одни и те же данные размечаются двумя-тремя-.. - пятью разметчиками. Нужен интерфейс для супервайзера-профессионала, который на основе этих параллельных разметок создаст правильную итоговую разметку. (Аналогично такую чистовую разметку делают на основе ответов нескольких автоматических разметчиков).

====Что такое разметка?====
Токен (слово или другая единица языка) с приписанным ему набором тегов ("разбором"), ср. пример из древнерусского: 
<ana lex="проблискатисѧ" gr="V,praes,sg,3p" source_el="ἀπαστράπτεται"/>проблискаѥтсѧ 
Параллельную разметку можно представить примерно так: 
[[Файл:IMAG1097.jpg|мини]]

====Интерфейс должен уметь:====
1) создавать "проект" и загружать исходные файлы (от двух до N файлов с xml-разметкой в юникоде) 

2) выравнивать данные из разных файлов по токенам (NB возможны мелкие расхождения) 

3) показывать расхождения (подсветкой?) 

4) давать возможность пользователю выбрать один ("правильный"), кликнув на нем 

5) автоматически выбирать "правильный", если разметки для токена везде совпадают 

6) выделять или (как опция) автоматически выбирать наиболее вероятный разбор по принципу "большинство голосует" (если разметок 3 и больше) 

7) давать возможность вручную написать новый разбор, если другие не годятся (в поле для редактирования) 

8) сохранять итоговую разметку в xml-файл (токены, для которых ответ не выбран, остаются без разметки) 

9) сохранять информацию о текущем состоянии в файл "проекта" 

10) проверять валидность итогового xml-файла (с учетом п. 7) 

11) сообщать, сколько разборов осталось неразмеченными (в status bar?), и переходить к следующему неразмеченному 

12) давать возможность увидеть контекст (10 токенов слева и справа от текущего как сниппет) (NB всплывающее поле? в строке статуса по клику? отрисовывать его при каждом токене не хочется) 

Желательные фичи:
а) отрисовывать блекло повторяющиеся разборы, чтобы они не отвлекали пользователя (совсем скрывать их нежелательно, чтобы пользователь видел, откуда пришел тот или иной разбор) 

б) показывать [http://en.wikipedia.org/wiki/Cohen%27s_kappa каппу] inter-annotator agreement 
в) ранжировать аннотаторов от "хороших" к "плохим" (по степени их согласования с большинством), сначала показывать "хороших", потом "плохих" 
г) вручную менять порядок показа их разборов 
д) особым образом помечать сложные случаи, чтобы потом можно было к ним вернуться (+ переходить между ними), иметь возможность писать к ним комментарии 
е) возможность оставить два и более разбора в итоговой разметке (такая потребность реально бывает) 
ж) убирать и добавлять токены в разметку (связано с тем, что границы между токенами требуется поменять вручную). 
---

=== Чему вы научитесь? ===
---

=== Какие начальные требования? ===
---

=== Какие будут использоваться технологии? ===
---

=== Темы вводных занятий ===
---

=== Направления развития ===
---

=== Критерии оценки ===
---

Файл:IMAG1097.jpg

2014-12-01T16:26:17Z

Dmitry: Редактор

Редактор

Редактор параллельных разметок (проект)

2014-11-25T22:29:45Z

Dmitry: Новая страница, с помощью формы Новый_проект

{{Карточка_проекта
|name=Редактор параллельных разметок
|mentor=Фролов Дмитрий
|mentor_login={{URLENCODE:{{REVISIONUSER}}|WIKI}}
|semester=Весна 2015
|course=1
|summer=
|categorize=yes
}}

=== Что это за проект? ===
---

=== Чему вы научитесь? ===
---

=== Какие начальные требования? ===
---

=== Какие будут использоваться технологии? ===
---

=== Темы вводных занятий ===
---

=== Направления развития ===
---

=== Критерии оценки ===
---

Участник:Dmitry

2014-11-24T20:10:56Z

Dmitry:

Фролов Дмитрий Сергеевич

=Контактная информация=
* e-mail: dmitsf@gmail.com
* телефон: 8-926-124-1152

=Образование=
* Петрозаводский государственный университет (ПетрГУ), бакалавр прикладной математики и информатики, 2008-2012 (диплом с отличием)
* Национальный исследовательский университет "Высшая школа экономики", магистр системной и программной инженерии, 2012-2014
* Национальный исследовательский университет "Высшая школа экономики", факультет компьютерных наук, аспирант, 2014 - по н.в.

=Языки=

* Русский (родной)
* Английский (читаю профессиональную литературу)

= Опыт и основное место работы =

* инженер-программист, Петрозаводский государственный университет, Лаборатория информационно-телекоммуникационных систем (фев. 2010 - май 2012)
** разработка на C++ в проектах Nokia (Maemo, Symbian)
** дополнительные должности:
*** тренер по олимпиадному программированию
*** член комиссии муниципального этапа Всероссийской олимпиады по математике

* инженер-разработчик, SlickJump (сен. 2012 - по н.в.)
** backend - разработка

= Профессиональные навыки =

* ОС: Linux (как рабочая и домашняя ОС: Ubuntu, OpenSUSE), FreeBSD, Unix shell, MS Windows
* Языки программирования: Python (как основной язык программирования: WebPy, Scikit-Learn, PyMorphy, NLTK и т.д.); C/C++
* Мобильная разработка: Symbian OS, Maemo OS (имел опыт разработки на C++)
* Web-разработка: опыт конфигурирования высоконагруженных серверов (Gunicorn, Nginx, свои собственные на Python), JavaScript (вкл. jQuery, Ajax, BackBone - имел опыт использования), HTML/CSS, PHP, CoffeeScript (имел опыт использования)
* Математическое ПО: Maxima, Statistica, SPSS, MatLab, Mathcad
* Базы данных: MongoDB (как основная БД: опыт конфигурирования распределенных кластеров БД, репликации, использования MapReduce и статистической обработки данных); MySQL
* Системы контроля версий: git
* Навыки оптимизации программ (анализ сложности алгоритмов, profiling и т.д.)

= Увлечения =

* Пауэрлифтинг, футбол
* Любительская наблюдательная астрономия
* Автопутешествия

Поисковая система (проект)

2014-11-11T21:37:19Z

Dmitry: /* Темы вводных занятий */

{{Карточка_проекта
|name=Поисковая система
|mentor=Фролов Дмитрий
|mentor_login={{URLENCODE:{{REVISIONUSER}}|WIKI}}
|semester=Весна 2015
|course=1
|summer=on
|categorize=yes
}}

=== Что это за проект? ===
Одной из важнейших задач, возникающих при обработке естественного языка, является работа с большими множествами (коллекциями) текстовых документов, в частности, проблема поиска документов по запросу.
Программы и программные комплексы, позволяющие решать эту задачу, называются поисковыми системами. Главными характеристиками качества поисковой системы является соответствие извлеченных документов исходному запросу и время выполнения запроса. Итогом работы над проектом должна быть программа, производящая извлечение релевантных запросу документов из коллекции.

=== Чему вы научитесь? ===
# Основные понятия из теории поисковых систем, основные алгоритмы поиска, методы обработки документов
# Базовые знания Unix Shell
# Работа с нереляционными базами данных
# Работа с системой управления версиями git

=== Какие начальные требования? ===
# Основы языка программирования Python
# Представления о системах управления версиями
# Базовые представления о базах данных

=== Какие будут использоваться технологии? ===
# Python 2.7
# MyStem, PyMorphy, NLTK
# Ubuntu Linux/OpenSUSE/FreeBSD, GNU Emacs или Vim - на выбор
# git, github
# MongoDB

=== Темы вводных занятий ===
# Общие понятия теории поисковых систем. Поисковые движки. Коллекции документов. Меры близости. Качество поиска.
# Общие методы разработки с использованием систем управления версиями.
# Нереляционные базы данных, преимущества, недостатки, особенности использования

=== Направления развития ===
# Реализация системы в виде: база данных + сервер + веб-интерфейс
# Модификация индекса в целью снижения временной сложности поиска
# Предобработка коллекции документов и поисковых запросов для возможности выполнения нечеткого поиска

=== Критерии оценки ===
# 4-5 - Система, выполняющая предобработку коллекции, строящая поисковый индекс, позволяющая производить поиск с простейшим синтаксисом запросов: слова, словосочетания, одновременная встреча слов из запроса в документе, хотя бы одно из слов, указанных в запросе. Найденные документы должны выдаваться системой в порядке убывания релевантности. Система должна быть оформлена в виде консольного приложения.
# 6-7 - Система, реализующая функции, перечисленные в Пункте (1), и, кроме того, позволяющая производить поиск вне зависимости от словоформ в запросе и в документах.
# 8-10 - Система, реализующая функции, перечисленные в Пункте (2), и, кроме того, позволяющая выполнять нечеткий поиск (например, для запросов с ошибками). Для поисковой системы необходимо произвести ее анализ на фиксированной коллекции, рассчитать метрики эффективности качества поиска.

Поисковая система (проект)

2014-11-11T21:09:29Z

Dmitry: Новая страница, с помощью формы Новый_проект

{{Карточка_проекта
|name=Поисковая система
|mentor=Фролов Дмитрий
|mentor_login={{URLENCODE:{{REVISIONUSER}}|WIKI}}
|semester=Весна 2015
|course=1
|summer=on
|categorize=yes
}}

=== Что это за проект? ===
Одной из важнейших задач, возникающих при обработке естественного языка, является работа с большими множествами (коллекциями) текстовых документов, в частности, проблема поиска документов по запросу.
Программы и программные комплексы, позволяющие решать эту задачу, называются поисковыми системами. Главными характеристиками качества поисковой системы является соответствие извлеченных документов исходному запросу и время выполнения запроса. Итогом работы над проектом должна быть программа, производящая извлечение релевантных запросу документов из коллекции.

=== Чему вы научитесь? ===
# Основные понятия из теории поисковых систем, основные алгоритмы поиска, методы обработки документов
# Базовые знания Unix Shell
# Работа с нереляционными базами данных
# Работа с системой управления версиями git

=== Какие начальные требования? ===
# Основы языка программирования Python
# Представления о системах управления версиями
# Базовые представления о базах данных

=== Какие будут использоваться технологии? ===
# Python 2.7
# MyStem, PyMorphy, NLTK
# Ubuntu Linux/OpenSUSE/FreeBSD, GNU Emacs или Vim - на выбор
# git, github
# MongoDB

=== Темы вводных занятий ===
# Общие понятия теории поисковых систем. Коллекции документов. Меры близости. Качество поиска.
# Общие методы разработки с использованием систем управления версиями.
# Нереляционные базы данных, преимущества, недостатки, особенности использования

=== Направления развития ===
# Реализация системы в виде: база данных + сервер + веб-интерфейс
# Модификация индекса в целью снижения временной сложности поиска
# Предобработка коллекции документов и поисковых запросов для возможности выполнения нечеткого поиска

=== Критерии оценки ===
# 4-5 - Система, выполняющая предобработку коллекции, строящая поисковый индекс, позволяющая производить поиск с простейшим синтаксисом запросов: слова, словосочетания, одновременная встреча слов из запроса в документе, хотя бы одно из слов, указанных в запросе. Найденные документы должны выдаваться системой в порядке убывания релевантности. Система должна быть оформлена в виде консольного приложения.
# 6-7 - Система, реализующая функции, перечисленные в Пункте (1), и, кроме того, позволяющая производить поиск вне зависимости от словоформ в запросе и в документах.
# 8-10 - Система, реализующая функции, перечисленные в Пункте (2), и, кроме того, позволяющая выполнять нечеткий поиск (например, для запросов с ошибками). Для поисковой системы необходимо произвести ее анализ на фиксированной коллекции, рассчитать метрики эффективности качества поиска.

Участник:Dmitry

2014-11-11T21:01:52Z

Dmitry: /* Опыт и основное место работы */

Фролов Дмитрий Сергеевич

=Контактная информация=
* e-mail: dmitsf@gmail.com

=Образование=
* Петрозаводский государственный университет (ПетрГУ), бакалавр прикладной математики и информатики, 2008-2012 (диплом с отличием)
* Национальный исследовательский университет "Высшая школа экономики", магистр системной и программной инженерии, 2012-2014
* Национальный исследовательский университет "Высшая школа экономики", факультет компьютерных наук, аспирант, 2014 - по н.в.

=Языки=

* Русский (родной)
* Английский (читаю профессиональную литературу)

= Опыт и основное место работы =

* инженер-программист, Петрозаводский государственный университет, Лаборатория информационно-телекоммуникационных систем (фев. 2010 - май 2012)
** разработка на C++ в проектах Nokia (Maemo, Symbian)
** дополнительные должности:
*** тренер по олимпиадному программированию
*** член комиссии муниципального этапа Всероссийской олимпиады по математике

* инженер-разработчик, SlickJump (сен. 2012 - по н.в.)
** backend - разработка

= Профессиональные навыки =

* ОС: Linux (как рабочая и домашняя ОС: Ubuntu, OpenSUSE), FreeBSD, Unix shell, MS Windows
* Языки программирования: Python (как основной язык программирования: WebPy, Scikit-Learn, PyMorphy, NLTK и т.д.); C/C++
* Мобильная разработка: Symbian OS, Maemo OS (имел опыт разработки на C++)
* Web-разработка: опыт конфигурирования высоконагруженных серверов (Gunicorn, Nginx, свои собственные на Python), JavaScript (вкл. jQuery, Ajax, BackBone - имел опыт использования), HTML/CSS, PHP, CoffeeScript (имел опыт использования)
* Математическое ПО: Maxima, Statistica, SPSS, MatLab, Mathcad
* Базы данных: MongoDB (как основная БД: опыт конфигурирования распределенных кластеров БД, репликации, использования MapReduce и статистической обработки данных); MySQL
* Системы контроля версий: git
* Навыки оптимизации программ (анализ сложности алгоритмов, profiling и т.д.)

= Увлечения =

* Пауэрлифтинг, футбол
* Любительская наблюдательная астрономия
* Автопутешествия

Участник:Dmitry

2014-11-09T19:30:49Z

Dmitry: /* Образование */

Фролов Дмитрий Сергеевич

=Контактная информация=
* e-mail: dmitsf@gmail.com

=Образование=
* Петрозаводский государственный университет (ПетрГУ), бакалавр прикладной математики и информатики, 2008-2012 (диплом с отличием)
* Национальный исследовательский университет "Высшая школа экономики", магистр системной и программной инженерии, 2012-2014
* Национальный исследовательский университет "Высшая школа экономики", факультет компьютерных наук, аспирант, 2014 - по н.в.

=Языки=

* Русский (родной)
* Английский (читаю профессиональную литературу)

= Опыт и основное место работы =

* инженер-программист, Петрозаводский государственный университет, Лаборатория информационно-телекоммуникационных систем (фев. 2010 -- май 2012)
** разработка на C++ в проектах Nokia (Maemo, Symbian)
** дополнительные должности:
*** тренер по олимпиадному программированию
*** член комиссии муниципального этапа Всероссийской олимпиады по математике

* инженер-разработчик, SlickJump (сен. 2012 - по н.в.)
** backend - разработка

= Профессиональные навыки =

* ОС: Linux (как рабочая и домашняя ОС: Ubuntu, OpenSUSE), FreeBSD, Unix shell, MS Windows
* Языки программирования: Python (как основной язык программирования: WebPy, Scikit-Learn, PyMorphy, NLTK и т.д.); C/C++
* Мобильная разработка: Symbian OS, Maemo OS (имел опыт разработки на C++)
* Web-разработка: опыт конфигурирования высоконагруженных серверов (Gunicorn, Nginx, свои собственные на Python), JavaScript (вкл. jQuery, Ajax, BackBone - имел опыт использования), HTML/CSS, PHP, CoffeeScript (имел опыт использования)
* Математическое ПО: Maxima, Statistica, SPSS, MatLab, Mathcad
* Базы данных: MongoDB (как основная БД: опыт конфигурирования распределенных кластеров БД, репликации, использования MapReduce и статистической обработки данных); MySQL
* Системы контроля версий: git
* Навыки оптимизации программ (анализ сложности алгоритмов, profiling и т.д.)

= Увлечения =

* Пауэрлифтинг, футбол
* Любительская наблюдательная астрономия
* Автопутешествия

Участник:Dmitry

2014-11-09T19:27:33Z

Dmitry: создание страницы

Фролов Дмитрий Сергеевич

=Контактная информация=
* e-mail: dmitsf@gmail.com

=Образование=
* Петрозаводский государственный университет (ПетрГУ), бакалавр прикладной математики и информатики, 2008-2012 (диплом с отличием)
* Национальный исследовательский университет <<Высшая школа экономики>>, магистр системной и программной инженерии, 2012-2014
* Национальный исследовательский университет <<Высшая школа экономики>>, факультет компьютерных наук, аспирант, 2014 - по н.в.

=Языки=

* Русский (родной)
* Английский (читаю профессиональную литературу)

= Опыт и основное место работы =

* инженер-программист, Петрозаводский государственный университет, Лаборатория информационно-телекоммуникационных систем (фев. 2010 -- май 2012)
** разработка на C++ в проектах Nokia (Maemo, Symbian)
** дополнительные должности:
*** тренер по олимпиадному программированию
*** член комиссии муниципального этапа Всероссийской олимпиады по математике

* инженер-разработчик, SlickJump (сен. 2012 - по н.в.)
** backend - разработка

= Профессиональные навыки =

* ОС: Linux (как рабочая и домашняя ОС: Ubuntu, OpenSUSE), FreeBSD, Unix shell, MS Windows
* Языки программирования: Python (как основной язык программирования: WebPy, Scikit-Learn, PyMorphy, NLTK и т.д.); C/C++
* Мобильная разработка: Symbian OS, Maemo OS (имел опыт разработки на C++)
* Web-разработка: опыт конфигурирования высоконагруженных серверов (Gunicorn, Nginx, свои собственные на Python), JavaScript (вкл. jQuery, Ajax, BackBone - имел опыт использования), HTML/CSS, PHP, CoffeeScript (имел опыт использования)
* Математическое ПО: Maxima, Statistica, SPSS, MatLab, Mathcad
* Базы данных: MongoDB (как основная БД: опыт конфигурирования распределенных кластеров БД, репликации, использования MapReduce и статистической обработки данных); MySQL
* Системы контроля версий: git
* Навыки оптимизации программ (анализ сложности алгоритмов, profiling и т.д.)

= Увлечения =

* Пауэрлифтинг, футбол
* Любительская наблюдательная астрономия
* Автопутешествия