Извлечение именованных сущностей из текстов (проект) - История изменений

AnnaShishkova: Полностью удалено содержимое страницы

2016-10-02T09:22:23Z

Полностью удалено содержимое страницы

← Предыдущая версия		Версия от 09:22, 2 октября 2016
Строка 1:		Строка 1:
	~~{{Карточка_проекта~~
	~~\|mentor= -~~
	~~\|mentor_login={{URLENCODE:-}}~~
	~~\|name=Извлечение именованных сущностей из текстов~~
	~~\|semester=Осень 2016~~
	~~\|course=2~~
	~~\|summer=~~
	~~\|number_of_students=7~~
	~~\|categorize=yes~~
	}}

	~~=== Что это за проект? ===~~
	Результатом работы будет программа на Python, извлекающая именованные сущности (названия локаций или организаций, ФИО людей) из текстов на русском языке, собранных из сообществ ВКонтакте.

	~~=== Чему вы научитесь? ===~~
	В процессе работы студенты познакомятся с базовыми методами обработки текстов, узнают, как обучать и тестировать модели машинного обучения на Python.

	~~=== Какие начальные требования? ===~~
	~~Обязательно знание основ Python.~~
	~~Приветствуется знакомство с методами компьютерной лингвистики и основами статистики.~~

	~~=== Какие будут использоваться технологии? ===~~
	~~Для построения и обучения моделей: Weka и/или scikit-learn<br />~~

	~~Для обработки текстов: NLTK, Pymorphy, Tomita Parser<br />~~

	~~Для хранения текстов и результатов: mongodb, pymongo, json<br />~~
	~~Кроме того:~~
	* отдельные библиотеки по машинному обучению на Python, если понадобится (например, pyBrain, Theano, FANN для нейронных сетей)
	* регулярные выражения и лингвистические правила, если понадобится
	~~<br />~~
	~~Предполагается использование: SVM, Naïve Bayes, HMM, CRF, нейронных сетей.~~

	~~=== Темы вводных занятий ===~~
	# Задача выделения именованных сущностей. Метрики. Общая схема обучения и проверки модели (кросс-валидация, подбор параметров и т.п.)
	~~# SVM, NaiveBayes.~~
	~~# Нейронные сети. (базовое объяснение)~~
	~~# HMM (скрытые Марковские модели). (базовое объяснение)~~

	~~=== Направления развития ===~~
	~~# Расширение списка извлекаемых сущностей.~~
	~~# Извлечение информации о сущностях (например, должность для человека).~~
	~~# Разрешение кореферентных связей~~
	~~# Пользовательский интерфейс (на любом ЯП) для ручной разметки корпуса и корректировки работы алгоритма.~~

	~~=== Критерии оценки ===~~
	* 4-5: реализация алгоритма машинного обучения с f-мерой > 0.5
	* 6-7: реализация алгоритма машинного обучения с f-мерой > 0.6
	* 8-9: реализация алгоритма машинного обучения с f-мерой > 0.7
	* 10: реализация алгоритма машинного обучения с f-мерой > 0.8 или реализация комбинации нескольких методов с f-мерой > 0.7
	~~+ 1 балл: использование лексико-синтаксических правил (Томита-парсер, LSPL и т.п.)<br />~~

	+ 1 балл: реализация пользовательского интерфейса (на любом ЯП) для ручной разметки корпуса и корректировки работы алгоритма.<br />

	+ 2 балла: извлечение информации о сущности (предварительно согласовать тип извлекаемой информации с ментором)<br />

	~~Критерии могут варьироваться в зависимости от максимального результата по группе.~~

	~~=== Ориентировочное расписание занятий ===~~

Ivanov.kir.m в 09:24, 17 сентября 2016

2016-09-17T09:24:24Z

← Предыдущая версия		Версия от 09:24, 17 сентября 2016
Строка 1:		Строка 1:
	{{Карточка_проекта		{{Карточка_проекта
			\|mentor= -
			\|mentor_login={{URLENCODE:-}}
	\|name=Извлечение именованных сущностей из текстов		\|name=Извлечение именованных сущностей из текстов
	\|semester=Осень 2016		\|semester=Осень 2016

Ivanov.kir.m в 09:23, 17 сентября 2016

2016-09-17T09:23:45Z

← Предыдущая версия		Версия от 09:23, 17 сентября 2016
Строка 1:		Строка 1:
	{{Карточка_проекта		{{Карточка_проекта
	\|name=Извлечение именованных сущностей из текстов		\|name=Извлечение именованных сущностей из текстов
	~~\|mentor=~~
	~~\|mentor_login={{URLENCODE:Ivanov.kir.m\|WIKI}}~~
	\|semester=Осень 2016		\|semester=Осень 2016
	\|course=2		\|course=2

Ivanov.kir.m в 09:23, 17 сентября 2016

2016-09-17T09:23:10Z

← Предыдущая версия		Версия от 09:23, 17 сентября 2016
Строка 1:		Строка 1:
	{{Карточка_проекта		{{Карточка_проекта
	\|name=Извлечение именованных сущностей из текстов		\|name=Извлечение именованных сущностей из текстов
	\|mentor=-		\|mentor=
	\|mentor_login={{URLENCODE:Ivanov.kir.m\|WIKI}}		\|mentor_login={{URLENCODE:Ivanov.kir.m\|WIKI}}
	\|semester=Осень 2016		\|semester=Осень 2016

Ivanov.kir.m в 09:22, 17 сентября 2016

2016-09-17T09:22:33Z

← Предыдущая версия		Версия от 09:22, 17 сентября 2016
Строка 1:		Строка 1:
	{{Карточка_проекта		{{Карточка_проекта
	\|name=Извлечение именованных сущностей из текстов		\|name=Извлечение именованных сущностей из текстов
	\|mentor=~~Иванов Кирилл~~		\|mentor=-
	\|mentor_login={{URLENCODE:Ivanov.kir.m\|WIKI}}		\|mentor_login={{URLENCODE:Ivanov.kir.m\|WIKI}}
	\|semester=Осень 2016		\|semester=Осень 2016
Строка 58:		Строка 58:

	=== Ориентировочное расписание занятий ===		=== Ориентировочное расписание занятий ===
	~~'''Предварительно:'''~~
	*Понедельник - любое время
	*Вторник - первая половина дня (до 15.00)
	*Пятница - любое время
	*Суббота - любое время
	<br />В скором времени возможно произойдет небольшое изменение (время проведения одной пары в моем личном расписании еще не определено).
	~~<br />Окончательное расписание выберем со студентами выбравшими данный проект.~~

Ivanov.kir.m: /* Ориентировочное расписание занятий */

2016-09-13T10:15:58Z

Ориентировочное расписание занятий

← Предыдущая версия		Версия от 10:15, 13 сентября 2016
Строка 62:		Строка 62:
	*Вторник - первая половина дня (до 15.00)		*Вторник - первая половина дня (до 15.00)
	*Пятница - любое время		*Пятница - любое время
			*Суббота - любое время
	<br />В скором времени возможно произойдет небольшое изменение (время проведения одной пары в моем личном расписании еще не определено).		<br />В скором времени возможно произойдет небольшое изменение (время проведения одной пары в моем личном расписании еще не определено).
	<br />Окончательное расписание выберем со студентами выбравшими данный проект.		<br />Окончательное расписание выберем со студентами выбравшими данный проект.

Ivanov.kir.m в 10:14, 13 сентября 2016

2016-09-13T10:14:27Z

← Предыдущая версия		Версия от 10:14, 13 сентября 2016
Строка 58:		Строка 58:

	=== Ориентировочное расписание занятий ===		=== Ориентировочное расписание занятий ===
	Предварительно:		'''Предварительно:'''
	Понедельник - любое время		*Понедельник - любое время
	Вторник - первая половина дня (до 15.00)		*Вторник - первая половина дня (до 15.00)
	Пятница - любое время		*Пятница - любое время
	В скором времени возможно произойдет небольшое изменение (время проведения одной пары в моем личном расписании еще не определено).		<br />В скором времени возможно произойдет небольшое изменение (время проведения одной пары в моем личном расписании еще не определено).
	Окончательное расписание выберем со студентами выбравшими данный проект.		<br />Окончательное расписание выберем со студентами выбравшими данный проект.

Ivanov.kir.m в 10:12, 13 сентября 2016

2016-09-13T10:12:10Z

← Предыдущая версия		Версия от 10:12, 13 сентября 2016
Строка 6:		Строка 6:
	\|course=2		\|course=2
	\|summer=		\|summer=
	\|number_of_students=5		\|number_of_students=7
	\|categorize=yes		\|categorize=yes
	}}		}}
Строка 58:		Строка 58:

	=== Ориентировочное расписание занятий ===		=== Ориентировочное расписание занятий ===
	~~Пока неизвестно~~ :)		Предварительно:
			Понедельник - любое время
			Вторник - первая половина дня (до 15.00)
			Пятница - любое время
			В скором времени возможно произойдет небольшое изменение (время проведения одной пары в моем личном расписании еще не определено).
			Окончательное расписание выберем со студентами выбравшими данный проект.

Ivanov.kir.m: /* Какие будут использоваться технологии? */

2016-07-30T15:56:00Z

Какие будут использоваться технологии?

← Предыдущая версия		Версия от 15:56, 30 июля 2016
Строка 26:		Строка 26:

	Для хранения текстов и результатов: mongodb, pymongo, json<br />		Для хранения текстов и результатов: mongodb, pymongo, json<br />
			Кроме того:
	* отдельные библиотеки по машинному обучению на Python, если понадобится (например, pyBrain, Theano, FANN для нейронных сетей)		* отдельные библиотеки по машинному обучению на Python, если понадобится (например, pyBrain, Theano, FANN для нейронных сетей)
	* регулярные выражения и лингвистические правила, если понадобится		* регулярные выражения и лингвистические правила, если понадобится
			<br />
	Предполагается использование: SVM, Naïve Bayes, HMM, CRF, нейронных сетей.		Предполагается использование: SVM, Naïve Bayes, HMM, CRF, нейронных сетей.

Ivanov.kir.m в 13:12, 30 июля 2016

2016-07-30T13:12:47Z

← Предыдущая версия		Версия от 13:12, 30 июля 2016
Строка 6:		Строка 6:
	\|course=2		\|course=2
	\|summer=		\|summer=
	\|number_of_students=3		\|number_of_students=5
	\|categorize=yes		\|categorize=yes
	}}		}}