Утилита для чистки корпуса от дубликатов (проект) - История изменений

Ira dolgaleva в 07:53, 20 октября 2015

2015-10-20T07:53:13Z

← Предыдущая версия		Версия от 07:53, 20 октября 2015
Строка 7:		Строка 7:
	\|summer=		\|summer=
	\|categorize=yes		\|categorize=yes
			\|is_archived=yes
	}}		}}

Katya: /* Какие будут использоваться технологии? */

2014-12-03T22:08:40Z

Какие будут использоваться технологии?

← Предыдущая версия		Версия от 22:08, 3 декабря 2014
Строка 28:		Строка 28:
	=== Какие будут использоваться технологии? ===		=== Какие будут использоваться технологии? ===
	* python		* python
	* ~~git, github~~		* NLTK
			* gensim
			* binascii
			* pymorphy2 / mystem
	* MongoDB (возможно)		* MongoDB (возможно)

Katya: /* Чему вы научитесь? */

2014-12-03T22:07:06Z

Чему вы научитесь?

← Предыдущая версия		Версия от 22:07, 3 декабря 2014
Строка 16:		Строка 16:

	=== Чему вы научитесь? ===		=== Чему вы научитесь? ===
	# ~~Освоение ключевых понятий компьютерной лингвистки.~~		# Алгоритм шинглирования
	# Методы ~~анализа и~~ обработки текстов.		# Методы обработки текстов
			## Удаление стоп-слов
			## Лемматизация (приведение слова к начальной форме)
			## Морфологическая разметка (определение части речи слова)

	=== Какие начальные требования? ===		=== Какие начальные требования? ===

Katya: /* Темы вводных занятий */

2014-12-03T22:03:00Z

Темы вводных занятий

← Предыдущая версия		Версия от 22:03, 3 декабря 2014
Строка 29:		Строка 29:

	=== Темы вводных занятий ===		=== Темы вводных занятий ===
			# Алгоритм шинглирования
			# Способы представления графов (матрица /список смежности)
			# Поиск компонент связности

	=== Направления развития ===		=== Направления развития ===

Katya: /* Что это за проект? */

2014-12-03T22:01:45Z

Что это за проект?

← Предыдущая версия		Версия от 22:01, 3 декабря 2014
Строка 12:		Строка 12:
	[http://www.sketchengine.co.uk/ SketchEngine] - это сервис обработки текстовых корпусов, который показывает наиболее типичные перепредставленные и недопредставленные пары слов, синтаксически связанных в предложении. Для того, чтобы сервис выдавал осмысленные и приемлемые результаты, к исходному корпусу языка предъявляется ряд требований.		[http://www.sketchengine.co.uk/ SketchEngine] - это сервис обработки текстовых корпусов, который показывает наиболее типичные перепредставленные и недопредставленные пары слов, синтаксически связанных в предложении. Для того, чтобы сервис выдавал осмысленные и приемлемые результаты, к исходному корпусу языка предъявляется ряд требований.

	В частности, корпус должен быть <<сбалансирован>>, то есть не содержать текстов-дубликатов.		В частности, корпус должен быть сбалансирован, то есть не содержать текстов-дубликатов.
	Это необходимо, например, для более точной оценки представленности речевых оборотов.		Это необходимо, например, для более точной оценки представленности речевых оборотов.

Katya: /* Критерии оценки */

2014-12-03T22:01:16Z

Критерии оценки

← Предыдущая версия		Версия от 22:01, 3 декабря 2014
Строка 35:		Строка 35:

	=== Критерии оценки ===		=== Критерии оценки ===
	4-5: ~~проверка~~ двух документов<br />		4-5: оценка степени сходства двух документов<br />
	6-7: + построение графа сходства на множестве документов и наивный алгоритм удаления дубликатов<br />		6-7: + построение графа сходства на множестве документов и наивный алгоритм удаления дубликатов<br />
	8-10: + усложненный алгоритм удаления дубликатов<br />		8-10: + усложненный алгоритм удаления дубликатов <br />

Ashestakoff: Новая страница, с помощью формы Новый_проект

2014-12-03T14:43:18Z

Новая страница, с помощью формы Новый_проект

Новая страница

{{Карточка_проекта
|name=Утилита для чистки корпуса от дубликатов
|mentor=Шестаков Андрей
|mentor_login={{URLENCODE:Ashestakoff|WIKI}}
|semester=Весна 2015
|course=1
|summer=
|categorize=yes
}}

=== Что это за проект? ===
[http://www.sketchengine.co.uk/ SketchEngine] - это сервис обработки текстовых корпусов, который показывает наиболее типичные перепредставленные и недопредставленные пары слов, синтаксически связанных в предложении. Для того, чтобы сервис выдавал осмысленные и приемлемые результаты, к исходному корпусу языка предъявляется ряд требований.

В частности, корпус должен быть <<сбалансирован>>, то есть не содержать текстов-дубликатов.
Это необходимо, например, для более точной оценки представленности речевых оборотов.

=== Чему вы научитесь? ===
# Освоение ключевых понятий компьютерной лингвистки.
# Методы анализа и обработки текстов.

=== Какие начальные требования? ===
* Знание python
* Умение работать с *nix (желательно)

=== Какие будут использоваться технологии? ===
* python
* git, github
* MongoDB (возможно)

=== Темы вводных занятий ===

=== Направления развития ===
Реализованный прототип может быть использован как компонент вышеуказанного web-сервиса.

=== Критерии оценки ===
4-5: проверка двух документов<br />
6-7: + построение графа сходства на множестве документов и наивный алгоритм удаления дубликатов<br />
8-10: + усложненный алгоритм удаления дубликатов<br />