Программирование (python) для лингвистов дз - История изменений

Denaas: /* Assignment 10. */

2018-01-16T16:24:34Z

Assignment 10.

← Предыдущая версия		Версия от 16:24, 16 января 2018
Строка 128:		Строка 128:
	# пользователь предъявляет образец текста (не обязательно из обучающего корпуса) и просит показать k похожих по тематике текстов		# пользователь предъявляет образец текста (не обязательно из обучающего корпуса) и просит показать k похожих по тематике текстов
	# в качестве моделей для тематического моделирования рассмотреть NMF, LSA, LDA		# в качестве моделей для тематического моделирования рассмотреть NMF, LSA, LDA
	# в качестве метрик topic coherence рассмотреть [https://www.insight-centre.org/sites/default/files/publications/15.010_eswa2014_final_submit.pdf TC-W2C], [http://svn.aksw.org/papers/2015/WSDM_Topic_Evaluation/public.pdf UCI, Umass]		# в качестве метрик topic coherence рассмотреть [https://www.insight-centre.org/sites/default/files/publications/15.010_eswa2014_final_submit.pdf TC-W2C], [http://svn.aksw.org/papers/2015/WSDM_Topic_Evaluation/public.pdf UCI, Umass] для топ-20 слов-дескрипторов тем
	# для каждой тематической модели определить оптимальное кол-во тем, а затем сравнить сами модели с помощью метрик topic coherence		# для каждой тематической модели определить оптимальное кол-во тем, а затем сравнить сами модели с помощью метрик topic coherence
	# при выборе оптимального кол-ва тем постройте проверяйте дескрипторы тем		# при выборе оптимального кол-ва тем постройте проверяйте дескрипторы тем

Denaas в 13:06, 12 января 2018

2018-01-12T13:06:08Z

@@ Строка 1: / Строка 1: @@
-== Задание 1. ==
+== Assignment 1. ==
 . Реализовать функцию fibonacci(n) вычисления n-ого числа Фибоначчи со сложностью не хуже O(n) по вренени
@@ Строка 13: / Строка 13: @@
-== Задание 2. ==
+== Assignment 2. ==
 Цель задания - научится самостоятельно ориентроваться в документации к библиотекам.
@@ Строка 67: / Строка 67: @@
 . Результатом выполнения задания является код указанных классов и корректные результаты эксперимента
-== Задание 3. ==
+== Assignment 3. ==
 Интерфейс
@@ Строка 102: / Строка 102: @@
-== Задание 4. ==
+== Assignment 4. ==
 По материалам 4 семинара:
@@ Строка 121: / Строка 121: @@
     """
        pass

Denaas в 23:39, 4 октября 2017

2017-10-04T23:39:01Z

← Предыдущая версия		Версия от 23:39, 4 октября 2017
Строка 100:		Строка 100:

	!! обратите внимение, что теперь частоты - это действительные числа.		!! обратите внимение, что теперь частоты - это действительные числа.


			== Задание 4. ==

			По материалам 4 семинара:
			# Модифицировать алгоритм Рабина-Карпа, чтобы он выполнял поиск нескольких паттернов в строке одновременно.
			# Дать асимптотическую верхнюю оценку сложности O() реализованного алгоритма в зависимости от параметров T (длина текста), P_1, P_2, ..., P_n (длины паттернов)
			# Написать юнит тесты к разработанному алгоритму
			# работу оформить в виде скрипта *.py

			Интерфейс:

			def search_rabin_multi(text, patterns):
			"""
			text - строка, в которой выполняется поиск
			patterns = [pattern_1, pattern_2, ..., pattern_n] - массив паттернов, которые нужно найти в строке text
			По аналогии с оригинальным алгоритмом, функция возвращает массив [indices_1, indices_2, ... indices_n]
			При этом indices_i - массив индексов [pos_1, pos_2, ... pos_n], с которых начинаетй pattern_i в строке text.
			Если pattern_i ни разу не встречается в строке text, ему соотвествует пустой массив, т.е. indices_i = []
			"""
			pass

Denaas: /* Задание 2. */

2017-09-30T09:56:10Z

Задание 2.

← Предыдущая версия		Версия от 09:56, 30 сентября 2017
Строка 21:		Строка 21:
	[https://github.com/thedenaas/hse_seminars/blob/master/seminar_2/web%20mining.ipynb инструкция по установке]		[https://github.com/thedenaas/hse_seminars/blob/master/seminar_2/web%20mining.ipynb инструкция по установке]

	[https://drive.google.com/file/d/0BzrfRHrbun42bWc1NjVIRlNKT1E/view?usp=sharing virtualbox image with preinstalled libraries]		[https://drive.google.com/file/d/0BzrfRHrbun42bWc1NjVIRlNKT1E/view?usp=sharing virtualbox image with preinstalled libraries] user: hse, password: hsepass

	Вам необходимо написать программу, которая парсит статьи википедии (language=en) и считает по ним некоторые статистики.		Вам необходимо написать программу, которая парсит статьи википедии (language=en) и считает по ним некоторые статистики.

Denaas: /* Задание 2. */

2017-09-29T22:30:08Z

Задание 2.

← Предыдущая версия		Версия от 22:30, 29 сентября 2017
Строка 20:		Строка 20:

	[https://github.com/thedenaas/hse_seminars/blob/master/seminar_2/web%20mining.ipynb инструкция по установке]		[https://github.com/thedenaas/hse_seminars/blob/master/seminar_2/web%20mining.ipynb инструкция по установке]

			[https://drive.google.com/file/d/0BzrfRHrbun42bWc1NjVIRlNKT1E/view?usp=sharing virtualbox image with preinstalled libraries]

	Вам необходимо написать программу, которая парсит статьи википедии (language=en) и считает по ним некоторые статистики.		Вам необходимо написать программу, которая парсит статьи википедии (language=en) и считает по ним некоторые статистики.

Denaas: /* Задание 3. */

2017-09-29T09:16:03Z

Задание 3.

← Предыдущая версия		Версия от 09:16, 29 сентября 2017
Строка 85:		Строка 85:
	# Изменить логику работы WikiParser.get_articles - оставить знаки пунктуации, которые разделяют предложения.		# Изменить логику работы WikiParser.get_articles - оставить знаки пунктуации, которые разделяют предложения.
	# Изменить логику get_top_3grams - теперь под 3-граммами понимаются буквенные триграммы. Триграммы могут состоять из букв, цифр и не более 1 пробела подряд.		# Изменить логику get_top_3grams - теперь под 3-граммами понимаются буквенные триграммы. Триграммы могут состоять из букв, цифр и не более 1 пробела подряд.
	# Добавить в метод get_top_words параметр use_idf, при выставлении которого частоты умножаются на коэффициент IDF и соотвественно сортируются. IDF = log(<общее кол-во статей> / <кол-во статей, в которых встретилось данное слово>)		# Добавить в метод get_top_words параметр use_idf, при выставлении которого частоты умножаются на коэффициент IDF и соотвественно сортируются. IDF = log(<общее кол-во статей в корпусе> / <кол-во статей, в которых встретилось данное слово>)
	# Добавить в метод get_top_3grams параметр use_idf, при выставлении которого частоты умножаются на коэффициент IDF и соотвественно сортируются. IDF = log (<общее кол-во предложений> / <кол-во предложений, в которых встретилась данная триграмма>)		# Добавить в метод get_top_3grams параметр use_idf, при выставлении которого частоты умножаются на коэффициент IDF и соотвественно сортируются. IDF = log (<общее кол-во предложений в корпусе> / <кол-во предложений, в которых встретилась данная триграмма>)
	# написать unit тесты к классу TextStatistics, которые проверяют соблюдение описанных условий и корректность подсчета частот. Тесты должны покрывать граничные условия и разные варианты (в разумных пределах) аргументов, передаваемые в методы.		# написать unit тесты к классу TextStatistics, которые проверяют соблюдение описанных условий и корректность подсчета частот. Тесты должны покрывать граничные условия и разные варианты (в разумных пределах) аргументов, передаваемые в методы.
	# выполнить эксперимент:		# выполнить эксперимент:

Denaas: /* Задание 3. */

2017-09-29T09:13:32Z

Задание 3.

Denaas: /* Задание 2. */

2017-09-29T09:09:29Z

Задание 2.

← Предыдущая версия		Версия от 09:09, 29 сентября 2017
Строка 18:		Строка 18:

	[https://github.com/thedenaas/hse_seminars/blob/master/seminar_2/web%20mining.ipynb библиотека pattern]		[https://github.com/thedenaas/hse_seminars/blob/master/seminar_2/web%20mining.ipynb библиотека pattern]

	[https://github.com/thedenaas/hse_seminars/blob/master/seminar_2/web%20mining.ipynb инструкция по установке]		[https://github.com/thedenaas/hse_seminars/blob/master/seminar_2/web%20mining.ipynb инструкция по установке]

Denaas: /* Задание 2. */

2017-09-29T09:09:20Z

Задание 2.

← Предыдущая версия		Версия от 09:09, 29 сентября 2017
Строка 18:		Строка 18:

	[https://github.com/thedenaas/hse_seminars/blob/master/seminar_2/web%20mining.ipynb библиотека pattern]		[https://github.com/thedenaas/hse_seminars/blob/master/seminar_2/web%20mining.ipynb библиотека pattern]
			[https://github.com/thedenaas/hse_seminars/blob/master/seminar_2/web%20mining.ipynb инструкция по установке]

	Вам необходимо написать программу, которая парсит статьи википедии (language=en) и считает по ним некоторые статистики.		Вам необходимо написать программу, которая парсит статьи википедии (language=en) и считает по ним некоторые статистики.

Denaas в 09:08, 29 сентября 2017

2017-09-29T09:08:12Z

← Предыдущая версия		Версия от 09:08, 29 сентября 2017
Строка 62:		Строка 62:

	5. Результатом выполнения задания является код указанных классов и корректные результаты эксперимента		5. Результатом выполнения задания является код указанных классов и корректные результаты эксперимента

			== Задание 3. ==

			Интерфейс
			class WikiParser:
			def __init__(self):
			pass
			def get_articles(self, start):
			return list_of_strings

			class TextStatistics:
			def __init___(self, articles):
			pass

			def get_top_3grams(self, n, use_idf=False):
			return (list_of_3grams_in_descending_order_by_freq, list_of_their_corresponding_freq)

			def get_top_words(self, n, use_idf=False):
			return (list_of_words_in_descending_order_by_freq, list_of_their_corresponding_freq)

			Используя код из задания 2:
			# Изменить логику работы WikiParser.get_articles - оставить знаки пунктуации, которые разделяют предложения.
			# Изменить логику get_top_3grams - теперь под 3-граммами понимаются буквенные триграммы. Триграммы могут состоять из букв, цифр и не более 1 пробела подряд.
			# Добавить в метод get_top_words параметр use_idf, при выставлении которого частоты умножаются на коэффициент IDF и соотвественно сортируются. IDF = log(<общее кол-во статей> / <кол-во статей, в которых встретилось данное слово>)
			# Добавить в метод get_top_3grams параметр use_idf, при выставлении которого частоты умножаются на коэффициент IDF и соотвественно сортируются. IDF = log (<общее кол-во предложений> / <кол-во предложений, в которых встретилась данная триграмма>)
			# написать unit тесты к классу TextStatistics, которые проверяют соблюдение описанных условий и корректность подсчета частот. Тесты должны покрывать граничные условия и разные варианты (в разумных пределах) аргументов, передаваемые в методы.
			# выполнить эксперимент:
			# Выполняет парсинг статей википедии для "Natural language processing"
			# По полученному корпусу текстов считает топ-20 3-грамм и топ-20 слов с use_idf=True.
			# Печатает результаты эксперимента в структурированной форме
			# В комментариях после класса Experiment привести результаты выполнения метода show_results.
			# Результатом выполнения задания является код указанных классов в 1 файле *.py и корректные результаты эксперимента

			!! обратите внимание, что вы кладете 3 дз в новый каталог homework_3, не внося изменения в каталог homework_2

			!! обратите внимение, что теперь частоты - это действительные числа.

← Предыдущая версия		Версия от 09:13, 29 сентября 2017
Строка 77:		Строка 77:
	def __init___(self, articles):		def __init___(self, articles):
	pass		pass

	def get_top_3grams(self, n, use_idf=False):		def get_top_3grams(self, n, use_idf=False):
	return (list_of_3grams_in_descending_order_by_freq, list_of_their_corresponding_freq)		return (list_of_3grams_in_descending_order_by_freq, list_of_their_corresponding_freq)

	def get_top_words(self, n, use_idf=False):		def get_top_words(self, n, use_idf=False):
	return (list_of_words_in_descending_order_by_freq, list_of_their_corresponding_freq)		return (list_of_words_in_descending_order_by_freq, list_of_their_corresponding_freq)
Строка 91:		Строка 89:
	# написать unit тесты к классу TextStatistics, которые проверяют соблюдение описанных условий и корректность подсчета частот. Тесты должны покрывать граничные условия и разные варианты (в разумных пределах) аргументов, передаваемые в методы.		# написать unit тесты к классу TextStatistics, которые проверяют соблюдение описанных условий и корректность подсчета частот. Тесты должны покрывать граничные условия и разные варианты (в разумных пределах) аргументов, передаваемые в методы.
	# выполнить эксперимент:		# выполнить эксперимент:
	~~# Выполняет~~ парсинг статей википедии для "Natural language processing"		1 Выполнить парсинг статей википедии для "Natural language processing"
	# По полученному корпусу текстов ~~считает~~ топ-20 3-грамм и топ-20 слов с use_idf=True.		2 По полученному корпусу текстов посчитать топ-20 3-грамм и топ-20 слов с use_idf=True.
	# Печатает результаты эксперимента в структурированной форме		3 Печатает результаты эксперимента в структурированной форме
	# В комментариях после класса Experiment привести результаты выполнения метода show_results.		4 В комментариях после класса Experiment привести результаты выполнения метода show_results.
	# Результатом выполнения задания является код указанных классов в 1 файле *.py и корректные результаты эксперимента		5 Результатом выполнения задания является код указанных классов в 1 файле *.py и корректные результаты эксперимента

	!! обратите внимание, что вы кладете 3 дз в новый каталог homework_3, не внося изменения в каталог homework_2		!! обратите внимание, что вы кладете 3 дз в новый каталог homework_3, не внося изменения в каталог homework_2

	!! обратите внимение, что теперь частоты - это действительные числа.		!! обратите внимение, что теперь частоты - это действительные числа.