Основные методы анализа данных - История изменений

Nevalennaya в 14:05, 7 декабря 2018

2018-12-07T14:05:34Z

← Предыдущая версия		Версия от 14:05, 7 декабря 2018
Строка 32:		Строка 32:
	[https://drive.google.com/file/d/1UigscgBNVJtB1nJHG-E3p_PhfFix_iZI/view?usp=sharing Лекция 16.11]		[https://drive.google.com/file/d/1UigscgBNVJtB1nJHG-E3p_PhfFix_iZI/view?usp=sharing Лекция 16.11]

	[https://drive.google.com/file/d/1BZZprDCB3ESjLfUskwsAwP4EXNmToBrB/view?usp=sharing Все лекции в pdf-формате]		[https://drive.google.com/file/d/1BZZprDCB3ESjLfUskwsAwP4EXNmToBrB/view?usp=sharing Все лекции (до 3.11) в pdf-формате]

			[https://drive.google.com/file/d/1_u9_p0-URPpCS2Pv4qveKz6QLi4rgyUF/view?usp=sharing Лекции 30.11 и 7.12]

	== Домашний проект ==		== Домашний проект ==
Строка 110:		Строка 112:
	== Экзамен ==		== Экзамен ==

	Время работы: 80 мин. Количество вопросов: 6-7 (2 – теоретических, 4 – практических).		Дата: 14.12.18 Время работы: 80 мин. Количество вопросов: 6-7 (2 – теоретических, 4 – практических).

	Каждому вопросу приписана максимально возможная оценка по нему; сумма этих оценок равна 100%. При проверке каждый ответ оценивается в соответствии с уровнем покрытия материала в пределах приписанного к вопросу максимума. Сумма составляет оценку в процентах, и затем округляется до традиционной 10-балльной шкалы. Считается справедливым, если 52 и 53 округляются до 5, а 67 и 68 – до 7. Округление оценок, таких как 55 или 66 может основываться на дополнительной информации о прилежании студента.		Каждому вопросу приписана максимально возможная оценка по нему; сумма этих оценок равна 100%. При проверке каждый ответ оценивается в соответствии с уровнем покрытия материала в пределах приписанного к вопросу максимума. Сумма составляет оценку в процентах, и затем округляется до традиционной 10-балльной шкалы. Считается справедливым, если 52 и 53 округляются до 5, а 67 и 68 – до 7. Округление оценок, таких как 55 или 66 может основываться на дополнительной информации о прилежании студента.

	''Примеры вопросов см. в программе курса.''		''Примеры вопросов см. в программе курса.''

			[https://drive.google.com/file/d/1Cnk47oqLmYAA27NrfCHUKOTTqPIvFOLP/view?usp=sharing Файл в вопросами]

	== Обратная связь ==		== Обратная связь ==

Nevalennaya: /* Лекции */

2018-11-30T19:55:40Z

Лекции

← Предыдущая версия		Версия от 19:55, 30 ноября 2018
Строка 31:		Строка 31:

	[https://drive.google.com/file/d/1UigscgBNVJtB1nJHG-E3p_PhfFix_iZI/view?usp=sharing Лекция 16.11]		[https://drive.google.com/file/d/1UigscgBNVJtB1nJHG-E3p_PhfFix_iZI/view?usp=sharing Лекция 16.11]

			[https://drive.google.com/file/d/1BZZprDCB3ESjLfUskwsAwP4EXNmToBrB/view?usp=sharing Все лекции в pdf-формате]

	== Домашний проект ==		== Домашний проект ==

Nevalennaya: /* О курсе */

2018-11-30T19:44:20Z

О курсе

← Предыдущая версия		Версия от 19:44, 30 ноября 2018
Строка 10:		Строка 10:

	[https://drive.google.com/file/d/1bR_PI96by0KHhfmQ86RmSfeemRjKowpV/view?usp=sharing '''Программа курса''']		[https://drive.google.com/file/d/1bR_PI96by0KHhfmQ86RmSfeemRjKowpV/view?usp=sharing '''Программа курса''']

	~~ЗАНЯТИЯ 30 НОЯБРЯ НЕ БУДЕТ!~~

	== Порядок формирования итоговой оценки ==		== Порядок формирования итоговой оценки ==

Nevalennaya: /* О курсе */

2018-11-27T12:45:23Z

О курсе

← Предыдущая версия		Версия от 12:45, 27 ноября 2018
Строка 10:		Строка 10:

	[https://drive.google.com/file/d/1bR_PI96by0KHhfmQ86RmSfeemRjKowpV/view?usp=sharing '''Программа курса''']		[https://drive.google.com/file/d/1bR_PI96by0KHhfmQ86RmSfeemRjKowpV/view?usp=sharing '''Программа курса''']

			ЗАНЯТИЯ 30 НОЯБРЯ НЕ БУДЕТ!

	== Порядок формирования итоговой оценки ==		== Порядок формирования итоговой оценки ==

Nevalennaya в 12:44, 27 ноября 2018

2018-11-27T12:44:22Z

← Предыдущая версия		Версия от 12:44, 27 ноября 2018
Строка 36:		Строка 36:
	Требуется прислать законченный отчет до 3.12.18 (+ ночь) на [mailto:bmirkin@hse.ru bmirkin@hse.ru] (необходимо предварительное согласование файла данных). Работы, сданные 4.12-13.12, тоже будут проверены, но со штрафом 30% от величины оценки. Работы, сданные 14.12 или позже, проверяться не будут (оценка 0).		Требуется прислать законченный отчет до 3.12.18 (+ ночь) на [mailto:bmirkin@hse.ru bmirkin@hse.ru] (необходимо предварительное согласование файла данных). Работы, сданные 4.12-13.12, тоже будут проверены, но со штрафом 30% от величины оценки. Работы, сданные 14.12 или позже, проверяться не будут (оценка 0).

			[https://drive.google.com/file/d/1G-sM3e1pyZua_3wOa6Uk9IKIN-liS7qz/view?usp=sharing Все домашние задания]

	'''Домашнее задание 1'''		'''Домашнее задание 1'''

Nevalennaya: /* Домашний проект */

2018-11-27T12:37:20Z

Домашний проект

← Предыдущая версия		Версия от 12:37, 27 ноября 2018
Строка 34:		Строка 34:
	== Домашний проект ==		== Домашний проект ==

	Требуется прислать законченный отчет до 3.12.18 ~~23:59~~ на [mailto:bmirkin@hse.ru bmirkin@hse.ru] (необходимо предварительное согласование файла данных). Работы, сданные 4.12-13.12, тоже будут проверены, но со штрафом 30% от величины оценки. Работы, сданные 14.12 или позже, проверяться не будут (оценка 0).		Требуется прислать законченный отчет до 3.12.18 (+ ночь) на [mailto:bmirkin@hse.ru bmirkin@hse.ru] (необходимо предварительное согласование файла данных). Работы, сданные 4.12-13.12, тоже будут проверены, но со штрафом 30% от величины оценки. Работы, сданные 14.12 или позже, проверяться не будут (оценка 0).


Строка 104:		Строка 104:

	2) Один из трех признаков сделайте «выходным» и рассмотрите две таблицы сопряженности для предсказания значения выходного признака по каждому из входных. Рассчитайте характеристики аккуратности, точности и полноты для каждой из таблиц. Прокомментируйте и сравните результаты.		2) Один из трех признаков сделайте «выходным» и рассмотрите две таблицы сопряженности для предсказания значения выходного признака по каждому из входных. Рассчитайте характеристики аккуратности, точности и полноты для каждой из таблиц. Прокомментируйте и сравните результаты.


	== Экзамен ==		== Экзамен ==

Nevalennaya в 13:41, 20 ноября 2018

2018-11-20T13:41:52Z

← Предыдущая версия		Версия от 13:41, 20 ноября 2018
Строка 29:		Строка 29:

	[https://drive.google.com/file/d/1nULrvo-svL0yS4-B8yGr6YXd9sfr_TLp/view?usp=sharing Лекция 9.11]		[https://drive.google.com/file/d/1nULrvo-svL0yS4-B8yGr6YXd9sfr_TLp/view?usp=sharing Лекция 9.11]

			[https://drive.google.com/file/d/1UigscgBNVJtB1nJHG-E3p_PhfFix_iZI/view?usp=sharing Лекция 16.11]

	== Домашний проект ==		== Домашний проект ==
Строка 95:		Строка 97:

	6) Compare the mean relative absolute error of the regression on all points of your set and the determinacy coefficient and make comments.		6) Compare the mean relative absolute error of the regression on all points of your set and the determinacy coefficient and make comments.


			'''Домашнее задание 6'''

			1) Возьмите три количественных признака в Ваших данных и сформируйте бинарный признак по каждому из них. (Один из этих трех бинарных признаков может быть взят из данных непосредственно, тогда надо будет бинаризовать только два количественных признака.)

			2) Один из трех признаков сделайте «выходным» и рассмотрите две таблицы сопряженности для предсказания значения выходного признака по каждому из входных. Рассчитайте характеристики аккуратности, точности и полноты для каждой из таблиц. Прокомментируйте и сравните результаты.

Nevalennaya в 10:18, 12 ноября 2018

2018-11-12T10:18:38Z

@@ Строка 27: / Строка 27: @@
 [https://drive.google.com/file/d/1iVRhCzpdzUfQCYoMOtY25NpYfGg-gpde/view?usp=sharing Лекция 2.11]
 == Домашний проект ==
@@ Строка 78: / Строка 80: @@
 ) Apply the conventional PCA for visualization and see if there is any difference with respect to (a)/(b) above. Comment on which of the normalizations is better, in your opinion, and why.
 == Экзамен ==

Nevalennaya: /* Лекции */

2018-11-03T19:56:26Z

Лекции

← Предыдущая версия		Версия от 19:56, 3 ноября 2018
Строка 25:		Строка 25:

	[https://drive.google.com/file/d/1FbYH-3vKI7Gm4AYTm2FDMjHO727aotsb/view?usp=sharing Лекция 12.10]		[https://drive.google.com/file/d/1FbYH-3vKI7Gm4AYTm2FDMjHO727aotsb/view?usp=sharing Лекция 12.10]

			[https://drive.google.com/file/d/1iVRhCzpdzUfQCYoMOtY25NpYfGg-gpde/view?usp=sharing Лекция 2.11]

	== Домашний проект ==		== Домашний проект ==

Nevalennaya: /* Домашний проект */

2018-11-03T19:54:03Z

Домашний проект

← Предыдущая версия		Версия от 19:54, 3 ноября 2018
Строка 27:		Строка 27:

	== Домашний проект ==		== Домашний проект ==

			Требуется прислать законченный отчет до 3.12.18 23:59 на [mailto:bmirkin@hse.ru bmirkin@hse.ru] (необходимо предварительное согласование файла данных). Работы, сданные 4.12-13.12, тоже будут проверены, но со штрафом 30% от величины оценки. Работы, сданные 14.12 или позже, проверяться не будут (оценка 0).


			'''Домашнее задание 1'''

			1) Each to form/join a team of one, two or three; the team finds a meaningful dataset of their liking on the internet: say, by Googling “data analysis dataset”:
			* Number of entities ≥ 80, of features ≥ 5
			* No missing
			* No Irivine ML repository
			* The dataset is to be approved by me.
			2) Start writing a team’s report file:
			* Project title page
			* Section 1:
			# Explanation of the choice of the dataset
			# Information of the dataset: features, number of entities, source address, examples of problems


			'''Домашнее задание 2'''

			1) Выберите не менее трех количественных признаков, объясните выбор и примените метод К-средних (для K=5, для K=9). В обоих случаях сделайте порядка 10 случайных инициализаций и выберите то, которое доставляет минимум критерию метода.

			2) Проинтерпретируйте оба разбиения с помощью признаков таблицы данных. Объясните, какое из разбиений лучше с точки зрения интерпретации.

			3) Для одного из полученных разбиений:
			* Сравните средние по какому-либо признаку в двух кластерах, используя бутстрэп.
			* Найдите 95% доверительный интервал для среднего значения какого-либо признака на всем множестве объектов, используя бутстрэп.
			* Для одного из кластеров сравните среднее на всем множестве для какого-либо признака с его средним внутри кластера, используя бутстрэп
			Примечание: каждое применение бутстрэпа должно быть обоими методами, с опорой и без.


			'''Домашнее задание 3: Contingency Table'''

			1) Consider three nominal features (one of them, not more, may be taken from nominal features in your data).

			2) Build two contingency tables over them: present a conditional frequency table and Quetelet relative index tables. Make comments on relations between categories of the common (to both tables) feature and two others.

			3) Compute and visualize the chi-square-summary_Quetelet_index over both tables.

			4) Comment on the meaning of the values in the data analysis context.


			'''Домашнее задание 4: PCA/SVD'''

			1) In your data set, select a subset with 3 to 6 features related, more or less, to the same aspect and explain your choice.

			2) Visualize the data subset using standardization with two versions of normalization: (a) over ranges and (b) over standard deviations. At these visualizations, use a distinct shape/colour for points representing a pre-specified by you group of objects.

			3) Apply the conventional PCA for visualization and see if there is any difference with respect to (a)/(b) above. Comment on which of the normalizations is better, in your opinion, and why.

	== Экзамен ==		== Экзамен ==