Машинное обучение 1/Группа 145 РС - История изменений

Aumnov: /* Общая информация */

2016-11-01T19:33:49Z

Общая информация

← Предыдущая версия		Версия от 19:33, 1 ноября 2016
Строка 2:		Строка 2:

	Время для консультаций (по предварительной договоренности):		Время для консультаций (по предварительной договоренности):
	* ~~Понедельник~~ 11:00 - 12:00, 15:00 - 16:00		* Среда 11:00 - 12:00, 13:30 - 14:30
	* ~~Вторник~~ 11:00 - 12:00, 15:00 - ~~16:00~~		* Пятница 11:00 - 12:00, 13:40 - 15:00
	* Пятница 9:30 - 12:00~~, 16:30 - 17:30.~~
	аудитория 623		аудитория 623

Aumnov: /* Семинар 7 (21.10). Решающие деревья. Калибровка вероятности */

2016-10-21T10:09:57Z

Семинар 7 (21.10). Решающие деревья. Калибровка вероятности

← Предыдущая версия		Версия от 10:09, 21 октября 2016
Строка 47:		Строка 47:
	=== Семинар 7 (21.10). Решающие деревья. Калибровка вероятности ===		=== Семинар 7 (21.10). Решающие деревья. Калибровка вероятности ===

	Упражнения на дом (в случае затруднений см. тетрадку семинара 6 на главной курса):		Упражнения на дом (в случае затруднений см. тетрадку семинара 7 на главной курса):
			* Покажите, что оценка качества разбиения с помощью максимального правдоподобия порождает энтропийный критерий для решающих деревьев.
			(Вывод частично был на лекции, нужно провести все преобразования).
	* Сгенерируйте набор точек на плоскости. Создайте из них датасет, где координаты точки являются ее признаками, а		* Сгенерируйте набор точек на плоскости. Создайте из них датасет, где координаты точки являются ее признаками, а
	модуль суммы координат - ответом.		модуль суммы координат - ответом.

Aumnov: /* Семинар 6 (14.10). Работа с текстом, TF-IDF, разреженные матрицы. */

2016-10-21T08:03:43Z

Семинар 6 (14.10). Работа с текстом, TF-IDF, разреженные матрицы.

← Предыдущая версия		Версия от 08:03, 21 октября 2016
Строка 44:		Строка 44:
	* В предыдущем задании изучите, какие слова в наибольшей степени влияют на ответ.		* В предыдущем задании изучите, какие слова в наибольшей степени влияют на ответ.
	* * Проведите стемминг текстов с помощью nltk.stem.snowball.RussianStemmer() и еще раз проведите классификацию. Сравните результаты.		* * Проведите стемминг текстов с помощью nltk.stem.snowball.RussianStemmer() и еще раз проведите классификацию. Сравните результаты.

			=== Семинар 7 (21.10). Решающие деревья. Калибровка вероятности ===

			Упражнения на дом (в случае затруднений см. тетрадку семинара 6 на главной курса):
			* Сгенерируйте набор точек на плоскости. Создайте из них датасет, где координаты точки являются ее признаками, а
			модуль суммы координат - ответом.
			* Обучите на них решающее дерево и изобразите его значения на точках плоскости.
			* Исследуйте, как меняется дерево в зависимости от глубины.
			* Исследуйте, как меняется дерево при изменении 10% выборки (5%, 1%).
			* Загрузите стандартный датасет с ценами в Бостоне (sklearn.datasets.load_boston).
			* Подберите с помощью кросс-валидации наилучшие параметры решающего дерева для него.

Aumnov: /* Семинары */

2016-10-14T07:03:14Z

Семинары

← Предыдущая версия		Версия от 07:03, 14 октября 2016
Строка 29:		Строка 29:
	=== Семинары 4 и 5 (07.10 и 08.10). Линейная классификация. Метрики качества, ROC, PR, AUC. Валидация. SVM. ===		=== Семинары 4 и 5 (07.10 и 08.10). Линейная классификация. Метрики качества, ROC, PR, AUC. Валидация. SVM. ===

	Упражнения на дом (в случае затруднений см. ~~тетрадки~~ семинара 4 на главной курса).		Упражнения на дом (в случае затруднений см. тетрадку семинара 4 на главной курса).
	* Скачайте датасет для классификации спама: https://archive.ics.uci.edu/ml/machine-learning-databases/spambase/		* Скачайте датасет для классификации спама: https://archive.ics.uci.edu/ml/machine-learning-databases/spambase/
	* Разделите выборку на обучение и тест (sklearn.cross_validation.train_test_split)		* Разделите выборку на обучение и тест (sklearn.cross_validation.train_test_split)
Строка 35:		Строка 35:
	* Постройте ROC-кривую и PR-кривую для этого классификатора, посчитайте для них AUC-значения.		* Постройте ROC-кривую и PR-кривую для этого классификатора, посчитайте для них AUC-значения.
	* Проделайте кросс-валидацию метода (sklearn.cross_validation.KFold)		* Проделайте кросс-валидацию метода (sklearn.cross_validation.KFold)

			=== Семинар 6 (14.10). Работа с текстом, TF-IDF, разреженные матрицы. ===

			Упражнения на дом (в случае затруднений см. тетрадку семинара 6 на главной курса):
			* Даны разреженные матрицы A и B в одном из трех форматов: COO, CSR, CSC. Какое время потребуется для их перемножения в зависимости от форматов? Какая пара форматов самая оптимальная?
			* Дана разреженная матрица A и вектор z. Покажите, что если A представлена в формате CSR или CSC, то выражение Az можно вычислить эффективно.
			* Загрузите [https://www.dropbox.com/s/18i7lqac9rr4pnx/banki_responses.json.bz2?dl=0 датасет] отзывов о работе банков. Обозначьте отзывы с оценками 4-5 как положительные и 1-3 как отрицательные. Приведите тексты к нижнему регистру, уберите все символы, кроме кириллицы, превратите тексты в признаки с помощью TF-IDF. Обучите линейную регрессию на этих данных.
			* В предыдущем задании изучите, какие слова в наибольшей степени влияют на ответ.
			* * Проведите стемминг текстов с помощью nltk.stem.snowball.RussianStemmer() и еще раз проведите классификацию. Сравните результаты.

Aumnov: /* Семинары 4 и 5 (07.10 и 08.10). Линейная классификация. Метрики качества, ROC, PR, AUC. Валидация. SVM. */

2016-10-08T09:23:59Z

Семинары 4 и 5 (07.10 и 08.10). Линейная классификация. Метрики качества, ROC, PR, AUC. Валидация. SVM.

← Предыдущая версия		Версия от 09:23, 8 октября 2016
Строка 29:		Строка 29:
	=== Семинары 4 и 5 (07.10 и 08.10). Линейная классификация. Метрики качества, ROC, PR, AUC. Валидация. SVM. ===		=== Семинары 4 и 5 (07.10 и 08.10). Линейная классификация. Метрики качества, ROC, PR, AUC. Валидация. SVM. ===

	Упражнения на дом (в случае затруднений см. тетрадки ~~семинаров~~ 4 ~~и 5~~ на главной курса).		Упражнения на дом (в случае затруднений см. тетрадки семинара 4 на главной курса).
	* Скачайте датасет для классификации спама: https://archive.ics.uci.edu/ml/machine-learning-databases/spambase/		* Скачайте датасет для классификации спама: https://archive.ics.uci.edu/ml/machine-learning-databases/spambase/
	* Разделите выборку на обучение и тест (sklearn.cross_validation.train_test_split)		* Разделите выборку на обучение и тест (sklearn.cross_validation.train_test_split)

Aumnov: /* Семинары 4 и 5 (07.10 и 08.10). Линейная классификация. Метрики качества, ROC, PR, AUC. Валидация. SVM */

2016-10-08T09:23:26Z

Семинары 4 и 5 (07.10 и 08.10). Линейная классификация. Метрики качества, ROC, PR, AUC. Валидация. SVM

← Предыдущая версия		Версия от 09:23, 8 октября 2016
Строка 27:		Строка 27:
	=== Семинар 3 (23.09). Предобработка: категории, пропуски, нормализация. Минимизация функции потерь. ===		=== Семинар 3 (23.09). Предобработка: категории, пропуски, нормализация. Минимизация функции потерь. ===

	=== Семинары 4 и 5 (07.10 и 08.10). Линейная классификация. Метрики качества, ROC, PR, AUC. Валидация. SVM ===		=== Семинары 4 и 5 (07.10 и 08.10). Линейная классификация. Метрики качества, ROC, PR, AUC. Валидация. SVM. ===

	Упражнения на дом (в случае затруднений см. тетрадки семинаров 4 и 5 на главной курса).		Упражнения на дом (в случае затруднений см. тетрадки семинаров 4 и 5 на главной курса).

Aumnov: /* Семинары */

2016-10-08T09:21:49Z

Семинары

← Предыдущая версия		Версия от 09:21, 8 октября 2016
Строка 26:		Строка 26:

	=== Семинар 3 (23.09). Предобработка: категории, пропуски, нормализация. Минимизация функции потерь. ===		=== Семинар 3 (23.09). Предобработка: категории, пропуски, нормализация. Минимизация функции потерь. ===

			=== Семинары 4 и 5 (07.10 и 08.10). Линейная классификация. Метрики качества, ROC, PR, AUC. Валидация. SVM ===

			Упражнения на дом (в случае затруднений см. тетрадки семинаров 4 и 5 на главной курса).
			* Скачайте датасет для классификации спама: https://archive.ics.uci.edu/ml/machine-learning-databases/spambase/
			* Разделите выборку на обучение и тест (sklearn.cross_validation.train_test_split)
			* Обучите на нем логистическую регрессию (sklearn.linear_model.LogisticRegression), посчитайте различные метрики для вашего классификатора: правильность, точность, полноту (sklearn.metrics).
			* Постройте ROC-кривую и PR-кривую для этого классификатора, посчитайте для них AUC-значения.
			* Проделайте кросс-валидацию метода (sklearn.cross_validation.KFold)

Aumnov: /* Общая информация */

2016-09-25T18:48:03Z

Общая информация

← Предыдущая версия		Версия от 18:48, 25 сентября 2016
Строка 4:		Строка 4:
	* Понедельник 11:00 - 12:00, 15:00 - 16:00		* Понедельник 11:00 - 12:00, 15:00 - 16:00
	* Вторник 11:00 - 12:00, 15:00 - 16:00		* Вторник 11:00 - 12:00, 15:00 - 16:00
	* Пятница 11:00 - 12:00		* Пятница 9:30 - 12:00, 16:30 - 17:30.
	аудитория 623		аудитория 623

Aumnov: /* Семинары */

2016-09-25T18:46:00Z

Семинары

← Предыдущая версия		Версия от 18:46, 25 сентября 2016
Строка 25:		Строка 25:
	Дополнительные упражнения на темы прошлого семинара: [https://www.dropbox.com/s/6t9djpoapkspgkb/%D0%94%D0%BE%D0%BF.%20%D1%83%D0%BF%D1%80%D0%B0%D0%B6%D0%BD%D0%B5%D0%BD%D0%B8%D1%8F%20%D0%B4%D0%BB%D1%8F%20numpy%2C%20matplotlib%2C%20pandas.pdf?dl=0 упражнения], [https://www.dropbox.com/s/2ghqfsnn20fe2uk/titanic.csv?dl=0 titanic.csv]		Дополнительные упражнения на темы прошлого семинара: [https://www.dropbox.com/s/6t9djpoapkspgkb/%D0%94%D0%BE%D0%BF.%20%D1%83%D0%BF%D1%80%D0%B0%D0%B6%D0%BD%D0%B5%D0%BD%D0%B8%D1%8F%20%D0%B4%D0%BB%D1%8F%20numpy%2C%20matplotlib%2C%20pandas.pdf?dl=0 упражнения], [https://www.dropbox.com/s/2ghqfsnn20fe2uk/titanic.csv?dl=0 titanic.csv]

	=== Семинар 3 (23.09). Предобработка: категории, пропуски, нормализация. Минимизация функции потерь.		=== Семинар 3 (23.09). Предобработка: категории, пропуски, нормализация. Минимизация функции потерь. ===

Aumnov: /* Семинары */

2016-09-25T18:45:50Z

Семинары

← Предыдущая версия		Версия от 18:45, 25 сентября 2016
Строка 24:		Строка 24:

	Дополнительные упражнения на темы прошлого семинара: [https://www.dropbox.com/s/6t9djpoapkspgkb/%D0%94%D0%BE%D0%BF.%20%D1%83%D0%BF%D1%80%D0%B0%D0%B6%D0%BD%D0%B5%D0%BD%D0%B8%D1%8F%20%D0%B4%D0%BB%D1%8F%20numpy%2C%20matplotlib%2C%20pandas.pdf?dl=0 упражнения], [https://www.dropbox.com/s/2ghqfsnn20fe2uk/titanic.csv?dl=0 titanic.csv]		Дополнительные упражнения на темы прошлого семинара: [https://www.dropbox.com/s/6t9djpoapkspgkb/%D0%94%D0%BE%D0%BF.%20%D1%83%D0%BF%D1%80%D0%B0%D0%B6%D0%BD%D0%B5%D0%BD%D0%B8%D1%8F%20%D0%B4%D0%BB%D1%8F%20numpy%2C%20matplotlib%2C%20pandas.pdf?dl=0 упражнения], [https://www.dropbox.com/s/2ghqfsnn20fe2uk/titanic.csv?dl=0 titanic.csv]

			=== Семинар 3 (23.09). Предобработка: категории, пропуски, нормализация. Минимизация функции потерь.