Машинное обучение на больших данных 145 - История изменений

Aumnov: /* Семинары */

2017-05-29T10:39:19Z

Семинары

← Предыдущая версия		Версия от 10:39, 29 мая 2017
Строка 1:		Строка 1:

	=== Семинары ===		=== Семинары ===

			==== Сверточные сети, продолжение (29.05) ====

			[https://www.dropbox.com/s/sgqmzena6a5miw1/test02.pdf?dl=0 Проверочная]

	==== Сверточные сети (22.05) ====		==== Сверточные сети (22.05) ====

Aumnov: /* Семинары */

2017-05-22T09:30:08Z

Семинары

← Предыдущая версия		Версия от 09:30, 22 мая 2017
Строка 1:		Строка 1:

	=== Семинары ===		=== Семинары ===

			==== Сверточные сети (22.05) ====

			==== Tensorflow (15.05) ====

			Для работы с Tensorflow нужно поднять машину с GPU (см. инструкцию на гитхабе). Там же уже лежат примеры кода на Tensorflow. На семинаре разбирались с синтаксисом и реализовывали логистическую регрессию и двухслойную нейронную сеть с L2-регуляризацией.

	==== Бустинг (24.04) ====		==== Бустинг (24.04) ====

	Нужно обучить на данных модели для градиентного бустинга из Spark.Mllib и xgboost (опционально еще sklearn) и сравнить их время работы и качество. Вот данные: [https://www.dropbox.com/s/5yw1q7sjhw8sp5n/train.txt.zip?dl=0 train], [https://www.dropbox.com/s/w0dqf59ad7wci35/test.txt.zip?dl=0 test].		Нужно обучить на данных модели для градиентного бустинга из Spark.Mllib и xgboost (опционально еще sklearn) и сравнить их время работы и качество. Вот данные: [https://www.dropbox.com/s/5yw1q7sjhw8sp5n/train.txt.zip?dl=0 train], [https://www.dropbox.com/s/w0dqf59ad7wci35/test.txt.zip?dl=0 test].

			==== Spark Mllib (17.04) ====

			Полезнцые ссылки:
			* [http://spark.apache.org/docs/latest/ml-guide.html Общий гайд]
			* [http://spark.apache.org/docs/latest/ml-pipeline.html Как делать пайплайны]
			* [http://spark.apache.org/docs/latest/ml-tuning.html Как оптимизировать гиперпараметры]

			[https://www.dropbox.com/s/f2lxghgviaayjje/test01.pdf?dl=0 Проверочная].

	==== Azure, Spark (10.04) ====		==== Azure, Spark (10.04) ====

Aumnov: /* Семинары */

2017-04-23T20:21:41Z

Семинары

← Предыдущая версия		Версия от 20:21, 23 апреля 2017
Строка 1:		Строка 1:

	=== Семинары ===		=== Семинары ===

			==== Бустинг (24.04) ====

			Нужно обучить на данных модели для градиентного бустинга из Spark.Mllib и xgboost (опционально еще sklearn) и сравнить их время работы и качество. Вот данные: [https://www.dropbox.com/s/5yw1q7sjhw8sp5n/train.txt.zip?dl=0 train], [https://www.dropbox.com/s/w0dqf59ad7wci35/test.txt.zip?dl=0 test].

	==== Azure, Spark (10.04) ====		==== Azure, Spark (10.04) ====

Aumnov: /* Azure, Spark (10.04) */

2017-04-10T10:44:21Z

Azure, Spark (10.04)

← Предыдущая версия		Версия от 10:44, 10 апреля 2017
Строка 13:		Строка 13:
	# Формат таблицы: (название города, (температура, день)). Для каждого дня выведите список городов, где температура была выше средней в этот день.		# Формат таблицы: (название города, (температура, день)). Для каждого дня выведите список городов, где температура была выше средней в этот день.
	# Формат таблицы: (ID человека, рост человека). Построить гистограмму средних значений роста при бутстрепе с числом выборок N.		# Формат таблицы: (ID человека, рост человека). Построить гистограмму средних значений роста при бутстрепе с числом выборок N.
	# Формат таблицы: (ID, вектор). Посчитать косинус угла между всеми парами векторов. Известно, что у векторов очень большая ~~размерно~~, но они являются разреженными.		# Формат таблицы: (ID, вектор). Посчитать косинус угла между всеми парами векторов. Известно, что у векторов очень большая размерность, но они являются разреженными.
	# Формат таблицы: (ID вершины, список ID соседей вершины). Для вершины с заданным номером найти кратчайшие расстояния до всех остальных вершин.		# Формат таблицы: (ID вершины, список ID соседей вершины). Для вершины с заданным номером найти кратчайшие расстояния до всех остальных вершин.

Aumnov в 10:44, 10 апреля 2017

2017-04-10T10:44:06Z

← Предыдущая версия		Версия от 10:44, 10 апреля 2017
Строка 13:		Строка 13:
	# Формат таблицы: (название города, (температура, день)). Для каждого дня выведите список городов, где температура была выше средней в этот день.		# Формат таблицы: (название города, (температура, день)). Для каждого дня выведите список городов, где температура была выше средней в этот день.
	# Формат таблицы: (ID человека, рост человека). Построить гистограмму средних значений роста при бутстрепе с числом выборок N.		# Формат таблицы: (ID человека, рост человека). Построить гистограмму средних значений роста при бутстрепе с числом выборок N.
			# Формат таблицы: (ID, вектор). Посчитать косинус угла между всеми парами векторов. Известно, что у векторов очень большая размерно, но они являются разреженными.
	# Формат таблицы: (ID вершины, список ID соседей вершины). Для вершины с заданным номером найти кратчайшие расстояния до всех остальных вершин.		# Формат таблицы: (ID вершины, список ID соседей вершины). Для вершины с заданным номером найти кратчайшие расстояния до всех остальных вершин.

Aumnov: /* Azure, Spark (10.04) */

2017-04-10T09:16:21Z

Azure, Spark (10.04)

← Предыдущая версия		Версия от 09:16, 10 апреля 2017
Строка 7:		Строка 7:
	* [https://docs.microsoft.com/en-us/cli/azure/overview Документация по azure CLI]		* [https://docs.microsoft.com/en-us/cli/azure/overview Документация по azure CLI]
	* [https://docs.microsoft.com/en-us/azure/virtual-machines/linux/mac-create-ssh-keys Генерация ключей для Linux/Mac] и [https://docs.microsoft.com/en-us/azure/virtual-machines/linux/ssh-from-windows для Windows].		* [https://docs.microsoft.com/en-us/azure/virtual-machines/linux/mac-create-ssh-keys Генерация ключей для Linux/Mac] и [https://docs.microsoft.com/en-us/azure/virtual-machines/linux/ssh-from-windows для Windows].

			Задачи на Spark (map-reduce):

			# Формат таблицы: (название города, (температура, день)). Найдите среднюю температуру по каждому городу.
			# Формат таблицы: (название города, (температура, день)). Для каждого дня выведите список городов, где температура была выше средней в этот день.
			# Формат таблицы: (ID человека, рост человека). Построить гистограмму средних значений роста при бутстрепе с числом выборок N.
			# Формат таблицы: (ID вершины, список ID соседей вершины). Для вершины с заданным номером найти кратчайшие расстояния до всех остальных вершин.

	==== Vowpal Wabbit, Azure (03.04) ====		==== Vowpal Wabbit, Azure (03.04) ====

Aumnov: /* Семинары */

2017-04-10T07:45:40Z

Семинары

← Предыдущая версия		Версия от 07:45, 10 апреля 2017
Строка 1:		Строка 1:
	=== Семинары ===		=== Семинары ===

			==== Azure, Spark (10.04) ====

			Полезные ссылки

			* [https://docs.microsoft.com/en-us/cli/azure/overview Документация по azure CLI]
			* [https://docs.microsoft.com/en-us/azure/virtual-machines/linux/mac-create-ssh-keys Генерация ключей для Linux/Mac] и [https://docs.microsoft.com/en-us/azure/virtual-machines/linux/ssh-from-windows для Windows].

	==== Vowpal Wabbit, Azure (03.04) ====		==== Vowpal Wabbit, Azure (03.04) ====

Aumnov: /* Vowpal Wabbit, Azure (03.04) */

2017-04-03T14:27:34Z

Vowpal Wabbit, Azure (03.04)

← Предыдущая версия		Версия от 14:27, 3 апреля 2017
Строка 17:		Строка 17:
	* На семинаре вы получили логин вида studentN и пароль к нему.		* На семинаре вы получили логин вида studentN и пароль к нему.
	* Залогиньтесь на portal.azure.com с логином studentN@zimovnovgmail.onmicrosoft.com . Там пока ничего делать не нужно.		* Залогиньтесь на portal.azure.com с логином studentN@zimovnovgmail.onmicrosoft.com . Там пока ничего делать не нужно.
	* Установите себе Azure CLI. ''Если его не получается ~~его~~ установить, установите хотя бы генератор ssh-ключей: ssh-keygen для Unix или [https://docs.microsoft.com/ru-ru/azure/virtual-machines/virtual-machines-linux-ssh-from-windows см. тут] для Windows. На семинаре будем разбираться''.		* Установите себе Azure CLI. ''Если его не получается установить, установите хотя бы генератор ssh-ключей: ssh-keygen для Unix или [https://docs.microsoft.com/ru-ru/azure/virtual-machines/virtual-machines-linux-ssh-from-windows см. тут] для Windows. На семинаре будем разбираться''.
	* Установите какую-нибудь утилиту для ssh-подключений: ssh для Unix или, например, PuTTY для Windows.		* Установите какую-нибудь утилиту для ssh-подключений: ssh для Unix или, например, PuTTY для Windows.

Aumnov: /* Vowpal Wabbit, Azure (03.04) */

2017-04-03T14:26:59Z

Vowpal Wabbit, Azure (03.04)

← Предыдущая версия		Версия от 14:26, 3 апреля 2017
Строка 3:		Строка 3:
	==== Vowpal Wabbit, Azure (03.04) ====		==== Vowpal Wabbit, Azure (03.04) ====

	~~[https~~:~~//www.dropbox.com/s/8bv4xn7qbnbg8ql/train1kk.raw.gz?dl=0 Данные для обучения]~~		Задание на Vowpal Wabbit:

	~~[https://www~~.~~dropbox.com/s/trrxrjynnmbs3ba/test100k.raw.gz?dl=0 Данные для тестирования]~~		* Скачайте данные, разберитесь с форматом, конвертируйте его в формат VW
			* Обучите линейную модель на обучающих данных, проверьте на тестовых
			* Обучите модель с логистической функцией потерь
			* (доп.) Обучите нелинейную модель и добейтесь с ее помощью более высокого качества

	[https://www.kaggle.com/c/avazu-ctr-prediction/data ~~Формат~~ данных]		[https://www.dropbox.com/s/8bv4xn7qbnbg8ql/train1kk.raw.gz?dl=0 Данные для обучения], [https://www.dropbox.com/s/trrxrjynnmbs3ba/test100k.raw.gz?dl=0 данные для тестирования],
			[https://www.kaggle.com/c/avazu-ctr-prediction/data формат данных]

			По Azure:

			* На семинаре вы получили логин вида studentN и пароль к нему.
			* Залогиньтесь на portal.azure.com с логином studentN@zimovnovgmail.onmicrosoft.com . Там пока ничего делать не нужно.
			* Установите себе Azure CLI. ''Если его не получается его установить, установите хотя бы генератор ssh-ключей: ssh-keygen для Unix или [https://docs.microsoft.com/ru-ru/azure/virtual-machines/virtual-machines-linux-ssh-from-windows см. тут] для Windows. На семинаре будем разбираться''.
			* Установите какую-нибудь утилиту для ssh-подключений: ssh для Unix или, например, PuTTY для Windows.

Aumnov в 12:51, 3 апреля 2017

2017-04-03T12:51:00Z

← Предыдущая версия		Версия от 12:51, 3 апреля 2017
Строка 6:		Строка 6:

	[https://www.dropbox.com/s/trrxrjynnmbs3ba/test100k.raw.gz?dl=0 Данные для тестирования]		[https://www.dropbox.com/s/trrxrjynnmbs3ba/test100k.raw.gz?dl=0 Данные для тестирования]

			[https://www.kaggle.com/c/avazu-ctr-prediction/data Формат данных]