Распределённые системы 1-2021-2022 - История изменений

SavelyProkhorov: final edit

2022-08-14T18:35:46Z

final edit

← Предыдущая версия		Версия от 18:35, 14 августа 2022
Строка 27:		Строка 27:
	! Неделя !! Тема !! Материалы для подготовки к занятию !! Дополнительные материалы		! Неделя !! Тема !! Материалы для подготовки к занятию !! Дополнительные материалы
	\|-		\|-
	\| style="background:#eaecf0;" \| '''1''' \|\| Основы распределённых систем \|\|		\| style="background:#eaecf0;" \| '''1''' \|\| Основы распределённых систем. Координация через RabbitMQ \|\|

	Статья PhoenixNAP: [https://phoenixnap.com/kb/ssh-to-connect-to-remote-server-linux-or-windows "How to Use SSH to Connect to a Remote Server in Linux or Windows"],		Статья PhoenixNAP: [https://phoenixnap.com/kb/ssh-to-connect-to-remote-server-linux-or-windows "How to Use SSH to Connect to a Remote Server in Linux or Windows"],
Строка 44:		Строка 44:
	[[https://docs.google.com/presentation/d/1fPIendujCgB-CyHoYFXNzVi9oe8T_pdL/edit?usp=sharing&ouid=117076515595449849677&rtpof=true&sd=true Презентация с занятия]]		[[https://docs.google.com/presentation/d/1fPIendujCgB-CyHoYFXNzVi9oe8T_pdL/edit?usp=sharing&ouid=117076515595449849677&rtpof=true&sd=true Презентация с занятия]]
	\|-		\|-
	\| style="background:#eaecf0;" \| '''2''' \|\| Консультация \|\| [https://www.geeksforgeeks.org/chandy-lamports-global-state-recording-algorithm/ Chandy–Lamport’s global state recording algorithm] \|\|		\| style="background:#eaecf0;" \| '''2''' \|\| Консультация по RabbitMQ ДЗ \|\| [https://www.geeksforgeeks.org/chandy-lamports-global-state-recording-algorithm/ Chandy–Lamport’s global state recording algorithm] \|\|
	\|-		\|-
	\| style="background:#eaecf0;" \| '''3''' \|\| \|\|		\| style="background:#eaecf0;" \| '''3''' \|\| MapReduce. MPI. Data processing \|\|
	[https://en.m.wikipedia.org/wiki/Message_Passing_Interface Message Passing Interface]		[https://en.m.wikipedia.org/wiki/Message_Passing_Interface Message Passing Interface]

	[https://en.wikipedia.org/wiki/MapReduce MapReduce]		[https://en.wikipedia.org/wiki/MapReduce MapReduce]

			\|\|
			\|-
			\| style="background:#eaecf0;" \| '''4''' \|\| Разбор MapReduce ДЗ. Препроцессинг целевого датасета \|\|
	Прогнать на сервере [https://drive.google.com/file/d/1uNegb8qWaq5tEM3_05pCPUmB9uFc3F5e/view?usp=sharing ноутбук "FMA: A Dataset For Music Analysis"]		Прогнать на сервере [https://drive.google.com/file/d/1uNegb8qWaq5tEM3_05pCPUmB9uFc3F5e/view?usp=sharing ноутбук "FMA: A Dataset For Music Analysis"]
	\|\|		\|\|
	\|-		\|-
	\| style="background:#eaecf0;" \| '''4''' \|\| ~~Sherlock~~		\| style="background:#eaecf0;" \| '''5''' \|\| Horovod \|\|
			[https://horovod.ai/]
			[https://github.com/horovod/horovod]
			[https://horovod.readthedocs.io/en/stable/summary_include.html#why-horovod]
			[https://paperswithcode.com/sota/image-classification-on-imagenet]
			\|\|
	\|-		\|-
	\| style="background:#eaecf0;" \| '''6''' \|\| \|\| \|\|		\| style="background:#eaecf0;" \| '''6''' \|\| Parallel training on FMA with Horovod. Enhancement & Inference \|\|
			[https://horovod.readthedocs.io/en/stable/timeline_include.html]
			\|\|
	\|-		\|-
	\| style="background:#eaecf0;" \| '''7''' \|\| \|\| \|\|		\| style="background:#eaecf0;" \| '''7''' \|\| Telegram bot for music genre inference. More enhancements \|\| \|\|

	[https://github.com/AnastasiyaMax/MLDS_python_course_fall21/blob/main/class_6/bot_tutorial.ipynb Туториал по TG-боту]		[https://github.com/AnastasiyaMax/MLDS_python_course_fall21/blob/main/class_6/bot_tutorial.ipynb Туториал по TG-боту]

SavelyProkhorov: add materials

2022-08-03T09:55:25Z

add materials

← Предыдущая версия		Версия от 09:55, 3 августа 2022
Строка 54:		Строка 54:
	\|\|		\|\|
	\|-		\|-
	\| style="background:#eaecf0;" \| '''4''' \|\| ~~\|\| \|\|~~		\| style="background:#eaecf0;" \| '''4''' \|\| Sherlock
	\|-		\|-
	\| style="background:#eaecf0;" \| \|\| \|\| \|\|		\| style="background:#eaecf0;" \| '''6''' \|\| \|\| \|\|
	\|-		\|-
	\| style="background:#eaecf0;" \| '''~~...~~''' \|\| \|\| \|\|		\| style="background:#eaecf0;" \| '''7''' \|\| \|\| \|\|
	\|-
	~~\| style="background~~:~~#eaecf0;" \| \|\| \|\| \|\|~~		[https://github.com/AnastasiyaMax/MLDS_python_course_fall21/blob/main/class_6/bot_tutorial.ipynb Туториал по TG-боту]

			Референсы хороших проектов (от самого легковесного к тем, что потяжелее): [https://github.com/Dora9000/Telegram_bot @Dora9000], [https://github.com/Cliefspring/hse-mlds-cbrf-telegram-bot @Cliefspring], [https://github.com/AlexeyMegley/advanced_python_course/tree/master/project @AlexeyMegley]

			Наши референсы на [https://disk.yandex.ru/d/ouF-uOdrXtGNBw Я.Диске]
	\|-		\|-

SavelyProkhorov: add all tasks for project

2022-08-03T09:45:27Z

add all tasks for project

← Предыдущая версия		Версия от 09:45, 3 августа 2022
Строка 66:		Строка 66:

	== Задания ==		== Задания ==
	# Реализовать в Python с помощью rabbitMQ алгоритм для снимка глобального состояния распределённой системы (см. [https://en.wikipedia.org/wiki/Chandy%E2%80%93Lamport_algorithm Chandy–Lamport algorithm on Wiki]). Рекомендуется библиотека [https://pika.readthedocs.io/en/stable/ pika]		# ['''0.1 от оценки'''] Реализовать в Python с помощью rabbitMQ алгоритм для снимка глобального состояния распределённой системы (см. [https://en.wikipedia.org/wiki/Chandy%E2%80%93Lamport_algorithm Chandy–Lamport algorithm on Wiki]). Рекомендуется библиотека [https://pika.readthedocs.io/en/stable/ pika]
	# Реализовать MapReduce решение, позволяющее построить обратный индекс с частотностью слов по коллекции предоставленных документов. Слова достаточно очистить от знаков пунктуации и привести к нижнему регистру. Результат - csv-таблица: по вертикали - слова (токены), по горизонтали - документы. Для каждой пары токен+документ написать количество вхождений. Сравнить время выполнения на одном и нескольких клиентах		# Реализовать MapReduce решение, позволяющее построить обратный индекс с частотностью слов по коллекции предоставленных документов. Слова достаточно очистить от знаков пунктуации и привести к нижнему регистру. Результат - csv-таблица: по вертикали - слова (токены), по горизонтали - документы. Для каждой пары токен+документ написать количество вхождений. Сравнить время выполнения на одном и нескольких клиентах
	# Реализовать максимально возможное ускорение обработки датасета путём распараллеливания на MPI для обработки датасета на основе ноутбука /NEW_HDD/HDD_3TB/kosarev/HW3MPI/create_audio_features.ipynb . Данные в той же директории. Также лежит на всякий случай на https://disk.yandex.ru/d/ouF-uOdrXtGNBw		# ['''0.2 от оценки'''] Реализовать максимально возможное ускорение обработки датасета путём распараллеливания на MPI для обработки датасета на основе ноутбука /NEW_HDD/HDD_3TB/kosarev/HW3MPI/create_audio_features.ipynb . Данные в той же директории. Также лежит на всякий случай на https://disk.yandex.ru/d/ouF-uOdrXtGNBw
	# Новое домашнее задание по проекту, выполняем в командах. Реализация обучения свёрточной сети с помощью horovod на 4 видеокартах сервера для данных, полученных в результате предобработки, выполненной в предыдущем задании. Можно выполнить по аналогии с /NEW_HDD/HDD_3TB/kosarev/hvdExample/pytorch_mnist.py		# ['''0.3 от оценки'''] Новое домашнее задание по проекту, выполняем в командах. Реализация обучения свёрточной сети с помощью horovod на 4 видеокартах сервера для данных, полученных в результате предобработки, выполненной в предыдущем задании. Можно выполнить по аналогии с /NEW_HDD/HDD_3TB/kosarev/hvdExample/pytorch_mnist.py
			# ['''0.2 от оценки'''] Снова в командах:
			* Экспериментируем со слоями: пробуем убрать dropuot, сравниваем получившееся качество и скорость;
			* С помощью psutil.virtual_memory() (смотрите так же другие функции по желанию) балансируем загрузку данных, так чтобы при использовании [https://os.unil.cloud.switch.ch/fma/fma_medium.zip среднего] или [https://os.unil.cloud.switch.ch/fma/fma_large.zip большого] размера датасета вы всё равно могли произвести обучение на всех данных. Т.е. читаем по частям, пока есть capacity, зачем обучаемся, затем снова читаем, и т.д. Также предлагается сравнить по скорости и качеству обучение по частям, когда мы на каждой части сразу обучаем несколько (вплоть до всех желаемых) эпох, или же сначала проходим по всем данным одной эпохой, потом второй и т.д.
			* ['''Бонусное задание на 1 балл''']: загрузку промоделировать на несколько машин (по факту в любом случае обучаемся на одной) с разделением батча между машинами и суммированием градиентов через mapreduce.
			* С заданной частотой сбрасываем результаты обучения (веса) в файлик для сохранения прогресса
			6. ['''До 0.2 от оценки'''] Улучшения:
			* обернуть решение в TG-бота, который сможет определять жанр отправленного трека
			* реализовать "распределённую" обработку батча с суммированием градиентов с помощью MapReduce
			* запроцессить исходный датасет в фичи "распределённо", закидывая сэмплы в RabbitMQ

			* Реализовать "распределённую" обработку батча с суммированием градиента с помощью MapReduce + подсчёт распределения загрузки между инстансами через RabbitMQ

	==Формула оценивания==		==Формула оценивания==

SavelyProkhorov: some improvements

2022-08-03T08:49:38Z

some improvements

← Предыдущая версия		Версия от 08:49, 3 августа 2022
Строка 67:		Строка 67:
	== Задания ==		== Задания ==
	# Реализовать в Python с помощью rabbitMQ алгоритм для снимка глобального состояния распределённой системы (см. [https://en.wikipedia.org/wiki/Chandy%E2%80%93Lamport_algorithm Chandy–Lamport algorithm on Wiki]). Рекомендуется библиотека [https://pika.readthedocs.io/en/stable/ pika]		# Реализовать в Python с помощью rabbitMQ алгоритм для снимка глобального состояния распределённой системы (см. [https://en.wikipedia.org/wiki/Chandy%E2%80%93Lamport_algorithm Chandy–Lamport algorithm on Wiki]). Рекомендуется библиотека [https://pika.readthedocs.io/en/stable/ pika]
			# Реализовать MapReduce решение, позволяющее построить обратный индекс с частотностью слов по коллекции предоставленных документов. Слова достаточно очистить от знаков пунктуации и привести к нижнему регистру. Результат - csv-таблица: по вертикали - слова (токены), по горизонтали - документы. Для каждой пары токен+документ написать количество вхождений. Сравнить время выполнения на одном и нескольких клиентах
			# Реализовать максимально возможное ускорение обработки датасета путём распараллеливания на MPI для обработки датасета на основе ноутбука /NEW_HDD/HDD_3TB/kosarev/HW3MPI/create_audio_features.ipynb . Данные в той же директории. Также лежит на всякий случай на https://disk.yandex.ru/d/ouF-uOdrXtGNBw
			# Новое домашнее задание по проекту, выполняем в командах. Реализация обучения свёрточной сети с помощью horovod на 4 видеокартах сервера для данных, полученных в результате предобработки, выполненной в предыдущем задании. Можно выполнить по аналогии с /NEW_HDD/HDD_3TB/kosarev/hvdExample/pytorch_mnist.py

	==Формула оценивания==		==Формула оценивания==

SavelyProkhorov: add sems 2-3

2022-08-03T08:44:27Z

add sems 2-3

← Предыдущая версия		Версия от 08:44, 3 августа 2022
Строка 20:		Строка 20:
	==Материалы курса==		==Материалы курса==
	Ссылка на плейлист курса на YouTube: https://www.youtube.com/playlist?list=PLmA-1xX7IuzCc_Jh9l9x6oWadW31XhDux		Ссылка на плейлист курса на YouTube: https://www.youtube.com/playlist?list=PLmA-1xX7IuzCc_Jh9l9x6oWadW31XhDux

	~~Ссылка на GitHub с материалами курса: [[ GitHub]]~~

	Описание проекта: [https://docs.google.com/document/d/1I4biVBGv_QUENxKm2ketMMBUOwmQf2HInvmdxjonN6A/edit GoogleDoc]		Описание проекта: [https://docs.google.com/document/d/1I4biVBGv_QUENxKm2ketMMBUOwmQf2HInvmdxjonN6A/edit GoogleDoc]
Строка 46:		Строка 44:
	[[https://docs.google.com/presentation/d/1fPIendujCgB-CyHoYFXNzVi9oe8T_pdL/edit?usp=sharing&ouid=117076515595449849677&rtpof=true&sd=true Презентация с занятия]]		[[https://docs.google.com/presentation/d/1fPIendujCgB-CyHoYFXNzVi9oe8T_pdL/edit?usp=sharing&ouid=117076515595449849677&rtpof=true&sd=true Презентация с занятия]]
	\|-		\|-
	\| style="background:#eaecf0;" \| '''2''' \|\| \|\| \|\|		\| style="background:#eaecf0;" \| '''2''' \|\| Консультация \|\| [https://www.geeksforgeeks.org/chandy-lamports-global-state-recording-algorithm/ Chandy–Lamport’s global state recording algorithm] \|\|
	\|-		\|-
	\| style="background:#eaecf0;" \| '''3''' \|\| \|\| \|\|		\| style="background:#eaecf0;" \| '''3''' \|\| \|\|
			[https://en.m.wikipedia.org/wiki/Message_Passing_Interface Message Passing Interface]

			[https://en.wikipedia.org/wiki/MapReduce MapReduce]

			Прогнать на сервере [https://drive.google.com/file/d/1uNegb8qWaq5tEM3_05pCPUmB9uFc3F5e/view?usp=sharing ноутбук "FMA: A Dataset For Music Analysis"]
			\|\|
	\|-		\|-
	\| style="background:#eaecf0;" \| '''4''' \|\| \|\| \|\|		\| style="background:#eaecf0;" \| '''4''' \|\| \|\| \|\|

SavelyProkhorov: add first sem materials' links

2022-06-05T09:26:25Z

add first sem materials' links

← Предыдущая версия		Версия от 09:26, 5 июня 2022
Строка 23:		Строка 23:
	Ссылка на GitHub с материалами курса: [[ GitHub]]		Ссылка на GitHub с материалами курса: [[ GitHub]]

	Описание проекта: [https://docs.google.com/document/d/~~1MKaEhZRGMomtckafjk7jxWAxE1JbO5m8RZ_AjxsOKrE~~/edit GoogleDoc]		Описание проекта: [https://docs.google.com/document/d/1I4biVBGv_QUENxKm2ketMMBUOwmQf2HInvmdxjonN6A/edit GoogleDoc]

	{\| class="wikitable"		{\| class="wikitable"
Строка 29:		Строка 29:
	! Неделя !! Тема !! Материалы для подготовки к занятию !! Дополнительные материалы		! Неделя !! Тема !! Материалы для подготовки к занятию !! Дополнительные материалы
	\|-		\|-
	\| style="background:#eaecf0;" \| '''1''' \|\| \|\|		\| style="background:#eaecf0;" \| '''1''' \|\| Основы распределённых систем \|\|

	Статья PhoenixNAP [https://phoenixnap.com/kb/ssh-to-connect-to-remote-server-linux-or-windows "How to Use SSH to Connect to a Remote Server in Linux or Windows"],		Статья PhoenixNAP: [https://phoenixnap.com/kb/ssh-to-connect-to-remote-server-linux-or-windows "How to Use SSH to Connect to a Remote Server in Linux or Windows"],

	Статья на doc-странице VSCode [https://code.visualstudio.com/docs/remote/ssh "Remote Development using SSH"],		Статья на doc-странице VSCode [https://code.visualstudio.com/docs/remote/ssh "Remote Development using SSH"],
Строка 37:		Строка 37:
	Splunk: [https://www.splunk.com/en_us/data-insider/what-are-distributed-systems.html#:~:text=A%20distributed%20system%20is%20a,been%20responsible%20for%20the%20task "What are distributed systems"],		Splunk: [https://www.splunk.com/en_us/data-insider/what-are-distributed-systems.html#:~:text=A%20distributed%20system%20is%20a,been%20responsible%20for%20the%20task "What are distributed systems"],

	Wiki [https://en.m.wikipedia.org/wiki/Message_Passing_Interface Message Passing Inetrface (MPI)],		Wiki: [https://en.m.wikipedia.org/wiki/Message_Passing_Interface Message Passing Inetrface (MPI)],

	[[https://phoenixnap.com/kb/generate-setup-ssh-key-ubuntu генерируем SSH-ключ]]		[[https://phoenixnap.com/kb/generate-setup-ssh-key-ubuntu генерируем SSH-ключ]]

	\|\|		\|\|
	[[Рабочий конфиг]], должен лежать в папке .ssh		[[https://drive.google.com/file/d/1HX_jvfcB6Iu3xn-LvWKdWAVmUVYs_rbO/view?usp=sharing Рабочий конфиг]], должен лежать в папке .ssh

	[[ Презентация с занятия]]		[[https://docs.google.com/presentation/d/1fPIendujCgB-CyHoYFXNzVi9oe8T_pdL/edit?usp=sharing&ouid=117076515595449849677&rtpof=true&sd=true Презентация с занятия]]
	\|-		\|-
	\| style="background:#eaecf0;" \| '''2''' \|\| \|\| \|\|		\| style="background:#eaecf0;" \| '''2''' \|\| \|\| \|\|
Строка 61:		Строка 61:
	\|}		\|}

			== Задания ==
			# Реализовать в Python с помощью rabbitMQ алгоритм для снимка глобального состояния распределённой системы (см. [https://en.wikipedia.org/wiki/Chandy%E2%80%93Lamport_algorithm Chandy–Lamport algorithm on Wiki]). Рекомендуется библиотека [https://pika.readthedocs.io/en/stable/ pika]

	==Формула оценивания==		==Формула оценивания==

SavelyProkhorov: after 1st meeting (draft)

2022-06-04T17:59:42Z

after 1st meeting (draft)

← Предыдущая версия		Версия от 17:59, 4 июня 2022
Строка 27:		Строка 27:
	{\| class="wikitable"		{\| class="wikitable"
	\|-		\|-
	! Неделя !! Тема !! Дополнительные материалы		! Неделя !! Тема !! Материалы для подготовки к занятию !! Дополнительные материалы
	\|-		\|-
	\| style="background:#eaecf0;" \| '''1''' \|\| \|\|		\| style="background:#eaecf0;" \| '''1''' \|\| \|\|

			Статья PhoenixNAP [https://phoenixnap.com/kb/ssh-to-connect-to-remote-server-linux-or-windows "How to Use SSH to Connect to a Remote Server in Linux or Windows"],

			Статья на doc-странице VSCode [https://code.visualstudio.com/docs/remote/ssh "Remote Development using SSH"],

			Splunk: [https://www.splunk.com/en_us/data-insider/what-are-distributed-systems.html#:~:text=A%20distributed%20system%20is%20a,been%20responsible%20for%20the%20task "What are distributed systems"],

			Wiki [https://en.m.wikipedia.org/wiki/Message_Passing_Interface Message Passing Inetrface (MPI)],

			[[https://phoenixnap.com/kb/generate-setup-ssh-key-ubuntu генерируем SSH-ключ]]

			\|\|
			[[Рабочий конфиг]], должен лежать в папке .ssh

			[[ Презентация с занятия]]
	\|-		\|-
	\| style="background:#eaecf0;" \| '''2''' \|\| \|\|		\| style="background:#eaecf0;" \| '''2''' \|\| \|\| \|\|
	\|-		\|-
	\| style="background:#eaecf0;" \| '''3''' \|\| \|\|		\| style="background:#eaecf0;" \| '''3''' \|\| \|\| \|\|
	\|-		\|-
	\| style="background:#eaecf0;" \| '''4''' \|\| \|\|		\| style="background:#eaecf0;" \| '''4''' \|\| \|\| \|\|
	\|-		\|-
	\| style="background:#eaecf0;" \| \|\| \|\|		\| style="background:#eaecf0;" \| \|\| \|\| \|\|
	\|-		\|-
	\| style="background:#eaecf0;" \| '''...''' \|\| \|\|		\| style="background:#eaecf0;" \| '''...''' \|\| \|\| \|\|
	\|-		\|-
	\| style="background:#eaecf0;" \| \|\| \|\|		\| style="background:#eaecf0;" \| \|\| \|\| \|\|
	\|-		\|-

SavelyProkhorov: add Zoom link

2022-06-04T17:44:20Z

add Zoom link

← Предыдущая версия		Версия от 17:44, 4 июня 2022
Строка 3:		Строка 3:
	Этот курс является логическим продолжением курса "Обработка и анализ больших данных", проходившего в 4-5 модулях		Этот курс является логическим продолжением курса "Обработка и анализ больших данных", проходившего в 4-5 модулях

	Занятия проводятся в [ Zoom] по четвергам в 18:00		Занятия проводятся в [https://us06web.zoom.us/j/87088072787?pwd=MHlXTjJWM2cyRjNTMFBTbm1BQVA2Zz09 Zoom] '''по четвергам в 18:00'''

	==Контакты==		==Контакты==

SavelyProkhorov: edit tutor's surname)

2022-05-23T04:42:22Z

edit tutor's surname)

← Предыдущая версия		Версия от 04:42, 23 мая 2022
Строка 14:		Строка 14:
	! Преподаватель !! Контакты		! Преподаватель !! Контакты
	\|-		\|-
	\| style="background:#eaecf0;" \| Илья ~~К...~~ \|\|[https://t.me/purePers Telegram]		\| style="background:#eaecf0;" \| Илья Косарев \|\|[https://t.me/purePers Telegram]
	\|}		\|}

SavelyProkhorov: add channel and chat links

2022-05-22T10:05:12Z

add channel and chat links

← Предыдущая версия		Версия от 10:05, 22 мая 2022
Строка 6:		Строка 6:
	==Контакты==		==Контакты==

	Канал курса в TG: [~~[TG]~~]		Канал курса в TG: [https://t.me/+XgouhLCeXPhlMWQy HighLoad channel link]

	Чат курса в TG: [~~[TG]~~]		Чат курса в TG: [https://t.me/+Ibk2SWMRrQFiOGM6 HighLoad chat link]

	{\| class="wikitable"		{\| class="wikitable"