Рендзю (семинар) - История изменений

Simagin.denis в 22:42, 19 марта 2017

2017-03-19T22:42:16Z

← Предыдущая версия		Версия от 22:42, 19 марта 2017
Строка 71:		Строка 71:
	Андрей разобрал статью про DQN, она может пригодиться нам для игр.		Андрей разобрал статью про DQN, она может пригодиться нам для игр.

	Задание		'''Задание'''
	Реализовать модель, предсказывающую следующий ход соперника. Реализовать простую версию MCST. '''Дедлайн:''' 9 апреля.		Реализовать модель, предсказывающую следующий ход соперника. Реализовать простую версию MCST. '''Дедлайн:''' 9 апреля.

Simagin.denis в 22:40, 19 марта 2017

2017-03-19T22:40:52Z

← Предыдущая версия		Версия от 22:40, 19 марта 2017
Строка 68:		Строка 68:

	==Семинары==		==Семинары==
			===H19.03===
			Андрей разобрал статью про DQN, она может пригодиться нам для игр.

			Задание
			Реализовать модель, предсказывающую следующий ход соперника. Реализовать простую версию MCST. '''Дедлайн:''' 9 апреля.

	===S01.03===		===S01.03===

Simagin.denis в 09:54, 19 марта 2017

2017-03-19T09:54:17Z

← Предыдущая версия		Версия от 09:54, 19 марта 2017
Строка 42:		Строка 42:
	! Студент !! Статья !! Дата		! Студент !! Статья !! Дата
	\|-		\|-
	\| Харламов \|\| http://web.stanford.edu/~takapoui/linear_bandits.pdf \|\| -		\| Харламов \|\| http://web.stanford.edu/~takapoui/linear_bandits.pdf \|\| 16 апреля
	\|-		\|-
	\| Сопов \|\| https://papers.nips.cc/paper/6068-learning-feed-forward-one-shot-learners.pdf \|\| -		\| Сопов \|\| https://papers.nips.cc/paper/6068-learning-feed-forward-one-shot-learners.pdf \|\| 26 марта
	\|-		\|-
	\| Гринберг \|\| https://arxiv.org/pdf/1611.01626.pdf \|\| -		\| Гринберг \|\| https://arxiv.org/pdf/1611.01626.pdf \|\| 9 апреля
	\|-		\|-
	\| Баранов \|\| https://arxiv.org/pdf/1611.01224.pdf \|\| -		\| Баранов \|\| https://arxiv.org/pdf/1611.01224.pdf \|\| 2 апреля
	\|-		\|-
	\| Стороженко \|\| https://arxiv.org/pdf/1511.06581v3.pdf \|\| 19 марта		\| Стороженко \|\| https://arxiv.org/pdf/1511.06581v3.pdf \|\| 19 марта

Simagin.denis в 13:01, 5 марта 2017

2017-03-05T13:01:30Z

← Предыдущая версия		Версия от 13:01, 5 марта 2017
Строка 80:		Строка 80:
	# Dyna-Q и Dyna-Q+		# Dyna-Q и Dyna-Q+
	# Prioritized sweeping		# Prioritized sweeping

			===S11.02===
			Посвятили семинар обсуждения игры крестиков и ноликов на основе алгоритма DT(0).

	===S01.02===		===S01.02===

Simagin.denis в 12:54, 5 марта 2017

2017-03-05T12:54:29Z

← Предыдущая версия		Версия от 12:54, 5 марта 2017
Строка 70:		Строка 70:

	===S01.03===		===S01.03===
	1. Освежили подход TD(0): SARSA, Q-learning и Expected SARSA		# Освежили подход TD(0): SARSA, Q-learning и Expected SARSA
	2. Double Q-learning		# Double Q-learning
	3. n-step TD и n-step tree backup		# n-step TD и n-step tree backup
	4. Поговорил про Monte Carlo tree search		# Поговорил про Monte Carlo tree search

	Дополнительное чтение:		'''Дополнительное чтение.'''
	Не говорил на семинаре, но можно почитать:		Не говорил на семинаре, но можно почитать:
	1. Sample ratio для TD(0) подхода		# Sample ratio для TD(0) подхода
	2. Dyna-Q и Dyna-Q+		# Dyna-Q и Dyna-Q+
	3. Prioritized sweeping		# Prioritized sweeping

	===S01.02===		===S01.02===

Simagin.denis в 12:53, 5 марта 2017

2017-03-05T12:53:50Z

← Предыдущая версия		Версия от 12:53, 5 марта 2017
Строка 69:		Строка 69:
	==Семинары==		==Семинары==

	===S01.~~02, S08~~.02, 15.~~02, 22~~.~~02, 01~~.~~03===~~		===S01.03===
	~~Разбор статьи~~		1. Освежили подход TD(0): SARSA, Q-learning и Expected SARSA
			2. Double Q-learning
			3. n-step TD и n-step tree backup
			4. Поговорил про Monte Carlo tree search

			Дополнительное чтение:
			Не говорил на семинаре, но можно почитать:
			1. Sample ratio для TD(0) подхода
			2. Dyna-Q и Dyna-Q+
			3. Prioritized sweeping

	===S01.02===		===S01.02===

Simagin.denis в 12:45, 5 марта 2017

2017-03-05T12:45:07Z

← Предыдущая версия		Версия от 12:45, 5 марта 2017
Строка 50:		Строка 50:
	\| Баранов \|\| https://arxiv.org/pdf/1611.01224.pdf \|\| -		\| Баранов \|\| https://arxiv.org/pdf/1611.01224.pdf \|\| -
	\|-		\|-
	\| Стороженко \|\| https://arxiv.org/pdf/1511.06581v3.pdf \|\| -		\| Стороженко \|\| https://arxiv.org/pdf/1511.06581v3.pdf \|\| 19 марта
	\|}		\|}

Simagin.denis в 20:59, 14 февраля 2017

2017-02-14T20:59:59Z

← Предыдущая версия		Версия от 20:59, 14 февраля 2017
Строка 117:		Строка 117:
	'''Cроки:'''		'''Cроки:'''
	* Начало ревью: 11 февраля, 00:00.		* Начало ревью: 11 февраля, 00:00.
	* Окончание: 12 февраля, 23:59.		* Окончание: 16 февраля, 23:59.

	===S18.01===		===S18.01===

Simagin.denis в 21:59, 1 февраля 2017

2017-02-01T21:59:28Z

← Предыдущая версия		Версия от 21:59, 1 февраля 2017
Строка 78:		Строка 78:
	'''Формат данных'''		'''Формат данных'''
	# Каждая партия представляет собой строку в файле (в качестве разделителя используем '\n').		# Каждая партия представляет собой строку в файле (в качестве разделителя используем '\n').
	# В начале строки записан результат ''{black, white, draw, ~~unknow~~}''.		# В начале строки записан результат ''{black, white, draw, unknown}''.
	# Далее через пробельный разделитель перечислены ходы игроков в формате столбец-строка.		# Далее через пробельный разделитель перечислены ходы игроков в формате столбец-строка.
	# Столбцы пронумерованы строчными буквами латинского алфавита .		# Столбцы пронумерованы строчными буквами латинского алфавита .
	# Строки пронумерованы арабскими цифрами, начиная с 1.		# Строки пронумерованы арабскими цифрами, начиная с 1.
			# Начало координатной сетки в левом нижнем углу.
	# Предполагается, что первый ход делают черные.		# Предполагается, что первый ход делают черные.

			'''Пример:''' unknown h8 g9 ...


	Скрипт для '''справедливого''' распределения заданий по подготовке данных для обучения можно найти [https://github.com/dasimagin/renju/blob/master/data/task.py здесь].		Скрипт для '''справедливого''' распределения заданий по подготовке данных для обучения можно найти [https://github.com/dasimagin/renju/blob/master/data/task.py здесь].

Simagin.denis в 21:54, 1 февраля 2017

2017-02-01T21:54:40Z

@@ Строка 70: / Строка 70: @@
 ===S01.02, S08.02, 15.02, 22.02, 01.03===
 Разбор статьи
 ===S25.01===
 # Поговорили на тему [https://en.wikipedia.org/wiki/Multi-armed_bandit многоруких бандитов].