Wiki - Факультет компьютерных наук - Вклад [ru]

Рекомендательная система (семинар)

2016-02-06T20:05:20Z

Valery: Исправлены ошибки

Семинар проекта [[Рекомендательная система (проект)]].

==Правила игры ==
* '''Ментор:''' [[Участник:Simagin.denis|Симагин Денис]].
* '''Место:''' офис Яндекса ([https://maps.yandex.ru/213/moscow/?ll=37.590150%2C55.734065&z=18&l=stv%2Csta&panorama%5Bpoint%5D=37.589416%2C55.733747&panorama%5Bdirection%5D=40.412258%2C-11.910596&panorama%5Bspan%5D=130.000000%2C52.209677 место встречи])
* '''Время:''' c 17:00 до 18:30, опаздывающих ждем не дольше 10 минут.

Общение с ментором вне занятий семинара приветствуется. Можно задавать вопросы, в том числе философские, или советоваться. Но перед тем, как написать письмо, попробуйте спросить это у [https://ya.ru Яндекса]. Также не обижайтесь, если в ответ вам пришла ссылка на документацию, поверьте, порой сложно объяснить лучше, чем написано там.

===Ключевые точки===
Сверху нам спущены ключевые точки выполнения проекта. Для нас они скорее явлются формальными, тем не менее мы должны их соблюдать.
# '''1-6 февраля''' - первая неделя занятий со студентами.
# '''22-28 февраля''' - 1 точка, вы определились с ресурсом, и приближайтесь к выполнению заданий на 4.
# '''28 марта - 3 апреля''' - сессия у студентов.
# '''25-30 апреля''' - 2 точка, часть на 4 выполнена и прошла ревью. Вы создали список заданий для повышения оценки и к нему приступили.
# '''30 мая - 3 июня''' - окончание проектной работы, вы готовы, как пионеры.
# '''начало июня''' - конкурс проектов.

===Репозиторий===
Мы будем использовать [https://en.wikipedia.org/wiki/Git_(software) git] в качестве системы контроля версий.
Удаленный репозиторий будет находиться на [https://bitbucket.org bitbucket]. Заведите там себе учетную запись и создайте репозиторий учебного проекта. Он должен быть приватным, доступ должен быть только у вас, [https://bitbucket.org/dasimagin/profile/repositories ментора] и [https://bitbucket.org/cs-hse-projects/ кураторов].

===Разработка===
У вас должен быть план и описание проекта, которые выложены на wiki репозитория. Также вы должны вести дневник своей разработки. Указывать там трудности, с которыми столкнулись, причины принятия тех или иных решений, анализ результатов и экспериментов.

Ваш процесс разработки должен выглядеть следующим образом. Вы создаете себе issue, даете исчерпывающее описание. Создаете новую ветку и ведете в ней разработку. Какие-то проверенные куски кода нужно фиксировать в виде commit-ов и делать периодические push в удаленный репозиторий. Когда issue выполнено, вы вливайтесь в master-ветку с помощью merge --squash и делаете commit, название которого соответствует выполненному issue.

==Материалы==

===Python===
* О языке [https://docs.python.org/3/tutorial/index.html Python], и его стандартной [https://docs.python.org/3/library/index.html библиотеке]. Уделите внимание:
# Обработке ключей программы - [https://docs.python.org/3/library/argparse.html argparse lib].
# Работе с сетью - [https://docs.python.org/3/library/urllib.html URL handling modules].
# Регулярным выражениям - [https://docs.python.org/3/library/re.html Regular expression operations].
# Парсеру HTML - [https://docs.python.org/3/library/markup.html markup tool].

* Хорошие библиотеки для математики [http://docs.scipy.org/doc/numpy/reference/ numpy] и [http://docs.scipy.org/doc/scipy/reference/ scipy], а также [http://matplotlib.org plot] для графиков.
* Библиотеки для машинного обучения - [http://scikit-learn.org/stable/index.html SciKit learn].
* Удобная среда для экспериментов - [http://ipython.org/notebook IPyhton].

===Git===
* [https://try.github.io Code School - Try Git] интерактивная почти игра, которая учит основным командам Git.
* [http://git-scm.com/doc Git - Documentation] официальная документация Git.
* [http://git-scm.com/book/ru/v1 Git - Book] перевод довольно обширной обучающей книги о Git от Скотта Шакона.
* [https://www.atlassian.com/git/tutorials/ Atlassian git tutorial] стань git гуру

===Статьи===
* [https://brett.is/writing/about/my-python-web-crawler/ My Python Web Crawler - Brett.Is] How to write a very simplistic Web Crawler in Python for fun.

== Семинары ==

===S02.10===

===S02.03===
# Обсудили организационные моменты.
# Выяснили, кто какие ресурсы собирается взять (выбор можно изменить в течение недели).
# Поговорили о git.
# Дружно попили чай ;)

====Немного о crawler-e====
Необходимые операции:
# Скачать всю статью в HTML.
# Распарсить статью. Почистить от всякого мусора: картинок, ссылок, прочего, оставить только текст. Если есть опыт работы с базами, то можно использовать их, в противном случае лучше не тратить время на их изучение, достаточно хранить все в обычной директории. Распарсенные статьи хранятся отдельно, у них должны быть свои индексы и нужно уметь сопоставлять этот индекс с url статьи.
# Добыть ссылки на все статьи.
# Определить свежесть статьи.
# Получить ссылки нановые статьи.

====Задание====
# Разобраться c гитом, подготовить вопросы.
# Создать репозиторий проекта в bitbucket.
# Оценить сложность написания crawler-а для своего ресурса, возможно, изменить его.
# Кто уже знает git, по желанию может уже начать писать crawler.

====Материалы====
* [https://try.github.io Code School - Try Git] интерактивная игра, которая учит основным командам Git.
* [http://git-scm.com/doc Git - Documentation] официальная документация Git.
* [http://git-scm.com/book/ru/v1 Git - Book] перевод довольно обширной обучающей книги о Git от Скотта Шакона.
* [https://github.com/andreiled/mipt-cs-4sem/wiki/%D0%9F%D0%BE%D1%88%D0%B0%D0%B3%D0%BE%D0%B2%D0%B0%D1%8F-%D0%B8%D0%BD%D1%81%D1%82%D1%80%D1%83%D0%BA%D1%86%D0%B8%D1%8F-%D0%BF%D0%BE-%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%B5-%D1%81-git-%D0%B8-github-%D0%B4%D0%BB%D1%8F-%D1%81%D1%82%D1%83%D0%B4%D0%B5%D0%BD%D1%82%D0%BE%D0%B2 Пошаговая инструкция по работе с git и github для студентов] маленькая обзорная статья, с чего начать.
* [https://brett.is/writing/about/my-python-web-crawler/ My Python Web Crawler - Brett.Is] How to write a very simplistic Web Crawler in Python for fun.

Рекомендательная система (семинар)

2016-02-06T20:04:43Z

Valery: Добавлен перевод ссылки

Семинар проекта [[Рекомендательная система (проект)]].

==Правила игры ==
* '''Ментор:''' [[Участник:Simagin.denis|Симагин Денис]].
* '''Место:''' офис Яндекса ([https://maps.yandex.ru/213/moscow/?ll=37.590150%2C55.734065&z=18&l=stv%2Csta&panorama%5Bpoint%5D=37.589416%2C55.733747&panorama%5Bdirection%5D=40.412258%2C-11.910596&panorama%5Bspan%5D=130.000000%2C52.209677 место встречи])
* '''Время:''' c 17:00 до 18:30, опаздывающих ждем не дольше 10 минут.

Общение с ментором вне занятий семинара приветствуется. Можно задавать вопросы, в том числе философские, или советоваться. Но перед тем, как написать письмо, попробуйте спросить это у [https://ya.ru Яндекса]. Также не обижайтесь, если в ответ вам пришла ссылка на документацию, поверьте, порой сложно объяснить лучше, чем написано там.

===Ключевые точки===
Сверху нам спущены ключевые точки выполнения проекта. Для нас они скорее явлются формальными, тем не менее мы должны их соблюдать.
# '''1-6 февраля''' - первая неделя занятий со студентами.
# '''22-28 февраля''' - 1 точка, вы определились с ресурсом, и приближайтесь к выполнению заданий на 4.
# '''28 марта - 3 апреля''' - сессия у студентов.
# '''25-30 апреля''' - 2 точка, часть на 4 выполнена и прошла ревью. Вы создали список заданий для повышения оценки и к нему приступили.
# '''30 мая - 3 июня''' - окончание проектной работы, вы готовы, как пионеры.
# '''начало июня''' - конкурс проектов.

===Репозиторий===
Мы будем использовать [https://en.wikipedia.org/wiki/Git_(software) git] в качестве системы контроля версий.
Удаленный репозиторий будет находиться на [https://bitbucket.org bitbucket]. Заведите там себе учетную запись и создайте репозиторий учебного проекта. Он должен быть приватным, доступ должен быть только у вас, [https://bitbucket.org/dasimagin/profile/repositories ментора] и [https://bitbucket.org/cs-hse-projects/ кураторов].

===Разработка===
У вас должен быть план и описание проекта, которые выложены на wiki репозитория. Также вы должны вести дневник своей разработки. Указывать там трудности, с которыми столкнулись, причины принятия тех или иных решений, анализ результатов и экспериментов.

Ваш процесс разработки должен выглядеть следующим образом. Вы создаете себе issue, даете исчерпывающее описание. Создаете новую ветку и ведете в ней разработку. Какие-то проверенные куски кода нужно фиксировать в виде commit-ов и делать периодические push в удаленный репозиторий. Когда issue выполнено, вы вливайтесь в master-ветку с помощью merge --squash и делаете commit, название которого соответствует выполненному issue.

==Материалы==

===Python===
* О языке [https://docs.python.org/3/tutorial/index.html Python], и его стандартной [https://docs.python.org/3/library/index.html библиотеке]. Уделите внимание:
# Обработке ключей программы - [https://docs.python.org/3/library/argparse.html argparse lib].
# Работе с сетью - [https://docs.python.org/3/library/urllib.html URL handling modules].
# Регулярным выражениям - [https://docs.python.org/3/library/re.html Regular expression operations].
# Парсеру HTML - [https://docs.python.org/3/library/markup.html markup tool].

* Хорошие библиотеки для математики [http://docs.scipy.org/doc/numpy/reference/ numpy] и [http://docs.scipy.org/doc/scipy/reference/ scipy], а также [http://matplotlib.org plot] для графиков.
* Библиотеки для машинного обучения - [http://scikit-learn.org/stable/index.html SciKit learn].
* Удобная среда для экспериментов - [http://ipython.org/notebook IPyhton].

===Git===
* [https://try.github.io Code School - Try Git] интерактивная почти игра, которая учит основным командам Git.
* [http://git-scm.com/doc Git - Documentation] официальная документация Git.
* [http://git-scm.com/book/ru/v1 Git - Book] перевод довольно обширной обучающей книги о Git от Скотта Шакона.
* [https://www.atlassian.com/git/tutorials/ - atlassian git tutorial] стань git гуру

===Статьи===
* [https://brett.is/writing/about/my-python-web-crawler/ My Python Web Crawler - Brett.Is] How to write a very simplistic Web Crawler in Python for fun.

== Семинары ==

===S02.10===

===S02.03===
# Обсудили организационные моменты.
# Выяснили, кто какие ресурсы собирается взять (выбор можно изменить в течение недели).
# Поговорили о git.
# Дружно попили чай ;)

====Немного о crawler-e====
Необходимые операции:
# Скачать всю статью в HTML.
# Распарсить статью. Почистить от всякого мусора: картинок, ссылок, прочего, оставить только текст. Если есть опыт работы с базами, то можно использовать их, в противном случае лучше не тратить время на их изучение, достаточно хранить все в обычной директории. Распарсенные статьи хранятся отдельно, у них должны быть свои индексы и нужно уметь сопоставлять этот индекс с url статьи.
# Добыть ссылки на все статьи.
# Определить свежесть статьи.
# Получить ссылки нановые статьи.

====Задание====
# Разобраться c гитом, подготовить вопросы.
# Создать репозиторий проекта в bitbucket.
# Оценить сложность написания crawler-а для своего ресурса, возможно, изменить его.
# Кто уже знает git, по желанию может уже начать писать crawler.

====Материалы====
* [https://try.github.io Code School - Try Git] интерактивная игра, которая учит основным командам Git.
* [http://git-scm.com/doc Git - Documentation] официальная документация Git.
* [http://git-scm.com/book/ru/v1 Git - Book] перевод довольно обширной обучающей книги о Git от Скотта Шакона.
* [https://github.com/andreiled/mipt-cs-4sem/wiki/%D0%9F%D0%BE%D1%88%D0%B0%D0%B3%D0%BE%D0%B2%D0%B0%D1%8F-%D0%B8%D0%BD%D1%81%D1%82%D1%80%D1%83%D0%BA%D1%86%D0%B8%D1%8F-%D0%BF%D0%BE-%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%B5-%D1%81-git-%D0%B8-github-%D0%B4%D0%BB%D1%8F-%D1%81%D1%82%D1%83%D0%B4%D0%B5%D0%BD%D1%82%D0%BE%D0%B2 Пошаговая инструкция по работе с git и github для студентов] маленькая обзорная статья, с чего начать.
* [https://brett.is/writing/about/my-python-web-crawler/ My Python Web Crawler - Brett.Is] How to write a very simplistic Web Crawler in Python for fun.

Рекомендательная система (семинар)

2016-02-06T20:02:05Z

Valery: Добавленная ссылка на гит тутор

Семинар проекта [[Рекомендательная система (проект)]].

==Правила игры ==
* '''Ментор:''' [[Участник:Simagin.denis|Симагин Денис]].
* '''Место:''' офис Яндекса ([https://maps.yandex.ru/213/moscow/?ll=37.590150%2C55.734065&z=18&l=stv%2Csta&panorama%5Bpoint%5D=37.589416%2C55.733747&panorama%5Bdirection%5D=40.412258%2C-11.910596&panorama%5Bspan%5D=130.000000%2C52.209677 место встречи])
* '''Время:''' c 17:00 до 18:30, опаздывающих ждем не дольше 10 минут.

Общение с ментором вне занятий семинара приветствуется. Можно задавать вопросы, в том числе философские, или советоваться. Но перед тем, как написать письмо, попробуйте спросить это у [https://ya.ru Яндекса]. Также не обижайтесь, если в ответ вам пришла ссылка на документацию, поверьте, порой сложно объяснить лучше, чем написано там.

===Ключевые точки===
Сверху нам спущены ключевые точки выполнения проекта. Для нас они скорее явлются формальными, тем не менее мы должны их соблюдать.
# '''1-6 февраля''' - первая неделя занятий со студентами.
# '''22-28 февраля''' - 1 точка, вы определились с ресурсом, и приближайтесь к выполнению заданий на 4.
# '''28 марта - 3 апреля''' - сессия у студентов.
# '''25-30 апреля''' - 2 точка, часть на 4 выполнена и прошла ревью. Вы создали список заданий для повышения оценки и к нему приступили.
# '''30 мая - 3 июня''' - окончание проектной работы, вы готовы, как пионеры.
# '''начало июня''' - конкурс проектов.

===Репозиторий===
Мы будем использовать [https://en.wikipedia.org/wiki/Git_(software) git] в качестве системы контроля версий.
Удаленный репозиторий будет находиться на [https://bitbucket.org bitbucket]. Заведите там себе учетную запись и создайте репозиторий учебного проекта. Он должен быть приватным, доступ должен быть только у вас, [https://bitbucket.org/dasimagin/profile/repositories ментора] и [https://bitbucket.org/cs-hse-projects/ кураторов].

===Разработка===
У вас должен быть план и описание проекта, которые выложены на wiki репозитория. Также вы должны вести дневник своей разработки. Указывать там трудности, с которыми столкнулись, причины принятия тех или иных решений, анализ результатов и экспериментов.

Ваш процесс разработки должен выглядеть следующим образом. Вы создаете себе issue, даете исчерпывающее описание. Создаете новую ветку и ведете в ней разработку. Какие-то проверенные куски кода нужно фиксировать в виде commit-ов и делать периодические push в удаленный репозиторий. Когда issue выполнено, вы вливайтесь в master-ветку с помощью merge --squash и делаете commit, название которого соответствует выполненному issue.

==Материалы==

===Python===
* О языке [https://docs.python.org/3/tutorial/index.html Python], и его стандартной [https://docs.python.org/3/library/index.html библиотеке]. Уделите внимание:
# Обработке ключей программы - [https://docs.python.org/3/library/argparse.html argparse lib].
# Работе с сетью - [https://docs.python.org/3/library/urllib.html URL handling modules].
# Регулярным выражениям - [https://docs.python.org/3/library/re.html Regular expression operations].
# Парсеру HTML - [https://docs.python.org/3/library/markup.html markup tool].

* Хорошие библиотеки для математики [http://docs.scipy.org/doc/numpy/reference/ numpy] и [http://docs.scipy.org/doc/scipy/reference/ scipy], а также [http://matplotlib.org plot] для графиков.
* Библиотеки для машинного обучения - [http://scikit-learn.org/stable/index.html SciKit learn].
* Удобная среда для экспериментов - [http://ipython.org/notebook IPyhton].

===Git===
* [https://try.github.io Code School - Try Git] интерактивная почти игра, которая учит основным командам Git.
* [http://git-scm.com/doc Git - Documentation] официальная документация Git.
* [http://git-scm.com/book/ru/v1 Git - Book] перевод довольно обширной обучающей книги о Git от Скотта Шакона.
* [https://www.atlassian.com/git/tutorials/] стань git гуру

===Статьи===
* [https://brett.is/writing/about/my-python-web-crawler/ My Python Web Crawler - Brett.Is] How to write a very simplistic Web Crawler in Python for fun.

== Семинары ==

===S02.10===

===S02.03===
# Обсудили организационные моменты.
# Выяснили, кто какие ресурсы собирается взять (выбор можно изменить в течение недели).
# Поговорили о git.
# Дружно попили чай ;)

====Немного о crawler-e====
Необходимые операции:
# Скачать всю статью в HTML.
# Распарсить статью. Почистить от всякого мусора: картинок, ссылок, прочего, оставить только текст. Если есть опыт работы с базами, то можно использовать их, в противном случае лучше не тратить время на их изучение, достаточно хранить все в обычной директории. Распарсенные статьи хранятся отдельно, у них должны быть свои индексы и нужно уметь сопоставлять этот индекс с url статьи.
# Добыть ссылки на все статьи.
# Определить свежесть статьи.
# Получить ссылки нановые статьи.

====Задание====
# Разобраться c гитом, подготовить вопросы.
# Создать репозиторий проекта в bitbucket.
# Оценить сложность написания crawler-а для своего ресурса, возможно, изменить его.
# Кто уже знает git, по желанию может уже начать писать crawler.

====Материалы====
* [https://try.github.io Code School - Try Git] интерактивная игра, которая учит основным командам Git.
* [http://git-scm.com/doc Git - Documentation] официальная документация Git.
* [http://git-scm.com/book/ru/v1 Git - Book] перевод довольно обширной обучающей книги о Git от Скотта Шакона.
* [https://github.com/andreiled/mipt-cs-4sem/wiki/%D0%9F%D0%BE%D1%88%D0%B0%D0%B3%D0%BE%D0%B2%D0%B0%D1%8F-%D0%B8%D0%BD%D1%81%D1%82%D1%80%D1%83%D0%BA%D1%86%D0%B8%D1%8F-%D0%BF%D0%BE-%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%B5-%D1%81-git-%D0%B8-github-%D0%B4%D0%BB%D1%8F-%D1%81%D1%82%D1%83%D0%B4%D0%B5%D0%BD%D1%82%D0%BE%D0%B2 Пошаговая инструкция по работе с git и github для студентов] маленькая обзорная статья, с чего начать.
* [https://brett.is/writing/about/my-python-web-crawler/ My Python Web Crawler - Brett.Is] How to write a very simplistic Web Crawler in Python for fun.