https://wiki.cs.hse.ru/api.php?action=feedcontributions&feedformat=atom&user=JubbonWiki - Факультет компьютерных наук - Вклад [ru]2026-09-20T23:02:40ZВкладMediaWiki 1.43.9https://wiki.cs.hse.ru/index.php?title=DataSpider_(%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82)&diff=861DataSpider (проект)2014-12-11T15:20:45Z<p>Jubbon: /* Какие будут использоваться технологии? */</p>
<hr />
<div>{{Карточка_проекта<br />
|name=DataSpider<br />
|mentor=Куликов Дмитрий<br />
|mentor_login={{URLENCODE:{{REVISIONUSER}}|WIKI}}<br />
|semester=Весна 2015<br />
|course=1<br />
|summer=<br />
|categorize=yes<br />
}}<br />
<br />
=== Что это за проект? ===<br />
Задачей проекта DataSpider является реализация консольной утилиты, предназначенной<br />
для обхода тематических сайтов в сети Интернет и извлечения "полезных" данных. Результатом обхода будет являться текстовый файл в формате CSV или TSV, содержащий извлеченные данные. Подобная программа необходима для получения открытых данных в случае, когда на сайте отсутствует возможность использовать API.<br />
На выбор будут предложены сайты по следующим тематикам:<br />
* Прогноз погоды (gismeteo.ru, meteoinfo.ru, hmn.ru, meteoservice.ru, foreca.ru)<br />
* Финансовые показатели и рейтинги банков (banki.ru, bankir.ru, 101bank.net, raexpert.ru, sravni.ru, banks-rating.ru, сайт ЦБ РФ)<br />
* Финансовые показатели и рейтинги страховых компаний (raexpert.ru, insuru.ru, ic-ratings.ru, inguru.ru, sravni.ru)<br />
* Финансовые показатели и рейтинги туристических фирм (firms.turizm.ru, turreestr.ru, tursvodka.ru,tour-info.ru)<br />
* Продажа и аренда недвижимости (cian.ru, realty.dmir.ru, irr.ru, egsnk.ru, gdeetotdom.ru) <br />
* Спортивные соревнования и спортивная аналитика (myscore.ru, news.sportbox.ru, sports.ru, championat.com)<br />
* Экскурсионные предложения (автобусные экскурсии, речные круизы)<br />
* Интернет-магазины (mvideo.ru, mediamarkt.ru, eldorado.ru, 003.ru, enter.ru)<br />
<br />
=== Чему вы научитесь? ===<br />
* основным принципам межсетевого взаимодействия по протоколу HTTP<br />
* извлекать различные данные из HTML-страниц с помощью языка запросов XPath и регулярных выражений<br />
* разрабатывать алгоритмы для эффективного обхода множества страниц сайта<br />
* корректно использовать аргументы командной строки, переменные окружения, стандартные потоки ввода и вывода при создании консольных утилит<br />
<br />
=== Какие начальные требования? ===<br />
* желательно наличие базовых навыков программирования на языке Python<br />
<br />
=== Какие будут использоваться технологии? ===<br />
* Язык программирования Python версии 2.7<br />
* Python-пакеты Grab, ScraPy, pyspider, Selenium Web Driver и другие<br />
* Язык запросов XPath<br />
* IaaS платформа Amazon Web Services (в рамках программы бесплатного использования одного экземпляра виртуальной машины на 1 год)<br />
<br />
=== Темы вводных занятий ===<br />
<br />
<br />
=== Направления развития ===<br />
Каждая подобная утилита может рассматриваться как источник данных для проведения статистических исследований и различного рода аналитики. Собранные данные могут использоваться методами машинного обучения для построения различных описательных или предсказательных моделей.<br />
<br />
=== Критерии оценки ===<br />
Оценки '''4-5''':<br />
* утилита обходит только один сайт из выбранной тематики<br />
* повторный запуск приводит к перезатиранию предыдущих результатов<br />
<br />
Оценки '''6-7''':<br />
* утилита позволяет обходить два или более тематических сайта<br />
* повторный запуск приводит к накоплению данных в результирующих файлах<br />
* утилита позволяет задавать различные опции командной строки<br />
* разработаны и проходят модульные тесты для большей части кода<br />
* реализовано корректное разграничение стандартных потоков ввода и вывода<br />
<br />
Оценки '''8-10''':<br />
* упаковка утилиты в Debian-пакет<br />
* написана небольшая документация в формате Markdown<br />
* настройка cron-задания для периодического запуска утилиты</div>Jubbonhttps://wiki.cs.hse.ru/index.php?title=DataSpider_(%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82)&diff=860DataSpider (проект)2014-12-10T18:50:45Z<p>Jubbon: </p>
<hr />
<div>{{Карточка_проекта<br />
|name=DataSpider<br />
|mentor=Куликов Дмитрий<br />
|mentor_login={{URLENCODE:{{REVISIONUSER}}|WIKI}}<br />
|semester=Весна 2015<br />
|course=1<br />
|summer=<br />
|categorize=yes<br />
}}<br />
<br />
=== Что это за проект? ===<br />
Задачей проекта DataSpider является реализация консольной утилиты, предназначенной<br />
для обхода тематических сайтов в сети Интернет и извлечения "полезных" данных. Результатом обхода будет являться текстовый файл в формате CSV или TSV, содержащий извлеченные данные. Подобная программа необходима для получения открытых данных в случае, когда на сайте отсутствует возможность использовать API.<br />
На выбор будут предложены сайты по следующим тематикам:<br />
* Прогноз погоды (gismeteo.ru, meteoinfo.ru, hmn.ru, meteoservice.ru, foreca.ru)<br />
* Финансовые показатели и рейтинги банков (banki.ru, bankir.ru, 101bank.net, raexpert.ru, sravni.ru, banks-rating.ru, сайт ЦБ РФ)<br />
* Финансовые показатели и рейтинги страховых компаний (raexpert.ru, insuru.ru, ic-ratings.ru, inguru.ru, sravni.ru)<br />
* Финансовые показатели и рейтинги туристических фирм (firms.turizm.ru, turreestr.ru, tursvodka.ru,tour-info.ru)<br />
* Продажа и аренда недвижимости (cian.ru, realty.dmir.ru, irr.ru, egsnk.ru, gdeetotdom.ru) <br />
* Спортивные соревнования и спортивная аналитика (myscore.ru, news.sportbox.ru, sports.ru, championat.com)<br />
* Экскурсионные предложения (автобусные экскурсии, речные круизы)<br />
* Интернет-магазины (mvideo.ru, mediamarkt.ru, eldorado.ru, 003.ru, enter.ru)<br />
<br />
=== Чему вы научитесь? ===<br />
* основным принципам межсетевого взаимодействия по протоколу HTTP<br />
* извлекать различные данные из HTML-страниц с помощью языка запросов XPath и регулярных выражений<br />
* разрабатывать алгоритмы для эффективного обхода множества страниц сайта<br />
* корректно использовать аргументы командной строки, переменные окружения, стандартные потоки ввода и вывода при создании консольных утилит<br />
<br />
=== Какие начальные требования? ===<br />
* желательно наличие базовых навыков программирования на языке Python<br />
<br />
=== Какие будут использоваться технологии? ===<br />
* Язык программирования Python версии 2.7<br />
* Python-пакеты Grab, ScraPy, Selenium Web Driver и другие<br />
* Язык запросов XPath<br />
* IaaS платформа Amazon Web Services (в рамках программы бесплатного использования одного экземпляра виртуальной машины на 1 год)<br />
<br />
=== Темы вводных занятий ===<br />
<br />
<br />
=== Направления развития ===<br />
Каждая подобная утилита может рассматриваться как источник данных для проведения статистических исследований и различного рода аналитики. Собранные данные могут использоваться методами машинного обучения для построения различных описательных или предсказательных моделей.<br />
<br />
=== Критерии оценки ===<br />
Оценки '''4-5''':<br />
* утилита обходит только один сайт из выбранной тематики<br />
* повторный запуск приводит к перезатиранию предыдущих результатов<br />
<br />
Оценки '''6-7''':<br />
* утилита позволяет обходить два или более тематических сайта<br />
* повторный запуск приводит к накоплению данных в результирующих файлах<br />
* утилита позволяет задавать различные опции командной строки<br />
* разработаны и проходят модульные тесты для большей части кода<br />
* реализовано корректное разграничение стандартных потоков ввода и вывода<br />
<br />
Оценки '''8-10''':<br />
* упаковка утилиты в Debian-пакет<br />
* написана небольшая документация в формате Markdown<br />
* настройка cron-задания для периодического запуска утилиты</div>Jubbonhttps://wiki.cs.hse.ru/index.php?title=DataSpider_(%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82)&diff=859DataSpider (проект)2014-12-10T18:47:42Z<p>Jubbon: /* Какие будут использоваться технологии? */</p>
<hr />
<div>{{Карточка_проекта<br />
|name=DataSpider<br />
|mentor=Куликов Дмитрий<br />
|mentor_login={{URLENCODE:{{REVISIONUSER}}|WIKI}}<br />
|semester=Весна 2015<br />
|course=1<br />
|summer=<br />
|categorize=yes<br />
}}<br />
<br />
=== Что это за проект? ===<br />
Задачей проекта DataSpider является реализация консольной утилиты, предназначенной<br />
для обхода тематических сайтов в сети Интернет и извлечения "полезных" данных. Результатом обхода будет являться текстовый файл в формате CSV или TSV, содержащий извлеченные данные. Подобная программа необходима для получения открытых данных в случае, когда на сайте отсутствует возможность использовать API.<br />
На выбор будут предложены сайты по следующим тематикам:<br />
* Прогноз погоды (gismeteo.ru, meteoinfo.ru, hmn.ru, meteoservice.ru, foreca.ru)<br />
* Финансовые показатели и рейтинги банков (banki.ru, bankir.ru, 101bank.net, raexpert.ru, sravni.ru, banks-rating.ru, сайт ЦБ РФ)<br />
* Финансовые показатели и рейтинги страховых компаний (raexpert.ru, insuru.ru, ic-ratings.ru, inguru.ru, sravni.ru)<br />
* Финансовые показатели и рейтинги туристических фирм (firms.turizm.ru, turreestr.ru, tursvodka.ru,tour-info.ru)<br />
* Продажа и аренда недвижимости (cian.ru, realty.dmir.ru, irr.ru, egsnk.ru, gdeetotdom.ru) <br />
* Спортивные соревнования и спортивная аналитика (myscore.ru, news.sportbox.ru, sports.ru, championat.com)<br />
* Экскурсионные предложения (автобусные экскурсии, речные круизы)<br />
* Интернет-магазины (mvideo.ru, mediamarkt.ru, eldorado.ru, 003.ru, enter.ru)<br />
<br />
=== Чему вы научитесь? ===<br />
* основным принципам межсетевого взаимодействия по протоколу HTTP<br />
* извлекать различные данные из HTML-страниц с помощью языка запросов XPath и регулярных выражений<br />
* разрабатывать алгоритмы для эффективного обхода множества страниц сайта<br />
* корректно использовать аргументы командной строки, переменные окружения, стандартные потоки ввода и вывода при создании консольных утилит<br />
<br />
=== Какие начальные требования? ===<br />
* желательно наличие базовых навыков программирования на языке Python<br />
<br />
=== Какие будут использоваться технологии? ===<br />
* Язык программирования Python версии 2.7<br />
* Python-пакеты Grab, ScraPy, Selenium Web Driver и другие<br />
* Язык запросов XPath<br />
* IaaS платформа Amazon Web Services<br />
<br />
=== Темы вводных занятий ===<br />
<br />
<br />
=== Направления развития ===<br />
Каждая подобная утилита может рассматриваться как источник данных для проведения статистических исследований и различного рода аналитики. Собранные данные могут использоваться методами машинного обучения для построения различных описательных или предсказательных моделей.<br />
<br />
=== Критерии оценки ===<br />
Оценки '''4-5''':<br />
* утилита обходит только один сайт из выбранной тематики<br />
* повторный запуск приводит к перезатиранию предыдущих результатов<br />
<br />
Оценки '''6-7''':<br />
* утилита позволяет обходить два или более тематических сайта<br />
* повторный запуск приводит к накоплению данных в результирующих файлах<br />
* утилита позволяет задавать различные опции командной строки<br />
* разработаны и проходят модульные тесты для большей части кода<br />
* реализовано корректное разграничение стандартных потоков ввода и вывода<br />
<br />
Оценки '''8-10''':<br />
* упаковка утилиты в Debian-пакет<br />
* написана небольшая документация в формате Markdown<br />
* настройка cron-задания для периодического запуска утилиты</div>Jubbonhttps://wiki.cs.hse.ru/index.php?title=DataSpider_(%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82)&diff=858DataSpider (проект)2014-12-10T18:44:41Z<p>Jubbon: /* Какие будут использоваться технологии? */</p>
<hr />
<div>{{Карточка_проекта<br />
|name=DataSpider<br />
|mentor=Куликов Дмитрий<br />
|mentor_login={{URLENCODE:{{REVISIONUSER}}|WIKI}}<br />
|semester=Весна 2015<br />
|course=1<br />
|summer=<br />
|categorize=yes<br />
}}<br />
<br />
=== Что это за проект? ===<br />
Задачей проекта DataSpider является реализация консольной утилиты, предназначенной<br />
для обхода тематических сайтов в сети Интернет и извлечения "полезных" данных. Результатом обхода будет являться текстовый файл в формате CSV или TSV, содержащий извлеченные данные. Подобная программа необходима для получения открытых данных в случае, когда на сайте отсутствует возможность использовать API.<br />
На выбор будут предложены сайты по следующим тематикам:<br />
* Прогноз погоды (gismeteo.ru, meteoinfo.ru, hmn.ru, meteoservice.ru, foreca.ru)<br />
* Финансовые показатели и рейтинги банков (banki.ru, bankir.ru, 101bank.net, raexpert.ru, sravni.ru, banks-rating.ru, сайт ЦБ РФ)<br />
* Финансовые показатели и рейтинги страховых компаний (raexpert.ru, insuru.ru, ic-ratings.ru, inguru.ru, sravni.ru)<br />
* Финансовые показатели и рейтинги туристических фирм (firms.turizm.ru, turreestr.ru, tursvodka.ru,tour-info.ru)<br />
* Продажа и аренда недвижимости (cian.ru, realty.dmir.ru, irr.ru, egsnk.ru, gdeetotdom.ru) <br />
* Спортивные соревнования и спортивная аналитика (myscore.ru, news.sportbox.ru, sports.ru, championat.com)<br />
* Экскурсионные предложения (автобусные экскурсии, речные круизы)<br />
* Интернет-магазины (mvideo.ru, mediamarkt.ru, eldorado.ru, 003.ru, enter.ru)<br />
<br />
=== Чему вы научитесь? ===<br />
* основным принципам межсетевого взаимодействия по протоколу HTTP<br />
* извлекать различные данные из HTML-страниц с помощью языка запросов XPath и регулярных выражений<br />
* разрабатывать алгоритмы для эффективного обхода множества страниц сайта<br />
* корректно использовать аргументы командной строки, переменные окружения, стандартные потоки ввода и вывода при создании консольных утилит<br />
<br />
=== Какие начальные требования? ===<br />
* желательно наличие базовых навыков программирования на языке Python<br />
<br />
=== Какие будут использоваться технологии? ===<br />
* Язык программирования Python версии 2.7<br />
* Python-пакеты Grab, ScraPy, Selenium Web Driver и другие<br />
* Язык запросов XPath<br />
* Система контроля версий Git<br />
* GitHub в качестве система управления проектом (хранение исходного кода, отслеживание тикетов, управление релизами, ревью) <br />
* IaaS платформа Amazon Web Services<br />
<br />
=== Темы вводных занятий ===<br />
<br />
<br />
=== Направления развития ===<br />
Каждая подобная утилита может рассматриваться как источник данных для проведения статистических исследований и различного рода аналитики. Собранные данные могут использоваться методами машинного обучения для построения различных описательных или предсказательных моделей.<br />
<br />
=== Критерии оценки ===<br />
Оценки '''4-5''':<br />
* утилита обходит только один сайт из выбранной тематики<br />
* повторный запуск приводит к перезатиранию предыдущих результатов<br />
<br />
Оценки '''6-7''':<br />
* утилита позволяет обходить два или более тематических сайта<br />
* повторный запуск приводит к накоплению данных в результирующих файлах<br />
* утилита позволяет задавать различные опции командной строки<br />
* разработаны и проходят модульные тесты для большей части кода<br />
* реализовано корректное разграничение стандартных потоков ввода и вывода<br />
<br />
Оценки '''8-10''':<br />
* упаковка утилиты в Debian-пакет<br />
* написана небольшая документация в формате Markdown<br />
* настройка cron-задания для периодического запуска утилиты</div>Jubbonhttps://wiki.cs.hse.ru/index.php?title=DataSpider_(%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82)&diff=857DataSpider (проект)2014-12-10T18:43:20Z<p>Jubbon: </p>
<hr />
<div>{{Карточка_проекта<br />
|name=DataSpider<br />
|mentor=Куликов Дмитрий<br />
|mentor_login={{URLENCODE:{{REVISIONUSER}}|WIKI}}<br />
|semester=Весна 2015<br />
|course=1<br />
|summer=<br />
|categorize=yes<br />
}}<br />
<br />
=== Что это за проект? ===<br />
Задачей проекта DataSpider является реализация консольной утилиты, предназначенной<br />
для обхода тематических сайтов в сети Интернет и извлечения "полезных" данных. Результатом обхода будет являться текстовый файл в формате CSV или TSV, содержащий извлеченные данные. Подобная программа необходима для получения открытых данных в случае, когда на сайте отсутствует возможность использовать API.<br />
На выбор будут предложены сайты по следующим тематикам:<br />
* Прогноз погоды (gismeteo.ru, meteoinfo.ru, hmn.ru, meteoservice.ru, foreca.ru)<br />
* Финансовые показатели и рейтинги банков (banki.ru, bankir.ru, 101bank.net, raexpert.ru, sravni.ru, banks-rating.ru, сайт ЦБ РФ)<br />
* Финансовые показатели и рейтинги страховых компаний (raexpert.ru, insuru.ru, ic-ratings.ru, inguru.ru, sravni.ru)<br />
* Финансовые показатели и рейтинги туристических фирм (firms.turizm.ru, turreestr.ru, tursvodka.ru,tour-info.ru)<br />
* Продажа и аренда недвижимости (cian.ru, realty.dmir.ru, irr.ru, egsnk.ru, gdeetotdom.ru) <br />
* Спортивные соревнования и спортивная аналитика (myscore.ru, news.sportbox.ru, sports.ru, championat.com)<br />
* Экскурсионные предложения (автобусные экскурсии, речные круизы)<br />
* Интернет-магазины (mvideo.ru, mediamarkt.ru, eldorado.ru, 003.ru, enter.ru)<br />
<br />
=== Чему вы научитесь? ===<br />
* основным принципам межсетевого взаимодействия по протоколу HTTP<br />
* извлекать различные данные из HTML-страниц с помощью языка запросов XPath и регулярных выражений<br />
* разрабатывать алгоритмы для эффективного обхода множества страниц сайта<br />
* корректно использовать аргументы командной строки, переменные окружения, стандартные потоки ввода и вывода при создании консольных утилит<br />
<br />
=== Какие начальные требования? ===<br />
* желательно наличие базовых навыков программирования на языке Python<br />
<br />
=== Какие будут использоваться технологии? ===<br />
* Язык программирования Python версии 2.7<br />
* Python-пакеты Grab, ScraPy, Selenium Web Driver и другие<br />
* Язык запросов XPath<br />
* Система контроля версий Git (или Mercurial по желанию студента)<br />
* GitHub (или BitBucket) в качестве система управления проектом (хранение исходного кода, отслеживание тикетов, управление релизами, ревью) <br />
* IaaS платформа Amazon Web Services<br />
<br />
=== Темы вводных занятий ===<br />
<br />
<br />
=== Направления развития ===<br />
Каждая подобная утилита может рассматриваться как источник данных для проведения статистических исследований и различного рода аналитики. Собранные данные могут использоваться методами машинного обучения для построения различных описательных или предсказательных моделей.<br />
<br />
=== Критерии оценки ===<br />
Оценки '''4-5''':<br />
* утилита обходит только один сайт из выбранной тематики<br />
* повторный запуск приводит к перезатиранию предыдущих результатов<br />
<br />
Оценки '''6-7''':<br />
* утилита позволяет обходить два или более тематических сайта<br />
* повторный запуск приводит к накоплению данных в результирующих файлах<br />
* утилита позволяет задавать различные опции командной строки<br />
* разработаны и проходят модульные тесты для большей части кода<br />
* реализовано корректное разграничение стандартных потоков ввода и вывода<br />
<br />
Оценки '''8-10''':<br />
* упаковка утилиты в Debian-пакет<br />
* написана небольшая документация в формате Markdown<br />
* настройка cron-задания для периодического запуска утилиты</div>Jubbonhttps://wiki.cs.hse.ru/index.php?title=DataSpider_(%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82)&diff=856DataSpider (проект)2014-12-10T18:42:36Z<p>Jubbon: </p>
<hr />
<div>{{Карточка_проекта<br />
|name=DataSpider<br />
|mentor=Куликов Дмитрий<br />
|mentor_login={{URLENCODE:{{REVISIONUSER}}|WIKI}}<br />
|semester=Весна 2015<br />
|course=1<br />
|summer=off<br />
|categorize=yes<br />
}}<br />
<br />
=== Что это за проект? ===<br />
Задачей проекта DataSpider является реализация консольной утилиты, предназначенной<br />
для обхода тематических сайтов в сети Интернет и извлечения "полезных" данных. Результатом обхода будет являться текстовый файл в формате CSV или TSV, содержащий извлеченные данные. Подобная программа необходима для получения открытых данных в случае, когда на сайте отсутствует возможность использовать API.<br />
На выбор будут предложены сайты по следующим тематикам:<br />
* Прогноз погоды (gismeteo.ru, meteoinfo.ru, hmn.ru, meteoservice.ru, foreca.ru)<br />
* Финансовые показатели и рейтинги банков (banki.ru, bankir.ru, 101bank.net, raexpert.ru, sravni.ru, banks-rating.ru, сайт ЦБ РФ)<br />
* Финансовые показатели и рейтинги страховых компаний (raexpert.ru, insuru.ru, ic-ratings.ru, inguru.ru, sravni.ru)<br />
* Финансовые показатели и рейтинги туристических фирм (firms.turizm.ru, turreestr.ru, tursvodka.ru,tour-info.ru)<br />
* Продажа и аренда недвижимости (cian.ru, realty.dmir.ru, irr.ru, egsnk.ru, gdeetotdom.ru) <br />
* Спортивные соревнования и спортивная аналитика (myscore.ru, news.sportbox.ru, sports.ru, championat.com)<br />
* Экскурсионные предложения (автобусные экскурсии, речные круизы)<br />
* Интернет-магазины (mvideo.ru, mediamarkt.ru, eldorado.ru, 003.ru, enter.ru)<br />
<br />
=== Чему вы научитесь? ===<br />
* основным принципам межсетевого взаимодействия по протоколу HTTP<br />
* извлекать различные данные из HTML-страниц с помощью языка запросов XPath и регулярных выражений<br />
* разрабатывать алгоритмы для эффективного обхода множества страниц сайта<br />
* корректно использовать аргументы командной строки, переменные окружения, стандартные потоки ввода и вывода при создании консольных утилит<br />
<br />
=== Какие начальные требования? ===<br />
* желательно наличие базовых навыков программирования на языке Python<br />
<br />
=== Какие будут использоваться технологии? ===<br />
* Язык программирования Python версии 2.7<br />
* Python-пакеты Grab, ScraPy, Selenium Web Driver и другие<br />
* Язык запросов XPath<br />
* Система контроля версий Git (или Mercurial по желанию студента)<br />
* GitHub (или BitBucket) в качестве система управления проектом (хранение исходного кода, отслеживание тикетов, управление релизами, ревью) <br />
* IaaS платформа Amazon Web Services<br />
<br />
=== Темы вводных занятий ===<br />
<br />
<br />
=== Направления развития ===<br />
Каждая подобная утилита может рассматриваться как источник данных для проведения статистических исследований и различного рода аналитики. Собранные данные могут использоваться методами машинного обучения для построения различных описательных или предсказательных моделей.<br />
<br />
=== Критерии оценки ===<br />
Оценки '''4-5''':<br />
* утилита обходит только один сайт из выбранной тематики<br />
* повторный запуск приводит к перезатиранию предыдущих результатов<br />
<br />
Оценки '''6-7''':<br />
* утилита позволяет обходить два или более тематических сайта<br />
* повторный запуск приводит к накоплению данных в результирующих файлах<br />
* утилита позволяет задавать различные опции командной строки<br />
* разработаны и проходят модульные тесты для большей части кода<br />
* реализовано корректное разграничение стандартных потоков ввода и вывода<br />
<br />
Оценки '''8-10''':<br />
* упаковка утилиты в Debian-пакет<br />
* написана небольшая документация в формате Markdown<br />
* настройка cron-задания для периодического запуска утилиты</div>Jubbonhttps://wiki.cs.hse.ru/index.php?title=DataSpider_(%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82)&diff=855DataSpider (проект)2014-12-10T18:42:06Z<p>Jubbon: </p>
<hr />
<div>{{Карточка_проекта<br />
|name=DataSpider<br />
|mentor=Куликов Дмитрий<br />
|mentor_login={{URLENCODE:{{REVISIONUSER}}|WIKI}}<br />
|semester=Весна 2015<br />
|course=0<br />
|summer=on<br />
|categorize=yes<br />
}}<br />
<br />
=== Что это за проект? ===<br />
Задачей проекта DataSpider является реализация консольной утилиты, предназначенной<br />
для обхода тематических сайтов в сети Интернет и извлечения "полезных" данных. Результатом обхода будет являться текстовый файл в формате CSV или TSV, содержащий извлеченные данные. Подобная программа необходима для получения открытых данных в случае, когда на сайте отсутствует возможность использовать API.<br />
На выбор будут предложены сайты по следующим тематикам:<br />
* Прогноз погоды (gismeteo.ru, meteoinfo.ru, hmn.ru, meteoservice.ru, foreca.ru)<br />
* Финансовые показатели и рейтинги банков (banki.ru, bankir.ru, 101bank.net, raexpert.ru, sravni.ru, banks-rating.ru, сайт ЦБ РФ)<br />
* Финансовые показатели и рейтинги страховых компаний (raexpert.ru, insuru.ru, ic-ratings.ru, inguru.ru, sravni.ru)<br />
* Финансовые показатели и рейтинги туристических фирм (firms.turizm.ru, turreestr.ru, tursvodka.ru,tour-info.ru)<br />
* Продажа и аренда недвижимости (cian.ru, realty.dmir.ru, irr.ru, egsnk.ru, gdeetotdom.ru) <br />
* Спортивные соревнования и спортивная аналитика (myscore.ru, news.sportbox.ru, sports.ru, championat.com)<br />
* Экскурсионные предложения (автобусные экскурсии, речные круизы)<br />
* Интернет-магазины (mvideo.ru, mediamarkt.ru, eldorado.ru, 003.ru, enter.ru)<br />
<br />
=== Чему вы научитесь? ===<br />
* основным принципам межсетевого взаимодействия по протоколу HTTP<br />
* извлекать различные данные из HTML-страниц с помощью языка запросов XPath и регулярных выражений<br />
* разрабатывать алгоритмы для эффективного обхода множества страниц сайта<br />
* корректно использовать аргументы командной строки, переменные окружения, стандартные потоки ввода и вывода при создании консольных утилит<br />
<br />
=== Какие начальные требования? ===<br />
* желательно наличие базовых навыков программирования на языке Python<br />
<br />
=== Какие будут использоваться технологии? ===<br />
* Язык программирования Python версии 2.7<br />
* Python-пакеты Grab, ScraPy, Selenium Web Driver и другие<br />
* Язык запросов XPath<br />
* Система контроля версий Git (или Mercurial по желанию студента)<br />
* GitHub (или BitBucket) в качестве система управления проектом (хранение исходного кода, отслеживание тикетов, управление релизами, ревью) <br />
* IaaS платформа Amazon Web Services<br />
<br />
=== Темы вводных занятий ===<br />
<br />
<br />
=== Направления развития ===<br />
Каждая подобная утилита может рассматриваться как источник данных для проведения статистических исследований и различного рода аналитики. Собранные данные могут использоваться методами машинного обучения для построения различных описательных или предсказательных моделей.<br />
<br />
=== Критерии оценки ===<br />
Оценки '''4-5''':<br />
* утилита обходит только один сайт из выбранной тематики<br />
* повторный запуск приводит к перезатиранию предыдущих результатов<br />
<br />
Оценки '''6-7''':<br />
* утилита позволяет обходить два или более тематических сайта<br />
* повторный запуск приводит к накоплению данных в результирующих файлах<br />
* утилита позволяет задавать различные опции командной строки<br />
* разработаны и проходят модульные тесты для большей части кода<br />
* реализовано корректное разграничение стандартных потоков ввода и вывода<br />
<br />
Оценки '''8-10''':<br />
* упаковка утилиты в Debian-пакет<br />
* написана небольшая документация в формате Markdown<br />
* настройка cron-задания для периодического запуска утилиты</div>Jubbonhttps://wiki.cs.hse.ru/index.php?title=DataSpider_(%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82)&diff=854DataSpider (проект)2014-12-10T18:40:49Z<p>Jubbon: /* Критерии оценки */</p>
<hr />
<div>{{Карточка_проекта<br />
|name=DataSpider<br />
|mentor=Куликов Дмитрий<br />
|mentor_login={{URLENCODE:{{REVISIONUSER}}|WIKI}}<br />
|semester=Весна 2015<br />
|course=1<br />
|summer=on<br />
|categorize=yes<br />
}}<br />
<br />
=== Что это за проект? ===<br />
Задачей проекта DataSpider является реализация консольной утилиты, предназначенной<br />
для обхода тематических сайтов в сети Интернет и извлечения "полезных" данных. Результатом обхода будет являться текстовый файл в формате CSV или TSV, содержащий извлеченные данные. Подобная программа необходима для получения открытых данных в случае, когда на сайте отсутствует возможность использовать API.<br />
На выбор будут предложены сайты по следующим тематикам:<br />
* Прогноз погоды (gismeteo.ru, meteoinfo.ru, hmn.ru, meteoservice.ru, foreca.ru)<br />
* Финансовые показатели и рейтинги банков (banki.ru, bankir.ru, 101bank.net, raexpert.ru, sravni.ru, banks-rating.ru, сайт ЦБ РФ)<br />
* Финансовые показатели и рейтинги страховых компаний (raexpert.ru, insuru.ru, ic-ratings.ru, inguru.ru, sravni.ru)<br />
* Финансовые показатели и рейтинги туристических фирм (firms.turizm.ru, turreestr.ru, tursvodka.ru,tour-info.ru)<br />
* Продажа и аренда недвижимости (cian.ru, realty.dmir.ru, irr.ru, egsnk.ru, gdeetotdom.ru) <br />
* Спортивные соревнования и спортивная аналитика (myscore.ru, news.sportbox.ru, sports.ru, championat.com)<br />
* Экскурсионные предложения (автобусные экскурсии, речные круизы)<br />
* Интернет-магазины (mvideo.ru, mediamarkt.ru, eldorado.ru, 003.ru, enter.ru)<br />
<br />
=== Чему вы научитесь? ===<br />
* основным принципам межсетевого взаимодействия по протоколу HTTP<br />
* извлекать различные данные из HTML-страниц с помощью языка запросов XPath и регулярных выражений<br />
* разрабатывать алгоритмы для эффективного обхода множества страниц сайта<br />
* корректно использовать аргументы командной строки, переменные окружения, стандартные потоки ввода и вывода при создании консольных утилит<br />
<br />
=== Какие начальные требования? ===<br />
* желательно наличие базовых навыков программирования на языке Python<br />
<br />
=== Какие будут использоваться технологии? ===<br />
* Язык программирования Python версии 2.7<br />
* Python-пакеты Grab, ScraPy, Selenium Web Driver и другие<br />
* Язык запросов XPath<br />
* Система контроля версий Git (или Mercurial по желанию студента)<br />
* GitHub (или BitBucket) в качестве система управления проектом (хранение исходного кода, отслеживание тикетов, управление релизами, ревью) <br />
* IaaS платформа Amazon Web Services<br />
<br />
=== Темы вводных занятий ===<br />
<br />
<br />
=== Направления развития ===<br />
Каждая подобная утилита может рассматриваться как источник данных для проведения статистических исследований и различного рода аналитики. Собранные данные могут использоваться методами машинного обучения для построения различных описательных или предсказательных моделей.<br />
<br />
=== Критерии оценки ===<br />
Оценки '''4-5''':<br />
* утилита обходит только один сайт из выбранной тематики<br />
* повторный запуск приводит к перезатиранию предыдущих результатов<br />
<br />
Оценки '''6-7''':<br />
* утилита позволяет обходить два или более тематических сайта<br />
* повторный запуск приводит к накоплению данных в результирующих файлах<br />
* утилита позволяет задавать различные опции командной строки<br />
* разработаны и проходят модульные тесты для большей части кода<br />
* реализовано корректное разграничение стандартных потоков ввода и вывода<br />
<br />
Оценки '''8-10''':<br />
* упаковка утилиты в Debian-пакет<br />
* написана небольшая документация в формате Markdown<br />
* настройка cron-задания для периодического запуска утилиты</div>Jubbonhttps://wiki.cs.hse.ru/index.php?title=%D0%A3%D1%87%D0%B0%D1%81%D1%82%D0%BD%D0%B8%D0%BA:Jubbon&diff=853Участник:Jubbon2014-12-10T18:39:37Z<p>Jubbon: /* Профессиональные интересы */</p>
<hr />
<div>[[Файл:DmitryKulikov.jpg|400px|мини]]<br />
<br />
==Дмитрий Куликов==<br />
* В 2002 году закончил радиофизический факультет Нижегородского Государственного Университета им. Лобачевского<br />
* С 2002 по 2014 год - сотрудник Института Теоретической и Математической Физики РФЯЦ-ВНИИЭФ (г. Саров)<br />
* С 2014 года - разработчик в Яндексе<br />
<br />
==Профессиональные интересы==<br />
* Языки программирования: C++, Python<br />
* Алгоритмы машинного обучения<br />
* Большие Данные<br />
<br />
==Контакты==<br />
* Электронная почта: jubbon@yandex.ru<br />
* Мобильный телефон: +7(925)126-94-85</div>Jubbonhttps://wiki.cs.hse.ru/index.php?title=%D0%A3%D1%87%D0%B0%D1%81%D1%82%D0%BD%D0%B8%D0%BA:Jubbon&diff=851Участник:Jubbon2014-12-10T18:38:32Z<p>Jubbon: /* Дмитрий Куликов */</p>
<hr />
<div>[[Файл:DmitryKulikov.jpg|400px|мини]]<br />
<br />
==Дмитрий Куликов==<br />
* В 2002 году закончил радиофизический факультет Нижегородского Государственного Университета им. Лобачевского<br />
* С 2002 по 2014 год - сотрудник Института Теоретической и Математической Физики РФЯЦ-ВНИИЭФ (г. Саров)<br />
* С 2014 года - разработчик в Яндексе<br />
<br />
==Профессиональные интересы==<br />
* Языки программирования: C++, Python<br />
<br />
==Контакты==<br />
* Электронная почта: jubbon@yandex.ru<br />
* Мобильный телефон: +7(925)126-94-85</div>Jubbonhttps://wiki.cs.hse.ru/index.php?title=%D0%A3%D1%87%D0%B0%D1%81%D1%82%D0%BD%D0%B8%D0%BA:Jubbon&diff=849Участник:Jubbon2014-12-10T18:37:03Z<p>Jubbon: /* Контакты */</p>
<hr />
<div>[[Файл:DmitryKulikov.jpg|400px|мини]]<br />
<br />
==Дмитрий Куликов==<br />
* Окончил в 2002 году Нижегородский Государственный Университет им. Лобачевского (радиофизический факультет)<br />
* С 2002 по 2014 год - сотрудник Института Теоретической и Математической Физики РФЯЦ-ВНИИЭФ (г. Саров)<br />
<br />
==Профессиональные интересы==<br />
* Языки программирования: C++, Python<br />
<br />
==Контакты==<br />
* Электронная почта: jubbon@yandex.ru<br />
* Мобильный телефон: +7(925)126-94-85</div>Jubbonhttps://wiki.cs.hse.ru/index.php?title=%D0%A3%D1%87%D0%B0%D1%81%D1%82%D0%BD%D0%B8%D0%BA:Jubbon&diff=848Участник:Jubbon2014-12-10T18:36:45Z<p>Jubbon: </p>
<hr />
<div>[[Файл:DmitryKulikov.jpg|400px|мини]]<br />
<br />
==Дмитрий Куликов==<br />
* Окончил в 2002 году Нижегородский Государственный Университет им. Лобачевского (радиофизический факультет)<br />
* С 2002 по 2014 год - сотрудник Института Теоретической и Математической Физики РФЯЦ-ВНИИЭФ (г. Саров)<br />
<br />
==Профессиональные интересы==<br />
* Языки программирования: C++, Python<br />
<br />
==Контакты==<br />
* электронная почта: jubbon@yandex.ru<br />
* мобильный телефон: +7(925)126-94-85</div>Jubbonhttps://wiki.cs.hse.ru/index.php?title=%D0%A3%D1%87%D0%B0%D1%81%D1%82%D0%BD%D0%B8%D0%BA:Jubbon&diff=847Участник:Jubbon2014-12-10T18:25:19Z<p>Jubbon: Добавил свою фотографию</p>
<hr />
<div>Добро пожаловать!<br />
<br />
Меня зовут Дмитрий Куликов, и я работаю разработчиком в Яндексе.<br />
<br />
[[Файл:DmitryKulikov.jpg||right]]<br />
Со мной можно связаться по электронной почте jubbon@yandex.ru или мобильному телефону +7 (925) 126-94-85.</div>Jubbonhttps://wiki.cs.hse.ru/index.php?title=%D0%A4%D0%B0%D0%B9%D0%BB:DmitryKulikov.jpg&diff=846Файл:DmitryKulikov.jpg2014-12-10T18:23:31Z<p>Jubbon: </p>
<hr />
<div></div>Jubbonhttps://wiki.cs.hse.ru/index.php?title=DataSpider_(%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82)&diff=429DataSpider (проект)2014-11-19T15:45:08Z<p>Jubbon: /* Какие будут использоваться технологии? */</p>
<hr />
<div>{{Карточка_проекта<br />
|name=DataSpider<br />
|mentor=Куликов Дмитрий<br />
|mentor_login={{URLENCODE:{{REVISIONUSER}}|WIKI}}<br />
|semester=Весна 2015<br />
|course=1<br />
|summer=on<br />
|categorize=yes<br />
}}<br />
<br />
=== Что это за проект? ===<br />
Задачей проекта DataSpider является реализация консольной утилиты, предназначенной<br />
для обхода тематических сайтов в сети Интернет и извлечения "полезных" данных. Результатом обхода будет являться текстовый файл в формате CSV или TSV, содержащий извлеченные данные. Подобная программа необходима для получения открытых данных в случае, когда на сайте отсутствует возможность использовать API.<br />
На выбор будут предложены сайты по следующим тематикам:<br />
* Прогноз погоды (gismeteo.ru, meteoinfo.ru, hmn.ru, meteoservice.ru, foreca.ru)<br />
* Финансовые показатели и рейтинги банков (banki.ru, bankir.ru, 101bank.net, raexpert.ru, sravni.ru, banks-rating.ru, сайт ЦБ РФ)<br />
* Финансовые показатели и рейтинги страховых компаний (raexpert.ru, insuru.ru, ic-ratings.ru, inguru.ru, sravni.ru)<br />
* Финансовые показатели и рейтинги туристических фирм (firms.turizm.ru, turreestr.ru, tursvodka.ru,tour-info.ru)<br />
* Продажа и аренда недвижимости (cian.ru, realty.dmir.ru, irr.ru, egsnk.ru, gdeetotdom.ru) <br />
* Спортивные соревнования и спортивная аналитика (myscore.ru, news.sportbox.ru, sports.ru, championat.com)<br />
* Экскурсионные предложения (автобусные экскурсии, речные круизы)<br />
* Интернет-магазины (mvideo.ru, mediamarkt.ru, eldorado.ru, 003.ru, enter.ru)<br />
<br />
=== Чему вы научитесь? ===<br />
* основным принципам межсетевого взаимодействия по протоколу HTTP<br />
* извлекать различные данные из HTML-страниц с помощью языка запросов XPath и регулярных выражений<br />
* разрабатывать алгоритмы для эффективного обхода множества страниц сайта<br />
* корректно использовать аргументы командной строки, переменные окружения, стандартные потоки ввода и вывода при создании консольных утилит<br />
<br />
=== Какие начальные требования? ===<br />
* желательно наличие базовых навыков программирования на языке Python<br />
<br />
=== Какие будут использоваться технологии? ===<br />
* Язык программирования Python версии 2.7<br />
* Python-пакеты Grab, ScraPy, Selenium Web Driver и другие<br />
* Язык запросов XPath<br />
* Система контроля версий Git (или Mercurial по желанию студента)<br />
* GitHub (или BitBucket) в качестве система управления проектом (хранение исходного кода, отслеживание тикетов, управление релизами, ревью) <br />
* IaaS платформа Amazon Web Services<br />
<br />
=== Темы вводных занятий ===<br />
<br />
<br />
=== Направления развития ===<br />
Каждая подобная утилита может рассматриваться как источник данных для проведения статистических исследований и различного рода аналитики. Собранные данные могут использоваться методами машинного обучения для построения различных описательных или предсказательных моделей.<br />
<br />
=== Критерии оценки ===<br />
Оценки '''4-5''':<br />
* утилита обходит только один сайт из выбранной тематики<br />
* повторный запуск приводит к перезатиранию предыдущих результатов<br />
<br />
Оценки '''6-7''':<br />
* утилита позволяет обходить два или более тематических сайта<br />
* повторный запуск приводит к накоплению данных в результирующих файлах<br />
* утилита позволяет задавать различные опции командной строки<br />
* разработаны и проходят модульные тесты для большей части кода<br />
* реализовано корректное разграничение стандартных потоков ввода и вывода<br />
<br />
Оценки '''8-10''':<br />
* применение mock-объектов для функционального тестирования (???)<br />
* упаковка утилиты в Debian-пакет<br />
* написана небольшая документация в формате Markdown<br />
* настройка cron-задания для периодического запуска утилиты</div>Jubbonhttps://wiki.cs.hse.ru/index.php?title=DataSpider_(%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82)&diff=428DataSpider (проект)2014-11-19T15:43:52Z<p>Jubbon: /* Какие начальные требования? */</p>
<hr />
<div>{{Карточка_проекта<br />
|name=DataSpider<br />
|mentor=Куликов Дмитрий<br />
|mentor_login={{URLENCODE:{{REVISIONUSER}}|WIKI}}<br />
|semester=Весна 2015<br />
|course=1<br />
|summer=on<br />
|categorize=yes<br />
}}<br />
<br />
=== Что это за проект? ===<br />
Задачей проекта DataSpider является реализация консольной утилиты, предназначенной<br />
для обхода тематических сайтов в сети Интернет и извлечения "полезных" данных. Результатом обхода будет являться текстовый файл в формате CSV или TSV, содержащий извлеченные данные. Подобная программа необходима для получения открытых данных в случае, когда на сайте отсутствует возможность использовать API.<br />
На выбор будут предложены сайты по следующим тематикам:<br />
* Прогноз погоды (gismeteo.ru, meteoinfo.ru, hmn.ru, meteoservice.ru, foreca.ru)<br />
* Финансовые показатели и рейтинги банков (banki.ru, bankir.ru, 101bank.net, raexpert.ru, sravni.ru, banks-rating.ru, сайт ЦБ РФ)<br />
* Финансовые показатели и рейтинги страховых компаний (raexpert.ru, insuru.ru, ic-ratings.ru, inguru.ru, sravni.ru)<br />
* Финансовые показатели и рейтинги туристических фирм (firms.turizm.ru, turreestr.ru, tursvodka.ru,tour-info.ru)<br />
* Продажа и аренда недвижимости (cian.ru, realty.dmir.ru, irr.ru, egsnk.ru, gdeetotdom.ru) <br />
* Спортивные соревнования и спортивная аналитика (myscore.ru, news.sportbox.ru, sports.ru, championat.com)<br />
* Экскурсионные предложения (автобусные экскурсии, речные круизы)<br />
* Интернет-магазины (mvideo.ru, mediamarkt.ru, eldorado.ru, 003.ru, enter.ru)<br />
<br />
=== Чему вы научитесь? ===<br />
* основным принципам межсетевого взаимодействия по протоколу HTTP<br />
* извлекать различные данные из HTML-страниц с помощью языка запросов XPath и регулярных выражений<br />
* разрабатывать алгоритмы для эффективного обхода множества страниц сайта<br />
* корректно использовать аргументы командной строки, переменные окружения, стандартные потоки ввода и вывода при создании консольных утилит<br />
<br />
=== Какие начальные требования? ===<br />
* желательно наличие базовых навыков программирования на языке Python<br />
<br />
=== Какие будут использоваться технологии? ===<br />
* Язык программирования Python версии 2.7<br />
* Python-пакеты Grab, ScraPy, Selenium Web Driver и другие<br />
* Язык запросов XPath<br />
* система контроля версий Git (или Mercurial по желанию студента)<br />
* GitHub в качестве система управления проектом (хранение исходного кода, отслеживание тикетов, управление релизами, ревью) <br />
* Amazon Web Services<br />
<br />
=== Темы вводных занятий ===<br />
<br />
<br />
=== Направления развития ===<br />
Каждая подобная утилита может рассматриваться как источник данных для проведения статистических исследований и различного рода аналитики. Собранные данные могут использоваться методами машинного обучения для построения различных описательных или предсказательных моделей.<br />
<br />
=== Критерии оценки ===<br />
Оценки '''4-5''':<br />
* утилита обходит только один сайт из выбранной тематики<br />
* повторный запуск приводит к перезатиранию предыдущих результатов<br />
<br />
Оценки '''6-7''':<br />
* утилита позволяет обходить два или более тематических сайта<br />
* повторный запуск приводит к накоплению данных в результирующих файлах<br />
* утилита позволяет задавать различные опции командной строки<br />
* разработаны и проходят модульные тесты для большей части кода<br />
* реализовано корректное разграничение стандартных потоков ввода и вывода<br />
<br />
Оценки '''8-10''':<br />
* применение mock-объектов для функционального тестирования (???)<br />
* упаковка утилиты в Debian-пакет<br />
* написана небольшая документация в формате Markdown<br />
* настройка cron-задания для периодического запуска утилиты</div>Jubbonhttps://wiki.cs.hse.ru/index.php?title=DataSpider_(%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82)&diff=427DataSpider (проект)2014-11-19T15:42:28Z<p>Jubbon: /* Что это за проект? */</p>
<hr />
<div>{{Карточка_проекта<br />
|name=DataSpider<br />
|mentor=Куликов Дмитрий<br />
|mentor_login={{URLENCODE:{{REVISIONUSER}}|WIKI}}<br />
|semester=Весна 2015<br />
|course=1<br />
|summer=on<br />
|categorize=yes<br />
}}<br />
<br />
=== Что это за проект? ===<br />
Задачей проекта DataSpider является реализация консольной утилиты, предназначенной<br />
для обхода тематических сайтов в сети Интернет и извлечения "полезных" данных. Результатом обхода будет являться текстовый файл в формате CSV или TSV, содержащий извлеченные данные. Подобная программа необходима для получения открытых данных в случае, когда на сайте отсутствует возможность использовать API.<br />
На выбор будут предложены сайты по следующим тематикам:<br />
* Прогноз погоды (gismeteo.ru, meteoinfo.ru, hmn.ru, meteoservice.ru, foreca.ru)<br />
* Финансовые показатели и рейтинги банков (banki.ru, bankir.ru, 101bank.net, raexpert.ru, sravni.ru, banks-rating.ru, сайт ЦБ РФ)<br />
* Финансовые показатели и рейтинги страховых компаний (raexpert.ru, insuru.ru, ic-ratings.ru, inguru.ru, sravni.ru)<br />
* Финансовые показатели и рейтинги туристических фирм (firms.turizm.ru, turreestr.ru, tursvodka.ru,tour-info.ru)<br />
* Продажа и аренда недвижимости (cian.ru, realty.dmir.ru, irr.ru, egsnk.ru, gdeetotdom.ru) <br />
* Спортивные соревнования и спортивная аналитика (myscore.ru, news.sportbox.ru, sports.ru, championat.com)<br />
* Экскурсионные предложения (автобусные экскурсии, речные круизы)<br />
* Интернет-магазины (mvideo.ru, mediamarkt.ru, eldorado.ru, 003.ru, enter.ru)<br />
<br />
=== Чему вы научитесь? ===<br />
* основным принципам межсетевого взаимодействия по протоколу HTTP<br />
* извлекать различные данные из HTML-страниц с помощью языка запросов XPath и регулярных выражений<br />
* разрабатывать алгоритмы для эффективного обхода множества страниц сайта<br />
* корректно использовать аргументы командной строки, переменные окружения, стандартные потоки ввода и вывода при создании консольных утилит<br />
<br />
=== Какие начальные требования? ===<br />
* желательно наличие базовые навыков программирования на языке Python<br />
<br />
=== Какие будут использоваться технологии? ===<br />
* Язык программирования Python версии 2.7<br />
* Python-пакеты Grab, ScraPy, Selenium Web Driver и другие<br />
* Язык запросов XPath<br />
* система контроля версий Git (или Mercurial по желанию студента)<br />
* GitHub в качестве система управления проектом (хранение исходного кода, отслеживание тикетов, управление релизами, ревью) <br />
* Amazon Web Services<br />
<br />
=== Темы вводных занятий ===<br />
<br />
<br />
=== Направления развития ===<br />
Каждая подобная утилита может рассматриваться как источник данных для проведения статистических исследований и различного рода аналитики. Собранные данные могут использоваться методами машинного обучения для построения различных описательных или предсказательных моделей.<br />
<br />
=== Критерии оценки ===<br />
Оценки '''4-5''':<br />
* утилита обходит только один сайт из выбранной тематики<br />
* повторный запуск приводит к перезатиранию предыдущих результатов<br />
<br />
Оценки '''6-7''':<br />
* утилита позволяет обходить два или более тематических сайта<br />
* повторный запуск приводит к накоплению данных в результирующих файлах<br />
* утилита позволяет задавать различные опции командной строки<br />
* разработаны и проходят модульные тесты для большей части кода<br />
* реализовано корректное разграничение стандартных потоков ввода и вывода<br />
<br />
Оценки '''8-10''':<br />
* применение mock-объектов для функционального тестирования (???)<br />
* упаковка утилиты в Debian-пакет<br />
* написана небольшая документация в формате Markdown<br />
* настройка cron-задания для периодического запуска утилиты</div>Jubbonhttps://wiki.cs.hse.ru/index.php?title=DataSpider_(%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82)&diff=426DataSpider (проект)2014-11-19T15:41:49Z<p>Jubbon: /* Критерии оценки */</p>
<hr />
<div>{{Карточка_проекта<br />
|name=DataSpider<br />
|mentor=Куликов Дмитрий<br />
|mentor_login={{URLENCODE:{{REVISIONUSER}}|WIKI}}<br />
|semester=Весна 2015<br />
|course=1<br />
|summer=on<br />
|categorize=yes<br />
}}<br />
<br />
=== Что это за проект? ===<br />
Задачей проекта DataSpider является реализация консольной утилиты, предназначенной<br />
для обхода тематических сайтов в сети Интернет и извлечения "полезных" данных. Результатом обхода будет являться текстовый файл в формате CSV или TSV, содержащий извлеченные данные. Подобная программа необходима для получения открытых данных в случае, когда на сайте отсутствует возможность использовать API.<br />
На выбор будут предложены сайты по следующим тематикам:<br />
- Прогноз погоды (gismeteo.ru, meteoinfo.ru, hmn.ru, meteoservice.ru, foreca.ru)<br />
- Финансовые показатели и рейтинги банков (banki.ru, bankir.ru, 101bank.net, raexpert.ru, sravni.ru, banks-rating.ru, сайт ЦБ РФ)<br />
- Финансовые показатели и рейтинги страховых компаний (raexpert.ru, insuru.ru, ic-ratings.ru, inguru.ru, sravni.ru)<br />
- Финансовые показатели и рейтинги туристических фирм (firms.turizm.ru, turreestr.ru, tursvodka.ru,tour-info.ru)<br />
- Продажа и аренда недвижимости (cian.ru, realty.dmir.ru, irr.ru, egsnk.ru, gdeetotdom.ru) <br />
- Спортивные соревнования и спортивная аналитика (myscore.ru, news.sportbox.ru, sports.ru, championat.com)<br />
- Экскурсионные предложения (автобусные экскурсии, речные круизы)<br />
- Интернет-магазины (mvideo.ru, mediamarkt.ru, eldorado.ru, 003.ru, enter.ru)<br />
<br />
=== Чему вы научитесь? ===<br />
* основным принципам межсетевого взаимодействия по протоколу HTTP<br />
* извлекать различные данные из HTML-страниц с помощью языка запросов XPath и регулярных выражений<br />
* разрабатывать алгоритмы для эффективного обхода множества страниц сайта<br />
* корректно использовать аргументы командной строки, переменные окружения, стандартные потоки ввода и вывода при создании консольных утилит<br />
<br />
=== Какие начальные требования? ===<br />
* желательно наличие базовые навыков программирования на языке Python<br />
<br />
=== Какие будут использоваться технологии? ===<br />
* Язык программирования Python версии 2.7<br />
* Python-пакеты Grab, ScraPy, Selenium Web Driver и другие<br />
* Язык запросов XPath<br />
* система контроля версий Git (или Mercurial по желанию студента)<br />
* GitHub в качестве система управления проектом (хранение исходного кода, отслеживание тикетов, управление релизами, ревью) <br />
* Amazon Web Services<br />
<br />
=== Темы вводных занятий ===<br />
<br />
<br />
=== Направления развития ===<br />
Каждая подобная утилита может рассматриваться как источник данных для проведения статистических исследований и различного рода аналитики. Собранные данные могут использоваться методами машинного обучения для построения различных описательных или предсказательных моделей.<br />
<br />
=== Критерии оценки ===<br />
Оценки '''4-5''':<br />
* утилита обходит только один сайт из выбранной тематики<br />
* повторный запуск приводит к перезатиранию предыдущих результатов<br />
<br />
Оценки '''6-7''':<br />
* утилита позволяет обходить два или более тематических сайта<br />
* повторный запуск приводит к накоплению данных в результирующих файлах<br />
* утилита позволяет задавать различные опции командной строки<br />
* разработаны и проходят модульные тесты для большей части кода<br />
* реализовано корректное разграничение стандартных потоков ввода и вывода<br />
<br />
Оценки '''8-10''':<br />
* применение mock-объектов для функционального тестирования (???)<br />
* упаковка утилиты в Debian-пакет<br />
* написана небольшая документация в формате Markdown<br />
* настройка cron-задания для периодического запуска утилиты</div>Jubbonhttps://wiki.cs.hse.ru/index.php?title=DataSpider_(%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82)&diff=425DataSpider (проект)2014-11-19T15:40:32Z<p>Jubbon: /* Какие начальные требования? */</p>
<hr />
<div>{{Карточка_проекта<br />
|name=DataSpider<br />
|mentor=Куликов Дмитрий<br />
|mentor_login={{URLENCODE:{{REVISIONUSER}}|WIKI}}<br />
|semester=Весна 2015<br />
|course=1<br />
|summer=on<br />
|categorize=yes<br />
}}<br />
<br />
=== Что это за проект? ===<br />
Задачей проекта DataSpider является реализация консольной утилиты, предназначенной<br />
для обхода тематических сайтов в сети Интернет и извлечения "полезных" данных. Результатом обхода будет являться текстовый файл в формате CSV или TSV, содержащий извлеченные данные. Подобная программа необходима для получения открытых данных в случае, когда на сайте отсутствует возможность использовать API.<br />
На выбор будут предложены сайты по следующим тематикам:<br />
- Прогноз погоды (gismeteo.ru, meteoinfo.ru, hmn.ru, meteoservice.ru, foreca.ru)<br />
- Финансовые показатели и рейтинги банков (banki.ru, bankir.ru, 101bank.net, raexpert.ru, sravni.ru, banks-rating.ru, сайт ЦБ РФ)<br />
- Финансовые показатели и рейтинги страховых компаний (raexpert.ru, insuru.ru, ic-ratings.ru, inguru.ru, sravni.ru)<br />
- Финансовые показатели и рейтинги туристических фирм (firms.turizm.ru, turreestr.ru, tursvodka.ru,tour-info.ru)<br />
- Продажа и аренда недвижимости (cian.ru, realty.dmir.ru, irr.ru, egsnk.ru, gdeetotdom.ru) <br />
- Спортивные соревнования и спортивная аналитика (myscore.ru, news.sportbox.ru, sports.ru, championat.com)<br />
- Экскурсионные предложения (автобусные экскурсии, речные круизы)<br />
- Интернет-магазины (mvideo.ru, mediamarkt.ru, eldorado.ru, 003.ru, enter.ru)<br />
<br />
=== Чему вы научитесь? ===<br />
* основным принципам межсетевого взаимодействия по протоколу HTTP<br />
* извлекать различные данные из HTML-страниц с помощью языка запросов XPath и регулярных выражений<br />
* разрабатывать алгоритмы для эффективного обхода множества страниц сайта<br />
* корректно использовать аргументы командной строки, переменные окружения, стандартные потоки ввода и вывода при создании консольных утилит<br />
<br />
=== Какие начальные требования? ===<br />
* желательно наличие базовые навыков программирования на языке Python<br />
<br />
=== Какие будут использоваться технологии? ===<br />
* Язык программирования Python версии 2.7<br />
* Python-пакеты Grab, ScraPy, Selenium Web Driver и другие<br />
* Язык запросов XPath<br />
* система контроля версий Git (или Mercurial по желанию студента)<br />
* GitHub в качестве система управления проектом (хранение исходного кода, отслеживание тикетов, управление релизами, ревью) <br />
* Amazon Web Services<br />
<br />
=== Темы вводных занятий ===<br />
<br />
<br />
=== Направления развития ===<br />
Каждая подобная утилита может рассматриваться как источник данных для проведения статистических исследований и различного рода аналитики. Собранные данные могут использоваться методами машинного обучения для построения различных описательных или предсказательных моделей.<br />
<br />
=== Критерии оценки ===<br />
"4-5":<br />
- утилита обходит только один сайт из выбранной тематики<br />
- повторный запуск приводит к перезатиранию предыдущих результатов<br />
<br />
"6-7":<br />
- утилита позволяет обходить два или более тематических сайта<br />
- повторный запуск приводит к накоплению данных в результирующих файлах<br />
- утилита позволяет задавать различные опции командной строки<br />
- разработаны и проходят модульные тесты для большей части кода<br />
- реализовано корректное разграничение стандартных потоков ввода и вывода<br />
<br />
"8-10":<br />
- применение mock-объектов для функционального тестирования (???)<br />
- упаковка утилиты в Debian-пакет<br />
- написана небольшая документация в формате Markdown<br />
- настройка cron-задания для периодического запуска утилиты</div>Jubbonhttps://wiki.cs.hse.ru/index.php?title=DataSpider_(%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82)&diff=424DataSpider (проект)2014-11-19T15:40:21Z<p>Jubbon: /* Чему вы научитесь? */</p>
<hr />
<div>{{Карточка_проекта<br />
|name=DataSpider<br />
|mentor=Куликов Дмитрий<br />
|mentor_login={{URLENCODE:{{REVISIONUSER}}|WIKI}}<br />
|semester=Весна 2015<br />
|course=1<br />
|summer=on<br />
|categorize=yes<br />
}}<br />
<br />
=== Что это за проект? ===<br />
Задачей проекта DataSpider является реализация консольной утилиты, предназначенной<br />
для обхода тематических сайтов в сети Интернет и извлечения "полезных" данных. Результатом обхода будет являться текстовый файл в формате CSV или TSV, содержащий извлеченные данные. Подобная программа необходима для получения открытых данных в случае, когда на сайте отсутствует возможность использовать API.<br />
На выбор будут предложены сайты по следующим тематикам:<br />
- Прогноз погоды (gismeteo.ru, meteoinfo.ru, hmn.ru, meteoservice.ru, foreca.ru)<br />
- Финансовые показатели и рейтинги банков (banki.ru, bankir.ru, 101bank.net, raexpert.ru, sravni.ru, banks-rating.ru, сайт ЦБ РФ)<br />
- Финансовые показатели и рейтинги страховых компаний (raexpert.ru, insuru.ru, ic-ratings.ru, inguru.ru, sravni.ru)<br />
- Финансовые показатели и рейтинги туристических фирм (firms.turizm.ru, turreestr.ru, tursvodka.ru,tour-info.ru)<br />
- Продажа и аренда недвижимости (cian.ru, realty.dmir.ru, irr.ru, egsnk.ru, gdeetotdom.ru) <br />
- Спортивные соревнования и спортивная аналитика (myscore.ru, news.sportbox.ru, sports.ru, championat.com)<br />
- Экскурсионные предложения (автобусные экскурсии, речные круизы)<br />
- Интернет-магазины (mvideo.ru, mediamarkt.ru, eldorado.ru, 003.ru, enter.ru)<br />
<br />
=== Чему вы научитесь? ===<br />
* основным принципам межсетевого взаимодействия по протоколу HTTP<br />
* извлекать различные данные из HTML-страниц с помощью языка запросов XPath и регулярных выражений<br />
* разрабатывать алгоритмы для эффективного обхода множества страниц сайта<br />
* корректно использовать аргументы командной строки, переменные окружения, стандартные потоки ввода и вывода при создании консольных утилит<br />
<br />
=== Какие начальные требования? ===<br />
- желательно наличие базовые навыков программирования на языке Python<br />
<br />
=== Какие будут использоваться технологии? ===<br />
* Язык программирования Python версии 2.7<br />
* Python-пакеты Grab, ScraPy, Selenium Web Driver и другие<br />
* Язык запросов XPath<br />
* система контроля версий Git (или Mercurial по желанию студента)<br />
* GitHub в качестве система управления проектом (хранение исходного кода, отслеживание тикетов, управление релизами, ревью) <br />
* Amazon Web Services<br />
<br />
=== Темы вводных занятий ===<br />
<br />
<br />
=== Направления развития ===<br />
Каждая подобная утилита может рассматриваться как источник данных для проведения статистических исследований и различного рода аналитики. Собранные данные могут использоваться методами машинного обучения для построения различных описательных или предсказательных моделей.<br />
<br />
=== Критерии оценки ===<br />
"4-5":<br />
- утилита обходит только один сайт из выбранной тематики<br />
- повторный запуск приводит к перезатиранию предыдущих результатов<br />
<br />
"6-7":<br />
- утилита позволяет обходить два или более тематических сайта<br />
- повторный запуск приводит к накоплению данных в результирующих файлах<br />
- утилита позволяет задавать различные опции командной строки<br />
- разработаны и проходят модульные тесты для большей части кода<br />
- реализовано корректное разграничение стандартных потоков ввода и вывода<br />
<br />
"8-10":<br />
- применение mock-объектов для функционального тестирования (???)<br />
- упаковка утилиты в Debian-пакет<br />
- написана небольшая документация в формате Markdown<br />
- настройка cron-задания для периодического запуска утилиты</div>Jubbonhttps://wiki.cs.hse.ru/index.php?title=DataSpider_(%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82)&diff=423DataSpider (проект)2014-11-19T15:40:00Z<p>Jubbon: /* Какие будут использоваться технологии? */</p>
<hr />
<div>{{Карточка_проекта<br />
|name=DataSpider<br />
|mentor=Куликов Дмитрий<br />
|mentor_login={{URLENCODE:{{REVISIONUSER}}|WIKI}}<br />
|semester=Весна 2015<br />
|course=1<br />
|summer=on<br />
|categorize=yes<br />
}}<br />
<br />
=== Что это за проект? ===<br />
Задачей проекта DataSpider является реализация консольной утилиты, предназначенной<br />
для обхода тематических сайтов в сети Интернет и извлечения "полезных" данных. Результатом обхода будет являться текстовый файл в формате CSV или TSV, содержащий извлеченные данные. Подобная программа необходима для получения открытых данных в случае, когда на сайте отсутствует возможность использовать API.<br />
На выбор будут предложены сайты по следующим тематикам:<br />
- Прогноз погоды (gismeteo.ru, meteoinfo.ru, hmn.ru, meteoservice.ru, foreca.ru)<br />
- Финансовые показатели и рейтинги банков (banki.ru, bankir.ru, 101bank.net, raexpert.ru, sravni.ru, banks-rating.ru, сайт ЦБ РФ)<br />
- Финансовые показатели и рейтинги страховых компаний (raexpert.ru, insuru.ru, ic-ratings.ru, inguru.ru, sravni.ru)<br />
- Финансовые показатели и рейтинги туристических фирм (firms.turizm.ru, turreestr.ru, tursvodka.ru,tour-info.ru)<br />
- Продажа и аренда недвижимости (cian.ru, realty.dmir.ru, irr.ru, egsnk.ru, gdeetotdom.ru) <br />
- Спортивные соревнования и спортивная аналитика (myscore.ru, news.sportbox.ru, sports.ru, championat.com)<br />
- Экскурсионные предложения (автобусные экскурсии, речные круизы)<br />
- Интернет-магазины (mvideo.ru, mediamarkt.ru, eldorado.ru, 003.ru, enter.ru)<br />
<br />
=== Чему вы научитесь? ===<br />
- основным принципам межсетевого взаимодействия по протоколу HTTP<br />
- извлекать различные данные из HTML-страниц с помощью языка запросов XPath и регулярных выражений<br />
- разрабатывать алгоритмы для эффективного обхода множества страниц сайта<br />
- корректно использовать аргументы командной строки, переменные окружения, стандартные потоки ввода и вывода при создании консольных утилит<br />
<br />
=== Какие начальные требования? ===<br />
- желательно наличие базовые навыков программирования на языке Python<br />
<br />
=== Какие будут использоваться технологии? ===<br />
* Язык программирования Python версии 2.7<br />
* Python-пакеты Grab, ScraPy, Selenium Web Driver и другие<br />
* Язык запросов XPath<br />
* система контроля версий Git (или Mercurial по желанию студента)<br />
* GitHub в качестве система управления проектом (хранение исходного кода, отслеживание тикетов, управление релизами, ревью) <br />
* Amazon Web Services<br />
<br />
=== Темы вводных занятий ===<br />
<br />
<br />
=== Направления развития ===<br />
Каждая подобная утилита может рассматриваться как источник данных для проведения статистических исследований и различного рода аналитики. Собранные данные могут использоваться методами машинного обучения для построения различных описательных или предсказательных моделей.<br />
<br />
=== Критерии оценки ===<br />
"4-5":<br />
- утилита обходит только один сайт из выбранной тематики<br />
- повторный запуск приводит к перезатиранию предыдущих результатов<br />
<br />
"6-7":<br />
- утилита позволяет обходить два или более тематических сайта<br />
- повторный запуск приводит к накоплению данных в результирующих файлах<br />
- утилита позволяет задавать различные опции командной строки<br />
- разработаны и проходят модульные тесты для большей части кода<br />
- реализовано корректное разграничение стандартных потоков ввода и вывода<br />
<br />
"8-10":<br />
- применение mock-объектов для функционального тестирования (???)<br />
- упаковка утилиты в Debian-пакет<br />
- написана небольшая документация в формате Markdown<br />
- настройка cron-задания для периодического запуска утилиты</div>Jubbonhttps://wiki.cs.hse.ru/index.php?title=DataSpider_(%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82)&diff=422DataSpider (проект)2014-11-19T15:39:39Z<p>Jubbon: /* Какие будут использоваться технологии? */</p>
<hr />
<div>{{Карточка_проекта<br />
|name=DataSpider<br />
|mentor=Куликов Дмитрий<br />
|mentor_login={{URLENCODE:{{REVISIONUSER}}|WIKI}}<br />
|semester=Весна 2015<br />
|course=1<br />
|summer=on<br />
|categorize=yes<br />
}}<br />
<br />
=== Что это за проект? ===<br />
Задачей проекта DataSpider является реализация консольной утилиты, предназначенной<br />
для обхода тематических сайтов в сети Интернет и извлечения "полезных" данных. Результатом обхода будет являться текстовый файл в формате CSV или TSV, содержащий извлеченные данные. Подобная программа необходима для получения открытых данных в случае, когда на сайте отсутствует возможность использовать API.<br />
На выбор будут предложены сайты по следующим тематикам:<br />
- Прогноз погоды (gismeteo.ru, meteoinfo.ru, hmn.ru, meteoservice.ru, foreca.ru)<br />
- Финансовые показатели и рейтинги банков (banki.ru, bankir.ru, 101bank.net, raexpert.ru, sravni.ru, banks-rating.ru, сайт ЦБ РФ)<br />
- Финансовые показатели и рейтинги страховых компаний (raexpert.ru, insuru.ru, ic-ratings.ru, inguru.ru, sravni.ru)<br />
- Финансовые показатели и рейтинги туристических фирм (firms.turizm.ru, turreestr.ru, tursvodka.ru,tour-info.ru)<br />
- Продажа и аренда недвижимости (cian.ru, realty.dmir.ru, irr.ru, egsnk.ru, gdeetotdom.ru) <br />
- Спортивные соревнования и спортивная аналитика (myscore.ru, news.sportbox.ru, sports.ru, championat.com)<br />
- Экскурсионные предложения (автобусные экскурсии, речные круизы)<br />
- Интернет-магазины (mvideo.ru, mediamarkt.ru, eldorado.ru, 003.ru, enter.ru)<br />
<br />
=== Чему вы научитесь? ===<br />
- основным принципам межсетевого взаимодействия по протоколу HTTP<br />
- извлекать различные данные из HTML-страниц с помощью языка запросов XPath и регулярных выражений<br />
- разрабатывать алгоритмы для эффективного обхода множества страниц сайта<br />
- корректно использовать аргументы командной строки, переменные окружения, стандартные потоки ввода и вывода при создании консольных утилит<br />
<br />
=== Какие начальные требования? ===<br />
- желательно наличие базовые навыков программирования на языке Python<br />
<br />
=== Какие будут использоваться технологии? ===<br />
* Язык программирования Python версии 2.7<br />
* Python-пакеты Grab, ScraPy, Selenium Web Driver и другие<br />
* Язык запросов XPath<br />
* система контроля версий Git (или Mercurial по желанию студента)<br />
* GitHub в качестве система управления проектом (хранение исходного кода, отслеживание тикетов, управление релизами, ревью) <br />
* Amazon Web Services<br />
<br />
=== Темы вводных занятий ===<br />
<br />
<br />
=== Направления развития ===<br />
Каждая подобная утилита может рассматриваться как источник данных для проведения статистических исследований и различного рода аналитики. Собранные данные могут использоваться методами машинного обучения для построения различных описательных или предсказательных моделей.<br />
<br />
=== Критерии оценки ===<br />
"4-5":<br />
- утилита обходит только один сайт из выбранной тематики<br />
- повторный запуск приводит к перезатиранию предыдущих результатов<br />
<br />
"6-7":<br />
- утилита позволяет обходить два или более тематических сайта<br />
- повторный запуск приводит к накоплению данных в результирующих файлах<br />
- утилита позволяет задавать различные опции командной строки<br />
- разработаны и проходят модульные тесты для большей части кода<br />
- реализовано корректное разграничение стандартных потоков ввода и вывода<br />
<br />
"8-10":<br />
- применение mock-объектов для функционального тестирования (???)<br />
- упаковка утилиты в Debian-пакет<br />
- написана небольшая документация в формате Markdown<br />
- настройка cron-задания для периодического запуска утилиты</div>Jubbonhttps://wiki.cs.hse.ru/index.php?title=DataSpider_(%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82)&diff=421DataSpider (проект)2014-11-19T15:38:53Z<p>Jubbon: Новая страница, с помощью формы Новый_проект</p>
<hr />
<div>{{Карточка_проекта<br />
|name=DataSpider<br />
|mentor=Куликов Дмитрий<br />
|mentor_login={{URLENCODE:{{REVISIONUSER}}|WIKI}}<br />
|semester=Весна 2015<br />
|course=1<br />
|summer=on<br />
|categorize=yes<br />
}}<br />
<br />
=== Что это за проект? ===<br />
Задачей проекта DataSpider является реализация консольной утилиты, предназначенной<br />
для обхода тематических сайтов в сети Интернет и извлечения "полезных" данных. Результатом обхода будет являться текстовый файл в формате CSV или TSV, содержащий извлеченные данные. Подобная программа необходима для получения открытых данных в случае, когда на сайте отсутствует возможность использовать API.<br />
На выбор будут предложены сайты по следующим тематикам:<br />
- Прогноз погоды (gismeteo.ru, meteoinfo.ru, hmn.ru, meteoservice.ru, foreca.ru)<br />
- Финансовые показатели и рейтинги банков (banki.ru, bankir.ru, 101bank.net, raexpert.ru, sravni.ru, banks-rating.ru, сайт ЦБ РФ)<br />
- Финансовые показатели и рейтинги страховых компаний (raexpert.ru, insuru.ru, ic-ratings.ru, inguru.ru, sravni.ru)<br />
- Финансовые показатели и рейтинги туристических фирм (firms.turizm.ru, turreestr.ru, tursvodka.ru,tour-info.ru)<br />
- Продажа и аренда недвижимости (cian.ru, realty.dmir.ru, irr.ru, egsnk.ru, gdeetotdom.ru) <br />
- Спортивные соревнования и спортивная аналитика (myscore.ru, news.sportbox.ru, sports.ru, championat.com)<br />
- Экскурсионные предложения (автобусные экскурсии, речные круизы)<br />
- Интернет-магазины (mvideo.ru, mediamarkt.ru, eldorado.ru, 003.ru, enter.ru)<br />
<br />
=== Чему вы научитесь? ===<br />
- основным принципам межсетевого взаимодействия по протоколу HTTP<br />
- извлекать различные данные из HTML-страниц с помощью языка запросов XPath и регулярных выражений<br />
- разрабатывать алгоритмы для эффективного обхода множества страниц сайта<br />
- корректно использовать аргументы командной строки, переменные окружения, стандартные потоки ввода и вывода при создании консольных утилит<br />
<br />
=== Какие начальные требования? ===<br />
- желательно наличие базовые навыков программирования на языке Python<br />
<br />
=== Какие будут использоваться технологии? ===<br />
- Язык программирования Python версии 2.7<br />
- Python-пакеты Grab, ScraPy, Selenium Web Driver и другие<br />
- Язык запросов XPath<br />
- система контроля версий Git (или Mercurial по желанию студента)<br />
- GitHub в качестве система управления проектом (хранение исходного кода, отслеживание тикетов, управление релизами, ревью) <br />
- Amazon Web Services<br />
<br />
=== Темы вводных занятий ===<br />
<br />
<br />
=== Направления развития ===<br />
Каждая подобная утилита может рассматриваться как источник данных для проведения статистических исследований и различного рода аналитики. Собранные данные могут использоваться методами машинного обучения для построения различных описательных или предсказательных моделей.<br />
<br />
=== Критерии оценки ===<br />
"4-5":<br />
- утилита обходит только один сайт из выбранной тематики<br />
- повторный запуск приводит к перезатиранию предыдущих результатов<br />
<br />
"6-7":<br />
- утилита позволяет обходить два или более тематических сайта<br />
- повторный запуск приводит к накоплению данных в результирующих файлах<br />
- утилита позволяет задавать различные опции командной строки<br />
- разработаны и проходят модульные тесты для большей части кода<br />
- реализовано корректное разграничение стандартных потоков ввода и вывода<br />
<br />
"8-10":<br />
- применение mock-объектов для функционального тестирования (???)<br />
- упаковка утилиты в Debian-пакет<br />
- написана небольшая документация в формате Markdown<br />
- настройка cron-задания для периодического запуска утилиты</div>Jubbonhttps://wiki.cs.hse.ru/index.php?title=%D0%A3%D1%87%D0%B0%D1%81%D1%82%D0%BD%D0%B8%D0%BA:Jubbon&diff=332Участник:Jubbon2014-11-11T09:55:25Z<p>Jubbon: Указал свою должность</p>
<hr />
<div>Добро пожаловать!<br />
<br />
Меня зовут Дмитрий Куликов и я работаю разработчиком в Яндексе.<br />
<br />
Со мной можно связаться по электронной почте jubbon@yandex.ru или мобильному телефону (925)126-94-85.</div>Jubbonhttps://wiki.cs.hse.ru/index.php?title=%D0%A3%D1%87%D0%B0%D1%81%D1%82%D0%BD%D0%B8%D0%BA:Jubbon&diff=331Участник:Jubbon2014-11-11T09:54:36Z<p>Jubbon: Начальное заполнение моей личной страницы</p>
<hr />
<div>Добро пожаловать!<br />
<br />
Меня зовут Дмитрий Куликов и я работаю в Яндексе.<br />
<br />
Со мной можно связаться по электронной почте jubbon@yandex.ru или мобильному телефону (925)126-94-85.</div>Jubbon