https://wiki.cs.hse.ru/api.php?action=feedcontributions&feedformat=atom&user=Ilya+Kuzminov 2026-09-22T19:53:46Z Вклад MediaWiki 1.43.9 https://wiki.cs.hse.ru/index.php?title=%D0%A1%D0%B8%D1%81%D1%82%D0%B5%D0%BC%D0%B0%D1%82%D0%B8%D0%B7%D0%B0%D1%86%D0%B8%D1%8F_%D0%B8_%D1%80%D0%B5%D1%84%D0%BE%D1%80%D0%BC%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5_%D0%B1%D0%B0%D0%B7%D1%8B_%D0%B8%D0%B7%D0%B2%D0%BB%D0%B5%D1%87%D0%B5%D0%BD%D0%BD%D1%8B%D1%85_%D0%B7%D0%BD%D0%B0%D0%BD%D0%B8%D0%B9_(%D0%BA%D0%BE%D0%BC%D0%B0%D0%BD%D0%B4%D0%BD%D1%8B%D0%B9_%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82)&diff=25308 2017-10-16T20:04:26Z

<p>Ilya Kuzminov: </p> <hr /> <div>{{Карточка_командного_проекта<br /> |name=Систематизация и реформирование базы извлеченных знаний<br /> |company=ИСИЭЗ НИУ ВШЭ<br /> |semester=Осень 2017<br /> |course=3<br /> |number_of_students=2-5<br /> |categorize=yes<br /> }}<br /> <br /> === Что это за проект? ===<br /> Это проект по созданию единой структуры базы извлеченных знаний, с помощью которой можно будет проследить наследуемость, схожесть (близость) данных, обнаружить новые связи и на основании их получить новые знания.<br /> Извлеченные данные уже автоматически загружены в унифицированном для всех их источников формате в облачное хранилище в виде таблиц баз данных (мы используем PostgreSQL).<br /> Необходимо таблицы разного формата, например такие (фактические данные будут отличаться, но принцип оформления буквально тот же):<br /> ----<br /> :1. Продукция совхоза имени Ленина<br /> ::a. Фрукты<br /> :::i. Яблоки<br /> ::::ii. Сорт «Грени»<br /> ----<br /> <br /> 1.Фермерское хозяйство ООО «Солнышко» -&gt; 2. Продукты -&gt; 2.1. Голден-Смит, Яблоки; 2. 2. Сезонные, Яблоки; 2.3. Сезонные, Помидоры; 2.4. Сезонные, Груши; 2.5. Подмосковные, Огурцы.<br /> ----<br /> <br /> привести к единому формату, причем так, чтобы с помощью sql-запроса можно было, например, получить всех «детей» какого-то элемента [в данном случае сорта] определенного вида продукции (тех же яблок или груш). <br /> <br /> В ходе работы над этим проектом придется решить множество задач по извлечению и очистке данных от шума и мусора, а также выработать наиболее оптимальный алгоритм по нахождению близости между одноуровневыми элементами разных списков, возможно даже, между элементами разных уровней.<br /> <br /> Алгоритм нахождения близости должен быть подобран студентами на основании проведенного ими анализа и сравнения (экспериментально) точности существующих средств по приведению формы слова к нормальной (мн. ч. к ед. ч. [data &lt;=&gt; datum], избавление от окончаний родов\падежей и т.п.) в контексте решаемой задачи; по приведению словарной базы к единому знаменателю: векторному\численному представлению, например, с помощью word2vec, sense2vec и подобных. <br /> <br /> Для проведения такого анализа в частности потребуется использование либо обученной модели данных, либо модифицированной самими студентами для нужд данной задачи имеющейся модели, либо же создание студентами собственной.<br /> <br /> В итоге у команды, работающей над этим проектом, должен будет получиться набор sql-запросов и таблиц, позволяющих обращаться напрямую к любым элементам структуры, извлекать их, и применять к ним ко всем без дополнительной подготовки со стороны пользователя аналитические инструменты.<br /> <br /> === Чему научатся студенты? Что самое интересное в проекте? ===<br /> Анализировать и приводить к стандартному виду большие объемы совершенно разрозненных данных.<br /> Работать с базами данных, разрабатывать сложные алгоритмы извлечения, обработки, стандартизации и сравнения данных.<br /> Применять и дорабатывать для практических нужд теоретические алгоритмы компьютерной лингвистики.<br /> Работать с инструментами машинного обучения на уровне, позволяющем решать реальные задачи. Модифицировать\обучать собственные модели данных.<br /> Работать с облачными сервисами БД (например, AWS).<br /> Командной работе (не только с программистами, но и с аналитиками и пр. специалистами); работе в крупном проекте, где каждый завершенный этап является важным элементом всего проекта и можно наглядно наблюдать практическую значимость проделанной работы.<br /> <br /> === Организация работы (Как студенты будут работать в команде?) ===<br /> Работа над проектом будет состоять из следующих этапов:<br /> * Самостоятельное ознакомление с базовыми возможностями основных инструментами и библиотек, используемых для разработки проекта;<br /> * Ознакомление с имеющимися в базе знаний данными, ознакомление со структурой этих данных;<br /> * Распределение обязанностей и начало разработки над проектом (тестовое)<br /> * Консультирование по первому (пробному) этапу работы над проектом, обсуждение проблем (технических, командных и пр.), установка плана работ над проектом (milestones и пр.)<br /> * Периодическая проверка на соответствие текущего состояния проработанности проекта обозначенному плану.<br /> * Финальная проверка реализации проекта.<br /> <br /> === Компоненеты (Из каких частей состоит проект?) ===<br /> * База извлеченных знаний, располагающаяся на облачном сервисе (с которой студентам предстоит работать);<br /> * Описание разработанной унифицированной структуры базы данных (небольшой технический отчет о том, какие функции используются для обработки первичных данных, для приведения их к стандартизированному виду, для разбиения на элементы структуры; краткое описание формата итоговых таблиц)<br /> * Описание работы с моделью и инструментами машинного обучения<br /> * Таблицы, полученные в результате обработки первичных данных<br /> * Таблицы с обработанными данными и проработанной структурой<br /> * Выполненные в ходе работы над проектом sql-запросы (с комментариями)<br /> * Полученные результаты машинного обучения<br /> * Дополнительные отчеты\листинги\пояснительные записки по проекту (если возникнет такая производственная необходимость)<br /> <br /> === Какие будут использоваться технологии? ===<br /> PostgreSQL, REGEXP, алгоритмы нахождения близости (Jaccard Similarity, Sorensen–Dice coefficient), алгоритмы машинного обучения (посредством библиотек SpaCy/NLTK и т.п.)<br /> <br /> Amazon Web Services<br /> <br /> === Какие начальные требования? ===<br /> Знание SQL на уровне, достаточном для быстрого освоения более специфичных для наших задач возможностей PostgreSQL (в идеале — опыт работы с PostgreSQL)<br /> Желательно знание R (возможно, пригодится для понимания или написания некоторых функций). <br /> Знание Python (в идеале – опыт работы с машинным обучением)<br /> <br /> === Темы вводных занятий ===<br /> * Особенности работы с нашими хранилищами данных.<br /> * Особенности работы с имеющимися у нас структурами данных.<br /> <br /> === Критерии оценки ===<br /> ''0-3'': Не написаны запросы по обработке и\или структуризации данных. Данные обработаны крайне плохо. Нет возможности «достать» наследующие элементы структуры.<br /> <br /> ''4-5'': Написанные запросы работают, обрабатывая все или большую часть доступных данных, данные загружаются в правильном формате. По необъективным причинам в данных присутствует большое количество шума, мусора, и\или некоторая часть данных, доступная для структуризации, не была извлечена, обработана и структурирована. А также работа с данными производилась на локальных устройствах. Проект не имеет отчетности, код запросов представлен без комментариев.<br /> <br /> ''6-7'': Написанные запросы работают, обрабатывая все или большую часть доступных данных, данные приведены к единой структуре, есть возможность извлечения элементов-детей и родителей по детям. Небольшая часть данных, доступная для очистки и обработки, не была обработана и структуризирована. В коде запросов присутствуют комментарии, достаточные для их понимания. Предоставлена отчетность по структуре заполнения таблиц и функционалу разработанных алгоритмов, позволяющая получить достаточное представление о том, как создавался и из чего состоит финальный результат проекта.<br /> <br /> ''8-10'': Написанные запросы работают, извлекая все доступные данные из БД, данные загружаются в правильном формате на единое общедоступное облачное хранилище. Данные очищены от мусора и шума, обработаны и структуризированы в полном объеме. Код запросов полностью закомментирован (опуская комментирование встроенных функций и пр. очевидные вещи). Предоставлен достаточно детализированный отчет о полученной структуре данных, разработанных функциях и алгоритмах.<br /> <br /> === Похожие проекты ===<br /> <br /> <br /> === Контактная информация ===<br /> <br /> Ментор: [[Участник:Ilya Kuzminov|Кузьминов Илья Филиппович]]<br /> <br /> Email: ''ikuzminov@hse.ru''<br /> <br /> Рабочий телефон: +7 (495) 772-9590 доб. 12022<br /> <br /> '''Технические\организационные и пр. вопросы: ''Юлия Исаева'' '''<br /> <br /> Email: ''yisaeva@hse.ru''<br /> <br /> Тел.: +7 (495) 772 9590 доб. 22543</div>

Ilya Kuzminov https://wiki.cs.hse.ru/index.php?title=%D0%A0%D0%B5%D0%BF%D0%BE%D0%B7%D0%B8%D1%82%D0%BE%D1%80%D0%B8%D0%B9_%D0%B0%D0%B2%D1%82%D0%BE%D0%BC%D0%B0%D1%82%D0%B8%D0%B7%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%BD%D0%BE%D0%B3%D0%BE_%D0%BF%D0%B0%D1%80%D1%81%D0%B8%D0%BD%D0%B3%D0%B0_(%D0%BA%D0%BE%D0%BC%D0%B0%D0%BD%D0%B4%D0%BD%D1%8B%D0%B9_%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82)&diff=25307 2017-10-16T20:03:44Z

<p>Ilya Kuzminov: /* Контактная информация */</p> <hr /> <div>{{Карточка_командного_проекта<br /> |name=Репозиторий автоматизированного парсинга<br /> |company=ИСИЭЗ НИУ ВШЭ<br /> |semester=Осень 2017<br /> |course=3<br /> |number_of_students=3-5<br /> |categorize=yes<br /> }}<br /> <br /> === Что это за проект? ===<br /> Это проект по созданию единого репозитория для автоматизированного парсинга сайтов одной тематики, с целью дальнейшего использования извлеченной информации в аналитике и прогнозах.<br /> <br /> С сайтов должны быть извлечены все максимально полезные метаданные о публикациях, статьях, грантах и т.п., например, время создания, авторство, категория, теги и т.п. параметры. Извлеченные данные должны будут автоматически загружены в унифицированном для всех их источников формате в облачное хранилище в виде таблиц баз данных (мы используем PostgreSQL).<br /> Задача по извлечению изначально может показаться достаточно простой, но на практике это далеко не так. В случаях с некоторыми сайтами можно будет применить инструменты разработанного у нас фреймворка на базе Scrapy для извлечения данных. Однако, скорее всего, придется работать также с такими инструментами как Selenium.<br /> <br /> В итоге у команды, работающей над этим проектом, должен будет получится набор скриптов-парсеров, осуществляющих задачи, собственно, парсинга, а также загрузки данных в БД, запускаемых в рамках единого проекта (т.е. так, чтобы обработка группы сайтов могла быть запущена единой командой управления, без ручного вмешательства разработчиков).<br /> <br /> === Чему научатся студенты? Что самое интересное в проекте? ===<br /> Анализировать и приводить к стандартному виду большие объемы совершенно разрозненных данных.<br /> Разрабатывать и дорабатывать платформенные механизмы (фреймворки) автоматизированного сбора данных с веб-сайтов.<br /> Работать с базами данных, разрабатывать алгоритмы автоматизированного их пополнения, изменения и пр.<br /> Работать с облачными сервисами БД (например, AWS).<br /> Командной работе (не только с программистами, но и с аналитиками и пр. специалистами).<br /> Гибкости ума и прочим навыкам парсинга (т. к. для извлечения некоторых данных приходится использовать весьма нетривиальные пути).<br /> <br /> === Организация работы (Как студенты будут работать в команде?) ===<br /> Работа над проектом будет состоять из следующих этапов:<br /> * Самостоятельное ознакомление с базовыми возможностями основных инструментами и библиотек, используемых для разработки проекта;<br /> * Ознакомление с разработанным у нас фреймворком; обсуждение возможности использования определенных инструментов на каждой группе сайтов в отдельности;<br /> * Распределение обязанностей и начало разработки над проектом (тестовое)<br /> * Консультирование по первому (пробному) этапу работы над проектом, обсуждение проблем (технических, командных и пр.), установка плана работ над проектом (milestones и пр.)<br /> * Периодическая проверка на соответствие текущего состояния проработанности проекта обозначенному плану.<br /> * Финальная проверка реализации проекта.<br /> <br /> === Компоненеты (Из каких частей состоит проект?) ===<br /> * Разработанный в ИСИЭЗ фреймворк для извлечения данных (база для создания репозитория);<br /> * Разработанные самими студентами скрипты-парсеры на основании фреймворка (в случае возможности применения фреймворка для назначенных сайтов);<br /> * Разработанные самими студентами скрипты-парсеры на основании других библиотек парсинга (в случае '''не''' возможности применения фреймворка для назначенных сайтов);<br /> * Дополнения к фреймворку для обработки неформатных данных, упрощения процесса загрузки в БД и пр., написанные самими студентами, в случае необходимости создания таковых.<br /> <br /> === Какие будут использоваться технологии? ===<br /> Python 3, Scrapy, Selenium, PostgreSQL, lxml, Pandas, собственный фреймворк организации на Python + Scrapy для парсинга сайтов<br /> Amazon Web Services<br /> <br /> === Какие начальные требования? ===<br /> Знание Python на уровне, достаточном для быстрого освоения новых библиотек (для парсинга и пр.).<br /> Желательно знание Selenium, lxml, Scrapy или прочих библиотек.<br /> Наличие как минимум минимальных компетенций в работе с базами данных (в идеале — опыт работы с PostgreSQL)<br /> <br /> === Темы вводных занятий ===<br /> * Особенности парсинга на Python (в случае, если будут студенты, которые никогда не занимались решением подобного рода задач).<br /> * Особенности парсинга с помощью библиотеки Scrapy.<br /> * Особенности нашего фреймворка.<br /> <br /> === Критерии оценки ===<br /> ''0-3'': Написанные парсеры не работают или не извлекают большую часть доступных для извлечения данных, или данных извлекаются плохо и не в нужном формате, или распарсено по необъективным причинам менее 50% обозначенных сайтов, а также не организован доступ данных на общее хранилище (сбор данных производился на локальные устройства). Нет возможности проверить код, полностью отсутствуют комментарии и пояснения по проекту.<br /> <br /> ''4-5'': Написанные парсеры работают, извлекая все или большую часть доступных данных с сайтов, данные загружаются в правильном формате. По необъективным причинам распарсены не все сайты (до 65%) и некоторая часть данных, доступная для извлечения, не была извлечена или была извлечена неправильно. А также сбор данных производился на локальные устройства или проект написан на плохо читабельном коде, без комментариев.<br /> <br /> ''6-7'': Написанные парсеры работают, извлекая все или большую часть доступных данных с сайтов, данные загружаются в правильном формате на единое общедоступное облачное хранилище. Распарсены не все сайты или некоторая часть данных, доступная для извлечения, не была извлечена. В части кода проекта, опирающейся на одни и те же инструменты, присутствует консистентность. В коде присутствуют комментарии, достаточные для его понимания.<br /> <br /> ''8-10'': Написанные парсеры работают, извлекая все доступные данные с сайтов, данные загружаются в правильном формате на единое общедоступное облачное хранилище. Распарсено как минимум 90% сайтов. В части кода проекта, опирающейся на одни и те же инструменты, присутствует консистентность. Код проекта полностью закомментирован (опуская комментирование встроенных функций, подключение библиотек и пр. очевидные вещи).<br /> <br /> === Похожие проекты ===<br /> <br /> <br /> === Контактная информация ===<br /> <br /> Ментор: [[Участник:Ilya Kuzminov|Кузьминов Илья Филиппович]]<br /> <br /> Email: ''ikuzminov@hse.ru''<br /> <br /> Рабочий телефон: +7 (495) 772-9590 доб. 12022<br /> <br /> '''Технические\организационные и пр. вопросы: ''Юлия Исаева'' '''<br /> <br /> Email: ''yisaeva@hse.ru''<br /> <br /> Тел.: +7 (495) 772 9590 доб. 22543</div>

Ilya Kuzminov https://wiki.cs.hse.ru/index.php?title=%D0%A0%D0%B5%D0%BF%D0%BE%D0%B7%D0%B8%D1%82%D0%BE%D1%80%D0%B8%D0%B9_%D0%B0%D0%B2%D1%82%D0%BE%D0%BC%D0%B0%D1%82%D0%B8%D0%B7%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%BD%D0%BE%D0%B3%D0%BE_%D0%BF%D0%B0%D1%80%D1%81%D0%B8%D0%BD%D0%B3%D0%B0_(%D0%BA%D0%BE%D0%BC%D0%B0%D0%BD%D0%B4%D0%BD%D1%8B%D0%B9_%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82)&diff=24996 2017-10-07T18:40:10Z

<p>Ilya Kuzminov: </p> <hr /> <div>{{Карточка_командного_проекта<br /> |name=Репозиторий автоматизированного парсинга<br /> |company=ИСИЭЗ НИУ ВШЭ<br /> |semester=Осень 2017<br /> |course=3<br /> |number_of_students=3-5<br /> |categorize=yes<br /> }}<br /> <br /> === Что это за проект? ===<br /> Это проект по созданию единого репозитория для автоматизированного парсинга сайтов одной тематики, с целью дальнейшего использования извлеченной информации в аналитике и прогнозах.<br /> <br /> С сайтов должны быть извлечены все максимально полезные метаданные о публикациях, статьях, грантах и т.п., например, время создания, авторство, категория, теги и т.п. параметры. Извлеченные данные должны будут автоматически загружены в унифицированном для всех их источников формате в облачное хранилище в виде таблиц баз данных (мы используем PostgreSQL).<br /> Задача по извлечению изначально может показаться достаточно простой, но на практике это далеко не так. В случаях с некоторыми сайтами можно будет применить инструменты разработанного у нас фреймворка на базе Scrapy для извлечения данных. Однако, скорее всего, придется работать также с такими инструментами как Selenium.<br /> <br /> В итоге у команды, работающей над этим проектом, должен будет получится набор скриптов-парсеров, осуществляющих задачи, собственно, парсинга, а также загрузки данных в БД, запускаемых в рамках единого проекта (т.е. так, чтобы обработка группы сайтов могла быть запущена единой командой управления, без ручного вмешательства разработчиков).<br /> <br /> === Чему научатся студенты? Что самое интересное в проекте? ===<br /> Анализировать и приводить к стандартному виду большие объемы совершенно разрозненных данных.<br /> Разрабатывать и дорабатывать платформенные механизмы (фреймворки) автоматизированного сбора данных с веб-сайтов.<br /> Работать с базами данных, разрабатывать алгоритмы автоматизированного их пополнения, изменения и пр.<br /> Работать с облачными сервисами БД (например, AWS).<br /> Командной работе (не только с программистами, но и с аналитиками и пр. специалистами).<br /> Гибкости ума и прочим навыкам парсинга (т. к. для извлечения некоторых данных приходится использовать весьма нетривиальные пути).<br /> <br /> === Организация работы (Как студенты будут работать в команде?) ===<br /> Работа над проектом будет состоять из следующих этапов:<br /> * Самостоятельное ознакомление с базовыми возможностями основных инструментами и библиотек, используемых для разработки проекта;<br /> * Ознакомление с разработанным у нас фреймворком; обсуждение возможности использования определенных инструментов на каждой группе сайтов в отдельности;<br /> * Распределение обязанностей и начало разработки над проектом (тестовое)<br /> * Консультирование по первому (пробному) этапу работы над проектом, обсуждение проблем (технических, командных и пр.), установка плана работ над проектом (milestones и пр.)<br /> * Периодическая проверка на соответствие текущего состояния проработанности проекта обозначенному плану.<br /> * Финальная проверка реализации проекта.<br /> <br /> === Компоненеты (Из каких частей состоит проект?) ===<br /> * Разработанный в ИСИЭЗ фреймворк для извлечения данных (база для создания репозитория);<br /> * Разработанные самими студентами скрипты-парсеры на основании фреймворка (в случае возможности применения фреймворка для назначенных сайтов);<br /> * Разработанные самими студентами скрипты-парсеры на основании других библиотек парсинга (в случае '''не''' возможности применения фреймворка для назначенных сайтов);<br /> * Дополнения к фреймворку для обработки неформатных данных, упрощения процесса загрузки в БД и пр., написанные самими студентами, в случае необходимости создания таковых.<br /> <br /> === Какие будут использоваться технологии? ===<br /> Python 3, Scrapy, Selenium, PostgreSQL, lxml, Pandas, собственный фреймворк организации на Python + Scrapy для парсинга сайтов<br /> Amazon Web Services<br /> <br /> === Какие начальные требования? ===<br /> Знание Python на уровне, достаточном для быстрого освоения новых библиотек (для парсинга и пр.).<br /> Желательно знание Selenium, lxml, Scrapy или прочих библиотек.<br /> Наличие как минимум минимальных компетенций в работе с базами данных (в идеале — опыт работы с PostgreSQL)<br /> <br /> === Темы вводных занятий ===<br /> * Особенности парсинга на Python (в случае, если будут студенты, которые никогда не занимались решением подобного рода задач).<br /> * Особенности парсинга с помощью библиотеки Scrapy.<br /> * Особенности нашего фреймворка.<br /> <br /> === Критерии оценки ===<br /> ''0-3'': Написанные парсеры не работают или не извлекают большую часть доступных для извлечения данных, или данных извлекаются плохо и не в нужном формате, или распарсено по необъективным причинам менее 50% обозначенных сайтов, а также не организован доступ данных на общее хранилище (сбор данных производился на локальные устройства). Нет возможности проверить код, полностью отсутствуют комментарии и пояснения по проекту.<br /> <br /> ''4-5'': Написанные парсеры работают, извлекая все или большую часть доступных данных с сайтов, данные загружаются в правильном формате. По необъективным причинам распарсены не все сайты (до 65%) и некоторая часть данных, доступная для извлечения, не была извлечена или была извлечена неправильно. А также сбор данных производился на локальные устройства или проект написан на плохо читабельном коде, без комментариев.<br /> <br /> ''6-7'': Написанные парсеры работают, извлекая все или большую часть доступных данных с сайтов, данные загружаются в правильном формате на единое общедоступное облачное хранилище. Распарсены не все сайты или некоторая часть данных, доступная для извлечения, не была извлечена. В части кода проекта, опирающейся на одни и те же инструменты, присутствует консистентность. В коде присутствуют комментарии, достаточные для его понимания.<br /> <br /> ''8-10'': Написанные парсеры работают, извлекая все доступные данные с сайтов, данные загружаются в правильном формате на единое общедоступное облачное хранилище. Распарсено как минимум 90% сайтов. В части кода проекта, опирающейся на одни и те же инструменты, присутствует консистентность. Код проекта полностью закомментирован (опуская комментирование встроенных функций, подключение библиотек и пр. очевидные вещи).<br /> <br /> === Похожие проекты ===<br /> <br /> <br /> === Контактная информация ===<br /> <br /> Ментор: [[Участник:Ilya Kuzminov|Кузьминов Илья Филиппович]]<br /> <br /> Email: ''ikuzminov@hse.ru''<br /> <br /> Рабочий телефон: +7(495) 772-9590 доб. 12022</div>

Ilya Kuzminov https://wiki.cs.hse.ru/index.php?title=%D0%A3%D1%87%D0%B0%D1%81%D1%82%D0%BD%D0%B8%D0%BA:Ilya_Kuzminov&diff=23639 2017-09-01T10:51:54Z

<p>Ilya Kuzminov: </p> <hr /> <div>[[Файл:Ifkuzminov.png|мини|справа|Илья Кузьминов]]<br /> Проекты:<br /> * [[Репозиторий_автоматизированного_парсинга_(командный_проект)|Репозиторий автоматизированного парсинга (командный проект)]]<br /> * [[Систематизация_и_реформирование_базы_извлеченных_знаний_(командный_проект)|Систематизация и реформирование базы извлеченных знаний (командный проект)]]<br /> == О менторе ==<br /> Илья Кузьминов, заместитель заведующего отделом научно-технологического прогнозирования Международного научно-<br /> образовательного Форсайт-центра Института статистических исследований и экономики знаний Национального исследовательского университета «Высшая школа экономики».<br /> <br /> Специалист по прогнозированию научно-технологического развития, в том числе по методам анализа больших данных для целей форсайта<br /> (интеллектуальный анализ текстов, семантический анализ, машинное обучение и др.).<br /> <br /> == Образование ==<br /> <br /> * '''Аспирантура'''<br /> Институт географии РАН, специальность 25.00.24 «Экономическая, социальная, политическая и рекреационная география». Кандидат наук.<br /> * '''Специалитет'''<br /> Московский государственный университет им. М.В. Ломоносова, Москва. Кафедра экономической географии, Экономическая география / Региональная экономика.<br /> <br /> <br /> == Деятельность ==<br /> <br /> Является координатором исследовательских проектов в области прогнозирования развития науки, технологий и техники по таким направлениям как сельское хозяйство, рациональное природопользование.<br /> Участвовал в разработке ряда российских отраслевых прогнозов, включая Прогноз научно-технологического развития агропромышленного комплекса на период до 2030 г. (утверждён Премьер-министром РФ), Прогноз научно-технологического развития топливно-энергетического комплекса на период до 2035 г., принимал участие в проектах по подготовке предложений по актуализации приоритетных направлений развития науки, технологий и техники и перечня критических технологий РФ, развитию сети отраслевых центров научно-технологического прогнозирования и др.<br /> <br /> == Контакты ==<br /> Email: ''ikuzminov@hse.ru''<br /> <br /> Рабочий телефон: +7(495) 772-9590 доб. 12022</div>

Ilya Kuzminov https://wiki.cs.hse.ru/index.php?title=%D0%A4%D0%B0%D0%B9%D0%BB:Ifkuzminov.png&diff=23638 2017-09-01T10:50:40Z

<p>Ilya Kuzminov: </p> <hr /> <div></div>

Ilya Kuzminov https://wiki.cs.hse.ru/index.php?title=%D0%A3%D1%87%D0%B0%D1%81%D1%82%D0%BD%D0%B8%D0%BA:Ilya_Kuzminov&diff=23612 2017-08-31T16:50:03Z

<p>Ilya Kuzminov: </p> <hr /> <div>Проекты:<br /> * [[Репозиторий_автоматизированного_парсинга_(командный_проект)|Репозиторий автоматизированного парсинга (командный проект)]]<br /> * [[Систематизация_и_реформирование_базы_извлеченных_знаний_(командный_проект)|Систематизация и реформирование базы извлеченных знаний (командный проект)]]<br /> == О менторе ==<br /> Илья Кузьминов, заместитель заведующего отделом научно-технологического прогнозирования Международного научно-<br /> образовательного Форсайт-центра Института статистических исследований и экономики знаний Национального исследовательского университета «Высшая школа экономики».<br /> <br /> Специалист по прогнозированию научно-технологического развития, в том числе по методам анализа больших данных для целей форсайта<br /> (интеллектуальный анализ текстов, семантический анализ, машинное обучение и др.).<br /> <br /> == Образование ==<br /> <br /> * '''Аспирантура'''<br /> Институт географии РАН, специальность 25.00.24 «Экономическая, социальная, политическая и рекреационная география». Кандидат наук.<br /> * '''Специалитет'''<br /> Московский государственный университет им. М.В. Ломоносова, Москва. Кафедра экономической географии, Экономическая география / Региональная экономика.<br /> <br /> <br /> == Деятельность ==<br /> <br /> Является координатором исследовательских проектов в области прогнозирования развития науки, технологий и техники по таким направлениям как сельское хозяйство, рациональное природопользование.<br /> Участвовал в разработке ряда российских отраслевых прогнозов, включая Прогноз научно-технологического развития агропромышленного комплекса на период до 2030 г. (утверждён Премьер-министром РФ), Прогноз научно-технологического развития топливно-энергетического комплекса на период до 2035 г., принимал участие в проектах по подготовке предложений по актуализации приоритетных направлений развития науки, технологий и техники и перечня критических технологий РФ, развитию сети отраслевых центров научно-технологического прогнозирования и др.<br /> <br /> == Контакты ==<br /> Email: ''ikuzminov@hse.ru''<br /> <br /> Рабочий телефон: +7(495) 772-9590 доб. 12022</div>

Ilya Kuzminov https://wiki.cs.hse.ru/index.php?title=%D0%A1%D0%B8%D1%81%D1%82%D0%B5%D0%BC%D0%B0%D1%82%D0%B8%D0%B7%D0%B0%D1%86%D0%B8%D1%8F_%D0%B8_%D1%80%D0%B5%D1%84%D0%BE%D1%80%D0%BC%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5_%D0%B1%D0%B0%D0%B7%D1%8B_%D0%B8%D0%B7%D0%B2%D0%BB%D0%B5%D1%87%D0%B5%D0%BD%D0%BD%D1%8B%D1%85_%D0%B7%D0%BD%D0%B0%D0%BD%D0%B8%D0%B9_(%D0%BA%D0%BE%D0%BC%D0%B0%D0%BD%D0%B4%D0%BD%D1%8B%D0%B9_%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82)&diff=23611 2017-08-31T16:48:22Z

<p>Ilya Kuzminov: /* Что это за проект? */</p> <hr /> <div>{{Карточка_командного_проекта<br /> |name=Систематизация и реформирование базы извлеченных знаний<br /> |company=ИСИЭЗ НИУ ВШЭ<br /> |semester=Осень 2017<br /> |course=3<br /> |number_of_students=2-5<br /> |categorize=yes<br /> }}<br /> <br /> === Что это за проект? ===<br /> Это проект по созданию единой структуры базы извлеченных знаний, с помощью которой можно будет проследить наследуемость, схожесть (близость) данных, обнаружить новые связи и на основании их получить новые знания.<br /> Извлеченные данные уже автоматически загружены в унифицированном для всех их источников формате в облачное хранилище в виде таблиц баз данных (мы используем PostgreSQL).<br /> Необходимо таблицы разного формата, например такие (фактические данные будут отличаться, но принцип оформления буквально тот же):<br /> ----<br /> :1. Продукция совхоза имени Ленина<br /> ::a. Фрукты<br /> :::i. Яблоки<br /> ::::ii. Сорт «Грени»<br /> ----<br /> <br /> 1.Фермерское хозяйство ООО «Солнышко» -&gt; 2. Продукты -&gt; 2.1. Голден-Смит, Яблоки; 2. 2. Сезонные, Яблоки; 2.3. Сезонные, Помидоры; 2.4. Сезонные, Груши; 2.5. Подмосковные, Огурцы.<br /> ----<br /> <br /> привести к единому формату, причем так, чтобы с помощью sql-запроса можно было, например, получить всех «детей» какого-то элемента [в данном случае сорта] определенного вида продукции (тех же яблок или груш). <br /> <br /> В ходе работы над этим проектом придется решить множество задач по извлечению и очистке данных от шума и мусора, а также выработать наиболее оптимальный алгоритм по нахождению близости между одноуровневыми элементами разных списков, возможно даже, между элементами разных уровней.<br /> <br /> Алгоритм нахождения близости должен быть подобран студентами на основании проведенного ими анализа и сравнения (экспериментально) точности существующих средств по приведению формы слова к нормальной (мн. ч. к ед. ч. [data &lt;=&gt; datum], избавление от окончаний родов\падежей и т.п.) в контексте решаемой задачи; по приведению словарной базы к единому знаменателю: векторному\численному представлению, например, с помощью word2vec, sense2vec и подобных. <br /> <br /> Для проведения такого анализа в частности потребуется использование либо обученной модели данных, либо модифицированной самими студентами для нужд данной задачи имеющейся модели, либо же создание студентами собственной.<br /> <br /> В итоге у команды, работающей над этим проектом, должен будет получиться набор sql-запросов и таблиц, позволяющих обращаться напрямую к любым элементам структуры, извлекать их, и применять к ним ко всем без дополнительной подготовки со стороны пользователя аналитические инструменты.<br /> <br /> === Чему научатся студенты? Что самое интересное в проекте? ===<br /> Анализировать и приводить к стандартному виду большие объемы совершенно разрозненных данных.<br /> Работать с базами данных, разрабатывать сложные алгоритмы извлечения, обработки, стандартизации и сравнения данных.<br /> Применять и дорабатывать для практических нужд теоретические алгоритмы компьютерной лингвистики.<br /> Работать с инструментами машинного обучения на уровне, позволяющем решать реальные задачи. Модифицировать\обучать собственные модели данных.<br /> Работать с облачными сервисами БД (например, AWS).<br /> Командной работе (не только с программистами, но и с аналитиками и пр. специалистами); работе в крупном проекте, где каждый завершенный этап является важным элементом всего проекта и можно наглядно наблюдать практическую значимость проделанной работы.<br /> <br /> === Организация работы (Как студенты будут работать в команде?) ===<br /> Работа над проектом будет состоять из следующих этапов:<br /> * Самостоятельное ознакомление с базовыми возможностями основных инструментами и библиотек, используемых для разработки проекта;<br /> * Ознакомление с имеющимися в базе знаний данными, ознакомление со структурой этих данных;<br /> * Распределение обязанностей и начало разработки над проектом (тестовое)<br /> * Консультирование по первому (пробному) этапу работы над проектом, обсуждение проблем (технических, командных и пр.), установка плана работ над проектом (milestones и пр.)<br /> * Периодическая проверка на соответствие текущего состояния проработанности проекта обозначенному плану.<br /> * Финальная проверка реализации проекта.<br /> <br /> === Компоненеты (Из каких частей состоит проект?) ===<br /> * База извлеченных знаний, располагающаяся на облачном сервисе (с которой студентам предстоит работать);<br /> * Описание разработанной унифицированной структуры базы данных (небольшой технический отчет о том, какие функции используются для обработки первичных данных, для приведения их к стандартизированному виду, для разбиения на элементы структуры; краткое описание формата итоговых таблиц)<br /> * Описание работы с моделью и инструментами машинного обучения<br /> * Таблицы, полученные в результате обработки первичных данных<br /> * Таблицы с обработанными данными и проработанной структурой<br /> * Выполненные в ходе работы над проектом sql-запросы (с комментариями)<br /> * Полученные результаты машинного обучения<br /> * Дополнительные отчеты\листинги\пояснительные записки по проекту (если возникнет такая производственная необходимость)<br /> <br /> === Какие будут использоваться технологии? ===<br /> PostgreSQL, REGEXP, алгоритмы нахождения близости (Jaccard Similarity, Sorensen–Dice coefficient), алгоритмы машинного обучения (посредством библиотек SpaCy/NLTK и т.п.)<br /> <br /> Amazon Web Services<br /> <br /> === Какие начальные требования? ===<br /> Знание SQL на уровне, достаточном для быстрого освоения более специфичных для наших задач возможностей PostgreSQL (в идеале — опыт работы с PostgreSQL)<br /> Желательно знание R (возможно, пригодится для понимания или написания некоторых функций). <br /> Знание Python (в идеале – опыт работы с машинным обучением)<br /> <br /> === Темы вводных занятий ===<br /> * Особенности работы с нашими хранилищами данных.<br /> * Особенности работы с имеющимися у нас структурами данных.<br /> <br /> === Критерии оценки ===<br /> ''0-3'': Не написаны запросы по обработке и\или структуризации данных. Данные обработаны крайне плохо. Нет возможности «достать» наследующие элементы структуры.<br /> <br /> ''4-5'': Написанные запросы работают, обрабатывая все или большую часть доступных данных, данные загружаются в правильном формате. По необъективным причинам в данных присутствует большое количество шума, мусора, и\или некоторая часть данных, доступная для структуризации, не была извлечена, обработана и структурирована. А также работа с данными производилась на локальных устройствах. Проект не имеет отчетности, код запросов представлен без комментариев.<br /> <br /> ''6-7'': Написанные запросы работают, обрабатывая все или большую часть доступных данных, данные приведены к единой структуре, есть возможность извлечения элементов-детей и родителей по детям. Небольшая часть данных, доступная для очистки и обработки, не была обработана и структуризирована. В коде запросов присутствуют комментарии, достаточные для их понимания. Предоставлена отчетность по структуре заполнения таблиц и функционалу разработанных алгоритмов, позволяющая получить достаточное представление о том, как создавался и из чего состоит финальный результат проекта.<br /> <br /> ''8-10'': Написанные запросы работают, извлекая все доступные данные из БД, данные загружаются в правильном формате на единое общедоступное облачное хранилище. Данные очищены от мусора и шума, обработаны и структуризированы в полном объеме. Код запросов полностью закомментирован (опуская комментирование встроенных функций и пр. очевидные вещи). Предоставлен достаточно детализированный отчет о полученной структуре данных, разработанных функциях и алгоритмах.<br /> <br /> === Похожие проекты ===<br /> <br /> <br /> === Контактная информация ===<br /> Ментор: [[Участник:Ilya Kuzminov|Кузьминов Илья Филиппович]]<br /> <br /> Email: ''ikuzminov@hse.ru''<br /> <br /> Рабочий телефон: +7(495) 772-9590 доб. 12022</div>

Ilya Kuzminov https://wiki.cs.hse.ru/index.php?title=%D0%A1%D0%B8%D1%81%D1%82%D0%B5%D0%BC%D0%B0%D1%82%D0%B8%D0%B7%D0%B0%D1%86%D0%B8%D1%8F_%D0%B8_%D1%80%D0%B5%D1%84%D0%BE%D1%80%D0%BC%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5_%D0%B1%D0%B0%D0%B7%D1%8B_%D0%B8%D0%B7%D0%B2%D0%BB%D0%B5%D1%87%D0%B5%D0%BD%D0%BD%D1%8B%D1%85_%D0%B7%D0%BD%D0%B0%D0%BD%D0%B8%D0%B9_(%D0%BA%D0%BE%D0%BC%D0%B0%D0%BD%D0%B4%D0%BD%D1%8B%D0%B9_%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82)&diff=23610 2017-08-31T16:41:50Z

<p>Ilya Kuzminov: Новая страница, с помощью формы Новый_командный_проект</p> <hr /> <div>{{Карточка_командного_проекта<br /> |name=Систематизация и реформирование базы извлеченных знаний<br /> |company=ИСИЭЗ НИУ ВШЭ<br /> |semester=Осень 2017<br /> |course=3<br /> |number_of_students=2-5<br /> |categorize=yes<br /> }}<br /> <br /> === Что это за проект? ===<br /> Это проект по созданию единой структуры базы извлеченных знаний, с помощью которой можно будет проследить наследуемость, схожесть (близость) данных, обнаружить новые связи и на основании их получить новые знания.<br /> Извлеченные данные уже автоматически загружены в унифицированном для всех их источников формате в облачное хранилище в виде таблиц баз данных (мы используем PostgreSQL).<br /> Необходимо таблицы разного формата, например такие (фактические данные будут отличаться, но принцип тот же),:<br /> ________<br /> 1. Продукция совхоза имени Ленина<br /> a. Фрукты<br /> i. Яблоки<br /> ii. Сорт «Грени»<br /> ________<br /> 1.Фермерское хозяйство ООО «Солнышко» -&gt; 2. Продукты -&gt; 2.1. Голден-Смит, Яблоки; 2. 2. Сезонные, Яблоки; 2.3. Сезонные, Помидоры; 2.4. Сезонные, Груши; 2.5. Подмосковные, Огурцы.<br /> ________<br /> <br /> привести к единому формату, причем так, чтобы с помощью sql-запроса можно было, например, получить всех «детей» какого-то элемента [в данном случае сорта] определенного вида продукции (тех же яблок или груш). <br /> <br /> В ходе работы над этим проектом придется решить множество задач по извлечению и очистке данных от шума и мусора, а также выработать наиболее оптимальный алгоритм по нахождению близости между одноуровневыми элементами разных списков, возможно даже, между элементами разных уровней.<br /> <br /> Алгоритм нахождения близости должен быть подобран студентами на основании проведенного ими анализа и сравнения (экспериментально) точности существующих средств по приведению формы слова к нормальной (мн. ч. к ед. ч. [data  datum], избавление от окончаний родов\падежей и т.п.) в контексте решаемой задачи; по приведению словарной базы к единому знаменателю: векторному\численному представлению, например, с помощью word2vec, sense2vec и подобных. <br /> <br /> Для проведения такого анализа в частности потребуется использование либо обученной модели данных, либо модифицированной самими студентами для нужд данной задачи имеющейся модели, либо же создание студентами собственной.<br /> <br /> В итоге у команды, работающей над этим проектом, должен будет получиться набор sql-запросов и таблиц, позволяющих обращаться напрямую к любым элементам структуры, извлекать их, и применять к ним ко всем без дополнительной подготовки со стороны пользователя аналитические инструменты.<br /> <br /> === Чему научатся студенты? Что самое интересное в проекте? ===<br /> Анализировать и приводить к стандартному виду большие объемы совершенно разрозненных данных.<br /> Работать с базами данных, разрабатывать сложные алгоритмы извлечения, обработки, стандартизации и сравнения данных.<br /> Применять и дорабатывать для практических нужд теоретические алгоритмы компьютерной лингвистики.<br /> Работать с инструментами машинного обучения на уровне, позволяющем решать реальные задачи. Модифицировать\обучать собственные модели данных.<br /> Работать с облачными сервисами БД (например, AWS).<br /> Командной работе (не только с программистами, но и с аналитиками и пр. специалистами); работе в крупном проекте, где каждый завершенный этап является важным элементом всего проекта и можно наглядно наблюдать практическую значимость проделанной работы.<br /> <br /> === Организация работы (Как студенты будут работать в команде?) ===<br /> Работа над проектом будет состоять из следующих этапов:<br /> * Самостоятельное ознакомление с базовыми возможностями основных инструментами и библиотек, используемых для разработки проекта;<br /> * Ознакомление с имеющимися в базе знаний данными, ознакомление со структурой этих данных;<br /> * Распределение обязанностей и начало разработки над проектом (тестовое)<br /> * Консультирование по первому (пробному) этапу работы над проектом, обсуждение проблем (технических, командных и пр.), установка плана работ над проектом (milestones и пр.)<br /> * Периодическая проверка на соответствие текущего состояния проработанности проекта обозначенному плану.<br /> * Финальная проверка реализации проекта.<br /> <br /> === Компоненеты (Из каких частей состоит проект?) ===<br /> * База извлеченных знаний, располагающаяся на облачном сервисе (с которой студентам предстоит работать);<br /> * Описание разработанной унифицированной структуры базы данных (небольшой технический отчет о том, какие функции используются для обработки первичных данных, для приведения их к стандартизированному виду, для разбиения на элементы структуры; краткое описание формата итоговых таблиц)<br /> * Описание работы с моделью и инструментами машинного обучения<br /> * Таблицы, полученные в результате обработки первичных данных<br /> * Таблицы с обработанными данными и проработанной структурой<br /> * Выполненные в ходе работы над проектом sql-запросы (с комментариями)<br /> * Полученные результаты машинного обучения<br /> * Дополнительные отчеты\листинги\пояснительные записки по проекту (если возникнет такая производственная необходимость)<br /> <br /> === Какие будут использоваться технологии? ===<br /> PostgreSQL, REGEXP, алгоритмы нахождения близости (Jaccard Similarity, Sorensen–Dice coefficient), алгоритмы машинного обучения (посредством библиотек SpaCy/NLTK и т.п.)<br /> <br /> Amazon Web Services<br /> <br /> === Какие начальные требования? ===<br /> Знание SQL на уровне, достаточном для быстрого освоения более специфичных для наших задач возможностей PostgreSQL (в идеале — опыт работы с PostgreSQL)<br /> Желательно знание R (возможно, пригодится для понимания или написания некоторых функций). <br /> Знание Python (в идеале – опыт работы с машинным обучением)<br /> <br /> === Темы вводных занятий ===<br /> * Особенности работы с нашими хранилищами данных.<br /> * Особенности работы с имеющимися у нас структурами данных.<br /> <br /> === Критерии оценки ===<br /> ''0-3'': Не написаны запросы по обработке и\или структуризации данных. Данные обработаны крайне плохо. Нет возможности «достать» наследующие элементы структуры.<br /> <br /> ''4-5'': Написанные запросы работают, обрабатывая все или большую часть доступных данных, данные загружаются в правильном формате. По необъективным причинам в данных присутствует большое количество шума, мусора, и\или некоторая часть данных, доступная для структуризации, не была извлечена, обработана и структурирована. А также работа с данными производилась на локальных устройствах. Проект не имеет отчетности, код запросов представлен без комментариев.<br /> <br /> ''6-7'': Написанные запросы работают, обрабатывая все или большую часть доступных данных, данные приведены к единой структуре, есть возможность извлечения элементов-детей и родителей по детям. Небольшая часть данных, доступная для очистки и обработки, не была обработана и структуризирована. В коде запросов присутствуют комментарии, достаточные для их понимания. Предоставлена отчетность по структуре заполнения таблиц и функционалу разработанных алгоритмов, позволяющая получить достаточное представление о том, как создавался и из чего состоит финальный результат проекта.<br /> <br /> ''8-10'': Написанные запросы работают, извлекая все доступные данные из БД, данные загружаются в правильном формате на единое общедоступное облачное хранилище. Данные очищены от мусора и шума, обработаны и структуризированы в полном объеме. Код запросов полностью закомментирован (опуская комментирование встроенных функций и пр. очевидные вещи). Предоставлен достаточно детализированный отчет о полученной структуре данных, разработанных функциях и алгоритмах.<br /> <br /> === Похожие проекты ===<br /> <br /> <br /> === Контактная информация ===<br /> Ментор: [[Участник:Ilya Kuzminov|Кузьминов Илья Филиппович]]<br /> <br /> Email: ''ikuzminov@hse.ru''<br /> <br /> Рабочий телефон: +7(495) 772-9590 доб. 12022</div>

Ilya Kuzminov https://wiki.cs.hse.ru/index.php?title=%D0%A3%D1%87%D0%B0%D1%81%D1%82%D0%BD%D0%B8%D0%BA:Ilya_Kuzminov&diff=23564 2017-08-24T12:47:11Z

<p>Ilya Kuzminov: </p> <hr /> <div>Проекты:<br /> * [[Репозиторий_автоматизированного_парсинга_(командный_проект)|Репозиторий автоматизированного парсинга (командный проект)]]<br /> == О менторе ==<br /> Илья Кузьминов, заместитель заведующего отделом научно-технологического прогнозирования Международного научно-<br /> образовательного Форсайт-центра Института статистических исследований и экономики знаний Национального исследовательского университета «Высшая школа экономики».<br /> <br /> Специалист по прогнозированию научно-технологического развития, в том числе по методам анализа больших данных для целей форсайта<br /> (интеллектуальный анализ текстов, семантический анализ, машинное обучение и др.).<br /> <br /> == Образование ==<br /> <br /> * '''Аспирантура'''<br /> Институт географии РАН, специальность 25.00.24 «Экономическая, социальная, политическая и рекреационная география». Кандидат наук.<br /> * '''Специалитет'''<br /> Московский государственный университет им. М.В. Ломоносова, Москва. Кафедра экономической географии, Экономическая география / Региональная экономика.<br /> <br /> <br /> == Деятельность ==<br /> <br /> Является координатором исследовательских проектов в области прогнозирования развития науки, технологий и техники по таким направлениям как сельское хозяйство, рациональное природопользование.<br /> Участвовал в разработке ряда российских отраслевых прогнозов, включая Прогноз научно-технологического развития агропромышленного комплекса на период до 2030 г. (утверждён Премьер-министром РФ), Прогноз научно-технологического развития топливно-энергетического комплекса на период до 2035 г., принимал участие в проектах по подготовке предложений по актуализации приоритетных направлений развития науки, технологий и техники и перечня критических технологий РФ, развитию сети отраслевых центров научно-технологического прогнозирования и др.<br /> <br /> == Контакты ==<br /> Email: ''ikuzminov@hse.ru''<br /> <br /> Рабочий телефон: +7(495) 772-9590 доб. 12022</div>

Ilya Kuzminov https://wiki.cs.hse.ru/index.php?title=%D0%A0%D0%B5%D0%BF%D0%BE%D0%B7%D0%B8%D1%82%D0%BE%D1%80%D0%B8%D0%B9_%D0%B0%D0%B2%D1%82%D0%BE%D0%BC%D0%B0%D1%82%D0%B8%D0%B7%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%BD%D0%BE%D0%B3%D0%BE_%D0%BF%D0%B0%D1%80%D1%81%D0%B8%D0%BD%D0%B3%D0%B0_(%D0%BA%D0%BE%D0%BC%D0%B0%D0%BD%D0%B4%D0%BD%D1%8B%D0%B9_%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82)&diff=23563 2017-08-23T15:09:34Z

<p>Ilya Kuzminov: </p> <hr /> <div>{{Карточка_командного_проекта<br /> |name=Репозиторий автоматизированного парсинга<br /> |company=ИСИЭЗ НИУ ВШЭ<br /> |semester=Осень 2017<br /> |course=3<br /> |number_of_students=3-5<br /> |categorize=yes<br /> }}<br /> <br /> === Что это за проект? ===<br /> Это проект по созданию единого репозитория для автоматизированного парсинга сайтов одной тематики, с целью дальнейшего использования извлеченной информации в аналитике и прогнозах.<br /> <br /> С сайтов должны быть извлечены все максимально полезные метаданные о публикациях, статьях, грантах и т.п., например, время создания, авторство, категория, теги и т.п. параметры. Извлеченные данные должны будут автоматически загружены в унифицированном для всех их источников формате в облачное хранилище в виде таблиц баз данных (мы используем PostgreSQL).<br /> Задача по извлечению изначально может показаться достаточно простой, но на практике это далеко не так. В случаях с некоторыми сайтами можно будет применить инструменты разработанного у нас фреймворка на базе Scrapy для извлечения данных. Однако, скорее всего, придется работать также с такими инструментами как Selenium.<br /> <br /> В итоге у команды, работающей над этим проектом, должен будет получится набор скриптов-парсеров, осуществляющих задачи, собственно, парсинга, а также загрузки данных в БД, запускаемых в рамках единого проекта (т.е. так, чтобы обработка группы сайтов могла быть запущена единой командой управления, без ручного вмешательства разработчиков).<br /> <br /> === Чему научатся студенты? Что самое интересное в проекте? ===<br /> Анализировать и приводить к стандартному виду большие объемы совершенно разрозненных данных.<br /> Разрабатывать и дорабатывать платформенные механизмы (фреймворки) автоматизированного сбора данных с веб-сайтов.<br /> Работать с базами данных, разрабатывать алгоритмы автоматизированного их пополнения, изменения и пр.<br /> Работать с облачными сервисами БД (например, AWS).<br /> Командной работе (не только с программистами, но и с аналитиками и пр. специалистами).<br /> Гибкости ума и прочим навыкам парсинга (т. к. для извлечения некоторых данных приходится использовать весьма нетривиальные пути).<br /> <br /> === Организация работы (Как студенты будут работать в команде?) ===<br /> Работа над проектом будет состоять из следующих этапов:<br /> * Самостоятельное ознакомление с базовыми возможностями основных инструментами и библиотек, используемых для разработки проекта;<br /> * Ознакомление с разработанным у нас фреймворком; обсуждение возможности использования определенных инструментов на каждой группе сайтов в отдельности;<br /> * Распределение обязанностей и начало разработки над проектом (тестовое)<br /> * Консультирование по первому (пробному) этапу работы над проектом, обсуждение проблем (технических, командных и пр.), установка плана работ над проектом (milestones и пр.)<br /> * Периодическая проверка на соответствие текущего состояния проработанности проекта обозначенному плану.<br /> * Финальная проверка реализации проекта.<br /> <br /> === Компоненеты (Из каких частей состоит проект?) ===<br /> * Разработанный в ИСИЭЗ фреймворк для извлечения данных (база для создания репозитория);<br /> * Разработанные самими студентами скрипты-парсеры на основании фреймворка (в случае возможности применения фреймворка для назначенных сайтов);<br /> * Разработанные самими студентами скрипты-парсеры на основании других библиотек парсинга (в случае '''не''' возможности применения фреймворка для назначенных сайтов);<br /> * Дополнения к фреймворку для обработки неформатных данных, упрощения процесса загрузки в БД и пр., написанные самими студентами, в случае необходимости создания таковых.<br /> <br /> === Какие будут использоваться технологии? ===<br /> Python 3, Scrapy, Selenium, PostgreSQL, lxml, Pandas, собственный фреймворк организации на Python + Scrapy для парсинга сайтов<br /> Amazon Web Services<br /> <br /> === Какие начальные требования? ===<br /> Знание Python на уровне, достаточном для быстрого освоения новых библиотек (для парсинга и пр.).<br /> Желательно знание Selenium, lxml, Scrapy или прочих библиотек.<br /> Наличие как минимум минимальных компетенций в работе с базами данных (в идеале — опыт работы с PostgreSQL)<br /> <br /> === Темы вводных занятий ===<br /> * Особенности парсинга на Python (в случае, если будут студенты, которые никогда не занимались решением подобного рода задач).<br /> * Особенности парсинга с помощью библиотеки Scrapy.<br /> * Особенности нашего фреймворка.<br /> <br /> === Критерии оценки ===<br /> ''0-3'': Написанные парсеры не работают или не извлекают большую часть доступных для извлечения данных, или данных извлекаются плохо и не в нужном формате, или распарсено по необъективным причинам менее 50% обозначенных сайтов, а также не организован доступ данных на общее хранилище (сбор данных производился на локальные устройства). Нет возможности проверить код, полностью отсутствуют комментарии и пояснения по проекту.<br /> <br /> ''4-5'': Написанные парсеры работают, извлекая все или большую часть доступных данных с сайтов, данные загружаются в правильном формате. По необъективным причинам распарсены не все сайты (до 65%) и некоторая часть данных, доступная для извлечения, не была извлечена или была извлечена неправильно. А также сбор данных производился на локальные устройства или проект написан на плохо читабельном коде, без комментариев.<br /> <br /> ''6-7'': Написанные парсеры работают, извлекая все или большую часть доступных данных с сайтов, данные загружаются в правильном формате на единое общедоступное облачное хранилище. Распарсены не все сайты или некоторая часть данных, доступная для извлечения, не была извлечена. В части кода проекта, опирающейся на одни и те же инструменты, присутствует консистентность. В коде присутствуют комментарии, достаточные для его понимания.<br /> <br /> ''8-10'': Написанные парсеры работают, извлекая все доступные данные с сайтов, данные загружаются в правильном формате на единое общедоступное облачное хранилище. Распарсены все сайты. В части кода проекта, опирающейся на одни и те же инструменты, присутствует консистентность. Код проекта полностью закомментирован (опуская комментирование встроенных функций, подключение библиотек и пр. очевидные вещи).<br /> <br /> === Похожие проекты ===<br /> <br /> <br /> === Контактная информация ===<br /> <br /> Ментор: [[Участник:Ilya Kuzminov|Кузьминов Илья Филиппович]]<br /> <br /> Email: ''ikuzminov@hse.ru''<br /> <br /> Рабочий телефон: +7(495) 772-9590 доб. 12022</div>

Ilya Kuzminov https://wiki.cs.hse.ru/index.php?title=%D0%A3%D1%87%D0%B0%D1%81%D1%82%D0%BD%D0%B8%D0%BA:Ilya_Kuzminov&diff=23560 2017-08-23T13:02:30Z

<p>Ilya Kuzminov: </p> <hr /> <div>Проекты:<br /> * [[Репозиторий_автоматизированного_парсинга_(командный_проект)|Репозиторий автоматизированного парсинга (командный проект)]]<br /> <br /> == Образование ==<br /> <br /> * '''Аспирантура'''<br /> Институт географии РАН, специальность 25.00.24 «Экономическая, социальная, политическая и рекреационная география». Кандидат наук.<br /> * '''Специалитет'''<br /> Московский государственный университет им. М.В. Ломоносова, Москва. Кафедра экономической географии, Экономическая география / Региональная экономика.<br /> <br /> == Интересы ==<br /> <br /> <br /> == Деятельность ==<br /> <br /> <br /> == Контакты ==<br /> Email: ''ikuzminov@hse.ru''<br /> <br /> Рабочий телефон: +7(495) 772-9590 доб. 12022</div>

Ilya Kuzminov https://wiki.cs.hse.ru/index.php?title=%D0%A0%D0%B5%D0%BF%D0%BE%D0%B7%D0%B8%D1%82%D0%BE%D1%80%D0%B8%D0%B9_%D0%B0%D0%B2%D1%82%D0%BE%D0%BC%D0%B0%D1%82%D0%B8%D0%B7%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%BD%D0%BE%D0%B3%D0%BE_%D0%BF%D0%B0%D1%80%D1%81%D0%B8%D0%BD%D0%B3%D0%B0_(%D0%BA%D0%BE%D0%BC%D0%B0%D0%BD%D0%B4%D0%BD%D1%8B%D0%B9_%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82)&diff=23559 2017-08-23T13:01:08Z

<p>Ilya Kuzminov: /* Что это за проект? */</p> <hr /> <div>{{Карточка_командного_проекта<br /> |name=Репозиторий автоматизированного парсинга<br /> |company=ИСИЭЗ НИУ ВШЭ<br /> |semester=Осень 2017<br /> |course=3<br /> |number_of_students=3-5<br /> |categorize=yes<br /> }}<br /> <br /> === Что это за проект? ===<br /> Это проект по созданию единого репозитория для автоматизированного парсинга сайтов одной тематики, с целью дальнейшего использования извлеченной информации в аналитике и прогнозах.<br /> <br /> С сайтов должны быть извлечены все максимально полезные метаданные о публикациях, статьях, грантах и т.п., например, время создания, авторство, категория, теги и т.п. параметры. Извлеченные данные должны будут автоматически загружены унифицированном для всех их источников формате в облачное хранилище в виде таблиц баз данных (мы используем PostgreSQL).<br /> Задача по извлечению изначально может показаться достаточно простой, но на практике это далеко не так. В случаях с некоторыми сайтами можно будет применить инструменты разработанного у нас фреймворка на базе Scrapy для извлечения данных. Однако, скорее всего, придется работать также с такими инструментами как Selenium.<br /> <br /> В итоге у команды, работающей над этим проектом, должен будет получится набор скриптов-парсеров, осуществляющих задачи, собственно, парсинга, а также загрузки данных в БД, запускаемых в рамках единого проекта (т.е. так, чтобы обработка группы сайтов могла быть запущена единой командой управления, без ручного вмешательства разработчиков).<br /> <br /> === Чему научатся студенты? Что самое интересное в проекте? ===<br /> Анализировать и приводить к стандартному виду большие объемы совершенно разрозненных данных.<br /> Разрабатывать и дорабатывать платформенные механизмы (фреймворки) автоматизированного сбора данных с веб-сайтов.<br /> Работать с базами данных, разрабатывать алгоритмы автоматизированного их пополнения, изменения и пр.<br /> Работать с облачными сервисами БД (например, AWS).<br /> Командной работе (не только с программистами, но и с аналитиками и пр. специалистами).<br /> Гибкости ума и прочим навыкам парсинга (т. к. для извлечения некоторых данных приходится использовать весьма нетривиальные пути).<br /> <br /> === Организация работы (Как студенты будут работать в команде?) ===<br /> Работа над проектом будет состоять из следующих этапов:<br /> * Самостоятельное ознакомление с базовыми возможностями основных инструментами и библиотек, используемых для разработки проекта;<br /> * Ознакомление с разработанным у нас фреймворком; обсуждение возможности использования определенных инструментов на каждой группе сайтов в отдельности;<br /> * Распределение обязанностей и начало разработки над проектом (тестовое)<br /> * Консультирование по первому (пробному) этапу работы над проектом, обсуждение проблем (технических, командных и пр.), установка плана работ над проектом (milestones и пр.)<br /> * Периодическая проверка на соответствие текущего состояния проработанности проекта обозначенному плану.<br /> * Финальная проверка реализации проекта.<br /> <br /> === Компоненеты (Из каких частей состоит проект?) ===<br /> * Разработанный в ИСИЭЗ фреймворк для извлечения данных (база для создания репозитория);<br /> * Разработанные самими студентами скрипты-парсеры на основании фреймворка (в случае возможности применения фреймворка для назначенных сайтов);<br /> * Разработанные самими студентами скрипты-парсеры на основании других библиотек парсинга (в случае '''не''' возможности применения фреймворка для назначенных сайтов);<br /> * Дополнения к фреймворку для обработки неформатных данных, упрощения процесса загрузки в БД и пр., написанные самими студентами, в случае необходимости создания таковых.<br /> <br /> === Какие будут использоваться технологии? ===<br /> Python 3, Scrapy, Selenium, PostgreSQL, lxml, Pandas, собственный фреймворк организации на Python + Scrapy для парсинга сайтов<br /> Amazon Web Services<br /> <br /> === Какие начальные требования? ===<br /> Знание Python на уровне, достаточном для быстрого освоения новых библиотек (для парсинга и пр.).<br /> Желательно знание Selenium, lxml, Scrapy или прочих библиотек.<br /> Наличие как минимум минимальных компетенций в работе с базами данных (в идеале — опыт работы с PostgreSQL)<br /> <br /> === Темы вводных занятий ===<br /> * Особенности парсинга на Python (в случае, если будут студенты, которые никогда не занимались решением подобного рода задач).<br /> * Особенности парсинга с помощью библиотеки Scrapy.<br /> * Особенности нашего фреймворка.<br /> <br /> === Критерии оценки ===<br /> ''0-3'': Написанные парсеры не работают или не извлекают большую часть доступных для извлечения данных, или данных извлекаются плохо и не в нужном формате, или распарсено по необъективным причинам менее 50% обозначенных сайтов, а также не организован доступ данных на общее хранилище (сбор данных производился на локальные устройства). Нет возможности проверить код, полностью отсутствуют комментарии и пояснения по проекту.<br /> <br /> ''4-5'': Написанные парсеры работают, извлекая все или большую часть доступных данных с сайтов, данные загружаются в правильном формате. По необъективным причинам распарсены не все сайты (до 65%) и некоторая часть данных, доступная для извлечения, не была извлечена или была извлечена неправильно. А также сбор данных производился на локальные устройства или проект написан на плохо читабельном коде, без комментариев.<br /> <br /> ''6-7'': Написанные парсеры работают, извлекая все или большую часть доступных данных с сайтов, данные загружаются в правильном формате на единое общедоступное облачное хранилище. Распарсены не все сайты или некоторая часть данных, доступная для извлечения, не была извлечена. В части кода проекта, опирающейся на одни и те же инструменты, присутствует консистентность. В коде присутствуют комментарии, достаточные для его понимания.<br /> <br /> ''8-10'': Написанные парсеры работают, извлекая все доступные данные с сайтов, данные загружаются в правильном формате на единое общедоступное облачное хранилище. Распарсены все сайты. В части кода проекта, опирающейся на одни и те же инструменты, присутствует консистентность. Код проекта полностью закомментирован (опуская комментирование встроенных функций, подключение библиотек и пр. очевидные вещи).<br /> <br /> === Похожие проекты ===<br /> <br /> <br /> === Контактная информация ===<br /> <br /> Ментор: [[Участник:Ilya Kuzminov|Кузьминов Илья Филиппович]]<br /> <br /> Email: ''ikuzminov@hse.ru''<br /> <br /> Рабочий телефон: +7(495) 772-9590 доб. 12022</div>

Ilya Kuzminov https://wiki.cs.hse.ru/index.php?title=%D0%A0%D0%B5%D0%BF%D0%BE%D0%B7%D0%B8%D1%82%D0%BE%D1%80%D0%B8%D0%B9_%D0%B0%D0%B2%D1%82%D0%BE%D0%BC%D0%B0%D1%82%D0%B8%D0%B7%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%BD%D0%BE%D0%B3%D0%BE_%D0%BF%D0%B0%D1%80%D1%81%D0%B8%D0%BD%D0%B3%D0%B0_(%D0%BA%D0%BE%D0%BC%D0%B0%D0%BD%D0%B4%D0%BD%D1%8B%D0%B9_%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82)&diff=23558 2017-08-23T13:00:43Z

<p>Ilya Kuzminov: /* Критерии оценки */</p> <hr /> <div>{{Карточка_командного_проекта<br /> |name=Репозиторий автоматизированного парсинга<br /> |company=ИСИЭЗ НИУ ВШЭ<br /> |semester=Осень 2017<br /> |course=3<br /> |number_of_students=3-5<br /> |categorize=yes<br /> }}<br /> <br /> === Что это за проект? ===<br /> Это проект по созданию единого репозитория для автоматизированного парсинга сайтов одной тематики, с целью дальнейшего использования извлеченной информации в аналитике и прогнозах.<br /> С сайтов должны быть извлечены все максимально полезные метаданные о публикациях, статьях, грантах и т.п., например, время создания, авторство, категория, теги и т.п. параметры. Извлеченные данные должны будут автоматически загружены унифицированном для всех их источников формате в облачное хранилище в виде таблиц баз данных (мы используем PostgreSQL).<br /> Задача по извлечению изначально может показаться достаточно простой, но на практике это далеко не так. В случаях с некоторыми сайтами можно будет применить инструменты разработанного у нас фреймворка на базе Scrapy для извлечения данных. Однако, скорее всего, придется работать также с такими инструментами как Selenium.<br /> <br /> В итоге у команды, работающей над этим проектом, должен будет получится набор скриптов-парсеров, осуществляющих задачи, собственно, парсинга, а также загрузки данных в БД, запускаемых в рамках единого проекта (т.е. так, чтобы обработка группы сайтов могла быть запущена единой командой управления, без ручного вмешательства разработчиков).<br /> <br /> === Чему научатся студенты? Что самое интересное в проекте? ===<br /> Анализировать и приводить к стандартному виду большие объемы совершенно разрозненных данных.<br /> Разрабатывать и дорабатывать платформенные механизмы (фреймворки) автоматизированного сбора данных с веб-сайтов.<br /> Работать с базами данных, разрабатывать алгоритмы автоматизированного их пополнения, изменения и пр.<br /> Работать с облачными сервисами БД (например, AWS).<br /> Командной работе (не только с программистами, но и с аналитиками и пр. специалистами).<br /> Гибкости ума и прочим навыкам парсинга (т. к. для извлечения некоторых данных приходится использовать весьма нетривиальные пути).<br /> <br /> === Организация работы (Как студенты будут работать в команде?) ===<br /> Работа над проектом будет состоять из следующих этапов:<br /> * Самостоятельное ознакомление с базовыми возможностями основных инструментами и библиотек, используемых для разработки проекта;<br /> * Ознакомление с разработанным у нас фреймворком; обсуждение возможности использования определенных инструментов на каждой группе сайтов в отдельности;<br /> * Распределение обязанностей и начало разработки над проектом (тестовое)<br /> * Консультирование по первому (пробному) этапу работы над проектом, обсуждение проблем (технических, командных и пр.), установка плана работ над проектом (milestones и пр.)<br /> * Периодическая проверка на соответствие текущего состояния проработанности проекта обозначенному плану.<br /> * Финальная проверка реализации проекта.<br /> <br /> === Компоненеты (Из каких частей состоит проект?) ===<br /> * Разработанный в ИСИЭЗ фреймворк для извлечения данных (база для создания репозитория);<br /> * Разработанные самими студентами скрипты-парсеры на основании фреймворка (в случае возможности применения фреймворка для назначенных сайтов);<br /> * Разработанные самими студентами скрипты-парсеры на основании других библиотек парсинга (в случае '''не''' возможности применения фреймворка для назначенных сайтов);<br /> * Дополнения к фреймворку для обработки неформатных данных, упрощения процесса загрузки в БД и пр., написанные самими студентами, в случае необходимости создания таковых.<br /> <br /> === Какие будут использоваться технологии? ===<br /> Python 3, Scrapy, Selenium, PostgreSQL, lxml, Pandas, собственный фреймворк организации на Python + Scrapy для парсинга сайтов<br /> Amazon Web Services<br /> <br /> === Какие начальные требования? ===<br /> Знание Python на уровне, достаточном для быстрого освоения новых библиотек (для парсинга и пр.).<br /> Желательно знание Selenium, lxml, Scrapy или прочих библиотек.<br /> Наличие как минимум минимальных компетенций в работе с базами данных (в идеале — опыт работы с PostgreSQL)<br /> <br /> === Темы вводных занятий ===<br /> * Особенности парсинга на Python (в случае, если будут студенты, которые никогда не занимались решением подобного рода задач).<br /> * Особенности парсинга с помощью библиотеки Scrapy.<br /> * Особенности нашего фреймворка.<br /> <br /> === Критерии оценки ===<br /> ''0-3'': Написанные парсеры не работают или не извлекают большую часть доступных для извлечения данных, или данных извлекаются плохо и не в нужном формате, или распарсено по необъективным причинам менее 50% обозначенных сайтов, а также не организован доступ данных на общее хранилище (сбор данных производился на локальные устройства). Нет возможности проверить код, полностью отсутствуют комментарии и пояснения по проекту.<br /> <br /> ''4-5'': Написанные парсеры работают, извлекая все или большую часть доступных данных с сайтов, данные загружаются в правильном формате. По необъективным причинам распарсены не все сайты (до 65%) и некоторая часть данных, доступная для извлечения, не была извлечена или была извлечена неправильно. А также сбор данных производился на локальные устройства или проект написан на плохо читабельном коде, без комментариев.<br /> <br /> ''6-7'': Написанные парсеры работают, извлекая все или большую часть доступных данных с сайтов, данные загружаются в правильном формате на единое общедоступное облачное хранилище. Распарсены не все сайты или некоторая часть данных, доступная для извлечения, не была извлечена. В части кода проекта, опирающейся на одни и те же инструменты, присутствует консистентность. В коде присутствуют комментарии, достаточные для его понимания.<br /> <br /> ''8-10'': Написанные парсеры работают, извлекая все доступные данные с сайтов, данные загружаются в правильном формате на единое общедоступное облачное хранилище. Распарсены все сайты. В части кода проекта, опирающейся на одни и те же инструменты, присутствует консистентность. Код проекта полностью закомментирован (опуская комментирование встроенных функций, подключение библиотек и пр. очевидные вещи).<br /> <br /> === Похожие проекты ===<br /> <br /> <br /> === Контактная информация ===<br /> <br /> Ментор: [[Участник:Ilya Kuzminov|Кузьминов Илья Филиппович]]<br /> <br /> Email: ''ikuzminov@hse.ru''<br /> <br /> Рабочий телефон: +7(495) 772-9590 доб. 12022</div>

Ilya Kuzminov https://wiki.cs.hse.ru/index.php?title=%D0%A0%D0%B5%D0%BF%D0%BE%D0%B7%D0%B8%D1%82%D0%BE%D1%80%D0%B8%D0%B9_%D0%B0%D0%B2%D1%82%D0%BE%D0%BC%D0%B0%D1%82%D0%B8%D0%B7%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%BD%D0%BE%D0%B3%D0%BE_%D0%BF%D0%B0%D1%80%D1%81%D0%B8%D0%BD%D0%B3%D0%B0_(%D0%BA%D0%BE%D0%BC%D0%B0%D0%BD%D0%B4%D0%BD%D1%8B%D0%B9_%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82)&diff=23557 2017-08-23T13:00:13Z

<p>Ilya Kuzminov: /* Контактная информация */</p> <hr /> <div>{{Карточка_командного_проекта<br /> |name=Репозиторий автоматизированного парсинга<br /> |company=ИСИЭЗ НИУ ВШЭ<br /> |semester=Осень 2017<br /> |course=3<br /> |number_of_students=3-5<br /> |categorize=yes<br /> }}<br /> <br /> === Что это за проект? ===<br /> Это проект по созданию единого репозитория для автоматизированного парсинга сайтов одной тематики, с целью дальнейшего использования извлеченной информации в аналитике и прогнозах.<br /> С сайтов должны быть извлечены все максимально полезные метаданные о публикациях, статьях, грантах и т.п., например, время создания, авторство, категория, теги и т.п. параметры. Извлеченные данные должны будут автоматически загружены унифицированном для всех их источников формате в облачное хранилище в виде таблиц баз данных (мы используем PostgreSQL).<br /> Задача по извлечению изначально может показаться достаточно простой, но на практике это далеко не так. В случаях с некоторыми сайтами можно будет применить инструменты разработанного у нас фреймворка на базе Scrapy для извлечения данных. Однако, скорее всего, придется работать также с такими инструментами как Selenium.<br /> <br /> В итоге у команды, работающей над этим проектом, должен будет получится набор скриптов-парсеров, осуществляющих задачи, собственно, парсинга, а также загрузки данных в БД, запускаемых в рамках единого проекта (т.е. так, чтобы обработка группы сайтов могла быть запущена единой командой управления, без ручного вмешательства разработчиков).<br /> <br /> === Чему научатся студенты? Что самое интересное в проекте? ===<br /> Анализировать и приводить к стандартному виду большие объемы совершенно разрозненных данных.<br /> Разрабатывать и дорабатывать платформенные механизмы (фреймворки) автоматизированного сбора данных с веб-сайтов.<br /> Работать с базами данных, разрабатывать алгоритмы автоматизированного их пополнения, изменения и пр.<br /> Работать с облачными сервисами БД (например, AWS).<br /> Командной работе (не только с программистами, но и с аналитиками и пр. специалистами).<br /> Гибкости ума и прочим навыкам парсинга (т. к. для извлечения некоторых данных приходится использовать весьма нетривиальные пути).<br /> <br /> === Организация работы (Как студенты будут работать в команде?) ===<br /> Работа над проектом будет состоять из следующих этапов:<br /> * Самостоятельное ознакомление с базовыми возможностями основных инструментами и библиотек, используемых для разработки проекта;<br /> * Ознакомление с разработанным у нас фреймворком; обсуждение возможности использования определенных инструментов на каждой группе сайтов в отдельности;<br /> * Распределение обязанностей и начало разработки над проектом (тестовое)<br /> * Консультирование по первому (пробному) этапу работы над проектом, обсуждение проблем (технических, командных и пр.), установка плана работ над проектом (milestones и пр.)<br /> * Периодическая проверка на соответствие текущего состояния проработанности проекта обозначенному плану.<br /> * Финальная проверка реализации проекта.<br /> <br /> === Компоненеты (Из каких частей состоит проект?) ===<br /> * Разработанный в ИСИЭЗ фреймворк для извлечения данных (база для создания репозитория);<br /> * Разработанные самими студентами скрипты-парсеры на основании фреймворка (в случае возможности применения фреймворка для назначенных сайтов);<br /> * Разработанные самими студентами скрипты-парсеры на основании других библиотек парсинга (в случае '''не''' возможности применения фреймворка для назначенных сайтов);<br /> * Дополнения к фреймворку для обработки неформатных данных, упрощения процесса загрузки в БД и пр., написанные самими студентами, в случае необходимости создания таковых.<br /> <br /> === Какие будут использоваться технологии? ===<br /> Python 3, Scrapy, Selenium, PostgreSQL, lxml, Pandas, собственный фреймворк организации на Python + Scrapy для парсинга сайтов<br /> Amazon Web Services<br /> <br /> === Какие начальные требования? ===<br /> Знание Python на уровне, достаточном для быстрого освоения новых библиотек (для парсинга и пр.).<br /> Желательно знание Selenium, lxml, Scrapy или прочих библиотек.<br /> Наличие как минимум минимальных компетенций в работе с базами данных (в идеале — опыт работы с PostgreSQL)<br /> <br /> === Темы вводных занятий ===<br /> * Особенности парсинга на Python (в случае, если будут студенты, которые никогда не занимались решением подобного рода задач).<br /> * Особенности парсинга с помощью библиотеки Scrapy.<br /> * Особенности нашего фреймворка.<br /> <br /> === Критерии оценки ===<br /> 0-3: Написанные парсеры не работают или не извлекают большую часть доступных для извлечения данных, или данных извлекаются плохо и не в нужном формате, или распарсено по необъективным причинам менее 50% обозначенных сайтов, а также не организован доступ данных на общее хранилище (сбор данных производился на локальные устройства). Нет возможности проверить код, полностью отсутствуют комментарии и пояснения по проекту.<br /> 4-5: Написанные парсеры работают, извлекая все или большую часть доступных данных с сайтов, данные загружаются в правильном формате. По необъективным причинам распарсены не все сайты (до 65%) и некоторая часть данных, доступная для извлечения, не была извлечена или была извлечена неправильно. А также сбор данных производился на локальные устройства или проект написан на плохо читабельном коде, без комментариев.<br /> 6-7: Написанные парсеры работают, извлекая все или большую часть доступных данных с сайтов, данные загружаются в правильном формате на единое общедоступное облачное хранилище. Распарсены не все сайты или некоторая часть данных, доступная для извлечения, не была извлечена. В части кода проекта, опирающейся на одни и те же инструменты, присутствует консистентность. В коде присутствуют комментарии, достаточные для его понимания.<br /> 8-10: Написанные парсеры работают, извлекая все доступные данные с сайтов, данные загружаются в правильном формате на единое общедоступное облачное хранилище. Распарсены все сайты. В части кода проекта, опирающейся на одни и те же инструменты, присутствует консистентность. Код проекта полностью закомментирован (опуская комментирование встроенных функций, подключение библиотек и пр. очевидные вещи).<br /> <br /> === Похожие проекты ===<br /> <br /> <br /> === Контактная информация ===<br /> <br /> Ментор: [[Участник:Ilya Kuzminov|Кузьминов Илья Филиппович]]<br /> <br /> Email: ''ikuzminov@hse.ru''<br /> <br /> Рабочий телефон: +7(495) 772-9590 доб. 12022</div>

Ilya Kuzminov https://wiki.cs.hse.ru/index.php?title=%D0%A0%D0%B5%D0%BF%D0%BE%D0%B7%D0%B8%D1%82%D0%BE%D1%80%D0%B8%D0%B9_%D0%B0%D0%B2%D1%82%D0%BE%D0%BC%D0%B0%D1%82%D0%B8%D0%B7%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%BD%D0%BE%D0%B3%D0%BE_%D0%BF%D0%B0%D1%80%D1%81%D0%B8%D0%BD%D0%B3%D0%B0_(%D0%BA%D0%BE%D0%BC%D0%B0%D0%BD%D0%B4%D0%BD%D1%8B%D0%B9_%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82)&diff=23556 2017-08-23T12:59:02Z

<p>Ilya Kuzminov: Новая страница, с помощью формы Новый_командный_проект</p> <hr /> <div>{{Карточка_командного_проекта<br /> |name=Репозиторий автоматизированного парсинга<br /> |company=ИСИЭЗ НИУ ВШЭ<br /> |semester=Осень 2017<br /> |course=3<br /> |number_of_students=3-5<br /> |categorize=yes<br /> }}<br /> <br /> === Что это за проект? ===<br /> Это проект по созданию единого репозитория для автоматизированного парсинга сайтов одной тематики, с целью дальнейшего использования извлеченной информации в аналитике и прогнозах.<br /> С сайтов должны быть извлечены все максимально полезные метаданные о публикациях, статьях, грантах и т.п., например, время создания, авторство, категория, теги и т.п. параметры. Извлеченные данные должны будут автоматически загружены унифицированном для всех их источников формате в облачное хранилище в виде таблиц баз данных (мы используем PostgreSQL).<br /> Задача по извлечению изначально может показаться достаточно простой, но на практике это далеко не так. В случаях с некоторыми сайтами можно будет применить инструменты разработанного у нас фреймворка на базе Scrapy для извлечения данных. Однако, скорее всего, придется работать также с такими инструментами как Selenium.<br /> <br /> В итоге у команды, работающей над этим проектом, должен будет получится набор скриптов-парсеров, осуществляющих задачи, собственно, парсинга, а также загрузки данных в БД, запускаемых в рамках единого проекта (т.е. так, чтобы обработка группы сайтов могла быть запущена единой командой управления, без ручного вмешательства разработчиков).<br /> <br /> === Чему научатся студенты? Что самое интересное в проекте? ===<br /> Анализировать и приводить к стандартному виду большие объемы совершенно разрозненных данных.<br /> Разрабатывать и дорабатывать платформенные механизмы (фреймворки) автоматизированного сбора данных с веб-сайтов.<br /> Работать с базами данных, разрабатывать алгоритмы автоматизированного их пополнения, изменения и пр.<br /> Работать с облачными сервисами БД (например, AWS).<br /> Командной работе (не только с программистами, но и с аналитиками и пр. специалистами).<br /> Гибкости ума и прочим навыкам парсинга (т. к. для извлечения некоторых данных приходится использовать весьма нетривиальные пути).<br /> <br /> === Организация работы (Как студенты будут работать в команде?) ===<br /> Работа над проектом будет состоять из следующих этапов:<br /> * Самостоятельное ознакомление с базовыми возможностями основных инструментами и библиотек, используемых для разработки проекта;<br /> * Ознакомление с разработанным у нас фреймворком; обсуждение возможности использования определенных инструментов на каждой группе сайтов в отдельности;<br /> * Распределение обязанностей и начало разработки над проектом (тестовое)<br /> * Консультирование по первому (пробному) этапу работы над проектом, обсуждение проблем (технических, командных и пр.), установка плана работ над проектом (milestones и пр.)<br /> * Периодическая проверка на соответствие текущего состояния проработанности проекта обозначенному плану.<br /> * Финальная проверка реализации проекта.<br /> <br /> === Компоненеты (Из каких частей состоит проект?) ===<br /> * Разработанный в ИСИЭЗ фреймворк для извлечения данных (база для создания репозитория);<br /> * Разработанные самими студентами скрипты-парсеры на основании фреймворка (в случае возможности применения фреймворка для назначенных сайтов);<br /> * Разработанные самими студентами скрипты-парсеры на основании других библиотек парсинга (в случае '''не''' возможности применения фреймворка для назначенных сайтов);<br /> * Дополнения к фреймворку для обработки неформатных данных, упрощения процесса загрузки в БД и пр., написанные самими студентами, в случае необходимости создания таковых.<br /> <br /> === Какие будут использоваться технологии? ===<br /> Python 3, Scrapy, Selenium, PostgreSQL, lxml, Pandas, собственный фреймворк организации на Python + Scrapy для парсинга сайтов<br /> Amazon Web Services<br /> <br /> === Какие начальные требования? ===<br /> Знание Python на уровне, достаточном для быстрого освоения новых библиотек (для парсинга и пр.).<br /> Желательно знание Selenium, lxml, Scrapy или прочих библиотек.<br /> Наличие как минимум минимальных компетенций в работе с базами данных (в идеале — опыт работы с PostgreSQL)<br /> <br /> === Темы вводных занятий ===<br /> * Особенности парсинга на Python (в случае, если будут студенты, которые никогда не занимались решением подобного рода задач).<br /> * Особенности парсинга с помощью библиотеки Scrapy.<br /> * Особенности нашего фреймворка.<br /> <br /> === Критерии оценки ===<br /> 0-3: Написанные парсеры не работают или не извлекают большую часть доступных для извлечения данных, или данных извлекаются плохо и не в нужном формате, или распарсено по необъективным причинам менее 50% обозначенных сайтов, а также не организован доступ данных на общее хранилище (сбор данных производился на локальные устройства). Нет возможности проверить код, полностью отсутствуют комментарии и пояснения по проекту.<br /> 4-5: Написанные парсеры работают, извлекая все или большую часть доступных данных с сайтов, данные загружаются в правильном формате. По необъективным причинам распарсены не все сайты (до 65%) и некоторая часть данных, доступная для извлечения, не была извлечена или была извлечена неправильно. А также сбор данных производился на локальные устройства или проект написан на плохо читабельном коде, без комментариев.<br /> 6-7: Написанные парсеры работают, извлекая все или большую часть доступных данных с сайтов, данные загружаются в правильном формате на единое общедоступное облачное хранилище. Распарсены не все сайты или некоторая часть данных, доступная для извлечения, не была извлечена. В части кода проекта, опирающейся на одни и те же инструменты, присутствует консистентность. В коде присутствуют комментарии, достаточные для его понимания.<br /> 8-10: Написанные парсеры работают, извлекая все доступные данные с сайтов, данные загружаются в правильном формате на единое общедоступное облачное хранилище. Распарсены все сайты. В части кода проекта, опирающейся на одни и те же инструменты, присутствует консистентность. Код проекта полностью закомментирован (опуская комментирование встроенных функций, подключение библиотек и пр. очевидные вещи).<br /> <br /> === Похожие проекты ===<br /> <br /> <br /> === Контактная информация ===<br /> Email: ''ikuzminov@hse.ru''<br /> <br /> Рабочий телефон: +7(495) 772-9590 доб. 12022</div>

Ilya Kuzminov https://wiki.cs.hse.ru/index.php?title=%D0%A3%D1%87%D0%B0%D1%81%D1%82%D0%BD%D0%B8%D0%BA:Ilya_Kuzminov&diff=23554 2017-08-22T09:14:54Z

<p>Ilya Kuzminov: </p> <hr /> <div>Проекты:<br /> * <br /> <br /> == Образование ==<br /> <br /> * '''Аспирантура'''<br /> Институт географии РАН, специальность 25.00.24 «Экономическая, социальная, политическая и рекреационная география». Кандидат наук.<br /> * '''Специалитет'''<br /> Московский государственный университет им. М.В. Ломоносова, Москва. Кафедра экономической географии, Экономическая география / Региональная экономика.<br /> <br /> == Интересы ==<br /> <br /> <br /> == Деятельность ==<br /> <br /> <br /> == Контакты ==<br /> Email: ''ikuzminov@hse.ru''<br /> <br /> Рабочий телефон: +7(495) 772-9590 доб. 12022</div>

Ilya Kuzminov https://wiki.cs.hse.ru/index.php?title=%D0%A3%D1%87%D0%B0%D1%81%D1%82%D0%BD%D0%B8%D0%BA:Ilya_Kuzminov&diff=23553 2017-08-22T09:14:10Z

<p>Ilya Kuzminov: Новая страница: «== Образование == * &#039;&#039;&#039;Аспирантура&#039;&#039;&#039; Институт географии РАН, специальность 25.00.24 «Экономиче…»</p> <hr /> <div>== Образование ==<br /> <br /> * '''Аспирантура'''<br /> Институт географии РАН, специальность 25.00.24 «Экономическая, социальная, политическая и рекреационная география». Кандидат наук.<br /> * '''Специалитет'''<br /> Московский государственный университет им. М.В. Ломоносова, Москва. Кафедра экономической географии, Экономическая география / Региональная экономика.<br /> <br /> == Интересы ==<br /> <br /> <br /> == Деятельность ==<br /> <br /> <br /> == Контакты ==<br /> Email: ''ikuzminov@hse.ru''<br /> <br /> Рабочий телефон: +7(495) 772-9590 доб. 12022</div>

Ilya Kuzminov