Wiki - Факультет компьютерных наук - Вклад [ru]

Классификация объектов на спутниковых снимках с помощью глубокого обучения (командный проект)

2018-10-21T13:36:32Z

AntonioRodriges: AntonioRodriges переименовал страницу Классификация объектов на спутниковых снимках с помощью глубокого обучения (командный проект) в [[Класс…

#перенаправление [[Классификация объектов на спутниковых снимках с помощью глубокого обучения]]

Классификация объектов на спутниковых снимках с помощью глубокого обучения

2018-10-21T13:36:32Z

{{Карточка_командного_проекта
|name=Классификация объектов на спутниковых снимках с помощью глубокого обучения
|company=НИУ ВШЭ
|semester=Осень 2018
|course=3-4
|number_of_students=8
|categorize=yes
}}

'''Темы студенческих работ 2018-2019'''
* [http://wiki.cs.hse.ru/%D0%A3%D1%87%D0%B0%D1%81%D1%82%D0%BD%D0%B8%D0%BA:AntonioRodriges Страница ментора]

* [https://www.hse.ru/mirror/pubs/share/226456009 Презентация проектов 2018-2019 (PDF)]

* [https://eduhseru-my.sharepoint.com/:x:/g/personal/arodriges_edu_hse_ru/EYZzEzd9JzFBq7yMDmIwPx0B665RwOlVVYFc69FfpZPb6A?e=sBBOSx Дополнительные темы] (on-line таблица)

* Узнать больше о данных ДЗЗ: https://learn.arcgis.com/ru/arcgis-imagery-book/

=== Что это за проект? ===
Спутниковые данные (данные дистанционного зондирования Земли, ДЗЗ) используются при планировании городской инфраструктуры, мониторинге чрезвычайных ситуаций, точном земледелии и решении [https://learn.arcgis.com/ru/arcgis-imagery-book/ многих других задач]. Amazon предоставляет [https://aws.amazon.com/earth петабайты данных ДЗЗ], Planet строит «[https://habr.com/post/408397/ Космический Google]» для планеты, а Роскосмос запускает масштабный проект «[https://www.youtube.com/watch?v=LsR_gfCeSlQ Цифровая Земля]». Недавно прошли несколько международных конкурсов и хакатонов (в т.ч. в России), которые посвящены этой тематике: [https://habr.com/company/avito/blog/325632/ статья 1], [https://habr.com/company/ods/blog/325096/ статья 2], [http://geohack.ru/ хакатон Croc].

[[Файл:ПользаГеоданныеРоскосмос.PNG|800px|безрамки|центр|link=https://www.youtube.com/watch?v=LsR_gfCeSlQ]]

[[Файл:ПользаГеоданныеPlanet.PNG|800px|безрамки|центр|link=https://www.youtube.com/watch?v=h5Zhk0U4aZ4]]

'''Цель проекта''' — разработать облачный сервис классификации объектов на бесплатных данных [https://registry.opendata.aws/sentinel-2/ Sentinel (ESA, European Space Agency)], которые на сегодня имеют самое высокое разрешение (порядка 10 метров на пиксель) среди всех бесплатных данных ДЗЗ.

Также можно будет использовать вспомогательные данные других космических аппаратов, а также векторные цифровые карты для повышения точности классификации. Мы будем стремиться к тому, чтобы наш сервис автоматически загружал новые спутниковые данные по мере их поступления для заданных ROI (Region of Interest) и выполнял их классификацию (сегментацию) с сохранением результатов в базу данных и интерактивной визуализацией по требованию.

=== Чему вы научитесь? ===
* технологиям глубокого обучения
* соответствующим front-end и back-end технологиям, которые необходимы для сервиса (напр., сетевым протоколам передачи геопространственных данных, расширениям для хранения геоданных в СУБД, карты отображения данных в браузере)
* основам работы со спутниковыми данными
* библиотекам работы с геопространственными данными
* применению машинного обучения к реальным, практически полезным задачам

=== Какие начальные требования? ===
* технический английский (для чтения статей)
* язык программирования — любой
* желание разбираться с геопространственными данными

=== Какие будут использоваться технологии? ===
Технологии очевидны из следующего описания сервиса.
Задачи или компоненты сервиса можно упрощать/усложнять/исключать исходя из количества студентов, которые выберут проект.
Также back-end и/или front-end могут разрабатываться разным числом студенов в зависимости от сложности и объемности задач.

'''Сервер''' (back-end):

* Периодически загружает из облака Amazon новые данные [https://registry.opendata.aws/sentinel-2/ Sentinel] для заданных регионов
* Выполняет подготовку данных: напр., используя векторную карту, вырезает из снимков полигоны, соответствующие зданиям, дорогам, паркам, т.п. с помощью специальных библиотек, напр. [https://pcjericks.github.io/py-gdalogr-cookbook/raster_layers.html Python]
* Умеет по специальному протоколу (напр., WCS - Web Coverage Service) передавать данные на клиент
* Запускает классификацию/сегментацию снимков на одном сервере либо на кластере в "облаке"
* Сохраняет результаты классификации в базу данных, напр. PostgreSQL/PostGIS
* Умеет принимать от клиента запросы

'''Клиент''' (front-end):

* Отображает карту, входные данные и результаты работы в браузере, напр. с помощью Leaflet
* Умеет принимать от пользователя регионы интереса, пометки к данным
* Умеет передавать на сервер геоданные (напр., по протоколу WFS - Web Feature Service)

=== Темы вводных занятий ===
Мы возьмем некоторые темы из курса [http://rgeo.wikience.org/index2017.html Разработка геоприложений]

* что такое геопространственные данные, какие они бывают и какие особенности работы с ними
* как устроены спутниковые данные (данные дистанционного зондирования Земли)
* библиотеки для работы с геопространственными данными
* особенности и паттерны применения нейронных сетей к спутниковым данным

=== Направления развития ===
* использование дополнительных спутниковых данных, напр. гиперспектральных, радарных, DEM (Digital Elevation Model)
* наличие нескольких альтернативных моделей для классификации данных

=== Критерии оценки ===
Адаптируются в зависимости от размера команды.

'''4-5:'''

* выполнить подготовку данных (автоматическая загрузка + вырезка объектов по векторной карте для обучения)
* реализовать классификацию данных ДЗЗ (можно без автоматизации)
* реализованное приложение должно выполнять сегментацию

'''6-7:'''

* все пункты '''4-5'''
* визуальный интерфейс (любой - web либо desktop)

'''8-10:'''

* все пункты '''6-7'''
* визуальный интерфейс (любой - web либо desktop, но желательно web)
* сервер, cм. описание в разделе "Какие будут использоваться технологии?"

Дополнительные баллы можно также получить при выполнении пунктов из раздела "Направления развития".

=== Ориентировочное расписание занятий ===
По договоренности. Ориентировочно ВТ 16.40-18.10 (по четной неделе)

Исследование производительности систем обработки больших векторных геоданных (командный проект)

2018-10-21T13:36:18Z

AntonioRodriges: AntonioRodriges переименовал страницу Исследование производительности систем обработки больших векторных геоданных (командный проект) в [[Ис…

#перенаправление [[Исследование производительности систем обработки больших векторных геоданных]]

Исследование производительности систем обработки больших векторных геоданных

2018-10-21T13:36:18Z

{{Карточка_командного_проекта
|name=Редактирование Исследование производительности систем обработки больших векторных геоданных
|company=НИУ ВШЭ
|semester=Осень 2018
|course=3-4
|number_of_students=15
|categorize=yes
}}

'''Темы студенческих работ 2018-2019'''
* [http://wiki.cs.hse.ru/%D0%A3%D1%87%D0%B0%D1%81%D1%82%D0%BD%D0%B8%D0%BA:AntonioRodriges Страница ментора]

* [https://www.hse.ru/mirror/pubs/share/226456009 Презентация проектов 2018-2019 (PDF)]

* [https://eduhseru-my.sharepoint.com/:x:/g/personal/arodriges_edu_hse_ru/EYZzEzd9JzFBq7yMDmIwPx0B665RwOlVVYFc69FfpZPb6A?e=sBBOSx Дополнительные темы] (on-line таблица)

* Узнать больше о данных ДЗЗ: https://learn.arcgis.com/ru/arcgis-imagery-book/

=== Что это за проект? ===
Геопространственные данные (геоданные) это такие данные, у которых есть географическая привязка.
В современном мире, около 80% всех данных содержат географическую привязку:
[https://www.forbes.com/sites/truebridge/2016/05/06/how-imaging-technologies-are-changing-the-world-part-2/ ссылка 1],
[https://carto.com/blog/eighty-data-visualizations-examples-using-location-data-maps/ ссылка 2].

Векторные геоданные - точка, линия, полигон, мультиполигон и другие виды объетов, которые имеют географическую привязку.
Эти данные встречаются в картах Google, Yandex, Bing и любых подобных сервисах.
При обработке этих данных мы встречаемся с такими основными проблемами:
* большие данные: этих данных очень много (представьте себе только одну Москву с миллионами объектов)
* особый workload: обработка запросов к геоданным не является тривиальной (нужны индексы, специальные алгоритмы и подходы)
* облачные системы: для обработки больших данных нужно использовать компьютерные кластеры и распределенные системы

Системы обработки больших векторных геоданных могут отвечать на такие вопросы:
* '''Пользователь мобильной связи''': где находится ближайшая автозаправочная станция? Могу ли я по дороге домой купить корм для домашних животных?
* '''Командующий армией''': произошли ли значительные передвижения войск противника по сравнению со вчерашним вечером?
* '''Менеждер по страховым рискам''': какие постройки на берегу реки с наибольшей вероятностью пострадают от очередного большого наводнения?
* '''Специалист по транспорту''': как следует расширить сеть автодорог, чтобы до минимума сократить заторы?
* и многие другие вопросы: Spatial Databases: A Tour http://www.spatial.cs.umn.edu/Book/

Например, треки ураганов позволяют страховым компаниям [https://eigenrisk.com/news/real-time-event-response/ спрогнозировать ущерб]:
[[Файл:NCEP_CFSR_AND_IBTRACKS_HURRICANE_KATRINA_28August2005.png|центр|600px|link=http://www.wikience.org/|Треки ураганов позволяют страховым компаниям спрогнозировать ущерб]]

Исследование производительности систем обработки больших векторных геоданных заключается в следующем:
* развернуть систему обработки данных в облаке либо на локальной машине
* импортировать данные в систему
* разработать запросы для системы с учетом ее особенностей (это поможет сделать ментор), чтобы выявить сильные и слабые стороны системы (с какими задачами система справляется лучше, а с какими хуже)
* выполнить исследование системы: запустить запросы на системе с разным количеством узлов кластера, разным объемов данных, модифицировать запросы, чтобы улучшить или ухудшить производительность системы, найти данные на которых система работает лучше/хуже и т.п.

'''Цель работы''' -- познакомиться с геоданными, изучить системы и особенности работы с ними. Это позволит существенно улучшить Ваше резюме. Например, многие системы основаны на Apache Spark, который является одной из самых популярных и востребованных работодателями систем работы с Большими Данными.

''' Свежая статья об исследовании систем обработки больших векторных геоданных''': How Good Are Modern Spatial Analytics Systems? [http://www.vldb.org/pvldb/vol11/p1661-pandey.pdf PDF]

Ментор этого проекта лично выступал на VLDB 2018 - одной из самых значимых в мире конференций по Большим Данным, Распределенным Системам, и Базам Данных: ChronosDB: Distributed, File Based, Geospatial Array DBMS [http://www.vldb.org/pvldb/vol11/p1247-zalipynis.pdf PDF]. Это единственный устный доклад от РФ за последние 10 лет.

'''При командной работе задачи распределяются так''': студент берет себе одну из систем.

Системы:
* GeoMesa https://www.geomesa.org/
* GeoTrellis https://geotrellis.io/
* PostgreSQL/PostGIS https://postgis.net/
* GIS Tools for Hadoop http://esri.github.io/gis-tools-for-hadoop/
* Spatial Hadoop http://spatialhadoop.cs.umn.edu/
* Hadoop-GIS http://bmidb.cs.stonybrook.edu/hadoopgis/index
* GeoSpark https://github.com/DataSystemsLab/GeoSpark
* Magellan https://github.com/harsha2010/magellan
* Asterix-DB https://asterixdb.apache.org/
* MongoDB https://www.mongodb.com/
* Couchbase https://www.couchbase.com/
* ваши предложения (почти любая современная база данных поддерживает векторные геоданные)

Перечень остальных подходов и систем (не исчерпывающий): The Era of Big Spatial Data [http://www.vldb.org/pvldb/vol10/p1992-eldawy.pdf PDF]

=== Чему вы научитесь? ===
* работе с облачными сервисами Azure либо Amazon
* работе с системами обработки векторных геоданных
* основам новых языков программирования: некоторые (не все) системы используют Python/Scala/... для своего API, их знание не является обязательным для работы над проектом, они легко осваиваются по ходу работы
* принципам работы алгоритмов обработки векторных геоданных

=== Какие начальные требования? ===
* технический английский (для чтения статей)
* язык программирования - любой, новый осваивается по ходу работы в зависимости от системы либо облачного сервиса
* желание разбираться с геопространственными данными, системами и алгоритмами их обработки, облачными сервисами

=== Какие будут использоваться технологии? ===
Перечень технологий доступен на сайте курса [http://rgeo.wikience.org/index2017.html Разработка геоприложений]

Перечень систем (не исчерпывающий): The Era of Big Spatial Data [http://www.vldb.org/pvldb/vol10/p1992-eldawy.pdf PDF]

=== Темы вводных занятий ===
Мы возьмем некоторые темы из курса [http://rgeo.wikience.org/index2017.html Разработка геоприложений]

* что такое геопространственные данные, какие они бывают и какие особенности работы с ними
* системы для обработки больших геопространственных данных
* виды запросов и их особенности для обработки векторных геоданных

=== Направления развития ===
* исследование производительности новейших систем, напр. Rheem http://da.qcri.org/rheem/
* исследование производительности машинного обучения с использованием геоданных
* модификация систем для изменения поведения при ответе на запросы
* комбинация в запросах не только векторных, но и растровых геоданных, данных других баз данных
* использование данных из различных источников (города, треки, ...) для исследования системы
* публикация статьи в следующем году по результатам исследований: напр., Суперкомпьютерные дни в России http://www.russianscdays.org/, AIST https://aistconf.org

=== Критерии оценки ===
4-5:
* подготовить тестовые геоданные
* реализовать импорт геоданных в выбранную систему
* составить 10 одноэтапных (выполняющих какую-то одну пространственную операцию) запросов к системе
* уметь с помощью API системы выполнять к ней запросы
* построить диаграммы, графики и другие необходимые отчетные материлы иллюстрации производительности системы

6-7:
* все пункты '''4-5''', кроме запросов
* уметь разворачивать систему на компьютерном кластере в облаке Azure/Amazon (если бесплатная версия системы это позволяет)
* составить 10 (можно больше) сложных запросов к системе (запрос должен проверять сразу несколько аспектов работы системы)
* уметь измерять время выполнения различных этапов работы системы (напр., подготовка данных, shuffling между узлами кластера, ...)

8-10:
* все пункты '''6-7'''
* уметь создавать компьютерный кластер в облаке c помощью API Azure/Amazon (если это будет необходимо)
* проверить работу системы на различных данных, их объемах и конфигурациях оборудования (кластера, если система распределенная)
* подготовить UDF (User Defined Functions) для выполнения системой пользовательских запросов
* научиться задавать расположение исходных данных на узлах кластера с помощью API системы
* самостоятельно предлагать запросы, которые позволят выявить слабые и сильные стороны системы (на 10 баллов)

Дополнительные баллы можно также получить при выполнении пунктов из раздела "Направления развития"

=== Ориентировочное расписание занятий ===
По договоренности. Ориентировочно ВТ 16.40-18.10 (по четной неделе)

Исследование производительности систем обработки больших растровых геоданных (командный проект)

2018-10-21T13:36:02Z

AntonioRodriges: AntonioRodriges переименовал страницу Исследование производительности систем обработки больших растровых геоданных (командный проект) в [[Ис…

#перенаправление [[Исследование производительности систем обработки больших растровых геоданных]]

Исследование производительности систем обработки больших растровых геоданных

2018-10-21T13:36:02Z

{{Карточка_командного_проекта
|name=Исследование производительности систем обработки больших растровых геоданных
|company=НИУ ВШЭ
|semester=Осень 2018
|course=3-4
|number_of_students=15
|categorize=yes
}}

'''Темы студенческих работ 2018-2019'''
* [http://wiki.cs.hse.ru/%D0%A3%D1%87%D0%B0%D1%81%D1%82%D0%BD%D0%B8%D0%BA:AntonioRodriges Страница ментора]

* [https://www.hse.ru/mirror/pubs/share/226456009 Презентация проектов 2018-2019 (PDF)]

* [https://eduhseru-my.sharepoint.com/:x:/g/personal/arodriges_edu_hse_ru/EYZzEzd9JzFBq7yMDmIwPx0B665RwOlVVYFc69FfpZPb6A?e=sBBOSx Дополнительные темы] (on-line таблица)

* Узнать больше о данных ДЗЗ: https://learn.arcgis.com/ru/arcgis-imagery-book/

=== Что это за проект? ===
Геопространственные данные (геоданные) это такие данные, у которых есть географическая привязка.
В современном мире, около 80% всех данных содержат географическую привязку:
[https://www.forbes.com/sites/truebridge/2016/05/06/how-imaging-technologies-are-changing-the-world-part-2/ ссылка 1],
[https://carto.com/blog/eighty-data-visualizations-examples-using-location-data-maps/ ссылка 2].

Растровые геоданные -
временной ряд ('''1D'''),
спутниковая сцена ('''2D'''),
прогноз погоды/климата ('''3D'''),
данные беспилотных летательных аппаратов (БПЛА),
лидаров и другие N-мерные массивы, которые имеют географическую привязку.

[[Файл:Wikience-wind-speed.png|200px|link=http://www.wikience.org/]]
[[Файл:Wikience-mean-sea-level-pressure-and-isobars-300x300.png|200px|link=http://www.wikience.org/]]
[[Файл:Wikience-co2-globe.png|200px|link=http://www.wikience.org/]]
[[Файл:Wikience-no2.png|200px|link=http://www.wikience.org/]]

При обработке этих данных мы встречаемся с такими основными проблемами:
* большие данные: только лишь один DigitalGlobe, коммерческий провайдер спутниковых данных, собирает около [https://www.mapbox.com/blog/digitalglobe-maps-api/ 70 терабайт в день]
* особый workload: растровые геоданные обрабатываются по-своему: нужны особые алгоритмы и подходы
* облачные системы: для обработки больших данных нужно использовать компьютерные кластеры и распределенные системы

Системы обработки больших растровых геоданных могут отвечать на такие вопросы:
* '''Чрезвычайные ситуации''': какие районы города будут затоплены при повышении уровня воды на 1 метр (используются [https://en.wikipedia.org/wiki/Digital_elevation_model DEM])?
* '''Сельское хозяйство''': как нужно удобрять поле, чтобы собрать больше урожая (точное земледелие, [https://en.wikipedia.org/wiki/Precision_agriculture precision agriculture])?
* '''Городское планирование''': где и какие санитарно-гигиенические мероприятия нужно проводить, чтобы повысить качество воздуха?
* и многие другие вопросы

Конкретный пример: суперкомпьютер Blue Waters и спутниковые данные используются для предсказания урожая, что чрезвычайно важно для экономики: [https://aces.illinois.edu/news/illinois-research-accurately-predicts-us-end-season-corn-yield ссылка].

Исследование производительности систем обработки больших растровых геоданных заключается в следующем:
* развернуть систему обработки данных в облаке либо на локальной машине
* импортировать данные в систему
* разработать запросы для системы с учетом ее особенностей (это поможет сделать ментор), чтобы выявить сильные и слабые стороны системы (с какими задачами система справляется лучше, а с какими хуже)
* выполнить исследование системы: запустить запросы на системе с разным количеством узлов кластера, разным объемов данных, модифицировать запросы, чтобы улучшить или ухудшить производительность системы, найти данные на которых система работает лучше/хуже и т.п.

'''Цель работы''' -- познакомиться с растровыми геоданными, изучить системы и особенности работы с ними. Это позволит существенно улучшить Ваше резюме. Например, многие системы основаны на Apache Spark, который является одной из самых популярных и востребованных работодателями систем работы с Большими Данными.

Ментор этого проекта лично выступал на VLDB 2018 - одной из самых значимых в мире конференций по Большим Данным, Распределенным Системам, и Базам Данных: ChronosDB: Distributed, File Based, Geospatial Array DBMS [http://www.vldb.org/pvldb/vol11/p1247-zalipynis.pdf PDF]. Это единственный устный доклад от РФ за последние 10 лет.

'''При командной работе задачи распределяются так''': студент берет себе одну из систем.

Системы:

* SciDB https://www.paradigm4.com
* RasDaMan http://rasdaman.org/
* MrGeo https://github.com/ngageoint/mrgeo
* GeoTrellis https://geotrellis.io/
* TileDB https://tiledb.io/
* PostgreSQL/PostGIS https://postgis.net/
* ClimateSpark https://github.com/feihugis/ClimateSpark
* SciSpark https://scispark.jpl.nasa.gov/
* RasterFrames http://rasterframes.io/
* Python Dask https://dask.org/
* BigDAWG https://bigdawg.mit.edu/
* Язык программирования Julia https://julialang.org/
* Python/TensorFlow https://www.tensorflow.org
* Myria http://myria.cs.washington.edu/
* ваши предложения

=== Чему вы научитесь? ===
* работе с облачными сервисами Azure либо Amazon
* работе с системами обработки растровых геоданных
* основам новых языков программирования: некоторые (не все) системы используют Python/Scala/... для своего API, их знание не является обязательным для работы над проектом, они легко осваиваются по ходу работы
* принципам работы алгоритмов обработки растровых геоданных

=== Какие начальные требования? ===
* технический английский (для чтения статей)
* язык программирования - любой, новый осваивается по ходу работы в зависимости от системы либо облачного сервиса
* желание разбираться с геопространственными данными, системами и алгоритмами их обработки, облачными сервисами

=== Какие будут использоваться технологии? ===
Перечень технологий доступен на сайте курса [http://rgeo.wikience.org/index2017.html Разработка геоприложений]

=== Темы вводных занятий ===
Мы возьмем некоторые темы из курса [http://rgeo.wikience.org/index2017.html Разработка геоприложений]

* что такое геопространственные данные, какие они бывают и какие особенности работы с ними
* системы для обработки больших геопространственных данных
* виды запросов и их особенности для обработки растровых геоданных

=== Направления развития ===
* исследование производительности новейших систем, напр. Rheem http://da.qcri.org/rheem/
* исследование производительности машинного обучения с использованием геоданных
* модификация систем для изменения поведения при ответе на запросы
* комбинация в запросах не только растровых, но и векторных геоданных, данных других баз данных
* использование данных из различных источников (NASA, ECMWF, ESA, ...) для исследования системы
* публикация статьи в следующем году по результатам исследований: напр., Суперкомпьютерные дни в России http://www.russianscdays.org/, AIST https://aistconf.org

=== Критерии оценки ===
4-5:
* подготовить тестовые геоданные
* реализовать импорт геоданных в выбранную систему
* составить 10 одноэтапных (выполняющих какую-то одну пространственную операцию) запросов к системе
* уметь с помощью API системы выполнять к ней запросы
* построить диаграммы, графики и другие необходимые отчетные материлы иллюстрации производительности системы

6-7:
* все пункты '''4-5''', кроме запросов
* уметь разворачивать систему на компьютерном кластере в облаке Azure/Amazon (если бесплатная версия системы это позволяет)
* составить 10 (можно больше) сложных запросов к системе (запрос должен проверять сразу несколько аспектов работы системы)
* уметь измерять время выполнения различных этапов работы системы (напр., подготовка данных, shuffling между узлами кластера, ...)

8-10:
* все пункты '''6-7'''
* уметь создавать компьютерный кластер в облаке c помощью API Azure/Amazon (если это будет необходимо)
* проверить работу системы на различных данных, их объемах и конфигурациях оборудования (кластера, если система распределенная)
* подготовить UDF (User Defined Functions) для выполнения системой пользовательских запросов
* научиться задавать расположение исходных данных на узлах кластера с помощью API системы
* самостоятельно предлагать запросы, которые позволят выявить слабые и сильные стороны системы (на 10 баллов)

Дополнительные баллы можно также получить при выполнении пунктов из раздела "Направления развития"

=== Ориентировочное расписание занятий ===
По договоренности. Ориентировочно ВТ 16.40-18.10 (по четной неделе)

Change Detection (командный проект)

2018-10-21T13:35:18Z

AntonioRodriges: AntonioRodriges переименовал страницу Change Detection (командный проект) в Change Detection

#перенаправление [[Change Detection]]

Change Detection

2018-10-21T13:35:18Z

AntonioRodriges: AntonioRodriges переименовал страницу Change Detection (командный проект) в Change Detection

{{Карточка_командного_проекта
|name=Change Detection
|company=НИУ ВШЭ
|semester=Осень 2018
|course=3-4
|number_of_students=7
|categorize=yes
}}

'''Темы студенческих работ 2018-2019'''
* [http://wiki.cs.hse.ru/%D0%A3%D1%87%D0%B0%D1%81%D1%82%D0%BD%D0%B8%D0%BA:AntonioRodriges Страница ментора]

* [https://www.hse.ru/mirror/pubs/share/226456009 Презентация проектов 2018-2019 (PDF)]

* [https://eduhseru-my.sharepoint.com/:x:/g/personal/arodriges_edu_hse_ru/EYZzEzd9JzFBq7yMDmIwPx0B665RwOlVVYFc69FfpZPb6A?e=sBBOSx Дополнительные темы] (on-line таблица)

* Узнать больше о данных ДЗЗ: https://learn.arcgis.com/ru/arcgis-imagery-book/

=== Что это за проект? ===
Обнаружение изменений (change detection) на спутниковых снимках является практически важной задачей при управлении развитием городских и других территорий.

Примеры результатов работы алгоритмов обнаружения изменений:
* на месте здания появилось футбольное поле
* на месте пустыря появился жилой комплекс
* длина строящегося моста выросла на 250 метров за прошедшие пол года
* площадь зеленых зон в городе увеличилась на 10%

Таким образом, подходы обнаружения изменений позволяют повысить оперативность (за счет автоматизации) и объективность (за счет использования спутниковых данных) работы.

'''Обзор методов обнаружения изменений''': Change detection from remotely sensed images: From pixel-based to object-based approaches [https://www.ec.gc.ca/glaces-ice/0F9E03B9-1146-4AD4-A13B-AE9E07C9F72B/1.change%20detection.pdf PDF]

Pipeline обнаружения изменений может выглядеть следующим образом:
* подготовка входных данных: спутниковые данные Sentinel (или другие) + векторные данные OpenStreetMap
* совмещение OpenStreetMap со спутниковыми данными (вырезка из них тренировочной выборки)
* обучение алгоритма обнаружения изменений
* применение обученного алгоритма к другим данным
* разработка приложения для отображения входных данных и результатов работы
* возможно использование дополнительных источников данных для улучшения результатов (напр., другие спутники или сервисы)

При командной работе задачи можно распределить следующим образом:
* реализация алгоритма (1-2 человека в зависимости от числа выбранных алгоритмов)
* подготовка и совмещение входных данных (1-3 человека, в зависимости от разнообразия источников данных)
* разработка приложения (1-2 человека, можно back-end + front-end)

==== Примеры практической пользы обнаружения изменений ====

=====Роскосмос "Цифровая Земля"=====

[[Файл:ПользаГеоданныеРоскосмос.PNG|800px|безрамки|центр|link=https://www.youtube.com/watch?v=LsR_gfCeSlQ]]

=====Космический "Google для планеты"=====

Источник: [https://habr.com/post/408397/ ссылка]

[[Файл:ПользаГеоданныеPlanet.PNG|800px|безрамки|центр|link=https://www.youtube.com/watch?v=h5Zhk0U4aZ4]]

=== Чему вы научитесь? ===
* алгоритмы обнаружения изменений
* алгоритмы, которые полезны не только для обнаружения изменений
* знакомство с геопространственными данными
* библиотеки работы с геопространственными данными

=== Какие начальные требования? ===
* технический английский (для чтения статей)
* язык программирования -- любой
* желание разбираться с геопространственными данными

=== Какие будут использоваться технологии? ===
Перечень технологий доступен на сайте курса [http://rgeo.wikience.org/index2017.html Разработка геоприложений]

=== Темы вводных занятий ===
Мы возьмем некоторые темы из курса [http://rgeo.wikience.org/index2017.html Разработка геоприложений]

* что такое геопространственные данные, какие они бывают и какие особенности работы с ними
* как устроены спутниковые данные (данные дистанционного зондирования Земли)
* библиотеки для работы с геопространственными данными
* подходы для обнаружения изменений на спутниковых данных

=== Направления развития ===
* реализация алгоритма (алгоритмов) обнаружения изменений на основе
** нейронных сетей
** SVM
** деревьев решений
** нечеткой логики
** объектных подходов
* использование входных данных сразу с нескольких космических аппаратов
* сохранение результатов работы в базу данных (напр., PostGIS) и выполнение над ними запросов (напр., вычисление площади полигона)
* разработка веб-сервиса для обнаружения изменений (любой язык программирования)
* разработка серверной части (автоматическая загрузка входных данных и обнаружение изменений)

=== Критерии оценки ===
4-5:
* выполнить подготовку данных (можно вручную)
* реализовать алгоритм обнаружения изменений (любой)
* реализованный алгоритм должен находить изменения

6-7:
* выполнить программную реализацию подготовки данных (с использованием OpenStreetMap, исходные данные можно загрузить вручную)
* реализовать алгоритм обнаружения изменений (см. Направления развития)
* простой графический интерфейс визуализации входных данных и результатов
* реализованный алгоритм должен находить изменения

8-10:
* выполнить программную реализацию подготовки данных (с использованием OpenStreetMap)
* реализовать алгоритм обнаружения изменений (см. Направления развития, один либо несколько)
* сохранение результатов работы в базу данных (напр., PostGIS) и выполнение над ними запросов (напр., вычисление площади полигона)
* разработка приложения (не обязательно веб) для визуализации входных данных и результатов
* дополнительные баллы можно также получить при выполнении пунктов из раздела "Направления развития"

=== Ориентировочное расписание занятий ===
По договоренности. Ориентировочно ВТ 16.40-18.10 (по четной неделе)

Классификация объектов на спутниковых снимках с помощью глубокого обучения

2018-10-20T08:14:27Z

AntonioRodriges:

Исследование производительности систем обработки больших векторных геоданных

2018-10-20T08:14:18Z

AntonioRodriges:

Исследование производительности систем обработки больших растровых геоданных

2018-10-20T08:14:00Z

AntonioRodriges:

Change Detection

2018-10-20T08:13:37Z

AntonioRodriges:

Участник:AntonioRodriges

2018-10-20T08:12:27Z

AntonioRodriges:

{{Карточка_ментора
|categorize = yes
}}

[[Файл:AntonioRodriges.jpg|мини|Вот так выглядит Антонио Родригес]]

'''Примечания'''
* все темы можно выполнять на любом курсе (2-3-4, магистратура)
* выполнять индивидуально либо в команде
* в качестве ВКР либо проектной работы

'''Темы студенческих работ 2018-2019'''

* [https://www.hse.ru/mirror/pubs/share/226456009 Презентация проектов 2018-2019 (PDF)]

* [https://eduhseru-my.sharepoint.com/:x:/g/personal/arodriges_edu_hse_ru/EYZzEzd9JzFBq7yMDmIwPx0B665RwOlVVYFc69FfpZPb6A?e=sBBOSx Дополнительные темы] (on-line таблица)

* Узнать больше о данных ДЗЗ: https://learn.arcgis.com/ru/arcgis-imagery-book/

= Интересы =

Работаю в области больших данных, распределенных систем, баз данных и геоинформатики.

Многие предложенные мною проекты связаны с этими областями. О геоинформатике написано более широко ниже.

Домашняя страница: [https://www.hse.ru/staff/rodriges www.hse.ru/staff/rodriges]

= Геопространственные данные (Geospatial Data) =

Геопространственные данные (геоданные) это такие данные, у которых есть географическая привязка.
В современном мире, около 80% всех данных содержат географическую привязку:
[https://www.forbes.com/sites/truebridge/2016/05/06/how-imaging-technologies-are-changing-the-world-part-2/ ссылка 1],
[https://carto.com/blog/eighty-data-visualizations-examples-using-location-data-maps/ ссылка 2].

Геоинформатика -- наука, которая занимается геоданными.

[[Файл:Geoinformatics slide.png|600px|центр]]

Географические данные делятся на 2 вида: векторные (напр., точки, линии, полигоны) и растровые – многомерные массивы (напр., мультиспектральные спутниковые сцены). Работа с геопривязанными данными кардинально отличается от работы с обычными векторными объектами и массивами. Для этого используются особые подходы.

Геоданные находят применение в широком круге научных и практически важных задачах:
* мониторинг окружающей среды
* транспорт
* городское планирование
* сельское хозяйство
* страхование
* недвижимость
и многих других областях.

Короткие список примеров:
* [https://www.cnbc.com/2017/08/02/apple-has-over-70-map-tech-job-openings.html Apple нанимает более 70 экспертов в области геоданных]
* [https://www.youtube.com/watch?v=LsR_gfCeSlQ Видео от Роскосмоса]
* [https://www.globalforestwatch.org Проект Forest Watch]
* [https://geektimes.ru/post/295569/ «Космический Google для планеты»]
* [https://www.planet.com/markets/ Компания Planet]
* [http://geohack.ru/ Хакатон по геоданным в Москве от компании Croc]
* [https://www.digitalglobe.com/ Компания DigitalGlobe]
* [https://www.esri.com/en-us/industries/index Компания ESRI]
* [https://carto.com/ Компания Carto]
* [http://geoawesomeness.com/ много других примеров от GeoAwesomeness]

На самых значимых в мире конференциях по компьютерным наукам всегда можно найти отдельные секции по пространственным данным (Spatial Data):
* [http://vldb2018.lncc.br/program-structure.html VLDB 2018]
* [https://sigmod2018.org/schedule_overview.shtml SIGMOD 2018]

Р.А. Родригес Залепинос лично выступал на VLDB 2018 - одной из самых значимых в мире конференций по Большим Данным, Распределенным Системам, и Базам Данных: ChronosDB: Distributed, File Based, Geospatial Array DBMS [http://www.vldb.org/pvldb/vol11/p1247-zalipynis.pdf PDF]. Это единственный устный доклад от РФ за последние 10 лет.

= Контакты =
e-mail: [http://mailto:arodriges@hse.ru arodriges@hse.ru]

Редактирование Исследование производительности систем обработки больших векторных геоданных (командный проект)

2018-10-20T08:04:58Z

AntonioRodriges: AntonioRodriges переименовал страницу [[Редактирование Исследование производительности систем обработки больших векторных геоданных (командн…

#перенаправление [[Исследование производительности систем обработки больших векторных геоданных (командный проект)]]

Исследование производительности систем обработки больших векторных геоданных

2018-10-20T08:04:58Z

{{Карточка_командного_проекта
|name=Редактирование Исследование производительности систем обработки больших векторных геоданных
|company=НИУ ВШЭ
|semester=Осень 2018
|course=3-4
|number_of_students=15
|categorize=yes
}}

=== Что это за проект? ===
Геопространственные данные (геоданные) это такие данные, у которых есть географическая привязка.
В современном мире, около 80% всех данных содержат географическую привязку:
[https://www.forbes.com/sites/truebridge/2016/05/06/how-imaging-technologies-are-changing-the-world-part-2/ ссылка 1],
[https://carto.com/blog/eighty-data-visualizations-examples-using-location-data-maps/ ссылка 2].

Векторные геоданные - точка, линия, полигон, мультиполигон и другие виды объетов, которые имеют географическую привязку.
Эти данные встречаются в картах Google, Yandex, Bing и любых подобных сервисах.
При обработке этих данных мы встречаемся с такими основными проблемами:
* большие данные: этих данных очень много (представьте себе только одну Москву с миллионами объектов)
* особый workload: обработка запросов к геоданным не является тривиальной (нужны индексы, специальные алгоритмы и подходы)
* облачные системы: для обработки больших данных нужно использовать компьютерные кластеры и распределенные системы

Системы обработки больших векторных геоданных могут отвечать на такие вопросы:
* '''Пользователь мобильной связи''': где находится ближайшая автозаправочная станция? Могу ли я по дороге домой купить корм для домашних животных?
* '''Командующий армией''': произошли ли значительные передвижения войск противника по сравнению со вчерашним вечером?
* '''Менеждер по страховым рискам''': какие постройки на берегу реки с наибольшей вероятностью пострадают от очередного большого наводнения?
* '''Специалист по транспорту''': как следует расширить сеть автодорог, чтобы до минимума сократить заторы?
* и многие другие вопросы: Spatial Databases: A Tour http://www.spatial.cs.umn.edu/Book/

Например, треки ураганов позволяют страховым компаниям [https://eigenrisk.com/news/real-time-event-response/ спрогнозировать ущерб]:
[[Файл:NCEP_CFSR_AND_IBTRACKS_HURRICANE_KATRINA_28August2005.png|центр|600px|link=http://www.wikience.org/|Треки ураганов позволяют страховым компаниям спрогнозировать ущерб]]

Исследование производительности систем обработки больших векторных геоданных заключается в следующем:
* развернуть систему обработки данных в облаке либо на локальной машине
* импортировать данные в систему
* разработать запросы для системы с учетом ее особенностей (это поможет сделать ментор), чтобы выявить сильные и слабые стороны системы (с какими задачами система справляется лучше, а с какими хуже)
* выполнить исследование системы: запустить запросы на системе с разным количеством узлов кластера, разным объемов данных, модифицировать запросы, чтобы улучшить или ухудшить производительность системы, найти данные на которых система работает лучше/хуже и т.п.

'''Цель работы''' -- познакомиться с геоданными, изучить системы и особенности работы с ними. Это позволит существенно улучшить Ваше резюме. Например, многие системы основаны на Apache Spark, который является одной из самых популярных и востребованных работодателями систем работы с Большими Данными.

''' Свежая статья об исследовании систем обработки больших векторных геоданных''': How Good Are Modern Spatial Analytics Systems? [http://www.vldb.org/pvldb/vol11/p1661-pandey.pdf PDF]

Ментор этого проекта лично выступал на VLDB 2018 - одной из самых значимых в мире конференций по Большим Данным, Распределенным Системам, и Базам Данных: ChronosDB: Distributed, File Based, Geospatial Array DBMS [http://www.vldb.org/pvldb/vol11/p1247-zalipynis.pdf PDF]. Это единственный устный доклад от РФ за последние 10 лет.

'''При командной работе задачи распределяются так''': студент берет себе одну из систем.

Системы:
* GeoMesa https://www.geomesa.org/
* GeoTrellis https://geotrellis.io/
* PostgreSQL/PostGIS https://postgis.net/
* GIS Tools for Hadoop http://esri.github.io/gis-tools-for-hadoop/
* Spatial Hadoop http://spatialhadoop.cs.umn.edu/
* Hadoop-GIS http://bmidb.cs.stonybrook.edu/hadoopgis/index
* GeoSpark https://github.com/DataSystemsLab/GeoSpark
* Magellan https://github.com/harsha2010/magellan
* Asterix-DB https://asterixdb.apache.org/
* MongoDB https://www.mongodb.com/
* Couchbase https://www.couchbase.com/
* ваши предложения (почти любая современная база данных поддерживает векторные геоданные)

Перечень остальных подходов и систем (не исчерпывающий): The Era of Big Spatial Data [http://www.vldb.org/pvldb/vol10/p1992-eldawy.pdf PDF]

=== Чему вы научитесь? ===
* работе с облачными сервисами Azure либо Amazon
* работе с системами обработки векторных геоданных
* основам новых языков программирования: некоторые (не все) системы используют Python/Scala/... для своего API, их знание не является обязательным для работы над проектом, они легко осваиваются по ходу работы
* принципам работы алгоритмов обработки векторных геоданных

=== Какие начальные требования? ===
* технический английский (для чтения статей)
* язык программирования - любой, новый осваивается по ходу работы в зависимости от системы либо облачного сервиса
* желание разбираться с геопространственными данными, системами и алгоритмами их обработки, облачными сервисами

=== Какие будут использоваться технологии? ===
Перечень технологий доступен на сайте курса [http://rgeo.wikience.org/index2017.html Разработка геоприложений]

Перечень систем (не исчерпывающий): The Era of Big Spatial Data [http://www.vldb.org/pvldb/vol10/p1992-eldawy.pdf PDF]

=== Темы вводных занятий ===
Мы возьмем некоторые темы из курса [http://rgeo.wikience.org/index2017.html Разработка геоприложений]

* что такое геопространственные данные, какие они бывают и какие особенности работы с ними
* системы для обработки больших геопространственных данных
* виды запросов и их особенности для обработки векторных геоданных

=== Направления развития ===
* исследование производительности новейших систем, напр. Rheem http://da.qcri.org/rheem/
* исследование производительности машинного обучения с использованием геоданных
* модификация систем для изменения поведения при ответе на запросы
* комбинация в запросах не только векторных, но и растровых геоданных, данных других баз данных
* использование данных из различных источников (города, треки, ...) для исследования системы
* публикация статьи в следующем году по результатам исследований: напр., Суперкомпьютерные дни в России http://www.russianscdays.org/, AIST https://aistconf.org

=== Критерии оценки ===
4-5:
* подготовить тестовые геоданные
* реализовать импорт геоданных в выбранную систему
* составить 10 одноэтапных (выполняющих какую-то одну пространственную операцию) запросов к системе
* уметь с помощью API системы выполнять к ней запросы
* построить диаграммы, графики и другие необходимые отчетные материлы иллюстрации производительности системы

6-7:
* все пункты '''4-5''', кроме запросов
* уметь разворачивать систему на компьютерном кластере в облаке Azure/Amazon (если бесплатная версия системы это позволяет)
* составить 10 (можно больше) сложных запросов к системе (запрос должен проверять сразу несколько аспектов работы системы)
* уметь измерять время выполнения различных этапов работы системы (напр., подготовка данных, shuffling между узлами кластера, ...)

8-10:
* все пункты '''6-7'''
* уметь создавать компьютерный кластер в облаке c помощью API Azure/Amazon (если это будет необходимо)
* проверить работу системы на различных данных, их объемах и конфигурациях оборудования (кластера, если система распределенная)
* подготовить UDF (User Defined Functions) для выполнения системой пользовательских запросов
* научиться задавать расположение исходных данных на узлах кластера с помощью API системы
* самостоятельно предлагать запросы, которые позволят выявить слабые и сильные стороны системы (на 10 баллов)

Дополнительные баллы можно также получить при выполнении пунктов из раздела "Направления развития"

=== Ориентировочное расписание занятий ===
По договоренности. Ориентировочно ВТ 16.40-18.10 (по четной неделе)

Исследование производительности систем обработки больших растровых геоданных

2018-10-20T08:02:01Z

AntonioRodriges:

{{Карточка_командного_проекта
|name=Исследование производительности систем обработки больших растровых геоданных
|company=НИУ ВШЭ
|semester=Осень 2018
|course=3-4
|number_of_students=15
|categorize=yes
}}
=== Что это за проект? ===
Геопространственные данные (геоданные) это такие данные, у которых есть географическая привязка.
В современном мире, около 80% всех данных содержат географическую привязку:
[https://www.forbes.com/sites/truebridge/2016/05/06/how-imaging-technologies-are-changing-the-world-part-2/ ссылка 1],
[https://carto.com/blog/eighty-data-visualizations-examples-using-location-data-maps/ ссылка 2].

Растровые геоданные -
временной ряд ('''1D'''),
спутниковая сцена ('''2D'''),
прогноз погоды/климата ('''3D'''),
данные беспилотных летательных аппаратов (БПЛА),
лидаров и другие N-мерные массивы, которые имеют географическую привязку.

[[Файл:Wikience-wind-speed.png|200px|link=http://www.wikience.org/]]
[[Файл:Wikience-mean-sea-level-pressure-and-isobars-300x300.png|200px|link=http://www.wikience.org/]]
[[Файл:Wikience-co2-globe.png|200px|link=http://www.wikience.org/]]
[[Файл:Wikience-no2.png|200px|link=http://www.wikience.org/]]

При обработке этих данных мы встречаемся с такими основными проблемами:
* большие данные: только лишь один DigitalGlobe, коммерческий провайдер спутниковых данных, собирает около [https://www.mapbox.com/blog/digitalglobe-maps-api/ 70 терабайт в день]
* особый workload: растровые геоданные обрабатываются по-своему: нужны особые алгоритмы и подходы
* облачные системы: для обработки больших данных нужно использовать компьютерные кластеры и распределенные системы

Системы обработки больших растровых геоданных могут отвечать на такие вопросы:
* '''Чрезвычайные ситуации''': какие районы города будут затоплены при повышении уровня воды на 1 метр (используются [https://en.wikipedia.org/wiki/Digital_elevation_model DEM])?
* '''Сельское хозяйство''': как нужно удобрять поле, чтобы собрать больше урожая (точное земледелие, [https://en.wikipedia.org/wiki/Precision_agriculture precision agriculture])?
* '''Городское планирование''': где и какие санитарно-гигиенические мероприятия нужно проводить, чтобы повысить качество воздуха?
* и многие другие вопросы

Конкретный пример: суперкомпьютер Blue Waters и спутниковые данные используются для предсказания урожая, что чрезвычайно важно для экономики: [https://aces.illinois.edu/news/illinois-research-accurately-predicts-us-end-season-corn-yield ссылка].

Исследование производительности систем обработки больших растровых геоданных заключается в следующем:
* развернуть систему обработки данных в облаке либо на локальной машине
* импортировать данные в систему
* разработать запросы для системы с учетом ее особенностей (это поможет сделать ментор), чтобы выявить сильные и слабые стороны системы (с какими задачами система справляется лучше, а с какими хуже)
* выполнить исследование системы: запустить запросы на системе с разным количеством узлов кластера, разным объемов данных, модифицировать запросы, чтобы улучшить или ухудшить производительность системы, найти данные на которых система работает лучше/хуже и т.п.

'''Цель работы''' -- познакомиться с растровыми геоданными, изучить системы и особенности работы с ними. Это позволит существенно улучшить Ваше резюме. Например, многие системы основаны на Apache Spark, который является одной из самых популярных и востребованных работодателями систем работы с Большими Данными.

Ментор этого проекта лично выступал на VLDB 2018 - одной из самых значимых в мире конференций по Большим Данным, Распределенным Системам, и Базам Данных: ChronosDB: Distributed, File Based, Geospatial Array DBMS [http://www.vldb.org/pvldb/vol11/p1247-zalipynis.pdf PDF]. Это единственный устный доклад от РФ за последние 10 лет.

'''При командной работе задачи распределяются так''': студент берет себе одну из систем.

Системы:

* SciDB https://www.paradigm4.com
* RasDaMan http://rasdaman.org/
* MrGeo https://github.com/ngageoint/mrgeo
* GeoTrellis https://geotrellis.io/
* TileDB https://tiledb.io/
* PostgreSQL/PostGIS https://postgis.net/
* ClimateSpark https://github.com/feihugis/ClimateSpark
* SciSpark https://scispark.jpl.nasa.gov/
* RasterFrames http://rasterframes.io/
* Python Dask https://dask.org/
* BigDAWG https://bigdawg.mit.edu/
* Язык программирования Julia https://julialang.org/
* Python/TensorFlow https://www.tensorflow.org
* Myria http://myria.cs.washington.edu/
* ваши предложения

=== Чему вы научитесь? ===
* работе с облачными сервисами Azure либо Amazon
* работе с системами обработки растровых геоданных
* основам новых языков программирования: некоторые (не все) системы используют Python/Scala/... для своего API, их знание не является обязательным для работы над проектом, они легко осваиваются по ходу работы
* принципам работы алгоритмов обработки растровых геоданных

=== Какие начальные требования? ===
* технический английский (для чтения статей)
* язык программирования - любой, новый осваивается по ходу работы в зависимости от системы либо облачного сервиса
* желание разбираться с геопространственными данными, системами и алгоритмами их обработки, облачными сервисами

=== Какие будут использоваться технологии? ===
Перечень технологий доступен на сайте курса [http://rgeo.wikience.org/index2017.html Разработка геоприложений]

=== Темы вводных занятий ===
Мы возьмем некоторые темы из курса [http://rgeo.wikience.org/index2017.html Разработка геоприложений]

* что такое геопространственные данные, какие они бывают и какие особенности работы с ними
* системы для обработки больших геопространственных данных
* виды запросов и их особенности для обработки растровых геоданных

=== Направления развития ===
* исследование производительности новейших систем, напр. Rheem http://da.qcri.org/rheem/
* исследование производительности машинного обучения с использованием геоданных
* модификация систем для изменения поведения при ответе на запросы
* комбинация в запросах не только растровых, но и векторных геоданных, данных других баз данных
* использование данных из различных источников (NASA, ECMWF, ESA, ...) для исследования системы
* публикация статьи в следующем году по результатам исследований: напр., Суперкомпьютерные дни в России http://www.russianscdays.org/, AIST https://aistconf.org

=== Критерии оценки ===
4-5:
* подготовить тестовые геоданные
* реализовать импорт геоданных в выбранную систему
* составить 10 одноэтапных (выполняющих какую-то одну пространственную операцию) запросов к системе
* уметь с помощью API системы выполнять к ней запросы
* построить диаграммы, графики и другие необходимые отчетные материлы иллюстрации производительности системы

6-7:
* все пункты '''4-5''', кроме запросов
* уметь разворачивать систему на компьютерном кластере в облаке Azure/Amazon (если бесплатная версия системы это позволяет)
* составить 10 (можно больше) сложных запросов к системе (запрос должен проверять сразу несколько аспектов работы системы)
* уметь измерять время выполнения различных этапов работы системы (напр., подготовка данных, shuffling между узлами кластера, ...)

8-10:
* все пункты '''6-7'''
* уметь создавать компьютерный кластер в облаке c помощью API Azure/Amazon (если это будет необходимо)
* проверить работу системы на различных данных, их объемах и конфигурациях оборудования (кластера, если система распределенная)
* подготовить UDF (User Defined Functions) для выполнения системой пользовательских запросов
* научиться задавать расположение исходных данных на узлах кластера с помощью API системы
* самостоятельно предлагать запросы, которые позволят выявить слабые и сильные стороны системы (на 10 баллов)

Дополнительные баллы можно также получить при выполнении пунктов из раздела "Направления развития"

=== Ориентировочное расписание занятий ===
По договоренности. Ориентировочно ВТ 16.40-18.10 (по четной неделе)

Исследование производительности систем обработки больших растровых геоданных

2018-10-20T08:01:21Z

AntonioRodriges: Новая страница, с помощью формы Новый_командный_проект

{{Карточка_командного_проекта
|name=Исследование производительности систем обработки больших растровых геоданных
|company=НИУ ВШЭ
|semester=Осень 2017
|course=3
|number_of_students=15
|categorize=yes
}}

=== Что это за проект? ===
ы

=== Чему научатся студенты? Что самое интересное в проекте? ===
ы

=== Организация работы (Как студенты будут работать в команде?) ===
ы

=== Компоненеты (Из каких частей состоит проект?) ===
ы

=== Какие будут использоваться технологии? ===
ы

=== Какие начальные требования? ===
ы

=== Темы вводных занятий ===
ы

=== Критерии оценки ===
ы

=== Похожие проекты ===
ы

=== Контактная информация ===
ы

Исследование производительности систем обработки больших векторных геоданных

2018-10-20T08:00:29Z

AntonioRodriges:

{{Карточка_командного_проекта
|name=Редактирование Исследование производительности систем обработки больших векторных геоданных
|company=НИУ ВШЭ
|semester=Осень 2018
|course=3-4
|number_of_students=15
|categorize=yes
}}

=== Что это за проект? ===
Геопространственные данные (геоданные) это такие данные, у которых есть географическая привязка.
В современном мире, около 80% всех данных содержат географическую привязку:
[https://www.forbes.com/sites/truebridge/2016/05/06/how-imaging-technologies-are-changing-the-world-part-2/ ссылка 1],
[https://carto.com/blog/eighty-data-visualizations-examples-using-location-data-maps/ ссылка 2].

Векторные геоданные - точка, линия, полигон, мультиполигон и другие виды объетов, которые имеют географическую привязку.
Эти данные встречаются в картах Google, Yandex, Bing и любых подобных сервисах.
При обработке этих данных мы встречаемся с такими основными проблемами:
* большие данные: этих данных очень много (представьте себе только одну Москву с миллионами объектов)
* особый workload: обработка запросов к геоданным не является тривиальной (нужны индексы, специальные алгоритмы и подходы)
* облачные системы: для обработки больших данных нужно использовать компьютерные кластеры и распределенные системы

Системы обработки больших векторных геоданных могут отвечать на такие вопросы:
* '''Пользователь мобильной связи''': где находится ближайшая автозаправочная станция? Могу ли я по дороге домой купить корм для домашних животных?
* '''Командующий армией''': произошли ли значительные передвижения войск противника по сравнению со вчерашним вечером?
* '''Менеждер по страховым рискам''': какие постройки на берегу реки с наибольшей вероятностью пострадают от очередного большого наводнения?
* '''Специалист по транспорту''': как следует расширить сеть автодорог, чтобы до минимума сократить заторы?
* и многие другие вопросы: Spatial Databases: A Tour http://www.spatial.cs.umn.edu/Book/

Например, треки ураганов позволяют страховым компаниям [https://eigenrisk.com/news/real-time-event-response/ спрогнозировать ущерб]:
[[Файл:NCEP_CFSR_AND_IBTRACKS_HURRICANE_KATRINA_28August2005.png|центр|600px|link=http://www.wikience.org/|Треки ураганов позволяют страховым компаниям спрогнозировать ущерб]]

Исследование производительности систем обработки больших векторных геоданных заключается в следующем:
* развернуть систему обработки данных в облаке либо на локальной машине
* импортировать данные в систему
* разработать запросы для системы с учетом ее особенностей (это поможет сделать ментор), чтобы выявить сильные и слабые стороны системы (с какими задачами система справляется лучше, а с какими хуже)
* выполнить исследование системы: запустить запросы на системе с разным количеством узлов кластера, разным объемов данных, модифицировать запросы, чтобы улучшить или ухудшить производительность системы, найти данные на которых система работает лучше/хуже и т.п.

'''Цель работы''' -- познакомиться с геоданными, изучить системы и особенности работы с ними. Это позволит существенно улучшить Ваше резюме. Например, многие системы основаны на Apache Spark, который является одной из самых популярных и востребованных работодателями систем работы с Большими Данными.

''' Свежая статья об исследовании систем обработки больших векторных геоданных''': How Good Are Modern Spatial Analytics Systems? [http://www.vldb.org/pvldb/vol11/p1661-pandey.pdf PDF]

Ментор этого проекта лично выступал на VLDB 2018 - одной из самых значимых в мире конференций по Большим Данным, Распределенным Системам, и Базам Данных: ChronosDB: Distributed, File Based, Geospatial Array DBMS [http://www.vldb.org/pvldb/vol11/p1247-zalipynis.pdf PDF]. Это единственный устный доклад от РФ за последние 10 лет.

'''При командной работе задачи распределяются так''': студент берет себе одну из систем.

Системы:
* GeoMesa https://www.geomesa.org/
* GeoTrellis https://geotrellis.io/
* PostgreSQL/PostGIS https://postgis.net/
* GIS Tools for Hadoop http://esri.github.io/gis-tools-for-hadoop/
* Spatial Hadoop http://spatialhadoop.cs.umn.edu/
* Hadoop-GIS http://bmidb.cs.stonybrook.edu/hadoopgis/index
* GeoSpark https://github.com/DataSystemsLab/GeoSpark
* Magellan https://github.com/harsha2010/magellan
* Asterix-DB https://asterixdb.apache.org/
* MongoDB https://www.mongodb.com/
* Couchbase https://www.couchbase.com/
* ваши предложения (почти любая современная база данных поддерживает векторные геоданные)

Перечень остальных подходов и систем (не исчерпывающий): The Era of Big Spatial Data [http://www.vldb.org/pvldb/vol10/p1992-eldawy.pdf PDF]

=== Чему вы научитесь? ===
* работе с облачными сервисами Azure либо Amazon
* работе с системами обработки векторных геоданных
* основам новых языков программирования: некоторые (не все) системы используют Python/Scala/... для своего API, их знание не является обязательным для работы над проектом, они легко осваиваются по ходу работы
* принципам работы алгоритмов обработки векторных геоданных

=== Какие начальные требования? ===
* технический английский (для чтения статей)
* язык программирования - любой, новый осваивается по ходу работы в зависимости от системы либо облачного сервиса
* желание разбираться с геопространственными данными, системами и алгоритмами их обработки, облачными сервисами

=== Какие будут использоваться технологии? ===
Перечень технологий доступен на сайте курса [http://rgeo.wikience.org/index2017.html Разработка геоприложений]

Перечень систем (не исчерпывающий): The Era of Big Spatial Data [http://www.vldb.org/pvldb/vol10/p1992-eldawy.pdf PDF]

=== Темы вводных занятий ===
Мы возьмем некоторые темы из курса [http://rgeo.wikience.org/index2017.html Разработка геоприложений]

* что такое геопространственные данные, какие они бывают и какие особенности работы с ними
* системы для обработки больших геопространственных данных
* виды запросов и их особенности для обработки векторных геоданных

=== Направления развития ===
* исследование производительности новейших систем, напр. Rheem http://da.qcri.org/rheem/
* исследование производительности машинного обучения с использованием геоданных
* модификация систем для изменения поведения при ответе на запросы
* комбинация в запросах не только векторных, но и растровых геоданных, данных других баз данных
* использование данных из различных источников (города, треки, ...) для исследования системы
* публикация статьи в следующем году по результатам исследований: напр., Суперкомпьютерные дни в России http://www.russianscdays.org/, AIST https://aistconf.org

=== Критерии оценки ===
4-5:
* подготовить тестовые геоданные
* реализовать импорт геоданных в выбранную систему
* составить 10 одноэтапных (выполняющих какую-то одну пространственную операцию) запросов к системе
* уметь с помощью API системы выполнять к ней запросы
* построить диаграммы, графики и другие необходимые отчетные материлы иллюстрации производительности системы

6-7:
* все пункты '''4-5''', кроме запросов
* уметь разворачивать систему на компьютерном кластере в облаке Azure/Amazon (если бесплатная версия системы это позволяет)
* составить 10 (можно больше) сложных запросов к системе (запрос должен проверять сразу несколько аспектов работы системы)
* уметь измерять время выполнения различных этапов работы системы (напр., подготовка данных, shuffling между узлами кластера, ...)

8-10:
* все пункты '''6-7'''
* уметь создавать компьютерный кластер в облаке c помощью API Azure/Amazon (если это будет необходимо)
* проверить работу системы на различных данных, их объемах и конфигурациях оборудования (кластера, если система распределенная)
* подготовить UDF (User Defined Functions) для выполнения системой пользовательских запросов
* научиться задавать расположение исходных данных на узлах кластера с помощью API системы
* самостоятельно предлагать запросы, которые позволят выявить слабые и сильные стороны системы (на 10 баллов)

Дополнительные баллы можно также получить при выполнении пунктов из раздела "Направления развития"

=== Ориентировочное расписание занятий ===
По договоренности. Ориентировочно ВТ 16.40-18.10 (по четной неделе)

Исследование производительности систем обработки больших векторных геоданных

2018-10-20T07:59:56Z

AntonioRodriges: Новая страница, с помощью формы Новый_командный_проект

{{Карточка_командного_проекта
|name=Редактирование Исследование производительности систем обработки больших векторных геоданных
|company=НИУ ВШЭ
|semester=Осень 2017
|course=3
|number_of_students=15
|categorize=yes
}}

=== Что это за проект? ===
в

=== Чему научатся студенты? Что самое интересное в проекте? ===
ы

=== Организация работы (Как студенты будут работать в команде?) ===
ы

=== Компоненеты (Из каких частей состоит проект?) ===
ы

=== Какие будут использоваться технологии? ===
ы

=== Какие начальные требования? ===
ы

=== Темы вводных занятий ===
ы

=== Критерии оценки ===
ы

=== Похожие проекты ===
ы

=== Контактная информация ===
ы

Классификация объектов на спутниковых снимках с помощью глубокого обучения

2018-10-20T07:47:03Z

AntonioRodriges:

{{Карточка_командного_проекта
|name=Классификация объектов на спутниковых снимках с помощью глубокого обучения
|company=НИУ ВШЭ
|semester=Осень 2018
|course=3-4
|number_of_students=8
|categorize=yes
}}

=== Что это за проект? ===
Спутниковые данные (данные дистанционного зондирования Земли, ДЗЗ) используются при планировании городской инфраструктуры, мониторинге чрезвычайных ситуаций, точном земледелии и решении [https://learn.arcgis.com/ru/arcgis-imagery-book/ многих других задач]. Amazon предоставляет [https://aws.amazon.com/earth петабайты данных ДЗЗ], Planet строит «[https://habr.com/post/408397/ Космический Google]» для планеты, а Роскосмос запускает масштабный проект «[https://www.youtube.com/watch?v=LsR_gfCeSlQ Цифровая Земля]». Недавно прошли несколько международных конкурсов и хакатонов (в т.ч. в России), которые посвящены этой тематике: [https://habr.com/company/avito/blog/325632/ статья 1], [https://habr.com/company/ods/blog/325096/ статья 2], [http://geohack.ru/ хакатон Croc].

[[Файл:ПользаГеоданныеРоскосмос.PNG|800px|безрамки|центр|link=https://www.youtube.com/watch?v=LsR_gfCeSlQ]]

[[Файл:ПользаГеоданныеPlanet.PNG|800px|безрамки|центр|link=https://www.youtube.com/watch?v=h5Zhk0U4aZ4]]

'''Цель проекта''' — разработать облачный сервис классификации объектов на бесплатных данных [https://registry.opendata.aws/sentinel-2/ Sentinel (ESA, European Space Agency)], которые на сегодня имеют самое высокое разрешение (порядка 10 метров на пиксель) среди всех бесплатных данных ДЗЗ.

Также можно будет использовать вспомогательные данные других космических аппаратов, а также векторные цифровые карты для повышения точности классификации. Мы будем стремиться к тому, чтобы наш сервис автоматически загружал новые спутниковые данные по мере их поступления для заданных ROI (Region of Interest) и выполнял их классификацию (сегментацию) с сохранением результатов в базу данных и интерактивной визуализацией по требованию.

=== Чему вы научитесь? ===
* технологиям глубокого обучения
* соответствующим front-end и back-end технологиям, которые необходимы для сервиса (напр., сетевым протоколам передачи геопространственных данных, расширениям для хранения геоданных в СУБД, карты отображения данных в браузере)
* основам работы со спутниковыми данными
* библиотекам работы с геопространственными данными
* применению машинного обучения к реальным, практически полезным задачам

=== Какие начальные требования? ===
* технический английский (для чтения статей)
* язык программирования — любой
* желание разбираться с геопространственными данными

=== Какие будут использоваться технологии? ===
Технологии очевидны из следующего описания сервиса.
Задачи или компоненты сервиса можно упрощать/усложнять/исключать исходя из количества студентов, которые выберут проект.
Также back-end и/или front-end могут разрабатываться разным числом студенов в зависимости от сложности и объемности задач.

'''Сервер''' (back-end):

* Периодически загружает из облака Amazon новые данные [https://registry.opendata.aws/sentinel-2/ Sentinel] для заданных регионов
* Выполняет подготовку данных: напр., используя векторную карту, вырезает из снимков полигоны, соответствующие зданиям, дорогам, паркам, т.п. с помощью специальных библиотек, напр. [https://pcjericks.github.io/py-gdalogr-cookbook/raster_layers.html Python]
* Умеет по специальному протоколу (напр., WCS - Web Coverage Service) передавать данные на клиент
* Запускает классификацию/сегментацию снимков на одном сервере либо на кластере в "облаке"
* Сохраняет результаты классификации в базу данных, напр. PostgreSQL/PostGIS
* Умеет принимать от клиента запросы

'''Клиент''' (front-end):

* Отображает карту, входные данные и результаты работы в браузере, напр. с помощью Leaflet
* Умеет принимать от пользователя регионы интереса, пометки к данным
* Умеет передавать на сервер геоданные (напр., по протоколу WFS - Web Feature Service)

=== Темы вводных занятий ===
Мы возьмем некоторые темы из курса [http://rgeo.wikience.org/index2017.html Разработка геоприложений]

* что такое геопространственные данные, какие они бывают и какие особенности работы с ними
* как устроены спутниковые данные (данные дистанционного зондирования Земли)
* библиотеки для работы с геопространственными данными
* особенности и паттерны применения нейронных сетей к спутниковым данным

=== Направления развития ===
* использование дополнительных спутниковых данных, напр. гиперспектральных, радарных, DEM (Digital Elevation Model)
* наличие нескольких альтернативных моделей для классификации данных

=== Критерии оценки ===
Адаптируются в зависимости от размера команды.

'''4-5:'''

* выполнить подготовку данных (автоматическая загрузка + вырезка объектов по векторной карте для обучения)
* реализовать классификацию данных ДЗЗ (можно без автоматизации)
* реализованное приложение должно выполнять сегментацию

'''6-7:'''

* все пункты '''4-5'''
* визуальный интерфейс (любой - web либо desktop)

'''8-10:'''

* все пункты '''6-7'''
* визуальный интерфейс (любой - web либо desktop, но желательно web)
* сервер, cм. описание в разделе "Какие будут использоваться технологии?"

Дополнительные баллы можно также получить при выполнении пунктов из раздела "Направления развития".

=== Ориентировочное расписание занятий ===
По договоренности. Ориентировочно ВТ 16.40-18.10 (по четной неделе)

Классификация объектов на спутниковых снимках с помощью глубокого обучения (проект)

2018-10-20T07:46:55Z

AntonioRodriges:

{{Карточка_проекта
|name=Классификация объектов на спутниковых данных с помощью глубокого обучения
|mentor=Antonio Rodriges
|mentor_login={{URLENCODE:AntonioRodriges|WIKI}}
|semester=Осень 2018
|course=2
|summer=on
|number_of_students=8
|categorize=yes
}}

=== Что это за проект? ===
Спутниковые данные (данные дистанционного зондирования Земли, ДЗЗ) используются при планировании городской инфраструктуры, мониторинге чрезвычайных ситуаций, точном земледелии и решении [https://learn.arcgis.com/ru/arcgis-imagery-book/ многих других задач]. Amazon предоставляет [https://aws.amazon.com/earth петабайты данных ДЗЗ], Planet строит «[https://habr.com/post/408397/ Космический Google]» для планеты, а Роскосмос запускает масштабный проект «[https://www.youtube.com/watch?v=LsR_gfCeSlQ Цифровая Земля]». Недавно прошли несколько международных конкурсов и хакатонов (в т.ч. в России), которые посвящены этой тематике: [https://habr.com/company/avito/blog/325632/ статья 1], [https://habr.com/company/ods/blog/325096/ статья 2], [http://geohack.ru/ хакатон Croc].

[[Файл:ПользаГеоданныеРоскосмос.PNG|800px|безрамки|центр|link=https://www.youtube.com/watch?v=LsR_gfCeSlQ]]

[[Файл:ПользаГеоданныеPlanet.PNG|800px|безрамки|центр|link=https://www.youtube.com/watch?v=h5Zhk0U4aZ4]]

'''Цель проекта''' — разработать облачный сервис классификации объектов на бесплатных данных [https://registry.opendata.aws/sentinel-2/ Sentinel (ESA, European Space Agency)], которые на сегодня имеют самое высокое разрешение (порядка 10 метров на пиксель) среди всех бесплатных данных ДЗЗ.

Также можно будет использовать вспомогательные данные других космических аппаратов, а также векторные цифровые карты для повышения точности классификации. Мы будем стремиться к тому, чтобы наш сервис автоматически загружал новые спутниковые данные по мере их поступления для заданных ROI (Region of Interest) и выполнял их классификацию (сегментацию) с сохранением результатов в базу данных и интерактивной визуализацией по требованию.

=== Чему вы научитесь? ===
* технологиям глубокого обучения
* соответствующим front-end и back-end технологиям, которые необходимы для сервиса (напр., сетевым протоколам передачи геопространственных данных, расширениям для хранения геоданных в СУБД, карты отображения данных в браузере)
* основам работы со спутниковыми данными
* библиотекам работы с геопространственными данными
* применению машинного обучения к реальным, практически полезным задачам

=== Какие начальные требования? ===
* технический английский (для чтения статей)
* язык программирования — любой
* желание разбираться с геопространственными данными

=== Какие будут использоваться технологии? ===
Технологии очевидны из следующего описания сервиса.
Задачи или компоненты сервиса можно упрощать/усложнять/исключать исходя из количества студентов, которые выберут проект.
Также back-end и/или front-end могут разрабатываться разным числом студенов в зависимости от сложности и объемности задач.

'''Сервер''' (back-end):

* Периодически загружает из облака Amazon новые данные [https://registry.opendata.aws/sentinel-2/ Sentinel] для заданных регионов
* Выполняет подготовку данных: напр., используя векторную карту, вырезает из снимков полигоны, соответствующие зданиям, дорогам, паркам, т.п. с помощью специальных библиотек, напр. [https://pcjericks.github.io/py-gdalogr-cookbook/raster_layers.html Python]
* Умеет по специальному протоколу (напр., WCS - Web Coverage Service) передавать данные на клиент
* Запускает классификацию/сегментацию снимков на одном сервере либо на кластере в "облаке"
* Сохраняет результаты классификации в базу данных, напр. PostgreSQL/PostGIS
* Умеет принимать от клиента запросы

'''Клиент''' (front-end):

* Отображает карту, входные данные и результаты работы в браузере, напр. с помощью Leaflet
* Умеет принимать от пользователя регионы интереса, пометки к данным
* Умеет передавать на сервер геоданные (напр., по протоколу WFS - Web Feature Service)

=== Темы вводных занятий ===
Мы возьмем некоторые темы из курса [http://rgeo.wikience.org/index2017.html Разработка геоприложений]

* что такое геопространственные данные, какие они бывают и какие особенности работы с ними
* как устроены спутниковые данные (данные дистанционного зондирования Земли)
* библиотеки для работы с геопространственными данными
* особенности и паттерны применения нейронных сетей к спутниковым данным

=== Направления развития ===
* использование дополнительных спутниковых данных, напр. гиперспектральных, радарных, DEM (Digital Elevation Model)
* наличие нескольких альтернативных моделей для классификации данных

=== Критерии оценки ===
Адаптируются в зависимости от размера команды.

'''4-5:'''

* выполнить подготовку данных (автоматическая загрузка + вырезка объектов по векторной карте для обучения)
* реализовать классификацию данных ДЗЗ (можно без автоматизации)
* реализованное приложение должно выполнять сегментацию

'''6-7:'''

* все пункты '''4-5'''
* визуальный интерфейс (любой - web либо desktop)

'''8-10:'''

* все пункты '''6-7'''
* визуальный интерфейс (любой - web либо desktop, но желательно web)
* сервер, cм. описание в разделе "Какие будут использоваться технологии?"

Дополнительные баллы можно также получить при выполнении пунктов из раздела "Направления развития".

=== Ориентировочное расписание занятий ===
По договоренности. Ориентировочно ВТ 16.40-18.10 (по четной неделе)

Классификация объектов на спутниковых снимках с помощью глубокого обучения

2018-10-20T07:45:31Z

AntonioRodriges: Новая страница, с помощью формы Новый_командный_проект

{{Карточка_командного_проекта
|name=Классификация объектов на спутниковых снимках с помощью глубокого обучения
|company=НИУ ВШЭ
|semester=Осень 2017
|course=3
|number_of_students=3-4
|categorize=yes
}}

=== Что это за проект? ===
ы

=== Чему научатся студенты? Что самое интересное в проекте? ===
ы

=== Организация работы (Как студенты будут работать в команде?) ===
ы

=== Компоненеты (Из каких частей состоит проект?) ===
ы

=== Какие будут использоваться технологии? ===
ы

=== Какие начальные требования? ===
ы

=== Темы вводных занятий ===
ы

=== Критерии оценки ===
ы

=== Похожие проекты ===
ы

=== Контактная информация ===
ы

Change Detection

2018-10-20T07:42:20Z

AntonioRodriges:

{{Карточка_командного_проекта
|name=Change Detection
|company=НИУ ВШЭ
|semester=Осень 2018
|course=3-4
|number_of_students=7
|categorize=yes
}}

=== Что это за проект? ===
Обнаружение изменений (change detection) на спутниковых снимках является практически важной задачей при управлении развитием городских и других территорий.

Примеры результатов работы алгоритмов обнаружения изменений:
* на месте здания появилось футбольное поле
* на месте пустыря появился жилой комплекс
* длина строящегося моста выросла на 250 метров за прошедшие пол года
* площадь зеленых зон в городе увеличилась на 10%

Таким образом, подходы обнаружения изменений позволяют повысить оперативность (за счет автоматизации) и объективность (за счет использования спутниковых данных) работы.

'''Обзор методов обнаружения изменений''': Change detection from remotely sensed images: From pixel-based to object-based approaches [https://www.ec.gc.ca/glaces-ice/0F9E03B9-1146-4AD4-A13B-AE9E07C9F72B/1.change%20detection.pdf PDF]

Pipeline обнаружения изменений может выглядеть следующим образом:
* подготовка входных данных: спутниковые данные Sentinel (или другие) + векторные данные OpenStreetMap
* совмещение OpenStreetMap со спутниковыми данными (вырезка из них тренировочной выборки)
* обучение алгоритма обнаружения изменений
* применение обученного алгоритма к другим данным
* разработка приложения для отображения входных данных и результатов работы
* возможно использование дополнительных источников данных для улучшения результатов (напр., другие спутники или сервисы)

При командной работе задачи можно распределить следующим образом:
* реализация алгоритма (1-2 человека в зависимости от числа выбранных алгоритмов)
* подготовка и совмещение входных данных (1-3 человека, в зависимости от разнообразия источников данных)
* разработка приложения (1-2 человека, можно back-end + front-end)

==== Примеры практической пользы обнаружения изменений ====

=====Роскосмос "Цифровая Земля"=====

[[Файл:ПользаГеоданныеРоскосмос.PNG|800px|безрамки|центр|link=https://www.youtube.com/watch?v=LsR_gfCeSlQ]]

=====Космический "Google для планеты"=====

Источник: [https://habr.com/post/408397/ ссылка]

[[Файл:ПользаГеоданныеPlanet.PNG|800px|безрамки|центр|link=https://www.youtube.com/watch?v=h5Zhk0U4aZ4]]

=== Чему вы научитесь? ===
* алгоритмы обнаружения изменений
* алгоритмы, которые полезны не только для обнаружения изменений
* знакомство с геопространственными данными
* библиотеки работы с геопространственными данными

=== Какие начальные требования? ===
* технический английский (для чтения статей)
* язык программирования -- любой
* желание разбираться с геопространственными данными

=== Какие будут использоваться технологии? ===
Перечень технологий доступен на сайте курса [http://rgeo.wikience.org/index2017.html Разработка геоприложений]

=== Темы вводных занятий ===
Мы возьмем некоторые темы из курса [http://rgeo.wikience.org/index2017.html Разработка геоприложений]

* что такое геопространственные данные, какие они бывают и какие особенности работы с ними
* как устроены спутниковые данные (данные дистанционного зондирования Земли)
* библиотеки для работы с геопространственными данными
* подходы для обнаружения изменений на спутниковых данных

=== Направления развития ===
* реализация алгоритма (алгоритмов) обнаружения изменений на основе
** нейронных сетей
** SVM
** деревьев решений
** нечеткой логики
** объектных подходов
* использование входных данных сразу с нескольких космических аппаратов
* сохранение результатов работы в базу данных (напр., PostGIS) и выполнение над ними запросов (напр., вычисление площади полигона)
* разработка веб-сервиса для обнаружения изменений (любой язык программирования)
* разработка серверной части (автоматическая загрузка входных данных и обнаружение изменений)

=== Критерии оценки ===
4-5:
* выполнить подготовку данных (можно вручную)
* реализовать алгоритм обнаружения изменений (любой)
* реализованный алгоритм должен находить изменения

6-7:
* выполнить программную реализацию подготовки данных (с использованием OpenStreetMap, исходные данные можно загрузить вручную)
* реализовать алгоритм обнаружения изменений (см. Направления развития)
* простой графический интерфейс визуализации входных данных и результатов
* реализованный алгоритм должен находить изменения

8-10:
* выполнить программную реализацию подготовки данных (с использованием OpenStreetMap)
* реализовать алгоритм обнаружения изменений (см. Направления развития, один либо несколько)
* сохранение результатов работы в базу данных (напр., PostGIS) и выполнение над ними запросов (напр., вычисление площади полигона)
* разработка приложения (не обязательно веб) для визуализации входных данных и результатов
* дополнительные баллы можно также получить при выполнении пунктов из раздела "Направления развития"

=== Ориентировочное расписание занятий ===
По договоренности. Ориентировочно ВТ 16.40-18.10 (по четной неделе)

Change Detection

2018-10-20T07:40:48Z

AntonioRodriges: Новая страница, с помощью формы Новый_командный_проект

{{Карточка_командного_проекта
|name=Change Detection
|company=НИУ ВШЭ
|semester=Осень 2017
|course=3
|number_of_students=3-4
|categorize=yes
}}

=== Что это за проект? ===
TDB

=== Чему научатся студенты? Что самое интересное в проекте? ===
TDB

=== Организация работы (Как студенты будут работать в команде?) ===
TDB

=== Компоненеты (Из каких частей состоит проект?) ===
TDB

=== Какие будут использоваться технологии? ===
TDB

=== Какие начальные требования? ===
TDB

=== Темы вводных занятий ===
TDB

=== Критерии оценки ===
TDB

=== Похожие проекты ===
TDB

=== Контактная информация ===
TDB

Тест (проект)

2018-10-20T07:32:13Z

AntonioRodriges:

{{Карточка_командного_проекта
|name=Исследование производительности систем обработки больших векторных геоданных
|company=НИУ ВШЭ
|semester=Осень 2018
|course=3-4
|number_of_students=15
|categorize=yes
}}

=== Что это за проект? ===
Геопространственные данные (геоданные) это такие данные, у которых есть географическая привязка.
В современном мире, около 80% всех данных содержат географическую привязку:
[https://www.forbes.com/sites/truebridge/2016/05/06/how-imaging-technologies-are-changing-the-world-part-2/ ссылка 1],
[https://carto.com/blog/eighty-data-visualizations-examples-using-location-data-maps/ ссылка 2].

Векторные геоданные - точка, линия, полигон, мультиполигон и другие виды объетов, которые имеют географическую привязку.
Эти данные встречаются в картах Google, Yandex, Bing и любых подобных сервисах.
При обработке этих данных мы встречаемся с такими основными проблемами:
* большие данные: этих данных очень много (представьте себе только одну Москву с миллионами объектов)
* особый workload: обработка запросов к геоданным не является тривиальной (нужны индексы, специальные алгоритмы и подходы)
* облачные системы: для обработки больших данных нужно использовать компьютерные кластеры и распределенные системы

Системы обработки больших векторных геоданных могут отвечать на такие вопросы:
* '''Пользователь мобильной связи''': где находится ближайшая автозаправочная станция? Могу ли я по дороге домой купить корм для домашних животных?
* '''Командующий армией''': произошли ли значительные передвижения войск противника по сравнению со вчерашним вечером?
* '''Менеждер по страховым рискам''': какие постройки на берегу реки с наибольшей вероятностью пострадают от очередного большого наводнения?
* '''Специалист по транспорту''': как следует расширить сеть автодорог, чтобы до минимума сократить заторы?
* и многие другие вопросы: Spatial Databases: A Tour http://www.spatial.cs.umn.edu/Book/

Например, треки ураганов позволяют страховым компаниям [https://eigenrisk.com/news/real-time-event-response/ спрогнозировать ущерб]:
[[Файл:NCEP_CFSR_AND_IBTRACKS_HURRICANE_KATRINA_28August2005.png|центр|600px|link=http://www.wikience.org/|Треки ураганов позволяют страховым компаниям спрогнозировать ущерб]]

Исследование производительности систем обработки больших векторных геоданных заключается в следующем:
* развернуть систему обработки данных в облаке либо на локальной машине
* импортировать данные в систему
* разработать запросы для системы с учетом ее особенностей (это поможет сделать ментор), чтобы выявить сильные и слабые стороны системы (с какими задачами система справляется лучше, а с какими хуже)
* выполнить исследование системы: запустить запросы на системе с разным количеством узлов кластера, разным объемов данных, модифицировать запросы, чтобы улучшить или ухудшить производительность системы, найти данные на которых система работает лучше/хуже и т.п.

'''Цель работы''' -- познакомиться с геоданными, изучить системы и особенности работы с ними. Это позволит существенно улучшить Ваше резюме. Например, многие системы основаны на Apache Spark, который является одной из самых популярных и востребованных работодателями систем работы с Большими Данными.

''' Свежая статья об исследовании систем обработки больших векторных геоданных''': How Good Are Modern Spatial Analytics Systems? [http://www.vldb.org/pvldb/vol11/p1661-pandey.pdf PDF]

Ментор этого проекта лично выступал на VLDB 2018 - одной из самых значимых в мире конференций по Большим Данным, Распределенным Системам, и Базам Данных: ChronosDB: Distributed, File Based, Geospatial Array DBMS [http://www.vldb.org/pvldb/vol11/p1247-zalipynis.pdf PDF]. Это единственный устный доклад от РФ за последние 10 лет.

'''При командной работе задачи распределяются так''': студент берет себе одну из систем.

Системы:
* GeoMesa https://www.geomesa.org/
* GeoTrellis https://geotrellis.io/
* PostgreSQL/PostGIS https://postgis.net/
* GIS Tools for Hadoop http://esri.github.io/gis-tools-for-hadoop/
* Spatial Hadoop http://spatialhadoop.cs.umn.edu/
* Hadoop-GIS http://bmidb.cs.stonybrook.edu/hadoopgis/index
* GeoSpark https://github.com/DataSystemsLab/GeoSpark
* Magellan https://github.com/harsha2010/magellan
* Asterix-DB https://asterixdb.apache.org/
* MongoDB https://www.mongodb.com/
* Couchbase https://www.couchbase.com/
* ваши предложения (почти любая современная база данных поддерживает векторные геоданные)

Перечень остальных подходов и систем (не исчерпывающий): The Era of Big Spatial Data [http://www.vldb.org/pvldb/vol10/p1992-eldawy.pdf PDF]

=== Чему вы научитесь? ===
* работе с облачными сервисами Azure либо Amazon
* работе с системами обработки векторных геоданных
* основам новых языков программирования: некоторые (не все) системы используют Python/Scala/... для своего API, их знание не является обязательным для работы над проектом, они легко осваиваются по ходу работы
* принципам работы алгоритмов обработки векторных геоданных

=== Какие начальные требования? ===
* технический английский (для чтения статей)
* язык программирования - любой, новый осваивается по ходу работы в зависимости от системы либо облачного сервиса
* желание разбираться с геопространственными данными, системами и алгоритмами их обработки, облачными сервисами

=== Какие будут использоваться технологии? ===
Перечень технологий доступен на сайте курса [http://rgeo.wikience.org/index2017.html Разработка геоприложений]

Перечень систем (не исчерпывающий): The Era of Big Spatial Data [http://www.vldb.org/pvldb/vol10/p1992-eldawy.pdf PDF]

=== Темы вводных занятий ===
Мы возьмем некоторые темы из курса [http://rgeo.wikience.org/index2017.html Разработка геоприложений]

* что такое геопространственные данные, какие они бывают и какие особенности работы с ними
* системы для обработки больших геопространственных данных
* виды запросов и их особенности для обработки векторных геоданных

=== Направления развития ===
* исследование производительности новейших систем, напр. Rheem http://da.qcri.org/rheem/
* исследование производительности машинного обучения с использованием геоданных
* модификация систем для изменения поведения при ответе на запросы
* комбинация в запросах не только векторных, но и растровых геоданных, данных других баз данных
* использование данных из различных источников (города, треки, ...) для исследования системы
* публикация статьи в следующем году по результатам исследований: напр., Суперкомпьютерные дни в России http://www.russianscdays.org/, AIST https://aistconf.org

=== Критерии оценки ===
4-5:
* подготовить тестовые геоданные
* реализовать импорт геоданных в выбранную систему
* составить 10 одноэтапных (выполняющих какую-то одну пространственную операцию) запросов к системе
* уметь с помощью API системы выполнять к ней запросы
* построить диаграммы, графики и другие необходимые отчетные материлы иллюстрации производительности системы

6-7:
* все пункты '''4-5''', кроме запросов
* уметь разворачивать систему на компьютерном кластере в облаке Azure/Amazon (если бесплатная версия системы это позволяет)
* составить 10 (можно больше) сложных запросов к системе (запрос должен проверять сразу несколько аспектов работы системы)
* уметь измерять время выполнения различных этапов работы системы (напр., подготовка данных, shuffling между узлами кластера, ...)

8-10:
* все пункты '''6-7'''
* уметь создавать компьютерный кластер в облаке c помощью API Azure/Amazon (если это будет необходимо)
* проверить работу системы на различных данных, их объемах и конфигурациях оборудования (кластера, если система распределенная)
* подготовить UDF (User Defined Functions) для выполнения системой пользовательских запросов
* научиться задавать расположение исходных данных на узлах кластера с помощью API системы
* самостоятельно предлагать запросы, которые позволят выявить слабые и сильные стороны системы (на 10 баллов)

Дополнительные баллы можно также получить при выполнении пунктов из раздела "Направления развития"

=== Ориентировочное расписание занятий ===
По договоренности. Ориентировочно ВТ 16.40-18.10 (по четной неделе)

Тест (проект)

2018-10-20T07:30:34Z

AntonioRodriges:

{{Карточка_командного_проекта
|name=Исследование производительности систем обработки больших векторных геоданных
|company=НИУ ВШЭ
|semester=Осень 2018
|course=2-4
|number_of_students=15
|categorize=yes
}}

=== Что это за проект? ===
Геопространственные данные (геоданные) это такие данные, у которых есть географическая привязка.
В современном мире, около 80% всех данных содержат географическую привязку:
[https://www.forbes.com/sites/truebridge/2016/05/06/how-imaging-technologies-are-changing-the-world-part-2/ ссылка 1],
[https://carto.com/blog/eighty-data-visualizations-examples-using-location-data-maps/ ссылка 2].

Векторные геоданные - точка, линия, полигон, мультиполигон и другие виды объетов, которые имеют географическую привязку.
Эти данные встречаются в картах Google, Yandex, Bing и любых подобных сервисах.
При обработке этих данных мы встречаемся с такими основными проблемами:
* большие данные: этих данных очень много (представьте себе только одну Москву с миллионами объектов)
* особый workload: обработка запросов к геоданным не является тривиальной (нужны индексы, специальные алгоритмы и подходы)
* облачные системы: для обработки больших данных нужно использовать компьютерные кластеры и распределенные системы

Системы обработки больших векторных геоданных могут отвечать на такие вопросы:
* '''Пользователь мобильной связи''': где находится ближайшая автозаправочная станция? Могу ли я по дороге домой купить корм для домашних животных?
* '''Командующий армией''': произошли ли значительные передвижения войск противника по сравнению со вчерашним вечером?
* '''Менеждер по страховым рискам''': какие постройки на берегу реки с наибольшей вероятностью пострадают от очередного большого наводнения?
* '''Специалист по транспорту''': как следует расширить сеть автодорог, чтобы до минимума сократить заторы?
* и многие другие вопросы: Spatial Databases: A Tour http://www.spatial.cs.umn.edu/Book/

Например, треки ураганов позволяют страховым компаниям [https://eigenrisk.com/news/real-time-event-response/ спрогнозировать ущерб]:
[[Файл:NCEP_CFSR_AND_IBTRACKS_HURRICANE_KATRINA_28August2005.png|центр|600px|link=http://www.wikience.org/|Треки ураганов позволяют страховым компаниям спрогнозировать ущерб]]

Исследование производительности систем обработки больших векторных геоданных заключается в следующем:
* развернуть систему обработки данных в облаке либо на локальной машине
* импортировать данные в систему
* разработать запросы для системы с учетом ее особенностей (это поможет сделать ментор), чтобы выявить сильные и слабые стороны системы (с какими задачами система справляется лучше, а с какими хуже)
* выполнить исследование системы: запустить запросы на системе с разным количеством узлов кластера, разным объемов данных, модифицировать запросы, чтобы улучшить или ухудшить производительность системы, найти данные на которых система работает лучше/хуже и т.п.

'''Цель работы''' -- познакомиться с геоданными, изучить системы и особенности работы с ними. Это позволит существенно улучшить Ваше резюме. Например, многие системы основаны на Apache Spark, который является одной из самых популярных и востребованных работодателями систем работы с Большими Данными.

''' Свежая статья об исследовании систем обработки больших векторных геоданных''': How Good Are Modern Spatial Analytics Systems? [http://www.vldb.org/pvldb/vol11/p1661-pandey.pdf PDF]

Ментор этого проекта лично выступал на VLDB 2018 - одной из самых значимых в мире конференций по Большим Данным, Распределенным Системам, и Базам Данных: ChronosDB: Distributed, File Based, Geospatial Array DBMS [http://www.vldb.org/pvldb/vol11/p1247-zalipynis.pdf PDF]. Это единственный устный доклад от РФ за последние 10 лет.

'''При командной работе задачи распределяются так''': студент берет себе одну из систем.

Системы:
* GeoMesa https://www.geomesa.org/
* GeoTrellis https://geotrellis.io/
* PostgreSQL/PostGIS https://postgis.net/
* GIS Tools for Hadoop http://esri.github.io/gis-tools-for-hadoop/
* Spatial Hadoop http://spatialhadoop.cs.umn.edu/
* Hadoop-GIS http://bmidb.cs.stonybrook.edu/hadoopgis/index
* GeoSpark https://github.com/DataSystemsLab/GeoSpark
* Magellan https://github.com/harsha2010/magellan
* Asterix-DB https://asterixdb.apache.org/
* MongoDB https://www.mongodb.com/
* Couchbase https://www.couchbase.com/
* ваши предложения (почти любая современная база данных поддерживает векторные геоданные)

Перечень остальных подходов и систем (не исчерпывающий): The Era of Big Spatial Data [http://www.vldb.org/pvldb/vol10/p1992-eldawy.pdf PDF]

=== Чему вы научитесь? ===
* работе с облачными сервисами Azure либо Amazon
* работе с системами обработки векторных геоданных
* основам новых языков программирования: некоторые (не все) системы используют Python/Scala/... для своего API, их знание не является обязательным для работы над проектом, они легко осваиваются по ходу работы
* принципам работы алгоритмов обработки векторных геоданных

=== Какие начальные требования? ===
* технический английский (для чтения статей)
* язык программирования - любой, новый осваивается по ходу работы в зависимости от системы либо облачного сервиса
* желание разбираться с геопространственными данными, системами и алгоритмами их обработки, облачными сервисами

=== Какие будут использоваться технологии? ===
Перечень технологий доступен на сайте курса [http://rgeo.wikience.org/index2017.html Разработка геоприложений]

Перечень систем (не исчерпывающий): The Era of Big Spatial Data [http://www.vldb.org/pvldb/vol10/p1992-eldawy.pdf PDF]

=== Темы вводных занятий ===
Мы возьмем некоторые темы из курса [http://rgeo.wikience.org/index2017.html Разработка геоприложений]

* что такое геопространственные данные, какие они бывают и какие особенности работы с ними
* системы для обработки больших геопространственных данных
* виды запросов и их особенности для обработки векторных геоданных

=== Направления развития ===
* исследование производительности новейших систем, напр. Rheem http://da.qcri.org/rheem/
* исследование производительности машинного обучения с использованием геоданных
* модификация систем для изменения поведения при ответе на запросы
* комбинация в запросах не только векторных, но и растровых геоданных, данных других баз данных
* использование данных из различных источников (города, треки, ...) для исследования системы
* публикация статьи в следующем году по результатам исследований: напр., Суперкомпьютерные дни в России http://www.russianscdays.org/, AIST https://aistconf.org

=== Критерии оценки ===
4-5:
* подготовить тестовые геоданные
* реализовать импорт геоданных в выбранную систему
* составить 10 одноэтапных (выполняющих какую-то одну пространственную операцию) запросов к системе
* уметь с помощью API системы выполнять к ней запросы
* построить диаграммы, графики и другие необходимые отчетные материлы иллюстрации производительности системы

6-7:
* все пункты '''4-5''', кроме запросов
* уметь разворачивать систему на компьютерном кластере в облаке Azure/Amazon (если бесплатная версия системы это позволяет)
* составить 10 (можно больше) сложных запросов к системе (запрос должен проверять сразу несколько аспектов работы системы)
* уметь измерять время выполнения различных этапов работы системы (напр., подготовка данных, shuffling между узлами кластера, ...)

8-10:
* все пункты '''6-7'''
* уметь создавать компьютерный кластер в облаке c помощью API Azure/Amazon (если это будет необходимо)
* проверить работу системы на различных данных, их объемах и конфигурациях оборудования (кластера, если система распределенная)
* подготовить UDF (User Defined Functions) для выполнения системой пользовательских запросов
* научиться задавать расположение исходных данных на узлах кластера с помощью API системы
* самостоятельно предлагать запросы, которые позволят выявить слабые и сильные стороны системы (на 10 баллов)

Дополнительные баллы можно также получить при выполнении пунктов из раздела "Направления развития"

=== Ориентировочное расписание занятий ===
По договоренности. Ориентировочно ВТ 16.40-18.10 (по четной неделе)

Тест (проект)

2018-10-20T07:29:04Z

AntonioRodriges: Новая страница, с помощью формы Новый_проект

{{Карточка_проекта
|name=Тест
|mentor=AntonioRodriges
|mentor_login={{URLENCODE:AntonioRodriges|WIKI}}
|semester=Осень 2017
|course=2
|summer=on
|number_of_students=15
|categorize=yes
}}

=== Что это за проект? ===
TBD

=== Чему вы научитесь? ===
TBD

=== Какие начальные требования? ===
TBD

=== Какие будут использоваться технологии? ===
TBD

=== Темы вводных занятий ===
TBD

=== Направления развития ===
TBD

=== Критерии оценки ===
TBD

=== Ориентировочное расписание занятий ===
TBD

Исследование производительности систем обработки больших растровых геоданных (проект)

2018-10-19T11:30:33Z

AntonioRodriges: /* Что это за проект? */

{{Карточка_проекта
|name=Исследование производительности систем обработки больших растровых геоданных
|mentor=AntonioRodriges
|mentor_login={{URLENCODE:AntonioRodriges|WIKI}}
|semester=Осень 2018
|course=2
|summer=on
|number_of_students=15
|categorize=yes
}}

=== Что это за проект? ===
Геопространственные данные (геоданные) это такие данные, у которых есть географическая привязка.
В современном мире, около 80% всех данных содержат географическую привязку:
[https://www.forbes.com/sites/truebridge/2016/05/06/how-imaging-technologies-are-changing-the-world-part-2/ ссылка 1],
[https://carto.com/blog/eighty-data-visualizations-examples-using-location-data-maps/ ссылка 2].

Растровые геоданные -
временной ряд ('''1D'''),
спутниковая сцена ('''2D'''),
прогноз погоды/климата ('''3D'''),
данные беспилотных летательных аппаратов (БПЛА),
лидаров и другие N-мерные массивы, которые имеют географическую привязку.

[[Файл:Wikience-wind-speed.png|200px|link=http://www.wikience.org/]]
[[Файл:Wikience-mean-sea-level-pressure-and-isobars-300x300.png|200px|link=http://www.wikience.org/]]
[[Файл:Wikience-co2-globe.png|200px|link=http://www.wikience.org/]]
[[Файл:Wikience-no2.png|200px|link=http://www.wikience.org/]]

При обработке этих данных мы встречаемся с такими основными проблемами:
* большие данные: только лишь один DigitalGlobe, коммерческий провайдер спутниковых данных, собирает около [https://www.mapbox.com/blog/digitalglobe-maps-api/ 70 терабайт в день]
* особый workload: растровые геоданные обрабатываются по-своему: нужны особые алгоритмы и подходы
* облачные системы: для обработки больших данных нужно использовать компьютерные кластеры и распределенные системы

Системы обработки больших растровых геоданных могут отвечать на такие вопросы:
* '''Чрезвычайные ситуации''': какие районы города будут затоплены при повышении уровня воды на 1 метр (используются [https://en.wikipedia.org/wiki/Digital_elevation_model DEM])?
* '''Сельское хозяйство''': как нужно удобрять поле, чтобы собрать больше урожая (точное земледелие, [https://en.wikipedia.org/wiki/Precision_agriculture precision agriculture])?
* '''Городское планирование''': где и какие санитарно-гигиенические мероприятия нужно проводить, чтобы повысить качество воздуха?
* и многие другие вопросы

Конкретный пример: суперкомпьютер Blue Waters и спутниковые данные используются для предсказания урожая, что чрезвычайно важно для экономики: [https://aces.illinois.edu/news/illinois-research-accurately-predicts-us-end-season-corn-yield ссылка].

Исследование производительности систем обработки больших растровых геоданных заключается в следующем:
* развернуть систему обработки данных в облаке либо на локальной машине
* импортировать данные в систему
* разработать запросы для системы с учетом ее особенностей (это поможет сделать ментор), чтобы выявить сильные и слабые стороны системы (с какими задачами система справляется лучше, а с какими хуже)
* выполнить исследование системы: запустить запросы на системе с разным количеством узлов кластера, разным объемов данных, модифицировать запросы, чтобы улучшить или ухудшить производительность системы, найти данные на которых система работает лучше/хуже и т.п.

'''Цель работы''' -- познакомиться с растровыми геоданными, изучить системы и особенности работы с ними. Это позволит существенно улучшить Ваше резюме. Например, многие системы основаны на Apache Spark, который является одной из самых популярных и востребованных работодателями систем работы с Большими Данными.

Ментор этого проекта лично выступал на VLDB 2018 - одной из самых значимых в мире конференций по Большим Данным, Распределенным Системам, и Базам Данных: ChronosDB: Distributed, File Based, Geospatial Array DBMS [http://www.vldb.org/pvldb/vol11/p1247-zalipynis.pdf PDF]. Это единственный устный доклад от РФ за последние 10 лет.

'''При командной работе задачи распределяются так''': студент берет себе одну из систем.

Системы:

* SciDB https://www.paradigm4.com
* RasDaMan http://rasdaman.org/
* MrGeo https://github.com/ngageoint/mrgeo
* GeoTrellis https://geotrellis.io/
* TileDB https://tiledb.io/
* PostgreSQL/PostGIS https://postgis.net/
* ClimateSpark https://github.com/feihugis/ClimateSpark
* SciSpark https://scispark.jpl.nasa.gov/
* RasterFrames http://rasterframes.io/
* Python Dask https://dask.org/
* BigDAWG https://bigdawg.mit.edu/
* Язык программирования Julia https://julialang.org/
* Python/TensorFlow https://www.tensorflow.org
* Myria http://myria.cs.washington.edu/
* ваши предложения

=== Чему вы научитесь? ===
* работе с облачными сервисами Azure либо Amazon
* работе с системами обработки растровых геоданных
* основам новых языков программирования: некоторые (не все) системы используют Python/Scala/... для своего API, их знание не является обязательным для работы над проектом, они легко осваиваются по ходу работы
* принципам работы алгоритмов обработки растровых геоданных

=== Какие начальные требования? ===
* технический английский (для чтения статей)
* язык программирования - любой, новый осваивается по ходу работы в зависимости от системы либо облачного сервиса
* желание разбираться с геопространственными данными, системами и алгоритмами их обработки, облачными сервисами

=== Какие будут использоваться технологии? ===
Перечень технологий доступен на сайте курса [http://rgeo.wikience.org/index2017.html Разработка геоприложений]

=== Темы вводных занятий ===
Мы возьмем некоторые темы из курса [http://rgeo.wikience.org/index2017.html Разработка геоприложений]

* что такое геопространственные данные, какие они бывают и какие особенности работы с ними
* системы для обработки больших геопространственных данных
* виды запросов и их особенности для обработки растровых геоданных

=== Направления развития ===
* исследование производительности новейших систем, напр. Rheem http://da.qcri.org/rheem/
* исследование производительности машинного обучения с использованием геоданных
* модификация систем для изменения поведения при ответе на запросы
* комбинация в запросах не только растровых, но и векторных геоданных, данных других баз данных
* использование данных из различных источников (NASA, ECMWF, ESA, ...) для исследования системы
* публикация статьи в следующем году по результатам исследований: напр., Суперкомпьютерные дни в России http://www.russianscdays.org/, AIST https://aistconf.org

=== Критерии оценки ===
4-5:
* подготовить тестовые геоданные
* реализовать импорт геоданных в выбранную систему
* составить 10 одноэтапных (выполняющих какую-то одну пространственную операцию) запросов к системе
* уметь с помощью API системы выполнять к ней запросы
* построить диаграммы, графики и другие необходимые отчетные материлы иллюстрации производительности системы

6-7:
* все пункты '''4-5''', кроме запросов
* уметь разворачивать систему на компьютерном кластере в облаке Azure/Amazon (если бесплатная версия системы это позволяет)
* составить 10 (можно больше) сложных запросов к системе (запрос должен проверять сразу несколько аспектов работы системы)
* уметь измерять время выполнения различных этапов работы системы (напр., подготовка данных, shuffling между узлами кластера, ...)

8-10:
* все пункты '''6-7'''
* уметь создавать компьютерный кластер в облаке c помощью API Azure/Amazon (если это будет необходимо)
* проверить работу системы на различных данных, их объемах и конфигурациях оборудования (кластера, если система распределенная)
* подготовить UDF (User Defined Functions) для выполнения системой пользовательских запросов
* научиться задавать расположение исходных данных на узлах кластера с помощью API системы
* самостоятельно предлагать запросы, которые позволят выявить слабые и сильные стороны системы (на 10 баллов)

Дополнительные баллы можно также получить при выполнении пунктов из раздела "Направления развития"

=== Ориентировочное расписание занятий ===
По договоренности. Ориентировочно ВТ 16.40-18.10 (по четной неделе)

Исследование производительности систем обработки больших векторных геоданных (проект)

2018-10-14T09:27:36Z

AntonioRodriges: /* Что это за проект? */

{{Карточка_проекта
|name=Исследование производительности систем обработки больших векторных геоданных
|mentor=AntonioRodriges
|mentor_login={{URLENCODE:AntonioRodriges|WIKI}}
|semester=Осень 2018
|course=2
|summer=on
|number_of_students=15
|categorize=yes
}}

=== Что это за проект? ===
Геопространственные данные (геоданные) это такие данные, у которых есть географическая привязка.
В современном мире, около 80% всех данных содержат географическую привязку:
[https://www.forbes.com/sites/truebridge/2016/05/06/how-imaging-technologies-are-changing-the-world-part-2/ ссылка 1],
[https://carto.com/blog/eighty-data-visualizations-examples-using-location-data-maps/ ссылка 2].

Векторные геоданные - точка, линия, полигон, мультиполигон и другие виды объетов, которые имеют географическую привязку.
Эти данные встречаются в картах Google, Yandex, Bing и любых подобных сервисах.
При обработке этих данных мы встречаемся с такими основными проблемами:
* большие данные: этих данных очень много (представьте себе только одну Москву с миллионами объектов)
* особый workload: обработка запросов к геоданным не является тривиальной (нужны индексы, специальные алгоритмы и подходы)
* облачные системы: для обработки больших данных нужно использовать компьютерные кластеры и распределенные системы

Системы обработки больших векторных геоданных могут отвечать на такие вопросы:
* '''Пользователь мобильной связи''': где находится ближайшая автозаправочная станция? Могу ли я по дороге домой купить корм для домашних животных?
* '''Командующий армией''': произошли ли значительные передвижения войск противника по сравнению со вчерашним вечером?
* '''Менеждер по страховым рискам''': какие постройки на берегу реки с наибольшей вероятностью пострадают от очередного большого наводнения?
* '''Специалист по транспорту''': как следует расширить сеть автодорог, чтобы до минимума сократить заторы?
* и многие другие вопросы: Spatial Databases: A Tour http://www.spatial.cs.umn.edu/Book/

Например, треки ураганов позволяют страховым компаниям [https://eigenrisk.com/news/real-time-event-response/ спрогнозировать ущерб]:
[[Файл:NCEP_CFSR_AND_IBTRACKS_HURRICANE_KATRINA_28August2005.png|центр|600px|link=http://www.wikience.org/|Треки ураганов позволяют страховым компаниям спрогнозировать ущерб]]

Исследование производительности систем обработки больших векторных геоданных заключается в следующем:
* развернуть систему обработки данных в облаке либо на локальной машине
* импортировать данные в систему
* разработать запросы для системы с учетом ее особенностей (это поможет сделать ментор), чтобы выявить сильные и слабые стороны системы (с какими задачами система справляется лучше, а с какими хуже)
* выполнить исследование системы: запустить запросы на системе с разным количеством узлов кластера, разным объемов данных, модифицировать запросы, чтобы улучшить или ухудшить производительность системы, найти данные на которых система работает лучше/хуже и т.п.

'''Цель работы''' -- познакомиться с геоданными, изучить системы и особенности работы с ними. Это позволит существенно улучшить Ваше резюме. Например, многие системы основаны на Apache Spark, который является одной из самых популярных и востребованных работодателями систем работы с Большими Данными.

''' Свежая статья об исследовании систем обработки больших векторных геоданных''': How Good Are Modern Spatial Analytics Systems? [http://www.vldb.org/pvldb/vol11/p1661-pandey.pdf PDF]

Ментор этого проекта лично выступал на VLDB 2018 - одной из самых значимых в мире конференций по Большим Данным, Распределенным Системам, и Базам Данных: ChronosDB: Distributed, File Based, Geospatial Array DBMS [http://www.vldb.org/pvldb/vol11/p1247-zalipynis.pdf PDF]. Это единственный устный доклад от РФ за последние 10 лет.

'''При командной работе задачи распределяются так''': студент берет себе одну из систем.

Системы:
* GeoMesa https://www.geomesa.org/
* GeoTrellis https://geotrellis.io/
* PostgreSQL/PostGIS https://postgis.net/
* GIS Tools for Hadoop http://esri.github.io/gis-tools-for-hadoop/
* Spatial Hadoop http://spatialhadoop.cs.umn.edu/
* Hadoop-GIS http://bmidb.cs.stonybrook.edu/hadoopgis/index
* GeoSpark https://github.com/DataSystemsLab/GeoSpark
* Magellan https://github.com/harsha2010/magellan
* Asterix-DB https://asterixdb.apache.org/
* MongoDB https://www.mongodb.com/
* Couchbase https://www.couchbase.com/
* ваши предложения (почти любая современная база данных поддерживает векторные геоданные)

Перечень остальных подходов и систем (не исчерпывающий): The Era of Big Spatial Data [http://www.vldb.org/pvldb/vol10/p1992-eldawy.pdf PDF]

=== Чему вы научитесь? ===
* работе с облачными сервисами Azure либо Amazon
* работе с системами обработки векторных геоданных
* основам новых языков программирования: некоторые (не все) системы используют Python/Scala/... для своего API, их знание не является обязательным для работы над проектом, они легко осваиваются по ходу работы
* принципам работы алгоритмов обработки векторных геоданных

=== Какие начальные требования? ===
* технический английский (для чтения статей)
* язык программирования - любой, новый осваивается по ходу работы в зависимости от системы либо облачного сервиса
* желание разбираться с геопространственными данными, системами и алгоритмами их обработки, облачными сервисами

=== Какие будут использоваться технологии? ===
Перечень технологий доступен на сайте курса [http://rgeo.wikience.org/index2017.html Разработка геоприложений]

Перечень систем (не исчерпывающий): The Era of Big Spatial Data [http://www.vldb.org/pvldb/vol10/p1992-eldawy.pdf PDF]

=== Темы вводных занятий ===
Мы возьмем некоторые темы из курса [http://rgeo.wikience.org/index2017.html Разработка геоприложений]

* что такое геопространственные данные, какие они бывают и какие особенности работы с ними
* системы для обработки больших геопространственных данных
* виды запросов и их особенности для обработки векторных геоданных

=== Направления развития ===
* исследование производительности новейших систем, напр. Rheem http://da.qcri.org/rheem/
* исследование производительности машинного обучения с использованием геоданных
* модификация систем для изменения поведения при ответе на запросы
* комбинация в запросах не только векторных, но и растровых геоданных, данных других баз данных
* использование данных из различных источников (города, треки, ...) для исследования системы
* публикация статьи в следующем году по результатам исследований: напр., Суперкомпьютерные дни в России http://www.russianscdays.org/, AIST https://aistconf.org

=== Критерии оценки ===
4-5:
* подготовить тестовые геоданные
* реализовать импорт геоданных в выбранную систему
* составить 10 одноэтапных (выполняющих какую-то одну пространственную операцию) запросов к системе
* уметь с помощью API системы выполнять к ней запросы
* построить диаграммы, графики и другие необходимые отчетные материлы иллюстрации производительности системы

6-7:
* все пункты '''4-5''', кроме запросов
* уметь разворачивать систему на компьютерном кластере в облаке Azure/Amazon (если бесплатная версия системы это позволяет)
* составить 10 (можно больше) сложных запросов к системе (запрос должен проверять сразу несколько аспектов работы системы)
* уметь измерять время выполнения различных этапов работы системы (напр., подготовка данных, shuffling между узлами кластера, ...)

8-10:
* все пункты '''6-7'''
* уметь создавать компьютерный кластер в облаке c помощью API Azure/Amazon (если это будет необходимо)
* проверить работу системы на различных данных, их объемах и конфигурациях оборудования (кластера, если система распределенная)
* подготовить UDF (User Defined Functions) для выполнения системой пользовательских запросов
* научиться задавать расположение исходных данных на узлах кластера с помощью API системы
* самостоятельно предлагать запросы, которые позволят выявить слабые и сильные стороны системы (на 10 баллов)

Дополнительные баллы можно также получить при выполнении пунктов из раздела "Направления развития"

=== Ориентировочное расписание занятий ===
По договоренности. Ориентировочно ВТ 16.40-18.10 (по четной неделе)

Исследование производительности систем обработки больших растровых геоданных (проект)

2018-10-14T09:27:18Z

AntonioRodriges: /* Что это за проект? */

{{Карточка_проекта
|name=Исследование производительности систем обработки больших растровых геоданных
|mentor=AntonioRodriges
|mentor_login={{URLENCODE:AntonioRodriges|WIKI}}
|semester=Осень 2018
|course=2
|summer=on
|number_of_students=15
|categorize=yes
}}

=== Что это за проект? ===
Геопространственные данные (геоданные) это такие данные, у которых есть географическая привязка.
В современном мире, около 80% всех данных содержат географическую привязку:
[https://www.forbes.com/sites/truebridge/2016/05/06/how-imaging-technologies-are-changing-the-world-part-2/ ссылка 1],
[https://carto.com/blog/eighty-data-visualizations-examples-using-location-data-maps/ ссылка 2].

Растровые геоданные -
временной ряд ('''1D'''),
спутниковая сцена ('''2D'''),
прогноз погоды/климата ('''3D'''),
данные беспилотных летательных аппаратов (БПЛА),
лидаров и другие N-мерные массивы, которые имеют географическую привязку.

[[Файл:Wikience-wind-speed.png|200px|link=http://www.wikience.org/]]
[[Файл:Wikience-mean-sea-level-pressure-and-isobars-300x300.png|200px|link=http://www.wikience.org/]]
[[Файл:Wikience-co2-globe.png|200px|link=http://www.wikience.org/]]
[[Файл:Wikience-no2.png|200px|link=http://www.wikience.org/]]

При обработке этих данных мы встречаемся с такими основными проблемами:
* большие данные: только лишь один DigitalGlobe, коммерческий провайдер спутниковых данных, собирает около [https://www.mapbox.com/blog/digitalglobe-maps-api/ 70 терабайт в день]
* особый workload: растровые геоданные обрабатываются по-своему: нужны особые алгоритмы и подходы
* облачные системы: для обработки больших данных нужно использовать компьютерные кластеры и распределенные системы

Системы обработки больших растровых геоданных могут отвечать на такие вопросы:
* '''Чрезвычайные ситуации''': какие районы города будут затоплены при повышении уровня воды на 1 метр (используются [https://en.wikipedia.org/wiki/Digital_elevation_model DEM])?
* '''Сельское хозяйство''': как мне нужно удобрять поле, чтобы повысить объем урожая (точное земледелие, [https://en.wikipedia.org/wiki/Precision_agriculture precision agriculture])?
* '''Городское планирование''': где и какие санитарно-гигиенические мероприятия нужно проводить, чтобы повысить качество воздуха?
* и многие другие вопросы

Конкретный пример: суперкомпьютер Blue Waters и спутниковые данные используются для предсказания урожая, что чрезвычайно важно для экономики: [https://aces.illinois.edu/news/illinois-research-accurately-predicts-us-end-season-corn-yield ссылка].

Исследование производительности систем обработки больших растровых геоданных заключается в следующем:
* развернуть систему обработки данных в облаке либо на локальной машине
* импортировать данные в систему
* разработать запросы для системы с учетом ее особенностей (это поможет сделать ментор), чтобы выявить сильные и слабые стороны системы (с какими задачами система справляется лучше, а с какими хуже)
* выполнить исследование системы: запустить запросы на системе с разным количеством узлов кластера, разным объемов данных, модифицировать запросы, чтобы улучшить или ухудшить производительность системы, найти данные на которых система работает лучше/хуже и т.п.

'''Цель работы''' -- познакомиться с растровыми геоданными, изучить системы и особенности работы с ними. Это позволит существенно улучшить Ваше резюме. Например, многие системы основаны на Apache Spark, который является одной из самых популярных и востребованных работодателями систем работы с Большими Данными.

Ментор этого проекта лично выступал на VLDB 2018 - одной из самых значимых в мире конференций по Большим Данным, Распределенным Системам, и Базам Данных: ChronosDB: Distributed, File Based, Geospatial Array DBMS [http://www.vldb.org/pvldb/vol11/p1247-zalipynis.pdf PDF]. Это единственный устный доклад от РФ за последние 10 лет.

'''При командной работе задачи распределяются так''': студент берет себе одну из систем.

Системы:

* SciDB https://www.paradigm4.com
* RasDaMan http://rasdaman.org/
* MrGeo https://github.com/ngageoint/mrgeo
* GeoTrellis https://geotrellis.io/
* TileDB https://tiledb.io/
* PostgreSQL/PostGIS https://postgis.net/
* ClimateSpark https://github.com/feihugis/ClimateSpark
* SciSpark https://scispark.jpl.nasa.gov/
* RasterFrames http://rasterframes.io/
* Python Dask https://dask.org/
* BigDAWG https://bigdawg.mit.edu/
* Язык программирования Julia https://julialang.org/
* Python/TensorFlow https://www.tensorflow.org
* Myria http://myria.cs.washington.edu/
* ваши предложения

=== Чему вы научитесь? ===
* работе с облачными сервисами Azure либо Amazon
* работе с системами обработки растровых геоданных
* основам новых языков программирования: некоторые (не все) системы используют Python/Scala/... для своего API, их знание не является обязательным для работы над проектом, они легко осваиваются по ходу работы
* принципам работы алгоритмов обработки растровых геоданных

=== Какие начальные требования? ===
* технический английский (для чтения статей)
* язык программирования - любой, новый осваивается по ходу работы в зависимости от системы либо облачного сервиса
* желание разбираться с геопространственными данными, системами и алгоритмами их обработки, облачными сервисами

=== Какие будут использоваться технологии? ===
Перечень технологий доступен на сайте курса [http://rgeo.wikience.org/index2017.html Разработка геоприложений]

=== Темы вводных занятий ===
Мы возьмем некоторые темы из курса [http://rgeo.wikience.org/index2017.html Разработка геоприложений]

* что такое геопространственные данные, какие они бывают и какие особенности работы с ними
* системы для обработки больших геопространственных данных
* виды запросов и их особенности для обработки растровых геоданных

=== Направления развития ===
* исследование производительности новейших систем, напр. Rheem http://da.qcri.org/rheem/
* исследование производительности машинного обучения с использованием геоданных
* модификация систем для изменения поведения при ответе на запросы
* комбинация в запросах не только растровых, но и векторных геоданных, данных других баз данных
* использование данных из различных источников (NASA, ECMWF, ESA, ...) для исследования системы
* публикация статьи в следующем году по результатам исследований: напр., Суперкомпьютерные дни в России http://www.russianscdays.org/, AIST https://aistconf.org

=== Критерии оценки ===
4-5:
* подготовить тестовые геоданные
* реализовать импорт геоданных в выбранную систему
* составить 10 одноэтапных (выполняющих какую-то одну пространственную операцию) запросов к системе
* уметь с помощью API системы выполнять к ней запросы
* построить диаграммы, графики и другие необходимые отчетные материлы иллюстрации производительности системы

6-7:
* все пункты '''4-5''', кроме запросов
* уметь разворачивать систему на компьютерном кластере в облаке Azure/Amazon (если бесплатная версия системы это позволяет)
* составить 10 (можно больше) сложных запросов к системе (запрос должен проверять сразу несколько аспектов работы системы)
* уметь измерять время выполнения различных этапов работы системы (напр., подготовка данных, shuffling между узлами кластера, ...)

8-10:
* все пункты '''6-7'''
* уметь создавать компьютерный кластер в облаке c помощью API Azure/Amazon (если это будет необходимо)
* проверить работу системы на различных данных, их объемах и конфигурациях оборудования (кластера, если система распределенная)
* подготовить UDF (User Defined Functions) для выполнения системой пользовательских запросов
* научиться задавать расположение исходных данных на узлах кластера с помощью API системы
* самостоятельно предлагать запросы, которые позволят выявить слабые и сильные стороны системы (на 10 баллов)

Дополнительные баллы можно также получить при выполнении пунктов из раздела "Направления развития"

=== Ориентировочное расписание занятий ===
По договоренности. Ориентировочно ВТ 16.40-18.10 (по четной неделе)

Исследование производительности систем обработки больших растровых геоданных (проект)

2018-10-14T09:24:29Z

AntonioRodriges: /* Что это за проект? */

{{Карточка_проекта
|name=Исследование производительности систем обработки больших растровых геоданных
|mentor=AntonioRodriges
|mentor_login={{URLENCODE:AntonioRodriges|WIKI}}
|semester=Осень 2018
|course=2
|summer=on
|number_of_students=15
|categorize=yes
}}

=== Что это за проект? ===
Геопространственные данные (геоданные) это такие данные, у которых есть географическая привязка.
В современном мире, около 80% всех данных содержат географическую привязку:
[https://www.forbes.com/sites/truebridge/2016/05/06/how-imaging-technologies-are-changing-the-world-part-2/ ссылка 1],
[https://carto.com/blog/eighty-data-visualizations-examples-using-location-data-maps/ ссылка 2].

Растровые геоданные -
временной ряд ('''1D'''),
спутниковая сцена ('''2D'''),
прогноз погоды/климата ('''3D'''),
данные беспилотных летательных аппаратов (БПЛА),
лидаров и другие N-мерные массивы, которые имеют географическую привязку.

[[Файл:Wikience-wind-speed.png|200px|link=http://www.wikience.org/]]
[[Файл:Wikience-mean-sea-level-pressure-and-isobars-300x300.png|200px|link=http://www.wikience.org/]]
[[Файл:Wikience-co2-globe.png|200px|link=http://www.wikience.org/]]
[[Файл:Wikience-no2.png|200px|link=http://www.wikience.org/]]

При обработке этих данных мы встречаемся с такими основными проблемами:
* большие данные: только лишь один DigitalGlobe, коммерческий провайдер спутниковых данных, собирает около [https://www.mapbox.com/blog/digitalglobe-maps-api/ 70 терабайт в день]
* особый workload: растровые геоданные обрабатываются по-своему: нужны особые алгоритмы и подходы
* облачные системы: для обработки больших данных нужно использовать компьютерные кластеры и распределенные системы

Системы обработки больших растровых геоданных могут отвечать на такие вопросы:
* '''Чрезвычайные ситуации''': какие районы города будут затоплены при повышении уровня воды на 1 метр (используются [https://en.wikipedia.org/wiki/Digital_elevation_model DEM])?
* '''Сельское хозяйство''': как мне нужно удобрять поле, чтобы повысить объем урожая (точное земледелие, [https://en.wikipedia.org/wiki/Precision_agriculture precision agriculture])?
* '''Городское планирование''': где и какие санитарно-гигиенические мероприятия нужно проводить, чтобы повысить качество воздуха?
* и многие другие вопросы

Конкретный пример: суперкомпьютер Blue Waters и спутниковые данные используются для предсказания урожая, что чрезвычайно важно для экономики: [https://aces.illinois.edu/news/illinois-research-accurately-predicts-us-end-season-corn-yield ссылка].

Исследование производительности систем обработки больших растровых геоданных заключается в следующем:
* развернуть систему обработки данных в облаке либо на локальной машине
* импортировать данные в систему
* разработать запросы для системы с учетом ее особенностей (это поможет сделать ментор), чтобы выявить сильные и слабые стороны системы (с какими задачами система справляется лучше, а с какими хуже)
* выполнить исследование системы: запустить запросы на системе с разным количеством узлов кластера, разным объемов данных, модифицировать запросы, чтобы улучшить или ухудшить производительность системы, найти данные на которых система работает лучше/хуже и т.п.

'''Цель работы''' -- познакомиться с растровыми геоданными, изучить системы и особенности работы с ними. Это позволит существенно улучшить Ваше резюме. Например, многие системы основаны на Apache Spark, который является одной из самых популярных и востребованных работодателями систем работы с Большими Данными.

Ментор этого проекта лично выступал на VLDB 2018 - одной из самых значимых в мире конференций по Большим Данным, Распределенным Системам, и Базам Данных: ChronosDB: Distributed, File Based, Geospatial Array DBMS [http://www.vldb.org/pvldb/vol11/p1247-zalipynis.pdf PDF]. Это единственный устный доклад от РФ за последние 10 лет.

'''При командной работе задачи распределяются так''': студент берет себе одну из систем.

Системы:

* SciDB https://www.paradigm4.com
* RasDaMan http://rasdaman.org/
* MrGeo https://github.com/ngageoint/mrgeo
* GeoTrellis https://geotrellis.io/
* BigGIS http://biggis-project.eu/biggis-docs/
* TileDB https://tiledb.io/
* PostgreSQL/PostGIS https://postgis.net/
* ClimateSpark https://github.com/feihugis/ClimateSpark
* SciSpark https://scispark.jpl.nasa.gov/
* RasterFrames http://rasterframes.io/
* Python Dask https://dask.org/
* BigDAWG https://bigdawg.mit.edu/
* Язык программирования Julia https://julialang.org/
* Python/TensorFlow https://www.tensorflow.org
* Myria http://myria.cs.washington.edu/
* ваши предложения

=== Чему вы научитесь? ===
* работе с облачными сервисами Azure либо Amazon
* работе с системами обработки растровых геоданных
* основам новых языков программирования: некоторые (не все) системы используют Python/Scala/... для своего API, их знание не является обязательным для работы над проектом, они легко осваиваются по ходу работы
* принципам работы алгоритмов обработки растровых геоданных

=== Какие начальные требования? ===
* технический английский (для чтения статей)
* язык программирования - любой, новый осваивается по ходу работы в зависимости от системы либо облачного сервиса
* желание разбираться с геопространственными данными, системами и алгоритмами их обработки, облачными сервисами

=== Какие будут использоваться технологии? ===
Перечень технологий доступен на сайте курса [http://rgeo.wikience.org/index2017.html Разработка геоприложений]

=== Темы вводных занятий ===
Мы возьмем некоторые темы из курса [http://rgeo.wikience.org/index2017.html Разработка геоприложений]

* что такое геопространственные данные, какие они бывают и какие особенности работы с ними
* системы для обработки больших геопространственных данных
* виды запросов и их особенности для обработки растровых геоданных

=== Направления развития ===
* исследование производительности новейших систем, напр. Rheem http://da.qcri.org/rheem/
* исследование производительности машинного обучения с использованием геоданных
* модификация систем для изменения поведения при ответе на запросы
* комбинация в запросах не только растровых, но и векторных геоданных, данных других баз данных
* использование данных из различных источников (NASA, ECMWF, ESA, ...) для исследования системы
* публикация статьи в следующем году по результатам исследований: напр., Суперкомпьютерные дни в России http://www.russianscdays.org/, AIST https://aistconf.org

=== Критерии оценки ===
4-5:
* подготовить тестовые геоданные
* реализовать импорт геоданных в выбранную систему
* составить 10 одноэтапных (выполняющих какую-то одну пространственную операцию) запросов к системе
* уметь с помощью API системы выполнять к ней запросы
* построить диаграммы, графики и другие необходимые отчетные материлы иллюстрации производительности системы

6-7:
* все пункты '''4-5''', кроме запросов
* уметь разворачивать систему на компьютерном кластере в облаке Azure/Amazon (если бесплатная версия системы это позволяет)
* составить 10 (можно больше) сложных запросов к системе (запрос должен проверять сразу несколько аспектов работы системы)
* уметь измерять время выполнения различных этапов работы системы (напр., подготовка данных, shuffling между узлами кластера, ...)

8-10:
* все пункты '''6-7'''
* уметь создавать компьютерный кластер в облаке c помощью API Azure/Amazon (если это будет необходимо)
* проверить работу системы на различных данных, их объемах и конфигурациях оборудования (кластера, если система распределенная)
* подготовить UDF (User Defined Functions) для выполнения системой пользовательских запросов
* научиться задавать расположение исходных данных на узлах кластера с помощью API системы
* самостоятельно предлагать запросы, которые позволят выявить слабые и сильные стороны системы (на 10 баллов)

Дополнительные баллы можно также получить при выполнении пунктов из раздела "Направления развития"

=== Ориентировочное расписание занятий ===
По договоренности. Ориентировочно ВТ 16.40-18.10 (по четной неделе)

Исследование производительности систем обработки больших векторных геоданных (проект)

2018-10-14T09:23:53Z

AntonioRodriges: /* Что это за проект? */

{{Карточка_проекта
|name=Исследование производительности систем обработки больших векторных геоданных
|mentor=AntonioRodriges
|mentor_login={{URLENCODE:AntonioRodriges|WIKI}}
|semester=Осень 2018
|course=2
|summer=on
|number_of_students=15
|categorize=yes
}}

=== Что это за проект? ===
Геопространственные данные (геоданные) это такие данные, у которых есть географическая привязка.
В современном мире, около 80% всех данных содержат географическую привязку:
[https://www.forbes.com/sites/truebridge/2016/05/06/how-imaging-technologies-are-changing-the-world-part-2/ ссылка 1],
[https://carto.com/blog/eighty-data-visualizations-examples-using-location-data-maps/ ссылка 2].

Векторные геоданные - точка, линия, полигон, мультиполигон и другие виды объетов, которые имеют географическую привязку.
Эти данные встречаются в картах Google, Yandex, Bing и любых подобных сервисах.
При обработке этих данных мы встречаемся с такими основными проблемами:
* большие данные: этих данных очень много (представьте себе только одну Москву с миллионами объектов)
* особый workload: обработка запросов к геоданным не является тривиальной (нужны индексы, специальные алгоритмы и подходы)
* облачные системы: для обработки больших данных нужно использовать компьютерные кластеры и распределенные системы

Системы обработки больших векторных геоданных могут отвечать на такие вопросы:
* '''Пользователь мобильной связи''': где находится ближайшая автозаправочная станция? Могу ли я по дороге домой купить корм для домашних животных?
* '''Командующий армией''': произошли ли значительные передвижения войск противника по сравнению со вчерашним вечером?
* '''Менеждер по страховым рискам''': какие постройки на берегу реки с наибольшей вероятностью пострадают от очередного большого наводнения?
* '''Специалист по транспорту''': как следует расширить сеть автодорог, чтобы до минимума сократить заторы?
* и многие другие вопросы: Spatial Databases: A Tour http://www.spatial.cs.umn.edu/Book/

Например, треки ураганов позволяют страховым компаниям [https://eigenrisk.com/news/real-time-event-response/ спрогнозировать ущерб]:
[[Файл:NCEP_CFSR_AND_IBTRACKS_HURRICANE_KATRINA_28August2005.png|центр|600px|link=http://www.wikience.org/|Треки ураганов позволяют страховым компаниям спрогнозировать ущерб]]

Исследование производительности систем обработки больших векторных геоданных заключается в следующем:
* развернуть систему обработки данных в облаке либо на локальной машине
* импортировать данные в систему
* разработать запросы для системы с учетом ее особенностей (это поможет сделать ментор), чтобы выявить сильные и слабые стороны системы (с какими задачами система справляется лучше, а с какими хуже)
* выполнить исследование системы: запустить запросы на системе с разным количеством узлов кластера, разным объемов данных, модифицировать запросы, чтобы улучшить или ухудшить производительность системы, найти данные на которых система работает лучше/хуже и т.п.

'''Цель работы''' -- познакомиться с геоданными, изучить системы и особенности работы с ними. Это позволит существенно улучшить Ваше резюме. Например, многие системы основаны на Apache Spark, который является одной из самых популярных и востребованных работодателями систем работы с Большими Данными.

''' Свежая статья об исследовании систем обработки больших векторных геоданных''': How Good Are Modern Spatial Analytics Systems? [http://www.vldb.org/pvldb/vol11/p1661-pandey.pdf PDF]

Ментор этого проекта лично выступал на VLDB 2018 - одной из самых значимых в мире конференций по Большим Данным, Распределенным Системам, и Базам Данных: ChronosDB: Distributed, File Based, Geospatial Array DBMS [http://www.vldb.org/pvldb/vol11/p1247-zalipynis.pdf PDF]. Это единственный устный доклад от РФ за последние 10 лет.

'''При командной работе задачи распределяются так''': студент берет себе одну из систем.

Системы:
* GeoMesa https://www.geomesa.org/
* GeoTrellis https://geotrellis.io/
* BigGIS http://biggis-project.eu/biggis-docs/
* PostgreSQL/PostGIS https://postgis.net/
* GIS Tools for Hadoop http://esri.github.io/gis-tools-for-hadoop/
* Spatial Hadoop http://spatialhadoop.cs.umn.edu/
* Hadoop-GIS http://bmidb.cs.stonybrook.edu/hadoopgis/index
* GeoSpark https://github.com/DataSystemsLab/GeoSpark
* Magellan https://github.com/harsha2010/magellan
* Asterix-DB https://asterixdb.apache.org/
* MongoDB https://www.mongodb.com/
* Couchbase https://www.couchbase.com/
* ваши предложения (почти любая современная база данных поддерживает векторные геоданные)

Перечень остальных подходов и систем (не исчерпывающий): The Era of Big Spatial Data [http://www.vldb.org/pvldb/vol10/p1992-eldawy.pdf PDF]

=== Чему вы научитесь? ===
* работе с облачными сервисами Azure либо Amazon
* работе с системами обработки векторных геоданных
* основам новых языков программирования: некоторые (не все) системы используют Python/Scala/... для своего API, их знание не является обязательным для работы над проектом, они легко осваиваются по ходу работы
* принципам работы алгоритмов обработки векторных геоданных

=== Какие начальные требования? ===
* технический английский (для чтения статей)
* язык программирования - любой, новый осваивается по ходу работы в зависимости от системы либо облачного сервиса
* желание разбираться с геопространственными данными, системами и алгоритмами их обработки, облачными сервисами

=== Какие будут использоваться технологии? ===
Перечень технологий доступен на сайте курса [http://rgeo.wikience.org/index2017.html Разработка геоприложений]

Перечень систем (не исчерпывающий): The Era of Big Spatial Data [http://www.vldb.org/pvldb/vol10/p1992-eldawy.pdf PDF]

=== Темы вводных занятий ===
Мы возьмем некоторые темы из курса [http://rgeo.wikience.org/index2017.html Разработка геоприложений]

* что такое геопространственные данные, какие они бывают и какие особенности работы с ними
* системы для обработки больших геопространственных данных
* виды запросов и их особенности для обработки векторных геоданных

=== Направления развития ===
* исследование производительности новейших систем, напр. Rheem http://da.qcri.org/rheem/
* исследование производительности машинного обучения с использованием геоданных
* модификация систем для изменения поведения при ответе на запросы
* комбинация в запросах не только векторных, но и растровых геоданных, данных других баз данных
* использование данных из различных источников (города, треки, ...) для исследования системы
* публикация статьи в следующем году по результатам исследований: напр., Суперкомпьютерные дни в России http://www.russianscdays.org/, AIST https://aistconf.org

=== Критерии оценки ===
4-5:
* подготовить тестовые геоданные
* реализовать импорт геоданных в выбранную систему
* составить 10 одноэтапных (выполняющих какую-то одну пространственную операцию) запросов к системе
* уметь с помощью API системы выполнять к ней запросы
* построить диаграммы, графики и другие необходимые отчетные материлы иллюстрации производительности системы

6-7:
* все пункты '''4-5''', кроме запросов
* уметь разворачивать систему на компьютерном кластере в облаке Azure/Amazon (если бесплатная версия системы это позволяет)
* составить 10 (можно больше) сложных запросов к системе (запрос должен проверять сразу несколько аспектов работы системы)
* уметь измерять время выполнения различных этапов работы системы (напр., подготовка данных, shuffling между узлами кластера, ...)

8-10:
* все пункты '''6-7'''
* уметь создавать компьютерный кластер в облаке c помощью API Azure/Amazon (если это будет необходимо)
* проверить работу системы на различных данных, их объемах и конфигурациях оборудования (кластера, если система распределенная)
* подготовить UDF (User Defined Functions) для выполнения системой пользовательских запросов
* научиться задавать расположение исходных данных на узлах кластера с помощью API системы
* самостоятельно предлагать запросы, которые позволят выявить слабые и сильные стороны системы (на 10 баллов)

Дополнительные баллы можно также получить при выполнении пунктов из раздела "Направления развития"

=== Ориентировочное расписание занятий ===
По договоренности. Ориентировочно ВТ 16.40-18.10 (по четной неделе)

Исследование производительности систем обработки больших растровых геоданных (проект)

2018-10-08T19:48:10Z

AntonioRodriges:

{{Карточка_проекта
|name=Исследование производительности систем обработки больших растровых геоданных
|mentor=AntonioRodriges
|mentor_login={{URLENCODE:AntonioRodriges|WIKI}}
|semester=Осень 2018
|course=2
|summer=on
|number_of_students=15
|categorize=yes
}}

=== Что это за проект? ===
Геопространственные данные (геоданные) это такие данные, у которых есть географическая привязка.
В современном мире, около 80% всех данных содержат географическую привязку:
[https://www.forbes.com/sites/truebridge/2016/05/06/how-imaging-technologies-are-changing-the-world-part-2/ ссылка 1],
[https://carto.com/blog/eighty-data-visualizations-examples-using-location-data-maps/ ссылка 2].

Растровые геоданные -
временной ряд ('''1D'''),
спутниковая сцена ('''2D'''),
прогноз погоды/климата ('''3D'''),
данные беспилотных летательных аппаратов (БПЛА),
лидаров и другие N-мерные массивы, которые имеют географическую привязку.

[[Файл:Wikience-wind-speed.png|200px|link=http://www.wikience.org/]]
[[Файл:Wikience-mean-sea-level-pressure-and-isobars-300x300.png|200px|link=http://www.wikience.org/]]
[[Файл:Wikience-co2-globe.png|200px|link=http://www.wikience.org/]]
[[Файл:Wikience-no2.png|200px|link=http://www.wikience.org/]]

При обработке этих данных мы встречаемся с такими основными проблемами:
* большие данные: только лишь один DigitalGlobe, коммерческий провайдер спутниковых данных, собирает около [https://www.mapbox.com/blog/digitalglobe-maps-api/ 70 терабайт в день]
* особый workload: растровые геоданные обрабатываются по-своему: нужны особые алгоритмы и подходы
* облачные системы: для обработки больших данных нужно использовать компьютерные кластеры и распределенные системы

Системы обработки больших растровых геоданных могут отвечать на такие вопросы:
* '''Чрезвычайные ситуации''': какие районы города будут затоплены при повышении уровня воды на 1 метр (используются [https://en.wikipedia.org/wiki/Digital_elevation_model DEM])?
* '''Сельское хозяйство''': как мне нужно удобрять поле, чтобы повысить объем урожая (точное земледелие, [https://en.wikipedia.org/wiki/Precision_agriculture precision agriculture])?
* '''Городское планирование''': где и какие санитарно-гигиенические мероприятия нужно проводить, чтобы повысить качество воздуха?
* и многие другие вопросы

Конкретный пример: суперкомпьютер Blue Waters и спутниковые данные используются для предсказания урожая, что чрезвычайно важно для экономики: [https://aces.illinois.edu/news/illinois-research-accurately-predicts-us-end-season-corn-yield ссылка].

Исследование производительности систем обработки больших растровых геоданных заключается в следующем:
* развернуть систему обработки данных в облаке либо на локальной машине
* импортировать данные в систему
* разработать запросы для системы с учетом ее особенностей (это поможет сделать ментор), чтобы выявить сильные и слабые стороны системы (с какими задачами система справляется лучше, а с какими хуже)
* выполнить исследование системы: запустить запросы на системе с разным количеством узлов кластера, разным объемов данных, модифицировать запросы, чтобы улучшить или ухудшить производительность системы, найти данные на которых система работает лучше/хуже и т.п.

'''Цель работы''' -- познакомиться с растровыми геоданными, изучить системы и особенности работы с ними. Это позволит существенно улучшить Ваше резюме. Например, многие системы основаны на Apache Spark, который является одной из самых популярных и востребованных работодателями систем работы с Большими Данными.

Ментор этого проекта лично выступал на VLDB 2018 - одной из самых значимых в мире конференций по Большим Данным, Распределенным Системам, и Базам Данных: ChronosDB: Distributed, File Based, Geospatial Array DBMS [http://www.vldb.org/pvldb/vol11/p1247-zalipynis.pdf PDF]. Это единственный устный доклад от РФ за последние 10 лет.

'''При командной работе задачи распределяются так''': студент берет себе одну из систем.

Системы:

* SciDB https://www.paradigm4.com
* RasDaMan http://rasdaman.org/
* MrGeo https://github.com/ngageoint/mrgeo
* GeoTrellis https://geotrellis.io/
* TileDB https://tiledb.io/
* PostgreSQL/PostGIS https://postgis.net/
* ClimateSpark https://github.com/feihugis/ClimateSpark
* SciSpark https://scispark.jpl.nasa.gov/
* RasterFrames http://rasterframes.io/
* Python Dask https://dask.org/
* BigDAWG https://bigdawg.mit.edu/
* Язык программирования Julia https://julialang.org/
* Python/TensorFlow https://www.tensorflow.org
* Myria http://myria.cs.washington.edu/
* ваши предложения

=== Чему вы научитесь? ===
* работе с облачными сервисами Azure либо Amazon
* работе с системами обработки растровых геоданных
* основам новых языков программирования: некоторые (не все) системы используют Python/Scala/... для своего API, их знание не является обязательным для работы над проектом, они легко осваиваются по ходу работы
* принципам работы алгоритмов обработки растровых геоданных

=== Какие начальные требования? ===
* технический английский (для чтения статей)
* язык программирования - любой, новый осваивается по ходу работы в зависимости от системы либо облачного сервиса
* желание разбираться с геопространственными данными, системами и алгоритмами их обработки, облачными сервисами

=== Какие будут использоваться технологии? ===
Перечень технологий доступен на сайте курса [http://rgeo.wikience.org/index2017.html Разработка геоприложений]

=== Темы вводных занятий ===
Мы возьмем некоторые темы из курса [http://rgeo.wikience.org/index2017.html Разработка геоприложений]

* что такое геопространственные данные, какие они бывают и какие особенности работы с ними
* системы для обработки больших геопространственных данных
* виды запросов и их особенности для обработки растровых геоданных

=== Направления развития ===
* исследование производительности новейших систем, напр. Rheem http://da.qcri.org/rheem/
* исследование производительности машинного обучения с использованием геоданных
* модификация систем для изменения поведения при ответе на запросы
* комбинация в запросах не только растровых, но и векторных геоданных, данных других баз данных
* использование данных из различных источников (NASA, ECMWF, ESA, ...) для исследования системы
* публикация статьи в следующем году по результатам исследований: напр., Суперкомпьютерные дни в России http://www.russianscdays.org/, AIST https://aistconf.org

=== Критерии оценки ===
4-5:
* подготовить тестовые геоданные
* реализовать импорт геоданных в выбранную систему
* составить 10 одноэтапных (выполняющих какую-то одну пространственную операцию) запросов к системе
* уметь с помощью API системы выполнять к ней запросы
* построить диаграммы, графики и другие необходимые отчетные материлы иллюстрации производительности системы

6-7:
* все пункты '''4-5''', кроме запросов
* уметь разворачивать систему на компьютерном кластере в облаке Azure/Amazon (если бесплатная версия системы это позволяет)
* составить 10 (можно больше) сложных запросов к системе (запрос должен проверять сразу несколько аспектов работы системы)
* уметь измерять время выполнения различных этапов работы системы (напр., подготовка данных, shuffling между узлами кластера, ...)

8-10:
* все пункты '''6-7'''
* уметь создавать компьютерный кластер в облаке c помощью API Azure/Amazon (если это будет необходимо)
* проверить работу системы на различных данных, их объемах и конфигурациях оборудования (кластера, если система распределенная)
* подготовить UDF (User Defined Functions) для выполнения системой пользовательских запросов
* научиться задавать расположение исходных данных на узлах кластера с помощью API системы
* самостоятельно предлагать запросы, которые позволят выявить слабые и сильные стороны системы (на 10 баллов)

Дополнительные баллы можно также получить при выполнении пунктов из раздела "Направления развития"

=== Ориентировочное расписание занятий ===
По договоренности. Ориентировочно ВТ 16.40-18.10 (по четной неделе)

Участник:AntonioRodriges

2018-10-08T17:01:28Z

AntonioRodriges:

{{Карточка_ментора
|categorize = yes
}}

[[Файл:AntonioRodriges.jpg|мини|Вот так выглядит Антонио Родригес]]

= Интересы =

Работаю в области больших данных, распределенных систем, баз данных и геоинформатики.

Многие предложенные мною проекты связаны с этими областями. О геоинформатике написано более широко ниже.

Домашняя страница: [https://www.hse.ru/staff/rodriges www.hse.ru/staff/rodriges]

= Геопространственные данные (Geospatial Data) =

Геопространственные данные (геоданные) это такие данные, у которых есть географическая привязка.
В современном мире, около 80% всех данных содержат географическую привязку:
[https://www.forbes.com/sites/truebridge/2016/05/06/how-imaging-technologies-are-changing-the-world-part-2/ ссылка 1],
[https://carto.com/blog/eighty-data-visualizations-examples-using-location-data-maps/ ссылка 2].

Геоинформатика -- наука, которая занимается геоданными.

[[Файл:Geoinformatics slide.png|600px|центр]]

Географические данные делятся на 2 вида: векторные (напр., точки, линии, полигоны) и растровые – многомерные массивы (напр., мультиспектральные спутниковые сцены). Работа с геопривязанными данными кардинально отличается от работы с обычными векторными объектами и массивами. Для этого используются особые подходы.

Геоданные находят применение в широком круге научных и практически важных задачах:
* мониторинг окружающей среды
* транспорт
* городское планирование
* сельское хозяйство
* страхование
* недвижимость
и многих других областях.

Короткие список примеров:
* [https://www.cnbc.com/2017/08/02/apple-has-over-70-map-tech-job-openings.html Apple нанимает более 70 экспертов в области геоданных]
* [https://www.youtube.com/watch?v=LsR_gfCeSlQ Видео от Роскосмоса]
* [https://www.globalforestwatch.org Проект Forest Watch]
* [https://geektimes.ru/post/295569/ «Космический Google для планеты»]
* [https://www.planet.com/markets/ Компания Planet]
* [http://geohack.ru/ Хакатон по геоданным в Москве от компании Croc]
* [https://www.digitalglobe.com/ Компания DigitalGlobe]
* [https://www.esri.com/en-us/industries/index Компания ESRI]
* [https://carto.com/ Компания Carto]
* [http://geoawesomeness.com/ много других примеров от GeoAwesomeness]

На самых значимых в мире конференциях по компьютерным наукам всегда можно найти отдельные секции по пространственным данным (Spatial Data):
* [http://vldb2018.lncc.br/program-structure.html VLDB 2018]
* [https://sigmod2018.org/schedule_overview.shtml SIGMOD 2018]

Р.А. Родригес Залепинос лично выступал на VLDB 2018 - одной из самых значимых в мире конференций по Большим Данным, Распределенным Системам, и Базам Данных: ChronosDB: Distributed, File Based, Geospatial Array DBMS [http://www.vldb.org/pvldb/vol11/p1247-zalipynis.pdf PDF]. Это единственный устный доклад от РФ за последние 10 лет.

= Контакты =
e-mail: [http://mailto:arodriges@hse.ru arodriges@hse.ru]

Исследование производительности систем обработки больших векторных геоданных (проект)

2018-10-08T16:59:13Z

AntonioRodriges:

Файл:NCEP CFSR AND IBTRACKS HURRICANE KATRINA 28August2005.png

2018-10-08T16:51:26Z

AntonioRodriges:

Исследование производительности систем обработки больших растровых геоданных (проект)

2018-10-08T16:46:19Z

AntonioRodriges:

{{Карточка_проекта
|name=Исследование производительности систем обработки больших растровых геоданных
|mentor=AntonioRodriges
|mentor_login={{URLENCODE:AntonioRodriges|WIKI}}
|semester=Осень 2018
|course=2
|summer=on
|number_of_students=15
|categorize=yes
}}

=== Что это за проект? ===
Геопространственные данные (геоданные) это такие данные, у которых есть географическая привязка.
В современном мире, около 80% всех данных содержат географическую привязку:
[https://www.forbes.com/sites/truebridge/2016/05/06/how-imaging-technologies-are-changing-the-world-part-2/ ссылка 1],
[https://carto.com/blog/eighty-data-visualizations-examples-using-location-data-maps/ ссылка 2].

Растровые геоданные -
временной ряд ('''1D'''),
спутниковая сцена ('''2D'''),
прогноз погоды/климата ('''3D'''),
данные беспилотных летательных аппаратов (БПЛА),
лидаров и другие N-мерные массивы, которые имеют географическую привязку.

[[Файл:Wikience-wind-speed.png|200px|link=http://www.wikience.org/]]
[[Файл:Wikience-mean-sea-level-pressure-and-isobars-300x300.png|200px|link=http://www.wikience.org/]]
[[Файл:Wikience-co2-globe.png|200px|link=http://www.wikience.org/]]
[[Файл:Wikience-no2.png|200px|link=http://www.wikience.org/]]

При обработке этих данных мы встречаемся с такими основными проблемами:
* большие данные: только лишь один DigitalGlobe, коммерческий провайдер спутниковых данных, собирает около [https://www.mapbox.com/blog/digitalglobe-maps-api/ 70 терабайт в день]
* особый workload: растровые геоданные обрабатываются по-своему: нужны особые алгоритмы и подходы
* облачные системы: для обработки больших данных нужно использовать компьютерные кластеры и распределенные системы

Системы обработки больших растровых геоданных могут отвечать на такие вопросы:
* '''Чрезвычайные ситуации''': какие районы города будут затоплены при повышении уровня воды на 1 метр (используются [https://en.wikipedia.org/wiki/Digital_elevation_model DEM])?
* '''Сельское хозяйство''': как мне нужно удобрять поле, чтобы повысить объем урожая (точное земледелие, [https://en.wikipedia.org/wiki/Precision_agriculture precision agriculture])?
* '''Городское планирование''': где и какие санитарно-гигиенические мероприятия нужно проводить, чтобы повысить качество воздуха?
* и многие другие вопросы

Конкретный пример: суперкомпьютер Blue Waters и спутниковые данные используются для предсказания урожая, что чрезвычайно важно для экономики: [https://aces.illinois.edu/news/illinois-research-accurately-predicts-us-end-season-corn-yield ссылка].

Исследование производительности систем обработки больших растровых геоданных заключается в следующем:
* развернуть систему обработки данных в облаке либо на локальной машине
* импортировать данные в систему
* разработать запросы для системы с учетом ее особенностей (это поможет сделать ментор), чтобы выявить сильные и слабые стороны системы (с какими задачами система справляется лучше, а с какими хуже)
* выполнить исследование системы: запустить запросы на системе с разным количеством узлов кластера, разным объемов данных, модифицировать запросы, чтобы улучшить или ухудшить производительность системы, найти данные на которых система работает лучше/хуже и т.п.

'''Цель работы''' -- познакомиться с растровыми геоданными, изучить системы и особенности работы с ними. Это позволит существенно улучшить Ваше резюме. Например, многие системы основаны на Apache Spark, который является одной из самых популярных и востребованных работодателями систем работы с Большими Данными.

Ментор этого проекта лично выступал на VLDB 2018 - одной из самых значимых в мире конференций по Большим Данным, Распределенным Системам, и Базам Данных: ChronosDB: Distributed, File Based, Geospatial Array DBMS [http://www.vldb.org/pvldb/vol11/p1247-zalipynis.pdf PDF]. Это единственный устный доклад от РФ за последние 10 лет.

'''При командной работе задачи распределяются так''': студент берет себе одну из систем.

Системы:

* SciDB https://www.paradigm4.com
* RasDaMan http://rasdaman.org/
* GeoTrellis https://geotrellis.io/
* TileDB https://tiledb.io/
* PostgreSQL/PostGIS https://postgis.net/
* ClimateSpark https://github.com/feihugis/ClimateSpark
* SciSpark https://scispark.jpl.nasa.gov/
* RasterFrames http://rasterframes.io/
* Python Dask https://dask.org/
* BigDAWG https://bigdawg.mit.edu/
* Язык программирования Julia https://julialang.org/
* Python/TensorFlow https://www.tensorflow.org
* Myria http://myria.cs.washington.edu/
* ваши предложения

=== Чему вы научитесь? ===
* работе с облачными сервисами Azure либо Amazon
* работе с системами обработки растровых геоданных
* основам новых языков программирования: некоторые (не все) системы используют Python/Scala/... для своего API, их знание не является обязательным для работы над проектом, они легко осваиваются по ходу работы
* принципам работы алгоритмов обработки растровых геоданных

=== Какие начальные требования? ===
* технический английский (для чтения статей)
* язык программирования - любой, новый осваивается по ходу работы в зависимости от системы либо облачного сервиса
* желание разбираться с геопространственными данными, системами и алгоритмами их обработки, облачными сервисами

=== Какие будут использоваться технологии? ===
Перечень технологий доступен на сайте курса [http://rgeo.wikience.org/index2017.html Разработка геоприложений]

=== Темы вводных занятий ===
Мы возьмем некоторые темы из курса [http://rgeo.wikience.org/index2017.html Разработка геоприложений]

* что такое геопространственные данные, какие они бывают и какие особенности работы с ними
* системы для обработки больших геопространственных данных
* виды запросов и их особенности для обработки растровых геоданных

=== Направления развития ===
* исследование производительности новейших систем, напр. Rheem http://da.qcri.org/rheem/
* исследование производительности машинного обучения с использованием геоданных
* модификация систем для изменения поведения при ответе на запросы
* комбинация в запросах не только растровых, но и векторных геоданных, данных других баз данных
* использование данных из различных источников (NASA, ECMWF, ESA, ...) для исследования системы
* публикация статьи в следующем году по результатам исследований: напр., Суперкомпьютерные дни в России http://www.russianscdays.org/, AIST https://aistconf.org

=== Критерии оценки ===
4-5:
* подготовить тестовые геоданные
* реализовать импорт геоданных в выбранную систему
* составить 10 одноэтапных (выполняющих какую-то одну пространственную операцию) запросов к системе
* уметь с помощью API системы выполнять к ней запросы
* построить диаграммы, графики и другие необходимые отчетные материлы иллюстрации производительности системы

6-7:
* все пункты '''4-5''', кроме запросов
* уметь разворачивать систему на компьютерном кластере в облаке Azure/Amazon (если бесплатная версия системы это позволяет)
* составить 10 (можно больше) сложных запросов к системе (запрос должен проверять сразу несколько аспектов работы системы)
* уметь измерять время выполнения различных этапов работы системы (напр., подготовка данных, shuffling между узлами кластера, ...)

8-10:
* все пункты '''6-7'''
* уметь создавать компьютерный кластер в облаке c помощью API Azure/Amazon (если это будет необходимо)
* проверить работу системы на различных данных, их объемах и конфигурациях оборудования (кластера, если система распределенная)
* подготовить UDF (User Defined Functions) для выполнения системой пользовательских запросов
* научиться задавать расположение исходных данных на узлах кластера с помощью API системы
* самостоятельно предлагать запросы, которые позволят выявить слабые и сильные стороны системы (на 10 баллов)

Дополнительные баллы можно также получить при выполнении пунктов из раздела "Направления развития"

=== Ориентировочное расписание занятий ===
По договоренности. Ориентировочно ВТ 16.40-18.10 (по четной неделе)

Исследование производительности систем обработки больших векторных геоданных (проект)

2018-10-08T16:32:46Z

AntonioRodriges:

{{Карточка_проекта
|name=Исследование производительности систем обработки больших векторных геоданных
|mentor=AntonioRodriges
|mentor_login={{URLENCODE:AntonioRodriges|WIKI}}
|semester=Осень 2018
|course=2
|summer=on
|number_of_students=15
|categorize=yes
}}

=== Что это за проект? ===
Геопространственные данные (геоданные) это такие данные, у которых есть географическая привязка.
В современном мире, около 80% всех данных содержат географическую привязку:
[https://www.forbes.com/sites/truebridge/2016/05/06/how-imaging-technologies-are-changing-the-world-part-2/ ссылка 1],
[https://carto.com/blog/eighty-data-visualizations-examples-using-location-data-maps/ ссылка 2].

Векторные геоданные - точка, линия, полигон, мультиполигон и другие виды объетов, которые имеют географическую привязку.
Эти данные встречаются в картах Google, Yandex, Bing и любых подобных сервисах.
При обработке этих данных мы встречаемся с такими основными проблемами:
* большие данные: этих данных очень много (представьте себе только одну Москву с миллионами объектов)
* особый workload: обработка запросов к геоданным не является тривиальной (нужны индексы, специальные алгоритмы и подходы)
* облачные системы: для обработки больших данных нужно использовать компьютерные кластеры и распределенные системы

Системы обработки больших векторных геоданных могут отвечать на такие вопросы:
* '''Пользователь мобильной связи''': где находится ближайшая автозаправочная станция? Могу ли я по дороге домой купить корм для домашних животных?
* '''Командующий армией''': произошли ли значительные передвижения войск противника по сравнению со вчерашним вечером?
* '''Менеждер по страховым рискам''': какие постройки на берегу реки с наибольшей вероятностью пострадают от очередного большого наводнения?
* '''Специалист по транспорту''': как следует расширить сеть автодорог, чтобы до минимума сократить заторы?
* и многие другие вопросы: Spatial Databases: A Tour http://www.spatial.cs.umn.edu/Book/

Исследование производительности систем обработки больших векторных геоданных заключается в следующем:
* развернуть систему обработки данных в облаке либо на локальной машине
* импортировать данные в систему
* разработать запросы для системы с учетом ее особенностей (это поможет сделать ментор), чтобы выявить сильные и слабые стороны системы (с какими задачами система справляется лучше, а с какими хуже)
* выполнить исследование системы: запустить запросы на системе с разным количеством узлов кластера, разным объемов данных, модифицировать запросы, чтобы улучшить или ухудшить производительность системы, найти данные на которых система работает лучше/хуже и т.п.

'''Цель работы''' -- познакомиться с геоданными, изучить системы и особенности работы с ними. Это позволит существенно улучшить Ваше резюме. Например, многие системы основаны на Apache Spark, который является одной из самых популярных и востребованных работодателями систем работы с Большими Данными.

''' Свежая статья об исследовании систем обработки больших векторных геоданных''': How Good Are Modern Spatial Analytics Systems? [http://www.vldb.org/pvldb/vol11/p1661-pandey.pdf PDF]

Ментор этого проекта лично выступал на VLDB 2018 - одной из самых значимых в мире конференций по Большим Данным, Распределенным Системам, и Базам Данных: ChronosDB: Distributed, File Based, Geospatial Array DBMS [http://www.vldb.org/pvldb/vol11/p1247-zalipynis.pdf PDF]. Это единственный устный доклад от РФ за последние 10 лет.

'''При командной работе задачи распределяются так''': студент берет себе одну из систем.

Системы:
* GeoMesa https://www.geomesa.org/
* GeoTrellis https://geotrellis.io/
* PostgreSQL/PostGIS https://postgis.net/
* GIS Tools for Hadoop http://esri.github.io/gis-tools-for-hadoop/
* Spatial Hadoop http://spatialhadoop.cs.umn.edu/
* Hadoop-GIS http://bmidb.cs.stonybrook.edu/hadoopgis/index
* GeoSpark https://github.com/DataSystemsLab/GeoSpark
* Magellan https://github.com/harsha2010/magellan
* Asterix-DB https://asterixdb.apache.org/
* MongoDB https://www.mongodb.com/
* Couchbase https://www.couchbase.com/
* ваши предложения (почти любая современная база данных поддерживает векторные геоданные)

Перечень остальных подходов и систем (не исчерпывающий): The Era of Big Spatial Data [http://www.vldb.org/pvldb/vol10/p1992-eldawy.pdf PDF]

=== Чему вы научитесь? ===
* работе с облачными сервисами Azure либо Amazon
* работе с системами обработки векторных геоданных
* основам новых языков программирования: некоторые (не все) системы используют Python/Scala/... для своего API, их знание не является обязательным для работы над проектом, они легко осваиваются по ходу работы
* принципам работы алгоритмов обработки векторных геоданных

=== Какие начальные требования? ===
* технический английский (для чтения статей)
* язык программирования - любой, новый осваивается по ходу работы в зависимости от системы либо облачного сервиса
* желание разбираться с геопространственными данными, системами и алгоритмами их обработки, облачными сервисами

=== Какие будут использоваться технологии? ===
Перечень технологий доступен на сайте курса [http://rgeo.wikience.org/index2017.html Разработка геоприложений]

Перечень систем (не исчерпывающий): The Era of Big Spatial Data [http://www.vldb.org/pvldb/vol10/p1992-eldawy.pdf PDF]

=== Темы вводных занятий ===
Мы возьмем некоторые темы из курса [http://rgeo.wikience.org/index2017.html Разработка геоприложений]

* что такое геопространственные данные, какие они бывают и какие особенности работы с ними
* системы для обработки больших геопространственных данных
* виды запросов и их особенности для обработки векторных геоданных

=== Направления развития ===
* исследование производительности новейших систем, напр. Rheem http://da.qcri.org/rheem/
* исследование производительности машинного обучения с использованием геоданных
* модификация систем для изменения поведения при ответе на запросы
* комбинация в запросах не только векторных, но и растровых геоданных, данных других баз данных
* использование данных из различных источников (города, треки, ...) для исследования системы
* публикация статьи в следующем году по результатам исследований: напр., Суперкомпьютерные дни в России http://www.russianscdays.org/, AIST https://aistconf.org

=== Критерии оценки ===
4-5:
* подготовить тестовые геоданные
* реализовать импорт геоданных в выбранную систему
* составить 10 одноэтапных (выполняющих какую-то одну пространственную операцию) запросов к системе
* уметь с помощью API системы выполнять к ней запросы
* построить диаграммы, графики и другие необходимые отчетные материлы иллюстрации производительности системы

6-7:
* все пункты '''4-5''', кроме запросов
* уметь разворачивать систему на компьютерном кластере в облаке Azure/Amazon (если бесплатная версия системы это позволяет)
* составить 10 (можно больше) сложных запросов к системе (запрос должен проверять сразу несколько аспектов работы системы)
* уметь измерять время выполнения различных этапов работы системы (напр., подготовка данных, shuffling между узлами кластера, ...)

8-10:
* все пункты '''6-7'''
* уметь создавать компьютерный кластер в облаке c помощью API Azure/Amazon (если это будет необходимо)
* проверить работу системы на различных данных, их объемах и конфигурациях оборудования (кластера, если система распределенная)
* подготовить UDF (User Defined Functions) для выполнения системой пользовательских запросов
* научиться задавать расположение исходных данных на узлах кластера с помощью API системы
* самостоятельно предлагать запросы, которые позволят выявить слабые и сильные стороны системы (на 10 баллов)

Дополнительные баллы можно также получить при выполнении пунктов из раздела "Направления развития"

=== Ориентировочное расписание занятий ===
По договоренности. Ориентировочно ВТ 16.40-18.10 (по четной неделе)

Файл:Wikience-no2.png

2018-10-08T16:31:18Z

AntonioRodriges:

Файл:Wikience-co2-globe.png

2018-10-08T16:19:04Z

AntonioRodriges:

Файл:Wikience-mean-sea-level-pressure-and-isobars-300x300.png

2018-10-08T16:18:34Z

AntonioRodriges:

Файл:Wikience-wind-speed.png

2018-10-08T16:17:37Z

AntonioRodriges:

Исследование производительности систем обработки больших векторных геоданных (проект)

2018-10-08T15:55:57Z

AntonioRodriges:

{{Карточка_проекта
|name=Исследование производительности систем обработки больших векторных геоданных
|mentor=AntonioRodriges
|mentor_login={{URLENCODE:AntonioRodriges|WIKI}}
|semester=Осень 2018
|course=2
|summer=on
|number_of_students=15
|categorize=yes
}}

=== Что это за проект? ===
Геопространственные данные (геоданные) это такие данные, у которых есть географическая привязка.
В современном мире, около 80% всех данных содержат географическую привязку:
[https://www.forbes.com/sites/truebridge/2016/05/06/how-imaging-technologies-are-changing-the-world-part-2/ ссылка 1],
[https://carto.com/blog/eighty-data-visualizations-examples-using-location-data-maps/ ссылка 2].

Векторные геоданные - точка, линия, полигон, мультиполигон и другие виды объетов, которые имеют географическую привязку.
Эти данные встречаются в картах Google, Yandex, Bing и любых подобных сервисах.
При обработке этих данных мы встречаемся с такими основными проблемами:
* большие данные: этих данных очень много (представьте себе только одну Москву с миллионами объектов)
* особый workload: обработка запросов к геоданным не является тривиальной (нужны индексы, специальные алгоритмы и подходы)
* облачные системы: для обработки больших данных нужно использовать компьютерные кластеры и распределенные системы

Системы обработки больших векторных геоданных могут отвечать на такие вопросы:
* '''Пользователь мобильной связи''': где находится ближайшая автозаправочная станция? Могу ли я по дороге домой купить корм для домашних животных?
* '''Командующий армией''': произошли ли значительные передвижения войск противника по сравнению со вчерашним вечером?
* '''Менеждер по страховым рискам''': какие постройки на берегу реки с наибольшей вероятностью пострадают от очередного большого наводнения?
* '''Специалист по транспорту''': как следует расширить сеть автодорог, чтобы до минимума сократить заторы?
* и многие другие вопросы: Spatial Databases: A Tour http://www.spatial.cs.umn.edu/Book/

Исследование производительности систем обработки больших векторных геоданных заключается в следующем:
* развернуть систему обработки данных в облаке либо на локальной машине
* импортировать данные в систему
* разработать запросы для системы с учетом ее особенностей (это поможет сделать ментор), чтобы выявить сильные и слабые стороны системы (с какими задачами система справляется лучше, а с какими хуже)
* выполнить исследование системы: запустить запросы на системе с разным количеством узлов кластера, разным объемов данных, модифицировать запросы, чтобы улучшить или ухудшить производительность системы, найти данные на которых система работает лучше/хуже и т.п.

'''Цель работы''' -- познакомиться с геоданными, изучить системы и особенности работы с ними. Это позволит существенно улучшить Ваше резюме. Например, многие системы основаны на Apache Spark, который является одной из самых популярных и востребованных работодателями систем работы с Большими Данными.

''' Свежая статья об исследовании систем обработки больших векторных геоданных''': How Good Are Modern Spatial Analytics Systems? [http://www.vldb.org/pvldb/vol11/p1661-pandey.pdf PDF]

Ментор этого проекта лично выступал на VLDB 2018 - одной из самых значимых в мире конференций по Большим Данным, Распределенным Системам, и Базам Данных: ChronosDB: Distributed, File Based, Geospatial Array DBMS [http://www.vldb.org/pvldb/vol11/p1247-zalipynis.pdf PDF]. Это был единственный устный доклад от РФ за последние 10 лет.

'''При командной работе задачи распределяются так''': студент берет себе одну из систем.

Системы:
* GeoMesa https://www.geomesa.org/
* GeoTrellis https://geotrellis.io/
* PostgreSQL/PostGIS https://postgis.net/
* GIS Tools for Hadoop http://esri.github.io/gis-tools-for-hadoop/
* Spatial Hadoop http://spatialhadoop.cs.umn.edu/
* Hadoop-GIS http://bmidb.cs.stonybrook.edu/hadoopgis/index
* GeoSpark https://github.com/DataSystemsLab/GeoSpark
* Magellan https://github.com/harsha2010/magellan
* Asterix-DB https://asterixdb.apache.org/
* MongoDB https://www.mongodb.com/
* Couchbase https://www.couchbase.com/
* ваши предложения (почти любая современная база данных поддерживает векторные геоданные)

Перечень остальных подходов и систем (не исчерпывающий): The Era of Big Spatial Data [http://www.vldb.org/pvldb/vol10/p1992-eldawy.pdf PDF]

=== Чему вы научитесь? ===
* работе с облачными сервисами Azure либо Amazon
* работе с системами обработки векторных геоданных
* основам новых языков программирования: некоторые (не все) системы используют Python/Scala/... для своего API, их знание не является обязательным для работы над проектом, они легко осваиваются по ходу работы
* принципам работы алгоритмов обработки векторных геоданных

=== Какие начальные требования? ===
* технический английский (для чтения статей)
* язык программирования - любой, новый осваивается по ходу работы в зависимости от системы либо облачного сервиса
* желание разбираться с геопространственными данными, системами и алгоритмами их обработки, облачными сервисами

=== Какие будут использоваться технологии? ===
Перечень технологий доступен на сайте курса [http://rgeo.wikience.org/index2017.html Разработка геоприложений]

Перечень систем (не исчерпывающий): The Era of Big Spatial Data [http://www.vldb.org/pvldb/vol10/p1992-eldawy.pdf PDF]

=== Темы вводных занятий ===
Мы возьмем некоторые темы из курса [http://rgeo.wikience.org/index2017.html Разработка геоприложений]

* что такое геопространственные данные, какие они бывают и какие особенности работы с ними
* системы для обработки больших геопространственных данных
* виды запросов и их особенности для обработки векторных геоданных

=== Направления развития ===
* исследование производительности новейших систем, напр. Rheem http://da.qcri.org/rheem/
* исследование производительности машинного обучения с использованием геоданных
* модификация систем для изменения поведения при ответе на запросы
* комбинация в запросах не только векторных, но и растровых геоданных, данных других баз данных
* использование данных из различных источников (города, треки, ...) для исследования системы
* публикация статьи в следующем году по результатам исследований: напр., Суперкомпьютерные дни в России http://www.russianscdays.org/, AIST https://aistconf.org

=== Критерии оценки ===
4-5:
* подготовить тестовые геоданные
* реализовать импорт геоданных в выбранную систему
* составить 10 одноэтапных (выполняющих какую-то одну пространственную операцию) запросов к системе
* уметь с помощью API системы выполнять к ней запросы
* построить диаграммы, графики и другие необходимые отчетные материлы иллюстрации производительности системы

6-7:
* все пункты '''4-5''', кроме запросов
* уметь разворачивать систему на компьютерном кластере в облаке Azure/Amazon (если бесплатная версия системы это позволяет)
* составить 10 (можно больше) сложных запросов к системе (запрос должен проверять сразу несколько аспектов работы системы)
* уметь измерять время выполнения различных этапов работы системы (напр., подготовка данных, shuffling между узлами кластера, ...)

8-10:
* все пункты '''6-7'''
* уметь создавать компьютерный кластер в облаке c помощью API Azure/Amazon (если это будет необходимо)
* проверить работу системы на различных данных, их объемах и конфигурациях оборудования (кластера, если система распределенная)
* подготовить UDF (User Defined Functions) для выполнения системой пользовательских запросов
* научиться задавать расположение исходных данных на узлах кластера с помощью API системы
* самостоятельно предлагать запросы, которые позволят выявить слабые и сильные стороны системы (на 10 баллов)

Дополнительные баллы можно также получить при выполнении пунктов из раздела "Направления развития"

=== Ориентировочное расписание занятий ===
По договоренности. Ориентировочно ВТ 16.40-18.10 (по четной неделе)

Исследование производительности систем обработки больших растровых геоданных (проект)

2018-10-08T15:55:52Z

AntonioRodriges: Новая страница, с помощью формы Новый_проект

{{Карточка_проекта
|name=Исследование производительности систем обработки больших растровых геоданных
|mentor=AntonioRodriges
|mentor_login={{URLENCODE:AntonioRodriges|WIKI}}
|semester=Осень 2017
|course=2
|summer=on
|number_of_students=10
|categorize=yes
}}

=== Что это за проект? ===
Геопространственные данные (геоданные) это такие данные, у которых есть географическая привязка.
В современном мире, около 80% всех данных содержат географическую привязку:
[https://www.forbes.com/sites/truebridge/2016/05/06/how-imaging-technologies-are-changing-the-world-part-2/ ссылка 1],
[https://carto.com/blog/eighty-data-visualizations-examples-using-location-data-maps/ ссылка 2].

Растровые геоданные -
временной ряд ('''1D'''),
спутниковая сцена ('''2D'''),
прогноз погоды/климата ('''3D'''),
данные беспилотных летательных аппаратов (БПЛА),
лидаров и другие N-мерные массивы, которые имеют географическую привязку.

[[Файл:http://www.wikience.org/wordpress/wp-content/uploads/2015/02/wikience-wind-speed.png|300px|центр|link=http://www.wikience.org/]]
[[Файл:http://www.wikience.org/wordpress/wp-content/uploads/2015/02/wikience-mean-sea-level-pressure-and-isobars-300x300.png|300px|центр|link=http://www.wikience.org/]]
[[Файл:http://www.wikience.org/wordpress/wp-content/uploads/2015/01/wikience-co2-globe.png|300px|центр|link=http://www.wikience.org/]]

При обработке этих данных мы встречаемся с такими основными проблемами:
* большие данные: только лишь один DigitalGlobe, коммерческий провайдер спутниковых данных, собирает около
[https://www.mapbox.com/blog/digitalglobe-maps-api/ 70 терабайт в день]
* особый workload: растровые геоданные обрабатываются по-своему: нужны особые алгоритмы и подходы
* облачные системы: для обработки больших данных нужно использовать компьютерные кластеры и распределенные системы

Системы обработки больших растровых геоданных могут отвечать на такие вопросы:
* '''Чрезвычайные ситуации''': какие районы города будут затоплены при повышении уровня воды на 1 метр (используются [https://en.wikipedia.org/wiki/Digital_elevation_model DEM])?
* '''Сельское хозяйство''': как мне нужно удобрять поле, чтобы повысить объем урожая (точное земледелие, [https://en.wikipedia.org/wiki/Precision_agriculture precision agriculture])?
* '''Городское планирование''': где и какие санитарно-гигиенические мероприятия нужно проводить, чтобы повысить качество воздуха?
* и многие другие вопросы

Конкретный пример: суперкомпьютер Blue Waters и спутниковые данные используются для предсказания урожая, что чрезвычайно важно для экономики: [https://aces.illinois.edu/news/illinois-research-accurately-predicts-us-end-season-corn-yield ссылка].

Исследование производительности систем обработки больших растровых геоданных заключается в следующем:
* развернуть систему обработки данных в облаке либо на локальной машине
* импортировать данные в систему
* разработать запросы для системы с учетом ее особенностей (это поможет сделать ментор), чтобы выявить сильные и слабые стороны системы (с какими задачами система справляется лучше, а с какими хуже)
* выполнить исследование системы: запустить запросы на системе с разным количеством узлов кластера, разным объемов данных, модифицировать запросы, чтобы улучшить или ухудшить производительность системы, найти данные на которых система работает лучше/хуже и т.п.

'''Цель работы''' -- познакомиться с растровыми геоданными, изучить системы и особенности работы с ними. Это позволит существенно улучшить Ваше резюме. Например, многие системы основаны на Apache Spark, который является одной из самых популярных и востребованных работодателями систем работы с Большими Данными.

Ментор этого проекта лично выступал на VLDB 2018 - одной из самых значимых в мире конференций по Большим Данным, Распределенным Системам, и Базам Данных: ChronosDB: Distributed, File Based, Geospatial Array DBMS [http://www.vldb.org/pvldb/vol11/p1247-zalipynis.pdf PDF]. Это был единственный устный доклад от РФ за последние 10 лет.

'''При командной работе задачи распределяются так''': студент берет себе одну из систем.

Системы:

=== Чему вы научитесь? ===
* работе с облачными сервисами Azure либо Amazon
* работе с системами обработки растровых геоданных
* основам новых языков программирования: некоторые (не все) системы используют Python/Scala/... для своего API, их знание не является обязательным для работы над проектом, они легко осваиваются по ходу работы
* принципам работы алгоритмов обработки растровых геоданных

=== Какие начальные требования? ===
* технический английский (для чтения статей)
* язык программирования - любой, новый осваивается по ходу работы в зависимости от системы либо облачного сервиса
* желание разбираться с геопространственными данными, системами и алгоритмами их обработки, облачными сервисами

=== Какие будут использоваться технологии? ===
Перечень технологий доступен на сайте курса [http://rgeo.wikience.org/index2017.html Разработка геоприложений]

=== Темы вводных занятий ===
Мы возьмем некоторые темы из курса [http://rgeo.wikience.org/index2017.html Разработка геоприложений]

* что такое геопространственные данные, какие они бывают и какие особенности работы с ними
* системы для обработки больших геопространственных данных
* виды запросов и их особенности для обработки растровых геоданных

=== Направления развития ===
* исследование производительности новейших систем, напр. Rheem http://da.qcri.org/rheem/
* исследование производительности машинного обучения с использованием геоданных
* модификация систем для изменения поведения при ответе на запросы
* комбинация в запросах не только растровых, но и векторных геоданных, данных других баз данных
* использование данных из различных источников (NASA, ECMWF, ESA, ...) для исследования системы
* публикация статьи в следующем году по результатам исследований: напр., Суперкомпьютерные дни в России http://www.russianscdays.org/, AIST https://aistconf.org

=== Критерии оценки ===
4-5:
* подготовить тестовые геоданные
* реализовать импорт геоданных в выбранную систему
* составить 10 одноэтапных (выполняющих какую-то одну пространственную операцию) запросов к системе
* уметь с помощью API системы выполнять к ней запросы
* построить диаграммы, графики и другие необходимые отчетные материлы иллюстрации производительности системы

6-7:
* все пункты '''4-5''', кроме запросов
* уметь разворачивать систему на компьютерном кластере в облаке Azure/Amazon (если бесплатная версия системы это позволяет)
* составить 10 (можно больше) сложных запросов к системе (запрос должен проверять сразу несколько аспектов работы системы)
* уметь измерять время выполнения различных этапов работы системы (напр., подготовка данных, shuffling между узлами кластера, ...)

8-10:
* все пункты '''6-7'''
* уметь создавать компьютерный кластер в облаке c помощью API Azure/Amazon (если это будет необходимо)
* проверить работу системы на различных данных, их объемах и конфигурациях оборудования (кластера, если система распределенная)
* подготовить UDF (User Defined Functions) для выполнения системой пользовательских запросов
* научиться задавать расположение исходных данных на узлах кластера с помощью API системы
* самостоятельно предлагать запросы, которые позволят выявить слабые и сильные стороны системы (на 10 баллов)

Дополнительные баллы можно также получить при выполнении пунктов из раздела "Направления развития"

=== Ориентировочное расписание занятий ===
По договоренности. Ориентировочно ВТ 16.40-18.10 (по четной неделе)

Исследование производительности систем обработки больших векторных геоданных (проект)

2018-10-08T08:20:58Z

AntonioRodriges:

{{Карточка_проекта
|name=Исследование производительности систем обработки больших векторных геоданных
|mentor=AntonioRodriges
|mentor_login={{URLENCODE:AntonioRodriges|WIKI}}
|semester=Осень 2018
|course=2
|summer=on
|number_of_students=15
|categorize=yes
}}

=== Что это за проект? ===
Геопространственные данные (геоданные) это такие данные, у которых есть географическая привязка.
В современном мире, около 80% всех данных содержат географическую привязку:
[https://www.forbes.com/sites/truebridge/2016/05/06/how-imaging-technologies-are-changing-the-world-part-2/ ссылка 1],
[https://carto.com/blog/eighty-data-visualizations-examples-using-location-data-maps/ ссылка 2].

Векторные геоданные - точка, линия, полигон, мультиполигон и другие виды объетов, которые имеют географическую привязку.
Эти данные встречаются в картах Google, Yandex, Bing и любых подобных сервисах.
При обработке этих данных мы встречаемся с такими основными проблемами:
* большие данные: этих данных очень много (представьте себе только одну Москву с миллионами объектов)
* особый workload: обработка запросов к геоданным не является тривиальной (нужны индексы, специальные алгоритмы и подходы)
* облачные системы: для обработки больших данных нужно использовать компьютерные кластеры и распределенные системы

Системы обработки больших векторных геоданных могут отвечать на такие вопросы:
* '''Пользователь мобильной связи''': где находится ближайшая автозаправочная станция? Могу ли я по дороге домой купить корм для домашних животных?
* '''Командующий армией''': произошли ли значительные передвижения войск противника по сравнению со вчерашним вечером?
* '''Менеждер по страховым рискам''': какие постройки на берегу реки с наибольшей вероятностью пострадают от очередного большого наводнения?
* '''Специалист по транспорту''': как следует расширить сеть автодорог, чтобы до минимума сократить заторы?
* и многие другие вопросы: Spatial Databases: A Tour http://www.spatial.cs.umn.edu/Book/

Исследование производительности систем обработки больших векторных геоданных заключается в следующем:
* развернуть систему обработки данных в облаке либо на локальной машине
* импортировать данные в систему
* разработать запросы для системы с учетом ее особенностей (это поможет сделать ментор), чтобы выявить сильные и слабые стороны системы (с какими задачами система справляется лучше, а с какими хуже)
* выполнить исследование системы: запустить запросы на системе с разным количеством узлов кластера, разным объемов данных, модифицировать запросы, чтобы улучшить или ухудшить производительность системы, найти данные на которых система работает лучше/хуже и т.п.

'''Цель работы''' -- познакомиться с геоданными, изучить системы и особенности работы с ними. Это позволит существенно улучшить Ваше резюме. Например, многие системы основаны на Apache Spark, который является одной из самых популярных и востребованных работодателями систем работы с Большими Данными.

''' Свежая статья об исследовании систем обработки больших векторных геоданных''': How Good Are Modern Spatial Analytics Systems? [http://www.vldb.org/pvldb/vol11/p1661-pandey.pdf PDF]

Ментор этого проекта лично выступал на VLDB 2018 - одной из самых значимых в мире конференций по Большим Данным, Распределенным Системам, и Базам Данных: ChronosDB: Distributed, File Based, Geospatial Array DBMS [http://www.vldb.org/pvldb/vol11/p1247-zalipynis.pdf PDF]. Это был единственный устный доклад от РФ за последние 10 лет.

'''При командной работе задачи распределяются так''': студент берет себе одну из систем.

Системы:
* GeoMesa https://www.geomesa.org/
* GeoTrellis https://geotrellis.io/
* PostgreSQL/PostGIS https://postgis.net/
* GIS Tools for Hadoop http://esri.github.io/gis-tools-for-hadoop/
* Spatial Hadoop http://spatialhadoop.cs.umn.edu/
* Hadoop-GIS http://bmidb.cs.stonybrook.edu/hadoopgis/index
* GeoSpark https://github.com/DataSystemsLab/GeoSpark
* Magellan https://github.com/harsha2010/magellan
* Asterix-DB https://asterixdb.apache.org/
* MongoDB https://www.mongodb.com/
* Couchbase https://www.couchbase.com/
* ваши предложения (почти любая современная база данных поддерживает векторные геоданные)

Перечень остальных подходов и систем (не исчерпывающий): The Era of Big Spatial Data [http://www.vldb.org/pvldb/vol10/p1992-eldawy.pdf PDF]

=== Чему вы научитесь? ===
* работе с облачными сервисами Azure либо Amazon
* работе с системами обработки векторных геоданных
* основам новых языков программирования: некоторые (не все) системы используют Python/Scala/... для своего API, их знание не является обязательным для работы над проектом, они легко осваиваются по ходу работы
* принципам работы алгоритмов обработки векторных геоданных

=== Какие начальные требования? ===
* технический английский (для чтения статей)
* язык программирования - любой, новый осваивается по ходу работы в зависимости от системы либо облачного сервиса
* желание разбираться с геопространственными данными, системами и алгоритмами их обработки, облачными сервисами

=== Какие будут использоваться технологии? ===
Перечень технологий доступен на сайте курса [http://rgeo.wikience.org/index2017.html Разработка геоприложений]

Перечень систем (не исчерпывающий): The Era of Big Spatial Data [http://www.vldb.org/pvldb/vol10/p1992-eldawy.pdf PDF]

=== Темы вводных занятий ===
Мы возьмем некоторые темы из курса [http://rgeo.wikience.org/index2017.html Разработка геоприложений]

* что такое геопространственные данные, какие они бывают и какие особенности работы с ними
* системы для обработки больших геопространственных данных
* виды запросов и их особенности для обработки векторных геоданных

=== Направления развития ===
* исследование производительности новейших систем, напр. Rheem http://da.qcri.org/rheem/
* исследование производительности машинного обучения с использованием геоданных
* модификация систем для изменения поведения при ответе на запросы
* комбинация в запросах не только векторных, но и растровых геоданных, данных других баз данных
* использование данных из различных источников (города, треки, ...) для исследования системы
* публикация статьи в следующем году по результатам исследований: напр., Суперкомпьютерные дни в России http://www.russianscdays.org/

=== Критерии оценки ===
4-5:
* подготовить тестовые геоданные
* реализовать импорт геоданных в выбранную систему
* составить 10 одноэтапных (выполняющих какую-то одну пространственную операцию) запросов к системе
* уметь с помощью API системы выполнять к ней запросы
* построить диаграммы, графики и другие необходимые отчетные материлы иллюстрации производительности системы

6-7:
* все пункты '''4-5''', кроме запросов
* уметь разворачивать систему на компьютерном кластере в облаке Azure/Amazon (если бесплатная версия системы это позволяет)
* составить 10 (можно больше) сложных запросов к системе (запрос должен проверять сразу несколько аспектов работы системы)
* уметь измерять время выполнения различных этапов работы системы (напр., подготовка данных, shuffling между узлами кластера, ...)

8-10:
* все пункты '''6-7'''
* уметь создавать компьютерный кластер в облаке c помощью API Azure/Amazon (если это будет необходимо)
* проверить работу системы на различных данных, их объемах и конфигурациях оборудования (кластера, если система распределенная)
* подготовить UDF (User Defined Functions) для выполнения системой пользовательских запросов
* научиться задавать расположение исходных данных на узлах кластера с помощью API системы
* самостоятельно предлагать запросы, которые позволят выявить слабые и сильные стороны системы (на 10 баллов)

Дополнительные баллы можно также получить при выполнении пунктов из раздела "Направления развития"

=== Ориентировочное расписание занятий ===
По договоренности. Ориентировочно ВТ 16.40-18.10 (по четной неделе)

Исследование производительности систем обработки больших векторных геоданных (проект)

2018-10-08T08:20:30Z

AntonioRodriges: /* Что это за проект? */

{{Карточка_проекта
|name=Исследование производительности систем обработки больших векторных геоданных
|mentor=AntonioRodriges
|mentor_login={{URLENCODE:AntonioRodriges|WIKI}}
|semester=Осень 2018
|course=2
|summer=on
|number_of_students=10
|categorize=yes
}}

=== Что это за проект? ===
Геопространственные данные (геоданные) это такие данные, у которых есть географическая привязка.
В современном мире, около 80% всех данных содержат географическую привязку:
[https://www.forbes.com/sites/truebridge/2016/05/06/how-imaging-technologies-are-changing-the-world-part-2/ ссылка 1],
[https://carto.com/blog/eighty-data-visualizations-examples-using-location-data-maps/ ссылка 2].

Векторные геоданные - точка, линия, полигон, мультиполигон и другие виды объетов, которые имеют географическую привязку.
Эти данные встречаются в картах Google, Yandex, Bing и любых подобных сервисах.
При обработке этих данных мы встречаемся с такими основными проблемами:
* большие данные: этих данных очень много (представьте себе только одну Москву с миллионами объектов)
* особый workload: обработка запросов к геоданным не является тривиальной (нужны индексы, специальные алгоритмы и подходы)
* облачные системы: для обработки больших данных нужно использовать компьютерные кластеры и распределенные системы

Системы обработки больших векторных геоданных могут отвечать на такие вопросы:
* '''Пользователь мобильной связи''': где находится ближайшая автозаправочная станция? Могу ли я по дороге домой купить корм для домашних животных?
* '''Командующий армией''': произошли ли значительные передвижения войск противника по сравнению со вчерашним вечером?
* '''Менеждер по страховым рискам''': какие постройки на берегу реки с наибольшей вероятностью пострадают от очередного большого наводнения?
* '''Специалист по транспорту''': как следует расширить сеть автодорог, чтобы до минимума сократить заторы?
* и многие другие вопросы: Spatial Databases: A Tour http://www.spatial.cs.umn.edu/Book/

Исследование производительности систем обработки больших векторных геоданных заключается в следующем:
* развернуть систему обработки данных в облаке либо на локальной машине
* импортировать данные в систему
* разработать запросы для системы с учетом ее особенностей (это поможет сделать ментор), чтобы выявить сильные и слабые стороны системы (с какими задачами система справляется лучше, а с какими хуже)
* выполнить исследование системы: запустить запросы на системе с разным количеством узлов кластера, разным объемов данных, модифицировать запросы, чтобы улучшить или ухудшить производительность системы, найти данные на которых система работает лучше/хуже и т.п.

'''Цель работы''' -- познакомиться с геоданными, изучить системы и особенности работы с ними. Это позволит существенно улучшить Ваше резюме. Например, многие системы основаны на Apache Spark, который является одной из самых популярных и востребованных работодателями систем работы с Большими Данными.

''' Свежая статья об исследовании систем обработки больших векторных геоданных''': How Good Are Modern Spatial Analytics Systems? [http://www.vldb.org/pvldb/vol11/p1661-pandey.pdf PDF]

Ментор этого проекта лично выступал на VLDB 2018 - одной из самых значимых в мире конференций по Большим Данным, Распределенным Системам, и Базам Данных: ChronosDB: Distributed, File Based, Geospatial Array DBMS [http://www.vldb.org/pvldb/vol11/p1247-zalipynis.pdf PDF]. Это был единственный устный доклад от РФ за последние 10 лет.

'''При командной работе задачи распределяются так''': студент берет себе одну из систем.

Системы:
* GeoMesa https://www.geomesa.org/
* GeoTrellis https://geotrellis.io/
* PostgreSQL/PostGIS https://postgis.net/
* GIS Tools for Hadoop http://esri.github.io/gis-tools-for-hadoop/
* Spatial Hadoop http://spatialhadoop.cs.umn.edu/
* Hadoop-GIS http://bmidb.cs.stonybrook.edu/hadoopgis/index
* GeoSpark https://github.com/DataSystemsLab/GeoSpark
* Magellan https://github.com/harsha2010/magellan
* Asterix-DB https://asterixdb.apache.org/
* MongoDB https://www.mongodb.com/
* Couchbase https://www.couchbase.com/
* ваши предложения (почти любая современная база данных поддерживает векторные геоданные)

Перечень остальных подходов и систем (не исчерпывающий): The Era of Big Spatial Data [http://www.vldb.org/pvldb/vol10/p1992-eldawy.pdf PDF]

=== Чему вы научитесь? ===
* работе с облачными сервисами Azure либо Amazon
* работе с системами обработки векторных геоданных
* основам новых языков программирования: некоторые (не все) системы используют Python/Scala/... для своего API, их знание не является обязательным для работы над проектом, они легко осваиваются по ходу работы
* принципам работы алгоритмов обработки векторных геоданных

=== Какие начальные требования? ===
* технический английский (для чтения статей)
* язык программирования - любой, новый осваивается по ходу работы в зависимости от системы либо облачного сервиса
* желание разбираться с геопространственными данными, системами и алгоритмами их обработки, облачными сервисами

=== Какие будут использоваться технологии? ===
Перечень технологий доступен на сайте курса [http://rgeo.wikience.org/index2017.html Разработка геоприложений]

Перечень систем (не исчерпывающий): The Era of Big Spatial Data [http://www.vldb.org/pvldb/vol10/p1992-eldawy.pdf PDF]

=== Темы вводных занятий ===
Мы возьмем некоторые темы из курса [http://rgeo.wikience.org/index2017.html Разработка геоприложений]

* что такое геопространственные данные, какие они бывают и какие особенности работы с ними
* системы для обработки больших геопространственных данных
* виды запросов и их особенности для обработки векторных геоданных

=== Направления развития ===
* исследование производительности новейших систем, напр. Rheem http://da.qcri.org/rheem/
* исследование производительности машинного обучения с использованием геоданных
* модификация систем для изменения поведения при ответе на запросы
* комбинация в запросах не только векторных, но и растровых геоданных, данных других баз данных
* использование данных из различных источников (города, треки, ...) для исследования системы
* публикация статьи в следующем году по результатам исследований: напр., Суперкомпьютерные дни в России http://www.russianscdays.org/

=== Критерии оценки ===
4-5:
* подготовить тестовые геоданные
* реализовать импорт геоданных в выбранную систему
* составить 10 одноэтапных (выполняющих какую-то одну пространственную операцию) запросов к системе
* уметь с помощью API системы выполнять к ней запросы
* построить диаграммы, графики и другие необходимые отчетные материлы иллюстрации производительности системы

6-7:
* все пункты '''4-5''', кроме запросов
* уметь разворачивать систему на компьютерном кластере в облаке Azure/Amazon (если бесплатная версия системы это позволяет)
* составить 10 (можно больше) сложных запросов к системе (запрос должен проверять сразу несколько аспектов работы системы)
* уметь измерять время выполнения различных этапов работы системы (напр., подготовка данных, shuffling между узлами кластера, ...)

8-10:
* все пункты '''6-7'''
* уметь создавать компьютерный кластер в облаке c помощью API Azure/Amazon (если это будет необходимо)
* проверить работу системы на различных данных, их объемах и конфигурациях оборудования (кластера, если система распределенная)
* подготовить UDF (User Defined Functions) для выполнения системой пользовательских запросов
* научиться задавать расположение исходных данных на узлах кластера с помощью API системы
* самостоятельно предлагать запросы, которые позволят выявить слабые и сильные стороны системы (на 10 баллов)

Дополнительные баллы можно также получить при выполнении пунктов из раздела "Направления развития"

=== Ориентировочное расписание занятий ===
По договоренности. Ориентировочно ВТ 16.40-18.10 (по четной неделе)

Классификация объектов на спутниковых снимках с помощью глубокого обучения (проект)

2018-10-01T19:11:26Z

AntonioRodriges:

{{Карточка_проекта
|name=Классификация объектов на спутниковых данных с помощью глубокого обучения
|mentor=Antonio Rodriges
|mentor_login={{URLENCODE:AntonioRodriges|WIKI}}
|semester=Осень 2018
|course=2
|summer=on
|number_of_students=4
|categorize=yes
}}

=== Что это за проект? ===
Спутниковые данные (данные дистанционного зондирования Земли, ДЗЗ) используются при планировании городской инфраструктуры, мониторинге чрезвычайных ситуаций, точном земледелии и решении [https://learn.arcgis.com/ru/arcgis-imagery-book/ многих других задач]. Amazon предоставляет [https://aws.amazon.com/earth петабайты данных ДЗЗ], Planet строит «[https://habr.com/post/408397/ Космический Google]» для планеты, а Роскосмос запускает масштабный проект «[https://www.youtube.com/watch?v=LsR_gfCeSlQ Цифровая Земля]». Недавно прошли несколько международных конкурсов и хакатонов (в т.ч. в России), которые посвящены этой тематике: [https://habr.com/company/avito/blog/325632/ статья 1], [https://habr.com/company/ods/blog/325096/ статья 2], [http://geohack.ru/ хакатон Croc].

[[Файл:ПользаГеоданныеРоскосмос.PNG|800px|безрамки|центр|link=https://www.youtube.com/watch?v=LsR_gfCeSlQ]]

[[Файл:ПользаГеоданныеPlanet.PNG|800px|безрамки|центр|link=https://www.youtube.com/watch?v=h5Zhk0U4aZ4]]

'''Цель проекта''' — разработать облачный сервис классификации объектов на бесплатных данных [https://registry.opendata.aws/sentinel-2/ Sentinel (ESA, European Space Agency)], которые на сегодня имеют самое высокое разрешение (порядка 10 метров на пиксель) среди всех бесплатных данных ДЗЗ.

Также можно будет использовать вспомогательные данные других космических аппаратов, а также векторные цифровые карты для повышения точности классификации. Мы будем стремиться к тому, чтобы наш сервис автоматически загружал новые спутниковые данные по мере их поступления для заданных ROI (Region of Interest) и выполнял их классификацию (сегментацию) с сохранением результатов в базу данных и интерактивной визуализацией по требованию.

=== Чему вы научитесь? ===
* технологиям глубокого обучения
* соответствующим front-end и back-end технологиям, которые необходимы для сервиса (напр., сетевым протоколам передачи геопространственных данных, расширениям для хранения геоданных в СУБД, карты отображения данных в браузере)
* основам работы со спутниковыми данными
* библиотекам работы с геопространственными данными
* применению машинного обучения к реальным, практически полезным задачам

=== Какие начальные требования? ===
* технический английский (для чтения статей)
* язык программирования — любой
* желание разбираться с геопространственными данными

=== Какие будут использоваться технологии? ===
Технологии очевидны из следующего описания сервиса.
Задачи или компоненты сервиса можно упрощать/усложнять/исключать исходя из количества студентов, которые выберут проект.
Также back-end и/или front-end могут разрабатываться разным числом студенов в зависимости от сложности и объемности задач.

'''Сервер''' (back-end):

* Периодически загружает из облака Amazon новые данные [https://registry.opendata.aws/sentinel-2/ Sentinel] для заданных регионов
* Выполняет подготовку данных: напр., используя векторную карту, вырезает из снимков полигоны, соответствующие зданиям, дорогам, паркам, т.п. с помощью специальных библиотек, напр. [https://pcjericks.github.io/py-gdalogr-cookbook/raster_layers.html Python]
* Умеет по специальному протоколу (напр., WCS - Web Coverage Service) передавать данные на клиент
* Запускает классификацию/сегментацию снимков на одном сервере либо на кластере в "облаке"
* Сохраняет результаты классификации в базу данных, напр. PostgreSQL/PostGIS
* Умеет принимать от клиента запросы

'''Клиент''' (front-end):

* Отображает карту, входные данные и результаты работы в браузере, напр. с помощью Leaflet
* Умеет принимать от пользователя регионы интереса, пометки к данным
* Умеет передавать на сервер геоданные (напр., по протоколу WFS - Web Feature Service)

=== Темы вводных занятий ===
Мы возьмем некоторые темы из курса [http://rgeo.wikience.org/index2017.html Разработка геоприложений]

* что такое геопространственные данные, какие они бывают и какие особенности работы с ними
* как устроены спутниковые данные (данные дистанционного зондирования Земли)
* библиотеки для работы с геопространственными данными
* особенности и паттерны применения нейронных сетей к спутниковым данным

=== Направления развития ===
* использование дополнительных спутниковых данных, напр. гиперспектральных, радарных, DEM (Digital Elevation Model)
* наличие нескольких альтернативных моделей для классификации данных

=== Критерии оценки ===
Адаптируются в зависимости от размера команды.

'''4-5:'''

* выполнить подготовку данных (автоматическая загрузка + вырезка объектов по векторной карте для обучения)
* реализовать классификацию данных ДЗЗ (можно без автоматизации)
* реализованное приложение должно выполнять сегментацию

'''6-7:'''

* все пункты '''4-5'''
* визуальный интерфейс (любой - web либо desktop)

'''8-10:'''

* все пункты '''6-7'''
* визуальный интерфейс (любой - web либо desktop, но желательно web)
* сервер, cм. описание в разделе "Какие будут использоваться технологии?"

Дополнительные баллы можно также получить при выполнении пунктов из раздела "Направления развития".

=== Ориентировочное расписание занятий ===
По договоренности. Ориентировочно ВТ 16.40-18.10 (по четной неделе)

Классификация объектов на спутниковых снимках с помощью глубокого обучения (проект)

2018-10-01T19:11:01Z

AntonioRodriges: /* Что это за проект? */

{{Карточка_проекта
|name=Классификация объектов на спутниковых данных с помощью глубокого обучения
|mentor=Antonio Rodriges
|mentor_login={{URLENCODE:AntonioRodriges|WIKI}}
|semester=Осень 2018
|course=2
|summer=on
|number_of_students=4
|categorize=yes
}}

=== Что это за проект? ===
Спутниковые данные (данные дистанционного зондирования Земли, ДЗЗ) используются при планировании городской инфраструктуры, мониторинге чрезвычайных ситуаций, точном земледелии и решении [https://learn.arcgis.com/ru/arcgis-imagery-book/ многих других задач]. Amazon предоставляет [https://aws.amazon.com/earth петабайты данных ДЗЗ], Planet строит «[https://habr.com/post/408397/ Космический Google]» для планеты, а Роскосмос запускает масштабный проект «[https://www.youtube.com/watch?v=LsR_gfCeSlQ Цифровая Земля]». Недавно прошли несколько международных конкурсов и хакатонов (в т.ч. в России), которые посвящены этой тематике: [https://habr.com/company/avito/blog/325632/ статья 1], [https://habr.com/company/ods/blog/325096/ статья 2], [http://geohack.ru/ хакатон Croc].

[[Файл:ПользаГеоданныеРоскосмос.PNG|800px|безрамки|центр|link=https://www.youtube.com/watch?v=LsR_gfCeSlQ]]

[[Файл:ПользаГеоданныеPlanet.PNG|800px|безрамки|центр|link=https://www.youtube.com/watch?v=h5Zhk0U4aZ4]]

'''Цель проекта''' — разработать облачный сервис классификации объектов на бесплатных данных [https://registry.opendata.aws/sentinel-2/ Sentinel (ESA, European Space Agency)], которые на сегодня имеют самое высокое разрешение (порядка 10 метров на пиксель) среди всех бесплатных данных ДЗЗ.

Также можно будет использовать вспомогательные данные других космических аппаратов, а также векторные цифровые карты для повышения точности классификации. Мы будем стремиться к тому, чтобы наш сервис автоматически загружал новые спутниковые данные по мере их поступления для заданных ROI (Region of Interest) и выполнял их классификацию (сегментацию) с сохранением результатов в базу данных и интерактивной визуализацией по требованию.

=== Чему вы научитесь? ===
* технологиям глубокого обучения
* соответствующим front-end и back-end технологиям, которые необходимы для сервиса (напр., сетевым протоколам передачи геопространственных данных, расширениям для хранения геоданных в СУБД, карты отображения данных в браузере)
* основам работы со спутниковыми данными
* библиотекам работы с геопространственными данными
* применению машинного обучения к реальным, практически полезным задачам

=== Какие начальные требования? ===
* технический английский (для чтения статей)
* язык программирования — любой
* желание разбираться с геопространственными данными

=== Какие будут использоваться технологии? ===
Технологии очевидны из следующего описания сервиса.
Задачи или компоненты сервиса можно упрощать/усложнять/исключать исходя из количества студентов, которые выберут проект.
Также back-end и/или front-end могут разрабатываться разным числом студенов в зависимости от сложности и объемности задач.

'''Сервер''' (back-end):

* Периодически загружает из облака Amazon новые данные Sentinel для заданных регионов
* Выполняет подготовку данных: напр., используя векторную карту, вырезает из снимков полигоны, соответствующие зданиям, дорогам, паркам, т.п. с помощью специальных библиотек, напр. [https://pcjericks.github.io/py-gdalogr-cookbook/raster_layers.html Python]
* Умеет по специальному протоколу (напр., WCS - Web Coverage Service) передавать данные на клиент
* Запускает классификацию/сегментацию снимков на одном сервере либо на кластере в "облаке"
* Сохраняет результаты классификации в базу данных, напр. PostgreSQL/PostGIS
* Умеет принимать от клиента запросы

'''Клиент''' (front-end):

* Отображает карту, входные данные и результаты работы в браузере, напр. с помощью Leaflet
* Умеет принимать от пользователя регионы интереса, пометки к данным
* Умеет передавать на сервер геоданные (напр., по протоколу WFS - Web Feature Service)

=== Темы вводных занятий ===
Мы возьмем некоторые темы из курса [http://rgeo.wikience.org/index2017.html Разработка геоприложений]

* что такое геопространственные данные, какие они бывают и какие особенности работы с ними
* как устроены спутниковые данные (данные дистанционного зондирования Земли)
* библиотеки для работы с геопространственными данными
* особенности и паттерны применения нейронных сетей к спутниковым данным

=== Направления развития ===
* использование дополнительных спутниковых данных, напр. гиперспектральных, радарных, DEM (Digital Elevation Model)
* наличие нескольких альтернативных моделей для классификации данных

=== Критерии оценки ===
Адаптируются в зависимости от размера команды.

'''4-5:'''

* выполнить подготовку данных (автоматическая загрузка + вырезка объектов по векторной карте для обучения)
* реализовать классификацию данных ДЗЗ (можно без автоматизации)
* реализованное приложение должно выполнять сегментацию

'''6-7:'''

* все пункты '''4-5'''
* визуальный интерфейс (любой - web либо desktop)

'''8-10:'''

* все пункты '''6-7'''
* визуальный интерфейс (любой - web либо desktop, но желательно web)
* сервер, cм. описание в разделе "Какие будут использоваться технологии?"

Дополнительные баллы можно также получить при выполнении пунктов из раздела "Направления развития".

=== Ориентировочное расписание занятий ===
По договоренности. Ориентировочно ВТ 16.40-18.10 (по четной неделе)

Классификация объектов на спутниковых снимках с помощью глубокого обучения (проект)

2018-10-01T19:02:19Z

AntonioRodriges:

{{Карточка_проекта
|name=Классификация объектов на спутниковых данных с помощью глубокого обучения
|mentor=Antonio Rodriges
|mentor_login={{URLENCODE:AntonioRodriges|WIKI}}
|semester=Осень 2018
|course=2
|summer=on
|number_of_students=4
|categorize=yes
}}

=== Что это за проект? ===
Спутниковые данные (данные дистанционного зондирования Земли, ДЗЗ) используются при планировании городской инфраструктуры, мониторинге чрезвычайных ситуаций, точном земледелии и решении [https://learn.arcgis.com/ru/arcgis-imagery-book/ многих других задач]. Amazon предоставляет [https://aws.amazon.com/earth петабайты данных ДЗЗ], Planet строит «[https://habr.com/post/408397/ Космический Google]» для планеты, а Роскосмос запускает масштабный проект «[https://www.youtube.com/watch?v=LsR_gfCeSlQ Цифровая Земля]». Недавно прошли несколько международных конкурсов и хакатонов (в т.ч. в России), которые посвящены этой тематике: [https://habr.com/company/avito/blog/325632/ статья 1], [https://habr.com/company/ods/blog/325096/ статья 2], [http://geohack.ru/ хакатон Croc].

[[Файл:ПользаГеоданныеРоскосмос.PNG|800px|безрамки|центр|link=https://www.youtube.com/watch?v=LsR_gfCeSlQ]]

[[Файл:ПользаГеоданныеPlanet.PNG|800px|безрамки|центр|link=https://www.youtube.com/watch?v=h5Zhk0U4aZ4]]

'''Цель проекта''' — разработать облачный сервис классификации объектов на бесплатных данных Sentinel (ESA, European Space Agency), которые на сегодня имеют самое высокое разрешение (порядка 10 метров на пиксель) среди всех бесплатных данных ДЗЗ.

Также можно будет использовать вспомогательные данные других космических аппаратов, а также векторные цифровые карты для повышения точности классификации. Мы будем стремиться к тому, чтобы наш сервис автоматически загружал новые спутниковые данные по мере их поступления для заданных ROI (Region of Interest) и выполнял их классификацию (сегментацию) с сохранением результатов в базу данных и интерактивной визуализацией по требованию.

=== Чему вы научитесь? ===
* технологиям глубокого обучения
* соответствующим front-end и back-end технологиям, которые необходимы для сервиса (напр., сетевым протоколам передачи геопространственных данных, расширениям для хранения геоданных в СУБД, карты отображения данных в браузере)
* основам работы со спутниковыми данными
* библиотекам работы с геопространственными данными
* применению машинного обучения к реальным, практически полезным задачам

=== Какие начальные требования? ===
* технический английский (для чтения статей)
* язык программирования — любой
* желание разбираться с геопространственными данными

=== Какие будут использоваться технологии? ===
Технологии очевидны из следующего описания сервиса.
Задачи или компоненты сервиса можно упрощать/усложнять/исключать исходя из количества студентов, которые выберут проект.
Также back-end и/или front-end могут разрабатываться разным числом студенов в зависимости от сложности и объемности задач.

'''Сервер''' (back-end):

* Периодически загружает из облака Amazon новые данные Sentinel для заданных регионов
* Выполняет подготовку данных: напр., используя векторную карту, вырезает из снимков полигоны, соответствующие зданиям, дорогам, паркам, т.п. с помощью специальных библиотек, напр. [https://pcjericks.github.io/py-gdalogr-cookbook/raster_layers.html Python]
* Умеет по специальному протоколу (напр., WCS - Web Coverage Service) передавать данные на клиент
* Запускает классификацию/сегментацию снимков на одном сервере либо на кластере в "облаке"
* Сохраняет результаты классификации в базу данных, напр. PostgreSQL/PostGIS
* Умеет принимать от клиента запросы

'''Клиент''' (front-end):

* Отображает карту, входные данные и результаты работы в браузере, напр. с помощью Leaflet
* Умеет принимать от пользователя регионы интереса, пометки к данным
* Умеет передавать на сервер геоданные (напр., по протоколу WFS - Web Feature Service)

=== Темы вводных занятий ===
Мы возьмем некоторые темы из курса [http://rgeo.wikience.org/index2017.html Разработка геоприложений]

* что такое геопространственные данные, какие они бывают и какие особенности работы с ними
* как устроены спутниковые данные (данные дистанционного зондирования Земли)
* библиотеки для работы с геопространственными данными
* особенности и паттерны применения нейронных сетей к спутниковым данным

=== Направления развития ===
* использование дополнительных спутниковых данных, напр. гиперспектральных, радарных, DEM (Digital Elevation Model)
* наличие нескольких альтернативных моделей для классификации данных

=== Критерии оценки ===
Адаптируются в зависимости от размера команды.

'''4-5:'''

* выполнить подготовку данных (автоматическая загрузка + вырезка объектов по векторной карте для обучения)
* реализовать классификацию данных ДЗЗ (можно без автоматизации)
* реализованное приложение должно выполнять сегментацию

'''6-7:'''

* все пункты '''4-5'''
* визуальный интерфейс (любой - web либо desktop)

'''8-10:'''

* все пункты '''6-7'''
* визуальный интерфейс (любой - web либо desktop, но желательно web)
* сервер, cм. описание в разделе "Какие будут использоваться технологии?"

Дополнительные баллы можно также получить при выполнении пунктов из раздела "Направления развития".

=== Ориентировочное расписание занятий ===
По договоренности. Ориентировочно ВТ 16.40-18.10 (по четной неделе)

Классификация объектов на спутниковых снимках с помощью глубокого обучения (проект)

2018-10-01T19:01:17Z

AntonioRodriges:

{{Карточка_проекта
|name=Сервис классификации объектов на спутниковых данных с помощью глубокого обучения
|mentor=Antonio Rodriges
|mentor_login={{URLENCODE:AntonioRodriges|WIKI}}
|semester=Осень 2018
|course=2
|summer=on
|number_of_students=4
|categorize=yes
}}

=== Что это за проект? ===
Спутниковые данные (данные дистанционного зондирования Земли, ДЗЗ) используются при планировании городской инфраструктуры, мониторинге чрезвычайных ситуаций, точном земледелии и решении [https://learn.arcgis.com/ru/arcgis-imagery-book/ многих других задач]. Amazon предоставляет [https://aws.amazon.com/earth петабайты данных ДЗЗ], Planet строит «[https://habr.com/post/408397/ Космический Google]» для планеты, а Роскосмос запускает масштабный проект «[https://www.youtube.com/watch?v=LsR_gfCeSlQ Цифровая Земля]». Недавно прошли несколько международных конкурсов и хакатонов (в т.ч. в России), которые посвящены этой тематике: [https://habr.com/company/avito/blog/325632/ статья 1], [https://habr.com/company/ods/blog/325096/ статья 2], [http://geohack.ru/ хакатон Croc].

[[Файл:ПользаГеоданныеРоскосмос.PNG|800px|безрамки|центр|link=https://www.youtube.com/watch?v=LsR_gfCeSlQ]]

[[Файл:ПользаГеоданныеPlanet.PNG|800px|безрамки|центр|link=https://www.youtube.com/watch?v=h5Zhk0U4aZ4]]

'''Цель проекта''' — разработать облачный сервис классификации объектов на бесплатных данных Sentinel (ESA, European Space Agency), которые на сегодня имеют самое высокое разрешение (порядка 10 метров на пиксель) среди всех бесплатных данных ДЗЗ.

Также можно будет использовать вспомогательные данные других космических аппаратов, а также векторные цифровые карты для повышения точности классификации. Мы будем стремиться к тому, чтобы наш сервис автоматически загружал новые спутниковые данные по мере их поступления для заданных ROI (Region of Interest) и выполнял их классификацию (сегментацию) с сохранением результатов в базу данных и интерактивной визуализацией по требованию.

=== Чему вы научитесь? ===
* технологиям глубокого обучения
* соответствующим front-end и back-end технологиям, которые необходимы для сервиса (напр., сетевым протоколам передачи геопространственных данных, расширениям для хранения геоданных в СУБД, карты отображения данных в браузере)
* основам работы со спутниковыми данными
* библиотекам работы с геопространственными данными
* применению машинного обучения к реальным, практически полезным задачам

=== Какие начальные требования? ===
* технический английский (для чтения статей)
* язык программирования — любой
* желание разбираться с геопространственными данными

=== Какие будут использоваться технологии? ===
Технологии очевидны из следующего описания сервиса.
Задачи или компоненты сервиса можно упрощать/усложнять/исключать исходя из количества студентов, которые выберут проект.
Также back-end и/или front-end могут разрабатываться разным числом студенов в зависимости от сложности и объемности задач.

'''Сервер''' (back-end):

* Периодически загружает из облака Amazon новые данные Sentinel для заданных регионов
* Выполняет подготовку данных: напр., используя векторную карту, вырезает из снимков полигоны, соответствующие зданиям, дорогам, паркам, т.п. с помощью специальных библиотек, напр. [https://pcjericks.github.io/py-gdalogr-cookbook/raster_layers.html Python]
* Умеет по специальному протоколу (напр., WCS - Web Coverage Service) передавать данные на клиент
* Запускает классификацию/сегментацию снимков на одном сервере либо на кластере в "облаке"
* Сохраняет результаты классификации в базу данных, напр. PostgreSQL/PostGIS
* Умеет принимать от клиента запросы

'''Клиент''' (front-end):

* Отображает карту, входные данные и результаты работы в браузере, напр. с помощью Leaflet
* Умеет принимать от пользователя регионы интереса, пометки к данным
* Умеет передавать на сервер геоданные (напр., по протоколу WFS - Web Feature Service)

=== Темы вводных занятий ===
Мы возьмем некоторые темы из курса [http://rgeo.wikience.org/index2017.html Разработка геоприложений]

* что такое геопространственные данные, какие они бывают и какие особенности работы с ними
* как устроены спутниковые данные (данные дистанционного зондирования Земли)
* библиотеки для работы с геопространственными данными
* особенности и паттерны применения нейронных сетей к спутниковым данным

=== Направления развития ===
* использование дополнительных спутниковых данных, напр. гиперспектральных, радарных, DEM (Digital Elevation Model)
* наличие нескольких альтернативных моделей для классификации данных

=== Критерии оценки ===
Адаптируются в зависимости от размера команды.

'''4-5:'''

* выполнить подготовку данных (автоматическая загрузка + вырезка объектов по векторной карте для обучения)
* реализовать классификацию данных ДЗЗ (можно без автоматизации)
* реализованное приложение должно выполнять сегментацию

'''6-7:'''

* все пункты '''4-5'''
* визуальный интерфейс (любой - web либо desktop)

'''8-10:'''

* все пункты '''6-7'''
* визуальный интерфейс (любой - web либо desktop, но желательно web)
* сервер, cм. описание в разделе "Какие будут использоваться технологии?"

Дополнительные баллы можно также получить при выполнении пунктов из раздела "Направления развития".

=== Ориентировочное расписание занятий ===
По договоренности. Ориентировочно ВТ 16.40-18.10 (по четной неделе)