Wiki - Факультет компьютерных наук - Вклад [ru]

МОВС Обработка и анализ больших массивов данных, BigData (ММОВС23, 5-6 модули)

2024-10-25T05:51:48Z

Sskrivosheev:

==О курсе==
Курс читается в 1-2 модулях 2024/2025 учебного года.

Для чего нужны платформы данных? Как бы это очевидно ни звучало, они нужны для принятия решений на основе данных. У бизнеса может быть бесконечное количество запросов: как изменить цену товаров, в каком месте разместить магазин, кому показать рекламу, куда сдвинуть кнопку на сайте и т.д. Эти задачи могут решаться с помощью аналитики, построения дашбордов, сбора метрик, построения ML-моделей и т.д. Само по себе решение таких задач нетривиально, однако, это лишь верхушка айсберга.

Прежде, чем проводить какую-либо аналитику, данные нужно найти, загрузить в хранилище, проверить их качество, агрегировать, и на любом из этапов может возникнуть огромное количество проблем. Здесь и появляются платформы данных, которые предоставляют инфраструктуру и инструменты для загрузки, обработки, проверки и анализа данных, что в конечном счете значительно упрощает и ускоряет решение любых задач, связанных с данными.

В рамках курса вы познакомитесь с основными концепциями платформ данных, посмотрите из чего они состоят, какие бывают реализации, и запустите собственную платформу данных. Кроме того, на собранной платформе попрактикуетесь с организацией полного цикла работы с данными: от загрузки из источника до работы аналитика с этими данными. Вы узнаете, что такое Big Data, Data Warehouse, Data Lake, Data Governance, а также познакомитесь с технологиями, которые позволяют реализовать эти методологии и концепции. Особое внимание в курсе будет уделено таким технологиям, как Hadoop и Spark. Вы изучите компоненты Hadoop, архитектуру кластера и HDFS, научитесь развертывать Hadoop и выполнять базовые операции. Также вы изучите архитектуру и назначение Spark и научитесь работать с Spark DataFrame API и Spark SQL API.

==Контакты==

Преподаватели:
* Саттар Гюльмамедов — PO DataOps ETL
* Максим Бартенев — СТО DataOps Platform Центра Big Data МТС

==Материалы курса==

Ссылка на курс на [https://my.mts-link.ru/course-info/827093 MTS Link]

{| class="wikitable"
|-
! Занятие !! Тема !! Практическое задание
|-
| style="background:#eaecf0;" | '''1''' || Причины появления инструментов обработки больших данных. Какие задачи они решают ||
|-
| style="background:#eaecf0;" | '''2''' || Компоненты Hadoop и архитектура кластера ||
|-
| style="background:#eaecf0;" | '''3''' || HDFS (Hadoop Distributed Filesystem) ||
|-
| style="background:#eaecf0;" | '''4''' || Развертывание Hadoop и базовые операции ФС || Развертывание Hadoop
|-
| style="background:#eaecf0;" | '''5''' || Парадигма MapReduce ||
|-
| style="background:#eaecf0;" | '''6''' || YARN || Развертывание кластера YARN и выполнение распределенного MapReduce
|-
| style="background:#eaecf0;" | '''7''' || Форматы файлов ||
|-
| style="background:#eaecf0;" | '''8''' || Другие проекты экосистемы Hadoop ||
|-
| style="background:#eaecf0;" | '''9''' || Hive: назначение, структура, компоненты ||
|-
| style="background:#eaecf0;" | '''10''' || Развертывание Hive и операции с ним || Развертывание Hive
|-
| style="background:#eaecf0;" | '''11''' || HiveQL и организация данных ||
|-
| style="background:#eaecf0;" | '''12''' || Сравнение с традиционными RDBMS ||
|-
| style="background:#eaecf0;" | '''13''' || Spark, архитектура и назначение ||
|-
| style="background:#eaecf0;" | '''14''' || Развертывание кластера Spark || Развертывание кластера Spark
|-
| style="background:#eaecf0;" | '''15''' || Spark DataFrame API ||
|-
| style="background:#eaecf0;" | '''16''' || Spark SQL API ||
|-
| style="background:#eaecf0;" | '''17''' || Взаимодействие между компонентами Hadoop ||
|-
| style="background:#eaecf0;" | '''18''' || Средства организации ETL-процессов ||
|-
| style="background:#eaecf0;" | '''19''' || DBT, Prefect, NiFi || Развертывание Airflow, реализация ETL процесса с его применением
|-
| style="background:#eaecf0;" | '''20''' || Сравнение различных инструментов ETL ||
|-
| style="background:#eaecf0;" | '''21''' || Способы организации хранилищ: DataLake DataWarehouse, Lakehouse ||
|-
| style="background:#eaecf0;" | '''22''' || Greenplum || Работа с Greenplum
|-
| style="background:#eaecf0;" | '''23''' || Clickhouse ||
|-
| style="background:#eaecf0;" | '''24''' || Kafka ||
|-
| style="background:#eaecf0;" | '''25''' || DQ || Работа с DQ
|-
| style="background:#eaecf0;" | '''26''' || DataGov ||
|-
| style="background:#eaecf0;" | '''27''' || BI || Работа с BI
|-
|}

==Формула оценивания==

Оценка = Средний балл по всем практическим заданиям

== Литература ==
* «Большие данные. Революция, которая изменит то, как мы живем, работаем и мыслим», Виктор Майер-Шенбергер, Кеннет Кукьер
* «Работа с данными в любой сфере. Как выйти на новый уровень, используя аналитику», Кирилл Еременко
* «Data Science for Business: What You Need to Know about Data Mining and Data-Analytic Thinking» by Foster Provost and Tom Fawcett
* «Data Virtualization for Business Intelligence Systems: Revolutionizing Data Integration for Data Warehouses» by Rick van der Lans
* «Большие данные в действии», Мартин Клеппманн
* «Мастерство визуализации данных», Ольга Базалева
* «The Data Warehouse Toolkit: The Definitive Guide to Dimensional Modeling» by Ralph Kimball and Margy Ross
* «Information Dashboard Design: Displaying Data for At-a-Glance Monitoring» by Stephen Few

МОВС Обработка и анализ больших массивов данных, BigData (ММОВС23, 5-6 модули)

2024-10-25T05:51:00Z

Sskrivosheev:

==О курсе==
Курс читается в 1-2 модулях 2024/2025 учебного года.

Для чего нужны платформы данных? Как бы это очевидно ни звучало, они нужны для принятия решений на основе данных. У бизнеса может быть бесконечное количество запросов: как изменить цену товаров, в каком месте разместить магазин, кому показать рекламу, куда сдвинуть кнопку на сайте и т.д. Эти задачи могут решаться с помощью аналитики, построения дашбордов, сбора метрик, построения ML-моделей и т.д. Само по себе решение таких задач нетривиально, однако, это лишь верхушка айсберга.

Прежде, чем проводить какую-либо аналитику, данные нужно найти, загрузить в хранилище, проверить их качество, агрегировать, и на любом из этапов может возникнуть огромное количество проблем. Здесь и появляются платформы данных, которые предоставляют инфраструктуру и инструменты для загрузки, обработки, проверки и анализа данных, что в конечном счете значительно упрощает и ускоряет решение любых задач, связанных с данными.

В рамках курса вы познакомитесь с основными концепциями платформ данных, посмотрите из чего они состоят, какие бывают реализации, и запустите собственную платформу данных. Кроме того, на собранной платформе попрактикуетесь с организацией полного цикла работы с данными: от загрузки из источника до работы аналитика с этими данными. Вы узнаете, что такое Big Data, Data Warehouse, Data Lake, Data Governance, а также познакомитесь с технологиями, которые позволяют реализовать эти методологии и концепции. Особое внимание в курсе будет уделено таким технологиям, как Hadoop и Spark. Вы изучите компоненты Hadoop, архитектуру кластера и HDFS, научитесь развертывать Hadoop и выполнять базовые операции. Также вы изучите архитектуру и назначение Spark и научитесь работать с Spark DataFrame API и Spark SQL API.

==Контакты==

Преподаватели:

Саттар Гюльмамедов — PO DataOps ETL

Максим Бартенев — СТО DataOps Platform Центра Big Data МТС

==Материалы курса==

Ссылка на курс на [https://my.mts-link.ru/course-info/827093 MTS Link]

{| class="wikitable"
|-
! Занятие !! Тема !! Практическое задание
|-
| style="background:#eaecf0;" | '''1''' || Причины появления инструментов обработки больших данных. Какие задачи они решают ||
|-
| style="background:#eaecf0;" | '''2''' || Компоненты Hadoop и архитектура кластера ||
|-
| style="background:#eaecf0;" | '''3''' || HDFS (Hadoop Distributed Filesystem) ||
|-
| style="background:#eaecf0;" | '''4''' || Развертывание Hadoop и базовые операции ФС || Развертывание Hadoop
|-
| style="background:#eaecf0;" | '''5''' || Парадигма MapReduce ||
|-
| style="background:#eaecf0;" | '''6''' || YARN || Развертывание кластера YARN и выполнение распределенного MapReduce
|-
| style="background:#eaecf0;" | '''7''' || Форматы файлов ||
|-
| style="background:#eaecf0;" | '''8''' || Другие проекты экосистемы Hadoop ||
|-
| style="background:#eaecf0;" | '''9''' || Hive: назначение, структура, компоненты ||
|-
| style="background:#eaecf0;" | '''10''' || Развертывание Hive и операции с ним || Развертывание Hive
|-
| style="background:#eaecf0;" | '''11''' || HiveQL и организация данных ||
|-
| style="background:#eaecf0;" | '''12''' || Сравнение с традиционными RDBMS ||
|-
| style="background:#eaecf0;" | '''13''' || Spark, архитектура и назначение ||
|-
| style="background:#eaecf0;" | '''14''' || Развертывание кластера Spark || Развертывание кластера Spark
|-
| style="background:#eaecf0;" | '''15''' || Spark DataFrame API ||
|-
| style="background:#eaecf0;" | '''16''' || Spark SQL API ||
|-
| style="background:#eaecf0;" | '''17''' || Взаимодействие между компонентами Hadoop ||
|-
| style="background:#eaecf0;" | '''18''' || Средства организации ETL-процессов ||
|-
| style="background:#eaecf0;" | '''19''' || DBT, Prefect, NiFi || Развертывание Airflow, реализация ETL процесса с его применением
|-
| style="background:#eaecf0;" | '''20''' || Сравнение различных инструментов ETL ||
|-
| style="background:#eaecf0;" | '''21''' || Способы организации хранилищ: DataLake DataWarehouse, Lakehouse ||
|-
| style="background:#eaecf0;" | '''22''' || Greenplum || Работа с Greenplum
|-
| style="background:#eaecf0;" | '''23''' || Clickhouse ||
|-
| style="background:#eaecf0;" | '''24''' || Kafka ||
|-
| style="background:#eaecf0;" | '''25''' || DQ || Работа с DQ
|-
| style="background:#eaecf0;" | '''26''' || DataGov ||
|-
| style="background:#eaecf0;" | '''27''' || BI || Работа с BI
|-
|}

==Формула оценивания==

Оценка = Средний балл по всем практическим заданиям

== Литература ==
* «Большие данные. Революция, которая изменит то, как мы живем, работаем и мыслим», Виктор Майер-Шенбергер, Кеннет Кукьер
* «Работа с данными в любой сфере. Как выйти на новый уровень, используя аналитику», Кирилл Еременко
* «Data Science for Business: What You Need to Know about Data Mining and Data-Analytic Thinking» by Foster Provost and Tom Fawcett
* «Data Virtualization for Business Intelligence Systems: Revolutionizing Data Integration for Data Warehouses» by Rick van der Lans
* «Большие данные в действии», Мартин Клеппманн
* «Мастерство визуализации данных», Ольга Базалева
* «The Data Warehouse Toolkit: The Definitive Guide to Dimensional Modeling» by Ralph Kimball and Margy Ross
* «Information Dashboard Design: Displaying Data for At-a-Glance Monitoring» by Stephen Few

МОВС Обработка и анализ больших массивов данных, BigData (ММОВС23, 5-6 модули)

2024-10-25T05:48:40Z

Sskrivosheev:

==О курсе==
Курс читается в 1-2 модулях 2024/2025 учебного года.

Для чего нужны платформы данных? Как бы это очевидно ни звучало, они нужны для принятия решений на основе данных. У бизнеса может быть бесконечное количество запросов: как изменить цену товаров, в каком месте разместить магазин, кому показать рекламу, куда сдвинуть кнопку на сайте и т.д. Эти задачи могут решаться с помощью аналитики, построения дашбордов, сбора метрик, построения ML-моделей и т.д. Само по себе решение таких задач нетривиально, однако, это лишь верхушка айсберга.

Прежде, чем проводить какую-либо аналитику, данные нужно найти, загрузить в хранилище, проверить их качество, агрегировать, и на любом из этапов может возникнуть огромное количество проблем. Здесь и появляются платформы данных, которые предоставляют инфраструктуру и инструменты для загрузки, обработки, проверки и анализа данных, что в конечном счете значительно упрощает и ускоряет решение любых задач, связанных с данными.

В рамках курса вы познакомитесь с основными концепциями платформ данных, посмотрите из чего они состоят, какие бывают реализации, и запустите собственную платформу данных. Кроме того, на собранной платформе попрактикуетесь с организацией полного цикла работы с данными: от загрузки из источника до работы аналитика с этими данными. Вы узнаете, что такое Big Data, Data Warehouse, Data Lake, Data Governance, а также познакомитесь с технологиями, которые позволяют реализовать эти методологии и концепции. Особое внимание в курсе будет уделено таким технологиям, как Hadoop и Spark. Вы изучите компоненты Hadoop, архитектуру кластера и HDFS, научитесь развертывать Hadoop и выполнять базовые операции. Также вы изучите архитектуру и назначение Spark и научитесь работать с Spark DataFrame API и Spark SQL API.

==Контакты==

Преподаватели:

Саттар Гюльмамедов — PO DataOps ETL

Максим Бартенев — СТО DataOps Platform Центра Big Data МТС

==Материалы курса==

Ссылка на курс на [https://my.mts-link.ru/course-info/827093 MTS Link]

{| class="wikitable"
|-
! Занятие !! Тема !! Практическое задание
|-
| style="background:#eaecf0;" | '''1''' || Причины появления инструментов обработки больших данных. Какие задачи они решают ||
|-
| style="background:#eaecf0;" | '''2''' || Компоненты Hadoop и архитектура кластера ||
|-
| style="background:#eaecf0;" | '''3''' || HDFS (Hadoop Distributed Filesystem) ||
|-
| style="background:#eaecf0;" | '''4''' || Развертывание Hadoop и базовые операции ФС || Развертывание Hadoop
|-
| style="background:#eaecf0;" | '''5''' || Парадигма MapReduce ||
|-
| style="background:#eaecf0;" | '''6''' || YARN || Развертывание кластера YARN и выполнение распределенного MapReduce
|-
| style="background:#eaecf0;" | '''7''' || Форматы файлов ||
|-
| style="background:#eaecf0;" | '''8''' || Другие проекты экосистемы Hadoop ||
|-
| style="background:#eaecf0;" | '''9''' || Hive: назначение, структура, компоненты ||
|-
| style="background:#eaecf0;" | '''10''' || Развертывание Hive и операции с ним || Развертывание Hive
|-
| style="background:#eaecf0;" | '''11''' || HiveQL и организация данных ||
|-
| style="background:#eaecf0;" | '''12''' || Сравнение с традиционными RDBMS ||
|-
| style="background:#eaecf0;" | '''13''' || Spark, архитектура и назначение ||
|-
| style="background:#eaecf0;" | '''14''' || Развертывание кластера Spark || Развертывание кластера Spark
|-
| style="background:#eaecf0;" | '''15''' || Spark DataFrame API ||
|-
| style="background:#eaecf0;" | '''16''' || Spark SQL API ||
|-
| style="background:#eaecf0;" | '''17''' || Взаимодействие между компонентами Hadoop ||
|-
| style="background:#eaecf0;" | '''18''' || Средства организации ETL-процессов ||
|-
| style="background:#eaecf0;" | '''19''' || DBT, Prefect, NiFi || Развертывание Airflow, реализация ETL процесса с его применением
|-
| style="background:#eaecf0;" | '''20''' || Сравнение различных инструментов ETL ||
|-
| style="background:#eaecf0;" | '''21''' || Способы организации хранилищ: DataLake DataWarehouse, Lakehouse ||
|-
| style="background:#eaecf0;" | '''22''' || Greenplum || Работа с Greenplum
|-
| style="background:#eaecf0;" | '''23''' || Clickhouse ||
|-
| style="background:#eaecf0;" | '''24''' || Kafka ||
|-
| style="background:#eaecf0;" | '''25''' || DQ || Работа с DQ
|-
| style="background:#eaecf0;" | '''26''' || DataGov ||
|-
| style="background:#eaecf0;" | '''27''' || BI || Работа с BI
|-
|}

==Формула оценивания==

Оценка = Средний балл по всем практическим заданиям

== Литература ==

МОВС Обработка и анализ больших массивов данных, BigData (ММОВС23, 5-6 модули)

2024-10-25T05:44:02Z

Sskrivosheev:

==О курсе==
Курс читается в 1-2 модулях 2024/2025 учебного года.

Для чего нужны платформы данных? Как бы это очевидно ни звучало, они нужны для принятия решений на основе данных. У бизнеса может быть бесконечное количество запросов: как изменить цену товаров, в каком месте разместить магазин, кому показать рекламу, куда сдвинуть кнопку на сайте и т.д. Эти задачи могут решаться с помощью аналитики, построения дашбордов, сбора метрик, построения ML-моделей и т.д. Само по себе решение таких задач нетривиально, однако, это лишь верхушка айсберга.

Прежде, чем проводить какую-либо аналитику, данные нужно найти, загрузить в хранилище, проверить их качество, агрегировать, и на любом из этапов может возникнуть огромное количество проблем. Здесь и появляются платформы данных, которые предоставляют инфраструктуру и инструменты для загрузки, обработки, проверки и анализа данных, что в конечном счете значительно упрощает и ускоряет решение любых задач, связанных с данными.

В рамках курса вы познакомитесь с основными концепциями платформ данных, посмотрите из чего они состоят, какие бывают реализации, и запустите собственную платформу данных. Кроме того, на собранной платформе попрактикуетесь с организацией полного цикла работы с данными: от загрузки из источника до работы аналитика с этими данными. Вы узнаете, что такое Big Data, Data Warehouse, Data Lake, Data Governance, а также познакомитесь с технологиями, которые позволяют реализовать эти методологии и концепции. Особое внимание в курсе будет уделено таким технологиям, как Hadoop и Spark. Вы изучите компоненты Hadoop, архитектуру кластера и HDFS, научитесь развертывать Hadoop и выполнять базовые операции. Также вы изучите архитектуру и назначение Spark и научитесь работать с Spark DataFrame API и Spark SQL API.

==Контакты==

Преподаватели:

Саттар Гюльмамедов — PO DataOps ETL

Максим Бартенев — СТО DataOps Platform Центра Big Data МТС

==Материалы курса==

Ссылка на курс на [https://my.mts-link.ru/course-info/827093 MTS Link]

{| class="wikitable"
|-
! Занятие !! Тема !! Практическое задание
|-
| style="background:#eaecf0;" | '''1''' || Причины появления инструментов обработки больших данных. Какие задачи они решают ||
|-
| style="background:#eaecf0;" | '''2''' || Компоненты Hadoop и архитектура кластера ||
|-
| style="background:#eaecf0;" | '''3''' || HDFS (Hadoop Distributed Filesystem) ||
|-
| style="background:#eaecf0;" | '''4''' || Развертывание Hadoop и базовые операции ФС ||
|-
| style="background:#eaecf0;" | '''5''' || Парадигма MapReduce ||
|-
| style="background:#eaecf0;" | '''6''' || Web-service ||
|-
| style="background:#eaecf0;" | '''7''' || YARN ||
|-
| style="background:#eaecf0;" | '''8''' || Yandex ||
|-
| style="background:#eaecf0;" | '''9''' || Yandex ||
|-
| style="background:#eaecf0;" | '''10''' || Yandex ||
|-
| style="background:#eaecf0;" | '''11''' || Yandex ||
|-
| style="background:#eaecf0;" | '''12''' || Yandex ||
|-
| style="background:#eaecf0;" | '''13''' || Yandex ||
|-
| style="background:#eaecf0;" | '''14''' || Yandex ||
|-
| style="background:#eaecf0;" | '''15''' || Yandex ||
|-
| style="background:#eaecf0;" | '''16''' || Yandex ||
|-
| style="background:#eaecf0;" | '''17''' || Yandex ||
|-
| style="background:#eaecf0;" | '''18''' || Yandex ||
|-
| style="background:#eaecf0;" | '''19''' || Yandex ||
|-
| style="background:#eaecf0;" | '''20''' || Yandex ||
|-
| style="background:#eaecf0;" | '''21''' || Yandex ||
|-
| style="background:#eaecf0;" | '''22''' || Yandex ||
|-
| style="background:#eaecf0;" | '''23''' || Yandex ||
|-
| style="background:#eaecf0;" | '''24''' || Yandex ||
|-
| style="background:#eaecf0;" | '''25''' || Yandex ||
|-
| style="background:#eaecf0;" | '''26''' || Yandex ||
|-
| style="background:#eaecf0;" | '''27''' || Yandex ||
|-
|}

МОВС Обработка и анализ больших массивов данных, BigData (ММОВС23, 5-6 модули)

2024-10-25T05:32:50Z

Sskrivosheev:

==О курсе==

Для чего нужны платформы данных? Как бы это очевидно ни звучало, они нужны для принятия решений на основе данных. У бизнеса может быть бесконечное количество запросов: как изменить цену товаров, в каком месте разместить магазин, кому показать рекламу, куда сдвинуть кнопку на сайте и т.д. Эти задачи могут решаться с помощью аналитики, построения дашбордов, сбора метрик, построения ML-моделей и т.д. Само по себе решение таких задач нетривиально, однако, это лишь верхушка айсберга.

Прежде, чем проводить какую-либо аналитику, данные нужно найти, загрузить в хранилище, проверить их качество, агрегировать, и на любом из этапов может возникнуть огромное количество проблем. Здесь и появляются платформы данных, которые предоставляют инфраструктуру и инструменты для загрузки, обработки, проверки и анализа данных, что в конечном счете значительно упрощает и ускоряет решение любых задач, связанных с данными.

В рамках курса вы познакомитесь с основными концепциями платформ данных, посмотрите из чего они состоят, какие бывают реализации, и запустите собственную платформу данных. Кроме того, на собранной платформе попрактикуетесь с организацией полного цикла работы с данными: от загрузки из источника до работы аналитика с этими данными. Вы узнаете, что такое Big Data, Data Warehouse, Data Lake, Data Governance, а также познакомитесь с технологиями, которые позволяют реализовать эти методологии и концепции. Особое внимание в курсе будет уделено таким технологиям, как Hadoop и Spark. Вы изучите компоненты Hadoop, архитектуру кластера и HDFS, научитесь развертывать Hadoop и выполнять базовые операции. Также вы изучите архитектуру и назначение Spark и научитесь работать с Spark DataFrame API и Spark SQL API.