Wiki - Факультет компьютерных наук - Вклад [ru]

Методы и системы обработки больших данных (осень 2018)

2018-10-11T07:28:17Z

Akhtyamovpavel: /* Программа занятий */

'''Лектор''': Алексей Драль, Александр Штохов

'''Семинаристы''': Павел Ахтямов, Артем Козлов, Александр Штофов

'''Контакты''': по всем организационным вопросам просьба писать на почту '''big_data_hse_fall_2018@bigdatateam.org'''.

У курса есть чат в Telegram. Объявления по курсу вывешиваются в чате!

==Отчетность по курсу и критерии оценивания==

В курсе предусмотрены следующие отчетные мероприятия:
* тест на проверку знаний по материалам лекции и семинара ('''5 баллов''' за каждый тест) (13 недель)
* практическое домашнее задание ('''50 баллов x (количество недель на задание)''' за каждое домашнее задание) (13 недель)

Итоговая оценка складывается следующим образом:

'''Score = (HW_Score + Test_Score) / 50''', где

* '''HW_Score''' - суммарное количество баллов за домашние задания;
* '''Test_Score''' - суммарное количество баллов за тесты.

Таблица с оценками доступна по ссылке: https://rebrand.ly/big_data_hse_fall_2018_grades

==Программа занятий==

{| class="wikitable"
|-
! '''Неделя''' !! '''Тип''' !! '''Дата''' !! '''Название''' !! '''Материалы'''
|-
| 1 || 06.09 || Лекция || Понятие "большие данные". Постановка задачи обработки и хранения больших данных. Примеры применения больших данных в IT индустрии. Основные проблемы в работе распределенных систем. Виды отказов узлов, связей между узлами. Устройство GFS, HDFS. Процесс восстановления HDFS. || [https://rebrand.ly/big_data_hse_fall_2018_lecture_01 презентация]
|-
| 1 || 06.09 || Семинар || Устройство HDFS кластера. HDFS CLI (интерфейс командной строки HDFS). Пользовательский интерфейс NameNode. Решение задач на вычисление объемов вычислительных ресурсов кластера. ||
|-
| 2 || 20.09 || Лекция || MapReduce. Операции Map, Reduce. Distributed Shell как пример MapReduce задачи. Формальная модель парадигмы MapReduce. Задача подсчета слов в датасете (Word Count) Обеспечение отказоустойчивости в MapReduce. Сравнение MapReduce v1 и YARN. История развития MapReduce. MapReduce Streaming на примере Python. Устройство Distributed Cache. Переменные окружения в MapReduce. Использование счетчиков для подсчета статистик. Отслеживание прогресса выполнения задач через JobTracker, истории выполнения задач через HistoryServer. Процесс тестирования MapReduce задач. || [https://rebrand.ly/big_data_hse_fall_2018_lecture_2 презентация]
|-
| 2 || 20.09 || Семинар || Решение задач MapReduce Streaming: подсчет количества слов, стоп-слов в Википедии, парсинг логов Apache. Distributed Cache. Метод Монте-Карло и большие данные. Отладка MapReduce задач. || [https://piazza.com/class/jlpi5xisy065wj?cid=32 конспект]
|-
| 3 || 27.09 || Лекция || Advanced MapReduce. Расширение функциональности MapReduce: Combiner, Partitioner, Comparator. Использование Combiner для подсчета статистик: поиск среднего значения и медианы по ключу. Конфигурации Partitioner для агрегации биграмм и ip-адресов. Расширенные возможности сортировки при помощи Comparator. Передача данных и способы компрессии данных при выполнении MapReduce задач. Объединение датасетов: Map-Side Join, Reduce-Side Join. Расширенный контроль за порядком поступления данных: Secondary Sort. Интерфейс командной строки YARN: статус задачи, принудительное завершение вычислительных задач. Работа с неравномерно распределенными значениями ключей (Skew). Вычисление коэффициента ускорения работы MapReduce задач. ||
|-
| 3 || 27.09 || Семинар || Решение задач на MapSide Join, Reduce-Side Join. Использование объединений для вычисления аналитики сегментов рынка. || [https://piazza.com/class/jlpi5xisy065wj?cid=69 конспект]
|-
| 4 || 04.10 || Лекция || Hive: мотивация, языковая модель. Проблема смещения данных в обработке больших данных. Применение SQL в IT индустрии. Сравнение решений Hive и MapReduce на примере задач анализа логов. Практика SQL: агрегация данных, фильтрация данных, сортировка, объединение таблиц. Архитектура Hive: Metastore + Hadoop + HDFS. Язык определения данных в Hive (Hive DDL): типы таблиц, разделители. Язык управления данными в Hive (Hive DML): загрузка данных, перезапись данных, CTAS. Парсер данных SerDe. ||
|-
| 4 || 04.10 || Семинар || Работа с Hive: создание баз данных, таблиц. Работа с external таблицами, конструкция INSERT OVERWRITE для работы с external таблицами. Парсинг логов, задание типов в таблицах ||
|-
| 5 || 11.10 || Лекция || Hive, расширенные возможности. Hive View: особенности, преимущества и недостатки. Пользовательские функции (UDF), пользовательские агрегирующие функции (UDAF), пользовательские функции для генерации таблиц (UDTF). Hive Streaming. Hive Partitioning, Bucketing and Sampling. Особенности Join в Hive. Исправление проблемы смещения в Hive. Поколоночное хранение в Hive (RCFile, ORC, Parquet) || [https://rebrand.ly/big_data_hse_fall_2018_lecture_5 презентация]
|-
| 5 || 11.10 || Семинар || Hive, расширенные возможности. Бенчмарк ORC vs Textfile. Пользовательские функции (UDF), пользовательские функции для генерации таблиц (UDTF). Hive Streaming, сэмплирование данных || [https://piazza.com/class/jlpi5xisy065wj?cid=101 конспект]
|-
|}

==Домашние задания==

{| class="wikitable"
! '''#''' !! '''Тип задания''' !! '''Тема''' !! '''Дата выдачи''' !! '''Дедлайн''' !! '''Количество баллов''' !! '''Ссылка'''
|-
| 1 || Тест || HDFS || 13.09 || 19.09 23:59 || 5 || http://rebrand.ly/big_data_hse_fall_2018_quiz_1_Urgz1
|-
| 1 || Практическое задание || HDFS || 06.09 || 19.09 23:59 || 100 || http://rebrand.ly/big_data_hse_fall_2018_hw_1
|-
| 2 || Тест || MapReduce. Основы || 20.09 || 26.09 23:59 || 5 || https://rebrand.ly/big_data_hse_fall_2018_quiz_2_FMHq
|-
| 2 || Практическое задание || MapReduce. Основы || 20.09 || 26.09 23:59 || 50 || [https://piazza.com/class/jlpi5xisy065wj?cid=30 Задание]
|-
| 2 || Бонусная задача || MapReduce. Основы || 20.09 || 23.09 23:59 || 20 ||
|-
| 3 || Тест || MapReduce. Оптимизация || 27.09 || 03.10 23:59 || 5 || https://rebrand.ly/big_data_hse_fall_2018_quiz_3_oMku
|-
| 3 || Практическое задание || MapReduce. Объединения || 30.09 || 09.10 23:59 || 50 || [http://%20https://piazza.com/class/jlpi5xisy065wj?cid=72 Задание]
|-
| 4 || Тест || Hive 1 || 04.10 || 10.10 23:59 || 5 || [https://rebrand.ly/big_data_hse_fall_2018_quiz_4_wdOB Тест]
|-
| 4 || Практическое задание || Hive 1 || 07.10 || 15.10 23:59 || 50 ||
|-
|}

==Материалы==
1. Полные материалы лекций, семинаров и домашних заданий доступны по ссылке: http://rebrand.ly/big_data_hse_fall_2018_materials
2.

Методы и системы обработки больших данных (осень 2018)

2018-10-11T07:27:26Z

Akhtyamovpavel: /* Программа занятий */

'''Лектор''': Алексей Драль, Александр Штохов

'''Семинаристы''': Павел Ахтямов, Артем Козлов, Александр Штофов

'''Контакты''': по всем организационным вопросам просьба писать на почту '''big_data_hse_fall_2018@bigdatateam.org'''.

У курса есть чат в Telegram. Объявления по курсу вывешиваются в чате!

==Отчетность по курсу и критерии оценивания==

В курсе предусмотрены следующие отчетные мероприятия:
* тест на проверку знаний по материалам лекции и семинара ('''5 баллов''' за каждый тест) (13 недель)
* практическое домашнее задание ('''50 баллов x (количество недель на задание)''' за каждое домашнее задание) (13 недель)

Итоговая оценка складывается следующим образом:

'''Score = (HW_Score + Test_Score) / 50''', где

* '''HW_Score''' - суммарное количество баллов за домашние задания;
* '''Test_Score''' - суммарное количество баллов за тесты.

Таблица с оценками доступна по ссылке: https://rebrand.ly/big_data_hse_fall_2018_grades

==Программа занятий==

{| class="wikitable"
|-
! '''Неделя''' !! '''Тип''' !! '''Дата''' !! '''Название''' !! '''Материалы'''
|-
| 1 || 06.09 || Лекция || Понятие "большие данные". Постановка задачи обработки и хранения больших данных. Примеры применения больших данных в IT индустрии. Основные проблемы в работе распределенных систем. Виды отказов узлов, связей между узлами. Устройство GFS, HDFS. Процесс восстановления HDFS. || [https://rebrand.ly/big_data_hse_fall_2018_lecture_01 презентация]
|-
| 1 || 06.09 || Семинар || Устройство HDFS кластера. HDFS CLI (интерфейс командной строки HDFS). Пользовательский интерфейс NameNode. Решение задач на вычисление объемов вычислительных ресурсов кластера. ||
|-
| 2 || 20.09 || Лекция || MapReduce. Операции Map, Reduce. Distributed Shell как пример MapReduce задачи. Формальная модель парадигмы MapReduce. Задача подсчета слов в датасете (Word Count) Обеспечение отказоустойчивости в MapReduce. Сравнение MapReduce v1 и YARN. История развития MapReduce. MapReduce Streaming на примере Python. Устройство Distributed Cache. Переменные окружения в MapReduce. Использование счетчиков для подсчета статистик. Отслеживание прогресса выполнения задач через JobTracker, истории выполнения задач через HistoryServer. Процесс тестирования MapReduce задач. || [https://rebrand.ly/big_data_hse_fall_2018_lecture_2 презентация]
|-
| 2 || 20.09 || Семинар || Решение задач MapReduce Streaming: подсчет количества слов, стоп-слов в Википедии, парсинг логов Apache. Distributed Cache. Метод Монте-Карло и большие данные. Отладка MapReduce задач. || [https://piazza.com/class/jlpi5xisy065wj?cid=32 конспект]
|-
| 3 || 27.09 || Лекция || Advanced MapReduce. Расширение функциональности MapReduce: Combiner, Partitioner, Comparator. Использование Combiner для подсчета статистик: поиск среднего значения и медианы по ключу. Конфигурации Partitioner для агрегации биграмм и ip-адресов. Расширенные возможности сортировки при помощи Comparator. Передача данных и способы компрессии данных при выполнении MapReduce задач. Объединение датасетов: Map-Side Join, Reduce-Side Join. Расширенный контроль за порядком поступления данных: Secondary Sort. Интерфейс командной строки YARN: статус задачи, принудительное завершение вычислительных задач. Работа с неравномерно распределенными значениями ключей (Skew). Вычисление коэффициента ускорения работы MapReduce задач. ||
|-
| 3 || 27.09 || Семинар || Решение задач на MapSide Join, Reduce-Side Join. Использование объединений для вычисления аналитики сегментов рынка. || [https://piazza.com/class/jlpi5xisy065wj?cid=69 конспект]
|-
| 4 || 03.10 || Лекция || Hive: мотивация, языковая модель. Проблема смещения данных в обработке больших данных. Применение SQL в IT индустрии. Сравнение решений Hive и MapReduce на примере задач анализа логов. Практика SQL: агрегация данных, фильтрация данных, сортировка, объединение таблиц. Архитектура Hive: Metastore + Hadoop + HDFS. Язык определения данных в Hive (Hive DDL): типы таблиц, разделители. Язык управления данными в Hive (Hive DML): загрузка данных, перезапись данных, CTAS. Парсер данных SerDe. ||
|-
| 4 || 03.10 || Семинар || Работа с Hive: создание баз данных, таблиц. Работа с external таблицами, конструкция INSERT OVERWRITE для работы с external таблицами. Парсинг логов, задание типов в таблицах ||
|-
| 5 || 10.10 || Лекция || Hive, расширенные возможности. Hive View: особенности, преимущества и недостатки. Пользовательские функции (UDF), пользовательские агрегирующие функции (UDAF), пользовательские функции для генерации таблиц (UDTF). Hive Streaming. Hive Partitioning, Bucketing and Sampling. Особенности Join в Hive. Исправление проблемы смещения в Hive. Поколоночное хранение в Hive (RCFile, ORC, Parquet) || [https://rebrand.ly/big_data_hse_fall_2018_lecture_5 презентация]
|-
| 5 || 10.10 || Семинар || Hive, расширенные возможности. Бенчмарк ORC vs Textfile. Пользовательские функции (UDF), пользовательские функции для генерации таблиц (UDTF). Hive Streaming, сэмплирование данных || [https://piazza.com/class/jlpi5xisy065wj?cid=101 конспект]
|-
|}

==Домашние задания==

{| class="wikitable"
! '''#''' !! '''Тип задания''' !! '''Тема''' !! '''Дата выдачи''' !! '''Дедлайн''' !! '''Количество баллов''' !! '''Ссылка'''
|-
| 1 || Тест || HDFS || 13.09 || 19.09 23:59 || 5 || http://rebrand.ly/big_data_hse_fall_2018_quiz_1_Urgz1
|-
| 1 || Практическое задание || HDFS || 06.09 || 19.09 23:59 || 100 || http://rebrand.ly/big_data_hse_fall_2018_hw_1
|-
| 2 || Тест || MapReduce. Основы || 20.09 || 26.09 23:59 || 5 || https://rebrand.ly/big_data_hse_fall_2018_quiz_2_FMHq
|-
| 2 || Практическое задание || MapReduce. Основы || 20.09 || 26.09 23:59 || 50 || [https://piazza.com/class/jlpi5xisy065wj?cid=30 Задание]
|-
| 2 || Бонусная задача || MapReduce. Основы || 20.09 || 23.09 23:59 || 20 ||
|-
| 3 || Тест || MapReduce. Оптимизация || 27.09 || 03.10 23:59 || 5 || https://rebrand.ly/big_data_hse_fall_2018_quiz_3_oMku
|-
| 3 || Практическое задание || MapReduce. Объединения || 30.09 || 09.10 23:59 || 50 || [http://%20https://piazza.com/class/jlpi5xisy065wj?cid=72 Задание]
|-
| 4 || Тест || Hive 1 || 04.10 || 10.10 23:59 || 5 || [https://rebrand.ly/big_data_hse_fall_2018_quiz_4_wdOB Тест]
|-
| 4 || Практическое задание || Hive 1 || 07.10 || 15.10 23:59 || 50 ||
|-
|}

==Материалы==
1. Полные материалы лекций, семинаров и домашних заданий доступны по ссылке: http://rebrand.ly/big_data_hse_fall_2018_materials
2.

Методы и системы обработки больших данных (осень 2018)

2018-10-10T11:24:46Z

Akhtyamovpavel: /* Домашние задания */

'''Лектор''': Алексей Драль, Александр Штохов

'''Семинаристы''': Павел Ахтямов, Артем Козлов, Александр Штофов

'''Контакты''': по всем организационным вопросам просьба писать на почту '''big_data_hse_fall_2018@bigdatateam.org'''.

У курса есть чат в Telegram. Объявления по курсу вывешиваются в чате!

==Отчетность по курсу и критерии оценивания==

В курсе предусмотрены следующие отчетные мероприятия:
* тест на проверку знаний по материалам лекции и семинара ('''5 баллов''' за каждый тест) (13 недель)
* практическое домашнее задание ('''50 баллов x (количество недель на задание)''' за каждое домашнее задание) (13 недель)

Итоговая оценка складывается следующим образом:

'''Score = (HW_Score + Test_Score) / 50''', где

* '''HW_Score''' - суммарное количество баллов за домашние задания;
* '''Test_Score''' - суммарное количество баллов за тесты.

Таблица с оценками доступна по ссылке: https://rebrand.ly/big_data_hse_fall_2018_grades

==Программа занятий==

{| class="wikitable"
|-
! '''Неделя''' !! '''Тип''' !! '''Дата''' !! '''Название''' !! '''Материалы'''
|-
| 1 || 06.09 || Лекция || Понятие "большие данные". Постановка задачи обработки и хранения больших данных. Примеры применения больших данных в IT индустрии. Основные проблемы в работе распределенных систем. Виды отказов узлов, связей между узлами. Устройство GFS, HDFS. Процесс восстановления HDFS. || [https://rebrand.ly/big_data_hse_fall_2018_lecture_01 презентация]
|-
| 1 || 06.09 || Семинар || Устройство HDFS кластера. HDFS CLI (интерфейс командной строки HDFS). Пользовательский интерфейс NameNode. Решение задач на вычисление объемов вычислительных ресурсов кластера. ||
|-
| 2 || 20.09 || Лекция || MapReduce. Операции Map, Reduce. Distributed Shell как пример MapReduce задачи. Формальная модель парадигмы MapReduce. Задача подсчета слов в датасете (Word Count) Обеспечение отказоустойчивости в MapReduce. Сравнение MapReduce v1 и YARN. История развития MapReduce. MapReduce Streaming на примере Python. Устройство Distributed Cache. Переменные окружения в MapReduce. Использование счетчиков для подсчета статистик. Отслеживание прогресса выполнения задач через JobTracker, истории выполнения задач через HistoryServer. Процесс тестирования MapReduce задач. || [https://rebrand.ly/big_data_hse_fall_2018_lecture_2 презентация]
|-
| 2 || 20.09 || Семинар || Решение задач MapReduce Streaming: подсчет количества слов, стоп-слов в Википедии, парсинг логов Apache. Distributed Cache. Метод Монте-Карло и большие данные. Отладка MapReduce задач. || [https://piazza.com/class/jlpi5xisy065wj?cid=32 конспект]
|-
| 3 || 27.09 || Лекция || Advanced MapReduce. Расширение функциональности MapReduce: Combiner, Partitioner, Comparator. Использование Combiner для подсчета статистик: поиск среднего значения и медианы по ключу. Конфигурации Partitioner для агрегации биграмм и ip-адресов. Расширенные возможности сортировки при помощи Comparator. Передача данных и способы компрессии данных при выполнении MapReduce задач. Объединение датасетов: Map-Side Join, Reduce-Side Join. Расширенный контроль за порядком поступления данных: Secondary Sort. Интерфейс командной строки YARN: статус задачи, принудительное завершение вычислительных задач. Работа с неравномерно распределенными значениями ключей (Skew). Вычисление коэффициента ускорения работы MapReduce задач. ||
|-
| 3 || 27.09 || Семинар || Решение задач на MapSide Join, Reduce-Side Join. Использование объединений для вычисления аналитики сегментов рынка. || [https://piazza.com/class/jlpi5xisy065wj?cid=69 конспект]
|-
| 4 || 03.10 || Лекция || Hive: мотивация, языковая модель. Проблема смещения данных в обработке больших данных. Применение SQL в IT индустрии. Сравнение решений Hive и MapReduce на примере задач анализа логов. Практика SQL: агрегация данных, фильтрация данных, сортировка, объединение таблиц. Архитектура Hive: Metastore + Hadoop + HDFS. Язык определения данных в Hive (Hive DDL): типы таблиц, разделители. Язык управления данными в Hive (Hive DML): загрузка данных, перезапись данных, CTAS. Парсер данных SerDe. ||
|-
| 4 || 03.10 || Семинар || Работа с Hive: создание баз данных, таблиц. Работа с external таблицами, конструкция INSERT OVERWRITE для работы с external таблицами. Парсинг логов, задание типов в таблицах ||
|-
| 5 || 10.10 || Лекция || Hive, расширенные возможности. Hive View: особенности, преимущества и недостатки. Пользовательские функции (UDF), пользовательские агрегирующие функции (UDAF), пользовательские функции для генерации таблиц (UDTF). Hive Streaming. Hive Partitioning, Bucketing and Sampling. Особенности Join в Hive. Исправление проблемы смещения в Hive. Поколоночное хранение в Hive (RCFile, ORC, Parquet) ||
|-
| 5 || 10.10 || Семинар ||
|-
|}

==Домашние задания==

{| class="wikitable"
! '''#''' !! '''Тип задания''' !! '''Тема''' !! '''Дата выдачи''' !! '''Дедлайн''' !! '''Количество баллов''' !! '''Ссылка'''
|-
| 1 || Тест || HDFS || 13.09 || 19.09 23:59 || 5 || http://rebrand.ly/big_data_hse_fall_2018_quiz_1_Urgz1
|-
| 1 || Практическое задание || HDFS || 06.09 || 19.09 23:59 || 100 || http://rebrand.ly/big_data_hse_fall_2018_hw_1
|-
| 2 || Тест || MapReduce. Основы || 20.09 || 26.09 23:59 || 5 || https://rebrand.ly/big_data_hse_fall_2018_quiz_2_FMHq
|-
| 2 || Практическое задание || MapReduce. Основы || 20.09 || 26.09 23:59 || 50 || [https://piazza.com/class/jlpi5xisy065wj?cid=30 Задание]
|-
| 2 || Бонусная задача || MapReduce. Основы || 20.09 || 23.09 23:59 || 20 ||
|-
| 3 || Тест || MapReduce. Оптимизация || 27.09 || 03.10 23:59 || 5 || https://rebrand.ly/big_data_hse_fall_2018_quiz_3_oMku
|-
| 3 || Практическое задание || MapReduce. Объединения || 30.09 || 09.10 23:59 || 50 || [http://%20https://piazza.com/class/jlpi5xisy065wj?cid=72 Задание]
|-
| 4 || Тест || Hive 1 || 04.10 || 10.10 23:59 || 5 || [https://rebrand.ly/big_data_hse_fall_2018_quiz_4_wdOB Тест]
|-
| 4 || Практическое задание || Hive 1 || 07.10 || 15.10 23:59 || 50 ||
|-
|}

==Материалы==
1. Полные материалы лекций, семинаров и домашних заданий доступны по ссылке: http://rebrand.ly/big_data_hse_fall_2018_materials
2.

Методы и системы обработки больших данных (осень 2018)

2018-10-03T22:53:18Z

Akhtyamovpavel:

'''Лектор''': Алексей Драль, Александр Штохов

'''Семинаристы''': Павел Ахтямов, Артем Козлов, Александр Штофов

'''Контакты''': по всем организационным вопросам просьба писать на почту '''big_data_hse_fall_2018@bigdatateam.org'''.

У курса есть чат в Telegram. Объявления по курсу вывешиваются в чате!

==Отчетность по курсу и критерии оценивания==

В курсе предусмотрены следующие отчетные мероприятия:
* тест на проверку знаний по материалам лекции и семинара ('''5 баллов''' за каждый тест) (13 недель)
* практическое домашнее задание ('''50 баллов x (количество недель на задание)''' за каждое домашнее задание) (13 недель)

Итоговая оценка складывается следующим образом:

'''Score = (HW_Score + Test_Score) / 50''', где

* '''HW_Score''' - суммарное количество баллов за домашние задания;
* '''Test_Score''' - суммарное количество баллов за тесты.

Таблица с оценками доступна по ссылке: https://rebrand.ly/big_data_hse_fall_2018_grades

==Программа занятий==

{| class="wikitable"
|-
! '''Неделя''' !! '''Тип''' !! '''Дата''' !! '''Название''' !! '''Материалы'''
|-
| 1 || 06.09 || Лекция || Понятие "большие данные". Постановка задачи обработки и хранения больших данных. Примеры применения больших данных в IT индустрии. Основные проблемы в работе распределенных систем. Виды отказов узлов, связей между узлами. Устройство GFS, HDFS. Процесс восстановления HDFS. || [https://rebrand.ly/big_data_hse_fall_2018_lecture_01 презентация]
|-
| 1 || 06.09 || Семинар || Устройство HDFS кластера. HDFS CLI (интерфейс командной строки HDFS). Пользовательский интерфейс NameNode. Решение задач на вычисление объемов вычислительных ресурсов кластера. ||
|-
| 2 || 20.09 || Лекция || MapReduce. Операции Map, Reduce. Distributed Shell как пример MapReduce задачи. Формальная модель парадигмы MapReduce. Задача подсчета слов в датасете (Word Count) Обеспечение отказоустойчивости в MapReduce. Сравнение MapReduce v1 и YARN. История развития MapReduce. MapReduce Streaming на примере Python. Устройство Distributed Cache. Переменные окружения в MapReduce. Использование счетчиков для подсчета статистик. Отслеживание прогресса выполнения задач через JobTracker, истории выполнения задач через HistoryServer. Процесс тестирования MapReduce задач. || [https://rebrand.ly/big_data_hse_fall_2018_lecture_2 презентация]
|-
| 2 || 20.09 || Семинар || Решение задач MapReduce Streaming: подсчет количества слов, стоп-слов в Википедии, парсинг логов Apache. Distributed Cache. Метод Монте-Карло и большие данные. Отладка MapReduce задач. || [https://piazza.com/class/jlpi5xisy065wj?cid=32 конспект]
|-
| 3 || 27.09 || Лекция || Advanced MapReduce. Расширение функциональности MapReduce: Combiner, Partitioner, Comparator. Использование Combiner для подсчета статистик: поиск среднего значения и медианы по ключу. Конфигурации Partitioner для агрегации биграмм и ip-адресов. Расширенные возможности сортировки при помощи Comparator. Передача данных и способы компрессии данных при выполнении MapReduce задач. Объединение датасетов: Map-Side Join, Reduce-Side Join. Расширенный контроль за порядком поступления данных: Secondary Sort. Интерфейс командной строки YARN: статус задачи, принудительное завершение вычислительных задач. Работа с неравномерно распределенными значениями ключей (Skew). Вычисление коэффициента ускорения работы MapReduce задач. ||
|-
| 3 || 27.09 || Семинар || Решение задач на MapSide Join, Reduce-Side Join. Использование объединений для вычисления аналитики сегментов рынка. || [https://piazza.com/class/jlpi5xisy065wj?cid=69 конспект]
|-
| 4 || 03.10 || Лекция || Hive: мотивация, языковая модель. Проблема смещения данных в обработке больших данных. Применение SQL в IT индустрии. Сравнение решений Hive и MapReduce на примере задач анализа логов. Практика SQL: агрегация данных, фильтрация данных, сортировка, объединение таблиц. Архитектура Hive: Metastore + Hadoop + HDFS. Язык определения данных в Hive (Hive DDL): типы таблиц, разделители. Язык управления данными в Hive (Hive DML): загрузка данных, перезапись данных, CTAS. Парсер данных SerDe. ||
|-
| 4 || 03.10 || Семинар || Работа с Hive: создание баз данных, таблиц. Работа с external таблицами, конструкция INSERT OVERWRITE для работы с external таблицами. Парсинг логов, задание типов в таблицах ||
|-
| 5 || 10.10 || Лекция || Hive, расширенные возможности. Hive View: особенности, преимущества и недостатки. Пользовательские функции (UDF), пользовательские агрегирующие функции (UDAF), пользовательские функции для генерации таблиц (UDTF). Hive Streaming. Hive Partitioning, Bucketing and Sampling. Особенности Join в Hive. Исправление проблемы смещения в Hive. Поколоночное хранение в Hive (RCFile, ORC, Parquet) ||
|-
| 5 || 10.10 || Семинар ||
|-
|}

==Домашние задания==

{| class="wikitable"
! '''#''' !! '''Тип задания''' !! '''Тема''' !! '''Дата выдачи''' !! '''Дедлайн''' !! '''Количество баллов''' !! '''Ссылка'''
|-
| 1 || Тест || HDFS || 13.09 || 19.09 23:59 || 5 || http://rebrand.ly/big_data_hse_fall_2018_quiz_1_Urgz1
|-
| 1 || Практическое задание || HDFS || 06.09 || 19.09 23:59 || 100 || http://rebrand.ly/big_data_hse_fall_2018_hw_1
|-
| 2 || Тест || MapReduce. Основы || 20.09 || 26.09 23:59 || 5 || https://rebrand.ly/big_data_hse_fall_2018_quiz_2_FMHq
|-
| 2 || Практическое задание || MapReduce. Основы || 20.09 || 26.09 23:59 || 50 || [https://piazza.com/class/jlpi5xisy065wj?cid=30 Задание]
|-
| 2 || Бонусная задача || MapReduce. Основы || 20.09 || 23.09 23:59 || 20 ||
|-
| 3 || Тест || MapReduce. Оптимизация || 27.09 || 03.10 23:59 || 5 || https://rebrand.ly/big_data_hse_fall_2018_quiz_3_oMku
|-
| 3 || Практическое задание || MapReduce. Объединения || 30.09 || 07.10 23:59 || 50 || [http://%20https://piazza.com/class/jlpi5xisy065wj?cid=72 Задание]
|-
| 4 || Тест || Hive 1 || 04.10 || 10.10 23:59 || 5 || [https://rebrand.ly/big_data_hse_fall_2018_quiz_4_wdOB Тест]
|-
|}

==Материалы==
1. Полные материалы лекций, семинаров и домашних заданий доступны по ссылке: http://rebrand.ly/big_data_hse_fall_2018_materials
2.

Методы и системы обработки больших данных (осень 2018)

2018-10-03T22:53:01Z

Akhtyamovpavel: /* Программа занятий */

'''Лектор''': Алексей Драль, Александр Штохов

'''Семинаристы''': Павел Ахтямов, Артем Козлов

'''Контакты''': по всем организационным вопросам просьба писать на почту '''big_data_hse_fall_2018@bigdatateam.org'''.

У курса есть чат в Telegram. Объявления по курсу вывешиваются в чате!

==Отчетность по курсу и критерии оценивания==

В курсе предусмотрены следующие отчетные мероприятия:
* тест на проверку знаний по материалам лекции и семинара ('''5 баллов''' за каждый тест) (13 недель)
* практическое домашнее задание ('''50 баллов x (количество недель на задание)''' за каждое домашнее задание) (13 недель)

Итоговая оценка складывается следующим образом:

'''Score = (HW_Score + Test_Score) / 50''', где

* '''HW_Score''' - суммарное количество баллов за домашние задания;
* '''Test_Score''' - суммарное количество баллов за тесты.

Таблица с оценками доступна по ссылке: https://rebrand.ly/big_data_hse_fall_2018_grades

==Программа занятий==

{| class="wikitable"
|-
! '''Неделя''' !! '''Тип''' !! '''Дата''' !! '''Название''' !! '''Материалы'''
|-
| 1 || 06.09 || Лекция || Понятие "большие данные". Постановка задачи обработки и хранения больших данных. Примеры применения больших данных в IT индустрии. Основные проблемы в работе распределенных систем. Виды отказов узлов, связей между узлами. Устройство GFS, HDFS. Процесс восстановления HDFS. || [https://rebrand.ly/big_data_hse_fall_2018_lecture_01 презентация]
|-
| 1 || 06.09 || Семинар || Устройство HDFS кластера. HDFS CLI (интерфейс командной строки HDFS). Пользовательский интерфейс NameNode. Решение задач на вычисление объемов вычислительных ресурсов кластера. ||
|-
| 2 || 20.09 || Лекция || MapReduce. Операции Map, Reduce. Distributed Shell как пример MapReduce задачи. Формальная модель парадигмы MapReduce. Задача подсчета слов в датасете (Word Count) Обеспечение отказоустойчивости в MapReduce. Сравнение MapReduce v1 и YARN. История развития MapReduce. MapReduce Streaming на примере Python. Устройство Distributed Cache. Переменные окружения в MapReduce. Использование счетчиков для подсчета статистик. Отслеживание прогресса выполнения задач через JobTracker, истории выполнения задач через HistoryServer. Процесс тестирования MapReduce задач. || [https://rebrand.ly/big_data_hse_fall_2018_lecture_2 презентация]
|-
| 2 || 20.09 || Семинар || Решение задач MapReduce Streaming: подсчет количества слов, стоп-слов в Википедии, парсинг логов Apache. Distributed Cache. Метод Монте-Карло и большие данные. Отладка MapReduce задач. || [https://piazza.com/class/jlpi5xisy065wj?cid=32 конспект]
|-
| 3 || 27.09 || Лекция || Advanced MapReduce. Расширение функциональности MapReduce: Combiner, Partitioner, Comparator. Использование Combiner для подсчета статистик: поиск среднего значения и медианы по ключу. Конфигурации Partitioner для агрегации биграмм и ip-адресов. Расширенные возможности сортировки при помощи Comparator. Передача данных и способы компрессии данных при выполнении MapReduce задач. Объединение датасетов: Map-Side Join, Reduce-Side Join. Расширенный контроль за порядком поступления данных: Secondary Sort. Интерфейс командной строки YARN: статус задачи, принудительное завершение вычислительных задач. Работа с неравномерно распределенными значениями ключей (Skew). Вычисление коэффициента ускорения работы MapReduce задач. ||
|-
| 3 || 27.09 || Семинар || Решение задач на MapSide Join, Reduce-Side Join. Использование объединений для вычисления аналитики сегментов рынка. || [https://piazza.com/class/jlpi5xisy065wj?cid=69 конспект]
|-
| 4 || 03.10 || Лекция || Hive: мотивация, языковая модель. Проблема смещения данных в обработке больших данных. Применение SQL в IT индустрии. Сравнение решений Hive и MapReduce на примере задач анализа логов. Практика SQL: агрегация данных, фильтрация данных, сортировка, объединение таблиц. Архитектура Hive: Metastore + Hadoop + HDFS. Язык определения данных в Hive (Hive DDL): типы таблиц, разделители. Язык управления данными в Hive (Hive DML): загрузка данных, перезапись данных, CTAS. Парсер данных SerDe. ||
|-
| 4 || 03.10 || Семинар || Работа с Hive: создание баз данных, таблиц. Работа с external таблицами, конструкция INSERT OVERWRITE для работы с external таблицами. Парсинг логов, задание типов в таблицах ||
|-
| 5 || 10.10 || Лекция || Hive, расширенные возможности. Hive View: особенности, преимущества и недостатки. Пользовательские функции (UDF), пользовательские агрегирующие функции (UDAF), пользовательские функции для генерации таблиц (UDTF). Hive Streaming. Hive Partitioning, Bucketing and Sampling. Особенности Join в Hive. Исправление проблемы смещения в Hive. Поколоночное хранение в Hive (RCFile, ORC, Parquet) ||
|-
| 5 || 10.10 || Семинар ||
|-
|}

==Домашние задания==

{| class="wikitable"
! '''#''' !! '''Тип задания''' !! '''Тема''' !! '''Дата выдачи''' !! '''Дедлайн''' !! '''Количество баллов''' !! '''Ссылка'''
|-
| 1 || Тест || HDFS || 13.09 || 19.09 23:59 || 5 || http://rebrand.ly/big_data_hse_fall_2018_quiz_1_Urgz1
|-
| 1 || Практическое задание || HDFS || 06.09 || 19.09 23:59 || 100 || http://rebrand.ly/big_data_hse_fall_2018_hw_1
|-
| 2 || Тест || MapReduce. Основы || 20.09 || 26.09 23:59 || 5 || https://rebrand.ly/big_data_hse_fall_2018_quiz_2_FMHq
|-
| 2 || Практическое задание || MapReduce. Основы || 20.09 || 26.09 23:59 || 50 || [https://piazza.com/class/jlpi5xisy065wj?cid=30 Задание]
|-
| 2 || Бонусная задача || MapReduce. Основы || 20.09 || 23.09 23:59 || 20 ||
|-
| 3 || Тест || MapReduce. Оптимизация || 27.09 || 03.10 23:59 || 5 || https://rebrand.ly/big_data_hse_fall_2018_quiz_3_oMku
|-
| 3 || Практическое задание || MapReduce. Объединения || 30.09 || 07.10 23:59 || 50 || [http://%20https://piazza.com/class/jlpi5xisy065wj?cid=72 Задание]
|-
| 4 || Тест || Hive 1 || 04.10 || 10.10 23:59 || 5 || [https://rebrand.ly/big_data_hse_fall_2018_quiz_4_wdOB Тест]
|-
|}

==Материалы==
1. Полные материалы лекций, семинаров и домашних заданий доступны по ссылке: http://rebrand.ly/big_data_hse_fall_2018_materials
2.

Методы и системы обработки больших данных (осень 2018)

2018-10-03T22:50:51Z

Akhtyamovpavel: Test 4 added

'''Лектор''': Алексей Драль, Александр Штохов

'''Семинаристы''': Павел Ахтямов, Артем Козлов

'''Контакты''': по всем организационным вопросам просьба писать на почту '''big_data_hse_fall_2018@bigdatateam.org'''.

У курса есть чат в Telegram. Объявления по курсу вывешиваются в чате!

==Отчетность по курсу и критерии оценивания==

В курсе предусмотрены следующие отчетные мероприятия:
* тест на проверку знаний по материалам лекции и семинара ('''5 баллов''' за каждый тест) (13 недель)
* практическое домашнее задание ('''50 баллов x (количество недель на задание)''' за каждое домашнее задание) (13 недель)

Итоговая оценка складывается следующим образом:

'''Score = (HW_Score + Test_Score) / 50''', где

* '''HW_Score''' - суммарное количество баллов за домашние задания;
* '''Test_Score''' - суммарное количество баллов за тесты.

Таблица с оценками доступна по ссылке: https://rebrand.ly/big_data_hse_fall_2018_grades

==Программа занятий==

{| class="wikitable"
|-
! '''Неделя''' !! '''Дата''' !! '''Название''' !! '''Материалы'''
|-
| 1 || 06.09 || Лекция: Понятие "большие данные". Постановка задачи обработки и хранения больших данных. Примеры применения больших данных в IT индустрии. Основные проблемы в работе распределенных систем. Виды отказов узлов, связей между узлами. Устройство GFS, HDFS. Процесс восстановления HDFS. || [https://rebrand.ly/big_data_hse_fall_2018_lecture_01 презентация]
|-
| 1 || 06.09 || Семинар: Устройство HDFS кластера. HDFS CLI (интерфейс командной строки HDFS). Пользовательский интерфейс NameNode. Решение задач на вычисление объемов вычислительных ресурсов кластера. ||
|-
| 2 || 20.09 || Лекция: MapReduce. Операции Map, Reduce. Distributed Shell как пример MapReduce задачи. Формальная модель парадигмы MapReduce. Задача подсчета слов в датасете (Word Count) Обеспечение отказоустойчивости в MapReduce. Сравнение MapReduce v1 и YARN. История развития MapReduce. MapReduce Streaming на примере Python. Устройство Distributed Cache. Переменные окружения в MapReduce. Использование счетчиков для подсчета статистик. Отслеживание прогресса выполнения задач через JobTracker, истории выполнения задач через HistoryServer. Процесс тестирования MapReduce задач. || [https://rebrand.ly/big_data_hse_fall_2018_lecture_2 презентация]
|-
| 2 || 20.09 || Семинар: Решение задач MapReduce Streaming: подсчет количества слов, стоп-слов в Википедии, парсинг логов Apache. Distributed Cache. Метод Монте-Карло и большие данные. Отладка MapReduce задач. || [https://piazza.com/class/jlpi5xisy065wj?cid=32 конспект]
|-
| 3 || 27.09 || Лекция: Advanced MapReduce. Расширение функциональности MapReduce: Combiner, Partitioner, Comparator. Использование Combiner для подсчета статистик: поиск среднего значения и медианы по ключу. Конфигурации Partitioner для агрегации биграмм и ip-адресов. Расширенные возможности сортировки при помощи Comparator. Передача данных и способы компрессии данных при выполнении MapReduce задач. Объединение датасетов: Map-Side Join, Reduce-Side Join. Расширенный контроль за порядком поступления данных: Secondary Sort. Интерфейс командной строки YARN: статус задачи, принудительное завершение вычислительных задач. Работа с неравномерно распределенными значениями ключей (Skew). Вычисление коэффициента ускорения работы MapReduce задач. ||
|-
| 3 || 27.09 || Семинар: Решение задач на MapSide Join, Reduce-Side Join. Использование объединений для вычисления аналитики сегментов рынка. || [https://piazza.com/class/jlpi5xisy065wj?cid=69 конспект]
|-
| 4 || 03.10 || Лекция: Hive: мотивация, языковая модель. Проблема смещения данных в обработке больших данных. Применение SQL в IT индустрии. Сравнение решений Hive и MapReduce на примере задач анализа логов. Практика SQL: агрегация данных, фильтрация данных, сортировка, объединение таблиц. Архитектура Hive: Metastore + Hadoop + HDFS. Язык определения данных в Hive (Hive DDL): типы таблиц, разделители. Язык управления данными в Hive (Hive DML): загрузка данных, перезапись данных, CTAS. Парсер данных SerDe. ||
|-
| 4 || 03.10 || Семинар: ||
|-
| 5 || 10.10 || Лекция: Hive, расширенные возможности. Hive View: особенности, преимущества и недостатки. Пользовательские функции (UDF), пользовательские агрегирующие функции (UDAF), пользовательские функции для генерации таблиц (UDTF). Hive Streaming. Hive Partitioning, Bucketing and Sampling. Особенности Join в Hive. Исправление проблемы смещения в Hive. Поколоночное хранение в Hive (RCFile, ORC, Parquet) ||
|-
| 5 || 10.10 || Семинар: ||
|-
|}

==Домашние задания==

{| class="wikitable"
! '''#''' !! '''Тип задания''' !! '''Тема''' !! '''Дата выдачи''' !! '''Дедлайн''' !! '''Количество баллов''' !! '''Ссылка'''
|-
| 1 || Тест || HDFS || 13.09 || 19.09 23:59 || 5 || http://rebrand.ly/big_data_hse_fall_2018_quiz_1_Urgz1
|-
| 1 || Практическое задание || HDFS || 06.09 || 19.09 23:59 || 100 || http://rebrand.ly/big_data_hse_fall_2018_hw_1
|-
| 2 || Тест || MapReduce. Основы || 20.09 || 26.09 23:59 || 5 || https://rebrand.ly/big_data_hse_fall_2018_quiz_2_FMHq
|-
| 2 || Практическое задание || MapReduce. Основы || 20.09 || 26.09 23:59 || 50 || [https://piazza.com/class/jlpi5xisy065wj?cid=30 Задание]
|-
| 2 || Бонусная задача || MapReduce. Основы || 20.09 || 23.09 23:59 || 20 ||
|-
| 3 || Тест || MapReduce. Оптимизация || 27.09 || 03.10 23:59 || 5 || https://rebrand.ly/big_data_hse_fall_2018_quiz_3_oMku
|-
| 3 || Практическое задание || MapReduce. Объединения || 30.09 || 07.10 23:59 || 50 || [http://%20https://piazza.com/class/jlpi5xisy065wj?cid=72 Задание]
|-
| 4 || Тест || Hive 1 || 04.10 || 10.10 23:59 || 5 || [https://rebrand.ly/big_data_hse_fall_2018_quiz_4_wdOB Тест]
|-
|}

==Материалы==
1. Полные материалы лекций, семинаров и домашних заданий доступны по ссылке: http://rebrand.ly/big_data_hse_fall_2018_materials
2.

Методы и системы обработки больших данных (осень 2018)

2018-10-02T07:30:19Z

Akhtyamovpavel:

'''Лектор''': Алексей Драль, Александр Штохов

'''Семинаристы''': Павел Ахтямов, Артем Козлов

'''Контакты''': по всем организационным вопросам просьба писать на почту '''big_data_hse_fall_2018@bigdatateam.org'''.

У курса есть чат в Telegram. Объявления по курсу вывешиваются в чате!

==Отчетность по курсу и критерии оценивания==

В курсе предусмотрены следующие отчетные мероприятия:
* тест на проверку знаний по материалам лекции и семинара ('''5 баллов''' за каждый тест) (13 недель)
* практическое домашнее задание ('''50 баллов x (количество недель на задание)''' за каждое домашнее задание) (13 недель)

Итоговая оценка складывается следующим образом:

'''Score = (HW_Score + Test_Score) / 50''', где

* '''HW_Score''' - суммарное количество баллов за домашние задания;
* '''Test_Score''' - суммарное количество баллов за тесты.

Таблица с оценками доступна по ссылке: https://rebrand.ly/big_data_hse_fall_2018_grades

==Программа занятий==

{| class="wikitable"
|-
! '''Неделя''' !! '''Дата''' !! '''Название''' !! '''Материалы'''
|-
| 1 || 06.09 || Лекция: Понятие "большие данные". Постановка задачи обработки и хранения больших данных. Примеры применения больших данных в IT индустрии. Основные проблемы в работе распределенных систем. Виды отказов узлов, связей между узлами. Устройство GFS, HDFS. Процесс восстановления HDFS. || [https://rebrand.ly/big_data_hse_fall_2018_lecture_01 презентация]
|-
| 1 || 06.09 || Семинар: Устройство HDFS кластера. HDFS CLI (интерфейс командной строки HDFS). Пользовательский интерфейс NameNode. Решение задач на вычисление объемов вычислительных ресурсов кластера. ||
|-
| 2 || 20.09 || Лекция: MapReduce. Операции Map, Reduce. Distributed Shell как пример MapReduce задачи. Формальная модель парадигмы MapReduce. Задача подсчета слов в датасете (Word Count) Обеспечение отказоустойчивости в MapReduce. Сравнение MapReduce v1 и YARN. История развития MapReduce. MapReduce Streaming на примере Python. Устройство Distributed Cache. Переменные окружения в MapReduce. Использование счетчиков для подсчета статистик. Отслеживание прогресса выполнения задач через JobTracker, истории выполнения задач через HistoryServer. Процесс тестирования MapReduce задач. || [https://rebrand.ly/big_data_hse_fall_2018_lecture_2 презентация]
|-
| 2 || 20.09 || Семинар: Решение задач MapReduce Streaming: подсчет количества слов, стоп-слов в Википедии, парсинг логов Apache. Distributed Cache. Метод Монте-Карло и большие данные. Отладка MapReduce задач. || [https://piazza.com/class/jlpi5xisy065wj?cid=32 конспект]
|-
| 3 || 27.09 || Лекция: Advanced MapReduce. Расширение функциональности MapReduce: Combiner, Partitioner, Comparator. Использование Combiner для подсчета статистик: поиск среднего значения и медианы по ключу. Конфигурации Partitioner для агрегации биграмм и ip-адресов. Расширенные возможности сортировки при помощи Comparator. Передача данных и способы компрессии данных при выполнении MapReduce задач. Объединение датасетов: Map-Side Join, Reduce-Side Join. Расширенный контроль за порядком поступления данных: Secondary Sort. Интерфейс командной строки YARN: статус задачи, принудительное завершение вычислительных задач. Работа с неравномерно распределенными значениями ключей (Skew). Вычисление коэффициента ускорения работы MapReduce задач. ||
|-
| 3 || 27.09 || Семинар: Решение задач на MapSide Join, Reduce-Side Join. Использование объединений для вычисления аналитики сегментов рынка. || [https://piazza.com/class/jlpi5xisy065wj?cid=69 конспект]
|-
| 4 || 03.10 || Лекция: Hive: мотивация, языковая модель. Проблема смещения данных в обработке больших данных. Применение SQL в IT индустрии. Сравнение решений Hive и MapReduce на примере задач анализа логов. Практика SQL: агрегация данных, фильтрация данных, сортировка, объединение таблиц. Архитектура Hive: Metastore + Hadoop + HDFS. Язык определения данных в Hive (Hive DDL): типы таблиц, разделители. Язык управления данными в Hive (Hive DML): загрузка данных, перезапись данных, CTAS. Парсер данных SerDe. ||
|-
| 4 || 03.10 || Семинар: ||
|-
| 5 || 10.10 || Лекция: Hive, расширенные возможности. Hive View: особенности, преимущества и недостатки. Пользовательские функции (UDF), пользовательские агрегирующие функции (UDAF), пользовательские функции для генерации таблиц (UDTF). Hive Streaming. Hive Partitioning, Bucketing and Sampling. Особенности Join в Hive. Исправление проблемы смещения в Hive. Поколоночное хранение в Hive (RCFile, ORC, Parquet) ||
|-
| 5 || 10.10 || Семинар: ||
|-
|}

==Домашние задания==

{| class="wikitable"
! '''#''' !! '''Тип задания''' !! '''Тема''' !! '''Дата выдачи''' !! '''Дедлайн''' !! '''Количество баллов''' !! '''Ссылка'''
|-
| 1 || Тест || HDFS || 13.09 || 19.09 23:59 || 5 || http://rebrand.ly/big_data_hse_fall_2018_quiz_1_Urgz1
|-
| 1 || Практическое задание || HDFS || 06.09 || 19.09 23:59 || 100 || http://rebrand.ly/big_data_hse_fall_2018_hw_1
|-
| 2 || Тест || MapReduce. Основы || 20.09 || 26.09 23:59 || 5 || https://rebrand.ly/big_data_hse_fall_2018_quiz_2_FMHq
|-
| 2 || Практическое задание || MapReduce. Основы || 20.09 || 26.09 23:59 || 50 || [https://piazza.com/class/jlpi5xisy065wj?cid=30 Задание]
|-
| 2 || Бонусная задача || MapReduce. Основы || 20.09 || 23.09 23:59 || 20 ||
|-
| 3 || Тест || MapReduce. Оптимизация || 27.09 || 03.10 23:59 || 5 || https://rebrand.ly/big_data_hse_fall_2018_quiz_3_oMku
|-
| 3 || Практическое задание || MapReduce. Объединения || 30.09 || 07.10 23:59 || 50 || [http://%20https://piazza.com/class/jlpi5xisy065wj?cid=72 Задание]
|}

==Материалы==
1. Полные материалы лекций, семинаров и домашних заданий доступны по ссылке: http://rebrand.ly/big_data_hse_fall_2018_materials
2.

Методы и системы обработки больших данных (осень 2018)

2018-10-02T07:30:11Z

Akhtyamovpavel:

'''Лектор''': Алексей Драль, Александр Штофов

'''Семинаристы''': Павел Ахтямов, Артем Козлов

'''Контакты''': по всем организационным вопросам просьба писать на почту '''big_data_hse_fall_2018@bigdatateam.org'''.

У курса есть чат в Telegram. Объявления по курсу вывешиваются в чате!

==Отчетность по курсу и критерии оценивания==

В курсе предусмотрены следующие отчетные мероприятия:
* тест на проверку знаний по материалам лекции и семинара ('''5 баллов''' за каждый тест) (13 недель)
* практическое домашнее задание ('''50 баллов x (количество недель на задание)''' за каждое домашнее задание) (13 недель)

Итоговая оценка складывается следующим образом:

'''Score = (HW_Score + Test_Score) / 50''', где

* '''HW_Score''' - суммарное количество баллов за домашние задания;
* '''Test_Score''' - суммарное количество баллов за тесты.

Таблица с оценками доступна по ссылке: https://rebrand.ly/big_data_hse_fall_2018_grades

==Программа занятий==

{| class="wikitable"
|-
! '''Неделя''' !! '''Дата''' !! '''Название''' !! '''Материалы'''
|-
| 1 || 06.09 || Лекция: Понятие "большие данные". Постановка задачи обработки и хранения больших данных. Примеры применения больших данных в IT индустрии. Основные проблемы в работе распределенных систем. Виды отказов узлов, связей между узлами. Устройство GFS, HDFS. Процесс восстановления HDFS. || [https://rebrand.ly/big_data_hse_fall_2018_lecture_01 презентация]
|-
| 1 || 06.09 || Семинар: Устройство HDFS кластера. HDFS CLI (интерфейс командной строки HDFS). Пользовательский интерфейс NameNode. Решение задач на вычисление объемов вычислительных ресурсов кластера. ||
|-
| 2 || 20.09 || Лекция: MapReduce. Операции Map, Reduce. Distributed Shell как пример MapReduce задачи. Формальная модель парадигмы MapReduce. Задача подсчета слов в датасете (Word Count) Обеспечение отказоустойчивости в MapReduce. Сравнение MapReduce v1 и YARN. История развития MapReduce. MapReduce Streaming на примере Python. Устройство Distributed Cache. Переменные окружения в MapReduce. Использование счетчиков для подсчета статистик. Отслеживание прогресса выполнения задач через JobTracker, истории выполнения задач через HistoryServer. Процесс тестирования MapReduce задач. || [https://rebrand.ly/big_data_hse_fall_2018_lecture_2 презентация]
|-
| 2 || 20.09 || Семинар: Решение задач MapReduce Streaming: подсчет количества слов, стоп-слов в Википедии, парсинг логов Apache. Distributed Cache. Метод Монте-Карло и большие данные. Отладка MapReduce задач. || [https://piazza.com/class/jlpi5xisy065wj?cid=32 конспект]
|-
| 3 || 27.09 || Лекция: Advanced MapReduce. Расширение функциональности MapReduce: Combiner, Partitioner, Comparator. Использование Combiner для подсчета статистик: поиск среднего значения и медианы по ключу. Конфигурации Partitioner для агрегации биграмм и ip-адресов. Расширенные возможности сортировки при помощи Comparator. Передача данных и способы компрессии данных при выполнении MapReduce задач. Объединение датасетов: Map-Side Join, Reduce-Side Join. Расширенный контроль за порядком поступления данных: Secondary Sort. Интерфейс командной строки YARN: статус задачи, принудительное завершение вычислительных задач. Работа с неравномерно распределенными значениями ключей (Skew). Вычисление коэффициента ускорения работы MapReduce задач. ||
|-
| 3 || 27.09 || Семинар: Решение задач на MapSide Join, Reduce-Side Join. Использование объединений для вычисления аналитики сегментов рынка. || [https://piazza.com/class/jlpi5xisy065wj?cid=69 конспект]
|-
| 4 || 03.10 || Лекция: Hive: мотивация, языковая модель. Проблема смещения данных в обработке больших данных. Применение SQL в IT индустрии. Сравнение решений Hive и MapReduce на примере задач анализа логов. Практика SQL: агрегация данных, фильтрация данных, сортировка, объединение таблиц. Архитектура Hive: Metastore + Hadoop + HDFS. Язык определения данных в Hive (Hive DDL): типы таблиц, разделители. Язык управления данными в Hive (Hive DML): загрузка данных, перезапись данных, CTAS. Парсер данных SerDe. ||
|-
| 4 || 03.10 || Семинар: ||
|-
| 5 || 10.10 || Лекция: Hive, расширенные возможности. Hive View: особенности, преимущества и недостатки. Пользовательские функции (UDF), пользовательские агрегирующие функции (UDAF), пользовательские функции для генерации таблиц (UDTF). Hive Streaming. Hive Partitioning, Bucketing and Sampling. Особенности Join в Hive. Исправление проблемы смещения в Hive. Поколоночное хранение в Hive (RCFile, ORC, Parquet) ||
|-
| 5 || 10.10 || Семинар: ||
|-
|}

==Домашние задания==

{| class="wikitable"
! '''#''' !! '''Тип задания''' !! '''Тема''' !! '''Дата выдачи''' !! '''Дедлайн''' !! '''Количество баллов''' !! '''Ссылка'''
|-
| 1 || Тест || HDFS || 13.09 || 19.09 23:59 || 5 || http://rebrand.ly/big_data_hse_fall_2018_quiz_1_Urgz1
|-
| 1 || Практическое задание || HDFS || 06.09 || 19.09 23:59 || 100 || http://rebrand.ly/big_data_hse_fall_2018_hw_1
|-
| 2 || Тест || MapReduce. Основы || 20.09 || 26.09 23:59 || 5 || https://rebrand.ly/big_data_hse_fall_2018_quiz_2_FMHq
|-
| 2 || Практическое задание || MapReduce. Основы || 20.09 || 26.09 23:59 || 50 || [https://piazza.com/class/jlpi5xisy065wj?cid=30 Задание]
|-
| 2 || Бонусная задача || MapReduce. Основы || 20.09 || 23.09 23:59 || 20 ||
|-
| 3 || Тест || MapReduce. Оптимизация || 27.09 || 03.10 23:59 || 5 || https://rebrand.ly/big_data_hse_fall_2018_quiz_3_oMku
|-
| 3 || Практическое задание || MapReduce. Объединения || 30.09 || 07.10 23:59 || 50 || [http://%20https://piazza.com/class/jlpi5xisy065wj?cid=72 Задание]
|}

==Материалы==
1. Полные материалы лекций, семинаров и домашних заданий доступны по ссылке: http://rebrand.ly/big_data_hse_fall_2018_materials
2.

Методы и системы обработки больших данных (осень 2018)

2018-10-02T07:28:17Z

Akhtyamovpavel: План лекций 4 и 5

'''Лектор''': Алексей Драль

'''Семинаристы''': Павел Ахтямов, Артем Козлов

'''Контакты''': по всем организационным вопросам просьба писать на почту '''big_data_hse_fall_2018@bigdatateam.org'''.

У курса есть чат в Telegram. Объявления по курсу вывешиваются в чате!

==Отчетность по курсу и критерии оценивания==

В курсе предусмотрены следующие отчетные мероприятия:
* тест на проверку знаний по материалам лекции и семинара ('''5 баллов''' за каждый тест) (13 недель)
* практическое домашнее задание ('''50 баллов x (количество недель на задание)''' за каждое домашнее задание) (13 недель)

Итоговая оценка складывается следующим образом:

'''Score = (HW_Score + Test_Score) / 50''', где

* '''HW_Score''' - суммарное количество баллов за домашние задания;
* '''Test_Score''' - суммарное количество баллов за тесты.

Таблица с оценками доступна по ссылке: https://rebrand.ly/big_data_hse_fall_2018_grades

==Программа занятий==

{| class="wikitable"
|-
! '''Неделя''' !! '''Дата''' !! '''Название''' !! '''Материалы'''
|-
| 1 || 06.09 || Лекция: Понятие "большие данные". Постановка задачи обработки и хранения больших данных. Примеры применения больших данных в IT индустрии. Основные проблемы в работе распределенных систем. Виды отказов узлов, связей между узлами. Устройство GFS, HDFS. Процесс восстановления HDFS. || [https://rebrand.ly/big_data_hse_fall_2018_lecture_01 презентация]
|-
| 1 || 06.09 || Семинар: Устройство HDFS кластера. HDFS CLI (интерфейс командной строки HDFS). Пользовательский интерфейс NameNode. Решение задач на вычисление объемов вычислительных ресурсов кластера. ||
|-
| 2 || 20.09 || Лекция: MapReduce. Операции Map, Reduce. Distributed Shell как пример MapReduce задачи. Формальная модель парадигмы MapReduce. Задача подсчета слов в датасете (Word Count) Обеспечение отказоустойчивости в MapReduce. Сравнение MapReduce v1 и YARN. История развития MapReduce. MapReduce Streaming на примере Python. Устройство Distributed Cache. Переменные окружения в MapReduce. Использование счетчиков для подсчета статистик. Отслеживание прогресса выполнения задач через JobTracker, истории выполнения задач через HistoryServer. Процесс тестирования MapReduce задач. || [https://rebrand.ly/big_data_hse_fall_2018_lecture_2 презентация]
|-
| 2 || 20.09 || Семинар: Решение задач MapReduce Streaming: подсчет количества слов, стоп-слов в Википедии, парсинг логов Apache. Distributed Cache. Метод Монте-Карло и большие данные. Отладка MapReduce задач. || [https://piazza.com/class/jlpi5xisy065wj?cid=32 конспект]
|-
| 3 || 27.09 || Лекция: Advanced MapReduce. Расширение функциональности MapReduce: Combiner, Partitioner, Comparator. Использование Combiner для подсчета статистик: поиск среднего значения и медианы по ключу. Конфигурации Partitioner для агрегации биграмм и ip-адресов. Расширенные возможности сортировки при помощи Comparator. Передача данных и способы компрессии данных при выполнении MapReduce задач. Объединение датасетов: Map-Side Join, Reduce-Side Join. Расширенный контроль за порядком поступления данных: Secondary Sort. Интерфейс командной строки YARN: статус задачи, принудительное завершение вычислительных задач. Работа с неравномерно распределенными значениями ключей (Skew). Вычисление коэффициента ускорения работы MapReduce задач. ||
|-
| 3 || 27.09 || Семинар: Решение задач на MapSide Join, Reduce-Side Join. Использование объединений для вычисления аналитики сегментов рынка. || [https://piazza.com/class/jlpi5xisy065wj?cid=69 конспект]
|-
| 4 || 03.10 || Лекция: Hive: мотивация, языковая модель. Проблема смещения данных в обработке больших данных. Применение SQL в IT индустрии. Сравнение решений Hive и MapReduce на примере задач анализа логов. Практика SQL: агрегация данных, фильтрация данных, сортировка, объединение таблиц. Архитектура Hive: Metastore + Hadoop + HDFS. Язык определения данных в Hive (Hive DDL): типы таблиц, разделители. Язык управления данными в Hive (Hive DML): загрузка данных, перезапись данных, CTAS. Парсер данных SerDe. ||
|-
| 4 || 03.10 || Семинар: ||
|-
| 5 || 10.10 || Лекция: Hive, расширенные возможности. Hive View: особенности, преимущества и недостатки. Пользовательские функции (UDF), пользовательские агрегирующие функции (UDAF), пользовательские функции для генерации таблиц (UDTF). Hive Streaming. Hive Partitioning, Bucketing and Sampling. Особенности Join в Hive. Исправление проблемы смещения в Hive. Поколоночное хранение в Hive (RCFile, ORC, Parquet) ||
|-
| 5 || 10.10 || Семинар: ||
|-
|}

==Домашние задания==

{| class="wikitable"
! '''#''' !! '''Тип задания''' !! '''Тема''' !! '''Дата выдачи''' !! '''Дедлайн''' !! '''Количество баллов''' !! '''Ссылка'''
|-
| 1 || Тест || HDFS || 13.09 || 19.09 23:59 || 5 || http://rebrand.ly/big_data_hse_fall_2018_quiz_1_Urgz1
|-
| 1 || Практическое задание || HDFS || 06.09 || 19.09 23:59 || 100 || http://rebrand.ly/big_data_hse_fall_2018_hw_1
|-
| 2 || Тест || MapReduce. Основы || 20.09 || 26.09 23:59 || 5 || https://rebrand.ly/big_data_hse_fall_2018_quiz_2_FMHq
|-
| 2 || Практическое задание || MapReduce. Основы || 20.09 || 26.09 23:59 || 50 || [https://piazza.com/class/jlpi5xisy065wj?cid=30 Задание]
|-
| 2 || Бонусная задача || MapReduce. Основы || 20.09 || 23.09 23:59 || 20 ||
|-
| 3 || Тест || MapReduce. Оптимизация || 27.09 || 03.10 23:59 || 5 || https://rebrand.ly/big_data_hse_fall_2018_quiz_3_oMku
|-
| 3 || Практическое задание || MapReduce. Объединения || 30.09 || 07.10 23:59 || 50 || [http://%20https://piazza.com/class/jlpi5xisy065wj?cid=72 Задание]
|}

==Материалы==
1. Полные материалы лекций, семинаров и домашних заданий доступны по ссылке: http://rebrand.ly/big_data_hse_fall_2018_materials
2.

Методы и системы обработки больших данных (осень 2018)

2018-10-02T07:20:57Z

Akhtyamovpavel: /* Домашние задания */

'''Лектор''': Алексей Драль

'''Семинаристы''': Павел Ахтямов, Артем Козлов

'''Контакты''': по всем организационным вопросам просьба писать на почту '''big_data_hse_fall_2018@bigdatateam.org'''.

У курса есть чат в Telegram. Объявления по курсу вывешиваются в чате!

==Отчетность по курсу и критерии оценивания==

В курсе предусмотрены следующие отчетные мероприятия:
* тест на проверку знаний по материалам лекции и семинара ('''5 баллов''' за каждый тест) (13 недель)
* практическое домашнее задание ('''50 баллов x (количество недель на задание)''' за каждое домашнее задание) (13 недель)

Итоговая оценка складывается следующим образом:

'''Score = (HW_Score + Test_Score) / 50''', где

* '''HW_Score''' - суммарное количество баллов за домашние задания;
* '''Test_Score''' - суммарное количество баллов за тесты.

Таблица с оценками доступна по ссылке: https://rebrand.ly/big_data_hse_fall_2018_grades

==Программа занятий==

{| class="wikitable"
|-
! '''Неделя''' !! '''Дата''' !! '''Название''' !! '''Материалы'''
|-
| 1 || 06.09 || Лекция: Понятие "большие данные". Постановка задачи обработки и хранения больших данных. Примеры применения больших данных в IT индустрии. Основные проблемы в работе распределенных систем. Виды отказов узлов, связей между узлами. Устройство GFS, HDFS. Процесс восстановления HDFS. || [https://rebrand.ly/big_data_hse_fall_2018_lecture_01 презентация]
|-
| 1 || 06.09 || Семинар: Устройство HDFS кластера. HDFS CLI (интерфейс командной строки HDFS). Пользовательский интерфейс NameNode. Решение задач на вычисление объемов вычислительных ресурсов кластера. ||
|-
| 2 || 20.09 || Лекция: MapReduce. Операции Map, Reduce. Distributed Shell как пример MapReduce задачи. Формальная модель парадигмы MapReduce. Задача подсчета слов в датасете (Word Count) Обеспечение отказоустойчивости в MapReduce. Сравнение MapReduce v1 и YARN. История развития MapReduce. MapReduce Streaming на примере Python. Устройство Distributed Cache. Переменные окружения в MapReduce. Использование счетчиков для подсчета статистик. Отслеживание прогресса выполнения задач через JobTracker, истории выполнения задач через HistoryServer. Процесс тестирования MapReduce задач. || [https://rebrand.ly/big_data_hse_fall_2018_lecture_2 презентация]
|-
| 2 || 20.09 || Семинар: Решение задач MapReduce Streaming: подсчет количества слов, стоп-слов в Википедии, парсинг логов Apache. Distributed Cache. Метод Монте-Карло и большие данные. Отладка MapReduce задач. || [https://piazza.com/class/jlpi5xisy065wj?cid=32 конспект]
|-
| 3 || 27.09 || Лекция: Advanced MapReduce. Расширение функциональности MapReduce: Combiner, Partitioner, Comparator. Использование Combiner для подсчета статистик: поиск среднего значения и медианы по ключу. Конфигурации Partitioner для агрегации биграмм и ip-адресов. Расширенные возможности сортировки при помощи Comparator. Передача данных и способы компрессии данных при выполнении MapReduce задач. Объединение датасетов: Map-Side Join, Reduce-Side Join. Расширенный контроль за порядком поступления данных: Secondary Sort. Интерфейс командной строки YARN: статус задачи, принудительное завершение вычислительных задач. Работа с неравномерно распределенными значениями ключей (Skew). Вычисление коэффициента ускорения работы MapReduce задач. ||
|-
| 3 || 27.09 || Семинар: Решение задач на MapSide Join, Reduce-Side Join. Использование объединений для вычисления аналитики сегментов рынка. || [https://piazza.com/class/jlpi5xisy065wj?cid=69 конспект]
|-

|}

==Домашние задания==

{| class="wikitable"
! '''#''' !! '''Тип задания''' !! '''Тема''' !! '''Дата выдачи''' !! '''Дедлайн''' !! '''Количество баллов''' !! '''Ссылка'''
|-
| 1 || Тест || HDFS || 13.09 || 19.09 23:59 || 5 || http://rebrand.ly/big_data_hse_fall_2018_quiz_1_Urgz1
|-
| 1 || Практическое задание || HDFS || 06.09 || 19.09 23:59 || 100 || http://rebrand.ly/big_data_hse_fall_2018_hw_1
|-
| 2 || Тест || MapReduce. Основы || 20.09 || 26.09 23:59 || 5 || https://rebrand.ly/big_data_hse_fall_2018_quiz_2_FMHq
|-
| 2 || Практическое задание || MapReduce. Основы || 20.09 || 26.09 23:59 || 50 || [https://piazza.com/class/jlpi5xisy065wj?cid=30 Задание]
|-
| 2 || Бонусная задача || MapReduce. Основы || 20.09 || 23.09 23:59 || 20 ||
|-
| 3 || Тест || MapReduce. Оптимизация || 27.09 || 03.10 23:59 || 5 || https://rebrand.ly/big_data_hse_fall_2018_quiz_3_oMku
|-
| 3 || Практическое задание || MapReduce. Объединения || 30.09 || 07.10 23:59 || 50 || [http://%20https://piazza.com/class/jlpi5xisy065wj?cid=72 Задание]
|}

==Материалы==
1. Полные материалы лекций, семинаров и домашних заданий доступны по ссылке: http://rebrand.ly/big_data_hse_fall_2018_materials
2.

Методы и системы обработки больших данных (осень 2018)

2018-10-02T07:20:43Z

Akhtyamovpavel: /* Программа занятий */

'''Лектор''': Алексей Драль

'''Семинаристы''': Павел Ахтямов, Артем Козлов

'''Контакты''': по всем организационным вопросам просьба писать на почту '''big_data_hse_fall_2018@bigdatateam.org'''.

У курса есть чат в Telegram. Объявления по курсу вывешиваются в чате!

==Отчетность по курсу и критерии оценивания==

В курсе предусмотрены следующие отчетные мероприятия:
* тест на проверку знаний по материалам лекции и семинара ('''5 баллов''' за каждый тест) (13 недель)
* практическое домашнее задание ('''50 баллов x (количество недель на задание)''' за каждое домашнее задание) (13 недель)

Итоговая оценка складывается следующим образом:

'''Score = (HW_Score + Test_Score) / 50''', где

* '''HW_Score''' - суммарное количество баллов за домашние задания;
* '''Test_Score''' - суммарное количество баллов за тесты.

Таблица с оценками доступна по ссылке: https://rebrand.ly/big_data_hse_fall_2018_grades

==Программа занятий==

{| class="wikitable"
|-
! '''Неделя''' !! '''Дата''' !! '''Название''' !! '''Материалы'''
|-
| 1 || 06.09 || Лекция: Понятие "большие данные". Постановка задачи обработки и хранения больших данных. Примеры применения больших данных в IT индустрии. Основные проблемы в работе распределенных систем. Виды отказов узлов, связей между узлами. Устройство GFS, HDFS. Процесс восстановления HDFS. || [https://rebrand.ly/big_data_hse_fall_2018_lecture_01 презентация]
|-
| 1 || 06.09 || Семинар: Устройство HDFS кластера. HDFS CLI (интерфейс командной строки HDFS). Пользовательский интерфейс NameNode. Решение задач на вычисление объемов вычислительных ресурсов кластера. ||
|-
| 2 || 20.09 || Лекция: MapReduce. Операции Map, Reduce. Distributed Shell как пример MapReduce задачи. Формальная модель парадигмы MapReduce. Задача подсчета слов в датасете (Word Count) Обеспечение отказоустойчивости в MapReduce. Сравнение MapReduce v1 и YARN. История развития MapReduce. MapReduce Streaming на примере Python. Устройство Distributed Cache. Переменные окружения в MapReduce. Использование счетчиков для подсчета статистик. Отслеживание прогресса выполнения задач через JobTracker, истории выполнения задач через HistoryServer. Процесс тестирования MapReduce задач. || [https://rebrand.ly/big_data_hse_fall_2018_lecture_2 презентация]
|-
| 2 || 20.09 || Семинар: Решение задач MapReduce Streaming: подсчет количества слов, стоп-слов в Википедии, парсинг логов Apache. Distributed Cache. Метод Монте-Карло и большие данные. Отладка MapReduce задач. || [https://piazza.com/class/jlpi5xisy065wj?cid=32 конспект]
|-
| 3 || 27.09 || Лекция: Advanced MapReduce. Расширение функциональности MapReduce: Combiner, Partitioner, Comparator. Использование Combiner для подсчета статистик: поиск среднего значения и медианы по ключу. Конфигурации Partitioner для агрегации биграмм и ip-адресов. Расширенные возможности сортировки при помощи Comparator. Передача данных и способы компрессии данных при выполнении MapReduce задач. Объединение датасетов: Map-Side Join, Reduce-Side Join. Расширенный контроль за порядком поступления данных: Secondary Sort. Интерфейс командной строки YARN: статус задачи, принудительное завершение вычислительных задач. Работа с неравномерно распределенными значениями ключей (Skew). Вычисление коэффициента ускорения работы MapReduce задач. ||
|-
| 3 || 27.09 || Семинар: Решение задач на MapSide Join, Reduce-Side Join. Использование объединений для вычисления аналитики сегментов рынка. || [https://piazza.com/class/jlpi5xisy065wj?cid=69 конспект]
|-

|}

==Домашние задания==

{| class="wikitable"
! '''#''' !! '''Тип задания''' !! '''Тема''' !! '''Дата выдачи''' !! '''Дедлайн''' !! '''Количество баллов''' !! '''Ссылка'''
|-
| 1 || Тест || HDFS || 13.09 || 19.09 23:59 || 5 || http://rebrand.ly/big_data_hse_fall_2018_quiz_1_Urgz1
|-
| 1 || Практическое задание || HDFS || 06.09 || 19.09 23:59 || 100 || http://rebrand.ly/big_data_hse_fall_2018_hw_1
|-
| 2 || Тест || MapReduce. Основы || 20.09 || 26.09 23:59 || 5 || https://rebrand.ly/big_data_hse_fall_2018_quiz_2_FMHq
|-
| 2 || Практическое задание || MapReduce. Основы || 20.09 || 26.09 23:59 || 50 || [https://piazza.com/class/jlpi5xisy065wj?cid=30 Задание]
|-
| 2 || Бонусная задача || MapReduce. Основы || 20.09 || 23.09 23:59 || 20 ||
|-
| 3 || Тест || MapReduce. Оптимизация || 27.09 || 03.09 23:59 || 5 || https://rebrand.ly/big_data_hse_fall_2018_quiz_3_oMku
|-
| 3 || Практическое задание || MapReduce. Объединения || 30.09 || 07.10 23:59 || 50 || [http://%20https://piazza.com/class/jlpi5xisy065wj?cid=72 Задание]
|}

==Материалы==
1. Полные материалы лекций, семинаров и домашних заданий доступны по ссылке: http://rebrand.ly/big_data_hse_fall_2018_materials
2.

Методы и системы обработки больших данных (осень 2018)

2018-10-02T07:19:30Z

Akhtyamovpavel: /* Домашние задания */

'''Лектор''': Алексей Драль

'''Семинаристы''': Павел Ахтямов, Артем Козлов

'''Контакты''': по всем организационным вопросам просьба писать на почту '''big_data_hse_fall_2018@bigdatateam.org'''.

У курса есть чат в Telegram. Объявления по курсу вывешиваются в чате!

==Отчетность по курсу и критерии оценивания==

В курсе предусмотрены следующие отчетные мероприятия:
* тест на проверку знаний по материалам лекции и семинара ('''5 баллов''' за каждый тест) (13 недель)
* практическое домашнее задание ('''50 баллов x (количество недель на задание)''' за каждое домашнее задание) (13 недель)

Итоговая оценка складывается следующим образом:

'''Score = (HW_Score + Test_Score) / 50''', где

* '''HW_Score''' - суммарное количество баллов за домашние задания;
* '''Test_Score''' - суммарное количество баллов за тесты.

Таблица с оценками доступна по ссылке: https://rebrand.ly/big_data_hse_fall_2018_grades

==Программа занятий==

{| class="wikitable"
|-
! '''Неделя''' !! '''Дата''' !! '''Название''' !! '''Материалы'''
|-
| 1 || 06.09 || Лекция: Понятие "большие данные". Постановка задачи обработки и хранения больших данных. Примеры применения больших данных в IT индустрии. Основные проблемы в работе распределенных систем. Виды отказов узлов, связей между узлами. Устройство GFS, HDFS. Процесс восстановления HDFS. || [https://rebrand.ly/big_data_hse_fall_2018_lecture_01 презентация]
|-
| 1 || 06.09 || Семинар: Устройство HDFS кластера. HDFS CLI (интерфейс командной строки HDFS). Пользовательский интерфейс NameNode. Решение задач на вычисление объемов вычислительных ресурсов кластера. ||
|-
| 2 || 20.09 || Лекция: MapReduce. Операции Map, Reduce. Distributed Shell как пример MapReduce задачи. Формальная модель парадигмы MapReduce. Задача подсчета слов в датасете (Word Count) Обеспечение отказоустойчивости в MapReduce. Сравнение MapReduce v1 и YARN. История развития MapReduce. MapReduce Streaming на примере Python. Устройство Distributed Cache. Переменные окружения в MapReduce. Использование счетчиков для подсчета статистик. Отслеживание прогресса выполнения задач через JobTracker, истории выполнения задач через HistoryServer. Процесс тестирования MapReduce задач. || [https://rebrand.ly/big_data_hse_fall_2018_lecture_2 презентация]
|-
| 2 || 20.09 || Семинар: Решение задач MapReduce Streaming: подсчет количества слов, стоп-слов в Википедии, парсинг логов Apache. Distributed Cache. Метод Монте-Карло и большие данные. Отладка MapReduce задач. ||
|-
| 3 || 27.09 || Лекция: Advanced MapReduce. Расширение функциональности MapReduce: Combiner, Partitioner, Comparator. Использование Combiner для подсчета статистик: поиск среднего значения и медианы по ключу. Конфигурации Partitioner для агрегации биграмм и ip-адресов. Расширенные возможности сортировки при помощи Comparator. Передача данных и способы компрессии данных при выполнении MapReduce задач. Объединение датасетов: Map-Side Join, Reduce-Side Join. Расширенный контроль за порядком поступления данных: Secondary Sort. Интерфейс командной строки YARN: статус задачи, принудительное завершение вычислительных задач. Работа с неравномерно распределенными значениями ключей (Skew). Вычисление коэффициента ускорения работы MapReduce задач. ||
|-
| 3 || 27.09 || Семинар: Решение задач на MapSide Join, Reduce-Side Join. Использование объединений для вычисления аналитики сегментов рынка. ||
|-

|}

==Домашние задания==

{| class="wikitable"
! '''#''' !! '''Тип задания''' !! '''Тема''' !! '''Дата выдачи''' !! '''Дедлайн''' !! '''Количество баллов''' !! '''Ссылка'''
|-
| 1 || Тест || HDFS || 13.09 || 19.09 23:59 || 5 || http://rebrand.ly/big_data_hse_fall_2018_quiz_1_Urgz1
|-
| 1 || Практическое задание || HDFS || 06.09 || 19.09 23:59 || 100 || http://rebrand.ly/big_data_hse_fall_2018_hw_1
|-
| 2 || Тест || MapReduce. Основы || 20.09 || 26.09 23:59 || 5 || https://rebrand.ly/big_data_hse_fall_2018_quiz_2_FMHq
|-
| 2 || Практическое задание || MapReduce. Основы || 20.09 || 26.09 23:59 || 50 || [https://piazza.com/class/jlpi5xisy065wj?cid=30 Задание]
|-
| 2 || Бонусная задача || MapReduce. Основы || 20.09 || 23.09 23:59 || 20 ||
|-
| 3 || Тест || MapReduce. Оптимизация || 27.09 || 03.09 23:59 || 5 || https://rebrand.ly/big_data_hse_fall_2018_quiz_3_oMku
|-
| 3 || Практическое задание || MapReduce. Объединения || 30.09 || 07.10 23:59 || 50 || [http://%20https://piazza.com/class/jlpi5xisy065wj?cid=72 Задание]
|}

==Материалы==
1. Полные материалы лекций, семинаров и домашних заданий доступны по ссылке: http://rebrand.ly/big_data_hse_fall_2018_materials
2.

Методы и системы обработки больших данных (осень 2018)

2018-09-20T04:44:46Z

Akhtyamovpavel: /* Домашние задания */

'''Лектор''': Алексей Драль

'''Семинаристы''': Павел Ахтямов, Артем Козлов

'''Контакты''': по всем организационным вопросам просьба писать на почту '''big_data_hse_fall_2018@bigdatateam.org'''.

У курса есть чат в Telegram. Объявления по курсу вывешиваются в чате!

==Отчетность по курсу и критерии оценивания==

В курсе предусмотрены следующие отчетные мероприятия:
* тест на проверку знаний по материалам лекции и семинара ('''5 баллов''' за каждый тест) (13 недель)
* практическое домашнее задание ('''50 баллов x (количество недель на задание)''' за каждое домашнее задание) (13 недель)

Итоговая оценка складывается следующим образом:

'''Score = (HW_Score + Test_Score) / 50''', где

* '''HW_Score''' - суммарное количество баллов за домашние задания;
* '''Test_Score''' - суммарное количество баллов за тесты.

Таблица с оценками доступна по ссылке: https://rebrand.ly/big_data_hse_fall_2018_grades

==Программа занятий==

{| class="wikitable"
|-
! '''Неделя''' !! '''Дата''' !! '''Название''' !! '''Материалы'''
|-
| 1 || 06.09 || Лекция: Понятие "большие данные". Постановка задачи обработки и хранения больших данных. Примеры применения больших данных в IT индустрии. Основные проблемы в работе распределенных систем. Виды отказов узлов, связей между узлами. Устройство GFS, HDFS. Процесс восстановления HDFS. || [https://rebrand.ly/big_data_hse_fall_2018_lecture_01 презентация]
|-
| 1 || 06.09 || Семинар: Устройство HDFS кластера. HDFS CLI (интерфейс командной строки HDFS). Пользовательский интерфейс NameNode. Решение задач на вычисление объемов вычислительных ресурсов кластера. ||
|-
| 2 || 20.09 || Лекция: MapReduce. Операции Map, Reduce. Distributed Shell как пример MapReduce задачи. Формальная модель парадигмы MapReduce. Задача подсчета слов в датасете (Word Count) Обеспечение отказоустойчивости в MapReduce. Сравнение MapReduce v1 и YARN. История развития MapReduce. MapReduce Streaming на примере Python. Устройство Distributed Cache. Переменные окружения в MapReduce. Использование счетчиков для подсчета статистик. Отслеживание прогресса выполнения задач через JobTracker, истории выполнения задач через HistoryServer. Процесс тестирования MapReduce задач. || [https://rebrand.ly/big_data_hse_fall_2018_lecture_2 презентация]
|-
| 2 || 20.09 || Семинар: Решение задач MapReduce Streaming: подсчет количества слов, стоп-слов в Википедии, парсинг логов Apache. Distributed Cache. Метод Монте-Карло и большие данные. Отладка MapReduce задач. ||
|-
| 3 || 27.09 || Лекция: Advanced MapReduce. Расширение функциональности MapReduce: Combiner, Partitioner, Comparator. Использование Combiner для подсчета статистик: поиск среднего значения и медианы по ключу. Конфигурации Partitioner для агрегации биграмм и ip-адресов. Расширенные возможности сортировки при помощи Comparator. Передача данных и способы компрессии данных при выполнении MapReduce задач. Объединение датасетов: Map-Side Join, Reduce-Side Join. Расширенный контроль за порядком поступления данных: Secondary Sort. Интерфейс командной строки YARN: статус задачи, принудительное завершение вычислительных задач. Работа с неравномерно распределенными значениями ключей (Skew). Вычисление коэффициента ускорения работы MapReduce задач. ||
|-
| 3 || 27.09 || Семинар: Решение задач на MapSide Join, Reduce-Side Join. Использование объединений для вычисления аналитики сегментов рынка. ||
|-

|}

==Домашние задания==

{| class="wikitable"
! '''#''' !! '''Тип задания''' !! '''Тема''' !! '''Дата выдачи''' !! '''Дедлайн''' !! '''Количество баллов''' !! '''Ссылка'''
|-
| 1 || Тест || HDFS || 13.09 || 19.09 23:59 || 5 || http://rebrand.ly/big_data_hse_fall_2018_quiz_1_Urgz1
|-
| 1 || Практическое задание || HDFS || 06.09 || 19.09 23:59 || 100 || http://rebrand.ly/big_data_hse_fall_2018_hw_1
|-
| 2 || Тест || MapReduce. Основы || 20.09 || 26.09 23:59 || 5 || https://rebrand.ly/big_data_hse_fall_2018_quiz_2_FMHq
|-
| 2 || Практическое задание || MapReduce. Основы || 20.09 || 26.09 23:59 || 50 ||
|-
| 2 || Бонусная задача || MapReduce. Основы || 20.09 || 23.09 23:59 || 20 ||
|-
|}

==Материалы==
1. Полные материалы лекций, семинаров и домашних заданий доступны по ссылке: http://rebrand.ly/big_data_hse_fall_2018_materials
2.

Методы и системы обработки больших данных (осень 2018)

2018-09-20T04:40:49Z

Akhtyamovpavel: /* Программа занятий */

'''Лектор''': Алексей Драль

'''Семинаристы''': Павел Ахтямов, Артем Козлов

'''Контакты''': по всем организационным вопросам просьба писать на почту '''big_data_hse_fall_2018@bigdatateam.org'''.

У курса есть чат в Telegram. Объявления по курсу вывешиваются в чате!

==Отчетность по курсу и критерии оценивания==

В курсе предусмотрены следующие отчетные мероприятия:
* тест на проверку знаний по материалам лекции и семинара ('''5 баллов''' за каждый тест) (13 недель)
* практическое домашнее задание ('''50 баллов x (количество недель на задание)''' за каждое домашнее задание) (13 недель)

Итоговая оценка складывается следующим образом:

'''Score = (HW_Score + Test_Score) / 50''', где

* '''HW_Score''' - суммарное количество баллов за домашние задания;
* '''Test_Score''' - суммарное количество баллов за тесты.

Таблица с оценками доступна по ссылке: https://rebrand.ly/big_data_hse_fall_2018_grades

==Программа занятий==

{| class="wikitable"
|-
! '''Неделя''' !! '''Дата''' !! '''Название''' !! '''Материалы'''
|-
| 1 || 06.09 || Лекция: Понятие "большие данные". Постановка задачи обработки и хранения больших данных. Примеры применения больших данных в IT индустрии. Основные проблемы в работе распределенных систем. Виды отказов узлов, связей между узлами. Устройство GFS, HDFS. Процесс восстановления HDFS. || [https://rebrand.ly/big_data_hse_fall_2018_lecture_01 презентация]
|-
| 1 || 06.09 || Семинар: Устройство HDFS кластера. HDFS CLI (интерфейс командной строки HDFS). Пользовательский интерфейс NameNode. Решение задач на вычисление объемов вычислительных ресурсов кластера. ||
|-
| 2 || 20.09 || Лекция: MapReduce. Операции Map, Reduce. Distributed Shell как пример MapReduce задачи. Формальная модель парадигмы MapReduce. Задача подсчета слов в датасете (Word Count) Обеспечение отказоустойчивости в MapReduce. Сравнение MapReduce v1 и YARN. История развития MapReduce. MapReduce Streaming на примере Python. Устройство Distributed Cache. Переменные окружения в MapReduce. Использование счетчиков для подсчета статистик. Отслеживание прогресса выполнения задач через JobTracker, истории выполнения задач через HistoryServer. Процесс тестирования MapReduce задач. || [https://rebrand.ly/big_data_hse_fall_2018_lecture_2 презентация]
|-
| 2 || 20.09 || Семинар: Решение задач MapReduce Streaming: подсчет количества слов, стоп-слов в Википедии, парсинг логов Apache. Distributed Cache. Метод Монте-Карло и большие данные. Отладка MapReduce задач. ||
|-
| 3 || 27.09 || Лекция: Advanced MapReduce. Расширение функциональности MapReduce: Combiner, Partitioner, Comparator. Использование Combiner для подсчета статистик: поиск среднего значения и медианы по ключу. Конфигурации Partitioner для агрегации биграмм и ip-адресов. Расширенные возможности сортировки при помощи Comparator. Передача данных и способы компрессии данных при выполнении MapReduce задач. Объединение датасетов: Map-Side Join, Reduce-Side Join. Расширенный контроль за порядком поступления данных: Secondary Sort. Интерфейс командной строки YARN: статус задачи, принудительное завершение вычислительных задач. Работа с неравномерно распределенными значениями ключей (Skew). Вычисление коэффициента ускорения работы MapReduce задач. ||
|-
| 3 || 27.09 || Семинар: Решение задач на MapSide Join, Reduce-Side Join. Использование объединений для вычисления аналитики сегментов рынка. ||
|-

|}

==Домашние задания==

{| class="wikitable"
! '''#''' !! '''Тип задания''' !! '''Тема''' !! '''Дата выдачи''' !! '''Дедлайн''' !! '''Количество баллов''' !! '''Ссылка'''
|-
| 1 || Тест || HDFS || 13.09 || 19.09 23:59 || 5 || http://rebrand.ly/big_data_hse_fall_2018_quiz_1_Urgz1
|-
| 1 || Практическое задание || HDFS || 06.09 || 19.09 23:59 || 100 || http://rebrand.ly/big_data_hse_fall_2018_hw_1
|-
|}

==Материалы==
1. Полные материалы лекций, семинаров и домашних заданий доступны по ссылке: http://rebrand.ly/big_data_hse_fall_2018_materials
2.

Методы и системы обработки больших данных (осень 2018)

2018-09-20T04:39:02Z

Akhtyamovpavel: /* Программа занятий */

'''Лектор''': Алексей Драль

'''Семинаристы''': Павел Ахтямов, Артем Козлов

'''Контакты''': по всем организационным вопросам просьба писать на почту '''big_data_hse_fall_2018@bigdatateam.org'''.

У курса есть чат в Telegram. Объявления по курсу вывешиваются в чате!

==Отчетность по курсу и критерии оценивания==

В курсе предусмотрены следующие отчетные мероприятия:
* тест на проверку знаний по материалам лекции и семинара ('''5 баллов''' за каждый тест) (13 недель)
* практическое домашнее задание ('''50 баллов x (количество недель на задание)''' за каждое домашнее задание) (13 недель)

Итоговая оценка складывается следующим образом:

'''Score = (HW_Score + Test_Score) / 50''', где

* '''HW_Score''' - суммарное количество баллов за домашние задания;
* '''Test_Score''' - суммарное количество баллов за тесты.

Таблица с оценками доступна по ссылке: https://rebrand.ly/big_data_hse_fall_2018_grades

==Программа занятий==

{| class="wikitable"
|-
! '''Неделя''' !! '''Дата''' !! '''Название''' !! '''Материалы'''
|-
| 1 || 06.09 || Лекция: Понятие "большие данные". Постановка задачи обработки и хранения больших данных. Примеры применения больших данных в IT индустрии. Основные проблемы в работе распределенных систем. Виды отказов узлов, связей между узлами. Устройство GFS, HDFS. Процесс восстановления HDFS. || [https://rebrand.ly/big_data_hse_fall_2018_lecture_01 презентация]
|-
| 1 || 06.09 || Семинар: Устройство HDFS кластера. HDFS CLI (интерфейс командной строки HDFS). Пользовательский интерфейс NameNode. Решение задач на вычисление объемов вычислительных ресурсов кластера. ||
|-
| 2 || 20.09 || Лекция: MapReduce. Операции Map, Reduce. Distributed Shell как пример MapReduce задачи. Формальная модель парадигмы MapReduce. Задача подсчета слов в датасете (Word Count) Обеспечение отказоустойчивости в MapReduce. Сравнение MapReduce v1 и YARN. История развития MapReduce. MapReduce Streaming на примере Python. Устройство Distributed Cache. Переменные окружения в MapReduce. Использование счетчиков для подсчета статистик. Отслеживание прогресса выполнения задач через JobTracker, истории выполнения задач через HistoryServer. Процесс тестирования MapReduce задач. || [https://rebrand.ly/big_data_hse_fall_2018_lecture_2 презентация]
|-
| 2 || 20.09 || Семинар: Решение задач MapReduce Streaming: подсчет количества слов, стоп-слов в Википедии, парсинг логов Apache. Distributed Cache. Метод Монте-Карло и большие данные. ||
|-
| 3 || 27.09 || Лекция: Advanced MapReduce. Расширение функциональности MapReduce: Combiner, Partitioner, Comparator. Использование Combiner для подсчета статистик: поиск среднего значения и медианы по ключу. Конфигурации Partitioner для агрегации биграмм и ip-адресов. Расширенные возможности сортировки при помощи Comparator. Передача данных и способы компрессии данных при выполнении MapReduce задач. Объединение датасетов: Map-Side Join, Reduce-Side Join. Расширенный контроль за порядком поступления данных: Secondary Sort. Интерфейс командной строки YARN: статус задачи, принудительное завершение вычислительных задач. Работа с неравномерно распределенными значениями ключей (Skew). Вычисление коэффициента ускорения работы MapReduce задач. ||
|-
| 3 || 27.09 || Семинар: Решение задач на MapSide Join, Reduce-Side Join. Использование объединений для вычисления аналитики сегментов рынка. ||
|-

|}

==Домашние задания==

{| class="wikitable"
! '''#''' !! '''Тип задания''' !! '''Тема''' !! '''Дата выдачи''' !! '''Дедлайн''' !! '''Количество баллов''' !! '''Ссылка'''
|-
| 1 || Тест || HDFS || 13.09 || 19.09 23:59 || 5 || http://rebrand.ly/big_data_hse_fall_2018_quiz_1_Urgz1
|-
| 1 || Практическое задание || HDFS || 06.09 || 19.09 23:59 || 100 || http://rebrand.ly/big_data_hse_fall_2018_hw_1
|-
|}

==Материалы==
1. Полные материалы лекций, семинаров и домашних заданий доступны по ссылке: http://rebrand.ly/big_data_hse_fall_2018_materials
2.

Методы и системы обработки больших данных (осень 2018)

2018-09-13T13:28:21Z

Akhtyamovpavel: /* Программа занятий */

О факультете

2018-09-13T12:40:59Z

Akhtyamovpavel: /* Курсы за 2018/19 учебный год */

__NOTOC__

= Учебные курсы факультета компьютерных наук=
== Курсы за 2018/19 учебный год ==
{| class="wikitable"
|-
! 1 курс !! 2 курс !! 3 курс !! 4 курс !! майноры и факультативы
|-
|

[[Математический_анализ_на_ПМИ_2018/2019_(пилотный_поток) | Математический анализ на ПМИ (пилотный поток)]]

[[Математический_анализ_на_ПМИ_2018/2019_(основной_поток) | Математический анализ на ПМИ (основной поток)]]

[[Calculus_DSBA_2018/2019 | Calculus I DSBA (ПАД)]]

[[Основы_и_методология_программирования_на_ПМИ_2018/2019_(пилотный_поток) | Основы и методология программирования на ПМИ (пилотный поток)]]

[[Линейная_алгебра_и_геометрия_на_ПМИ_2018/2019_(пилотный_поток) | Линейная алгебра и геометрия на ПМИ (пилотный поток)]]

[[Линейная_алгебра_и_геометрия_на_ПМИ_2018/2019_(основной_поток) | Линейная алгебра и геометрия на ПМИ (основной поток)]]

[[Дискретная_математика_1_2018/2019 | Дискретная математика-1 на ПМИ]]

[[Discrete Mathematics DSBA |Discrete Mathematics DSBA (ПАД)]]

[[Основы и методология программирования на ПМИ 2018/2019 (основной поток, 1 модуль) | Основы и методология программирования на ПМИ 2018/2019 (основной поток, 1 модуль)]]

[[Introduction_to_programming | Introduction to programming DSBA (ПАД)]]
||

[[Теория_вероятностей_2018/2019_(пилотный_поток) | Теория вероятностей на ПМИ (пилотный поток)]]

[[Теория_вероятностей_2018/2019_(основной_поток) | Теория вероятностей на ПМИ (основной поток)]]

[[DM2-pilot2018/2019 | Дискретная математика-2 на ПМИ (пилотный поток)]]

[[DM2-basic2018/2019 | Дискретная математика-2 на ПМИ (основной поток)]]

[[Алгоритмы_и_структуры_данных_2_2018/2019 | Алгоритмы и структуры данных – 2 на ПМИ (основной поток)]]

||

[[Машинное_обучение_1 | Машинное обучение 1 на ПМИ]]

[[Численные_Методы_2018 | Численные методы ]]

[[PDC | Параллельные и распределенные вычисления]]

[[Theory_of_Computing_2018_2019 | Theory of Computing, AMI]]

[[НИС_Машинное_обучение_и_приложения_2018/2019|НИС Машинное обучение и приложения]]

[[Прикладная_статистика_в_машинном_обучении(2018)|Прикладная статистика в машинном обучении]]

[[Безопасность_компьютерных_систем_2018|Безопасность компьютерных систем]]

||

[[Statistical_learning_theory_2018_2019 | Introduction to statistical learning theory]]

[[Анализ_неструктурированных_данных-2018 |Анализ неструктурированных данных ]]

[[Байесовские_методы_машинного_обучения_2018|Байесовские методы машинного обучения]]

[[НИС_Машинное_обучение_и_приложения_2018/2019|НИС Машинное обучение и приложения]]

[[НИС_Науки_о_данных_2018/2019|НИС Науки о данных]]

[[Теория_Информации_2018/2019|Теория информации]]

[[Безопасность_компьютерных_систем_2018|Безопасность компьютерных систем]]

[[Методы_и_системы_обработки_больших_данных_(осень_2018)|Методы и системы обработки больших данных]]

||

[[Введение в программирование (курс майнора) 2018/2019]]

||

|}

== Курсы в рамках проекта [https://www.hse.ru/dataculture/ Data Culture]==

=== 1 семестр ===

{| class="wikitable"
|-
! Дисциплина !! Образовательная программа !! Курс !! Модули

|-
| [[Основы анализа данных в международных отношениях 2018/2019|Основы анализа данных в международных отношениях]] || Международные отношения || 2 курс || 1-2 модули
|-
| [[Программирование_и_компьютерные_инструменты_лингвистического_исследования|Программирование и компьютерные инструменты лингвистического исследования]] || Фундаментальная и компьютерная лингвистика || 1 курс || 1-4 модули
|-
| [[Цифровая грамотность(востоковедение)|Цифровая грамотность]] || Востоковедение || 1 курс || 1 модуль
|-
| [[Разработка управленческих решений в маркетинге | Разработка управленческих решений в маркетинге]] || Маркетинг и рыночная аналитика || 2 курс || 1-2 модули
|-
| [[Информационные технологии в деятельности юриста_2018-2019| Информационные технологии в деятельности юриста]] || Юриспруденция || 1 курс || 2 модуль
|-
| [[Машинное обучение на матфаке 2018/2019| Машинное обучение]] || Факультет математики || 2-4 курсы || 1-2 модули
|-
| [[ПМСАР-2| Методы анализа больших данных в исследованиях поведения покупателей]] || Прикладные методы социального анализа рынков || 2 г.о. || 1-2 модули
|-
| [[Анализ данных в Python (Политологи 1 семестр 1-2 модули)|Анализ данных в Python]] || Политология || 4 курс || 1-2 модули
|-
| [[Основы анализа и визуализации данных для медиа (Журналисты 1 семестр 1 модуль)|Основы анализа и визуализации данных для медиа]] || Журналистика || 4 курс || 1 модуль
|-
| [[Программирование_(python)_для_лингвистов|Программирование (Python) для лингвистов]] || Фундаментальная и компьютерная лингвистика || 4 курс || 1-3 модули
|-
| [[Введение в анализ текстов на Python для ФГН 2018|Введение в анализ текстов на Python для ФГН 2018]] || Фундаментальная и компьютерная лингвистика || 3 курс || 1, 2, 4 модули
|-
| [[Машинное обучение (ФЭН)]] || Факультет экономических наук || 3-4 курсы || 1-2 модули
|-
| [[Программирование_(python)_для_экономистов|Программирование (Python) для экономистов]] || Факультет экономических наук || 2 курс || 1-2 модули
|-
| [[Цифровая грамотность(философия)|Цифровая грамотность]] || Философия || 1 курс || 1-2 модули
|-
| [[Цифровая_грамотность_(историки)|Цифровая грамотность]] || История || 1 курс || 1-2 модули
|-
| [[Обработка и анализ данных физического эксперимента|Обработка и анализ данных физического эксперимента]] || Факультет Физики || 2 курс || 1-2 модули
|}

= Архив =

== Курсы за 2017/18 учебный год ==
{| class="wikitable"
|-
! 1 курс !! 2 курс !! 3 курс !! 4 курс !! майноры и факультативы
|-
|

[[Математический_анализ_на_ПМИ_2017/2018_(пилотный_поток) | Математический анализ на ПМИ 2017/2018 (пилотный поток)]]

[[Математический_анализ_на_ПМИ_2017/2018_(основной_поток) | Математический анализ на ПМИ 2017/2018 (основной поток)]]

[[Основы_и_методология_программирования_на_ПМИ_2017/2018_(пилотный_поток,_1_модуль) | Основы и методология программирования на ПМИ 2017/2018 (пилотный поток, 1 модуль)]]

[[Основы_и_методология_программирования_на_ПМИ_2017/2018_(основной_поток,_2_модуль) | Основы и методология программирования на ПМИ 2017/2018 (основной поток, 2 модуль)]]

[[Основы_и_методология_программирования_на_ПМИ_2017/2018_(основной_поток,_3_модуль) | Основы и методология программирования на ПМИ 2017/2018 (основной поток, 3 модуль)]]

[[Алгоритмы_и_структуры_данных_на_ПМИ_2017/2018_(основной_поток) | Алгоритмы и структуры данных на ПМИ 2017/2018 (основной поток)]]

[[Линейная_алгебра_и_геометрия_на_ПМИ_2017/2018_(пилотный_поток) | Линейная алгебра и геометрия на ПМИ (пилотный поток)]]

[[Линейная_алгебра_и_геометрия_на_ПМИ_2017/2018_(основной_поток) | Линейная алгебра и геометрия на ПМИ (основной поток)]]

[[Дискретная_математика_1_2017/2018 | Дискретная математика-1 на ПМИ]]

[[Алгоритмы и структуры данных 1 | Алгоритмы и структуры данных – 1 (пилотный поток)]]

[[Алгебра_на_ПМИ_2017/2018 | Алгебра на ПМИ]]

[http://hsealgebra18.wikidot.com Алгебра на ПИ]

||
[[Теория_вероятностей_2017/2018_(основной_поток) | Теория вероятностей на ПМИ (основной поток)]]

[[Теория_вероятностей_2017/2018_(пилотный_поток) | Теория вероятностей на ПМИ (пилотный поток)]]

[[Математический анализ-3 на ПМИ_2017/2018_(основной_поток) | Математический анализ-2 на ПМИ (основной поток)]]

[[Математический анализ на ПМИ_2017/2018 | Математический анализ-3 на ПМИ (пилотный поток)]]

[[DM2-pilot2017/2018 | Дискретная математика-2 на ПМИ (пилотный поток)]]

[[DM_2_2017_2018 | Дискретная математика-2 на ПМИ (основной поток)]]

[[Алгоритмы и структуры данных_2_2017/2018 | Алгоритмы и структуры данных – 2 на ПМИ (основной поток)]]

[[Дифференциальные уравнения (2 курс, 2017/2018)| Дифференциальные уравнения]]

||
[[Машинное_обучение_1/2017_2018 | Машинное обучение 1 на ПМИ]]

[[Машинное_обучение_2 | Машинное обучение 2 на ПМИ]]

[[Численные_методы_2017 | Численные методы]]

[[Statistics of Stochastic Processes|Статистика случайных процессов 2018]]

[[Прикладная_статистика_в_машинном_обучении | Прикладная статистика в машинном обучении]]

[[Theory_of_Computing | Theory of Computing, AMI]]

[[Statistical_learning_theory | Introduction to statistical learning theory]]

[[Основные_методы_анализа_данных_(специализация_АДИС) | Основные методы анализа данных на ПМИ]]

[[Параллельные и распределенные вычисления 2017 | Параллельные и распределенные вычисления]]

[[Анализ неструктурированных данных]]

[[Безопасность компьютерных систем 2017 | Безопасность компьютерных систем]]

[[НИС_Распределенные_системы_(3_курс,_2017) | НИС Распределенные системы]]

[[НИС_Машинное_обучение_и_приложения_2017/2018 | НИС Машинное обучение и приложения]]

[[Непрерывная_оптимизация | Непрерывная оптимизация]]

[[ Сложность_и_логика| Сложность вычислений и логика в теоретической информатике]]

[[Data_analysis_(Software_Engineering)_2018 | Data Analysis на ПИ]]

[http://telegra.ph/Kurs-Vvedenie-v-OOP-VSHEH-2018-Modul-3-01-30 Введение в ООП]

[http://wiki.cs.hse.ru/Машинное_обучение_на_больших_данных Машинное обучение на больших данных]

[[Дискретная_оптимизация | Дискретная оптимизация]]

||

[[Безопасность компьютерных систем 2017 | Безопасность компьютерных систем]]

[[Философия_науки_2017 | Философия науки]]

[[НИС_Распределенные_системы_(4_курс,_2017) | НИС Распределенные системы]]

[[НИС_Машинное_обучение_и_приложения_2017/2018 | НИС Машинное обучение и приложения]]

[[Анализ неструктурированных данных]]

[[Байесовские методы машинного обучения 2017 | Байесовские методы машинного обучения]]

[[Функциональное программирование 2018 | Функциональное программирование]]

[http://telegra.ph/Kurs-Vvedenie-v-OOP-VSHEH-2018-Modul-3-01-30 Введение в ООП]

||

[[Современные методы машинного обучения (курс майнора) 2017/2018]]

[[Введение в программирование (курс майнора) 2017/2018]]

[[Майнор Интеллектуальный анализ данных/Введение в анализ данных | Введение в анализ данных (курс майнора)]]

[[Прикладные задачи анализа данных (майнор - весна 2018)]]

[[Маго-лего "Линейная алгебра в приложениях" весна 2018 | Линейная алгебра в приложениях (маго-лего)]]

[[Функциональный анализ 2017/18 | Функциональный анализ на ПМИ (факультатив)]]

[[Дополнительные главы теории вероятностей и математической статистики (факультативы) | Дополнительные главы теории вероятностей и математической статистики (факультативы)]]

[[Дополнительные главы дискретной математики 2017/18 | Дополнительные главы дискретной математики (факультатив)]]

[[Цифровые технологии в гуманитарных науках]]

|}

== Курсы в рамках проекта [https://www.hse.ru/dataculture/ Data Culture]==

=== 2 семестр ===

[[Цифровая_грамотность_2018_(2_семестр)|Цифровая грамотность (факультет гуманитарных наук — 2 семестр: ИЯМК, Филология, История искусств, Культурология, 1 курс)]] 
[[Научно-исследовательский семинар (ФСН) |Научно-исследовательский семинар (ОП "Политология", 1 курс)]] 
[[Introduction_to_Data_Culture|Introduction to Data Culture (HSE and University of London Parallel Degree Programme in International Relations, 1 year)]] 
[[ИИ_и_БД|Искусственный интеллект и большие данные (ОП "Дизайн", "Мода", 1 курс)]] 
[[Программирование_(python)_для_лингвистов|Компьютерная лингвистика и информационные технологии (ОП "Фундаментальная и компьютерная лингвистика", 4 курс, 2 семестр)]] 
[[Основы анализа данных в международных отношениях|Основы анализа данных в международных отношениях (ОП "Международные отношения", 2 курс, 4 модуль)]] 
[[Введение в data science (2_семестр)|Профориентационный семинар (блок по введению в data scicence) (Факультет социальных наук — 2 семестр: Социология, 1 курс)]] 
[[Введение в Data Science| Введение в Data Science (ФБиМ, 4 модуль)]] 

=== 1 семестр ===

[[Цифровая_грамотность|Цифровая грамотность (факультет гуманитарных наук — 1 семестр: История, Философия, 1 курс)]] 
[[Машинное обучение (факультет экономических наук)|Машинное обучение (факультет экономических наук)]] 
[[Программирование (python) для лингвистов | Программирование (python) для лингвистов (факультет гуманитарных наук)]] 
[[Извлечение и анализ интернет-данных | Извлечение и анализ интернет-данных (факультет экономических наук)]] 
[[Анализ больших данных в социальных науках (ФСН, 2017) | Анализ больших данных в социальных науках (ФСН, 2017)]] 
[[Информационные_технологии_в_деятельности_юриста|Информационные технологии в деятельности юриста (Факультет права)]] 
[[Машинное_обучение_для_лингвистов|Машинное обучение (магистратура Школы лингвистики)]] 

== Курсы магистратуры Финансовые технологии и анализ данных ==

[[Вероятностные_модели_и_прикладная_статистика_в_финансовой_математике|Вероятностные модели и прикладная статистика в финансовой математике]] 

== Курсы за 2016/17 учебный год ==
{| class="wikitable"
|-
! 1 курс !! 2 курс !! 3-4 курс !! майноры
|-
|

[[Математический анализ на ПМИ_2016/2017 | Математический анализ на ПМИ (пилотный поток)]]

[[Линейная алгебра и геометрия_2016/2017 | Линейная алгебра и геометрия на ПМИ]]

[[Дискретная_математика_1_2016/2017 | Дискретная математика-1 на ПМИ]]

[[Основы и методология программирования_2016/2017_пилотный_поток | Основы и методология программирования на ПМИ (пилотный поток)]]

[[Основы и методология программирования_2016/2017 | Основы и методология программирования на ПМИ (основной поток)]]

[[Алгоритмы_и_структуры_данных_на_ПМИ_(пилотный_поток) | Алгоритмы и структуры данных на ПМИ (пилотный поток)]]

[[Алгоритмы_и_структуры_данных_на_ПМИ_(основной_поток) | Алгоритмы и структуры данных на ПМИ (основной поток)]]

[[Алгебра_на_ПМИ_2016/2017 | Алгебра на ПМИ]]

[http://hsealgebra17.wikidot.com/ Алгебра на ПИ]

||

[[Математический анализ_2016/2017 | Математический анализ-3 на ПМИ (основной поток)]]

[[Математически_анализ_3_на_ПМИ_(пилотный_поток) | Математический анализ-3 на ПМИ (пилотный поток)]]

[[DM_2_2016_2017 | Дискретная математика-2 на ПМИ (основной поток)]]

[[Дискретная математика_2_2016/2017 | Дискретная математика-2 на ПМИ (пилотный поток)]]

[[Алгоритмы и структуры данных_2_2016/2017 | Алгоритмы и структуры данных – 2 на ПМИ (основной поток)]]

[[Теория вероятностей_2016/2017 | Теория вероятностей на ПМИ (основной поток)]]

[[Теория_вероятностей_2016/2017_(пилотный_поток) | Теория вероятностей на ПМИ (пилотный поток)]]

[[Архитектура_компьютеров_и_операционные_системы_2016/2017 | Архитектура компьютеров и операционные системы]]

[[Факультатив_теория_вычислений_2016/2017 | Факультатив теория вычислений на ПМИ]]

[[Дополнительные_главы_теории_вероятностей_(факультатив,_2017) | Дополнительные главы теории вероятностей (факультатив)]]

[[Дифференциальные_уравнения_(2_курс,_2016/2017) | Дифференциальные уравнения]]

[[Математическая_статистика_2016/2017_(пилотный_поток) | Математическая статистика на ПМИ (пилотный поток)]]

[[Архитектура_компьютеров_и_операционные_системы_2016/2017 | Архитектура компьютеров и операционные системы ]]

||

[[НИС_Машинное_обучение_и_приложения_2016/2017 | НИС Машинное обучение и приложения на ПМИ]]

[[Машинное_обучение_1/2016_2017 | Машинное обучение 1 на ПМИ]]

[[Машинное_обучение_2/2016_2017 | Машинное обучение 2 на ПМИ]]

[[Прикладной_статистический_анализ_данных | Прикладной статистический анализ данных на ПМИ]]

[[Численные_методы_в_анализе_данных | Численные методы в анализе данных на ПМИ]]

[http://www.machinelearning.ru/wiki/index.php?title=Статистика_случайных_процессов_(курс_лекций,_ФКН_ВШЭ) Вероятностные модели и статистика случайных процессов на ПМИ]

[http://www.machinelearning.ru/wiki/index.php?title=Opt Методы оптимизации на ПМИ (специализации МОП и РС)]

[[Методы_оптимизации_(весна_2017)|Методы оптимизации 2 (дискретная оптимизация)]]

[[НИС_Распределенные_системы_(осень_2016) | НИС Распределенные системы]]

[[Анализ и верификация алгоритмов биржевой торговли | Анализ и верификация алгоритмов для систем биржевой торговли ]]

[[Программирование_на_графических_процессорах | Программирование на графических процессорах]]

[[ЯРПО | Языки разработки ПО (курс по выбору) на ПМИ]]

[[Data analysis (Software Engineering) 2017 | Data analysis на ПИ]]

[[Базы данных 2 | Базы данных 2 ]]

[[Компьютерные сети 2 | Компьютерные сети 2]]

[[Машинное_обучение_на_больших_данных | Машинное обучение на больших данных на ПМИ]]

||

[[Современные_методы_машинного_обучения_(курс_майнора) | Современные методы машинного обучения (курс майнора)]]

[[Майнор_Интеллектуальный_анализ_данных/Введение_в_программирование_2016/2017 | Введение в программирование (курс майнора)]]

[[Майнор Интеллектуальный анализ данных/Введение в анализ данных/2016-2017 | Введение в анализ данных (курс майнора)]]

[[Майнор Интеллектуальный анализ данных/Прикладные задачи анализа данных| Прикладные задачи анализа данных (курс майнора)]]

|}

{|width=100%
|style="vertical-align:top;"|



=== Курсы за 2015/16 учебный год ===
{|
|-
| [[Технологии программирования|Технологии программирования на ПМИ]]
|-
|[[ОиМП-2015|Основы и методология программирования на ПМИ]]
|-
|[[Алгоритмы и структуры данных 2016]]
|-
|[[Линейная алгебра и геометрия_2015/2016 | Линейная алгебра и геометрия на ПМИ]]
|-
|[[Алгебра_2015/2016 | Алгебра на ПМИ]]
|-
|[http://hsealgebra.wikidot.com/ Алгебра на ПИ]
|-
|[[Компьютерные системы]]
|-
|[[Математический анализ на ПМИ_2015/2016 | Математический анализ на ПМИ]]
|-
|[[Факультатив_Матпрактикум | Матпрактикум (факультатив) на ПМИ]]
|-
|[[Data analysis (Software Engineering)]] 
|-
|[[Майнор Интеллектуальный анализ данных/Введение в программирование|Введение в программирование (курс майнора) на ПМИ]]
|-
|[[Майнор Интеллектуальный анализ данных/Введение в анализ данных/2015-2016|Введение в анализ данных (курс майнора) на ПМИ]]
|-
|[[НИС Машинное обучение и приложения|НИС Машинное обучение и приложения на ПМИ]]
|-
|[[Архитектура компьютеров и системное программирование (ПМИ_4, 2015/2016)|Архитектура компьютеров и системное программирование (4 курс)]]
|-
|[[Дифференциальные уравнения (2 курс, 2015/2016)| Дифференциальные уравнения]]
|-
|[[Введение в VBA|Введение в VBA]]
|}

|style="vertical-align:top;"|



=== Курсы за 2014/15 учебный год ===
{|
|-
|[[Основы и методологии программирования]] 
|-
|[[Алгоритмы и структуры данных 2015 | Алгоритмы и структуры данных]] 
|-
|[[Анализ данных (Программная инженерия)]] 
|-
|[[Алгебра_2014/2015 | Алгебра]] 
|-
|[[Magolego_sna_2015| MAGoLEGO Social Network Analysis]]
|}

==== Проектная работа ====
{|
|-
|[[Проектная работа]] 
|-
|[[Учебная практика 1 курс (2016)]]
|-
|[[Проектная работа 2 курс (2016)]]
|}


|}

== Мероприятия факультета компьютерных наук ==
=== Summer School 2015 ===
[[Introduction to Natural Language Processing|Introduction to Natural Language Processing]]
#[[Lecture 1. Introduction|Introduction]]
#[[Lecture 2. Tokenization and word counts|Tokenization and word counts]]
#[[Lecture 3. POS tagging. Key word and phrase extraction|POS tagging. Key word and phrase extraction]]
#[[Lecture 4. Parsing|Parsing]]
#[[Lecture 5. Language sources|Language sources]]
#[[Lecture 6. Synonyms and near-synonyms detection|Synonyms and near-synonyms detection]]
#[[Lecture 8. Suffix trees for NLP|Suffix trees for NLP]]
#[[NLP References|References]]

== Архив ==
* [[Учебная практика 1 курс (2015)]]

Методы и системы обработки больших данных (осень 2018)

2018-09-13T12:36:27Z

Akhtyamovpavel:

Методы и системы обработки больших данных (осень 2018)

2018-09-13T08:13:09Z

Akhtyamovpavel: /* Домашние задания */

Методы и системы обработки больших данных (осень 2018)

2018-09-13T08:12:26Z

Akhtyamovpavel: /* Домашние задания */

Методы и системы обработки больших данных (осень 2018)

2018-09-13T08:11:39Z

Akhtyamovpavel:

Методы и системы обработки больших данных (осень 2018)

2018-09-12T19:55:49Z

Akhtyamovpavel:

Методы и системы обработки больших данных (осень 2018)

2018-09-12T19:52:59Z

Akhtyamovpavel:

Методы и системы обработки больших данных (осень 2018)

2018-09-12T19:49:37Z

Akhtyamovpavel:

Методы и системы обработки больших данных (осень 2018)

2018-09-12T19:45:34Z

Akhtyamovpavel: Added Seminar 2

Методы и системы обработки больших данных (осень 2018)

2018-09-12T19:38:15Z

Akhtyamovpavel:

Методы и системы обработки больших данных (осень 2018)

2018-09-12T19:22:18Z

Akhtyamovpavel: First version of tasks and results