Wiki - Факультет компьютерных наук - Вклад [ru]

ОАБМД-2025

2026-01-06T18:58:12Z

VeLKerr: /* Пересдачи */

= О курсе =
* Курс "Обработка и анализ больших массивов данных" (Processing and analysis of large data sets) читается для студентов 2-го курса магистратуры [https://cs.hse.ru ФКН ВШЭ] в 1-2 модулях.
* Форма контроля: экзамен, выставляется по накопу.
== Команда курса ==
* Преподаватель: Ивченко Олег
* Ассистенты:
** Павлов Дмитрий Александрович (Яндекс)
** Струнова Анастасия Сергеевна (Т-Банк)
** Чавдарь Дмитрий
** Амбарян Рудольф Андраникович (Яндекс)
** Наумов Владислав Олегович (AI VK)
** Стешенко Александр Владимирович (Яндекс)
** Кочурова Ирина Дмитриевна (ИПМ РАН им. М.В. Келдыша)
** Шукла Ритупарн (Сбер)
** Сахаров Александр Александрович (Ozon)
** Тельбаева Таншолпан (Innoforce group, Казахстан)
** Иванов Дмитрий Александрович (Luzin Research Institute, (Huawei))

= Важные ссылки =
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=0&single=true План курса]
* [https://t.me/+Gp-TPCunPDxiNTUy Чат курса]
* [https://docs.google.com/spreadsheets/d/1ZswkdcRfmBtOYPxg8oJP-r43lQNXSEbob41spZ6WeA8/edit?gid=0#gid=0 '''Таблица с оценками''']
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/materials Коды семинаров] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://drive.google.com/drive/folders/1qaElablB5ER1y07xXkPXfQcHIxzdfGZB?usp=sharing Слайды презентаций]

= Формы контроля =
Курс предполагает 3 формы контроля:
* Домашние задания: 9 баллов. '''Расчет:''' (сумма баллов за каждую ДЗ) / 2.
* Тесты: 2 балла. '''Расчет:''' (баллы за тесты * их веса) / 6.
* Бонусы: 1,5 балла. '''Расчет:''' бонус / 10.

'''Итоговая оценка вычисляется по принципу:''' '''ЕСЛИ'''(блокирущие != 0, '''ТО''' MIN((ДЗ + Тесты + Бонус) / 10; 10), '''ИНАЧЕ''' 0).
== Домашние задания ==
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/homeworks Условия домашек] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://docs.google.com/presentation/d/1eDxnTeBWSB1OrA3BwEUa2vJAJm3_OJMuoRxyA13RzTY Инструкция по работе с тестирующей системой]
* [https://docs.google.com/spreadsheets/d/1yNTa-D6ePOsvA652HZy1fNeiNOHuGSNFvB5X4iSy46I Статус проверки домашек]
На курсе 6 домашних заданий, из которых 2 блокирующие. Все ДЗ ''кроме последней'' сдаются в 2 этапа:
* Прохождение CI-тестов
* Code review
По каждой домашке существуют дедлайны. До дедлайна важно пройти '''1й этап''' сдачи.
* После мягкого дедлайна оценка снижается на 50%.
* После жесткого дедлайна сдавать можно только блокирующие ДЗ с оценкой не выше 25%.
* Окончательный дедлайн, после которого не принимаем уже ничего: '''8.01.2026, 23:59'''.

== Тесты ==
Состоится 6 контрольных, которые будут проводиться с помощью Google форм. Помимо Google форм, на контрольных будет использована система прокторинга http://exams.mipt.ru/. По [https://drive.google.com/file/d/1n0iR-IaPnT4EeEEUCksODQnjl34L8Xlc/view?usp=sharing ссылке] доступна инструкция пользователя. Желательно зарегистрироваться в системе прокторинга заранее, во время теста зарегистрироваться будет технически невозможно. На контрольных нельзя пользоваться IDE и интернетом. Код писать не потребуется.

{| class="wikitable"
|-
! Название КР
! Дата
! Длительность
|-
| ОАБМД - 2025. HDFS & MapReduce || 19.10.2025, 18:00 || 15 мин.
|-
| ОАБМД - 2025. SQL over BigData || 15.11.2025, 16:00 || 15 мин.
|-
| ОАБМД - 2025. Spark || 22.11.2025, 16:00 || 10 мин.
|-
| ОАБМД - 2025. Векторные часы || 29.11.2025, 16:00 || 10 мин.
|-
| ОАБМД - 2025. Spark streaming, Kafka & NoSQL || 13.12.2025, 16:00 || 20 мин.
|-
| ОАБМД - 2025. Финальный тест || 20.12.2025, 17:00 || 15 мин.
|}

В случае если вы не сможете написать КР в указанную дату по технической или другой уважительной причине, просьба заполнить [https://docs.google.com/forms/d/e/1FAIpQLSfai8J2r5vuq0LxuwDjHj3jQnMZDFuqwAvr164vKbdlMmzEdg/viewform?usp=dialog '''форму на дописывание''']. Дописывание состоится 20.12.2025 после последнего занятия. По [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=1367360314&single=true ссылке] доступен список студентов, допущенных к дописыванию.

== Бонусы ==
Бонус начисляется за:
* активное участие в семинарах,
* помощь коллегам в чате курса.
Возможно получить до 1,5 баллов. Количество студентов, которым может быть начислен бонус, неограничено.

= Пересдачи =
К пересдаче допускаются только те студенты, которые на момент 15.01 в личном кабинете имеют оценку < 4.
=== Домашки ===
Можно сдавать только новые домашки, а не исправлять старые. Все дедлайны снимаются, т.е. новые домашки можно сдать на полный балл.

Дедлайны общие для всех домашек:
* 1я пересдача 23.01, 23:59,
* 2я пересдача 06.02, 23:59.

=== Бонусы и тесты ===
В рамках пересдачи доступно получение баллов только за домашки. Заработать бонус (помимо тех, что уже набрали в семестре) и написать тесты нельзя.

= Список рекомендуемых материалов =
=== Основная литература ===
# Tom White, Hadoop: The Definitive Guide, 4th Edition Storage and Analysis at Internet Scale, Publisher: O'Reilly, Media Release Date: April 2015
# Karau, H., Konwinski, A., Wendell, P., & Zaharia, M, Learning Spark: Lightning-Fast Big Data Analysis
# Holden Karau et al. Learning Spark. Lightning-fast Data Analytics. Preview Edition. O’Reilly, 2015.
=== Дополнительная литература ===
# Chuck Lam. Hadoop in Action. New York: Manning Publications co.
# Alex Holmes , "Hadoop in Practice"
# Martin Fowler, "NoSQL"
# Eric Redmond, Jim R. Wilson, "Seven Databases in Seven Weeks"
# Jonathan Leibiusky, "Getting Started with Storm"
# Donald Miner, Adam Shook. MapReduce Design Patterns. O’Reilly.
# Arun C. Murthy et al. Apache Hadoop YARN. Addison-Wesley.
# Spark Core Programming. TutorialsPoint, 2015.
# Dario Simonassi, Gabriel Eisbruch, Jonathan Leibiusky. Getting Started with Storm. O’Reilly.
# Edward Capriolo, Dean Wampler, and Jason Rutherglen. Programming Hive. O’Reilly.
# Lars George. HBase: The Definitive Guide. O’Reilly.
# Eben Hewitt. Cassandra: The Definitive Guide. O’Reilly.

ОАБМД-2025

2026-01-06T18:56:11Z

VeLKerr: /* Пересдачи */

= О курсе =
* Курс "Обработка и анализ больших массивов данных" (Processing and analysis of large data sets) читается для студентов 2-го курса магистратуры [https://cs.hse.ru ФКН ВШЭ] в 1-2 модулях.
* Форма контроля: экзамен, выставляется по накопу.
== Команда курса ==
* Преподаватель: Ивченко Олег
* Ассистенты:
** Павлов Дмитрий Александрович (Яндекс)
** Струнова Анастасия Сергеевна (Т-Банк)
** Чавдарь Дмитрий
** Амбарян Рудольф Андраникович (Яндекс)
** Наумов Владислав Олегович (AI VK)
** Стешенко Александр Владимирович (Яндекс)
** Кочурова Ирина Дмитриевна (ИПМ РАН им. М.В. Келдыша)
** Шукла Ритупарн (Сбер)
** Сахаров Александр Александрович (Ozon)
** Тельбаева Таншолпан (Innoforce group, Казахстан)
** Иванов Дмитрий Александрович (Luzin Research Institute, (Huawei))

= Важные ссылки =
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=0&single=true План курса]
* [https://t.me/+Gp-TPCunPDxiNTUy Чат курса]
* [https://docs.google.com/spreadsheets/d/1ZswkdcRfmBtOYPxg8oJP-r43lQNXSEbob41spZ6WeA8/edit?gid=0#gid=0 '''Таблица с оценками''']
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/materials Коды семинаров] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://drive.google.com/drive/folders/1qaElablB5ER1y07xXkPXfQcHIxzdfGZB?usp=sharing Слайды презентаций]

= Формы контроля =
Курс предполагает 3 формы контроля:
* Домашние задания: 9 баллов. '''Расчет:''' (сумма баллов за каждую ДЗ) / 2.
* Тесты: 2 балла. '''Расчет:''' (баллы за тесты * их веса) / 6.
* Бонусы: 1,5 балла. '''Расчет:''' бонус / 10.

'''Итоговая оценка вычисляется по принципу:''' '''ЕСЛИ'''(блокирущие != 0, '''ТО''' MIN((ДЗ + Тесты + Бонус) / 10; 10), '''ИНАЧЕ''' 0).
== Домашние задания ==
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/homeworks Условия домашек] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://docs.google.com/presentation/d/1eDxnTeBWSB1OrA3BwEUa2vJAJm3_OJMuoRxyA13RzTY Инструкция по работе с тестирующей системой]
* [https://docs.google.com/spreadsheets/d/1yNTa-D6ePOsvA652HZy1fNeiNOHuGSNFvB5X4iSy46I Статус проверки домашек]
На курсе 6 домашних заданий, из которых 2 блокирующие. Все ДЗ ''кроме последней'' сдаются в 2 этапа:
* Прохождение CI-тестов
* Code review
По каждой домашке существуют дедлайны. До дедлайна важно пройти '''1й этап''' сдачи.
* После мягкого дедлайна оценка снижается на 50%.
* После жесткого дедлайна сдавать можно только блокирующие ДЗ с оценкой не выше 25%.
* Окончательный дедлайн, после которого не принимаем уже ничего: '''8.01.2026, 23:59'''.

== Тесты ==
Состоится 6 контрольных, которые будут проводиться с помощью Google форм. Помимо Google форм, на контрольных будет использована система прокторинга http://exams.mipt.ru/. По [https://drive.google.com/file/d/1n0iR-IaPnT4EeEEUCksODQnjl34L8Xlc/view?usp=sharing ссылке] доступна инструкция пользователя. Желательно зарегистрироваться в системе прокторинга заранее, во время теста зарегистрироваться будет технически невозможно. На контрольных нельзя пользоваться IDE и интернетом. Код писать не потребуется.

{| class="wikitable"
|-
! Название КР
! Дата
! Длительность
|-
| ОАБМД - 2025. HDFS & MapReduce || 19.10.2025, 18:00 || 15 мин.
|-
| ОАБМД - 2025. SQL over BigData || 15.11.2025, 16:00 || 15 мин.
|-
| ОАБМД - 2025. Spark || 22.11.2025, 16:00 || 10 мин.
|-
| ОАБМД - 2025. Векторные часы || 29.11.2025, 16:00 || 10 мин.
|-
| ОАБМД - 2025. Spark streaming, Kafka & NoSQL || 13.12.2025, 16:00 || 20 мин.
|-
| ОАБМД - 2025. Финальный тест || 20.12.2025, 17:00 || 15 мин.
|}

В случае если вы не сможете написать КР в указанную дату по технической или другой уважительной причине, просьба заполнить [https://docs.google.com/forms/d/e/1FAIpQLSfai8J2r5vuq0LxuwDjHj3jQnMZDFuqwAvr164vKbdlMmzEdg/viewform?usp=dialog '''форму на дописывание''']. Дописывание состоится 20.12.2025 после последнего занятия. По [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=1367360314&single=true ссылке] доступен список студентов, допущенных к дописыванию.

== Бонусы ==
Бонус начисляется за:
* активное участие в семинарах,
* помощь коллегам в чате курса.
Возможно получить до 1,5 баллов. Количество студентов, которым может быть начислен бонус, неограничено.

= Пересдачи =
=== Домашки ===
* Можно сдавать только новые домашки, а не исправлять старые. Все дедлайны снимаются, т.е. новые домашки можно сдать на полный балл.

Дедлайны общие для всех домашек:
* 1я пересдача 23.01, 23:59,
* 2я пересдача 06.02, 23:59.

=== Бонусы и тесты ===
В рамках пересдачи доступно получение баллов только за домашки. Заработать бонус (помимо тех, что уже набрали в семестре) и написать тесты нельзя.

= Список рекомендуемых материалов =
=== Основная литература ===
# Tom White, Hadoop: The Definitive Guide, 4th Edition Storage and Analysis at Internet Scale, Publisher: O'Reilly, Media Release Date: April 2015
# Karau, H., Konwinski, A., Wendell, P., & Zaharia, M, Learning Spark: Lightning-Fast Big Data Analysis
# Holden Karau et al. Learning Spark. Lightning-fast Data Analytics. Preview Edition. O’Reilly, 2015.
=== Дополнительная литература ===
# Chuck Lam. Hadoop in Action. New York: Manning Publications co.
# Alex Holmes , "Hadoop in Practice"
# Martin Fowler, "NoSQL"
# Eric Redmond, Jim R. Wilson, "Seven Databases in Seven Weeks"
# Jonathan Leibiusky, "Getting Started with Storm"
# Donald Miner, Adam Shook. MapReduce Design Patterns. O’Reilly.
# Arun C. Murthy et al. Apache Hadoop YARN. Addison-Wesley.
# Spark Core Programming. TutorialsPoint, 2015.
# Dario Simonassi, Gabriel Eisbruch, Jonathan Leibiusky. Getting Started with Storm. O’Reilly.
# Edward Capriolo, Dean Wampler, and Jason Rutherglen. Programming Hive. O’Reilly.
# Lars George. HBase: The Definitive Guide. O’Reilly.
# Eben Hewitt. Cassandra: The Definitive Guide. O’Reilly.

ОАБМД-2025

2026-01-06T18:48:32Z

VeLKerr:

= О курсе =
* Курс "Обработка и анализ больших массивов данных" (Processing and analysis of large data sets) читается для студентов 2-го курса магистратуры [https://cs.hse.ru ФКН ВШЭ] в 1-2 модулях.
* Форма контроля: экзамен, выставляется по накопу.
== Команда курса ==
* Преподаватель: Ивченко Олег
* Ассистенты:
** Павлов Дмитрий Александрович (Яндекс)
** Струнова Анастасия Сергеевна (Т-Банк)
** Чавдарь Дмитрий
** Амбарян Рудольф Андраникович (Яндекс)
** Наумов Владислав Олегович (AI VK)
** Стешенко Александр Владимирович (Яндекс)
** Кочурова Ирина Дмитриевна (ИПМ РАН им. М.В. Келдыша)
** Шукла Ритупарн (Сбер)
** Сахаров Александр Александрович (Ozon)
** Тельбаева Таншолпан (Innoforce group, Казахстан)
** Иванов Дмитрий Александрович (Luzin Research Institute, (Huawei))

= Важные ссылки =
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=0&single=true План курса]
* [https://t.me/+Gp-TPCunPDxiNTUy Чат курса]
* [https://docs.google.com/spreadsheets/d/1ZswkdcRfmBtOYPxg8oJP-r43lQNXSEbob41spZ6WeA8/edit?gid=0#gid=0 '''Таблица с оценками''']
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/materials Коды семинаров] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://drive.google.com/drive/folders/1qaElablB5ER1y07xXkPXfQcHIxzdfGZB?usp=sharing Слайды презентаций]

= Формы контроля =
Курс предполагает 3 формы контроля:
* Домашние задания: 9 баллов. '''Расчет:''' (сумма баллов за каждую ДЗ) / 2.
* Тесты: 2 балла. '''Расчет:''' (баллы за тесты * их веса) / 6.
* Бонусы: 1,5 балла. '''Расчет:''' бонус / 10.

'''Итоговая оценка вычисляется по принципу:''' '''ЕСЛИ'''(блокирущие != 0, '''ТО''' MIN((ДЗ + Тесты + Бонус) / 10; 10), '''ИНАЧЕ''' 0).
== Домашние задания ==
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/homeworks Условия домашек] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://docs.google.com/presentation/d/1eDxnTeBWSB1OrA3BwEUa2vJAJm3_OJMuoRxyA13RzTY Инструкция по работе с тестирующей системой]
* [https://docs.google.com/spreadsheets/d/1yNTa-D6ePOsvA652HZy1fNeiNOHuGSNFvB5X4iSy46I Статус проверки домашек]
На курсе 6 домашних заданий, из которых 2 блокирующие. Все ДЗ ''кроме последней'' сдаются в 2 этапа:
* Прохождение CI-тестов
* Code review
По каждой домашке существуют дедлайны. До дедлайна важно пройти '''1й этап''' сдачи.
* После мягкого дедлайна оценка снижается на 50%.
* После жесткого дедлайна сдавать можно только блокирующие ДЗ с оценкой не выше 25%.
* Окончательный дедлайн, после которого не принимаем уже ничего: '''8.01.2026, 23:59'''.

== Тесты ==
Состоится 6 контрольных, которые будут проводиться с помощью Google форм. Помимо Google форм, на контрольных будет использована система прокторинга http://exams.mipt.ru/. По [https://drive.google.com/file/d/1n0iR-IaPnT4EeEEUCksODQnjl34L8Xlc/view?usp=sharing ссылке] доступна инструкция пользователя. Желательно зарегистрироваться в системе прокторинга заранее, во время теста зарегистрироваться будет технически невозможно. На контрольных нельзя пользоваться IDE и интернетом. Код писать не потребуется.

{| class="wikitable"
|-
! Название КР
! Дата
! Длительность
|-
| ОАБМД - 2025. HDFS & MapReduce || 19.10.2025, 18:00 || 15 мин.
|-
| ОАБМД - 2025. SQL over BigData || 15.11.2025, 16:00 || 15 мин.
|-
| ОАБМД - 2025. Spark || 22.11.2025, 16:00 || 10 мин.
|-
| ОАБМД - 2025. Векторные часы || 29.11.2025, 16:00 || 10 мин.
|-
| ОАБМД - 2025. Spark streaming, Kafka & NoSQL || 13.12.2025, 16:00 || 20 мин.
|-
| ОАБМД - 2025. Финальный тест || 20.12.2025, 17:00 || 15 мин.
|}

В случае если вы не сможете написать КР в указанную дату по технической или другой уважительной причине, просьба заполнить [https://docs.google.com/forms/d/e/1FAIpQLSfai8J2r5vuq0LxuwDjHj3jQnMZDFuqwAvr164vKbdlMmzEdg/viewform?usp=dialog '''форму на дописывание''']. Дописывание состоится 20.12.2025 после последнего занятия. По [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=1367360314&single=true ссылке] доступен список студентов, допущенных к дописыванию.

== Бонусы ==
Бонус начисляется за:
* активное участие в семинарах,
* помощь коллегам в чате курса.
Возможно получить до 1,5 баллов. Количество студентов, которым может быть начислен бонус, неограничено.

= Пересдачи =
== Домашки ==
Пересдача представляет собой '''сдачу домашек'''.
* Можно сдавать только новые домашки, а не исправлять старые.
* Все дедлайны снимаются, т.е. новые домашки можно сдать на полный балл.

= Список рекомендуемых материалов =
=== Основная литература ===
# Tom White, Hadoop: The Definitive Guide, 4th Edition Storage and Analysis at Internet Scale, Publisher: O'Reilly, Media Release Date: April 2015
# Karau, H., Konwinski, A., Wendell, P., & Zaharia, M, Learning Spark: Lightning-Fast Big Data Analysis
# Holden Karau et al. Learning Spark. Lightning-fast Data Analytics. Preview Edition. O’Reilly, 2015.
=== Дополнительная литература ===
# Chuck Lam. Hadoop in Action. New York: Manning Publications co.
# Alex Holmes , "Hadoop in Practice"
# Martin Fowler, "NoSQL"
# Eric Redmond, Jim R. Wilson, "Seven Databases in Seven Weeks"
# Jonathan Leibiusky, "Getting Started with Storm"
# Donald Miner, Adam Shook. MapReduce Design Patterns. O’Reilly.
# Arun C. Murthy et al. Apache Hadoop YARN. Addison-Wesley.
# Spark Core Programming. TutorialsPoint, 2015.
# Dario Simonassi, Gabriel Eisbruch, Jonathan Leibiusky. Getting Started with Storm. O’Reilly.
# Edward Capriolo, Dean Wampler, and Jason Rutherglen. Programming Hive. O’Reilly.
# Lars George. HBase: The Definitive Guide. O’Reilly.
# Eben Hewitt. Cassandra: The Definitive Guide. O’Reilly.

ОАБМД-2025

2025-12-19T14:35:21Z

VeLKerr: /* Тесты */

= О курсе =
* Курс "Обработка и анализ больших массивов данных" (Processing and analysis of large data sets) читается для студентов 2-го курса магистратуры [https://cs.hse.ru ФКН ВШЭ] в 1-2 модулях.
* Форма контроля: экзамен, выставляется по накопу.
== Команда курса ==
* Преподаватель: Ивченко Олег
* Ассистенты:
** Павлов Дмитрий Александрович (Яндекс)
** Струнова Анастасия Сергеевна (Т-Банк)
** Чавдарь Дмитрий
** Амбарян Рудольф Андраникович (Яндекс)
** Наумов Владислав Олегович (AI VK)
** Стешенко Александр Владимирович (Яндекс)
** Кочурова Ирина Дмитриевна (ИПМ РАН им. М.В. Келдыша)
** Шукла Ритупарн (Сбер)
** Сахаров Александр Александрович (Ozon)
** Тельбаева Таншолпан (Innoforce group, Казахстан)
** Иванов Дмитрий Александрович (Luzin Research Institute, (Huawei))

= Важные ссылки =
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=0&single=true План курса]
* [https://t.me/+Gp-TPCunPDxiNTUy Чат курса]
* [https://docs.google.com/spreadsheets/d/1ZswkdcRfmBtOYPxg8oJP-r43lQNXSEbob41spZ6WeA8/edit?gid=0#gid=0 '''Таблица с оценками''']
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/materials Коды семинаров] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://drive.google.com/drive/folders/1qaElablB5ER1y07xXkPXfQcHIxzdfGZB?usp=sharing Слайды презентаций]

= Формы контроля =
Курс предполагает 3 формы контроля:
* Домашние задания: 9 баллов. '''Расчет:''' (сумма баллов за каждую ДЗ) / 2.
* Тесты: 2 балла. '''Расчет:''' (баллы за тесты * их веса) / 6.
* Бонусы: 1,5 балла. '''Расчет:''' бонус / 10.

'''Итоговая оценка вычисляется по принципу:''' '''ЕСЛИ'''(блокирущие != 0, '''ТО''' MIN((ДЗ + Тесты + Бонус) / 10; 10), '''ИНАЧЕ''' 0).
== Домашние задания ==
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/homeworks Условия домашек] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://docs.google.com/presentation/d/1eDxnTeBWSB1OrA3BwEUa2vJAJm3_OJMuoRxyA13RzTY Инструкция по работе с тестирующей системой]
* [https://docs.google.com/spreadsheets/d/1yNTa-D6ePOsvA652HZy1fNeiNOHuGSNFvB5X4iSy46I Статус проверки домашек]
На курсе 6 домашних заданий, из которых 2 блокирующие. Все ДЗ ''кроме последней'' сдаются в 2 этапа:
* Прохождение CI-тестов
* Code review
По каждой домашке существуют дедлайны. До дедлайна важно пройти '''1й этап''' сдачи.
* После мягкого дедлайна оценка снижается на 50%.
* После жесткого дедлайна сдавать можно только блокирующие ДЗ с оценкой не выше 25%.
* Окончательный дедлайн, после которого не принимаем уже ничего: '''8.01.2026, 23:59'''.

== Тесты ==
Состоится 6 контрольных, которые будут проводиться с помощью Google форм. Помимо Google форм, на контрольных будет использована система прокторинга http://exams.mipt.ru/. По [https://drive.google.com/file/d/1n0iR-IaPnT4EeEEUCksODQnjl34L8Xlc/view?usp=sharing ссылке] доступна инструкция пользователя. Желательно зарегистрироваться в системе прокторинга заранее, во время теста зарегистрироваться будет технически невозможно. На контрольных нельзя пользоваться IDE и интернетом. Код писать не потребуется.

{| class="wikitable"
|-
! Название КР
! Дата
! Длительность
|-
| ОАБМД - 2025. HDFS & MapReduce || 19.10.2025, 18:00 || 15 мин.
|-
| ОАБМД - 2025. SQL over BigData || 15.11.2025, 16:00 || 15 мин.
|-
| ОАБМД - 2025. Spark || 22.11.2025, 16:00 || 10 мин.
|-
| ОАБМД - 2025. Векторные часы || 29.11.2025, 16:00 || 10 мин.
|-
| ОАБМД - 2025. Spark streaming, Kafka & NoSQL || 13.12.2025, 16:00 || 20 мин.
|-
| ОАБМД - 2025. Финальный тест || 20.12.2025, 17:00 || 15 мин.
|}

В случае если вы не сможете написать КР в указанную дату по технической или другой уважительной причине, просьба заполнить [https://docs.google.com/forms/d/e/1FAIpQLSfai8J2r5vuq0LxuwDjHj3jQnMZDFuqwAvr164vKbdlMmzEdg/viewform?usp=dialog '''форму на дописывание''']. Дописывание состоится 20.12.2025 после последнего занятия. По [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=1367360314&single=true ссылке] доступен список студентов, допущенных к дописыванию.

== Бонусы ==
Бонус начисляется за:
* активное участие в семинарах,
* помощь коллегам в чате курса.
Возможно получить до 1,5 баллов. Количество студентов, которым может быть начислен бонус, неограничено.

= Список рекомендуемых материалов =
=== Основная литература ===
# Tom White, Hadoop: The Definitive Guide, 4th Edition Storage and Analysis at Internet Scale, Publisher: O'Reilly, Media Release Date: April 2015
# Karau, H., Konwinski, A., Wendell, P., & Zaharia, M, Learning Spark: Lightning-Fast Big Data Analysis
# Holden Karau et al. Learning Spark. Lightning-fast Data Analytics. Preview Edition. O’Reilly, 2015.
=== Дополнительная литература ===
# Chuck Lam. Hadoop in Action. New York: Manning Publications co.
# Alex Holmes , "Hadoop in Practice"
# Martin Fowler, "NoSQL"
# Eric Redmond, Jim R. Wilson, "Seven Databases in Seven Weeks"
# Jonathan Leibiusky, "Getting Started with Storm"
# Donald Miner, Adam Shook. MapReduce Design Patterns. O’Reilly.
# Arun C. Murthy et al. Apache Hadoop YARN. Addison-Wesley.
# Spark Core Programming. TutorialsPoint, 2015.
# Dario Simonassi, Gabriel Eisbruch, Jonathan Leibiusky. Getting Started with Storm. O’Reilly.
# Edward Capriolo, Dean Wampler, and Jason Rutherglen. Programming Hive. O’Reilly.
# Lars George. HBase: The Definitive Guide. O’Reilly.
# Eben Hewitt. Cassandra: The Definitive Guide. O’Reilly.

ОАБМД-2025

2025-12-15T11:10:26Z

VeLKerr: /* Тесты */

= О курсе =
* Курс "Обработка и анализ больших массивов данных" (Processing and analysis of large data sets) читается для студентов 2-го курса магистратуры [https://cs.hse.ru ФКН ВШЭ] в 1-2 модулях.
* Форма контроля: экзамен, выставляется по накопу.
== Команда курса ==
* Преподаватель: Ивченко Олег
* Ассистенты:
** Павлов Дмитрий Александрович (Яндекс)
** Струнова Анастасия Сергеевна (Т-Банк)
** Чавдарь Дмитрий
** Амбарян Рудольф Андраникович (Яндекс)
** Наумов Владислав Олегович (AI VK)
** Стешенко Александр Владимирович (Яндекс)
** Кочурова Ирина Дмитриевна (ИПМ РАН им. М.В. Келдыша)
** Шукла Ритупарн (Сбер)
** Сахаров Александр Александрович (Ozon)
** Тельбаева Таншолпан (Innoforce group, Казахстан)
** Иванов Дмитрий Александрович (Luzin Research Institute, (Huawei))

= Важные ссылки =
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=0&single=true План курса]
* [https://t.me/+Gp-TPCunPDxiNTUy Чат курса]
* [https://docs.google.com/spreadsheets/d/1ZswkdcRfmBtOYPxg8oJP-r43lQNXSEbob41spZ6WeA8/edit?gid=0#gid=0 '''Таблица с оценками''']
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/materials Коды семинаров] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://drive.google.com/drive/folders/1qaElablB5ER1y07xXkPXfQcHIxzdfGZB?usp=sharing Слайды презентаций]

= Формы контроля =
Курс предполагает 3 формы контроля:
* Домашние задания: 9 баллов. '''Расчет:''' (сумма баллов за каждую ДЗ) / 2.
* Тесты: 2 балла. '''Расчет:''' (баллы за тесты * их веса) / 6.
* Бонусы: 1,5 балла. '''Расчет:''' бонус / 10.

'''Итоговая оценка вычисляется по принципу:''' '''ЕСЛИ'''(блокирущие != 0, '''ТО''' MIN((ДЗ + Тесты + Бонус) / 10; 10), '''ИНАЧЕ''' 0).
== Домашние задания ==
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/homeworks Условия домашек] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://docs.google.com/presentation/d/1eDxnTeBWSB1OrA3BwEUa2vJAJm3_OJMuoRxyA13RzTY Инструкция по работе с тестирующей системой]
* [https://docs.google.com/spreadsheets/d/1yNTa-D6ePOsvA652HZy1fNeiNOHuGSNFvB5X4iSy46I Статус проверки домашек]
На курсе 6 домашних заданий, из которых 2 блокирующие. Все ДЗ ''кроме последней'' сдаются в 2 этапа:
* Прохождение CI-тестов
* Code review
По каждой домашке существуют дедлайны. До дедлайна важно пройти '''1й этап''' сдачи.
* После мягкого дедлайна оценка снижается на 50%.
* После жесткого дедлайна сдавать можно только блокирующие ДЗ с оценкой не выше 25%.
* Окончательный дедлайн, после которого не принимаем уже ничего: '''8.01.2026, 23:59'''.

== Тесты ==
Состоится 6 контрольных, которые будут проводиться с помощью Google форм, их можно заполнять с компьютера или телефона. На контрольных нельзя пользоваться IDE и интернетом. Код писать не потребуется.

{| class="wikitable"
|-
! Название КР
! Дата
! Длительность
|-
| ОАБМД - 2025. HDFS & MapReduce || 19.10.2025, 18:00 || 15 мин.
|-
| ОАБМД - 2025. SQL over BigData || 15.11.2025, 16:00 || 15 мин.
|-
| ОАБМД - 2025. Spark || 22.11.2025, 16:00 || 10 мин.
|-
| ОАБМД - 2025. Векторные часы || 29.11.2025, 16:00 || 10 мин.
|-
| ОАБМД - 2025. Spark streaming, Kafka & NoSQL || 13.12.2025, 16:00 || 20 мин.
|-
| ОАБМД - 2025. Финальный тест || 20.12.2025, 17:00 || 15 мин.
|}

В случае если вы не сможете написать КР в указанную дату по технической или другой уважительной причине, просьба заполнить [https://docs.google.com/forms/d/e/1FAIpQLSfai8J2r5vuq0LxuwDjHj3jQnMZDFuqwAvr164vKbdlMmzEdg/viewform?usp=dialog '''форму на дописывание''']. Дописывание состоится 20.12.2025 после последнего занятия. Помимо Google форм, на дописывании будет использована система прокторинга http://exams.mipt.ru/. По [https://drive.google.com/file/d/1n0iR-IaPnT4EeEEUCksODQnjl34L8Xlc/view?usp=sharing ссылке] доступна инструкция пользователя. Желательно зарегистрироваться в системе прокторинга заранее если вы планируете идти на дописывание.

== Бонусы ==
Бонус начисляется за:
* активное участие в семинарах,
* помощь коллегам в чате курса.
Возможно получить до 1,5 баллов. Количество студентов, которым может быть начислен бонус, неограничено.

= Список рекомендуемых материалов =
=== Основная литература ===
# Tom White, Hadoop: The Definitive Guide, 4th Edition Storage and Analysis at Internet Scale, Publisher: O'Reilly, Media Release Date: April 2015
# Karau, H., Konwinski, A., Wendell, P., & Zaharia, M, Learning Spark: Lightning-Fast Big Data Analysis
# Holden Karau et al. Learning Spark. Lightning-fast Data Analytics. Preview Edition. O’Reilly, 2015.
=== Дополнительная литература ===
# Chuck Lam. Hadoop in Action. New York: Manning Publications co.
# Alex Holmes , "Hadoop in Practice"
# Martin Fowler, "NoSQL"
# Eric Redmond, Jim R. Wilson, "Seven Databases in Seven Weeks"
# Jonathan Leibiusky, "Getting Started with Storm"
# Donald Miner, Adam Shook. MapReduce Design Patterns. O’Reilly.
# Arun C. Murthy et al. Apache Hadoop YARN. Addison-Wesley.
# Spark Core Programming. TutorialsPoint, 2015.
# Dario Simonassi, Gabriel Eisbruch, Jonathan Leibiusky. Getting Started with Storm. O’Reilly.
# Edward Capriolo, Dean Wampler, and Jason Rutherglen. Programming Hive. O’Reilly.
# Lars George. HBase: The Definitive Guide. O’Reilly.
# Eben Hewitt. Cassandra: The Definitive Guide. O’Reilly.

ОАБМД-2025

2025-11-30T00:54:22Z

VeLKerr: /* Важные ссылки */

= О курсе =
* Курс "Обработка и анализ больших массивов данных" (Processing and analysis of large data sets) читается для студентов 2-го курса магистратуры [https://cs.hse.ru ФКН ВШЭ] в 1-2 модулях.
* Форма контроля: экзамен, выставляется по накопу.
== Команда курса ==
* Преподаватель: Ивченко Олег
* Ассистенты:
** Павлов Дмитрий Александрович (Яндекс)
** Струнова Анастасия Сергеевна (Т-Банк)
** Чавдарь Дмитрий
** Амбарян Рудольф Андраникович (Яндекс)
** Наумов Владислав Олегович (AI VK)
** Стешенко Александр Владимирович (Яндекс)
** Кочурова Ирина Дмитриевна (ИПМ РАН им. М.В. Келдыша)
** Шукла Ритупарн (Сбер)
** Сахаров Александр Александрович (Ozon)
** Тельбаева Таншолпан (Innoforce group, Казахстан)
** Иванов Дмитрий Александрович (Luzin Research Institute, (Huawei))

= Важные ссылки =
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=0&single=true План курса]
* [https://t.me/+Gp-TPCunPDxiNTUy Чат курса]
* [https://docs.google.com/spreadsheets/d/1ZswkdcRfmBtOYPxg8oJP-r43lQNXSEbob41spZ6WeA8/edit?gid=0#gid=0 '''Таблица с оценками''']
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/materials Коды семинаров] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://drive.google.com/drive/folders/1qaElablB5ER1y07xXkPXfQcHIxzdfGZB?usp=sharing Слайды презентаций]

= Формы контроля =
Курс предполагает 3 формы контроля:
* Домашние задания: 9 баллов. '''Расчет:''' (сумма баллов за каждую ДЗ) / 2.
* Тесты: 2 балла. '''Расчет:''' (баллы за тесты * их веса) / 6.
* Бонусы: 1,5 балла. '''Расчет:''' бонус / 10.

'''Итоговая оценка вычисляется по принципу:''' '''ЕСЛИ'''(блокирущие != 0, '''ТО''' MIN((ДЗ + Тесты + Бонус) / 10; 10), '''ИНАЧЕ''' 0).
== Домашние задания ==
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/homeworks Условия домашек] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://docs.google.com/presentation/d/1eDxnTeBWSB1OrA3BwEUa2vJAJm3_OJMuoRxyA13RzTY Инструкция по работе с тестирующей системой]
* [https://docs.google.com/spreadsheets/d/1yNTa-D6ePOsvA652HZy1fNeiNOHuGSNFvB5X4iSy46I Статус проверки домашек]
На курсе 6 домашних заданий, из которых 2 блокирующие. Все ДЗ ''кроме последней'' сдаются в 2 этапа:
* Прохождение CI-тестов
* Code review
По каждой домашке существуют дедлайны. До дедлайна важно пройти '''1й этап''' сдачи.
* После мягкого дедлайна оценка снижается на 50%.
* После жесткого дедлайна сдавать можно только блокирующие ДЗ с оценкой не выше 25%.
* Окончательный дедлайн, после которого не принимаем уже ничего: '''8.01.2026, 23:59'''.

== Тесты ==
Состоится 6 контрольных, которые будут проводиться с помощью Google форм, их можно заполнять с компьютера или телефона. На контрольных нельзя пользоваться IDE и интернетом. Код писать не потребуется.

{| class="wikitable"
|-
! Название КР
! Дата
! Длительность
|-
| ОАБМД - 2025. HDFS & MapReduce || 19.10.2025, 18:00 || 15 мин.
|-
| ОАБМД - 2025. SQL over BigData || 15.11.2025, 16:00 || 15 мин.
|-
| ОАБМД - 2025. Spark || 22.11.2025, 16:00 || 10 мин.
|-
| ОАБМД - 2025. Векторные часы || 29.11.2025, 16:00 || 10 мин.
|-
| ОАБМД - 2025. Spark streaming, Kafka & NoSQL || 13.12.2025, 16:00 || 20 мин.
|-
| ОАБМД - 2025. Финальный тест || 20.12.2025, 16:00 || 15 мин.
|}

В случае если вы не сможете написать КР в указанную дату по технической или другой уважительной причине, просьба заполнить [https://docs.google.com/forms/d/e/1FAIpQLSfai8J2r5vuq0LxuwDjHj3jQnMZDFuqwAvr164vKbdlMmzEdg/viewform?usp=dialog '''форму на дописывание''']. Дописывание состоится 20.12.2025 во время последнего занятия. Помимо Google форм, на дописывании будет использована система прокторинга http://exams.mipt.ru/. По [https://drive.google.com/file/d/1n0iR-IaPnT4EeEEUCksODQnjl34L8Xlc/view?usp=sharing ссылке] доступна инструкция пользователя. Желательно зарегистрироваться в системе прокторинга заранее если вы планируете идти на дописывание.

== Бонусы ==
Бонус начисляется за:
* активное участие в семинарах,
* помощь коллегам в чате курса.
Возможно получить до 1,5 баллов. Количество студентов, которым может быть начислен бонус, неограничено.

= Список рекомендуемых материалов =
=== Основная литература ===
# Tom White, Hadoop: The Definitive Guide, 4th Edition Storage and Analysis at Internet Scale, Publisher: O'Reilly, Media Release Date: April 2015
# Karau, H., Konwinski, A., Wendell, P., & Zaharia, M, Learning Spark: Lightning-Fast Big Data Analysis
# Holden Karau et al. Learning Spark. Lightning-fast Data Analytics. Preview Edition. O’Reilly, 2015.
=== Дополнительная литература ===
# Chuck Lam. Hadoop in Action. New York: Manning Publications co.
# Alex Holmes , "Hadoop in Practice"
# Martin Fowler, "NoSQL"
# Eric Redmond, Jim R. Wilson, "Seven Databases in Seven Weeks"
# Jonathan Leibiusky, "Getting Started with Storm"
# Donald Miner, Adam Shook. MapReduce Design Patterns. O’Reilly.
# Arun C. Murthy et al. Apache Hadoop YARN. Addison-Wesley.
# Spark Core Programming. TutorialsPoint, 2015.
# Dario Simonassi, Gabriel Eisbruch, Jonathan Leibiusky. Getting Started with Storm. O’Reilly.
# Edward Capriolo, Dean Wampler, and Jason Rutherglen. Programming Hive. O’Reilly.
# Lars George. HBase: The Definitive Guide. O’Reilly.
# Eben Hewitt. Cassandra: The Definitive Guide. O’Reilly.

ОАБМД-2025

2025-11-25T16:05:05Z

VeLKerr: /* Домашние задания */

= О курсе =
* Курс "Обработка и анализ больших массивов данных" (Processing and analysis of large data sets) читается для студентов 2-го курса магистратуры [https://cs.hse.ru ФКН ВШЭ] в 1-2 модулях.
* Форма контроля: экзамен, выставляется по накопу.
== Команда курса ==
* Преподаватель: Ивченко Олег
* Ассистенты:
** Павлов Дмитрий Александрович (Яндекс)
** Струнова Анастасия Сергеевна (Т-Банк)
** Чавдарь Дмитрий
** Амбарян Рудольф Андраникович (Яндекс)
** Наумов Владислав Олегович (AI VK)
** Стешенко Александр Владимирович (Яндекс)
** Кочурова Ирина Дмитриевна (ИПМ РАН им. М.В. Келдыша)
** Шукла Ритупарн (Сбер)
** Сахаров Александр Александрович (Ozon)
** Тельбаева Таншолпан (Innoforce group, Казахстан)
** Иванов Дмитрий Александрович (Luzin Research Institute, (Huawei))

= Важные ссылки =
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=0&single=true План курса]
* [https://t.me/+Gp-TPCunPDxiNTUy Чат курса]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=1360422414&single=true '''Таблица с оценками''']
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/materials Коды семинаров] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://drive.google.com/drive/folders/1qaElablB5ER1y07xXkPXfQcHIxzdfGZB?usp=sharing Слайды презентаций]

= Формы контроля =
Курс предполагает 3 формы контроля:
* Домашние задания: 9 баллов. '''Расчет:''' (сумма баллов за каждую ДЗ) / 2.
* Тесты: 2 балла. '''Расчет:''' (баллы за тесты * их веса) / 6.
* Бонусы: 1,5 балла. '''Расчет:''' бонус / 10.

'''Итоговая оценка вычисляется по принципу:''' '''ЕСЛИ'''(блокирущие != 0, '''ТО''' MIN((ДЗ + Тесты + Бонус) / 10; 10), '''ИНАЧЕ''' 0).
== Домашние задания ==
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/homeworks Условия домашек] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://docs.google.com/presentation/d/1eDxnTeBWSB1OrA3BwEUa2vJAJm3_OJMuoRxyA13RzTY Инструкция по работе с тестирующей системой]
* [https://docs.google.com/spreadsheets/d/1yNTa-D6ePOsvA652HZy1fNeiNOHuGSNFvB5X4iSy46I Статус проверки домашек]
На курсе 6 домашних заданий, из которых 2 блокирующие. Все ДЗ ''кроме последней'' сдаются в 2 этапа:
* Прохождение CI-тестов
* Code review
По каждой домашке существуют дедлайны. До дедлайна важно пройти '''1й этап''' сдачи.
* После мягкого дедлайна оценка снижается на 50%.
* После жесткого дедлайна сдавать можно только блокирующие ДЗ с оценкой не выше 25%.
* Окончательный дедлайн, после которого не принимаем уже ничего: '''8.01.2026, 23:59'''.

== Тесты ==
Состоится 6 контрольных, которые будут проводиться с помощью Google форм, их можно заполнять с компьютера или телефона. На контрольных нельзя пользоваться IDE и интернетом. Код писать не потребуется.

{| class="wikitable"
|-
! Название КР
! Дата
! Длительность
|-
| ОАБМД - 2025. HDFS & MapReduce || 19.10.2025, 18:00 || 15 мин.
|-
| ОАБМД - 2025. SQL over BigData || 15.11.2025, 16:00 || 15 мин.
|-
| ОАБМД - 2025. Spark || 22.11.2025, 16:00 || 10 мин.
|-
| ОАБМД - 2025. Векторные часы || 29.11.2025, 16:00 || 10 мин.
|-
| ОАБМД - 2025. Spark streaming, Kafka & NoSQL || 13.12.2025, 16:00 || 20 мин.
|-
| ОАБМД - 2025. Финальный тест || 20.12.2025, 16:00 || 15 мин.
|}

В случае если вы не сможете написать КР в указанную дату по технической или другой уважительной причине, просьба заполнить [https://docs.google.com/forms/d/e/1FAIpQLSfai8J2r5vuq0LxuwDjHj3jQnMZDFuqwAvr164vKbdlMmzEdg/viewform?usp=dialog '''форму на дописывание''']. Дописывание состоится 20.12.2025 во время последнего занятия. Помимо Google форм, на дописывании будет использована система прокторинга http://exams.mipt.ru/. По [https://drive.google.com/file/d/1n0iR-IaPnT4EeEEUCksODQnjl34L8Xlc/view?usp=sharing ссылке] доступна инструкция пользователя. Желательно зарегистрироваться в системе прокторинга заранее если вы планируете идти на дописывание.

== Бонусы ==
Бонус начисляется за:
* активное участие в семинарах,
* помощь коллегам в чате курса.
Возможно получить до 1,5 баллов. Количество студентов, которым может быть начислен бонус, неограничено.

= Список рекомендуемых материалов =
=== Основная литература ===
# Tom White, Hadoop: The Definitive Guide, 4th Edition Storage and Analysis at Internet Scale, Publisher: O'Reilly, Media Release Date: April 2015
# Karau, H., Konwinski, A., Wendell, P., & Zaharia, M, Learning Spark: Lightning-Fast Big Data Analysis
# Holden Karau et al. Learning Spark. Lightning-fast Data Analytics. Preview Edition. O’Reilly, 2015.
=== Дополнительная литература ===
# Chuck Lam. Hadoop in Action. New York: Manning Publications co.
# Alex Holmes , "Hadoop in Practice"
# Martin Fowler, "NoSQL"
# Eric Redmond, Jim R. Wilson, "Seven Databases in Seven Weeks"
# Jonathan Leibiusky, "Getting Started with Storm"
# Donald Miner, Adam Shook. MapReduce Design Patterns. O’Reilly.
# Arun C. Murthy et al. Apache Hadoop YARN. Addison-Wesley.
# Spark Core Programming. TutorialsPoint, 2015.
# Dario Simonassi, Gabriel Eisbruch, Jonathan Leibiusky. Getting Started with Storm. O’Reilly.
# Edward Capriolo, Dean Wampler, and Jason Rutherglen. Programming Hive. O’Reilly.
# Lars George. HBase: The Definitive Guide. O’Reilly.
# Eben Hewitt. Cassandra: The Definitive Guide. O’Reilly.

ОАБМД-2025

2025-11-21T01:56:49Z

VeLKerr: /* Формы контроля */

= О курсе =
* Курс "Обработка и анализ больших массивов данных" (Processing and analysis of large data sets) читается для студентов 2-го курса магистратуры [https://cs.hse.ru ФКН ВШЭ] в 1-2 модулях.
* Форма контроля: экзамен, выставляется по накопу.
== Команда курса ==
* Преподаватель: Ивченко Олег
* Ассистенты:
** Павлов Дмитрий Александрович (Яндекс)
** Струнова Анастасия Сергеевна (Т-Банк)
** Чавдарь Дмитрий
** Амбарян Рудольф Андраникович (Яндекс)
** Наумов Владислав Олегович (AI VK)
** Стешенко Александр Владимирович (Яндекс)
** Кочурова Ирина Дмитриевна (ИПМ РАН им. М.В. Келдыша)
** Шукла Ритупарн (Сбер)
** Сахаров Александр Александрович (Ozon)
** Тельбаева Таншолпан (Innoforce group, Казахстан)
** Иванов Дмитрий Александрович (Luzin Research Institute, (Huawei))

= Важные ссылки =
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=0&single=true План курса]
* [https://t.me/+Gp-TPCunPDxiNTUy Чат курса]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=1360422414&single=true '''Таблица с оценками''']
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/materials Коды семинаров] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://drive.google.com/drive/folders/1qaElablB5ER1y07xXkPXfQcHIxzdfGZB?usp=sharing Слайды презентаций]

= Формы контроля =
Курс предполагает 3 формы контроля:
* Домашние задания: 9 баллов. '''Расчет:''' (сумма баллов за каждую ДЗ) / 2.
* Тесты: 2 балла. '''Расчет:''' (баллы за тесты * их веса) / 6.
* Бонусы: 1,5 балла. '''Расчет:''' бонус / 10.

'''Итоговая оценка вычисляется по принципу:''' '''ЕСЛИ'''(блокирущие != 0, '''ТО''' MIN((ДЗ + Тесты + Бонус) / 10; 10), '''ИНАЧЕ''' 0).
== Домашние задания ==
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/homeworks Условия домашек] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://docs.google.com/presentation/d/1eDxnTeBWSB1OrA3BwEUa2vJAJm3_OJMuoRxyA13RzTY/edit?slide=id.p#slide=id.p Инструкция по работе с тестирующей системой]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=106688933&single=true Статус проверки домашек]
На курсе 6 домашних заданий, из которых 2 блокирующие. Все ДЗ ''кроме последней'' сдаются в 2 этапа:
* Прохождение CI-тестов
* Code review
По каждой домашке существуют дедлайны. До дедлайна важно пройти '''1й этап''' сдачи.
* После мягкого дедлайна оценка снижается на 50%.
* После жесткого дедлайна сдавать можно только блокирующие ДЗ с оценкой не выше 25%.
* Окончательный дедлайн, после которого не принимаем уже ничего: '''8.01.2026, 23:59'''.

== Тесты ==
Состоится 6 контрольных, которые будут проводиться с помощью Google форм, их можно заполнять с компьютера или телефона. На контрольных нельзя пользоваться IDE и интернетом. Код писать не потребуется.

{| class="wikitable"
|-
! Название КР
! Дата
! Длительность
|-
| ОАБМД - 2025. HDFS & MapReduce || 19.10.2025, 18:00 || 15 мин.
|-
| ОАБМД - 2025. SQL over BigData || 15.11.2025, 16:00 || 15 мин.
|-
| ОАБМД - 2025. Spark || 22.11.2025, 16:00 || 10 мин.
|-
| ОАБМД - 2025. Векторные часы || 29.11.2025, 16:00 || 10 мин.
|-
| ОАБМД - 2025. Spark streaming, Kafka & NoSQL || 13.12.2025, 16:00 || 20 мин.
|-
| ОАБМД - 2025. Финальный тест || 20.12.2025, 16:00 || 15 мин.
|}

В случае если вы не сможете написать КР в указанную дату по технической или другой уважительной причине, просьба заполнить [https://docs.google.com/forms/d/e/1FAIpQLSfai8J2r5vuq0LxuwDjHj3jQnMZDFuqwAvr164vKbdlMmzEdg/viewform?usp=dialog '''форму на дописывание''']. Дописывание состоится 20.12.2025 во время последнего занятия. Помимо Google форм, на дописывании будет использована система прокторинга http://exams.mipt.ru/. По [https://drive.google.com/file/d/1n0iR-IaPnT4EeEEUCksODQnjl34L8Xlc/view?usp=sharing ссылке] доступна инструкция пользователя. Желательно зарегистрироваться в системе прокторинга заранее если вы планируете идти на дописывание.

== Бонусы ==
Бонус начисляется за:
* активное участие в семинарах,
* помощь коллегам в чате курса.
Возможно получить до 1,5 баллов. Количество студентов, которым может быть начислен бонус, неограничено.

= Список рекомендуемых материалов =
=== Основная литература ===
# Tom White, Hadoop: The Definitive Guide, 4th Edition Storage and Analysis at Internet Scale, Publisher: O'Reilly, Media Release Date: April 2015
# Karau, H., Konwinski, A., Wendell, P., & Zaharia, M, Learning Spark: Lightning-Fast Big Data Analysis
# Holden Karau et al. Learning Spark. Lightning-fast Data Analytics. Preview Edition. O’Reilly, 2015.
=== Дополнительная литература ===
# Chuck Lam. Hadoop in Action. New York: Manning Publications co.
# Alex Holmes , "Hadoop in Practice"
# Martin Fowler, "NoSQL"
# Eric Redmond, Jim R. Wilson, "Seven Databases in Seven Weeks"
# Jonathan Leibiusky, "Getting Started with Storm"
# Donald Miner, Adam Shook. MapReduce Design Patterns. O’Reilly.
# Arun C. Murthy et al. Apache Hadoop YARN. Addison-Wesley.
# Spark Core Programming. TutorialsPoint, 2015.
# Dario Simonassi, Gabriel Eisbruch, Jonathan Leibiusky. Getting Started with Storm. O’Reilly.
# Edward Capriolo, Dean Wampler, and Jason Rutherglen. Programming Hive. O’Reilly.
# Lars George. HBase: The Definitive Guide. O’Reilly.
# Eben Hewitt. Cassandra: The Definitive Guide. O’Reilly.

ОАБМД-2025

2025-11-21T01:55:56Z

VeLKerr: /* Формы контроля */

= О курсе =
* Курс "Обработка и анализ больших массивов данных" (Processing and analysis of large data sets) читается для студентов 2-го курса магистратуры [https://cs.hse.ru ФКН ВШЭ] в 1-2 модулях.
* Форма контроля: экзамен, выставляется по накопу.
== Команда курса ==
* Преподаватель: Ивченко Олег
* Ассистенты:
** Павлов Дмитрий Александрович (Яндекс)
** Струнова Анастасия Сергеевна (Т-Банк)
** Чавдарь Дмитрий
** Амбарян Рудольф Андраникович (Яндекс)
** Наумов Владислав Олегович (AI VK)
** Стешенко Александр Владимирович (Яндекс)
** Кочурова Ирина Дмитриевна (ИПМ РАН им. М.В. Келдыша)
** Шукла Ритупарн (Сбер)
** Сахаров Александр Александрович (Ozon)
** Тельбаева Таншолпан (Innoforce group, Казахстан)
** Иванов Дмитрий Александрович (Luzin Research Institute, (Huawei))

= Важные ссылки =
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=0&single=true План курса]
* [https://t.me/+Gp-TPCunPDxiNTUy Чат курса]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=1360422414&single=true '''Таблица с оценками''']
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/materials Коды семинаров] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://drive.google.com/drive/folders/1qaElablB5ER1y07xXkPXfQcHIxzdfGZB?usp=sharing Слайды презентаций]

= Формы контроля =
Курс предполагает 3 формы контроля:
* Домашние задания: 9 баллов. '''Расчет:''' (сумма баллов за каждую ДЗ) / 2.
* Тесты: 2 балла. '''Расчет:''' (баллы за тесты * их веса) / 6.
* Бонусы: 1,5 балла. '''Расчет:''' бонус / 10.

Итоговая оценка вычисляется по принципу '''ЕСЛИ'''(блокирущие != 0, '''ТО''' MIN((ДЗ + Тесты + Бонус) / 10; 10), '''ИНАЧЕ''' 0).
== Домашние задания ==
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/homeworks Условия домашек] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://docs.google.com/presentation/d/1eDxnTeBWSB1OrA3BwEUa2vJAJm3_OJMuoRxyA13RzTY/edit?slide=id.p#slide=id.p Инструкция по работе с тестирующей системой]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=106688933&single=true Статус проверки домашек]
На курсе 6 домашних заданий, из которых 2 блокирующие. Все ДЗ ''кроме последней'' сдаются в 2 этапа:
* Прохождение CI-тестов
* Code review
По каждой домашке существуют дедлайны. До дедлайна важно пройти '''1й этап''' сдачи.
* После мягкого дедлайна оценка снижается на 50%.
* После жесткого дедлайна сдавать можно только блокирующие ДЗ с оценкой не выше 25%.
* Окончательный дедлайн, после которого не принимаем уже ничего: '''8.01.2026, 23:59'''.

== Тесты ==
Состоится 6 контрольных, которые будут проводиться с помощью Google форм, их можно заполнять с компьютера или телефона. На контрольных нельзя пользоваться IDE и интернетом. Код писать не потребуется.

{| class="wikitable"
|-
! Название КР
! Дата
! Длительность
|-
| ОАБМД - 2025. HDFS & MapReduce || 19.10.2025, 18:00 || 15 мин.
|-
| ОАБМД - 2025. SQL over BigData || 15.11.2025, 16:00 || 15 мин.
|-
| ОАБМД - 2025. Spark || 22.11.2025, 16:00 || 10 мин.
|-
| ОАБМД - 2025. Векторные часы || 29.11.2025, 16:00 || 10 мин.
|-
| ОАБМД - 2025. Spark streaming, Kafka & NoSQL || 13.12.2025, 16:00 || 20 мин.
|-
| ОАБМД - 2025. Финальный тест || 20.12.2025, 16:00 || 15 мин.
|}

В случае если вы не сможете написать КР в указанную дату по технической или другой уважительной причине, просьба заполнить [https://docs.google.com/forms/d/e/1FAIpQLSfai8J2r5vuq0LxuwDjHj3jQnMZDFuqwAvr164vKbdlMmzEdg/viewform?usp=dialog '''форму на дописывание''']. Дописывание состоится 20.12.2025 во время последнего занятия. Помимо Google форм, на дописывании будет использована система прокторинга http://exams.mipt.ru/. По [https://drive.google.com/file/d/1n0iR-IaPnT4EeEEUCksODQnjl34L8Xlc/view?usp=sharing ссылке] доступна инструкция пользователя. Желательно зарегистрироваться в системе прокторинга заранее если вы планируете идти на дописывание.

== Бонусы ==
Бонус начисляется за:
* активное участие в семинарах,
* помощь коллегам в чате курса.
Возможно получить до 1,5 баллов. Количество студентов, которым может быть начислен бонус, неограничено.

= Список рекомендуемых материалов =
=== Основная литература ===
# Tom White, Hadoop: The Definitive Guide, 4th Edition Storage and Analysis at Internet Scale, Publisher: O'Reilly, Media Release Date: April 2015
# Karau, H., Konwinski, A., Wendell, P., & Zaharia, M, Learning Spark: Lightning-Fast Big Data Analysis
# Holden Karau et al. Learning Spark. Lightning-fast Data Analytics. Preview Edition. O’Reilly, 2015.
=== Дополнительная литература ===
# Chuck Lam. Hadoop in Action. New York: Manning Publications co.
# Alex Holmes , "Hadoop in Practice"
# Martin Fowler, "NoSQL"
# Eric Redmond, Jim R. Wilson, "Seven Databases in Seven Weeks"
# Jonathan Leibiusky, "Getting Started with Storm"
# Donald Miner, Adam Shook. MapReduce Design Patterns. O’Reilly.
# Arun C. Murthy et al. Apache Hadoop YARN. Addison-Wesley.
# Spark Core Programming. TutorialsPoint, 2015.
# Dario Simonassi, Gabriel Eisbruch, Jonathan Leibiusky. Getting Started with Storm. O’Reilly.
# Edward Capriolo, Dean Wampler, and Jason Rutherglen. Programming Hive. O’Reilly.
# Lars George. HBase: The Definitive Guide. O’Reilly.
# Eben Hewitt. Cassandra: The Definitive Guide. O’Reilly.

ОАБМД-2025

2025-11-21T01:54:53Z

VeLKerr: /* Формы контроля */

= О курсе =
* Курс "Обработка и анализ больших массивов данных" (Processing and analysis of large data sets) читается для студентов 2-го курса магистратуры [https://cs.hse.ru ФКН ВШЭ] в 1-2 модулях.
* Форма контроля: экзамен, выставляется по накопу.
== Команда курса ==
* Преподаватель: Ивченко Олег
* Ассистенты:
** Павлов Дмитрий Александрович (Яндекс)
** Струнова Анастасия Сергеевна (Т-Банк)
** Чавдарь Дмитрий
** Амбарян Рудольф Андраникович (Яндекс)
** Наумов Владислав Олегович (AI VK)
** Стешенко Александр Владимирович (Яндекс)
** Кочурова Ирина Дмитриевна (ИПМ РАН им. М.В. Келдыша)
** Шукла Ритупарн (Сбер)
** Сахаров Александр Александрович (Ozon)
** Тельбаева Таншолпан (Innoforce group, Казахстан)
** Иванов Дмитрий Александрович (Luzin Research Institute, (Huawei))

= Важные ссылки =
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=0&single=true План курса]
* [https://t.me/+Gp-TPCunPDxiNTUy Чат курса]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=1360422414&single=true '''Таблица с оценками''']
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/materials Коды семинаров] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://drive.google.com/drive/folders/1qaElablB5ER1y07xXkPXfQcHIxzdfGZB?usp=sharing Слайды презентаций]

= Формы контроля =
Курс предполагает 3 формы контроля:
* Домашние задания: 9 баллов. '''Расчет:''' (сумма баллов за каждую ДЗ) / 2.
* Тесты: 2 балла. '''Расчет:''' (баллы за тесты * их веса) / 6.
* Бонусы: 1,5 балла. '''Расчет:''' бонус / 10.

Итоговая оценка: '''ЕСЛИ'''(блокирущие != 0, '''ТО''' MIN((ДЗ + Тесты + Бонус) / 10;10), '''ИНАЧЕ''' 0)

Итоговая оценка вычисляется по принципу ''MIN(ДЗ+Тесты+бонусы, 10)''.
== Домашние задания ==
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/homeworks Условия домашек] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://docs.google.com/presentation/d/1eDxnTeBWSB1OrA3BwEUa2vJAJm3_OJMuoRxyA13RzTY/edit?slide=id.p#slide=id.p Инструкция по работе с тестирующей системой]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=106688933&single=true Статус проверки домашек]
На курсе 6 домашних заданий, из которых 2 блокирующие. Все ДЗ ''кроме последней'' сдаются в 2 этапа:
* Прохождение CI-тестов
* Code review
По каждой домашке существуют дедлайны. До дедлайна важно пройти '''1й этап''' сдачи.
* После мягкого дедлайна оценка снижается на 50%.
* После жесткого дедлайна сдавать можно только блокирующие ДЗ с оценкой не выше 25%.
* Окончательный дедлайн, после которого не принимаем уже ничего: '''8.01.2026, 23:59'''.

== Тесты ==
Состоится 6 контрольных, которые будут проводиться с помощью Google форм, их можно заполнять с компьютера или телефона. На контрольных нельзя пользоваться IDE и интернетом. Код писать не потребуется.

{| class="wikitable"
|-
! Название КР
! Дата
! Длительность
|-
| ОАБМД - 2025. HDFS & MapReduce || 19.10.2025, 18:00 || 15 мин.
|-
| ОАБМД - 2025. SQL over BigData || 15.11.2025, 16:00 || 15 мин.
|-
| ОАБМД - 2025. Spark || 22.11.2025, 16:00 || 10 мин.
|-
| ОАБМД - 2025. Векторные часы || 29.11.2025, 16:00 || 10 мин.
|-
| ОАБМД - 2025. Spark streaming, Kafka & NoSQL || 13.12.2025, 16:00 || 20 мин.
|-
| ОАБМД - 2025. Финальный тест || 20.12.2025, 16:00 || 15 мин.
|}

В случае если вы не сможете написать КР в указанную дату по технической или другой уважительной причине, просьба заполнить [https://docs.google.com/forms/d/e/1FAIpQLSfai8J2r5vuq0LxuwDjHj3jQnMZDFuqwAvr164vKbdlMmzEdg/viewform?usp=dialog '''форму на дописывание''']. Дописывание состоится 20.12.2025 во время последнего занятия. Помимо Google форм, на дописывании будет использована система прокторинга http://exams.mipt.ru/. По [https://drive.google.com/file/d/1n0iR-IaPnT4EeEEUCksODQnjl34L8Xlc/view?usp=sharing ссылке] доступна инструкция пользователя. Желательно зарегистрироваться в системе прокторинга заранее если вы планируете идти на дописывание.

== Бонусы ==
Бонус начисляется за:
* активное участие в семинарах,
* помощь коллегам в чате курса.
Возможно получить до 1,5 баллов. Количество студентов, которым может быть начислен бонус, неограничено.

= Список рекомендуемых материалов =
=== Основная литература ===
# Tom White, Hadoop: The Definitive Guide, 4th Edition Storage and Analysis at Internet Scale, Publisher: O'Reilly, Media Release Date: April 2015
# Karau, H., Konwinski, A., Wendell, P., & Zaharia, M, Learning Spark: Lightning-Fast Big Data Analysis
# Holden Karau et al. Learning Spark. Lightning-fast Data Analytics. Preview Edition. O’Reilly, 2015.
=== Дополнительная литература ===
# Chuck Lam. Hadoop in Action. New York: Manning Publications co.
# Alex Holmes , "Hadoop in Practice"
# Martin Fowler, "NoSQL"
# Eric Redmond, Jim R. Wilson, "Seven Databases in Seven Weeks"
# Jonathan Leibiusky, "Getting Started with Storm"
# Donald Miner, Adam Shook. MapReduce Design Patterns. O’Reilly.
# Arun C. Murthy et al. Apache Hadoop YARN. Addison-Wesley.
# Spark Core Programming. TutorialsPoint, 2015.
# Dario Simonassi, Gabriel Eisbruch, Jonathan Leibiusky. Getting Started with Storm. O’Reilly.
# Edward Capriolo, Dean Wampler, and Jason Rutherglen. Programming Hive. O’Reilly.
# Lars George. HBase: The Definitive Guide. O’Reilly.
# Eben Hewitt. Cassandra: The Definitive Guide. O’Reilly.

ОАБМД-2025

2025-11-20T21:40:19Z

VeLKerr: /* Команда курса */

= О курсе =
* Курс "Обработка и анализ больших массивов данных" (Processing and analysis of large data sets) читается для студентов 2-го курса магистратуры [https://cs.hse.ru ФКН ВШЭ] в 1-2 модулях.
* Форма контроля: экзамен, выставляется по накопу.
== Команда курса ==
* Преподаватель: Ивченко Олег
* Ассистенты:
** Павлов Дмитрий Александрович (Яндекс)
** Струнова Анастасия Сергеевна (Т-Банк)
** Чавдарь Дмитрий
** Амбарян Рудольф Андраникович (Яндекс)
** Наумов Владислав Олегович (AI VK)
** Стешенко Александр Владимирович (Яндекс)
** Кочурова Ирина Дмитриевна (ИПМ РАН им. М.В. Келдыша)
** Шукла Ритупарн (Сбер)
** Сахаров Александр Александрович (Ozon)
** Тельбаева Таншолпан (Innoforce group, Казахстан)
** Иванов Дмитрий Александрович (Luzin Research Institute, (Huawei))

= Важные ссылки =
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=0&single=true План курса]
* [https://t.me/+Gp-TPCunPDxiNTUy Чат курса]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=1360422414&single=true '''Таблица с оценками''']
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/materials Коды семинаров] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://drive.google.com/drive/folders/1qaElablB5ER1y07xXkPXfQcHIxzdfGZB?usp=sharing Слайды презентаций]

= Формы контроля =
Курс предполагает 3 формы контроля:
* Домашние задания: 9 баллов
* Тесты: 2 балла
* Бонусы: 1,5 балла

Итоговая оценка вычисляется по принципу ''MIN(ДЗ+Тесты+бонусы, 10)''.
== Домашние задания ==
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/homeworks Условия домашек] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://docs.google.com/presentation/d/1eDxnTeBWSB1OrA3BwEUa2vJAJm3_OJMuoRxyA13RzTY/edit?slide=id.p#slide=id.p Инструкция по работе с тестирующей системой]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=106688933&single=true Статус проверки домашек]
На курсе 6 домашних заданий, из которых 2 блокирующие. Все ДЗ ''кроме последней'' сдаются в 2 этапа:
* Прохождение CI-тестов
* Code review
По каждой домашке существуют дедлайны. До дедлайна важно пройти '''1й этап''' сдачи.
* После мягкого дедлайна оценка снижается на 50%.
* После жесткого дедлайна сдавать можно только блокирующие ДЗ с оценкой не выше 25%.
* Окончательный дедлайн, после которого не принимаем уже ничего: '''8.01.2026, 23:59'''.

== Тесты ==
Состоится 6 контрольных, которые будут проводиться с помощью Google форм, их можно заполнять с компьютера или телефона. На контрольных нельзя пользоваться IDE и интернетом. Код писать не потребуется.

{| class="wikitable"
|-
! Название КР
! Дата
! Длительность
|-
| ОАБМД - 2025. HDFS & MapReduce || 19.10.2025, 18:00 || 15 мин.
|-
| ОАБМД - 2025. SQL over BigData || 15.11.2025, 16:00 || 15 мин.
|-
| ОАБМД - 2025. Spark || 22.11.2025, 16:00 || 10 мин.
|-
| ОАБМД - 2025. Векторные часы || 29.11.2025, 16:00 || 10 мин.
|-
| ОАБМД - 2025. Spark streaming, Kafka & NoSQL || 13.12.2025, 16:00 || 20 мин.
|-
| ОАБМД - 2025. Финальный тест || 20.12.2025, 16:00 || 15 мин.
|}

В случае если вы не сможете написать КР в указанную дату по технической или другой уважительной причине, просьба заполнить [https://docs.google.com/forms/d/e/1FAIpQLSfai8J2r5vuq0LxuwDjHj3jQnMZDFuqwAvr164vKbdlMmzEdg/viewform?usp=dialog '''форму на дописывание''']. Дописывание состоится 20.12.2025 во время последнего занятия. Помимо Google форм, на дописывании будет использована система прокторинга http://exams.mipt.ru/. По [https://drive.google.com/file/d/1n0iR-IaPnT4EeEEUCksODQnjl34L8Xlc/view?usp=sharing ссылке] доступна инструкция пользователя. Желательно зарегистрироваться в системе прокторинга заранее если вы планируете идти на дописывание.

== Бонусы ==
Бонус начисляется за:
* активное участие в семинарах,
* помощь коллегам в чате курса.
Возможно получить до 1,5 баллов. Количество студентов, которым может быть начислен бонус, неограничено.

= Список рекомендуемых материалов =
=== Основная литература ===
# Tom White, Hadoop: The Definitive Guide, 4th Edition Storage and Analysis at Internet Scale, Publisher: O'Reilly, Media Release Date: April 2015
# Karau, H., Konwinski, A., Wendell, P., & Zaharia, M, Learning Spark: Lightning-Fast Big Data Analysis
# Holden Karau et al. Learning Spark. Lightning-fast Data Analytics. Preview Edition. O’Reilly, 2015.
=== Дополнительная литература ===
# Chuck Lam. Hadoop in Action. New York: Manning Publications co.
# Alex Holmes , "Hadoop in Practice"
# Martin Fowler, "NoSQL"
# Eric Redmond, Jim R. Wilson, "Seven Databases in Seven Weeks"
# Jonathan Leibiusky, "Getting Started with Storm"
# Donald Miner, Adam Shook. MapReduce Design Patterns. O’Reilly.
# Arun C. Murthy et al. Apache Hadoop YARN. Addison-Wesley.
# Spark Core Programming. TutorialsPoint, 2015.
# Dario Simonassi, Gabriel Eisbruch, Jonathan Leibiusky. Getting Started with Storm. O’Reilly.
# Edward Capriolo, Dean Wampler, and Jason Rutherglen. Programming Hive. O’Reilly.
# Lars George. HBase: The Definitive Guide. O’Reilly.
# Eben Hewitt. Cassandra: The Definitive Guide. O’Reilly.

ОАБМД-2025

2025-11-20T21:38:47Z

VeLKerr: /* Домашние задания */

= О курсе =
* Курс "Обработка и анализ больших массивов данных" (Processing and analysis of large data sets) читается для студентов 2-го курса магистратуры [https://cs.hse.ru ФКН ВШЭ] в 1-2 модулях.
* Форма контроля: экзамен, выставляется по накопу.
== Команда курса ==
* Преподаватель: Ивченко Олег
* Ассистенты:
** Павлов Дмитрий Александрович (Яндекс)
** Струнова Анастасия Сергеевна (Т-Банк)
** Чавдарь Дмитрий
** Амбарян Рудольф Андраникович (Яндекс)
** Наумов Владислав Олегович (AI VK)
** Стешенко Александр Владимирович (Яндекс)
** Кочурова Ирина Дмитриевна
** Шукла Ритупарн (Сбер)
** Сахаров Александр Александрович (Ozon)
** Тельбаева Таншолпан (Innoforce group, Казахстан)
** Иванов Дмитрий Александрович (Luzin Research Institute, (Huawei))

= Важные ссылки =
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=0&single=true План курса]
* [https://t.me/+Gp-TPCunPDxiNTUy Чат курса]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=1360422414&single=true '''Таблица с оценками''']
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/materials Коды семинаров] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://drive.google.com/drive/folders/1qaElablB5ER1y07xXkPXfQcHIxzdfGZB?usp=sharing Слайды презентаций]

= Формы контроля =
Курс предполагает 3 формы контроля:
* Домашние задания: 9 баллов
* Тесты: 2 балла
* Бонусы: 1,5 балла

Итоговая оценка вычисляется по принципу ''MIN(ДЗ+Тесты+бонусы, 10)''.
== Домашние задания ==
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/homeworks Условия домашек] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://docs.google.com/presentation/d/1eDxnTeBWSB1OrA3BwEUa2vJAJm3_OJMuoRxyA13RzTY/edit?slide=id.p#slide=id.p Инструкция по работе с тестирующей системой]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=106688933&single=true Статус проверки домашек]
На курсе 6 домашних заданий, из которых 2 блокирующие. Все ДЗ ''кроме последней'' сдаются в 2 этапа:
* Прохождение CI-тестов
* Code review
По каждой домашке существуют дедлайны. До дедлайна важно пройти '''1й этап''' сдачи.
* После мягкого дедлайна оценка снижается на 50%.
* После жесткого дедлайна сдавать можно только блокирующие ДЗ с оценкой не выше 25%.
* Окончательный дедлайн, после которого не принимаем уже ничего: '''8.01.2026, 23:59'''.

== Тесты ==
Состоится 6 контрольных, которые будут проводиться с помощью Google форм, их можно заполнять с компьютера или телефона. На контрольных нельзя пользоваться IDE и интернетом. Код писать не потребуется.

{| class="wikitable"
|-
! Название КР
! Дата
! Длительность
|-
| ОАБМД - 2025. HDFS & MapReduce || 19.10.2025, 18:00 || 15 мин.
|-
| ОАБМД - 2025. SQL over BigData || 15.11.2025, 16:00 || 15 мин.
|-
| ОАБМД - 2025. Spark || 22.11.2025, 16:00 || 10 мин.
|-
| ОАБМД - 2025. Векторные часы || 29.11.2025, 16:00 || 10 мин.
|-
| ОАБМД - 2025. Spark streaming, Kafka & NoSQL || 13.12.2025, 16:00 || 20 мин.
|-
| ОАБМД - 2025. Финальный тест || 20.12.2025, 16:00 || 15 мин.
|}

В случае если вы не сможете написать КР в указанную дату по технической или другой уважительной причине, просьба заполнить [https://docs.google.com/forms/d/e/1FAIpQLSfai8J2r5vuq0LxuwDjHj3jQnMZDFuqwAvr164vKbdlMmzEdg/viewform?usp=dialog '''форму на дописывание''']. Дописывание состоится 20.12.2025 во время последнего занятия. Помимо Google форм, на дописывании будет использована система прокторинга http://exams.mipt.ru/. По [https://drive.google.com/file/d/1n0iR-IaPnT4EeEEUCksODQnjl34L8Xlc/view?usp=sharing ссылке] доступна инструкция пользователя. Желательно зарегистрироваться в системе прокторинга заранее если вы планируете идти на дописывание.

== Бонусы ==
Бонус начисляется за:
* активное участие в семинарах,
* помощь коллегам в чате курса.
Возможно получить до 1,5 баллов. Количество студентов, которым может быть начислен бонус, неограничено.

= Список рекомендуемых материалов =
=== Основная литература ===
# Tom White, Hadoop: The Definitive Guide, 4th Edition Storage and Analysis at Internet Scale, Publisher: O'Reilly, Media Release Date: April 2015
# Karau, H., Konwinski, A., Wendell, P., & Zaharia, M, Learning Spark: Lightning-Fast Big Data Analysis
# Holden Karau et al. Learning Spark. Lightning-fast Data Analytics. Preview Edition. O’Reilly, 2015.
=== Дополнительная литература ===
# Chuck Lam. Hadoop in Action. New York: Manning Publications co.
# Alex Holmes , "Hadoop in Practice"
# Martin Fowler, "NoSQL"
# Eric Redmond, Jim R. Wilson, "Seven Databases in Seven Weeks"
# Jonathan Leibiusky, "Getting Started with Storm"
# Donald Miner, Adam Shook. MapReduce Design Patterns. O’Reilly.
# Arun C. Murthy et al. Apache Hadoop YARN. Addison-Wesley.
# Spark Core Programming. TutorialsPoint, 2015.
# Dario Simonassi, Gabriel Eisbruch, Jonathan Leibiusky. Getting Started with Storm. O’Reilly.
# Edward Capriolo, Dean Wampler, and Jason Rutherglen. Programming Hive. O’Reilly.
# Lars George. HBase: The Definitive Guide. O’Reilly.
# Eben Hewitt. Cassandra: The Definitive Guide. O’Reilly.

ОАБМД-2025

2025-11-20T21:38:21Z

VeLKerr: /* Домашние задания */

= О курсе =
* Курс "Обработка и анализ больших массивов данных" (Processing and analysis of large data sets) читается для студентов 2-го курса магистратуры [https://cs.hse.ru ФКН ВШЭ] в 1-2 модулях.
* Форма контроля: экзамен, выставляется по накопу.
== Команда курса ==
* Преподаватель: Ивченко Олег
* Ассистенты:
** Павлов Дмитрий Александрович (Яндекс)
** Струнова Анастасия Сергеевна (Т-Банк)
** Чавдарь Дмитрий
** Амбарян Рудольф Андраникович (Яндекс)
** Наумов Владислав Олегович (AI VK)
** Стешенко Александр Владимирович (Яндекс)
** Кочурова Ирина Дмитриевна
** Шукла Ритупарн (Сбер)
** Сахаров Александр Александрович (Ozon)
** Тельбаева Таншолпан (Innoforce group, Казахстан)
** Иванов Дмитрий Александрович (Luzin Research Institute, (Huawei))

= Важные ссылки =
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=0&single=true План курса]
* [https://t.me/+Gp-TPCunPDxiNTUy Чат курса]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=1360422414&single=true '''Таблица с оценками''']
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/materials Коды семинаров] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://drive.google.com/drive/folders/1qaElablB5ER1y07xXkPXfQcHIxzdfGZB?usp=sharing Слайды презентаций]

= Формы контроля =
Курс предполагает 3 формы контроля:
* Домашние задания: 9 баллов
* Тесты: 2 балла
* Бонусы: 1,5 балла

Итоговая оценка вычисляется по принципу ''MIN(ДЗ+Тесты+бонусы, 10)''.
== Домашние задания ==
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/homeworks Условия домашек] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://docs.google.com/presentation/d/1eDxnTeBWSB1OrA3BwEUa2vJAJm3_OJMuoRxyA13RzTY/edit?slide=id.p#slide=id.p Инструкция по работе с тестирующей системой]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=106688933&single=true Статус проверки домашек]
На курсе 6 домашних заданий, из которых 2 блокирующие. Все ДЗ ''кроме последней'' сдаются в 2 этапа:
* Прохождение CI-тестов
* Code review
По каждой домашке существуют дедлайны. До дедлайна важно пройти '''1й этап''' сдачи.
* После мягкого дедлайна оценка снижается на 50%.
* После жесткого дедлайна сдавать можно только блокирующие ДЗ с оценкой не выше 25%.
* Окончательный дедлайн, после которого не принимаем уже ничего: 9.01.2026, 23:59.

== Тесты ==
Состоится 6 контрольных, которые будут проводиться с помощью Google форм, их можно заполнять с компьютера или телефона. На контрольных нельзя пользоваться IDE и интернетом. Код писать не потребуется.

{| class="wikitable"
|-
! Название КР
! Дата
! Длительность
|-
| ОАБМД - 2025. HDFS & MapReduce || 19.10.2025, 18:00 || 15 мин.
|-
| ОАБМД - 2025. SQL over BigData || 15.11.2025, 16:00 || 15 мин.
|-
| ОАБМД - 2025. Spark || 22.11.2025, 16:00 || 10 мин.
|-
| ОАБМД - 2025. Векторные часы || 29.11.2025, 16:00 || 10 мин.
|-
| ОАБМД - 2025. Spark streaming, Kafka & NoSQL || 13.12.2025, 16:00 || 20 мин.
|-
| ОАБМД - 2025. Финальный тест || 20.12.2025, 16:00 || 15 мин.
|}

В случае если вы не сможете написать КР в указанную дату по технической или другой уважительной причине, просьба заполнить [https://docs.google.com/forms/d/e/1FAIpQLSfai8J2r5vuq0LxuwDjHj3jQnMZDFuqwAvr164vKbdlMmzEdg/viewform?usp=dialog '''форму на дописывание''']. Дописывание состоится 20.12.2025 во время последнего занятия. Помимо Google форм, на дописывании будет использована система прокторинга http://exams.mipt.ru/. По [https://drive.google.com/file/d/1n0iR-IaPnT4EeEEUCksODQnjl34L8Xlc/view?usp=sharing ссылке] доступна инструкция пользователя. Желательно зарегистрироваться в системе прокторинга заранее если вы планируете идти на дописывание.

== Бонусы ==
Бонус начисляется за:
* активное участие в семинарах,
* помощь коллегам в чате курса.
Возможно получить до 1,5 баллов. Количество студентов, которым может быть начислен бонус, неограничено.

= Список рекомендуемых материалов =
=== Основная литература ===
# Tom White, Hadoop: The Definitive Guide, 4th Edition Storage and Analysis at Internet Scale, Publisher: O'Reilly, Media Release Date: April 2015
# Karau, H., Konwinski, A., Wendell, P., & Zaharia, M, Learning Spark: Lightning-Fast Big Data Analysis
# Holden Karau et al. Learning Spark. Lightning-fast Data Analytics. Preview Edition. O’Reilly, 2015.
=== Дополнительная литература ===
# Chuck Lam. Hadoop in Action. New York: Manning Publications co.
# Alex Holmes , "Hadoop in Practice"
# Martin Fowler, "NoSQL"
# Eric Redmond, Jim R. Wilson, "Seven Databases in Seven Weeks"
# Jonathan Leibiusky, "Getting Started with Storm"
# Donald Miner, Adam Shook. MapReduce Design Patterns. O’Reilly.
# Arun C. Murthy et al. Apache Hadoop YARN. Addison-Wesley.
# Spark Core Programming. TutorialsPoint, 2015.
# Dario Simonassi, Gabriel Eisbruch, Jonathan Leibiusky. Getting Started with Storm. O’Reilly.
# Edward Capriolo, Dean Wampler, and Jason Rutherglen. Programming Hive. O’Reilly.
# Lars George. HBase: The Definitive Guide. O’Reilly.
# Eben Hewitt. Cassandra: The Definitive Guide. O’Reilly.

ОАБМД-2025

2025-11-19T17:00:24Z

VeLKerr: /* Команда курса */

= О курсе =
* Курс "Обработка и анализ больших массивов данных" (Processing and analysis of large data sets) читается для студентов 2-го курса магистратуры [https://cs.hse.ru ФКН ВШЭ] в 1-2 модулях.
* Форма контроля: экзамен, выставляется по накопу.
== Команда курса ==
* Преподаватель: Ивченко Олег
* Ассистенты:
** Павлов Дмитрий Александрович (Яндекс)
** Струнова Анастасия Сергеевна (Т-Банк)
** Чавдарь Дмитрий
** Амбарян Рудольф Андраникович (Яндекс)
** Наумов Владислав Олегович (AI VK)
** Стешенко Александр Владимирович (Яндекс)
** Кочурова Ирина Дмитриевна
** Шукла Ритупарн (Сбер)
** Сахаров Александр Александрович (Ozon)
** Тельбаева Таншолпан (Innoforce group, Казахстан)
** Иванов Дмитрий Александрович (Luzin Research Institute, (Huawei))

= Важные ссылки =
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=0&single=true План курса]
* [https://t.me/+Gp-TPCunPDxiNTUy Чат курса]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=1360422414&single=true '''Таблица с оценками''']
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/materials Коды семинаров] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://drive.google.com/drive/folders/1qaElablB5ER1y07xXkPXfQcHIxzdfGZB?usp=sharing Слайды презентаций]

= Формы контроля =
Курс предполагает 3 формы контроля:
* Домашние задания: 9 баллов
* Тесты: 2 балла
* Бонусы: 1,5 балла

Итоговая оценка вычисляется по принципу ''MIN(ДЗ+Тесты+бонусы, 10)''.
== Домашние задания ==
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/homeworks Условия домашек] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://docs.google.com/presentation/d/1eDxnTeBWSB1OrA3BwEUa2vJAJm3_OJMuoRxyA13RzTY/edit?slide=id.p#slide=id.p Инструкция по работе с тестирующей системой]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=106688933&single=true Статус проверки домашек]
На курсе 6 домашних заданий, из которых 2 блокирующие. Все ДЗ ''кроме последней'' сдаются в 2 этапа:
* Прохождение CI-тестов
* Code review
По каждой домашке существуют дедлайны. До дедлайна важно пройти '''1й этап''' сдачи.
* После мягкого дедлайна оценка снижается на 50%.
* После жесткого дедлайна сдавать можно только блокирующие ДЗ с оценкой не выше 25%.

== Тесты ==
Состоится 6 контрольных, которые будут проводиться с помощью Google форм, их можно заполнять с компьютера или телефона. На контрольных нельзя пользоваться IDE и интернетом. Код писать не потребуется.

{| class="wikitable"
|-
! Название КР
! Дата
! Длительность
|-
| ОАБМД - 2025. HDFS & MapReduce || 19.10.2025, 18:00 || 15 мин.
|-
| ОАБМД - 2025. SQL over BigData || 15.11.2025, 16:00 || 15 мин.
|-
| ОАБМД - 2025. Spark || 22.11.2025, 16:00 || 10 мин.
|-
| ОАБМД - 2025. Векторные часы || 29.11.2025, 16:00 || 10 мин.
|-
| ОАБМД - 2025. Spark streaming, Kafka & NoSQL || 13.12.2025, 16:00 || 20 мин.
|-
| ОАБМД - 2025. Финальный тест || 20.12.2025, 16:00 || 15 мин.
|}

В случае если вы не сможете написать КР в указанную дату по технической или другой уважительной причине, просьба заполнить [https://docs.google.com/forms/d/e/1FAIpQLSfai8J2r5vuq0LxuwDjHj3jQnMZDFuqwAvr164vKbdlMmzEdg/viewform?usp=dialog '''форму на дописывание''']. Дописывание состоится 20.12.2025 во время последнего занятия. Помимо Google форм, на дописывании будет использована система прокторинга http://exams.mipt.ru/. По [https://drive.google.com/file/d/1n0iR-IaPnT4EeEEUCksODQnjl34L8Xlc/view?usp=sharing ссылке] доступна инструкция пользователя. Желательно зарегистрироваться в системе прокторинга заранее если вы планируете идти на дописывание.

== Бонусы ==
Бонус начисляется за:
* активное участие в семинарах,
* помощь коллегам в чате курса.
Возможно получить до 1,5 баллов. Количество студентов, которым может быть начислен бонус, неограничено.

= Список рекомендуемых материалов =
=== Основная литература ===
# Tom White, Hadoop: The Definitive Guide, 4th Edition Storage and Analysis at Internet Scale, Publisher: O'Reilly, Media Release Date: April 2015
# Karau, H., Konwinski, A., Wendell, P., & Zaharia, M, Learning Spark: Lightning-Fast Big Data Analysis
# Holden Karau et al. Learning Spark. Lightning-fast Data Analytics. Preview Edition. O’Reilly, 2015.
=== Дополнительная литература ===
# Chuck Lam. Hadoop in Action. New York: Manning Publications co.
# Alex Holmes , "Hadoop in Practice"
# Martin Fowler, "NoSQL"
# Eric Redmond, Jim R. Wilson, "Seven Databases in Seven Weeks"
# Jonathan Leibiusky, "Getting Started with Storm"
# Donald Miner, Adam Shook. MapReduce Design Patterns. O’Reilly.
# Arun C. Murthy et al. Apache Hadoop YARN. Addison-Wesley.
# Spark Core Programming. TutorialsPoint, 2015.
# Dario Simonassi, Gabriel Eisbruch, Jonathan Leibiusky. Getting Started with Storm. O’Reilly.
# Edward Capriolo, Dean Wampler, and Jason Rutherglen. Programming Hive. O’Reilly.
# Lars George. HBase: The Definitive Guide. O’Reilly.
# Eben Hewitt. Cassandra: The Definitive Guide. O’Reilly.

ОАБМД-2025

2025-11-19T16:03:59Z

VeLKerr: /* Домашние задания */

= О курсе =
* Курс "Обработка и анализ больших массивов данных" (Processing and analysis of large data sets) читается для студентов 2-го курса магистратуры [https://cs.hse.ru ФКН ВШЭ] в 1-2 модулях.
* Форма контроля: экзамен, выставляется по накопу.
== Команда курса ==
* Преподаватель: Ивченко Олег
* Ассистенты:
** Павлов Дмитрий Александрович (Яндекс)
** Струнова Анастасия Сергеевна (Т-Банк)
** Чавдарь Дмитрий
** Амбарян Рудольф Андраникович (Яндекс)
** Наумов Владислав Олегович (AI VK)
** Стешенко Александр Владимирович
** Кочурова Ирина Дмитриевна
** Шукла Ритупарн (Сбер)
** Сахаров Александр Александрович (Ozon)
** Тельбаева Таншолпан (Innoforce group, Казахстан)
** Иванов Дмитрий Александрович (Luzin Research Institute, (Huawei))

= Важные ссылки =
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=0&single=true План курса]
* [https://t.me/+Gp-TPCunPDxiNTUy Чат курса]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=1360422414&single=true '''Таблица с оценками''']
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/materials Коды семинаров] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://drive.google.com/drive/folders/1qaElablB5ER1y07xXkPXfQcHIxzdfGZB?usp=sharing Слайды презентаций]

= Формы контроля =
Курс предполагает 3 формы контроля:
* Домашние задания: 9 баллов
* Тесты: 2 балла
* Бонусы: 1,5 балла

Итоговая оценка вычисляется по принципу ''MIN(ДЗ+Тесты+бонусы, 10)''.
== Домашние задания ==
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/homeworks Условия домашек] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://docs.google.com/presentation/d/1eDxnTeBWSB1OrA3BwEUa2vJAJm3_OJMuoRxyA13RzTY/edit?slide=id.p#slide=id.p Инструкция по работе с тестирующей системой]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=106688933&single=true Статус проверки домашек]
На курсе 6 домашних заданий, из которых 2 блокирующие. Все ДЗ ''кроме последней'' сдаются в 2 этапа:
* Прохождение CI-тестов
* Code review
По каждой домашке существуют дедлайны. До дедлайна важно пройти '''1й этап''' сдачи.
* После мягкого дедлайна оценка снижается на 50%.
* После жесткого дедлайна сдавать можно только блокирующие ДЗ с оценкой не выше 25%.

== Тесты ==
Состоится 6 контрольных, которые будут проводиться с помощью Google форм, их можно заполнять с компьютера или телефона. На контрольных нельзя пользоваться IDE и интернетом. Код писать не потребуется.

{| class="wikitable"
|-
! Название КР
! Дата
! Длительность
|-
| ОАБМД - 2025. HDFS & MapReduce || 19.10.2025, 18:00 || 15 мин.
|-
| ОАБМД - 2025. SQL over BigData || 15.11.2025, 16:00 || 15 мин.
|-
| ОАБМД - 2025. Spark || 22.11.2025, 16:00 || 10 мин.
|-
| ОАБМД - 2025. Векторные часы || 29.11.2025, 16:00 || 10 мин.
|-
| ОАБМД - 2025. Spark streaming, Kafka & NoSQL || 13.12.2025, 16:00 || 20 мин.
|-
| ОАБМД - 2025. Финальный тест || 20.12.2025, 16:00 || 15 мин.
|}

В случае если вы не сможете написать КР в указанную дату по технической или другой уважительной причине, просьба заполнить [https://docs.google.com/forms/d/e/1FAIpQLSfai8J2r5vuq0LxuwDjHj3jQnMZDFuqwAvr164vKbdlMmzEdg/viewform?usp=dialog '''форму на дописывание''']. Дописывание состоится 20.12.2025 во время последнего занятия. Помимо Google форм, на дописывании будет использована система прокторинга http://exams.mipt.ru/. По [https://drive.google.com/file/d/1n0iR-IaPnT4EeEEUCksODQnjl34L8Xlc/view?usp=sharing ссылке] доступна инструкция пользователя. Желательно зарегистрироваться в системе прокторинга заранее если вы планируете идти на дописывание.

== Бонусы ==
Бонус начисляется за:
* активное участие в семинарах,
* помощь коллегам в чате курса.
Возможно получить до 1,5 баллов. Количество студентов, которым может быть начислен бонус, неограничено.

= Список рекомендуемых материалов =
=== Основная литература ===
# Tom White, Hadoop: The Definitive Guide, 4th Edition Storage and Analysis at Internet Scale, Publisher: O'Reilly, Media Release Date: April 2015
# Karau, H., Konwinski, A., Wendell, P., & Zaharia, M, Learning Spark: Lightning-Fast Big Data Analysis
# Holden Karau et al. Learning Spark. Lightning-fast Data Analytics. Preview Edition. O’Reilly, 2015.
=== Дополнительная литература ===
# Chuck Lam. Hadoop in Action. New York: Manning Publications co.
# Alex Holmes , "Hadoop in Practice"
# Martin Fowler, "NoSQL"
# Eric Redmond, Jim R. Wilson, "Seven Databases in Seven Weeks"
# Jonathan Leibiusky, "Getting Started with Storm"
# Donald Miner, Adam Shook. MapReduce Design Patterns. O’Reilly.
# Arun C. Murthy et al. Apache Hadoop YARN. Addison-Wesley.
# Spark Core Programming. TutorialsPoint, 2015.
# Dario Simonassi, Gabriel Eisbruch, Jonathan Leibiusky. Getting Started with Storm. O’Reilly.
# Edward Capriolo, Dean Wampler, and Jason Rutherglen. Programming Hive. O’Reilly.
# Lars George. HBase: The Definitive Guide. O’Reilly.
# Eben Hewitt. Cassandra: The Definitive Guide. O’Reilly.

ОАБМД-2025

2025-11-19T14:44:52Z

VeLKerr: /* Команда курса */

= О курсе =
* Курс "Обработка и анализ больших массивов данных" (Processing and analysis of large data sets) читается для студентов 2-го курса магистратуры [https://cs.hse.ru ФКН ВШЭ] в 1-2 модулях.
* Форма контроля: экзамен, выставляется по накопу.
== Команда курса ==
* Преподаватель: Ивченко Олег
* Ассистенты:
** Павлов Дмитрий Александрович (Яндекс)
** Струнова Анастасия Сергеевна (Т-Банк)
** Чавдарь Дмитрий
** Амбарян Рудольф Андраникович (Яндекс)
** Наумов Владислав Олегович (AI VK)
** Стешенко Александр Владимирович
** Кочурова Ирина Дмитриевна
** Шукла Ритупарн (Сбер)
** Сахаров Александр Александрович (Ozon)
** Тельбаева Таншолпан (Innoforce group, Казахстан)
** Иванов Дмитрий Александрович (Luzin Research Institute, (Huawei))

= Важные ссылки =
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=0&single=true План курса]
* [https://t.me/+Gp-TPCunPDxiNTUy Чат курса]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=1360422414&single=true '''Таблица с оценками''']
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/materials Коды семинаров] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://drive.google.com/drive/folders/1qaElablB5ER1y07xXkPXfQcHIxzdfGZB?usp=sharing Слайды презентаций]

= Формы контроля =
Курс предполагает 3 формы контроля:
* Домашние задания: 9 баллов
* Тесты: 2 балла
* Бонусы: 1,5 балла

Итоговая оценка вычисляется по принципу ''MIN(ДЗ+Тесты+бонусы, 10)''.
== Домашние задания ==
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/homeworks Условия домашек] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://docs.google.com/presentation/d/1eDxnTeBWSB1OrA3BwEUa2vJAJm3_OJMuoRxyA13RzTY/edit?slide=id.p#slide=id.p Инструкция по работе с тестирующей системой] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=106688933&single=true Статус проверки домашек]
На курсе 6 домашних заданий, из которых 2 блокирующие. Все ДЗ ''кроме последней'' сдаются в 2 этапа:
* Прохождение CI-тестов
* Code review
По каждой домашке существуют дедлайны. До дедлайна важно пройти '''1й этап''' сдачи.
* После мягкого дедлайна оценка снижается на 50%.
* После жесткого дедлайна сдавать можно только блокирующие ДЗ с оценкой не выше 25%.

== Тесты ==
Состоится 6 контрольных, которые будут проводиться с помощью Google форм, их можно заполнять с компьютера или телефона. На контрольных нельзя пользоваться IDE и интернетом. Код писать не потребуется.

{| class="wikitable"
|-
! Название КР
! Дата
! Длительность
|-
| ОАБМД - 2025. HDFS & MapReduce || 19.10.2025, 18:00 || 15 мин.
|-
| ОАБМД - 2025. SQL over BigData || 15.11.2025, 16:00 || 15 мин.
|-
| ОАБМД - 2025. Spark || 22.11.2025, 16:00 || 10 мин.
|-
| ОАБМД - 2025. Векторные часы || 29.11.2025, 16:00 || 10 мин.
|-
| ОАБМД - 2025. Spark streaming, Kafka & NoSQL || 13.12.2025, 16:00 || 20 мин.
|-
| ОАБМД - 2025. Финальный тест || 20.12.2025, 16:00 || 15 мин.
|}

В случае если вы не сможете написать КР в указанную дату по технической или другой уважительной причине, просьба заполнить [https://docs.google.com/forms/d/e/1FAIpQLSfai8J2r5vuq0LxuwDjHj3jQnMZDFuqwAvr164vKbdlMmzEdg/viewform?usp=dialog '''форму на дописывание''']. Дописывание состоится 20.12.2025 во время последнего занятия. Помимо Google форм, на дописывании будет использована система прокторинга http://exams.mipt.ru/. По [https://drive.google.com/file/d/1n0iR-IaPnT4EeEEUCksODQnjl34L8Xlc/view?usp=sharing ссылке] доступна инструкция пользователя. Желательно зарегистрироваться в системе прокторинга заранее если вы планируете идти на дописывание.

== Бонусы ==
Бонус начисляется за:
* активное участие в семинарах,
* помощь коллегам в чате курса.
Возможно получить до 1,5 баллов. Количество студентов, которым может быть начислен бонус, неограничено.

= Список рекомендуемых материалов =
=== Основная литература ===
# Tom White, Hadoop: The Definitive Guide, 4th Edition Storage and Analysis at Internet Scale, Publisher: O'Reilly, Media Release Date: April 2015
# Karau, H., Konwinski, A., Wendell, P., & Zaharia, M, Learning Spark: Lightning-Fast Big Data Analysis
# Holden Karau et al. Learning Spark. Lightning-fast Data Analytics. Preview Edition. O’Reilly, 2015.
=== Дополнительная литература ===
# Chuck Lam. Hadoop in Action. New York: Manning Publications co.
# Alex Holmes , "Hadoop in Practice"
# Martin Fowler, "NoSQL"
# Eric Redmond, Jim R. Wilson, "Seven Databases in Seven Weeks"
# Jonathan Leibiusky, "Getting Started with Storm"
# Donald Miner, Adam Shook. MapReduce Design Patterns. O’Reilly.
# Arun C. Murthy et al. Apache Hadoop YARN. Addison-Wesley.
# Spark Core Programming. TutorialsPoint, 2015.
# Dario Simonassi, Gabriel Eisbruch, Jonathan Leibiusky. Getting Started with Storm. O’Reilly.
# Edward Capriolo, Dean Wampler, and Jason Rutherglen. Programming Hive. O’Reilly.
# Lars George. HBase: The Definitive Guide. O’Reilly.
# Eben Hewitt. Cassandra: The Definitive Guide. O’Reilly.

ОАБМД-2025

2025-11-19T14:41:27Z

VeLKerr: /* Команда курса */

= О курсе =
* Курс "Обработка и анализ больших массивов данных" (Processing and analysis of large data sets) читается для студентов 2-го курса магистратуры [https://cs.hse.ru ФКН ВШЭ] в 1-2 модулях.
* Форма контроля: экзамен, выставляется по накопу.
== Команда курса ==
* Преподаватель: Ивченко Олег
* Ассистенты:
** Павлов Дмитрий Александрович (Яндекс)
** Струнова Анастасия Сергеевна
** Чавдарь Дмитрий
** Амбарян Рудольф Андраникович
** Наумов Владислав Олегович (AI VK)
** Стешенко Александр Владимирович
** Кочурова Ирина Дмитриевна
** Шукла Ритупарн (Сбер)
** Сахаров Александр Александрович (Ozon)
** Тельбаева Таншолпан (Innoforce group, Казахстан)
** Иванов Дмитрий Александрович (Luzin Research Institute, (Huawei))

= Важные ссылки =
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=0&single=true План курса]
* [https://t.me/+Gp-TPCunPDxiNTUy Чат курса]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=1360422414&single=true '''Таблица с оценками''']
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/materials Коды семинаров] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://drive.google.com/drive/folders/1qaElablB5ER1y07xXkPXfQcHIxzdfGZB?usp=sharing Слайды презентаций]

= Формы контроля =
Курс предполагает 3 формы контроля:
* Домашние задания: 9 баллов
* Тесты: 2 балла
* Бонусы: 1,5 балла

Итоговая оценка вычисляется по принципу ''MIN(ДЗ+Тесты+бонусы, 10)''.
== Домашние задания ==
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/homeworks Условия домашек] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://docs.google.com/presentation/d/1eDxnTeBWSB1OrA3BwEUa2vJAJm3_OJMuoRxyA13RzTY/edit?slide=id.p#slide=id.p Инструкция по работе с тестирующей системой] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=106688933&single=true Статус проверки домашек]
На курсе 6 домашних заданий, из которых 2 блокирующие. Все ДЗ ''кроме последней'' сдаются в 2 этапа:
* Прохождение CI-тестов
* Code review
По каждой домашке существуют дедлайны. До дедлайна важно пройти '''1й этап''' сдачи.
* После мягкого дедлайна оценка снижается на 50%.
* После жесткого дедлайна сдавать можно только блокирующие ДЗ с оценкой не выше 25%.

== Тесты ==
Состоится 6 контрольных, которые будут проводиться с помощью Google форм, их можно заполнять с компьютера или телефона. На контрольных нельзя пользоваться IDE и интернетом. Код писать не потребуется.

{| class="wikitable"
|-
! Название КР
! Дата
! Длительность
|-
| ОАБМД - 2025. HDFS & MapReduce || 19.10.2025, 18:00 || 15 мин.
|-
| ОАБМД - 2025. SQL over BigData || 15.11.2025, 16:00 || 15 мин.
|-
| ОАБМД - 2025. Spark || 22.11.2025, 16:00 || 10 мин.
|-
| ОАБМД - 2025. Векторные часы || 29.11.2025, 16:00 || 10 мин.
|-
| ОАБМД - 2025. Spark streaming, Kafka & NoSQL || 13.12.2025, 16:00 || 20 мин.
|-
| ОАБМД - 2025. Финальный тест || 20.12.2025, 16:00 || 15 мин.
|}

В случае если вы не сможете написать КР в указанную дату по технической или другой уважительной причине, просьба заполнить [https://docs.google.com/forms/d/e/1FAIpQLSfai8J2r5vuq0LxuwDjHj3jQnMZDFuqwAvr164vKbdlMmzEdg/viewform?usp=dialog '''форму на дописывание''']. Дописывание состоится 20.12.2025 во время последнего занятия. Помимо Google форм, на дописывании будет использована система прокторинга http://exams.mipt.ru/. По [https://drive.google.com/file/d/1n0iR-IaPnT4EeEEUCksODQnjl34L8Xlc/view?usp=sharing ссылке] доступна инструкция пользователя. Желательно зарегистрироваться в системе прокторинга заранее если вы планируете идти на дописывание.

== Бонусы ==
Бонус начисляется за:
* активное участие в семинарах,
* помощь коллегам в чате курса.
Возможно получить до 1,5 баллов. Количество студентов, которым может быть начислен бонус, неограничено.

= Список рекомендуемых материалов =
=== Основная литература ===
# Tom White, Hadoop: The Definitive Guide, 4th Edition Storage and Analysis at Internet Scale, Publisher: O'Reilly, Media Release Date: April 2015
# Karau, H., Konwinski, A., Wendell, P., & Zaharia, M, Learning Spark: Lightning-Fast Big Data Analysis
# Holden Karau et al. Learning Spark. Lightning-fast Data Analytics. Preview Edition. O’Reilly, 2015.
=== Дополнительная литература ===
# Chuck Lam. Hadoop in Action. New York: Manning Publications co.
# Alex Holmes , "Hadoop in Practice"
# Martin Fowler, "NoSQL"
# Eric Redmond, Jim R. Wilson, "Seven Databases in Seven Weeks"
# Jonathan Leibiusky, "Getting Started with Storm"
# Donald Miner, Adam Shook. MapReduce Design Patterns. O’Reilly.
# Arun C. Murthy et al. Apache Hadoop YARN. Addison-Wesley.
# Spark Core Programming. TutorialsPoint, 2015.
# Dario Simonassi, Gabriel Eisbruch, Jonathan Leibiusky. Getting Started with Storm. O’Reilly.
# Edward Capriolo, Dean Wampler, and Jason Rutherglen. Programming Hive. O’Reilly.
# Lars George. HBase: The Definitive Guide. O’Reilly.
# Eben Hewitt. Cassandra: The Definitive Guide. O’Reilly.

ОАБМД-2025

2025-11-14T22:23:05Z

VeLKerr: /* Тесты */

= О курсе =
* Курс "Обработка и анализ больших массивов данных" (Processing and analysis of large data sets) читается для студентов 2-го курса магистратуры [https://cs.hse.ru ФКН ВШЭ] в 1-2 модулях.
* Форма контроля: экзамен, выставляется по накопу.
== Команда курса ==
* Преподаватель: Ивченко Олег
* Ассистенты:
** Павлов Дмитрий Александрович (Яндекс)
** Струнова Анастасия Сергеевна
** Чавдарь Дмитрий
** Амбарян Рудольф Андраникович
** Наумов Владислав Олегович
** Стешенко Александр Владимирович
** Кочурова Ирина Дмитриевна
** Шукла Ритупарн (Сбер)
** Сахаров Александр Александрович (Ozon)
** Тельбаева Таншолпан (Innoforce group, Казахстан)
** Иванов Дмитрий Александрович (Luzin Research Institute, (Huawei))

= Важные ссылки =
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=0&single=true План курса]
* [https://t.me/+Gp-TPCunPDxiNTUy Чат курса]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=1360422414&single=true '''Таблица с оценками''']
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/materials Коды семинаров] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://drive.google.com/drive/folders/1qaElablB5ER1y07xXkPXfQcHIxzdfGZB?usp=sharing Слайды презентаций]

= Формы контроля =
Курс предполагает 3 формы контроля:
* Домашние задания: 9 баллов
* Тесты: 2 балла
* Бонусы: 1,5 балла

Итоговая оценка вычисляется по принципу ''MIN(ДЗ+Тесты+бонусы, 10)''.
== Домашние задания ==
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/homeworks Условия домашек] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://docs.google.com/presentation/d/1eDxnTeBWSB1OrA3BwEUa2vJAJm3_OJMuoRxyA13RzTY/edit?slide=id.p#slide=id.p Инструкция по работе с тестирующей системой] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=106688933&single=true Статус проверки домашек]
На курсе 6 домашних заданий, из которых 2 блокирующие. Все ДЗ ''кроме последней'' сдаются в 2 этапа:
* Прохождение CI-тестов
* Code review
По каждой домашке существуют дедлайны. До дедлайна важно пройти '''1й этап''' сдачи.
* После мягкого дедлайна оценка снижается на 50%.
* После жесткого дедлайна сдавать можно только блокирующие ДЗ с оценкой не выше 25%.

== Тесты ==
Состоится 6 контрольных, которые будут проводиться с помощью Google форм, их можно заполнять с компьютера или телефона. На контрольных нельзя пользоваться IDE и интернетом. Код писать не потребуется.

{| class="wikitable"
|-
! Название КР
! Дата
! Длительность
|-
| ОАБМД - 2025. HDFS & MapReduce || 19.10.2025, 18:00 || 15 мин.
|-
| ОАБМД - 2025. SQL over BigData || 15.11.2025, 16:00 || 15 мин.
|-
| ОАБМД - 2025. Spark || 22.11.2025, 16:00 || 10 мин.
|-
| ОАБМД - 2025. Векторные часы || 29.11.2025, 16:00 || 10 мин.
|-
| ОАБМД - 2025. Spark streaming, Kafka & NoSQL || 13.12.2025, 16:00 || 20 мин.
|-
| ОАБМД - 2025. Финальный тест || 20.12.2025, 16:00 || 15 мин.
|}

В случае если вы не сможете написать КР в указанную дату по технической или другой уважительной причине, просьба заполнить [https://docs.google.com/forms/d/e/1FAIpQLSfai8J2r5vuq0LxuwDjHj3jQnMZDFuqwAvr164vKbdlMmzEdg/viewform?usp=dialog '''форму на дописывание''']. Дописывание состоится 20.12.2025 во время последнего занятия. Помимо Google форм, на дописывании будет использована система прокторинга http://exams.mipt.ru/. По [https://drive.google.com/file/d/1n0iR-IaPnT4EeEEUCksODQnjl34L8Xlc/view?usp=sharing ссылке] доступна инструкция пользователя. Желательно зарегистрироваться в системе прокторинга заранее если вы планируете идти на дописывание.

== Бонусы ==
Бонус начисляется за:
* активное участие в семинарах,
* помощь коллегам в чате курса.
Возможно получить до 1,5 баллов. Количество студентов, которым может быть начислен бонус, неограничено.

= Список рекомендуемых материалов =
=== Основная литература ===
# Tom White, Hadoop: The Definitive Guide, 4th Edition Storage and Analysis at Internet Scale, Publisher: O'Reilly, Media Release Date: April 2015
# Karau, H., Konwinski, A., Wendell, P., & Zaharia, M, Learning Spark: Lightning-Fast Big Data Analysis
# Holden Karau et al. Learning Spark. Lightning-fast Data Analytics. Preview Edition. O’Reilly, 2015.
=== Дополнительная литература ===
# Chuck Lam. Hadoop in Action. New York: Manning Publications co.
# Alex Holmes , "Hadoop in Practice"
# Martin Fowler, "NoSQL"
# Eric Redmond, Jim R. Wilson, "Seven Databases in Seven Weeks"
# Jonathan Leibiusky, "Getting Started with Storm"
# Donald Miner, Adam Shook. MapReduce Design Patterns. O’Reilly.
# Arun C. Murthy et al. Apache Hadoop YARN. Addison-Wesley.
# Spark Core Programming. TutorialsPoint, 2015.
# Dario Simonassi, Gabriel Eisbruch, Jonathan Leibiusky. Getting Started with Storm. O’Reilly.
# Edward Capriolo, Dean Wampler, and Jason Rutherglen. Programming Hive. O’Reilly.
# Lars George. HBase: The Definitive Guide. O’Reilly.
# Eben Hewitt. Cassandra: The Definitive Guide. O’Reilly.

ОАБМД-2025

2025-11-10T17:16:08Z

VeLKerr: /* Команда курса */

= О курсе =
* Курс "Обработка и анализ больших массивов данных" (Processing and analysis of large data sets) читается для студентов 2-го курса магистратуры [https://cs.hse.ru ФКН ВШЭ] в 1-2 модулях.
* Форма контроля: экзамен, выставляется по накопу.
== Команда курса ==
* Преподаватель: Ивченко Олег
* Ассистенты:
** Павлов Дмитрий Александрович (Яндекс)
** Струнова Анастасия Сергеевна
** Чавдарь Дмитрий
** Амбарян Рудольф Андраникович
** Наумов Владислав Олегович
** Стешенко Александр Владимирович
** Кочурова Ирина Дмитриевна
** Шукла Ритупарн (Сбер)
** Сахаров Александр Александрович (Ozon)
** Тельбаева Таншолпан (Innoforce group, Казахстан)
** Иванов Дмитрий Александрович (Luzin Research Institute, (Huawei))

= Важные ссылки =
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=0&single=true План курса]
* [https://t.me/+Gp-TPCunPDxiNTUy Чат курса]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=1360422414&single=true '''Таблица с оценками''']
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/materials Коды семинаров] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://drive.google.com/drive/folders/1qaElablB5ER1y07xXkPXfQcHIxzdfGZB?usp=sharing Слайды презентаций]

= Формы контроля =
Курс предполагает 3 формы контроля:
* Домашние задания: 9 баллов
* Тесты: 2 балла
* Бонусы: 1,5 балла

Итоговая оценка вычисляется по принципу ''MIN(ДЗ+Тесты+бонусы, 10)''.
== Домашние задания ==
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/homeworks Условия домашек] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://docs.google.com/presentation/d/1eDxnTeBWSB1OrA3BwEUa2vJAJm3_OJMuoRxyA13RzTY/edit?slide=id.p#slide=id.p Инструкция по работе с тестирующей системой] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=106688933&single=true Статус проверки домашек]
На курсе 6 домашних заданий, из которых 2 блокирующие. Все ДЗ ''кроме последней'' сдаются в 2 этапа:
* Прохождение CI-тестов
* Code review
По каждой домашке существуют дедлайны. До дедлайна важно пройти '''1й этап''' сдачи.
* После мягкого дедлайна оценка снижается на 50%.
* После жесткого дедлайна сдавать можно только блокирующие ДЗ с оценкой не выше 25%.

== Тесты ==
Состоится 6 контрольных, которые будут проводиться с помощью Google форм, их можно заполнять с компьютера или телефона. На контрольных нельзя пользоваться IDE и интернетом. Код писать не потребуется.

{| class="wikitable"
|-
! Название КР
! Дата
! Длительность
|-
| ОАБМД - 2025. HDFS & MapReduce || 19.10.2025, 18:00 || 15 мин.
|-
| ОАБМД - 2025. SQL over BigData || 09.11.2025, 18:00 || 15 мин.
|-
| ОАБМД - 2025. Spark || 23.11.2025, 18:00 || 10 мин.
|-
| ОАБМД - 2025. Векторные часы || 30.11.2025, 18:00 || 10 мин.
|-
| ОАБМД - 2025. Spark streaming, Kafka & NoSQL || 14.12.2025, 18:00 || 20 мин.
|-
| ОАБМД - 2025. Финальный тест || 21.12.2025, 18:00 || 15 мин.
|}

В случае если вы не сможете написать КР в указанную дату по технической или другой уважительной причине, просьба заполнить [https://docs.google.com/forms/d/e/1FAIpQLSfai8J2r5vuq0LxuwDjHj3jQnMZDFuqwAvr164vKbdlMmzEdg/viewform?usp=dialog '''форму на дописывание''']. Дописывание состоится 20.12.2025 во время последнего занятия. Помимо Google форм, на дописывании будет использована система прокторинга http://exams.mipt.ru/. По [https://drive.google.com/file/d/1n0iR-IaPnT4EeEEUCksODQnjl34L8Xlc/view?usp=sharing ссылке] доступна инструкция пользователя. Желательно зарегистрироваться в системе прокторинга заранее если вы планируете идти на дописывание.

== Бонусы ==
Бонус начисляется за:
* активное участие в семинарах,
* помощь коллегам в чате курса.
Возможно получить до 1,5 баллов. Количество студентов, которым может быть начислен бонус, неограничено.

= Список рекомендуемых материалов =
=== Основная литература ===
# Tom White, Hadoop: The Definitive Guide, 4th Edition Storage and Analysis at Internet Scale, Publisher: O'Reilly, Media Release Date: April 2015
# Karau, H., Konwinski, A., Wendell, P., & Zaharia, M, Learning Spark: Lightning-Fast Big Data Analysis
# Holden Karau et al. Learning Spark. Lightning-fast Data Analytics. Preview Edition. O’Reilly, 2015.
=== Дополнительная литература ===
# Chuck Lam. Hadoop in Action. New York: Manning Publications co.
# Alex Holmes , "Hadoop in Practice"
# Martin Fowler, "NoSQL"
# Eric Redmond, Jim R. Wilson, "Seven Databases in Seven Weeks"
# Jonathan Leibiusky, "Getting Started with Storm"
# Donald Miner, Adam Shook. MapReduce Design Patterns. O’Reilly.
# Arun C. Murthy et al. Apache Hadoop YARN. Addison-Wesley.
# Spark Core Programming. TutorialsPoint, 2015.
# Dario Simonassi, Gabriel Eisbruch, Jonathan Leibiusky. Getting Started with Storm. O’Reilly.
# Edward Capriolo, Dean Wampler, and Jason Rutherglen. Programming Hive. O’Reilly.
# Lars George. HBase: The Definitive Guide. O’Reilly.
# Eben Hewitt. Cassandra: The Definitive Guide. O’Reilly.

ОАБМД-2025

2025-11-10T10:10:14Z

VeLKerr: /* Команда курса */

= О курсе =
* Курс "Обработка и анализ больших массивов данных" (Processing and analysis of large data sets) читается для студентов 2-го курса магистратуры [https://cs.hse.ru ФКН ВШЭ] в 1-2 модулях.
* Форма контроля: экзамен, выставляется по накопу.
== Команда курса ==
* Преподаватель: Ивченко Олег
* Ассистенты:
** Павлов Дмитрий Александрович (Яндекс)
** Струнова Анастасия Сергеевна
** Чавдарь Дмитрий
** Амбарян Рудольф Андраникович
** Наумов Владислав Олегович
** Стешенко Александр Владимирович
** Кочурова Ирина Дмитриевна
** Шукла Ритупарн (Сбер)
** Сахаров Александр Александрович (Ozon)
** Тельбаева Таншолпан (Innoforce group, Казахстан)
** Иванов Дмитрий Александрович (Luzin Research Institute, ex.Huawei)

= Важные ссылки =
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=0&single=true План курса]
* [https://t.me/+Gp-TPCunPDxiNTUy Чат курса]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=1360422414&single=true '''Таблица с оценками''']
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/materials Коды семинаров] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://drive.google.com/drive/folders/1qaElablB5ER1y07xXkPXfQcHIxzdfGZB?usp=sharing Слайды презентаций]

= Формы контроля =
Курс предполагает 3 формы контроля:
* Домашние задания: 9 баллов
* Тесты: 2 балла
* Бонусы: 1,5 балла

Итоговая оценка вычисляется по принципу ''MIN(ДЗ+Тесты+бонусы, 10)''.
== Домашние задания ==
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/homeworks Условия домашек] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://docs.google.com/presentation/d/1eDxnTeBWSB1OrA3BwEUa2vJAJm3_OJMuoRxyA13RzTY/edit?slide=id.p#slide=id.p Инструкция по работе с тестирующей системой] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=106688933&single=true Статус проверки домашек]
На курсе 6 домашних заданий, из которых 2 блокирующие. Все ДЗ ''кроме последней'' сдаются в 2 этапа:
* Прохождение CI-тестов
* Code review
По каждой домашке существуют дедлайны. До дедлайна важно пройти '''1й этап''' сдачи.
* После мягкого дедлайна оценка снижается на 50%.
* После жесткого дедлайна сдавать можно только блокирующие ДЗ с оценкой не выше 25%.

== Тесты ==
Состоится 6 контрольных, которые будут проводиться с помощью Google форм, их можно заполнять с компьютера или телефона. На контрольных нельзя пользоваться IDE и интернетом. Код писать не потребуется.

{| class="wikitable"
|-
! Название КР
! Дата
! Длительность
|-
| ОАБМД - 2025. HDFS & MapReduce || 19.10.2025, 18:00 || 15 мин.
|-
| ОАБМД - 2025. SQL over BigData || 09.11.2025, 18:00 || 15 мин.
|-
| ОАБМД - 2025. Spark || 23.11.2025, 18:00 || 10 мин.
|-
| ОАБМД - 2025. Векторные часы || 30.11.2025, 18:00 || 10 мин.
|-
| ОАБМД - 2025. Spark streaming, Kafka & NoSQL || 14.12.2025, 18:00 || 20 мин.
|-
| ОАБМД - 2025. Финальный тест || 21.12.2025, 18:00 || 15 мин.
|}

В случае если вы не сможете написать КР в указанную дату по технической или другой уважительной причине, просьба заполнить [https://docs.google.com/forms/d/e/1FAIpQLSfai8J2r5vuq0LxuwDjHj3jQnMZDFuqwAvr164vKbdlMmzEdg/viewform?usp=dialog '''форму на дописывание''']. Дописывание состоится 20.12.2025 во время последнего занятия. Помимо Google форм, на дописывании будет использована система прокторинга http://exams.mipt.ru/. По [https://drive.google.com/file/d/1n0iR-IaPnT4EeEEUCksODQnjl34L8Xlc/view?usp=sharing ссылке] доступна инструкция пользователя. Желательно зарегистрироваться в системе прокторинга заранее если вы планируете идти на дописывание.

== Бонусы ==
Бонус начисляется за:
* активное участие в семинарах,
* помощь коллегам в чате курса.
Возможно получить до 1,5 баллов. Количество студентов, которым может быть начислен бонус, неограничено.

= Список рекомендуемых материалов =
=== Основная литература ===
# Tom White, Hadoop: The Definitive Guide, 4th Edition Storage and Analysis at Internet Scale, Publisher: O'Reilly, Media Release Date: April 2015
# Karau, H., Konwinski, A., Wendell, P., & Zaharia, M, Learning Spark: Lightning-Fast Big Data Analysis
# Holden Karau et al. Learning Spark. Lightning-fast Data Analytics. Preview Edition. O’Reilly, 2015.
=== Дополнительная литература ===
# Chuck Lam. Hadoop in Action. New York: Manning Publications co.
# Alex Holmes , "Hadoop in Practice"
# Martin Fowler, "NoSQL"
# Eric Redmond, Jim R. Wilson, "Seven Databases in Seven Weeks"
# Jonathan Leibiusky, "Getting Started with Storm"
# Donald Miner, Adam Shook. MapReduce Design Patterns. O’Reilly.
# Arun C. Murthy et al. Apache Hadoop YARN. Addison-Wesley.
# Spark Core Programming. TutorialsPoint, 2015.
# Dario Simonassi, Gabriel Eisbruch, Jonathan Leibiusky. Getting Started with Storm. O’Reilly.
# Edward Capriolo, Dean Wampler, and Jason Rutherglen. Programming Hive. O’Reilly.
# Lars George. HBase: The Definitive Guide. O’Reilly.
# Eben Hewitt. Cassandra: The Definitive Guide. O’Reilly.

ОАБМД-2025

2025-11-09T14:29:52Z

VeLKerr: /* Команда курса */

= О курсе =
* Курс "Обработка и анализ больших массивов данных" (Processing and analysis of large data sets) читается для студентов 2-го курса магистратуры [https://cs.hse.ru ФКН ВШЭ] в 1-2 модулях.
* Форма контроля: экзамен, выставляется по накопу.
== Команда курса ==
* Преподаватель: Ивченко Олег
* Ассистенты:
** Павлов Дмитрий Александрович (Яндекс)
** Струнова Анастасия Сергеевна
** Чавдарь Дмитрий
** Амбарян Рудольф Андраникович
** Наумов Владислав Олегович
** Стешенко Александр Владимирович
** Кочурова Ирина Дмитриевна
** Шукла Ритупарн (Сбер)
** Сахаров Александр Александрович (Ozon)
** Тельбаева Таншолпан (Innoforce group, Казахстан)
** Иванов Дмитрий Александрович (Huawei)

= Важные ссылки =
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=0&single=true План курса]
* [https://t.me/+Gp-TPCunPDxiNTUy Чат курса]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=1360422414&single=true '''Таблица с оценками''']
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/materials Коды семинаров] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://drive.google.com/drive/folders/1qaElablB5ER1y07xXkPXfQcHIxzdfGZB?usp=sharing Слайды презентаций]

= Формы контроля =
Курс предполагает 3 формы контроля:
* Домашние задания: 9 баллов
* Тесты: 2 балла
* Бонусы: 1,5 балла

Итоговая оценка вычисляется по принципу ''MIN(ДЗ+Тесты+бонусы, 10)''.
== Домашние задания ==
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/homeworks Условия домашек] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://docs.google.com/presentation/d/1eDxnTeBWSB1OrA3BwEUa2vJAJm3_OJMuoRxyA13RzTY/edit?slide=id.p#slide=id.p Инструкция по работе с тестирующей системой] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=106688933&single=true Статус проверки домашек]
На курсе 6 домашних заданий, из которых 2 блокирующие. Все ДЗ ''кроме последней'' сдаются в 2 этапа:
* Прохождение CI-тестов
* Code review
По каждой домашке существуют дедлайны. До дедлайна важно пройти '''1й этап''' сдачи.
* После мягкого дедлайна оценка снижается на 50%.
* После жесткого дедлайна сдавать можно только блокирующие ДЗ с оценкой не выше 25%.

== Тесты ==
Состоится 6 контрольных, которые будут проводиться с помощью Google форм, их можно заполнять с компьютера или телефона. На контрольных нельзя пользоваться IDE и интернетом. Код писать не потребуется.

{| class="wikitable"
|-
! Название КР
! Дата
! Длительность
|-
| ОАБМД - 2025. HDFS & MapReduce || 19.10.2025, 18:00 || 15 мин.
|-
| ОАБМД - 2025. SQL over BigData || 09.11.2025, 18:00 || 15 мин.
|-
| ОАБМД - 2025. Spark || 23.11.2025, 18:00 || 10 мин.
|-
| ОАБМД - 2025. Векторные часы || 30.11.2025, 18:00 || 10 мин.
|-
| ОАБМД - 2025. Spark streaming, Kafka & NoSQL || 14.12.2025, 18:00 || 20 мин.
|-
| ОАБМД - 2025. Финальный тест || 21.12.2025, 18:00 || 15 мин.
|}

В случае если вы не сможете написать КР в указанную дату по технической или другой уважительной причине, просьба заполнить [https://docs.google.com/forms/d/e/1FAIpQLSfai8J2r5vuq0LxuwDjHj3jQnMZDFuqwAvr164vKbdlMmzEdg/viewform?usp=dialog '''форму на дописывание''']. Дописывание состоится 20.12.2025 во время последнего занятия. Помимо Google форм, на дописывании будет использована система прокторинга http://exams.mipt.ru/. По [https://drive.google.com/file/d/1n0iR-IaPnT4EeEEUCksODQnjl34L8Xlc/view?usp=sharing ссылке] доступна инструкция пользователя. Желательно зарегистрироваться в системе прокторинга заранее если вы планируете идти на дописывание.

== Бонусы ==
Бонус начисляется за:
* активное участие в семинарах,
* помощь коллегам в чате курса.
Возможно получить до 1,5 баллов. Количество студентов, которым может быть начислен бонус, неограничено.

= Список рекомендуемых материалов =
=== Основная литература ===
# Tom White, Hadoop: The Definitive Guide, 4th Edition Storage and Analysis at Internet Scale, Publisher: O'Reilly, Media Release Date: April 2015
# Karau, H., Konwinski, A., Wendell, P., & Zaharia, M, Learning Spark: Lightning-Fast Big Data Analysis
# Holden Karau et al. Learning Spark. Lightning-fast Data Analytics. Preview Edition. O’Reilly, 2015.
=== Дополнительная литература ===
# Chuck Lam. Hadoop in Action. New York: Manning Publications co.
# Alex Holmes , "Hadoop in Practice"
# Martin Fowler, "NoSQL"
# Eric Redmond, Jim R. Wilson, "Seven Databases in Seven Weeks"
# Jonathan Leibiusky, "Getting Started with Storm"
# Donald Miner, Adam Shook. MapReduce Design Patterns. O’Reilly.
# Arun C. Murthy et al. Apache Hadoop YARN. Addison-Wesley.
# Spark Core Programming. TutorialsPoint, 2015.
# Dario Simonassi, Gabriel Eisbruch, Jonathan Leibiusky. Getting Started with Storm. O’Reilly.
# Edward Capriolo, Dean Wampler, and Jason Rutherglen. Programming Hive. O’Reilly.
# Lars George. HBase: The Definitive Guide. O’Reilly.
# Eben Hewitt. Cassandra: The Definitive Guide. O’Reilly.

ОАБМД-2025

2025-11-09T14:23:54Z

VeLKerr: /* Команда курса */

= О курсе =
* Курс "Обработка и анализ больших массивов данных" (Processing and analysis of large data sets) читается для студентов 2-го курса магистратуры [https://cs.hse.ru ФКН ВШЭ] в 1-2 модулях.
* Форма контроля: экзамен, выставляется по накопу.
== Команда курса ==
* Преподаватель: Ивченко Олег
* Ассистенты:
** Павлов Дмитрий Александрович
** Струнова Анастасия Сергеевна
** Чавдарь Дмитрий
** Амбарян Рудольф Андраникович
** Наумов Владислав Олегович
** Стешенко Александр Владимирович
** Кочурова Ирина Дмитриевна
** Шукла Ритупарн (Сбер)
** Сахаров Александр Александрович (Ozon)
** Тельбаева Таншолпан (Innoforce group, Казахстан)
** Иванов Дмитрий Александрович (Huawei)

= Важные ссылки =
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=0&single=true План курса]
* [https://t.me/+Gp-TPCunPDxiNTUy Чат курса]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=1360422414&single=true '''Таблица с оценками''']
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/materials Коды семинаров] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://drive.google.com/drive/folders/1qaElablB5ER1y07xXkPXfQcHIxzdfGZB?usp=sharing Слайды презентаций]

= Формы контроля =
Курс предполагает 3 формы контроля:
* Домашние задания: 9 баллов
* Тесты: 2 балла
* Бонусы: 1,5 балла

Итоговая оценка вычисляется по принципу ''MIN(ДЗ+Тесты+бонусы, 10)''.
== Домашние задания ==
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/homeworks Условия домашек] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://docs.google.com/presentation/d/1eDxnTeBWSB1OrA3BwEUa2vJAJm3_OJMuoRxyA13RzTY/edit?slide=id.p#slide=id.p Инструкция по работе с тестирующей системой] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=106688933&single=true Статус проверки домашек]
На курсе 6 домашних заданий, из которых 2 блокирующие. Все ДЗ ''кроме последней'' сдаются в 2 этапа:
* Прохождение CI-тестов
* Code review
По каждой домашке существуют дедлайны. До дедлайна важно пройти '''1й этап''' сдачи.
* После мягкого дедлайна оценка снижается на 50%.
* После жесткого дедлайна сдавать можно только блокирующие ДЗ с оценкой не выше 25%.

== Тесты ==
Состоится 6 контрольных, которые будут проводиться с помощью Google форм, их можно заполнять с компьютера или телефона. На контрольных нельзя пользоваться IDE и интернетом. Код писать не потребуется.

{| class="wikitable"
|-
! Название КР
! Дата
! Длительность
|-
| ОАБМД - 2025. HDFS & MapReduce || 19.10.2025, 18:00 || 15 мин.
|-
| ОАБМД - 2025. SQL over BigData || 09.11.2025, 18:00 || 15 мин.
|-
| ОАБМД - 2025. Spark || 23.11.2025, 18:00 || 10 мин.
|-
| ОАБМД - 2025. Векторные часы || 30.11.2025, 18:00 || 10 мин.
|-
| ОАБМД - 2025. Spark streaming, Kafka & NoSQL || 14.12.2025, 18:00 || 20 мин.
|-
| ОАБМД - 2025. Финальный тест || 21.12.2025, 18:00 || 15 мин.
|}

В случае если вы не сможете написать КР в указанную дату по технической или другой уважительной причине, просьба заполнить [https://docs.google.com/forms/d/e/1FAIpQLSfai8J2r5vuq0LxuwDjHj3jQnMZDFuqwAvr164vKbdlMmzEdg/viewform?usp=dialog '''форму на дописывание''']. Дописывание состоится 20.12.2025 во время последнего занятия. Помимо Google форм, на дописывании будет использована система прокторинга http://exams.mipt.ru/. По [https://drive.google.com/file/d/1n0iR-IaPnT4EeEEUCksODQnjl34L8Xlc/view?usp=sharing ссылке] доступна инструкция пользователя. Желательно зарегистрироваться в системе прокторинга заранее если вы планируете идти на дописывание.

== Бонусы ==
Бонус начисляется за:
* активное участие в семинарах,
* помощь коллегам в чате курса.
Возможно получить до 1,5 баллов. Количество студентов, которым может быть начислен бонус, неограничено.

= Список рекомендуемых материалов =
=== Основная литература ===
# Tom White, Hadoop: The Definitive Guide, 4th Edition Storage and Analysis at Internet Scale, Publisher: O'Reilly, Media Release Date: April 2015
# Karau, H., Konwinski, A., Wendell, P., & Zaharia, M, Learning Spark: Lightning-Fast Big Data Analysis
# Holden Karau et al. Learning Spark. Lightning-fast Data Analytics. Preview Edition. O’Reilly, 2015.
=== Дополнительная литература ===
# Chuck Lam. Hadoop in Action. New York: Manning Publications co.
# Alex Holmes , "Hadoop in Practice"
# Martin Fowler, "NoSQL"
# Eric Redmond, Jim R. Wilson, "Seven Databases in Seven Weeks"
# Jonathan Leibiusky, "Getting Started with Storm"
# Donald Miner, Adam Shook. MapReduce Design Patterns. O’Reilly.
# Arun C. Murthy et al. Apache Hadoop YARN. Addison-Wesley.
# Spark Core Programming. TutorialsPoint, 2015.
# Dario Simonassi, Gabriel Eisbruch, Jonathan Leibiusky. Getting Started with Storm. O’Reilly.
# Edward Capriolo, Dean Wampler, and Jason Rutherglen. Programming Hive. O’Reilly.
# Lars George. HBase: The Definitive Guide. O’Reilly.
# Eben Hewitt. Cassandra: The Definitive Guide. O’Reilly.

ОАБМД-2025

2025-11-07T15:03:19Z

VeLKerr: /* Тесты */

= О курсе =
* Курс "Обработка и анализ больших массивов данных" (Processing and analysis of large data sets) читается для студентов 2-го курса магистратуры [https://cs.hse.ru ФКН ВШЭ] в 1-2 модулях.
* Форма контроля: экзамен, выставляется по накопу.
== Команда курса ==
* Преподаватель: Ивченко Олег
* Ассистенты:
** Павлов Дмитрий Александрович
** Струнова Анастасия Сергеевна
** Чавдарь Дмитрий
** Амбарян Рудольф Андраникович
** Наумов Владислав Олегович
** Стешенко Александр Владимирович
** Кочурова Ирина Дмитриевна

= Важные ссылки =
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=0&single=true План курса]
* [https://t.me/+Gp-TPCunPDxiNTUy Чат курса]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=1360422414&single=true '''Таблица с оценками''']
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/materials Коды семинаров] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://drive.google.com/drive/folders/1qaElablB5ER1y07xXkPXfQcHIxzdfGZB?usp=sharing Слайды презентаций]

= Формы контроля =
Курс предполагает 3 формы контроля:
* Домашние задания: 9 баллов
* Тесты: 2 балла
* Бонусы: 1,5 балла

Итоговая оценка вычисляется по принципу ''MIN(ДЗ+Тесты+бонусы, 10)''.
== Домашние задания ==
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/homeworks Условия домашек] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://docs.google.com/presentation/d/1eDxnTeBWSB1OrA3BwEUa2vJAJm3_OJMuoRxyA13RzTY/edit?slide=id.p#slide=id.p Инструкция по работе с тестирующей системой] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=106688933&single=true Статус проверки домашек]
На курсе 6 домашних заданий, из которых 2 блокирующие. Все ДЗ ''кроме последней'' сдаются в 2 этапа:
* Прохождение CI-тестов
* Code review
По каждой домашке существуют дедлайны. До дедлайна важно пройти '''1й этап''' сдачи.
* После мягкого дедлайна оценка снижается на 50%.
* После жесткого дедлайна сдавать можно только блокирующие ДЗ с оценкой не выше 25%.

== Тесты ==
Состоится 6 контрольных, которые будут проводиться с помощью Google форм, их можно заполнять с компьютера или телефона. На контрольных нельзя пользоваться IDE и интернетом. Код писать не потребуется.

{| class="wikitable"
|-
! Название КР
! Дата
! Длительность
|-
| ОАБМД - 2025. HDFS & MapReduce || 19.10.2025, 18:00 || 15 мин.
|-
| ОАБМД - 2025. SQL over BigData || 09.11.2025, 18:00 || 15 мин.
|-
| ОАБМД - 2025. Spark || 23.11.2025, 18:00 || 10 мин.
|-
| ОАБМД - 2025. Векторные часы || 30.11.2025, 18:00 || 10 мин.
|-
| ОАБМД - 2025. Spark streaming, Kafka & NoSQL || 14.12.2025, 18:00 || 20 мин.
|-
| ОАБМД - 2025. Финальный тест || 21.12.2025, 18:00 || 15 мин.
|}

В случае если вы не сможете написать КР в указанную дату по технической или другой уважительной причине, просьба заполнить [https://docs.google.com/forms/d/e/1FAIpQLSfai8J2r5vuq0LxuwDjHj3jQnMZDFuqwAvr164vKbdlMmzEdg/viewform?usp=dialog '''форму на дописывание''']. Дописывание состоится 20.12.2025 во время последнего занятия. Помимо Google форм, на дописывании будет использована система прокторинга http://exams.mipt.ru/. По [https://drive.google.com/file/d/1n0iR-IaPnT4EeEEUCksODQnjl34L8Xlc/view?usp=sharing ссылке] доступна инструкция пользователя. Желательно зарегистрироваться в системе прокторинга заранее если вы планируете идти на дописывание.

== Бонусы ==
Бонус начисляется за:
* активное участие в семинарах,
* помощь коллегам в чате курса.
Возможно получить до 1,5 баллов. Количество студентов, которым может быть начислен бонус, неограничено.

= Список рекомендуемых материалов =
=== Основная литература ===
# Tom White, Hadoop: The Definitive Guide, 4th Edition Storage and Analysis at Internet Scale, Publisher: O'Reilly, Media Release Date: April 2015
# Karau, H., Konwinski, A., Wendell, P., & Zaharia, M, Learning Spark: Lightning-Fast Big Data Analysis
# Holden Karau et al. Learning Spark. Lightning-fast Data Analytics. Preview Edition. O’Reilly, 2015.
=== Дополнительная литература ===
# Chuck Lam. Hadoop in Action. New York: Manning Publications co.
# Alex Holmes , "Hadoop in Practice"
# Martin Fowler, "NoSQL"
# Eric Redmond, Jim R. Wilson, "Seven Databases in Seven Weeks"
# Jonathan Leibiusky, "Getting Started with Storm"
# Donald Miner, Adam Shook. MapReduce Design Patterns. O’Reilly.
# Arun C. Murthy et al. Apache Hadoop YARN. Addison-Wesley.
# Spark Core Programming. TutorialsPoint, 2015.
# Dario Simonassi, Gabriel Eisbruch, Jonathan Leibiusky. Getting Started with Storm. O’Reilly.
# Edward Capriolo, Dean Wampler, and Jason Rutherglen. Programming Hive. O’Reilly.
# Lars George. HBase: The Definitive Guide. O’Reilly.
# Eben Hewitt. Cassandra: The Definitive Guide. O’Reilly.

ОАБМД-2025

2025-11-01T11:55:30Z

VeLKerr: /* Команда курса */

= О курсе =
* Курс "Обработка и анализ больших массивов данных" (Processing and analysis of large data sets) читается для студентов 2-го курса магистратуры [https://cs.hse.ru ФКН ВШЭ] в 1-2 модулях.
* Форма контроля: экзамен, выставляется по накопу.
== Команда курса ==
* Преподаватель: Ивченко Олег
* Ассистенты:
** Павлов Дмитрий Александрович
** Струнова Анастасия Сергеевна
** Чавдарь Дмитрий
** Амбарян Рудольф Андраникович
** Наумов Владислав Олегович
** Стешенко Александр Владимирович
** Кочурова Ирина Дмитриевна

= Важные ссылки =
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=0&single=true План курса]
* [https://t.me/+Gp-TPCunPDxiNTUy Чат курса]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=1360422414&single=true '''Таблица с оценками''']
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/materials Коды семинаров] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://drive.google.com/drive/folders/1qaElablB5ER1y07xXkPXfQcHIxzdfGZB?usp=sharing Слайды презентаций]

= Формы контроля =
Курс предполагает 3 формы контроля:
* Домашние задания: 9 баллов
* Тесты: 2 балла
* Бонусы: 1,5 балла

Итоговая оценка вычисляется по принципу ''MIN(ДЗ+Тесты+бонусы, 10)''.
== Домашние задания ==
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/homeworks Условия домашек] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://docs.google.com/presentation/d/1eDxnTeBWSB1OrA3BwEUa2vJAJm3_OJMuoRxyA13RzTY/edit?slide=id.p#slide=id.p Инструкция по работе с тестирующей системой] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=106688933&single=true Статус проверки домашек]
На курсе 6 домашних заданий, из которых 2 блокирующие. Все ДЗ ''кроме последней'' сдаются в 2 этапа:
* Прохождение CI-тестов
* Code review
По каждой домашке существуют дедлайны. До дедлайна важно пройти '''1й этап''' сдачи.
* После мягкого дедлайна оценка снижается на 50%.
* После жесткого дедлайна сдавать можно только блокирующие ДЗ с оценкой не выше 25%.

== Тесты ==
Состоится 6 контрольных, которые будут проводиться с помощью Google форм, их можно заполнять с компьютера или телефона. На контрольных нельзя пользоваться IDE и интернетом. Код писать не потребуется.

{| class="wikitable"
|-
! Название КР
! Дата
! Длительность
|-
| ОАБМД - 2025. HDFS & MapReduce || 19.10.2025 || 15 мин.
|-
| ОАБМД - 2025. SQL over BigData || 09.11.2025 || 15 мин.
|-
| ОАБМД - 2025. Spark || 23.11.2025 || 10 мин.
|-
| ОАБМД - 2025. Векторные часы || 30.11.2025 || 10 мин.
|-
| ОАБМД - 2025. Spark streaming, Kafka & NoSQL || 14.12.2025 || 20 мин.
|-
| ОАБМД - 2025. Финальный тест || 21.12.2025 || 15 мин.
|}

В случае если вы не сможете написать КР в указанную дату по технической или другой уважительной причине, просьба заполнить [https://docs.google.com/forms/d/e/1FAIpQLSfai8J2r5vuq0LxuwDjHj3jQnMZDFuqwAvr164vKbdlMmzEdg/viewform?usp=dialog '''форму на дописывание''']. Дописывание состоится 20.12.2025 во время последнего занятия. Помимо Google форм, на дописывании будет использована система прокторинга http://exams.mipt.ru/. По [https://drive.google.com/file/d/1n0iR-IaPnT4EeEEUCksODQnjl34L8Xlc/view?usp=sharing ссылке] доступна инструкция пользователя. Желательно зарегистрироваться в системе прокторинга заранее если вы планируете идти на дописывание.

== Бонусы ==
Бонус начисляется за:
* активное участие в семинарах,
* помощь коллегам в чате курса.
Возможно получить до 1,5 баллов. Количество студентов, которым может быть начислен бонус, неограничено.

= Список рекомендуемых материалов =
=== Основная литература ===
# Tom White, Hadoop: The Definitive Guide, 4th Edition Storage and Analysis at Internet Scale, Publisher: O'Reilly, Media Release Date: April 2015
# Karau, H., Konwinski, A., Wendell, P., & Zaharia, M, Learning Spark: Lightning-Fast Big Data Analysis
# Holden Karau et al. Learning Spark. Lightning-fast Data Analytics. Preview Edition. O’Reilly, 2015.
=== Дополнительная литература ===
# Chuck Lam. Hadoop in Action. New York: Manning Publications co.
# Alex Holmes , "Hadoop in Practice"
# Martin Fowler, "NoSQL"
# Eric Redmond, Jim R. Wilson, "Seven Databases in Seven Weeks"
# Jonathan Leibiusky, "Getting Started with Storm"
# Donald Miner, Adam Shook. MapReduce Design Patterns. O’Reilly.
# Arun C. Murthy et al. Apache Hadoop YARN. Addison-Wesley.
# Spark Core Programming. TutorialsPoint, 2015.
# Dario Simonassi, Gabriel Eisbruch, Jonathan Leibiusky. Getting Started with Storm. O’Reilly.
# Edward Capriolo, Dean Wampler, and Jason Rutherglen. Programming Hive. O’Reilly.
# Lars George. HBase: The Definitive Guide. O’Reilly.
# Eben Hewitt. Cassandra: The Definitive Guide. O’Reilly.

ОАБМД-2025

2025-11-01T11:55:07Z

VeLKerr: /* Команда курса */

= О курсе =
* Курс "Обработка и анализ больших массивов данных" (Processing and analysis of large data sets) читается для студентов 2-го курса магистратуры [https://cs.hse.ru ФКН ВШЭ] в 1-2 модулях.
* Форма контроля: экзамен, выставляется по накопу.
== Команда курса ==
* Преподаватель: Ивченко Олег (основной), Затикян Изабелла (модуль по Airflow).
* Ассистенты:
** Павлов Дмитрий Александрович
** Струнова Анастасия Сергеевна
** Чавдарь Дмитрий
** Амбарян Рудольф Андраникович
** Наумов Владислав Олегович
** Стешенко Александр Владимирович
** Кочурова Ирина Дмитриевна

= Важные ссылки =
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=0&single=true План курса]
* [https://t.me/+Gp-TPCunPDxiNTUy Чат курса]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=1360422414&single=true '''Таблица с оценками''']
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/materials Коды семинаров] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://drive.google.com/drive/folders/1qaElablB5ER1y07xXkPXfQcHIxzdfGZB?usp=sharing Слайды презентаций]

= Формы контроля =
Курс предполагает 3 формы контроля:
* Домашние задания: 9 баллов
* Тесты: 2 балла
* Бонусы: 1,5 балла

Итоговая оценка вычисляется по принципу ''MIN(ДЗ+Тесты+бонусы, 10)''.
== Домашние задания ==
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/homeworks Условия домашек] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://docs.google.com/presentation/d/1eDxnTeBWSB1OrA3BwEUa2vJAJm3_OJMuoRxyA13RzTY/edit?slide=id.p#slide=id.p Инструкция по работе с тестирующей системой] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=106688933&single=true Статус проверки домашек]
На курсе 6 домашних заданий, из которых 2 блокирующие. Все ДЗ ''кроме последней'' сдаются в 2 этапа:
* Прохождение CI-тестов
* Code review
По каждой домашке существуют дедлайны. До дедлайна важно пройти '''1й этап''' сдачи.
* После мягкого дедлайна оценка снижается на 50%.
* После жесткого дедлайна сдавать можно только блокирующие ДЗ с оценкой не выше 25%.

== Тесты ==
Состоится 6 контрольных, которые будут проводиться с помощью Google форм, их можно заполнять с компьютера или телефона. На контрольных нельзя пользоваться IDE и интернетом. Код писать не потребуется.

{| class="wikitable"
|-
! Название КР
! Дата
! Длительность
|-
| ОАБМД - 2025. HDFS & MapReduce || 19.10.2025 || 15 мин.
|-
| ОАБМД - 2025. SQL over BigData || 09.11.2025 || 15 мин.
|-
| ОАБМД - 2025. Spark || 23.11.2025 || 10 мин.
|-
| ОАБМД - 2025. Векторные часы || 30.11.2025 || 10 мин.
|-
| ОАБМД - 2025. Spark streaming, Kafka & NoSQL || 14.12.2025 || 20 мин.
|-
| ОАБМД - 2025. Финальный тест || 21.12.2025 || 15 мин.
|}

В случае если вы не сможете написать КР в указанную дату по технической или другой уважительной причине, просьба заполнить [https://docs.google.com/forms/d/e/1FAIpQLSfai8J2r5vuq0LxuwDjHj3jQnMZDFuqwAvr164vKbdlMmzEdg/viewform?usp=dialog '''форму на дописывание''']. Дописывание состоится 20.12.2025 во время последнего занятия. Помимо Google форм, на дописывании будет использована система прокторинга http://exams.mipt.ru/. По [https://drive.google.com/file/d/1n0iR-IaPnT4EeEEUCksODQnjl34L8Xlc/view?usp=sharing ссылке] доступна инструкция пользователя. Желательно зарегистрироваться в системе прокторинга заранее если вы планируете идти на дописывание.

== Бонусы ==
Бонус начисляется за:
* активное участие в семинарах,
* помощь коллегам в чате курса.
Возможно получить до 1,5 баллов. Количество студентов, которым может быть начислен бонус, неограничено.

= Список рекомендуемых материалов =
=== Основная литература ===
# Tom White, Hadoop: The Definitive Guide, 4th Edition Storage and Analysis at Internet Scale, Publisher: O'Reilly, Media Release Date: April 2015
# Karau, H., Konwinski, A., Wendell, P., & Zaharia, M, Learning Spark: Lightning-Fast Big Data Analysis
# Holden Karau et al. Learning Spark. Lightning-fast Data Analytics. Preview Edition. O’Reilly, 2015.
=== Дополнительная литература ===
# Chuck Lam. Hadoop in Action. New York: Manning Publications co.
# Alex Holmes , "Hadoop in Practice"
# Martin Fowler, "NoSQL"
# Eric Redmond, Jim R. Wilson, "Seven Databases in Seven Weeks"
# Jonathan Leibiusky, "Getting Started with Storm"
# Donald Miner, Adam Shook. MapReduce Design Patterns. O’Reilly.
# Arun C. Murthy et al. Apache Hadoop YARN. Addison-Wesley.
# Spark Core Programming. TutorialsPoint, 2015.
# Dario Simonassi, Gabriel Eisbruch, Jonathan Leibiusky. Getting Started with Storm. O’Reilly.
# Edward Capriolo, Dean Wampler, and Jason Rutherglen. Programming Hive. O’Reilly.
# Lars George. HBase: The Definitive Guide. O’Reilly.
# Eben Hewitt. Cassandra: The Definitive Guide. O’Reilly.

ОАБМД-2025

2025-11-01T11:01:54Z

VeLKerr: /* Тесты */

= О курсе =
* Курс "Обработка и анализ больших массивов данных" (Processing and analysis of large data sets) читается для студентов 2-го курса магистратуры [https://cs.hse.ru ФКН ВШЭ] в 1-2 модулях.
* Форма контроля: экзамен, выставляется по накопу.
== Команда курса ==
* Преподаватель: Ивченко Олег (основной), Затикян Изабелла (модуль по Airflow).
* Ассистенты:
** Павлов Дмитрий Александрович
** Струнова Анастасия Сергеевна
** Чавдарь Дмитрий
** Амбарян Рудольф Андраникович
** Наумов Владислав Олегович
** Дмитрий Сергеевич Качаев
** Стешенко Александр Владимирович
** Кочурова Ирина Дмитриевна

= Важные ссылки =
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=0&single=true План курса]
* [https://t.me/+Gp-TPCunPDxiNTUy Чат курса]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=1360422414&single=true '''Таблица с оценками''']
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/materials Коды семинаров] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://drive.google.com/drive/folders/1qaElablB5ER1y07xXkPXfQcHIxzdfGZB?usp=sharing Слайды презентаций]

= Формы контроля =
Курс предполагает 3 формы контроля:
* Домашние задания: 9 баллов
* Тесты: 2 балла
* Бонусы: 1,5 балла

Итоговая оценка вычисляется по принципу ''MIN(ДЗ+Тесты+бонусы, 10)''.
== Домашние задания ==
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/homeworks Условия домашек] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://docs.google.com/presentation/d/1eDxnTeBWSB1OrA3BwEUa2vJAJm3_OJMuoRxyA13RzTY/edit?slide=id.p#slide=id.p Инструкция по работе с тестирующей системой] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=106688933&single=true Статус проверки домашек]
На курсе 6 домашних заданий, из которых 2 блокирующие. Все ДЗ ''кроме последней'' сдаются в 2 этапа:
* Прохождение CI-тестов
* Code review
По каждой домашке существуют дедлайны. До дедлайна важно пройти '''1й этап''' сдачи.
* После мягкого дедлайна оценка снижается на 50%.
* После жесткого дедлайна сдавать можно только блокирующие ДЗ с оценкой не выше 25%.

== Тесты ==
Состоится 6 контрольных, которые будут проводиться с помощью Google форм, их можно заполнять с компьютера или телефона. На контрольных нельзя пользоваться IDE и интернетом. Код писать не потребуется.

{| class="wikitable"
|-
! Название КР
! Дата
! Длительность
|-
| ОАБМД - 2025. HDFS & MapReduce || 19.10.2025 || 15 мин.
|-
| ОАБМД - 2025. SQL over BigData || 09.11.2025 || 15 мин.
|-
| ОАБМД - 2025. Spark || 23.11.2025 || 10 мин.
|-
| ОАБМД - 2025. Векторные часы || 30.11.2025 || 10 мин.
|-
| ОАБМД - 2025. Spark streaming, Kafka & NoSQL || 14.12.2025 || 20 мин.
|-
| ОАБМД - 2025. Финальный тест || 21.12.2025 || 15 мин.
|}

В случае если вы не сможете написать КР в указанную дату по технической или другой уважительной причине, просьба заполнить [https://docs.google.com/forms/d/e/1FAIpQLSfai8J2r5vuq0LxuwDjHj3jQnMZDFuqwAvr164vKbdlMmzEdg/viewform?usp=dialog '''форму на дописывание''']. Дописывание состоится 20.12.2025 во время последнего занятия. Помимо Google форм, на дописывании будет использована система прокторинга http://exams.mipt.ru/. По [https://drive.google.com/file/d/1n0iR-IaPnT4EeEEUCksODQnjl34L8Xlc/view?usp=sharing ссылке] доступна инструкция пользователя. Желательно зарегистрироваться в системе прокторинга заранее если вы планируете идти на дописывание.

== Бонусы ==
Бонус начисляется за:
* активное участие в семинарах,
* помощь коллегам в чате курса.
Возможно получить до 1,5 баллов. Количество студентов, которым может быть начислен бонус, неограничено.

= Список рекомендуемых материалов =
=== Основная литература ===
# Tom White, Hadoop: The Definitive Guide, 4th Edition Storage and Analysis at Internet Scale, Publisher: O'Reilly, Media Release Date: April 2015
# Karau, H., Konwinski, A., Wendell, P., & Zaharia, M, Learning Spark: Lightning-Fast Big Data Analysis
# Holden Karau et al. Learning Spark. Lightning-fast Data Analytics. Preview Edition. O’Reilly, 2015.
=== Дополнительная литература ===
# Chuck Lam. Hadoop in Action. New York: Manning Publications co.
# Alex Holmes , "Hadoop in Practice"
# Martin Fowler, "NoSQL"
# Eric Redmond, Jim R. Wilson, "Seven Databases in Seven Weeks"
# Jonathan Leibiusky, "Getting Started with Storm"
# Donald Miner, Adam Shook. MapReduce Design Patterns. O’Reilly.
# Arun C. Murthy et al. Apache Hadoop YARN. Addison-Wesley.
# Spark Core Programming. TutorialsPoint, 2015.
# Dario Simonassi, Gabriel Eisbruch, Jonathan Leibiusky. Getting Started with Storm. O’Reilly.
# Edward Capriolo, Dean Wampler, and Jason Rutherglen. Programming Hive. O’Reilly.
# Lars George. HBase: The Definitive Guide. O’Reilly.
# Eben Hewitt. Cassandra: The Definitive Guide. O’Reilly.

ОАБМД-2025

2025-10-26T23:41:28Z

VeLKerr: /* Домашние задания */

= О курсе =
* Курс "Обработка и анализ больших массивов данных" (Processing and analysis of large data sets) читается для студентов 2-го курса магистратуры [https://cs.hse.ru ФКН ВШЭ] в 1-2 модулях.
* Форма контроля: экзамен, выставляется по накопу.
== Команда курса ==
* Преподаватель: Ивченко Олег (основной), Затикян Изабелла (модуль по Airflow).
* Ассистенты:
** Павлов Дмитрий Александрович
** Струнова Анастасия Сергеевна
** Чавдарь Дмитрий
** Амбарян Рудольф Андраникович
** Наумов Владислав Олегович
** Дмитрий Сергеевич Качаев
** Стешенко Александр Владимирович
** Кочурова Ирина Дмитриевна

= Важные ссылки =
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=0&single=true План курса]
* [https://t.me/+Gp-TPCunPDxiNTUy Чат курса]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=1360422414&single=true '''Таблица с оценками''']
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/materials Коды семинаров] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://drive.google.com/drive/folders/1qaElablB5ER1y07xXkPXfQcHIxzdfGZB?usp=sharing Слайды презентаций]

= Формы контроля =
Курс предполагает 3 формы контроля:
* Домашние задания: 9 баллов
* Тесты: 2 балла
* Бонусы: 1,5 балла

Итоговая оценка вычисляется по принципу ''MIN(ДЗ+Тесты+бонусы, 10)''.
== Домашние задания ==
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/homeworks Условия домашек] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://docs.google.com/presentation/d/1eDxnTeBWSB1OrA3BwEUa2vJAJm3_OJMuoRxyA13RzTY/edit?slide=id.p#slide=id.p Инструкция по работе с тестирующей системой] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=106688933&single=true Статус проверки домашек]
На курсе 6 домашних заданий, из которых 2 блокирующие. Все ДЗ ''кроме последней'' сдаются в 2 этапа:
* Прохождение CI-тестов
* Code review
По каждой домашке существуют дедлайны. До дедлайна важно пройти '''1й этап''' сдачи.
* После мягкого дедлайна оценка снижается на 50%.
* После жесткого дедлайна сдавать можно только блокирующие ДЗ с оценкой не выше 25%.

== Тесты ==
Состоится 6 контрольных, которые будут проводиться с помощью Google форм, их можно заполнять с компьютера или телефона. На контрольных нельзя пользоваться IDE и интернетом. Код писать не потребуется.

{| class="wikitable"
|-
! Название КР
! Дата
! Длительность
|-
| ОАБМД - 2025. HDFS & MapReduce || 18.10.2025 || 15 мин.
|-
| ОАБМД - 2025. SQL over BigData || 08.11.2025 || 15 мин.
|-
| ОАБМД - 2025. Spark || 22.11.2025 || 10 мин.
|-
| ОАБМД - 2025. Векторные часы || 29.11.2025 || 10 мин.
|-
| ОАБМД - 2025. Spark streaming, Kafka & NoSQL || 13.12.2025 || 20 мин.
|-
| ОАБМД - 2025. Финальный тест || 20.12.2025 || 15 мин.
|}

В случае если вы не сможете написать КР в указанную дату по технической или другой уважительной причине, просьба заполнить [https://docs.google.com/forms/d/e/1FAIpQLSfai8J2r5vuq0LxuwDjHj3jQnMZDFuqwAvr164vKbdlMmzEdg/viewform?usp=dialog '''форму на дописывание''']. Дописывание состоится 20.12.2025 во время последнего занятия. Помимо Google форм, на дописывании будет использована система прокторинга http://exams.mipt.ru/. По [https://drive.google.com/file/d/1n0iR-IaPnT4EeEEUCksODQnjl34L8Xlc/view?usp=sharing ссылке] доступна инструкция пользователя. Желательно зарегистрироваться в системе прокторинга заранее если вы планируете идти на дописывание.

== Бонусы ==
Бонус начисляется за:
* активное участие в семинарах,
* помощь коллегам в чате курса.
Возможно получить до 1,5 баллов. Количество студентов, которым может быть начислен бонус, неограничено.

= Список рекомендуемых материалов =
=== Основная литература ===
# Tom White, Hadoop: The Definitive Guide, 4th Edition Storage and Analysis at Internet Scale, Publisher: O'Reilly, Media Release Date: April 2015
# Karau, H., Konwinski, A., Wendell, P., & Zaharia, M, Learning Spark: Lightning-Fast Big Data Analysis
# Holden Karau et al. Learning Spark. Lightning-fast Data Analytics. Preview Edition. O’Reilly, 2015.
=== Дополнительная литература ===
# Chuck Lam. Hadoop in Action. New York: Manning Publications co.
# Alex Holmes , "Hadoop in Practice"
# Martin Fowler, "NoSQL"
# Eric Redmond, Jim R. Wilson, "Seven Databases in Seven Weeks"
# Jonathan Leibiusky, "Getting Started with Storm"
# Donald Miner, Adam Shook. MapReduce Design Patterns. O’Reilly.
# Arun C. Murthy et al. Apache Hadoop YARN. Addison-Wesley.
# Spark Core Programming. TutorialsPoint, 2015.
# Dario Simonassi, Gabriel Eisbruch, Jonathan Leibiusky. Getting Started with Storm. O’Reilly.
# Edward Capriolo, Dean Wampler, and Jason Rutherglen. Programming Hive. O’Reilly.
# Lars George. HBase: The Definitive Guide. O’Reilly.
# Eben Hewitt. Cassandra: The Definitive Guide. O’Reilly.

ОАБМД-2025

2025-10-19T12:55:21Z

VeLKerr: /* Тесты */

= О курсе =
* Курс "Обработка и анализ больших массивов данных" (Processing and analysis of large data sets) читается для студентов 2-го курса магистратуры [https://cs.hse.ru ФКН ВШЭ] в 1-2 модулях.
* Форма контроля: экзамен, выставляется по накопу.
== Команда курса ==
* Преподаватель: Ивченко Олег (основной), Затикян Изабелла (модуль по Airflow).
* Ассистенты:
** Павлов Дмитрий Александрович
** Струнова Анастасия Сергеевна
** Чавдарь Дмитрий
** Амбарян Рудольф Андраникович
** Наумов Владислав Олегович
** Дмитрий Сергеевич Качаев
** Стешенко Александр Владимирович
** Кочурова Ирина Дмитриевна

= Важные ссылки =
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=0&single=true План курса]
* [https://t.me/+Gp-TPCunPDxiNTUy Чат курса]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=1360422414&single=true '''Таблица с оценками''']
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/materials Коды семинаров] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://drive.google.com/drive/folders/1qaElablB5ER1y07xXkPXfQcHIxzdfGZB?usp=sharing Слайды презентаций]

= Формы контроля =
Курс предполагает 3 формы контроля:
* Домашние задания: 9 баллов
* Тесты: 2 балла
* Бонусы: 1,5 балла

Итоговая оценка вычисляется по принципу ''MIN(ДЗ+Тесты+бонусы, 10)''.
== Домашние задания ==
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/homeworks Условия домашек] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://docs.google.com/presentation/d/1eDxnTeBWSB1OrA3BwEUa2vJAJm3_OJMuoRxyA13RzTY/edit?slide=id.p#slide=id.p Инструкция по работе с тестирующей системой] '''TBD''' ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=106688933&single=true Статус проверки домашек]
На курсе 6 домашних заданий, из которых 2 блокирующие. Все ДЗ ''кроме последней'' сдаются в 2 этапа:
* Прохождение CI-тестов
* Code review
По каждой домашке существуют дедлайны. До дедлайна важно пройти '''1й этап''' сдачи.
* После мягкого дедлайна оценка снижается на 50%.
* После жесткого дедлайна сдавать можно только блокирующие ДЗ с оценкой не выше 25%.

== Тесты ==
Состоится 6 контрольных, которые будут проводиться с помощью Google форм, их можно заполнять с компьютера или телефона. На контрольных нельзя пользоваться IDE и интернетом. Код писать не потребуется.

{| class="wikitable"
|-
! Название КР
! Дата
! Длительность
|-
| ОАБМД - 2025. HDFS & MapReduce || 18.10.2025 || 15 мин.
|-
| ОАБМД - 2025. SQL over BigData || 08.11.2025 || 15 мин.
|-
| ОАБМД - 2025. Spark || 22.11.2025 || 10 мин.
|-
| ОАБМД - 2025. Векторные часы || 29.11.2025 || 10 мин.
|-
| ОАБМД - 2025. Spark streaming, Kafka & NoSQL || 13.12.2025 || 20 мин.
|-
| ОАБМД - 2025. Финальный тест || 20.12.2025 || 15 мин.
|}

В случае если вы не сможете написать КР в указанную дату по технической или другой уважительной причине, просьба заполнить [https://docs.google.com/forms/d/e/1FAIpQLSfai8J2r5vuq0LxuwDjHj3jQnMZDFuqwAvr164vKbdlMmzEdg/viewform?usp=dialog '''форму на дописывание''']. Дописывание состоится 20.12.2025 во время последнего занятия. Помимо Google форм, на дописывании будет использована система прокторинга http://exams.mipt.ru/. По [https://drive.google.com/file/d/1n0iR-IaPnT4EeEEUCksODQnjl34L8Xlc/view?usp=sharing ссылке] доступна инструкция пользователя. Желательно зарегистрироваться в системе прокторинга заранее если вы планируете идти на дописывание.

== Бонусы ==
Бонус начисляется за:
* активное участие в семинарах,
* помощь коллегам в чате курса.
Возможно получить до 1,5 баллов. Количество студентов, которым может быть начислен бонус, неограничено.

= Список рекомендуемых материалов =
=== Основная литература ===
# Tom White, Hadoop: The Definitive Guide, 4th Edition Storage and Analysis at Internet Scale, Publisher: O'Reilly, Media Release Date: April 2015
# Karau, H., Konwinski, A., Wendell, P., & Zaharia, M, Learning Spark: Lightning-Fast Big Data Analysis
# Holden Karau et al. Learning Spark. Lightning-fast Data Analytics. Preview Edition. O’Reilly, 2015.
=== Дополнительная литература ===
# Chuck Lam. Hadoop in Action. New York: Manning Publications co.
# Alex Holmes , "Hadoop in Practice"
# Martin Fowler, "NoSQL"
# Eric Redmond, Jim R. Wilson, "Seven Databases in Seven Weeks"
# Jonathan Leibiusky, "Getting Started with Storm"
# Donald Miner, Adam Shook. MapReduce Design Patterns. O’Reilly.
# Arun C. Murthy et al. Apache Hadoop YARN. Addison-Wesley.
# Spark Core Programming. TutorialsPoint, 2015.
# Dario Simonassi, Gabriel Eisbruch, Jonathan Leibiusky. Getting Started with Storm. O’Reilly.
# Edward Capriolo, Dean Wampler, and Jason Rutherglen. Programming Hive. O’Reilly.
# Lars George. HBase: The Definitive Guide. O’Reilly.
# Eben Hewitt. Cassandra: The Definitive Guide. O’Reilly.

ОАБМД-2025

2025-10-19T12:12:44Z

VeLKerr: /* Тесты */

= О курсе =
* Курс "Обработка и анализ больших массивов данных" (Processing and analysis of large data sets) читается для студентов 2-го курса магистратуры [https://cs.hse.ru ФКН ВШЭ] в 1-2 модулях.
* Форма контроля: экзамен, выставляется по накопу.
== Команда курса ==
* Преподаватель: Ивченко Олег (основной), Затикян Изабелла (модуль по Airflow).
* Ассистенты:
** Павлов Дмитрий Александрович
** Струнова Анастасия Сергеевна
** Чавдарь Дмитрий
** Амбарян Рудольф Андраникович
** Наумов Владислав Олегович
** Дмитрий Сергеевич Качаев
** Стешенко Александр Владимирович
** Кочурова Ирина Дмитриевна

= Важные ссылки =
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=0&single=true План курса]
* [https://t.me/+Gp-TPCunPDxiNTUy Чат курса]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=1360422414&single=true '''Таблица с оценками''']
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/materials Коды семинаров] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://drive.google.com/drive/folders/1qaElablB5ER1y07xXkPXfQcHIxzdfGZB?usp=sharing Слайды презентаций]

= Формы контроля =
Курс предполагает 3 формы контроля:
* Домашние задания: 9 баллов
* Тесты: 2 балла
* Бонусы: 1,5 балла

Итоговая оценка вычисляется по принципу ''MIN(ДЗ+Тесты+бонусы, 10)''.
== Домашние задания ==
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/homeworks Условия домашек] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://docs.google.com/presentation/d/1eDxnTeBWSB1OrA3BwEUa2vJAJm3_OJMuoRxyA13RzTY/edit?slide=id.p#slide=id.p Инструкция по работе с тестирующей системой] '''TBD''' ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=106688933&single=true Статус проверки домашек]
На курсе 6 домашних заданий, из которых 2 блокирующие. Все ДЗ ''кроме последней'' сдаются в 2 этапа:
* Прохождение CI-тестов
* Code review
По каждой домашке существуют дедлайны. До дедлайна важно пройти '''1й этап''' сдачи.
* После мягкого дедлайна оценка снижается на 50%.
* После жесткого дедлайна сдавать можно только блокирующие ДЗ с оценкой не выше 25%.

== Тесты ==
Состоится 6 контрольных, которые будут проводиться с помощью Google форм, их можно заполнять с компьютера или телефона. На контрольных нельзя пользоваться IDE и интернетом. Код писать не потребуется.

{| class="wikitable"
|-
! Название события на http://exams.mipt.ru/
! Дата
! Длительность
|-
| ОАБМД - 2025. HDFS & MapReduce || 18.10.2025 || 15 мин.
|-
| ОАБМД - 2025. SQL over BigData || 08.11.2025 || 15 мин.
|-
| ОАБМД - 2025. Spark || 22.11.2025 || 10 мин.
|-
| ОАБМД - 2025. Векторные часы || 29.11.2025 || 10 мин.
|-
| ОАБМД - 2025. Spark streaming, Kafka & NoSQL || 13.12.2025 || 20 мин.
|-
| ОАБМД - 2025. Финальный тест || 20.12.2025 || 15 мин.
|}

В случае если вы не сможете написать КР в указанную дату по технической или другой уважительной причине, просьба заполнить [https://docs.google.com/forms/d/e/1FAIpQLSfai8J2r5vuq0LxuwDjHj3jQnMZDFuqwAvr164vKbdlMmzEdg/viewform?usp=dialog '''форму на дописывание''']. Дописывание состоится 20.12.2025 во время последнего занятия. Помимо Google форм, на дописывании будет использована система прокторинга http://exams.mipt.ru/. По [https://drive.google.com/file/d/1n0iR-IaPnT4EeEEUCksODQnjl34L8Xlc/view?usp=sharing ссылке] доступна инструкция пользователя. Желательно зарегистрироваться в системе прокторинга заранее если вы планируете идти на дописывание.

== Бонусы ==
Бонус начисляется за:
* активное участие в семинарах,
* помощь коллегам в чате курса.
Возможно получить до 1,5 баллов. Количество студентов, которым может быть начислен бонус, неограничено.

= Список рекомендуемых материалов =
=== Основная литература ===
# Tom White, Hadoop: The Definitive Guide, 4th Edition Storage and Analysis at Internet Scale, Publisher: O'Reilly, Media Release Date: April 2015
# Karau, H., Konwinski, A., Wendell, P., & Zaharia, M, Learning Spark: Lightning-Fast Big Data Analysis
# Holden Karau et al. Learning Spark. Lightning-fast Data Analytics. Preview Edition. O’Reilly, 2015.
=== Дополнительная литература ===
# Chuck Lam. Hadoop in Action. New York: Manning Publications co.
# Alex Holmes , "Hadoop in Practice"
# Martin Fowler, "NoSQL"
# Eric Redmond, Jim R. Wilson, "Seven Databases in Seven Weeks"
# Jonathan Leibiusky, "Getting Started with Storm"
# Donald Miner, Adam Shook. MapReduce Design Patterns. O’Reilly.
# Arun C. Murthy et al. Apache Hadoop YARN. Addison-Wesley.
# Spark Core Programming. TutorialsPoint, 2015.
# Dario Simonassi, Gabriel Eisbruch, Jonathan Leibiusky. Getting Started with Storm. O’Reilly.
# Edward Capriolo, Dean Wampler, and Jason Rutherglen. Programming Hive. O’Reilly.
# Lars George. HBase: The Definitive Guide. O’Reilly.
# Eben Hewitt. Cassandra: The Definitive Guide. O’Reilly.

ОАБМД-2025

2025-10-19T00:02:20Z

VeLKerr: /* Команда курса */

= О курсе =
* Курс "Обработка и анализ больших массивов данных" (Processing and analysis of large data sets) читается для студентов 2-го курса магистратуры [https://cs.hse.ru ФКН ВШЭ] в 1-2 модулях.
* Форма контроля: экзамен, выставляется по накопу.
== Команда курса ==
* Преподаватель: Ивченко Олег (основной), Затикян Изабелла (модуль по Airflow).
* Ассистенты:
** Павлов Дмитрий Александрович
** Струнова Анастасия Сергеевна
** Чавдарь Дмитрий
** Амбарян Рудольф Андраникович
** Наумов Владислав Олегович
** Дмитрий Сергеевич Качаев
** Стешенко Александр Владимирович
** Кочурова Ирина Дмитриевна

= Важные ссылки =
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=0&single=true План курса]
* [https://t.me/+Gp-TPCunPDxiNTUy Чат курса]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=1360422414&single=true '''Таблица с оценками''']
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/materials Коды семинаров] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://drive.google.com/drive/folders/1qaElablB5ER1y07xXkPXfQcHIxzdfGZB?usp=sharing Слайды презентаций]

= Формы контроля =
Курс предполагает 3 формы контроля:
* Домашние задания: 9 баллов
* Тесты: 2 балла
* Бонусы: 1,5 балла

Итоговая оценка вычисляется по принципу ''MIN(ДЗ+Тесты+бонусы, 10)''.
== Домашние задания ==
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/homeworks Условия домашек] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://docs.google.com/presentation/d/1eDxnTeBWSB1OrA3BwEUa2vJAJm3_OJMuoRxyA13RzTY/edit?slide=id.p#slide=id.p Инструкция по работе с тестирующей системой] '''TBD''' ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=106688933&single=true Статус проверки домашек]
На курсе 6 домашних заданий, из которых 2 блокирующие. Все ДЗ ''кроме последней'' сдаются в 2 этапа:
* Прохождение CI-тестов
* Code review
По каждой домашке существуют дедлайны. До дедлайна важно пройти '''1й этап''' сдачи.
* После мягкого дедлайна оценка снижается на 50%.
* После жесткого дедлайна сдавать можно только блокирующие ДЗ с оценкой не выше 25%.

== Тесты ==
Состоится 6 контрольных, которые будут проводиться с помощью Google форм. На контрольных нельзя пользоваться IDE и интернетом. Код писать не потребуется.

{| class="wikitable"
|-
! Название события на http://exams.mipt.ru/
! Дата
! Длительность
|-
| ОАБМД - 2025. HDFS & MapReduce || 18.10.2025 || 15 мин.
|-
| ОАБМД - 2025. SQL over BigData || 08.11.2025 || 15 мин.
|-
| ОАБМД - 2025. Spark || 22.11.2025 || 10 мин.
|-
| ОАБМД - 2025. Векторные часы || 29.11.2025 || 10 мин.
|-
| ОАБМД - 2025. Spark streaming, Kafka & NoSQL || 13.12.2025 || 20 мин.
|-
| ОАБМД - 2025. Финальный тест || 20.12.2025 || 15 мин.
|}

В случае если вы не сможете написать КР в указанную дату по технической или другой уважительной причине, просьба заполнить [https://docs.google.com/forms/d/e/1FAIpQLSfai8J2r5vuq0LxuwDjHj3jQnMZDFuqwAvr164vKbdlMmzEdg/viewform?usp=dialog '''форму на дописывание''']. Дописывание состоится 20.12.2025 во время последнего занятия. Помимо Google форм, на дописывании будет использована система прокторинга http://exams.mipt.ru/. По [https://drive.google.com/file/d/1n0iR-IaPnT4EeEEUCksODQnjl34L8Xlc/view?usp=sharing ссылке] доступна инструкция пользователя. Желательно зарегистрироваться в системе прокторинга заранее если вы планируете идти на дописывание.

== Бонусы ==
Бонус начисляется за:
* активное участие в семинарах,
* помощь коллегам в чате курса.
Возможно получить до 1,5 баллов. Количество студентов, которым может быть начислен бонус, неограничено.

= Список рекомендуемых материалов =
=== Основная литература ===
# Tom White, Hadoop: The Definitive Guide, 4th Edition Storage and Analysis at Internet Scale, Publisher: O'Reilly, Media Release Date: April 2015
# Karau, H., Konwinski, A., Wendell, P., & Zaharia, M, Learning Spark: Lightning-Fast Big Data Analysis
# Holden Karau et al. Learning Spark. Lightning-fast Data Analytics. Preview Edition. O’Reilly, 2015.
=== Дополнительная литература ===
# Chuck Lam. Hadoop in Action. New York: Manning Publications co.
# Alex Holmes , "Hadoop in Practice"
# Martin Fowler, "NoSQL"
# Eric Redmond, Jim R. Wilson, "Seven Databases in Seven Weeks"
# Jonathan Leibiusky, "Getting Started with Storm"
# Donald Miner, Adam Shook. MapReduce Design Patterns. O’Reilly.
# Arun C. Murthy et al. Apache Hadoop YARN. Addison-Wesley.
# Spark Core Programming. TutorialsPoint, 2015.
# Dario Simonassi, Gabriel Eisbruch, Jonathan Leibiusky. Getting Started with Storm. O’Reilly.
# Edward Capriolo, Dean Wampler, and Jason Rutherglen. Programming Hive. O’Reilly.
# Lars George. HBase: The Definitive Guide. O’Reilly.
# Eben Hewitt. Cassandra: The Definitive Guide. O’Reilly.

ОАБМД-2025

2025-10-19T00:00:55Z

VeLKerr: /* Тесты */

= О курсе =
* Курс "Обработка и анализ больших массивов данных" (Processing and analysis of large data sets) читается для студентов 2-го курса магистратуры [https://cs.hse.ru ФКН ВШЭ] в 1-2 модулях.
* Форма контроля: экзамен, выставляется по накопу.
== Команда курса ==
* Преподаватель: Ивченко Олег (основной), Затикян Изабелла (модуль по Airflow).
* Ассистенты: '''TBD'''

= Важные ссылки =
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=0&single=true План курса]
* [https://t.me/+Gp-TPCunPDxiNTUy Чат курса]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=1360422414&single=true '''Таблица с оценками''']
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/materials Коды семинаров] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://drive.google.com/drive/folders/1qaElablB5ER1y07xXkPXfQcHIxzdfGZB?usp=sharing Слайды презентаций]

= Формы контроля =
Курс предполагает 3 формы контроля:
* Домашние задания: 9 баллов
* Тесты: 2 балла
* Бонусы: 1,5 балла

Итоговая оценка вычисляется по принципу ''MIN(ДЗ+Тесты+бонусы, 10)''.
== Домашние задания ==
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/homeworks Условия домашек] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://docs.google.com/presentation/d/1eDxnTeBWSB1OrA3BwEUa2vJAJm3_OJMuoRxyA13RzTY/edit?slide=id.p#slide=id.p Инструкция по работе с тестирующей системой] '''TBD''' ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=106688933&single=true Статус проверки домашек]
На курсе 6 домашних заданий, из которых 2 блокирующие. Все ДЗ ''кроме последней'' сдаются в 2 этапа:
* Прохождение CI-тестов
* Code review
По каждой домашке существуют дедлайны. До дедлайна важно пройти '''1й этап''' сдачи.
* После мягкого дедлайна оценка снижается на 50%.
* После жесткого дедлайна сдавать можно только блокирующие ДЗ с оценкой не выше 25%.

== Тесты ==
Состоится 6 контрольных, которые будут проводиться с помощью Google форм. На контрольных нельзя пользоваться IDE и интернетом. Код писать не потребуется.

{| class="wikitable"
|-
! Название события на http://exams.mipt.ru/
! Дата
! Длительность
|-
| ОАБМД - 2025. HDFS & MapReduce || 18.10.2025 || 15 мин.
|-
| ОАБМД - 2025. SQL over BigData || 08.11.2025 || 15 мин.
|-
| ОАБМД - 2025. Spark || 22.11.2025 || 10 мин.
|-
| ОАБМД - 2025. Векторные часы || 29.11.2025 || 10 мин.
|-
| ОАБМД - 2025. Spark streaming, Kafka & NoSQL || 13.12.2025 || 20 мин.
|-
| ОАБМД - 2025. Финальный тест || 20.12.2025 || 15 мин.
|}

В случае если вы не сможете написать КР в указанную дату по технической или другой уважительной причине, просьба заполнить [https://docs.google.com/forms/d/e/1FAIpQLSfai8J2r5vuq0LxuwDjHj3jQnMZDFuqwAvr164vKbdlMmzEdg/viewform?usp=dialog '''форму на дописывание''']. Дописывание состоится 20.12.2025 во время последнего занятия. Помимо Google форм, на дописывании будет использована система прокторинга http://exams.mipt.ru/. По [https://drive.google.com/file/d/1n0iR-IaPnT4EeEEUCksODQnjl34L8Xlc/view?usp=sharing ссылке] доступна инструкция пользователя. Желательно зарегистрироваться в системе прокторинга заранее если вы планируете идти на дописывание.

== Бонусы ==
Бонус начисляется за:
* активное участие в семинарах,
* помощь коллегам в чате курса.
Возможно получить до 1,5 баллов. Количество студентов, которым может быть начислен бонус, неограничено.

= Список рекомендуемых материалов =
=== Основная литература ===
# Tom White, Hadoop: The Definitive Guide, 4th Edition Storage and Analysis at Internet Scale, Publisher: O'Reilly, Media Release Date: April 2015
# Karau, H., Konwinski, A., Wendell, P., & Zaharia, M, Learning Spark: Lightning-Fast Big Data Analysis
# Holden Karau et al. Learning Spark. Lightning-fast Data Analytics. Preview Edition. O’Reilly, 2015.
=== Дополнительная литература ===
# Chuck Lam. Hadoop in Action. New York: Manning Publications co.
# Alex Holmes , "Hadoop in Practice"
# Martin Fowler, "NoSQL"
# Eric Redmond, Jim R. Wilson, "Seven Databases in Seven Weeks"
# Jonathan Leibiusky, "Getting Started with Storm"
# Donald Miner, Adam Shook. MapReduce Design Patterns. O’Reilly.
# Arun C. Murthy et al. Apache Hadoop YARN. Addison-Wesley.
# Spark Core Programming. TutorialsPoint, 2015.
# Dario Simonassi, Gabriel Eisbruch, Jonathan Leibiusky. Getting Started with Storm. O’Reilly.
# Edward Capriolo, Dean Wampler, and Jason Rutherglen. Programming Hive. O’Reilly.
# Lars George. HBase: The Definitive Guide. O’Reilly.
# Eben Hewitt. Cassandra: The Definitive Guide. O’Reilly.

ОАБМД-2025

2025-10-03T12:52:34Z

VeLKerr: /* Тесты */

= О курсе =
* Курс "Обработка и анализ больших массивов данных" (Processing and analysis of large data sets) читается для студентов 2-го курса магистратуры [https://cs.hse.ru ФКН ВШЭ] в 1-2 модулях.
* Форма контроля: экзамен, выставляется по накопу.
== Команда курса ==
* Преподаватель: Ивченко Олег (основной), Затикян Изабелла (модуль по Airflow).
* Ассистенты: '''TBD'''

= Важные ссылки =
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=0&single=true План курса]
* [https://t.me/+Gp-TPCunPDxiNTUy Чат курса]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=1360422414&single=true '''Таблица с оценками''']
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/materials Коды семинаров] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://drive.google.com/drive/folders/1qaElablB5ER1y07xXkPXfQcHIxzdfGZB?usp=sharing Слайды презентаций]

= Формы контроля =
Курс предполагает 3 формы контроля:
* Домашние задания: 9 баллов
* Тесты: 2 балла
* Бонусы: 1,5 балла

Итоговая оценка вычисляется по принципу ''MIN(ДЗ+Тесты+бонусы, 10)''.
== Домашние задания ==
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/homeworks Условия домашек] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://docs.google.com/presentation/d/1eDxnTeBWSB1OrA3BwEUa2vJAJm3_OJMuoRxyA13RzTY/edit?slide=id.p#slide=id.p Инструкция по работе с тестирующей системой] '''TBD''' ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=106688933&single=true Статус проверки домашек]
На курсе 6 домашних заданий, из которых 2 блокирующие. Все ДЗ ''кроме последней'' сдаются в 2 этапа:
* Прохождение CI-тестов
* Code review
По каждой домашке существуют дедлайны. До дедлайна важно пройти '''1й этап''' сдачи.
* После мягкого дедлайна оценка снижается на 50%.
* После жесткого дедлайна сдавать можно только блокирующие ДЗ с оценкой не выше 25%.

== Тесты ==
Состоится 6 контрольных, которые будут проводиться с помощью Google форм и системы прокторинга http://exams.mipt.ru/. По [https://drive.google.com/file/d/1n0iR-IaPnT4EeEEUCksODQnjl34L8Xlc/view?usp=sharing ссылке] доступна инструкция пользователя. На контрольных нельзя пользоваться IDE и интернетом. Код писать не потребуется.

{| class="wikitable"
|-
! Название события на http://exams.mipt.ru/
! Дата
! Длительность
|-
| ОАБМД - 2025. HDFS & MapReduce || 18.10.2025 || 15 мин.
|-
| ОАБМД - 2025. SQL over BigData || 08.11.2025 || 15 мин.
|-
| ОАБМД - 2025. Spark || 22.11.2025 || 10 мин.
|-
| ОАБМД - 2025. Векторные часы || 29.11.2025 || 10 мин.
|-
| ОАБМД - 2025. Spark streaming, Kafka & NoSQL || 13.12.2025 || 20 мин.
|-
| ОАБМД - 2025. Финальный тест || 20.12.2025 || 15 мин.
|}

В случае если вы не сможете написать КР в указанную дату по технической или другой уважительной причине, просьба заполнить [https://docs.google.com/forms/d/e/1FAIpQLSfai8J2r5vuq0LxuwDjHj3jQnMZDFuqwAvr164vKbdlMmzEdg/viewform?usp=dialog '''форму на дописывание''']. Дописывание состоится 20.12.2025 во время последнего занятия.

== Бонусы ==
Бонус начисляется за:
* активное участие в семинарах,
* помощь коллегам в чате курса.
Возможно получить до 1,5 баллов. Количество студентов, которым может быть начислен бонус, неограничено.

= Список рекомендуемых материалов =
=== Основная литература ===
# Tom White, Hadoop: The Definitive Guide, 4th Edition Storage and Analysis at Internet Scale, Publisher: O'Reilly, Media Release Date: April 2015
# Karau, H., Konwinski, A., Wendell, P., & Zaharia, M, Learning Spark: Lightning-Fast Big Data Analysis
# Holden Karau et al. Learning Spark. Lightning-fast Data Analytics. Preview Edition. O’Reilly, 2015.
=== Дополнительная литература ===
# Chuck Lam. Hadoop in Action. New York: Manning Publications co.
# Alex Holmes , "Hadoop in Practice"
# Martin Fowler, "NoSQL"
# Eric Redmond, Jim R. Wilson, "Seven Databases in Seven Weeks"
# Jonathan Leibiusky, "Getting Started with Storm"
# Donald Miner, Adam Shook. MapReduce Design Patterns. O’Reilly.
# Arun C. Murthy et al. Apache Hadoop YARN. Addison-Wesley.
# Spark Core Programming. TutorialsPoint, 2015.
# Dario Simonassi, Gabriel Eisbruch, Jonathan Leibiusky. Getting Started with Storm. O’Reilly.
# Edward Capriolo, Dean Wampler, and Jason Rutherglen. Programming Hive. O’Reilly.
# Lars George. HBase: The Definitive Guide. O’Reilly.
# Eben Hewitt. Cassandra: The Definitive Guide. O’Reilly.

ОАБМД-2025

2025-09-22T20:40:43Z

VeLKerr: /* Важные ссылки */

= О курсе =
* Курс "Обработка и анализ больших массивов данных" (Processing and analysis of large data sets) читается для студентов 2-го курса магистратуры [https://cs.hse.ru ФКН ВШЭ] в 1-2 модулях.
* Форма контроля: экзамен, выставляется по накопу.
== Команда курса ==
* Преподаватель: Ивченко Олег (основной), Затикян Изабелла (модуль по Airflow).
* Ассистенты: '''TBD'''

= Важные ссылки =
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=0&single=true План курса]
* [https://t.me/+Gp-TPCunPDxiNTUy Чат курса]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=1360422414&single=true '''Таблица с оценками''']
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/materials Коды семинаров] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://drive.google.com/drive/folders/1qaElablB5ER1y07xXkPXfQcHIxzdfGZB?usp=sharing Слайды презентаций]

= Формы контроля =
Курс предполагает 3 формы контроля:
* Домашние задания: 9 баллов
* Тесты: 2 балла
* Бонусы: 1,5 балла

Итоговая оценка вычисляется по принципу ''MIN(ДЗ+Тесты+бонусы, 10)''.
== Домашние задания ==
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/homeworks Условия домашек] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://docs.google.com/presentation/d/1eDxnTeBWSB1OrA3BwEUa2vJAJm3_OJMuoRxyA13RzTY/edit?slide=id.p#slide=id.p Инструкция по работе с тестирующей системой] '''TBD''' ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=106688933&single=true Статус проверки домашек]
На курсе 6 домашних заданий, из которых 2 блокирующие. Все ДЗ ''кроме последней'' сдаются в 2 этапа:
* Прохождение CI-тестов
* Code review
По каждой домашке существуют дедлайны. До дедлайна важно пройти '''1й этап''' сдачи.
* После мягкого дедлайна оценка снижается на 50%.
* После жесткого дедлайна сдавать можно только блокирующие ДЗ с оценкой не выше 25%.

== Тесты ==
Состоится 6 контрольных, которые будут проводиться с помощью Google форм и системы прокторинга http://exams.mipt.ru/. По [https://drive.google.com/file/d/1n0iR-IaPnT4EeEEUCksODQnjl34L8Xlc/view?usp=sharing ссылке] доступна инструкция пользователя. На контрольных нельзя пользоваться IDE и интернетом. Код писать не потребуется.

{| class="wikitable"
|-
! Название события на http://exams.mipt.ru/
! Дата
! Длительность
|-
| МИСОБОД - 2025. HDFS & MapReduce || 18.10.2025 || 15 мин.
|-
| МИСОБОД - 2025. SQL over BigData || 08.11.2025 || 15 мин.
|-
| МиСОБОД - 2025. Spark || 22.11.2025 || 10 мин.
|-
| МиСОБОД - 2025. Векторные часы || 29.11.2025 || 10 мин.
|-
| МиСОБОД - 2025. Spark streaming, Kafka & NoSQL || 13.12.2025 || 20 мин.
|-
| МиСОБОД - 2025. Финальный тест || 20.12.2025 || 15 мин.
|}

В случае если вы не сможете написать КР в указанную дату по технической или другой уважительной причине, просьба заполнить [https://docs.google.com/forms/d/e/1FAIpQLSfai8J2r5vuq0LxuwDjHj3jQnMZDFuqwAvr164vKbdlMmzEdg/viewform?usp=dialog '''форму на дописывание''']. Дописывание состоится 20.12.2025 во время последнего занятия.

== Бонусы ==
Бонус начисляется за:
* активное участие в семинарах,
* помощь коллегам в чате курса.
Возможно получить до 1,5 баллов. Количество студентов, которым может быть начислен бонус, неограничено.

= Список рекомендуемых материалов =
=== Основная литература ===
# Tom White, Hadoop: The Definitive Guide, 4th Edition Storage and Analysis at Internet Scale, Publisher: O'Reilly, Media Release Date: April 2015
# Karau, H., Konwinski, A., Wendell, P., & Zaharia, M, Learning Spark: Lightning-Fast Big Data Analysis
# Holden Karau et al. Learning Spark. Lightning-fast Data Analytics. Preview Edition. O’Reilly, 2015.
=== Дополнительная литература ===
# Chuck Lam. Hadoop in Action. New York: Manning Publications co.
# Alex Holmes , "Hadoop in Practice"
# Martin Fowler, "NoSQL"
# Eric Redmond, Jim R. Wilson, "Seven Databases in Seven Weeks"
# Jonathan Leibiusky, "Getting Started with Storm"
# Donald Miner, Adam Shook. MapReduce Design Patterns. O’Reilly.
# Arun C. Murthy et al. Apache Hadoop YARN. Addison-Wesley.
# Spark Core Programming. TutorialsPoint, 2015.
# Dario Simonassi, Gabriel Eisbruch, Jonathan Leibiusky. Getting Started with Storm. O’Reilly.
# Edward Capriolo, Dean Wampler, and Jason Rutherglen. Programming Hive. O’Reilly.
# Lars George. HBase: The Definitive Guide. O’Reilly.
# Eben Hewitt. Cassandra: The Definitive Guide. O’Reilly.

ОАБМД-2025

2025-09-22T20:40:14Z

VeLKerr: /* Важные ссылки */

= О курсе =
* Курс "Обработка и анализ больших массивов данных" (Processing and analysis of large data sets) читается для студентов 2-го курса магистратуры [https://cs.hse.ru ФКН ВШЭ] в 1-2 модулях.
* Форма контроля: экзамен, выставляется по накопу.
== Команда курса ==
* Преподаватель: Ивченко Олег (основной), Затикян Изабелла (модуль по Airflow).
* Ассистенты: '''TBD'''

= Важные ссылки =
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=0&single=true План курса]
* [https://t.me/+Gp-TPCunPDxiNTUy Чат курса]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=1360422414&single=true '''Таблица с оценками''']
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/materials Коды семинаров] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://drive.google.com/drive/folders/1qaElablB5ER1y07xXkPXfQcHIxzdfGZB?usp=sharing Слайды презентаций]
** [https://drive.google.com/drive/folders/1Lw-K7Cs-Y8KuB_XShQup99fYO6bJNGO4?usp=sharing Лекции по Java]

= Формы контроля =
Курс предполагает 3 формы контроля:
* Домашние задания: 9 баллов
* Тесты: 2 балла
* Бонусы: 1,5 балла

Итоговая оценка вычисляется по принципу ''MIN(ДЗ+Тесты+бонусы, 10)''.
== Домашние задания ==
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/homeworks Условия домашек] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://docs.google.com/presentation/d/1eDxnTeBWSB1OrA3BwEUa2vJAJm3_OJMuoRxyA13RzTY/edit?slide=id.p#slide=id.p Инструкция по работе с тестирующей системой] '''TBD''' ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=106688933&single=true Статус проверки домашек]
На курсе 6 домашних заданий, из которых 2 блокирующие. Все ДЗ ''кроме последней'' сдаются в 2 этапа:
* Прохождение CI-тестов
* Code review
По каждой домашке существуют дедлайны. До дедлайна важно пройти '''1й этап''' сдачи.
* После мягкого дедлайна оценка снижается на 50%.
* После жесткого дедлайна сдавать можно только блокирующие ДЗ с оценкой не выше 25%.

== Тесты ==
Состоится 6 контрольных, которые будут проводиться с помощью Google форм и системы прокторинга http://exams.mipt.ru/. По [https://drive.google.com/file/d/1n0iR-IaPnT4EeEEUCksODQnjl34L8Xlc/view?usp=sharing ссылке] доступна инструкция пользователя. На контрольных нельзя пользоваться IDE и интернетом. Код писать не потребуется.

{| class="wikitable"
|-
! Название события на http://exams.mipt.ru/
! Дата
! Длительность
|-
| МИСОБОД - 2025. HDFS & MapReduce || 18.10.2025 || 15 мин.
|-
| МИСОБОД - 2025. SQL over BigData || 08.11.2025 || 15 мин.
|-
| МиСОБОД - 2025. Spark || 22.11.2025 || 10 мин.
|-
| МиСОБОД - 2025. Векторные часы || 29.11.2025 || 10 мин.
|-
| МиСОБОД - 2025. Spark streaming, Kafka & NoSQL || 13.12.2025 || 20 мин.
|-
| МиСОБОД - 2025. Финальный тест || 20.12.2025 || 15 мин.
|}

В случае если вы не сможете написать КР в указанную дату по технической или другой уважительной причине, просьба заполнить [https://docs.google.com/forms/d/e/1FAIpQLSfai8J2r5vuq0LxuwDjHj3jQnMZDFuqwAvr164vKbdlMmzEdg/viewform?usp=dialog '''форму на дописывание''']. Дописывание состоится 20.12.2025 во время последнего занятия.

== Бонусы ==
Бонус начисляется за:
* активное участие в семинарах,
* помощь коллегам в чате курса.
Возможно получить до 1,5 баллов. Количество студентов, которым может быть начислен бонус, неограничено.

= Список рекомендуемых материалов =
=== Основная литература ===
# Tom White, Hadoop: The Definitive Guide, 4th Edition Storage and Analysis at Internet Scale, Publisher: O'Reilly, Media Release Date: April 2015
# Karau, H., Konwinski, A., Wendell, P., & Zaharia, M, Learning Spark: Lightning-Fast Big Data Analysis
# Holden Karau et al. Learning Spark. Lightning-fast Data Analytics. Preview Edition. O’Reilly, 2015.
=== Дополнительная литература ===
# Chuck Lam. Hadoop in Action. New York: Manning Publications co.
# Alex Holmes , "Hadoop in Practice"
# Martin Fowler, "NoSQL"
# Eric Redmond, Jim R. Wilson, "Seven Databases in Seven Weeks"
# Jonathan Leibiusky, "Getting Started with Storm"
# Donald Miner, Adam Shook. MapReduce Design Patterns. O’Reilly.
# Arun C. Murthy et al. Apache Hadoop YARN. Addison-Wesley.
# Spark Core Programming. TutorialsPoint, 2015.
# Dario Simonassi, Gabriel Eisbruch, Jonathan Leibiusky. Getting Started with Storm. O’Reilly.
# Edward Capriolo, Dean Wampler, and Jason Rutherglen. Programming Hive. O’Reilly.
# Lars George. HBase: The Definitive Guide. O’Reilly.
# Eben Hewitt. Cassandra: The Definitive Guide. O’Reilly.

ОАБМД-2025

2025-09-13T18:46:21Z

VeLKerr: /* Тесты */

= О курсе =
* Курс "Обработка и анализ больших массивов данных" (Processing and analysis of large data sets) читается для студентов 2-го курса магистратуры [https://cs.hse.ru ФКН ВШЭ] в 1-2 модулях.
* Форма контроля: экзамен, выставляется по накопу.
== Команда курса ==
* Преподаватель: Ивченко Олег (основной), Затикян Изабелла (модуль по Airflow).
* Ассистенты: '''TBD'''

= Важные ссылки =
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=0&single=true План курса]
* [https://t.me/+Gp-TPCunPDxiNTUy Чат курса]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=1360422414&single=true '''Таблица с оценками''']
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/materials Коды семинаров] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/presentations Слайды презентаций] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
** [https://drive.google.com/drive/folders/1Lw-K7Cs-Y8KuB_XShQup99fYO6bJNGO4?usp=sharing Лекции по Java]

= Формы контроля =
Курс предполагает 3 формы контроля:
* Домашние задания: 9 баллов
* Тесты: 2 балла
* Бонусы: 1,5 балла

Итоговая оценка вычисляется по принципу ''MIN(ДЗ+Тесты+бонусы, 10)''.
== Домашние задания ==
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/homeworks Условия домашек] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://docs.google.com/presentation/d/1eDxnTeBWSB1OrA3BwEUa2vJAJm3_OJMuoRxyA13RzTY/edit?slide=id.p#slide=id.p Инструкция по работе с тестирующей системой] '''TBD''' ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=106688933&single=true Статус проверки домашек]
На курсе 6 домашних заданий, из которых 2 блокирующие. Все ДЗ ''кроме последней'' сдаются в 2 этапа:
* Прохождение CI-тестов
* Code review
По каждой домашке существуют дедлайны. До дедлайна важно пройти '''1й этап''' сдачи.
* После мягкого дедлайна оценка снижается на 50%.
* После жесткого дедлайна сдавать можно только блокирующие ДЗ с оценкой не выше 25%.

== Тесты ==
Состоится 6 контрольных, которые будут проводиться с помощью Google форм и системы прокторинга http://exams.mipt.ru/. По [https://drive.google.com/file/d/1n0iR-IaPnT4EeEEUCksODQnjl34L8Xlc/view?usp=sharing ссылке] доступна инструкция пользователя. На контрольных нельзя пользоваться IDE и интернетом. Код писать не потребуется.

{| class="wikitable"
|-
! Название события на http://exams.mipt.ru/
! Дата
! Длительность
|-
| МИСОБОД - 2025. HDFS & MapReduce || 18.10.2025 || 15 мин.
|-
| МИСОБОД - 2025. SQL over BigData || 08.11.2025 || 15 мин.
|-
| МиСОБОД - 2025. Spark || 22.11.2025 || 10 мин.
|-
| МиСОБОД - 2025. Векторные часы || 29.11.2025 || 10 мин.
|-
| МиСОБОД - 2025. Spark streaming, Kafka & NoSQL || 13.12.2025 || 20 мин.
|-
| МиСОБОД - 2025. Финальный тест || 20.12.2025 || 15 мин.
|}

В случае если вы не сможете написать КР в указанную дату по технической или другой уважительной причине, просьба заполнить [https://docs.google.com/forms/d/e/1FAIpQLSfai8J2r5vuq0LxuwDjHj3jQnMZDFuqwAvr164vKbdlMmzEdg/viewform?usp=dialog '''форму на дописывание''']. Дописывание состоится 20.12.2025 во время последнего занятия.

== Бонусы ==
Бонус начисляется за:
* активное участие в семинарах,
* помощь коллегам в чате курса.
Возможно получить до 1,5 баллов. Количество студентов, которым может быть начислен бонус, неограничено.

= Список рекомендуемых материалов =
=== Основная литература ===
# Tom White, Hadoop: The Definitive Guide, 4th Edition Storage and Analysis at Internet Scale, Publisher: O'Reilly, Media Release Date: April 2015
# Karau, H., Konwinski, A., Wendell, P., & Zaharia, M, Learning Spark: Lightning-Fast Big Data Analysis
# Holden Karau et al. Learning Spark. Lightning-fast Data Analytics. Preview Edition. O’Reilly, 2015.
=== Дополнительная литература ===
# Chuck Lam. Hadoop in Action. New York: Manning Publications co.
# Alex Holmes , "Hadoop in Practice"
# Martin Fowler, "NoSQL"
# Eric Redmond, Jim R. Wilson, "Seven Databases in Seven Weeks"
# Jonathan Leibiusky, "Getting Started with Storm"
# Donald Miner, Adam Shook. MapReduce Design Patterns. O’Reilly.
# Arun C. Murthy et al. Apache Hadoop YARN. Addison-Wesley.
# Spark Core Programming. TutorialsPoint, 2015.
# Dario Simonassi, Gabriel Eisbruch, Jonathan Leibiusky. Getting Started with Storm. O’Reilly.
# Edward Capriolo, Dean Wampler, and Jason Rutherglen. Programming Hive. O’Reilly.
# Lars George. HBase: The Definitive Guide. O’Reilly.
# Eben Hewitt. Cassandra: The Definitive Guide. O’Reilly.

ОАБМД-2025

2025-09-06T15:46:00Z

VeLKerr: /* Важные ссылки */

= О курсе =
* Курс "Обработка и анализ больших массивов данных" (Processing and analysis of large data sets) читается для студентов 2-го курса магистратуры [https://cs.hse.ru ФКН ВШЭ] в 1-2 модулях.
* Форма контроля: экзамен, выставляется по накопу.
== Команда курса ==
* Преподаватель: Ивченко Олег (основной), Затикян Изабелла (модуль по Airflow).
* Ассистенты: '''TBD'''

= Важные ссылки =
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=0&single=true План курса]
* [https://t.me/+Gp-TPCunPDxiNTUy Чат курса]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=1360422414&single=true '''Таблица с оценками''']
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/materials Коды семинаров] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/presentations Слайды презентаций] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
** [https://drive.google.com/drive/folders/1Lw-K7Cs-Y8KuB_XShQup99fYO6bJNGO4?usp=sharing Лекции по Java]

= Формы контроля =
Курс предполагает 3 формы контроля:
* Домашние задания: 9 баллов
* Тесты: 2 балла
* Бонусы: 1,5 балла

Итоговая оценка вычисляется по принципу ''MIN(ДЗ+Тесты+бонусы, 10)''.
== Домашние задания ==
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/homeworks Условия домашек] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://docs.google.com/presentation/d/1eDxnTeBWSB1OrA3BwEUa2vJAJm3_OJMuoRxyA13RzTY/edit?slide=id.p#slide=id.p Инструкция по работе с тестирующей системой] '''TBD''' ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=106688933&single=true Статус проверки домашек]
На курсе 6 домашних заданий, из которых 2 блокирующие. Все ДЗ ''кроме последней'' сдаются в 2 этапа:
* Прохождение CI-тестов
* Code review
По каждой домашке существуют дедлайны. До дедлайна важно пройти '''1й этап''' сдачи.
* После мягкого дедлайна оценка снижается на 50%.
* После жесткого дедлайна сдавать можно только блокирующие ДЗ с оценкой не выше 25%.

== Тесты ==
Состоится 6 контрольных, которые будут проводиться с помощью Google форм и системы прокторинга http://exams.mipt.ru/. По [https://drive.google.com/file/d/1n0iR-IaPnT4EeEEUCksODQnjl34L8Xlc/view?usp=sharing ссылке] доступна инструкция пользователя. На контрольных нельзя пользоваться IDE и интернетом. Код писать не потребуется.

{| class="wikitable"
|-
! Название события на http://exams.mipt.ru/
! Дата
! Длительность
|-
| МИСОБОД - 2025. HDFS & MapReduce || 25.10.2025 || 15 мин.
|-
| МИСОБОД - 2025. SQL over BigData || 08.11.2025 || 15 мин.
|-
| МиСОБОД - 2025. Spark || 22.11.2025 || 10 мин.
|-
| МиСОБОД - 2025. Векторные часы || 29.11.2025 || 10 мин.
|-
| МиСОБОД - 2025. Spark streaming, Kafka & NoSQL || 13.12.2025 || 20 мин.
|-
| МиСОБОД - 2025. Финальный тест || 20.12.2025 || 15 мин.
|}

В случае если вы не сможете написать КР в указанную дату по технической или другой уважительной причине, просьба заполнить [https://docs.google.com/forms/d/e/1FAIpQLSfai8J2r5vuq0LxuwDjHj3jQnMZDFuqwAvr164vKbdlMmzEdg/viewform?usp=dialog '''форму на дописывание''']. Дописывание состоится 20.12.2025 во время последнего занятия.

== Бонусы ==
Бонус начисляется за:
* активное участие в семинарах,
* помощь коллегам в чате курса.
Возможно получить до 1,5 баллов. Количество студентов, которым может быть начислен бонус, неограничено.

= Список рекомендуемых материалов =
=== Основная литература ===
# Tom White, Hadoop: The Definitive Guide, 4th Edition Storage and Analysis at Internet Scale, Publisher: O'Reilly, Media Release Date: April 2015
# Karau, H., Konwinski, A., Wendell, P., & Zaharia, M, Learning Spark: Lightning-Fast Big Data Analysis
# Holden Karau et al. Learning Spark. Lightning-fast Data Analytics. Preview Edition. O’Reilly, 2015.
=== Дополнительная литература ===
# Chuck Lam. Hadoop in Action. New York: Manning Publications co.
# Alex Holmes , "Hadoop in Practice"
# Martin Fowler, "NoSQL"
# Eric Redmond, Jim R. Wilson, "Seven Databases in Seven Weeks"
# Jonathan Leibiusky, "Getting Started with Storm"
# Donald Miner, Adam Shook. MapReduce Design Patterns. O’Reilly.
# Arun C. Murthy et al. Apache Hadoop YARN. Addison-Wesley.
# Spark Core Programming. TutorialsPoint, 2015.
# Dario Simonassi, Gabriel Eisbruch, Jonathan Leibiusky. Getting Started with Storm. O’Reilly.
# Edward Capriolo, Dean Wampler, and Jason Rutherglen. Programming Hive. O’Reilly.
# Lars George. HBase: The Definitive Guide. O’Reilly.
# Eben Hewitt. Cassandra: The Definitive Guide. O’Reilly.

ОАБМД-2025

2025-07-29T22:09:54Z

VeLKerr: /* Домашние задания */

= О курсе =
* Курс "Обработка и анализ больших массивов данных" (Processing and analysis of large data sets) читается для студентов 2-го курса магистратуры [https://cs.hse.ru ФКН ВШЭ] в 1-2 модулях.
* Форма контроля: экзамен, выставляется по накопу.
== Команда курса ==
* Преподаватель: Ивченко Олег (основной), Затикян Изабелла (модуль по Airflow).
* Ассистенты: '''TBD'''

= Важные ссылки =
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=0&single=true План курса]
* [https://t.me/+Gp-TPCunPDxiNTUy Чат курса]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=1360422414&single=true '''Таблица с оценками''']
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/materials Коды семинаров] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/presentations Слайды презентаций] ''(доступ только после регистрации на gitlab.atp-fivt.org)''

= Формы контроля =
Курс предполагает 3 формы контроля:
* Домашние задания: 9 баллов
* Тесты: 2 балла
* Бонусы: 1,5 балла

Итоговая оценка вычисляется по принципу ''MIN(ДЗ+Тесты+бонусы, 10)''.
== Домашние задания ==
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/homeworks Условия домашек] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://docs.google.com/presentation/d/1eDxnTeBWSB1OrA3BwEUa2vJAJm3_OJMuoRxyA13RzTY/edit?slide=id.p#slide=id.p Инструкция по работе с тестирующей системой] '''TBD''' ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=106688933&single=true Статус проверки домашек]
На курсе 6 домашних заданий, из которых 2 блокирующие. Все ДЗ ''кроме последней'' сдаются в 2 этапа:
* Прохождение CI-тестов
* Code review
По каждой домашке существуют дедлайны. До дедлайна важно пройти '''1й этап''' сдачи.
* После мягкого дедлайна оценка снижается на 50%.
* После жесткого дедлайна сдавать можно только блокирующие ДЗ с оценкой не выше 25%.

== Тесты ==
Состоится 6 контрольных, которые будут проводиться с помощью Google форм и системы прокторинга http://exams.mipt.ru/. По [https://drive.google.com/file/d/1n0iR-IaPnT4EeEEUCksODQnjl34L8Xlc/view?usp=sharing ссылке] доступна инструкция пользователя. На контрольных нельзя пользоваться IDE и интернетом. Код писать не потребуется.

{| class="wikitable"
|-
! Название события на http://exams.mipt.ru/
! Дата
! Длительность
|-
| МИСОБОД - 2025. HDFS & MapReduce || 25.10.2025 || 15 мин.
|-
| МИСОБОД - 2025. SQL over BigData || 08.11.2025 || 15 мин.
|-
| МиСОБОД - 2025. Spark || 22.11.2025 || 10 мин.
|-
| МиСОБОД - 2025. Векторные часы || 29.11.2025 || 10 мин.
|-
| МиСОБОД - 2025. Spark streaming, Kafka & NoSQL || 13.12.2025 || 20 мин.
|-
| МиСОБОД - 2025. Финальный тест || 20.12.2025 || 15 мин.
|}

В случае если вы не сможете написать КР в указанную дату по технической или другой уважительной причине, просьба заполнить [https://docs.google.com/forms/d/e/1FAIpQLSfai8J2r5vuq0LxuwDjHj3jQnMZDFuqwAvr164vKbdlMmzEdg/viewform?usp=dialog '''форму на дописывание''']. Дописывание состоится 20.12.2025 во время последнего занятия.

== Бонусы ==
Бонус начисляется за:
* активное участие в семинарах,
* помощь коллегам в чате курса.
Возможно получить до 1,5 баллов. Количество студентов, которым может быть начислен бонус, неограничено.

= Список рекомендуемых материалов =
=== Основная литература ===
# Tom White, Hadoop: The Definitive Guide, 4th Edition Storage and Analysis at Internet Scale, Publisher: O'Reilly, Media Release Date: April 2015
# Karau, H., Konwinski, A., Wendell, P., & Zaharia, M, Learning Spark: Lightning-Fast Big Data Analysis
# Holden Karau et al. Learning Spark. Lightning-fast Data Analytics. Preview Edition. O’Reilly, 2015.
=== Дополнительная литература ===
# Chuck Lam. Hadoop in Action. New York: Manning Publications co.
# Alex Holmes , "Hadoop in Practice"
# Martin Fowler, "NoSQL"
# Eric Redmond, Jim R. Wilson, "Seven Databases in Seven Weeks"
# Jonathan Leibiusky, "Getting Started with Storm"
# Donald Miner, Adam Shook. MapReduce Design Patterns. O’Reilly.
# Arun C. Murthy et al. Apache Hadoop YARN. Addison-Wesley.
# Spark Core Programming. TutorialsPoint, 2015.
# Dario Simonassi, Gabriel Eisbruch, Jonathan Leibiusky. Getting Started with Storm. O’Reilly.
# Edward Capriolo, Dean Wampler, and Jason Rutherglen. Programming Hive. O’Reilly.
# Lars George. HBase: The Definitive Guide. O’Reilly.
# Eben Hewitt. Cassandra: The Definitive Guide. O’Reilly.

ОАБМД-2025

2025-07-29T22:04:09Z

VeLKerr: /* Тесты */

= О курсе =
* Курс "Обработка и анализ больших массивов данных" (Processing and analysis of large data sets) читается для студентов 2-го курса магистратуры [https://cs.hse.ru ФКН ВШЭ] в 1-2 модулях.
* Форма контроля: экзамен, выставляется по накопу.
== Команда курса ==
* Преподаватель: Ивченко Олег (основной), Затикян Изабелла (модуль по Airflow).
* Ассистенты: '''TBD'''

= Важные ссылки =
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=0&single=true План курса]
* [https://t.me/+Gp-TPCunPDxiNTUy Чат курса]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=1360422414&single=true '''Таблица с оценками''']
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/materials Коды семинаров] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/presentations Слайды презентаций] ''(доступ только после регистрации на gitlab.atp-fivt.org)''

= Формы контроля =
Курс предполагает 3 формы контроля:
* Домашние задания: 9 баллов
* Тесты: 2 балла
* Бонусы: 1,5 балла

Итоговая оценка вычисляется по принципу ''MIN(ДЗ+Тесты+бонусы, 10)''.
== Домашние задания ==
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/homeworks Условия домашек] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [ Инструкция по работе с тестирующей системой] '''TBD''' ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=106688933&single=true Статус проверки домашек]
На курсе 6 домашних заданий, из которых 2 блокирующие. Все ДЗ ''кроме последней'' сдаются в 2 этапа:
* Прохождение CI-тестов
* Code review
По каждой домашке существуют дедлайны. До дедлайна важно пройти '''1й этап''' сдачи.
* После мягкого дедлайна оценка снижается на 50%.
* После жесткого дедлайна сдавать можно только блокирующие ДЗ с оценкой не выше 25%.

== Тесты ==
Состоится 6 контрольных, которые будут проводиться с помощью Google форм и системы прокторинга http://exams.mipt.ru/. По [https://drive.google.com/file/d/1n0iR-IaPnT4EeEEUCksODQnjl34L8Xlc/view?usp=sharing ссылке] доступна инструкция пользователя. На контрольных нельзя пользоваться IDE и интернетом. Код писать не потребуется.

{| class="wikitable"
|-
! Название события на http://exams.mipt.ru/
! Дата
! Длительность
|-
| МИСОБОД - 2025. HDFS & MapReduce || 25.10.2025 || 15 мин.
|-
| МИСОБОД - 2025. SQL over BigData || 08.11.2025 || 15 мин.
|-
| МиСОБОД - 2025. Spark || 22.11.2025 || 10 мин.
|-
| МиСОБОД - 2025. Векторные часы || 29.11.2025 || 10 мин.
|-
| МиСОБОД - 2025. Spark streaming, Kafka & NoSQL || 13.12.2025 || 20 мин.
|-
| МиСОБОД - 2025. Финальный тест || 20.12.2025 || 15 мин.
|}

В случае если вы не сможете написать КР в указанную дату по технической или другой уважительной причине, просьба заполнить [https://docs.google.com/forms/d/e/1FAIpQLSfai8J2r5vuq0LxuwDjHj3jQnMZDFuqwAvr164vKbdlMmzEdg/viewform?usp=dialog '''форму на дописывание''']. Дописывание состоится 20.12.2025 во время последнего занятия.

== Бонусы ==
Бонус начисляется за:
* активное участие в семинарах,
* помощь коллегам в чате курса.
Возможно получить до 1,5 баллов. Количество студентов, которым может быть начислен бонус, неограничено.

= Список рекомендуемых материалов =
=== Основная литература ===
# Tom White, Hadoop: The Definitive Guide, 4th Edition Storage and Analysis at Internet Scale, Publisher: O'Reilly, Media Release Date: April 2015
# Karau, H., Konwinski, A., Wendell, P., & Zaharia, M, Learning Spark: Lightning-Fast Big Data Analysis
# Holden Karau et al. Learning Spark. Lightning-fast Data Analytics. Preview Edition. O’Reilly, 2015.
=== Дополнительная литература ===
# Chuck Lam. Hadoop in Action. New York: Manning Publications co.
# Alex Holmes , "Hadoop in Practice"
# Martin Fowler, "NoSQL"
# Eric Redmond, Jim R. Wilson, "Seven Databases in Seven Weeks"
# Jonathan Leibiusky, "Getting Started with Storm"
# Donald Miner, Adam Shook. MapReduce Design Patterns. O’Reilly.
# Arun C. Murthy et al. Apache Hadoop YARN. Addison-Wesley.
# Spark Core Programming. TutorialsPoint, 2015.
# Dario Simonassi, Gabriel Eisbruch, Jonathan Leibiusky. Getting Started with Storm. O’Reilly.
# Edward Capriolo, Dean Wampler, and Jason Rutherglen. Programming Hive. O’Reilly.
# Lars George. HBase: The Definitive Guide. O’Reilly.
# Eben Hewitt. Cassandra: The Definitive Guide. O’Reilly.

ОАБМД-2025

2025-07-29T22:03:14Z

VeLKerr: /* Тесты */

= О курсе =
* Курс "Обработка и анализ больших массивов данных" (Processing and analysis of large data sets) читается для студентов 2-го курса магистратуры [https://cs.hse.ru ФКН ВШЭ] в 1-2 модулях.
* Форма контроля: экзамен, выставляется по накопу.
== Команда курса ==
* Преподаватель: Ивченко Олег (основной), Затикян Изабелла (модуль по Airflow).
* Ассистенты: '''TBD'''

= Важные ссылки =
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=0&single=true План курса]
* [https://t.me/+Gp-TPCunPDxiNTUy Чат курса]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=1360422414&single=true '''Таблица с оценками''']
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/materials Коды семинаров] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/presentations Слайды презентаций] ''(доступ только после регистрации на gitlab.atp-fivt.org)''

= Формы контроля =
Курс предполагает 3 формы контроля:
* Домашние задания: 9 баллов
* Тесты: 2 балла
* Бонусы: 1,5 балла

Итоговая оценка вычисляется по принципу ''MIN(ДЗ+Тесты+бонусы, 10)''.
== Домашние задания ==
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/homeworks Условия домашек] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [ Инструкция по работе с тестирующей системой] '''TBD''' ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=106688933&single=true Статус проверки домашек]
На курсе 6 домашних заданий, из которых 2 блокирующие. Все ДЗ ''кроме последней'' сдаются в 2 этапа:
* Прохождение CI-тестов
* Code review
По каждой домашке существуют дедлайны. До дедлайна важно пройти '''1й этап''' сдачи.
* После мягкого дедлайна оценка снижается на 50%.
* После жесткого дедлайна сдавать можно только блокирующие ДЗ с оценкой не выше 25%.

== Тесты ==
Состоится 6 контрольных, которые будут проводиться с помощью Google форм и системы прокторинга http://exams.mipt.ru/. По [https://drive.google.com/file/d/1n0iR-IaPnT4EeEEUCksODQnjl34L8Xlc/view?usp=sharing ссылке] доступна инструкция пользователя. На контрольных нельзя пользоваться IDE и интернетом. Код писать не потребуется.

{| class="wikitable"
|-
! Название события на http://exams.mipt.ru/
! Дата
! Длительность
|-
| МИСОБОД - 2025. HDFS & MapReduce || 25.10.2025 || 15 мин.
|-
| МИСОБОД - 2025. SQL over BigData || 08.11.2025 || 15 мин.
|-
| МиСОБОД - 2025. Spark || 22.11.2025 || 10 мин.
|-
| МиСОБОД - 2025. Векторные часы || 29.11.2025 || 10 мин.
|-
| МиСОБОД - 2025. Spark streaming, Kafka & NoSQL || 13.12.2025 || 20 мин.
|-
| МиСОБОД - 2025. Финальный тест || 20.12.2025 || 15 мин.
|}

В случае если вы не сможете написать КР в указанную дату по технической или другой уважительной причине, просьба заполнить [https://docs.google.com/forms/d/e/1FAIpQLSfai8J2r5vuq0LxuwDjHj3jQnMZDFuqwAvr164vKbdlMmzEdg/viewform?usp=dialog '''форму на дописывание''']. Дописывание состоится '''TBD''' во время последнего занятия.

== Бонусы ==
Бонус начисляется за:
* активное участие в семинарах,
* помощь коллегам в чате курса.
Возможно получить до 1,5 баллов. Количество студентов, которым может быть начислен бонус, неограничено.

= Список рекомендуемых материалов =
=== Основная литература ===
# Tom White, Hadoop: The Definitive Guide, 4th Edition Storage and Analysis at Internet Scale, Publisher: O'Reilly, Media Release Date: April 2015
# Karau, H., Konwinski, A., Wendell, P., & Zaharia, M, Learning Spark: Lightning-Fast Big Data Analysis
# Holden Karau et al. Learning Spark. Lightning-fast Data Analytics. Preview Edition. O’Reilly, 2015.
=== Дополнительная литература ===
# Chuck Lam. Hadoop in Action. New York: Manning Publications co.
# Alex Holmes , "Hadoop in Practice"
# Martin Fowler, "NoSQL"
# Eric Redmond, Jim R. Wilson, "Seven Databases in Seven Weeks"
# Jonathan Leibiusky, "Getting Started with Storm"
# Donald Miner, Adam Shook. MapReduce Design Patterns. O’Reilly.
# Arun C. Murthy et al. Apache Hadoop YARN. Addison-Wesley.
# Spark Core Programming. TutorialsPoint, 2015.
# Dario Simonassi, Gabriel Eisbruch, Jonathan Leibiusky. Getting Started with Storm. O’Reilly.
# Edward Capriolo, Dean Wampler, and Jason Rutherglen. Programming Hive. O’Reilly.
# Lars George. HBase: The Definitive Guide. O’Reilly.
# Eben Hewitt. Cassandra: The Definitive Guide. O’Reilly.

ОАБМД-2025

2025-07-27T19:57:45Z

VeLKerr: /* Домашние задания */

= О курсе =
* Курс "Обработка и анализ больших массивов данных" (Processing and analysis of large data sets) читается для студентов 2-го курса магистратуры [https://cs.hse.ru ФКН ВШЭ] в 1-2 модулях.
* Форма контроля: экзамен, выставляется по накопу.
== Команда курса ==
* Преподаватель: Ивченко Олег (основной), Затикян Изабелла (модуль по Airflow).
* Ассистенты: '''TBD'''

= Важные ссылки =
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=0&single=true План курса]
* [https://t.me/+Gp-TPCunPDxiNTUy Чат курса]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=1360422414&single=true '''Таблица с оценками''']
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/materials Коды семинаров] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/presentations Слайды презентаций] ''(доступ только после регистрации на gitlab.atp-fivt.org)''

= Формы контроля =
Курс предполагает 3 формы контроля:
* Домашние задания: 9 баллов
* Тесты: 2 балла
* Бонусы: 1,5 балла

Итоговая оценка вычисляется по принципу ''MIN(ДЗ+Тесты+бонусы, 10)''.
== Домашние задания ==
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/homeworks Условия домашек] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [ Инструкция по работе с тестирующей системой] '''TBD''' ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=106688933&single=true Статус проверки домашек]
На курсе 6 домашних заданий, из которых 2 блокирующие. Все ДЗ ''кроме последней'' сдаются в 2 этапа:
* Прохождение CI-тестов
* Code review
По каждой домашке существуют дедлайны. До дедлайна важно пройти '''1й этап''' сдачи.
* После мягкого дедлайна оценка снижается на 50%.
* После жесткого дедлайна сдавать можно только блокирующие ДЗ с оценкой не выше 25%.

== Тесты ==
Состоится 6 контрольных, которые будут проводиться с помощью Google форм и системы прокторинга http://exams.mipt.ru/. По [https://drive.google.com/file/d/1n0iR-IaPnT4EeEEUCksODQnjl34L8Xlc/view?usp=sharing ссылке] доступна инструкция пользователя. На контрольных нельзя пользоваться IDE и интернетом. Код писать не потребуется.

{| class="wikitable"
|-
! Название события на http://exams.mipt.ru/
! Дата
! Длительность
|-
| МИСОБОД - 2025. HDFS & MapReduce || '''TBD''' || 15 мин.
|-
| МИСОБОД - 2025. SQL over BigData || '''TBD'''|| 15 мин.
|-
| МиСОБОД - 2025. Spark || '''TBD''' || 10 мин.
|-
| МиСОБОД - 2025. Spark streaming, Kafka & NoSQL || '''TBD''' || 20 мин.
|-
| МиСОБОД - 2025. Векторные часы || '''TBD''' || 10 мин.
|-
| МиСОБОД - 2025. Финальный тест || '''TBD'''|| 15 мин.
|}

В случае если вы не сможете написать КР в указанную дату по технической или другой уважительной причине, просьба заполнить [https://docs.google.com/forms/d/e/1FAIpQLSfai8J2r5vuq0LxuwDjHj3jQnMZDFuqwAvr164vKbdlMmzEdg/viewform?usp=dialog '''форму на дописывание''']. Дописывание состоится '''TBD''' во время последнего занятия.

== Бонусы ==
Бонус начисляется за:
* активное участие в семинарах,
* помощь коллегам в чате курса.
Возможно получить до 1,5 баллов. Количество студентов, которым может быть начислен бонус, неограничено.

= Список рекомендуемых материалов =
=== Основная литература ===
# Tom White, Hadoop: The Definitive Guide, 4th Edition Storage and Analysis at Internet Scale, Publisher: O'Reilly, Media Release Date: April 2015
# Karau, H., Konwinski, A., Wendell, P., & Zaharia, M, Learning Spark: Lightning-Fast Big Data Analysis
# Holden Karau et al. Learning Spark. Lightning-fast Data Analytics. Preview Edition. O’Reilly, 2015.
=== Дополнительная литература ===
# Chuck Lam. Hadoop in Action. New York: Manning Publications co.
# Alex Holmes , "Hadoop in Practice"
# Martin Fowler, "NoSQL"
# Eric Redmond, Jim R. Wilson, "Seven Databases in Seven Weeks"
# Jonathan Leibiusky, "Getting Started with Storm"
# Donald Miner, Adam Shook. MapReduce Design Patterns. O’Reilly.
# Arun C. Murthy et al. Apache Hadoop YARN. Addison-Wesley.
# Spark Core Programming. TutorialsPoint, 2015.
# Dario Simonassi, Gabriel Eisbruch, Jonathan Leibiusky. Getting Started with Storm. O’Reilly.
# Edward Capriolo, Dean Wampler, and Jason Rutherglen. Programming Hive. O’Reilly.
# Lars George. HBase: The Definitive Guide. O’Reilly.
# Eben Hewitt. Cassandra: The Definitive Guide. O’Reilly.

ОАБМД-2025

2025-07-27T19:57:14Z

VeLKerr: /* Важные ссылки */

= О курсе =
* Курс "Обработка и анализ больших массивов данных" (Processing and analysis of large data sets) читается для студентов 2-го курса магистратуры [https://cs.hse.ru ФКН ВШЭ] в 1-2 модулях.
* Форма контроля: экзамен, выставляется по накопу.
== Команда курса ==
* Преподаватель: Ивченко Олег (основной), Затикян Изабелла (модуль по Airflow).
* Ассистенты: '''TBD'''

= Важные ссылки =
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=0&single=true План курса]
* [https://t.me/+Gp-TPCunPDxiNTUy Чат курса]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=1360422414&single=true '''Таблица с оценками''']
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/materials Коды семинаров] ''(доступ только после регистрации на gitlab.atp-fivt.org)''
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/presentations Слайды презентаций] ''(доступ только после регистрации на gitlab.atp-fivt.org)''

= Формы контроля =
Курс предполагает 3 формы контроля:
* Домашние задания: 9 баллов
* Тесты: 2 балла
* Бонусы: 1,5 балла

Итоговая оценка вычисляется по принципу ''MIN(ДЗ+Тесты+бонусы, 10)''.
== Домашние задания ==
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/homeworks Условия домашек] (доступ только после регистрации на gitlab.atp-fivt.org)
* [ Инструкция по работе с тестирующей системой] '''TBD''' (доступ только после регистрации на gitlab.atp-fivt.org)
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=106688933&single=true Статус проверки домашек]
На курсе 6 домашних заданий, из которых 2 блокирующие. Все ДЗ ''кроме последней'' сдаются в 2 этапа:
* Прохождение CI-тестов
* Code review
По каждой домашке существуют дедлайны. До дедлайна важно пройти '''1й этап''' сдачи.
* После мягкого дедлайна оценка снижается на 50%.
* После жесткого дедлайна сдавать можно только блокирующие ДЗ с оценкой не выше 25%.

== Тесты ==
Состоится 6 контрольных, которые будут проводиться с помощью Google форм и системы прокторинга http://exams.mipt.ru/. По [https://drive.google.com/file/d/1n0iR-IaPnT4EeEEUCksODQnjl34L8Xlc/view?usp=sharing ссылке] доступна инструкция пользователя. На контрольных нельзя пользоваться IDE и интернетом. Код писать не потребуется.

{| class="wikitable"
|-
! Название события на http://exams.mipt.ru/
! Дата
! Длительность
|-
| МИСОБОД - 2025. HDFS & MapReduce || '''TBD''' || 15 мин.
|-
| МИСОБОД - 2025. SQL over BigData || '''TBD'''|| 15 мин.
|-
| МиСОБОД - 2025. Spark || '''TBD''' || 10 мин.
|-
| МиСОБОД - 2025. Spark streaming, Kafka & NoSQL || '''TBD''' || 20 мин.
|-
| МиСОБОД - 2025. Векторные часы || '''TBD''' || 10 мин.
|-
| МиСОБОД - 2025. Финальный тест || '''TBD'''|| 15 мин.
|}

В случае если вы не сможете написать КР в указанную дату по технической или другой уважительной причине, просьба заполнить [https://docs.google.com/forms/d/e/1FAIpQLSfai8J2r5vuq0LxuwDjHj3jQnMZDFuqwAvr164vKbdlMmzEdg/viewform?usp=dialog '''форму на дописывание''']. Дописывание состоится '''TBD''' во время последнего занятия.

== Бонусы ==
Бонус начисляется за:
* активное участие в семинарах,
* помощь коллегам в чате курса.
Возможно получить до 1,5 баллов. Количество студентов, которым может быть начислен бонус, неограничено.

= Список рекомендуемых материалов =
=== Основная литература ===
# Tom White, Hadoop: The Definitive Guide, 4th Edition Storage and Analysis at Internet Scale, Publisher: O'Reilly, Media Release Date: April 2015
# Karau, H., Konwinski, A., Wendell, P., & Zaharia, M, Learning Spark: Lightning-Fast Big Data Analysis
# Holden Karau et al. Learning Spark. Lightning-fast Data Analytics. Preview Edition. O’Reilly, 2015.
=== Дополнительная литература ===
# Chuck Lam. Hadoop in Action. New York: Manning Publications co.
# Alex Holmes , "Hadoop in Practice"
# Martin Fowler, "NoSQL"
# Eric Redmond, Jim R. Wilson, "Seven Databases in Seven Weeks"
# Jonathan Leibiusky, "Getting Started with Storm"
# Donald Miner, Adam Shook. MapReduce Design Patterns. O’Reilly.
# Arun C. Murthy et al. Apache Hadoop YARN. Addison-Wesley.
# Spark Core Programming. TutorialsPoint, 2015.
# Dario Simonassi, Gabriel Eisbruch, Jonathan Leibiusky. Getting Started with Storm. O’Reilly.
# Edward Capriolo, Dean Wampler, and Jason Rutherglen. Programming Hive. O’Reilly.
# Lars George. HBase: The Definitive Guide. O’Reilly.
# Eben Hewitt. Cassandra: The Definitive Guide. O’Reilly.

ОАБМД-2025

2025-07-27T19:56:34Z

VeLKerr: /* Домашние задания */

= О курсе =
* Курс "Обработка и анализ больших массивов данных" (Processing and analysis of large data sets) читается для студентов 2-го курса магистратуры [https://cs.hse.ru ФКН ВШЭ] в 1-2 модулях.
* Форма контроля: экзамен, выставляется по накопу.
== Команда курса ==
* Преподаватель: Ивченко Олег (основной), Затикян Изабелла (модуль по Airflow).
* Ассистенты: '''TBD'''

= Важные ссылки =
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=0&single=true План курса]
* [https://t.me/+Gp-TPCunPDxiNTUy Чат курса]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=1360422414&single=true '''Таблица с оценками''']
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/materials Коды семинаров] (доступ только после регистрации на gitlab.atp-fivt.org)
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/presentations Слайды презентаций] (доступ только после регистрации на gitlab.atp-fivt.org)

= Формы контроля =
Курс предполагает 3 формы контроля:
* Домашние задания: 9 баллов
* Тесты: 2 балла
* Бонусы: 1,5 балла

Итоговая оценка вычисляется по принципу ''MIN(ДЗ+Тесты+бонусы, 10)''.
== Домашние задания ==
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/homeworks Условия домашек] (доступ только после регистрации на gitlab.atp-fivt.org)
* [ Инструкция по работе с тестирующей системой] '''TBD''' (доступ только после регистрации на gitlab.atp-fivt.org)
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=106688933&single=true Статус проверки домашек]
На курсе 6 домашних заданий, из которых 2 блокирующие. Все ДЗ ''кроме последней'' сдаются в 2 этапа:
* Прохождение CI-тестов
* Code review
По каждой домашке существуют дедлайны. До дедлайна важно пройти '''1й этап''' сдачи.
* После мягкого дедлайна оценка снижается на 50%.
* После жесткого дедлайна сдавать можно только блокирующие ДЗ с оценкой не выше 25%.

== Тесты ==
Состоится 6 контрольных, которые будут проводиться с помощью Google форм и системы прокторинга http://exams.mipt.ru/. По [https://drive.google.com/file/d/1n0iR-IaPnT4EeEEUCksODQnjl34L8Xlc/view?usp=sharing ссылке] доступна инструкция пользователя. На контрольных нельзя пользоваться IDE и интернетом. Код писать не потребуется.

{| class="wikitable"
|-
! Название события на http://exams.mipt.ru/
! Дата
! Длительность
|-
| МИСОБОД - 2025. HDFS & MapReduce || '''TBD''' || 15 мин.
|-
| МИСОБОД - 2025. SQL over BigData || '''TBD'''|| 15 мин.
|-
| МиСОБОД - 2025. Spark || '''TBD''' || 10 мин.
|-
| МиСОБОД - 2025. Spark streaming, Kafka & NoSQL || '''TBD''' || 20 мин.
|-
| МиСОБОД - 2025. Векторные часы || '''TBD''' || 10 мин.
|-
| МиСОБОД - 2025. Финальный тест || '''TBD'''|| 15 мин.
|}

В случае если вы не сможете написать КР в указанную дату по технической или другой уважительной причине, просьба заполнить [https://docs.google.com/forms/d/e/1FAIpQLSfai8J2r5vuq0LxuwDjHj3jQnMZDFuqwAvr164vKbdlMmzEdg/viewform?usp=dialog '''форму на дописывание''']. Дописывание состоится '''TBD''' во время последнего занятия.

== Бонусы ==
Бонус начисляется за:
* активное участие в семинарах,
* помощь коллегам в чате курса.
Возможно получить до 1,5 баллов. Количество студентов, которым может быть начислен бонус, неограничено.

= Список рекомендуемых материалов =
=== Основная литература ===
# Tom White, Hadoop: The Definitive Guide, 4th Edition Storage and Analysis at Internet Scale, Publisher: O'Reilly, Media Release Date: April 2015
# Karau, H., Konwinski, A., Wendell, P., & Zaharia, M, Learning Spark: Lightning-Fast Big Data Analysis
# Holden Karau et al. Learning Spark. Lightning-fast Data Analytics. Preview Edition. O’Reilly, 2015.
=== Дополнительная литература ===
# Chuck Lam. Hadoop in Action. New York: Manning Publications co.
# Alex Holmes , "Hadoop in Practice"
# Martin Fowler, "NoSQL"
# Eric Redmond, Jim R. Wilson, "Seven Databases in Seven Weeks"
# Jonathan Leibiusky, "Getting Started with Storm"
# Donald Miner, Adam Shook. MapReduce Design Patterns. O’Reilly.
# Arun C. Murthy et al. Apache Hadoop YARN. Addison-Wesley.
# Spark Core Programming. TutorialsPoint, 2015.
# Dario Simonassi, Gabriel Eisbruch, Jonathan Leibiusky. Getting Started with Storm. O’Reilly.
# Edward Capriolo, Dean Wampler, and Jason Rutherglen. Programming Hive. O’Reilly.
# Lars George. HBase: The Definitive Guide. O’Reilly.
# Eben Hewitt. Cassandra: The Definitive Guide. O’Reilly.

ОАБМД-2025

2025-07-27T19:55:17Z

VeLKerr: /* Важные ссылки */

= О курсе =
* Курс "Обработка и анализ больших массивов данных" (Processing and analysis of large data sets) читается для студентов 2-го курса магистратуры [https://cs.hse.ru ФКН ВШЭ] в 1-2 модулях.
* Форма контроля: экзамен, выставляется по накопу.
== Команда курса ==
* Преподаватель: Ивченко Олег (основной), Затикян Изабелла (модуль по Airflow).
* Ассистенты: '''TBD'''

= Важные ссылки =
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=0&single=true План курса]
* [https://t.me/+Gp-TPCunPDxiNTUy Чат курса]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=1360422414&single=true '''Таблица с оценками''']
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/materials Коды семинаров] (доступ только после регистрации на gitlab.atp-fivt.org)
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/presentations Слайды презентаций] (доступ только после регистрации на gitlab.atp-fivt.org)

= Формы контроля =
Курс предполагает 3 формы контроля:
* Домашние задания: 9 баллов
* Тесты: 2 балла
* Бонусы: 1,5 балла

Итоговая оценка вычисляется по принципу ''MIN(ДЗ+Тесты+бонусы, 10)''.
== Домашние задания ==
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/homeworks Условия домашек] (доступ только после регистрации на gitlab.atp-fivt.org)
* [ Инструкция по работе с тестирующей системой] '''TBD'''
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=106688933&single=true Статус проверки домашек]
На курсе 6 домашних заданий, из которых 2 блокирующие. Все ДЗ ''кроме последней'' сдаются в 2 этапа:
* Прохождение CI-тестов
* Code review
По каждой домашке существуют дедлайны. До дедлайна важно пройти '''1й этап''' сдачи.
* После мягкого дедлайна оценка снижается на 50%.
* После жесткого дедлайна сдавать можно только блокирующие ДЗ с оценкой не выше 25%.

== Тесты ==
Состоится 6 контрольных, которые будут проводиться с помощью Google форм и системы прокторинга http://exams.mipt.ru/. По [https://drive.google.com/file/d/1n0iR-IaPnT4EeEEUCksODQnjl34L8Xlc/view?usp=sharing ссылке] доступна инструкция пользователя. На контрольных нельзя пользоваться IDE и интернетом. Код писать не потребуется.

{| class="wikitable"
|-
! Название события на http://exams.mipt.ru/
! Дата
! Длительность
|-
| МИСОБОД - 2025. HDFS & MapReduce || '''TBD''' || 15 мин.
|-
| МИСОБОД - 2025. SQL over BigData || '''TBD'''|| 15 мин.
|-
| МиСОБОД - 2025. Spark || '''TBD''' || 10 мин.
|-
| МиСОБОД - 2025. Spark streaming, Kafka & NoSQL || '''TBD''' || 20 мин.
|-
| МиСОБОД - 2025. Векторные часы || '''TBD''' || 10 мин.
|-
| МиСОБОД - 2025. Финальный тест || '''TBD'''|| 15 мин.
|}

В случае если вы не сможете написать КР в указанную дату по технической или другой уважительной причине, просьба заполнить [https://docs.google.com/forms/d/e/1FAIpQLSfai8J2r5vuq0LxuwDjHj3jQnMZDFuqwAvr164vKbdlMmzEdg/viewform?usp=dialog '''форму на дописывание''']. Дописывание состоится '''TBD''' во время последнего занятия.

== Бонусы ==
Бонус начисляется за:
* активное участие в семинарах,
* помощь коллегам в чате курса.
Возможно получить до 1,5 баллов. Количество студентов, которым может быть начислен бонус, неограничено.

= Список рекомендуемых материалов =
=== Основная литература ===
# Tom White, Hadoop: The Definitive Guide, 4th Edition Storage and Analysis at Internet Scale, Publisher: O'Reilly, Media Release Date: April 2015
# Karau, H., Konwinski, A., Wendell, P., & Zaharia, M, Learning Spark: Lightning-Fast Big Data Analysis
# Holden Karau et al. Learning Spark. Lightning-fast Data Analytics. Preview Edition. O’Reilly, 2015.
=== Дополнительная литература ===
# Chuck Lam. Hadoop in Action. New York: Manning Publications co.
# Alex Holmes , "Hadoop in Practice"
# Martin Fowler, "NoSQL"
# Eric Redmond, Jim R. Wilson, "Seven Databases in Seven Weeks"
# Jonathan Leibiusky, "Getting Started with Storm"
# Donald Miner, Adam Shook. MapReduce Design Patterns. O’Reilly.
# Arun C. Murthy et al. Apache Hadoop YARN. Addison-Wesley.
# Spark Core Programming. TutorialsPoint, 2015.
# Dario Simonassi, Gabriel Eisbruch, Jonathan Leibiusky. Getting Started with Storm. O’Reilly.
# Edward Capriolo, Dean Wampler, and Jason Rutherglen. Programming Hive. O’Reilly.
# Lars George. HBase: The Definitive Guide. O’Reilly.
# Eben Hewitt. Cassandra: The Definitive Guide. O’Reilly.

ОАБМД-2025

2025-07-27T19:52:01Z

VeLKerr: /* Тесты */

= О курсе =
* Курс "Обработка и анализ больших массивов данных" (Processing and analysis of large data sets) читается для студентов 2-го курса магистратуры [https://cs.hse.ru ФКН ВШЭ] в 1-2 модулях.
* Форма контроля: экзамен, выставляется по накопу.
== Команда курса ==
* Преподаватель: Ивченко Олег (основной), Затикян Изабелла (модуль по Airflow).
* Ассистенты: '''TBD'''

= Важные ссылки =
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=0&single=true План курса]
* [https://t.me/+Gp-TPCunPDxiNTUy Чат курса]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=1360422414&single=true '''Таблица с оценками''']
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/materials Коды семинаров] (доступ только после регистрации на gitlab.atp-fivt.org)
* [https://drive.google.com/drive/folders/1qaElablB5ER1y07xXkPXfQcHIxzdfGZB?usp=sharing Слайды презентаций]

= Формы контроля =
Курс предполагает 3 формы контроля:
* Домашние задания: 9 баллов
* Тесты: 2 балла
* Бонусы: 1,5 балла

Итоговая оценка вычисляется по принципу ''MIN(ДЗ+Тесты+бонусы, 10)''.
== Домашние задания ==
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/homeworks Условия домашек] (доступ только после регистрации на gitlab.atp-fivt.org)
* [ Инструкция по работе с тестирующей системой] '''TBD'''
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=106688933&single=true Статус проверки домашек]
На курсе 6 домашних заданий, из которых 2 блокирующие. Все ДЗ ''кроме последней'' сдаются в 2 этапа:
* Прохождение CI-тестов
* Code review
По каждой домашке существуют дедлайны. До дедлайна важно пройти '''1й этап''' сдачи.
* После мягкого дедлайна оценка снижается на 50%.
* После жесткого дедлайна сдавать можно только блокирующие ДЗ с оценкой не выше 25%.

== Тесты ==
Состоится 6 контрольных, которые будут проводиться с помощью Google форм и системы прокторинга http://exams.mipt.ru/. По [https://drive.google.com/file/d/1n0iR-IaPnT4EeEEUCksODQnjl34L8Xlc/view?usp=sharing ссылке] доступна инструкция пользователя. На контрольных нельзя пользоваться IDE и интернетом. Код писать не потребуется.

{| class="wikitable"
|-
! Название события на http://exams.mipt.ru/
! Дата
! Длительность
|-
| МИСОБОД - 2025. HDFS & MapReduce || '''TBD''' || 15 мин.
|-
| МИСОБОД - 2025. SQL over BigData || '''TBD'''|| 15 мин.
|-
| МиСОБОД - 2025. Spark || '''TBD''' || 10 мин.
|-
| МиСОБОД - 2025. Spark streaming, Kafka & NoSQL || '''TBD''' || 20 мин.
|-
| МиСОБОД - 2025. Векторные часы || '''TBD''' || 10 мин.
|-
| МиСОБОД - 2025. Финальный тест || '''TBD'''|| 15 мин.
|}

В случае если вы не сможете написать КР в указанную дату по технической или другой уважительной причине, просьба заполнить [https://docs.google.com/forms/d/e/1FAIpQLSfai8J2r5vuq0LxuwDjHj3jQnMZDFuqwAvr164vKbdlMmzEdg/viewform?usp=dialog '''форму на дописывание''']. Дописывание состоится '''TBD''' во время последнего занятия.

== Бонусы ==
Бонус начисляется за:
* активное участие в семинарах,
* помощь коллегам в чате курса.
Возможно получить до 1,5 баллов. Количество студентов, которым может быть начислен бонус, неограничено.

= Список рекомендуемых материалов =
=== Основная литература ===
# Tom White, Hadoop: The Definitive Guide, 4th Edition Storage and Analysis at Internet Scale, Publisher: O'Reilly, Media Release Date: April 2015
# Karau, H., Konwinski, A., Wendell, P., & Zaharia, M, Learning Spark: Lightning-Fast Big Data Analysis
# Holden Karau et al. Learning Spark. Lightning-fast Data Analytics. Preview Edition. O’Reilly, 2015.
=== Дополнительная литература ===
# Chuck Lam. Hadoop in Action. New York: Manning Publications co.
# Alex Holmes , "Hadoop in Practice"
# Martin Fowler, "NoSQL"
# Eric Redmond, Jim R. Wilson, "Seven Databases in Seven Weeks"
# Jonathan Leibiusky, "Getting Started with Storm"
# Donald Miner, Adam Shook. MapReduce Design Patterns. O’Reilly.
# Arun C. Murthy et al. Apache Hadoop YARN. Addison-Wesley.
# Spark Core Programming. TutorialsPoint, 2015.
# Dario Simonassi, Gabriel Eisbruch, Jonathan Leibiusky. Getting Started with Storm. O’Reilly.
# Edward Capriolo, Dean Wampler, and Jason Rutherglen. Programming Hive. O’Reilly.
# Lars George. HBase: The Definitive Guide. O’Reilly.
# Eben Hewitt. Cassandra: The Definitive Guide. O’Reilly.

ОАБМД-2025

2025-07-27T19:48:57Z

VeLKerr: /* Домашние задания */

= О курсе =
* Курс "Обработка и анализ больших массивов данных" (Processing and analysis of large data sets) читается для студентов 2-го курса магистратуры [https://cs.hse.ru ФКН ВШЭ] в 1-2 модулях.
* Форма контроля: экзамен, выставляется по накопу.
== Команда курса ==
* Преподаватель: Ивченко Олег (основной), Затикян Изабелла (модуль по Airflow).
* Ассистенты: '''TBD'''

= Важные ссылки =
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=0&single=true План курса]
* [https://t.me/+Gp-TPCunPDxiNTUy Чат курса]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=1360422414&single=true '''Таблица с оценками''']
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/materials Коды семинаров] (доступ только после регистрации на gitlab.atp-fivt.org)
* [https://drive.google.com/drive/folders/1qaElablB5ER1y07xXkPXfQcHIxzdfGZB?usp=sharing Слайды презентаций]

= Формы контроля =
Курс предполагает 3 формы контроля:
* Домашние задания: 9 баллов
* Тесты: 2 балла
* Бонусы: 1,5 балла

Итоговая оценка вычисляется по принципу ''MIN(ДЗ+Тесты+бонусы, 10)''.
== Домашние задания ==
* [https://gitlab.atp-fivt.org/hse/palds-2025/-/tree/master/homeworks Условия домашек] (доступ только после регистрации на gitlab.atp-fivt.org)
* [ Инструкция по работе с тестирующей системой] '''TBD'''
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=106688933&single=true Статус проверки домашек]
На курсе 6 домашних заданий, из которых 2 блокирующие. Все ДЗ ''кроме последней'' сдаются в 2 этапа:
* Прохождение CI-тестов
* Code review
По каждой домашке существуют дедлайны. До дедлайна важно пройти '''1й этап''' сдачи.
* После мягкого дедлайна оценка снижается на 50%.
* После жесткого дедлайна сдавать можно только блокирующие ДЗ с оценкой не выше 25%.

== Тесты ==
Состоится 6 контрольных, которые будут проводиться с помощью Google форм и системы прокторинга http://exams.mipt.ru/. По [https://drive.google.com/file/d/1n0iR-IaPnT4EeEEUCksODQnjl34L8Xlc/view?usp=sharing ссылке] доступна инструкция пользователя. На контрольных нельзя пользоваться IDE и интернетом. Код писать не потребуется.

{| class="wikitable"
|-
! Название события на http://exams.mipt.ru/
! Дата
! Длительность
|-
| МИСОБОД - 2025. HDFS & MapReduce || '''TBD''' || 15 мин.
|-
| МИСОБОД - 2025. SQL over BigData || '''TBD'''|| 15 мин.
|-
| МиСОБОД - 2025. Spark || '''TBD''' || 10 мин.
|-
| МиСОБОД - 2025. Spark streaming, Kafka & NoSQL || '''TBD''' || 20 мин.
|-
| МиСОБОД - 2025. Векторные часы || '''TBD''' || 10 мин.
|-
| МиСОБОД - 2025. Финальный тест || '''TBD'''|| 15 мин.
|}

В случае если вы не сможете написать КР в указанную дату по технической или другой уважительной причине, просьба заполнить [https://docs.google.com/forms/d/e/1FAIpQLSfai8J2r5vuq0LxuwDjHj3jQnMZDFuqwAvr164vKbdlMmzEdg/viewform?usp=dialog '''форму на дописывание''']. Дописывание состоится '''TBD''' во время занятия.

== Бонусы ==
Бонус начисляется за:
* активное участие в семинарах,
* помощь коллегам в чате курса.
Возможно получить до 1,5 баллов. Количество студентов, которым может быть начислен бонус, неограничено.

= Список рекомендуемых материалов =
=== Основная литература ===
# Tom White, Hadoop: The Definitive Guide, 4th Edition Storage and Analysis at Internet Scale, Publisher: O'Reilly, Media Release Date: April 2015
# Karau, H., Konwinski, A., Wendell, P., & Zaharia, M, Learning Spark: Lightning-Fast Big Data Analysis
# Holden Karau et al. Learning Spark. Lightning-fast Data Analytics. Preview Edition. O’Reilly, 2015.
=== Дополнительная литература ===
# Chuck Lam. Hadoop in Action. New York: Manning Publications co.
# Alex Holmes , "Hadoop in Practice"
# Martin Fowler, "NoSQL"
# Eric Redmond, Jim R. Wilson, "Seven Databases in Seven Weeks"
# Jonathan Leibiusky, "Getting Started with Storm"
# Donald Miner, Adam Shook. MapReduce Design Patterns. O’Reilly.
# Arun C. Murthy et al. Apache Hadoop YARN. Addison-Wesley.
# Spark Core Programming. TutorialsPoint, 2015.
# Dario Simonassi, Gabriel Eisbruch, Jonathan Leibiusky. Getting Started with Storm. O’Reilly.
# Edward Capriolo, Dean Wampler, and Jason Rutherglen. Programming Hive. O’Reilly.
# Lars George. HBase: The Definitive Guide. O’Reilly.
# Eben Hewitt. Cassandra: The Definitive Guide. O’Reilly.

ОАБМД-2025

2025-07-27T19:48:30Z

VeLKerr: /* Важные ссылки */

ОАБМД-2025

2025-07-27T19:47:56Z

VeLKerr: /* Домашние задания */

ОАБМД-2025

2025-07-27T19:46:10Z

VeLKerr: /* Важные ссылки */

ОАБМД-2025

2025-07-27T19:37:06Z

VeLKerr: /* О курсе */

ОАБМД-2025

2025-07-27T19:17:10Z

VeLKerr: /* О курсе */

= О курсе =
* Курс "Обработка и анализ больших массивов данных" читается для студентов 2-го курса магистратуры [https://cs.hse.ru ФКН ВШЭ] в 1-2 модулях.
* Форма контроля: экзамен, выставляется по накопу.
== Команда курса ==
* Преподаватель: Ивченко Олег (основной), Затикян Изабелла (модуль по Airflow).
* Ассистенты: '''TBD'''

= Важные ссылки =
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=0&single=true План курса]
* [https://t.me/+Gp-TPCunPDxiNTUy Чат курса]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=1360422414&single=true '''Таблица с оценками''']
* [ Коды семинаров] '''TBD'''
* [https://drive.google.com/drive/folders/1qaElablB5ER1y07xXkPXfQcHIxzdfGZB?usp=sharing Слайды презентаций]

= Формы контроля =
Курс предполагает 3 формы контроля:
* Домашние задания: 9 баллов
* Тесты: 2 балла
* Бонусы: 1,5 балла

Итоговая оценка вычисляется по принципу ''MIN(ДЗ+Тесты+бонусы, 10)''.
== Домашние задания ==
* [ Условия домашек] '''TBD'''
* [ Инструкция по работе с тестирующей системой] '''TBD'''
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vS-d6xvT0354Jvsp_YvOGIejJ8-yPuw6ChNeS6LjFlPmUhTUIFqIcAbYuRi5LtN1YQDkQmy2E-3i2iG/pubhtml?gid=106688933&single=true Статус проверки домашек]
На курсе 6 домашних заданий, из которых 2 блокирующие. Все ДЗ ''кроме последней'' сдаются в 2 этапа:
* Прохождение CI-тестов
* Code review
По каждой домашке существуют дедлайны. До дедлайна важно пройти '''1й этап''' сдачи.
* После мягкого дедлайна оценка снижается на 50%.
* После жесткого дедлайна сдавать можно только блокирующие ДЗ с оценкой не выше 25%.

== Тесты ==
Состоится 6 контрольных, которые будут проводиться с помощью Google форм и системы прокторинга http://exams.mipt.ru/. По [https://drive.google.com/file/d/1n0iR-IaPnT4EeEEUCksODQnjl34L8Xlc/view?usp=sharing ссылке] доступна инструкция пользователя. На контрольных нельзя пользоваться IDE и интернетом. Код писать не потребуется.

{| class="wikitable"
|-
! Название события на http://exams.mipt.ru/
! Дата
! Длительность
|-
| МИСОБОД - 2025. HDFS & MapReduce || '''TBD''' || 15 мин.
|-
| МИСОБОД - 2025. SQL over BigData || '''TBD'''|| 15 мин.
|-
| МиСОБОД - 2025. Spark || '''TBD''' || 10 мин.
|-
| МиСОБОД - 2025. Spark streaming, Kafka & NoSQL || '''TBD''' || 20 мин.
|-
| МиСОБОД - 2025. Векторные часы || '''TBD''' || 10 мин.
|-
| МиСОБОД - 2025. Финальный тест || '''TBD'''|| 15 мин.
|}

В случае если вы не сможете написать КР в указанную дату по технической или другой уважительной причине, просьба заполнить [https://docs.google.com/forms/d/e/1FAIpQLSfai8J2r5vuq0LxuwDjHj3jQnMZDFuqwAvr164vKbdlMmzEdg/viewform?usp=dialog '''форму на дописывание''']. Дописывание состоится '''TBD''' во время занятия.

== Бонусы ==
Бонус начисляется за:
* активное участие в семинарах,
* помощь коллегам в чате курса.
Возможно получить до 1,5 баллов. Количество студентов, которым может быть начислен бонус, неограничено.

= Список рекомендуемых материалов =
=== Основная литература ===
# Tom White, Hadoop: The Definitive Guide, 4th Edition Storage and Analysis at Internet Scale, Publisher: O'Reilly, Media Release Date: April 2015
# Karau, H., Konwinski, A., Wendell, P., & Zaharia, M, Learning Spark: Lightning-Fast Big Data Analysis
# Holden Karau et al. Learning Spark. Lightning-fast Data Analytics. Preview Edition. O’Reilly, 2015.
=== Дополнительная литература ===
# Chuck Lam. Hadoop in Action. New York: Manning Publications co.
# Alex Holmes , "Hadoop in Practice"
# Martin Fowler, "NoSQL"
# Eric Redmond, Jim R. Wilson, "Seven Databases in Seven Weeks"
# Jonathan Leibiusky, "Getting Started with Storm"
# Donald Miner, Adam Shook. MapReduce Design Patterns. O’Reilly.
# Arun C. Murthy et al. Apache Hadoop YARN. Addison-Wesley.
# Spark Core Programming. TutorialsPoint, 2015.
# Dario Simonassi, Gabriel Eisbruch, Jonathan Leibiusky. Getting Started with Storm. O’Reilly.
# Edward Capriolo, Dean Wampler, and Jason Rutherglen. Programming Hive. O’Reilly.
# Lars George. HBase: The Definitive Guide. O’Reilly.
# Eben Hewitt. Cassandra: The Definitive Guide. O’Reilly.