ОАБМД-2025

О курсе

• Курс "Обработка и анализ больших массивов данных" (Processing and analysis of large data sets) читается для студентов 2-го курса магистратуры ФКН ВШЭ в 1-2 модулях.
• Форма контроля: экзамен, выставляется по накопу.

Команда курса

• Преподаватель: Ивченко Олег
• Ассистенты:
  • Павлов Дмитрий Александрович (Яндекс)
  • Струнова Анастасия Сергеевна (Т-Банк)
  • Чавдарь Дмитрий
  • Амбарян Рудольф Андраникович (Яндекс)
  • Наумов Владислав Олегович (AI VK)
  • Стешенко Александр Владимирович (Яндекс)
  • Кочурова Ирина Дмитриевна (ИПМ РАН им. М.В. Келдыша)
  • Шукла Ритупарн (Сбер)
  • Сахаров Александр Александрович (Ozon)
  • Тельбаева Таншолпан (Innoforce group, Казахстан)
  • Иванов Дмитрий Александрович (Luzin Research Institute, (Huawei))

Важные ссылки

• План курса
• Чат курса
• Таблица с оценками
• Коды семинаров (доступ только после регистрации на gitlab.atp-fivt.org)
• Слайды презентаций

Формы контроля

Курс предполагает 3 формы контроля:

• Домашние задания: 9 баллов. Расчет: (сумма баллов за каждую ДЗ) / 2.
• Тесты: 2 балла. Расчет: (баллы за тесты * их веса) / 6.
• Бонусы: 1,5 балла. Расчет: бонус / 10.

Итоговая оценка вычисляется по принципу: ЕСЛИ(блокирущие != 0, ТО MIN((ДЗ + Тесты + Бонус) / 10; 10), ИНАЧЕ 0).

Домашние задания

• Условия домашек (доступ только после регистрации на gitlab.atp-fivt.org)
• Инструкция по работе с тестирующей системой
• Статус проверки домашек

На курсе 6 домашних заданий, из которых 2 блокирующие. Все ДЗ кроме последней сдаются в 2 этапа:

• Прохождение CI-тестов
• Code review

По каждой домашке существуют дедлайны. До дедлайна важно пройти 1й этап сдачи.

• После мягкого дедлайна оценка снижается на 50%.
• После жесткого дедлайна сдавать можно только блокирующие ДЗ с оценкой не выше 25%.
• Окончательный дедлайн, после которого не принимаем уже ничего: 8.01.2026, 23:59.

Тесты

Состоится 6 контрольных, которые будут проводиться с помощью Google форм. Помимо Google форм, на контрольных будет использована система прокторинга http://exams.mipt.ru/. По ссылке доступна инструкция пользователя. Желательно зарегистрироваться в системе прокторинга заранее, во время теста зарегистрироваться будет технически невозможно. На контрольных нельзя пользоваться IDE и интернетом. Код писать не потребуется.

Название КР	Дата	Длительность
ОАБМД - 2025. HDFS & MapReduce	19.10.2025, 18:00	15 мин.
ОАБМД - 2025. SQL over BigData	15.11.2025, 16:00	15 мин.
ОАБМД - 2025. Spark	22.11.2025, 16:00	10 мин.
ОАБМД - 2025. Векторные часы	29.11.2025, 16:00	10 мин.
ОАБМД - 2025. Spark streaming, Kafka & NoSQL	13.12.2025, 16:00	20 мин.
ОАБМД - 2025. Финальный тест	20.12.2025, 17:00	15 мин.

В случае если вы не сможете написать КР в указанную дату по технической или другой уважительной причине, просьба заполнить форму на дописывание. Дописывание состоится 20.12.2025 после последнего занятия. По ссылке доступен список студентов, допущенных к дописыванию.

Бонусы

Бонус начисляется за:

• активное участие в семинарах,
• помощь коллегам в чате курса.

Возможно получить до 1,5 баллов. Количество студентов, которым может быть начислен бонус, неограничено.

Пересдачи

К пересдаче допускаются только те студенты, которые на момент 15.01 в личном кабинете имеют оценку < 4.

Домашки

Можно сдавать только новые домашки, а не исправлять старые. Все дедлайны снимаются, т.е. новые домашки можно сдать на полный балл.

Дедлайны общие для всех домашек:

• 1я пересдача 23.01, 23:59,
• 2я пересдача 06.02, 23:59.

Бонусы и тесты

В рамках пересдачи доступно получение баллов только за домашки. Заработать бонус (помимо тех, что уже набрали в семестре) и написать тесты нельзя.

Список рекомендуемых материалов

Основная литература

1. Tom White, Hadoop: The Definitive Guide, 4th Edition Storage and Analysis at Internet Scale, Publisher: O'Reilly, Media Release Date: April 2015
2. Karau, H., Konwinski, A., Wendell, P., & Zaharia, M, Learning Spark: Lightning-Fast Big Data Analysis
3. Holden Karau et al. Learning Spark. Lightning-fast Data Analytics. Preview Edition. O’Reilly, 2015.

Дополнительная литература

1. Chuck Lam. Hadoop in Action. New York: Manning Publications co.
2. Alex Holmes , "Hadoop in Practice"
3. Martin Fowler, "NoSQL"
4. Eric Redmond, Jim R. Wilson, "Seven Databases in Seven Weeks"
5. Jonathan Leibiusky, "Getting Started with Storm"
6. Donald Miner, Adam Shook. MapReduce Design Patterns. O’Reilly.
7. Arun C. Murthy et al. Apache Hadoop YARN. Addison-Wesley.
8. Spark Core Programming. TutorialsPoint, 2015.
9. Dario Simonassi, Gabriel Eisbruch, Jonathan Leibiusky. Getting Started with Storm. O’Reilly.
10. Edward Capriolo, Dean Wampler, and Jason Rutherglen. Programming Hive. O’Reilly.
11. Lars George. HBase: The Definitive Guide. O’Reilly.
12. Eben Hewitt. Cassandra: The Definitive Guide. O’Reilly.