Wiki - Факультет компьютерных наук - Вклад [ru]

НИС Распределенные системы (4 курс, 2018)

2019-01-30T11:11:54Z

Sandello:

== Информация про семинар ==
В рамках научно-исследовательского семинара по распределенным системам изучаются основные понятия, принципы и результаты предметной области.

Контакты: [mailto:sandello@gmail.com Пузыревский Иван Витальевич]

Рабочая таблица: https://docs.google.com/spreadsheets/d/1zvAqjpLXExVKFC5dHbnvWVJLNseUYKXKu5e0wSrvwUQ/edit?usp=sharing

Оценка за НИС формируется из:
# Выполненное практическое задание по BlockChain ( должно скоро появиться :) ) -- 4 балла за задание
# Доклад (один или более) на семинаре -- 3 балла за один доклад
# Рецензия (одна или более) -- 3 балла за одну рецензию

== Доклад ==

Доклад предполагает выступление о научной статье, связанной с распределенными системами. В докладе надо надо изложить постановку задачи, предлагаемые авторами статьи подходы к ее решению, полученные результаты и их краткий анализ. Можно выбрать статью из списка ниже или предложить свою статью, например связанную с темой курсовой.

Продолжительность доклада ограничена 20 минутами. После доклада отводится 5 минут на вопросы слушателей. На одном занятии проводится до 3 докладов.

Расписание докладов доступно в таблице по ссылке: https://docs.google.com/spreadsheets/d/1zvAqjpLXExVKFC5dHbnvWVJLNseUYKXKu5e0wSrvwUQ/edit?usp=sharing.

Студентам предлагается самостоятельно выбрать тему и дату выступления. В случае, если за неделю до занятия есть свободные слоты в расписании, они заполняются случайно выбранными студентами из числа тех, кто еще не делал доклад или не выбрал дату выступления. У таких студентов есть сутки, чтобы выбрать и согласовать тему доклада, в противном случае ее выбирает преподаватель.

== Рецензия ==

Рецензия подразумевает самостоятельное изучения научной статьи и написание краткого обзора статьи. Формат задания аналогичен прошлогоднему.

Что такое рецензия: это текст на 1-2 страницы, резюмирующий основные результаты работы, их отличительные характеристики и важные идеи. Если в статье описывается некоторая система -- то в рецензии стоит кратко определить (без воды) решаемую задачу, архитектуру системы, интерфейсы, протоколы. Если в статье описывается алгоритм -- важные технические характеристики (время работы, память, количество сообщений, и т. д.) и ключевые идеи. Если в статье описывается исследование -- то предмет исследования, методологию и выводы из исследования. Также, чтобы рецензия не была простым пересказом, вам '''обязательно''' в конце рецензии необходимо добавить собственный оценочный блок:
* '''как минимум''' три комментария по упомянутым в статье требованиям (условиям окружения, ограничениям на класс решений, предпосылкам, желаемым гарантиям системы, etc); каждый комментарий -- это цитата автора, определяющая требования + аргументация, почему требование неактуально / ослаблено / невыполнимо в других условиях. К примеру: "в работе авторы пишут: "так как мы планируем запускать протокол поверх SMS-сообщений, то ограничим длину каждого сообщения протокола 80 символами"; -> в настоящий момент меньше приложений используют SMS, предпочитая месседжеры".
* '''как минимум''' три комментария по принятым авторами дизайн-решениям в вопросах, допускающих альтернативные решения; каждый комментарий -- это краткая суть решаемой проблемы + описание принятого решения. К примеру: "авторы работы для валидации целостности контента сообщения используют чексумму, и дополнительно указывают отправителя в заголовке для аутентификации; возможно, более надежно было бы рассмотреть использование HMAC как альтернативы для одновременного контроля целостности и аутентификации".
Цель данного задания -- научиться видеть требования и граничные условия, во многом обуславливающие принимаемые авторами работы решения, а также уметь генерировать альтернативные варианты решения задач.

Для сдачи рецензии необходимо записаться в табличку -- https://docs.google.com/spreadsheets/d/1zvAqjpLXExVKFC5dHbnvWVJLNseUYKXKu5e0wSrvwUQ/edit?usp=sharing -- и прислать до окончания курса на почту sandello@gmail.com письмо с темой "НИС РС 155 - Рецензия - Фамилия Имя".

== Список статей для докладов и рецензирования ==

# Ghemawat S., Gobioff H., Leung S.T. The Google File System // ACM Symposium on Operating Systems Principles (SOSP), 2003.
# Dean J., Ghemawat S. MapReduce: simplified data processing on large clusters // USENIX Symposium on Operating System Design and Implementation (OSDI), 2004.
# Hayashibara N. et al. The φ accrual failure detector // Japan Advanced Institute of Science and Technology, School of Information Science, Technical Report IS-RR-2004-010, 2004.
# Van Renesse R., Schneider F. B. Chain Replication for Supporting High Throughput and Availability // USENIX Symposium on Operating System Design and Implementation (OSDI), 2004.
# Lamport L. Fast paxos //Distributed Computing. – 2006. – Т. 19. – №. 2. – С. 79-103.
# Chang F. et al. Bigtable: A distributed storage system for structured data // USENIX Symposium on Operating System Design and Implementation (OSDI), 2006.
# Mazieres D. Paxos made practical. Technical Report, Stanford University, 2007.
# Chandra T. D., Griesemer R., Redstone J. Paxos made live: an engineering perspective //Proceedings of the twenty-sixth annual ACM symposium on Principles of distributed computing. – ACM, 2007. – С. 398-407.
# Isard M. et al. Dryad: distributed data-parallel programs from sequential building blocks //ACM SIGOPS operating systems review. – ACM, 2007. – Т. 41. – №. 3. – С. 59-72.
# DeCandia G. et al. Dynamo: Amazon's highly available key-value store // ACM Symposium on Operating Systems Principles (SOSP), 2007.
# Cooper B. F. et al. PNUTS: Yahoo!'s hosted data serving platform // International Conference on Very Large Data Bases (VLDB), 2008.
# Isard M. et al. Quincy: fair scheduling for distributed computing clusters //Proceedings of the ACM SIGOPS 22nd symposium on Operating systems principles. – ACM, 2009. – С. 261-276.
# Van Renesse R., Minsky Y., Hayden M. A gossip-style failure detection service //Proceedings of the IFIP International Conference on Distributed Systems Platforms and Open Distributed Processing. – Springer-Verlag, 2009. – С. 55-70.
# Helland P., Campbell D. Building on quicksand // Conference on Innovative Data Systems Research (CIDR), January 2009.
# Malewicz G. et al. Pregel: a system for large-scale graph processing // ACM International Conference on Management of Data (SIGMOD), 2010.
# Hunt P. et al. ZooKeeper: Wait-free Coordination for Internet-scale Systems //USENIX annual technical conference. – 2010. – Т. 8. – №. 9.
# Lakshman A., Malik P. Cassandra: a decentralized structured storage system //ACM SIGOPS Operating Systems Review. – 2010. – Т. 44. – №. 2. – С. 35-40.
# Anderson E. et al. What consistency does your key-value store actually provide? // HotDep, 2010.
# Terry D. Replicated data consistency explained through baseball // Microsoft Research, Technical Report MSR-TR-2011-137, 2011.
# Junqueira F. P., Reed B. C., Serafini M. Zab: High-performance broadcast for primary-backup systems //Dependable Systems & Networks (DSN), 2011 IEEE/IFIP 41st International Conference on. – IEEE, 2011. – С. 245-256.
# Shapiro M. et al. Conflict-free replicated data types // Symposium on Self-Stabilizing Systems, 2011.
# Rao J., Shekita E. J., Tata S. Using paxos to build a scalable, consistent, and highly available datastore //Proceedings of the VLDB Endowment. – 2011. – Т. 4. – №. 4. – С. 243-254.
# Calder B. et al. Windows Azure Storage: a highly available cloud storage service with strong consistency // ACM Symposium on Operating Systems Principles (SOSP), 2011.
# Leners J. B. et al. Detecting failures in distributed systems with the falcon spy network //Proceedings of the Twenty-Third ACM Symposium on Operating Systems Principles. – ACM, 2011. – С. 279-294.
# Corbett J. C. et al. Spanner: Google’s globally distributed database // USENIX Symposium on Operating System Design and Implementation (OSDI), 2012.
# Liskov B., Cowling J. Viewstamped replication revisited. Massachusetts Institute of Technology, Tech Report MIT-CSAIL-TR-2012-021, 2012.
# Bronson N. et al. TAO: Facebook's Distributed Data Store for the Social Graph // USENIX Annual Technical Conference, 2013.
# Murray D. G. et al. Naiad: a timely dataflow system // Proceedings of the Twenty-Fourth ACM Symposium on Operating Systems Principles. – ACM, 2013. – С. 439-455.
# Schwarzkopf M. et al. Omega: flexible, scalable schedulers for large compute clusters //Proceedings of the 8th ACM European Conference on Computer Systems. – ACM, 2013. – С. 351-364.
# Ongaro D., Ousterhout J. K. In search of an understandable consensus algorithm // USENIX Annual Technical Conference, 2014.
# Bernstein P. A. et al. Orleans: Distributed virtual actors for programmability and scalability // Microsoft Research Technical Report MSR-TR-2014-41, 2014.
# Verma A. et al. Large-scale cluster management at Google with Borg // European Conference on Computer Systems (EuroSys), 2015.
# Lu H. et al. Existential consistency: measuring and understanding consistency at Facebook // ACM Symposium on Operating Systems Principles (SOSP), 2015.
# Howard H. et al. Raft refloated: do we have consensus? // ACM SIGOPS Operating Systems Review. – 2015. – Т. 49. – №. 1. – С. 12-21.
# Van Renesse R., Altinbuken D. Paxos made moderately complex //ACM Computing Surveys (CSUR). – 2015. – Т. 47. – №. 3. – С. 42.
# Burckhardt S. et al. Global sequence protocol: A robust abstraction for replicated shared state // LIPIcs-Leibniz International Proceedings in Informatics. – Schloss Dagstuhl-Leibniz-Zentrum fuer Informatik, 2015. – Т. 37.

НИС Распределенные системы (4 курс, 2018)

2019-01-30T11:11:11Z

Sandello:

== Информация про семинар ==
В рамках научно-исследовательского семинара по распределенным системам изучаются основные понятия, принципы и результаты предметной области.

Контакты: [mailto:sandello@gmail.com Пузыревский Иван Витальевич]

Рабочая таблица: https://docs.google.com/spreadsheets/d/1zvAqjpLXExVKFC5dHbnvWVJLNseUYKXKu5e0wSrvwUQ/edit?usp=sharing

Оценка за НИС формируется из двух компонент:
1. Выполненное практическое задание (должно скоро появиться ;) -- 4 балла за задание
2. Доклад (один или более) на семинаре -- 3 балла за один доклад
3. Рецензия (одна или более) -- 3 балла за одну рецензию

== Доклад ==

Доклад предполагает выступление о научной статье, связанной с распределенными системами. В докладе надо надо изложить постановку задачи, предлагаемые авторами статьи подходы к ее решению, полученные результаты и их краткий анализ. Можно выбрать статью из списка ниже или предложить свою статью, например связанную с темой курсовой.

Продолжительность доклада ограничена 20 минутами. После доклада отводится 5 минут на вопросы слушателей. На одном занятии проводится до 3 докладов.

Расписание докладов доступно в таблице по ссылке: https://docs.google.com/spreadsheets/d/1zvAqjpLXExVKFC5dHbnvWVJLNseUYKXKu5e0wSrvwUQ/edit?usp=sharing.

Студентам предлагается самостоятельно выбрать тему и дату выступления. В случае, если за неделю до занятия есть свободные слоты в расписании, они заполняются случайно выбранными студентами из числа тех, кто еще не делал доклад или не выбрал дату выступления. У таких студентов есть сутки, чтобы выбрать и согласовать тему доклада, в противном случае ее выбирает преподаватель.

== Рецензия ==

Рецензия подразумевает самостоятельное изучения научной статьи и написание краткого обзора статьи. Формат задания аналогичен прошлогоднему.

Что такое рецензия: это текст на 1-2 страницы, резюмирующий основные результаты работы, их отличительные характеристики и важные идеи. Если в статье описывается некоторая система -- то в рецензии стоит кратко определить (без воды) решаемую задачу, архитектуру системы, интерфейсы, протоколы. Если в статье описывается алгоритм -- важные технические характеристики (время работы, память, количество сообщений, и т. д.) и ключевые идеи. Если в статье описывается исследование -- то предмет исследования, методологию и выводы из исследования. Также, чтобы рецензия не была простым пересказом, вам '''обязательно''' в конце рецензии необходимо добавить собственный оценочный блок:
* '''как минимум''' три комментария по упомянутым в статье требованиям (условиям окружения, ограничениям на класс решений, предпосылкам, желаемым гарантиям системы, etc); каждый комментарий -- это цитата автора, определяющая требования + аргументация, почему требование неактуально / ослаблено / невыполнимо в других условиях. К примеру: "в работе авторы пишут: "так как мы планируем запускать протокол поверх SMS-сообщений, то ограничим длину каждого сообщения протокола 80 символами"; -> в настоящий момент меньше приложений используют SMS, предпочитая месседжеры".
* '''как минимум''' три комментария по принятым авторами дизайн-решениям в вопросах, допускающих альтернативные решения; каждый комментарий -- это краткая суть решаемой проблемы + описание принятого решения. К примеру: "авторы работы для валидации целостности контента сообщения используют чексумму, и дополнительно указывают отправителя в заголовке для аутентификации; возможно, более надежно было бы рассмотреть использование HMAC как альтернативы для одновременного контроля целостности и аутентификации".
Цель данного задания -- научиться видеть требования и граничные условия, во многом обуславливающие принимаемые авторами работы решения, а также уметь генерировать альтернативные варианты решения задач.

Для сдачи рецензии необходимо записаться в табличку -- https://docs.google.com/spreadsheets/d/1zvAqjpLXExVKFC5dHbnvWVJLNseUYKXKu5e0wSrvwUQ/edit?usp=sharing -- и прислать до окончания курса на почту sandello@gmail.com письмо с темой "НИС РС 155 - Рецензия - Фамилия Имя".

== Список статей для докладов и рецензирования ==

# Ghemawat S., Gobioff H., Leung S.T. The Google File System // ACM Symposium on Operating Systems Principles (SOSP), 2003.
# Dean J., Ghemawat S. MapReduce: simplified data processing on large clusters // USENIX Symposium on Operating System Design and Implementation (OSDI), 2004.
# Hayashibara N. et al. The φ accrual failure detector // Japan Advanced Institute of Science and Technology, School of Information Science, Technical Report IS-RR-2004-010, 2004.
# Van Renesse R., Schneider F. B. Chain Replication for Supporting High Throughput and Availability // USENIX Symposium on Operating System Design and Implementation (OSDI), 2004.
# Lamport L. Fast paxos //Distributed Computing. – 2006. – Т. 19. – №. 2. – С. 79-103.
# Chang F. et al. Bigtable: A distributed storage system for structured data // USENIX Symposium on Operating System Design and Implementation (OSDI), 2006.
# Mazieres D. Paxos made practical. Technical Report, Stanford University, 2007.
# Chandra T. D., Griesemer R., Redstone J. Paxos made live: an engineering perspective //Proceedings of the twenty-sixth annual ACM symposium on Principles of distributed computing. – ACM, 2007. – С. 398-407.
# Isard M. et al. Dryad: distributed data-parallel programs from sequential building blocks //ACM SIGOPS operating systems review. – ACM, 2007. – Т. 41. – №. 3. – С. 59-72.
# DeCandia G. et al. Dynamo: Amazon's highly available key-value store // ACM Symposium on Operating Systems Principles (SOSP), 2007.
# Cooper B. F. et al. PNUTS: Yahoo!'s hosted data serving platform // International Conference on Very Large Data Bases (VLDB), 2008.
# Isard M. et al. Quincy: fair scheduling for distributed computing clusters //Proceedings of the ACM SIGOPS 22nd symposium on Operating systems principles. – ACM, 2009. – С. 261-276.
# Van Renesse R., Minsky Y., Hayden M. A gossip-style failure detection service //Proceedings of the IFIP International Conference on Distributed Systems Platforms and Open Distributed Processing. – Springer-Verlag, 2009. – С. 55-70.
# Helland P., Campbell D. Building on quicksand // Conference on Innovative Data Systems Research (CIDR), January 2009.
# Malewicz G. et al. Pregel: a system for large-scale graph processing // ACM International Conference on Management of Data (SIGMOD), 2010.
# Hunt P. et al. ZooKeeper: Wait-free Coordination for Internet-scale Systems //USENIX annual technical conference. – 2010. – Т. 8. – №. 9.
# Lakshman A., Malik P. Cassandra: a decentralized structured storage system //ACM SIGOPS Operating Systems Review. – 2010. – Т. 44. – №. 2. – С. 35-40.
# Anderson E. et al. What consistency does your key-value store actually provide? // HotDep, 2010.
# Terry D. Replicated data consistency explained through baseball // Microsoft Research, Technical Report MSR-TR-2011-137, 2011.
# Junqueira F. P., Reed B. C., Serafini M. Zab: High-performance broadcast for primary-backup systems //Dependable Systems & Networks (DSN), 2011 IEEE/IFIP 41st International Conference on. – IEEE, 2011. – С. 245-256.
# Shapiro M. et al. Conflict-free replicated data types // Symposium on Self-Stabilizing Systems, 2011.
# Rao J., Shekita E. J., Tata S. Using paxos to build a scalable, consistent, and highly available datastore //Proceedings of the VLDB Endowment. – 2011. – Т. 4. – №. 4. – С. 243-254.
# Calder B. et al. Windows Azure Storage: a highly available cloud storage service with strong consistency // ACM Symposium on Operating Systems Principles (SOSP), 2011.
# Leners J. B. et al. Detecting failures in distributed systems with the falcon spy network //Proceedings of the Twenty-Third ACM Symposium on Operating Systems Principles. – ACM, 2011. – С. 279-294.
# Corbett J. C. et al. Spanner: Google’s globally distributed database // USENIX Symposium on Operating System Design and Implementation (OSDI), 2012.
# Liskov B., Cowling J. Viewstamped replication revisited. Massachusetts Institute of Technology, Tech Report MIT-CSAIL-TR-2012-021, 2012.
# Bronson N. et al. TAO: Facebook's Distributed Data Store for the Social Graph // USENIX Annual Technical Conference, 2013.
# Murray D. G. et al. Naiad: a timely dataflow system // Proceedings of the Twenty-Fourth ACM Symposium on Operating Systems Principles. – ACM, 2013. – С. 439-455.
# Schwarzkopf M. et al. Omega: flexible, scalable schedulers for large compute clusters //Proceedings of the 8th ACM European Conference on Computer Systems. – ACM, 2013. – С. 351-364.
# Ongaro D., Ousterhout J. K. In search of an understandable consensus algorithm // USENIX Annual Technical Conference, 2014.
# Bernstein P. A. et al. Orleans: Distributed virtual actors for programmability and scalability // Microsoft Research Technical Report MSR-TR-2014-41, 2014.
# Verma A. et al. Large-scale cluster management at Google with Borg // European Conference on Computer Systems (EuroSys), 2015.
# Lu H. et al. Existential consistency: measuring and understanding consistency at Facebook // ACM Symposium on Operating Systems Principles (SOSP), 2015.
# Howard H. et al. Raft refloated: do we have consensus? // ACM SIGOPS Operating Systems Review. – 2015. – Т. 49. – №. 1. – С. 12-21.
# Van Renesse R., Altinbuken D. Paxos made moderately complex //ACM Computing Surveys (CSUR). – 2015. – Т. 47. – №. 3. – С. 42.
# Burckhardt S. et al. Global sequence protocol: A robust abstraction for replicated shared state // LIPIcs-Leibniz International Proceedings in Informatics. – Schloss Dagstuhl-Leibniz-Zentrum fuer Informatik, 2015. – Т. 37.

НИС Распределенные системы (4 курс, 2018)

2019-01-30T11:10:59Z

Sandello:

== Информация про семинар ==
В рамках научно-исследовательского семинара по распределенным системам изучаются основные понятия, принципы и результаты предметной области.

Контакты: [mailto:sandello@gmail.com Пузыревский Иван Витальевич]

Рабочая таблица: https://docs.google.com/spreadsheets/d/1zvAqjpLXExVKFC5dHbnvWVJLNseUYKXKu5e0wSrvwUQ/edit?usp=sharing

Оценка за НИС формируется из двух компонент:
1. Выполненное практическое задание (должно скоро появиться ;) -- 4 балла за задание
2. Доклад (один или более) на семинаре -- 3 балла за один доклад
3. Рецензия (одна или более) -- 3 балла за одну рецензию

== Доклад ==

Доклад предполагает выступление о научной статье, связанной с распределенными системами. В докладе надо надо изложить постановку задачи, предлагаемые авторами статьи подходы к ее решению, полученные результаты и их краткий анализ. Можно выбрать статью из списка ниже или предложить свою статью, например связанную с темой курсовой.

Продолжительность доклада ограничена 20 минутами. После доклада отводится 5 минут на вопросы слушателей. На одном занятии проводится до 3 докладов.

Расписание докладов доступно в таблице по ссылке: https://docs.google.com/spreadsheets/d/1zvAqjpLXExVKFC5dHbnvWVJLNseUYKXKu5e0wSrvwUQ/edit?usp=sharing.

Студентам предлагается самостоятельно выбрать тему и дату выступления. В случае, если за неделю до занятия есть свободные слоты в расписании, они заполняются случайно выбранными студентами из числа тех, кто еще не делал доклад или не выбрал дату выступления. У таких студентов есть сутки, чтобы выбрать и согласовать тему доклада, в противном случае ее выбирает преподаватель.

== Рецензия ==

Рецензия подразумевает самостоятельное изучения научной статьи и написание краткого обзора статьи. Формат задания аналогичен прошлогоднему.

Что такое рецензия: это текст на 1-2 страницы, резюмирующий основные результаты работы, их отличительные характеристики и важные идеи. Если в статье описывается некоторая система -- то в рецензии стоит кратко определить (без воды) решаемую задачу, архитектуру системы, интерфейсы, протоколы. Если в статье описывается алгоритм -- важные технические характеристики (время работы, память, количество сообщений, и т. д.) и ключевые идеи. Если в статье описывается исследование -- то предмет исследования, методологию и выводы из исследования. Также, чтобы рецензия не была простым пересказом, вам '''обязательно''' в конце рецензии необходимо добавить собственный оценочный блок:
* '''как минимум''' три комментария по упомянутым в статье требованиям (условиям окружения, ограничениям на класс решений, предпосылкам, желаемым гарантиям системы, etc); каждый комментарий -- это цитата автора, определяющая требования + аргументация, почему требование неактуально / ослаблено / невыполнимо в других условиях. К примеру: "в работе авторы пишут: "так как мы планируем запускать протокол поверх SMS-сообщений, то ограничим длину каждого сообщения протокола 80 символами"; -> в настоящий момент меньше приложений используют SMS, предпочитая месседжеры".
* '''как минимум''' три комментария по принятым авторами дизайн-решениям в вопросах, допускающих альтернативные решения; каждый комментарий -- это краткая суть решаемой проблемы + описание принятого решения. К примеру: "авторы работы для валидации целостности контента сообщения используют чексумму, и дополнительно указывают отправителя в заголовке для аутентификации; возможно, более надежно было бы рассмотреть использование HMAC как альтернативы для одновременного контроля целостности и аутентификации".
Цель данного задания -- научиться видеть требования и граничные условия, во многом обуславливающие принимаемые авторами работы решения, а также уметь генерировать альтернативные варианты решения задач.

Для сдачи рецензии необходимо записаться в табличку -- https://docs.google.com/spreadsheets/d/1zvAqjpLXExVKFC5dHbnvWVJLNseUYKXKu5e0wSrvwUQ/edit?usp=sharing -- и прислать до окончания курса на почту sandello@gmail.com письмо с темой "НИС РС 155 - Рецензия - Фамилия Имя".

=== Список статей для докладов и рецензирования ===

# Ghemawat S., Gobioff H., Leung S.T. The Google File System // ACM Symposium on Operating Systems Principles (SOSP), 2003.
# Dean J., Ghemawat S. MapReduce: simplified data processing on large clusters // USENIX Symposium on Operating System Design and Implementation (OSDI), 2004.
# Hayashibara N. et al. The φ accrual failure detector // Japan Advanced Institute of Science and Technology, School of Information Science, Technical Report IS-RR-2004-010, 2004.
# Van Renesse R., Schneider F. B. Chain Replication for Supporting High Throughput and Availability // USENIX Symposium on Operating System Design and Implementation (OSDI), 2004.
# Lamport L. Fast paxos //Distributed Computing. – 2006. – Т. 19. – №. 2. – С. 79-103.
# Chang F. et al. Bigtable: A distributed storage system for structured data // USENIX Symposium on Operating System Design and Implementation (OSDI), 2006.
# Mazieres D. Paxos made practical. Technical Report, Stanford University, 2007.
# Chandra T. D., Griesemer R., Redstone J. Paxos made live: an engineering perspective //Proceedings of the twenty-sixth annual ACM symposium on Principles of distributed computing. – ACM, 2007. – С. 398-407.
# Isard M. et al. Dryad: distributed data-parallel programs from sequential building blocks //ACM SIGOPS operating systems review. – ACM, 2007. – Т. 41. – №. 3. – С. 59-72.
# DeCandia G. et al. Dynamo: Amazon's highly available key-value store // ACM Symposium on Operating Systems Principles (SOSP), 2007.
# Cooper B. F. et al. PNUTS: Yahoo!'s hosted data serving platform // International Conference on Very Large Data Bases (VLDB), 2008.
# Isard M. et al. Quincy: fair scheduling for distributed computing clusters //Proceedings of the ACM SIGOPS 22nd symposium on Operating systems principles. – ACM, 2009. – С. 261-276.
# Van Renesse R., Minsky Y., Hayden M. A gossip-style failure detection service //Proceedings of the IFIP International Conference on Distributed Systems Platforms and Open Distributed Processing. – Springer-Verlag, 2009. – С. 55-70.
# Helland P., Campbell D. Building on quicksand // Conference on Innovative Data Systems Research (CIDR), January 2009.
# Malewicz G. et al. Pregel: a system for large-scale graph processing // ACM International Conference on Management of Data (SIGMOD), 2010.
# Hunt P. et al. ZooKeeper: Wait-free Coordination for Internet-scale Systems //USENIX annual technical conference. – 2010. – Т. 8. – №. 9.
# Lakshman A., Malik P. Cassandra: a decentralized structured storage system //ACM SIGOPS Operating Systems Review. – 2010. – Т. 44. – №. 2. – С. 35-40.
# Anderson E. et al. What consistency does your key-value store actually provide? // HotDep, 2010.
# Terry D. Replicated data consistency explained through baseball // Microsoft Research, Technical Report MSR-TR-2011-137, 2011.
# Junqueira F. P., Reed B. C., Serafini M. Zab: High-performance broadcast for primary-backup systems //Dependable Systems & Networks (DSN), 2011 IEEE/IFIP 41st International Conference on. – IEEE, 2011. – С. 245-256.
# Shapiro M. et al. Conflict-free replicated data types // Symposium on Self-Stabilizing Systems, 2011.
# Rao J., Shekita E. J., Tata S. Using paxos to build a scalable, consistent, and highly available datastore //Proceedings of the VLDB Endowment. – 2011. – Т. 4. – №. 4. – С. 243-254.
# Calder B. et al. Windows Azure Storage: a highly available cloud storage service with strong consistency // ACM Symposium on Operating Systems Principles (SOSP), 2011.
# Leners J. B. et al. Detecting failures in distributed systems with the falcon spy network //Proceedings of the Twenty-Third ACM Symposium on Operating Systems Principles. – ACM, 2011. – С. 279-294.
# Corbett J. C. et al. Spanner: Google’s globally distributed database // USENIX Symposium on Operating System Design and Implementation (OSDI), 2012.
# Liskov B., Cowling J. Viewstamped replication revisited. Massachusetts Institute of Technology, Tech Report MIT-CSAIL-TR-2012-021, 2012.
# Bronson N. et al. TAO: Facebook's Distributed Data Store for the Social Graph // USENIX Annual Technical Conference, 2013.
# Murray D. G. et al. Naiad: a timely dataflow system // Proceedings of the Twenty-Fourth ACM Symposium on Operating Systems Principles. – ACM, 2013. – С. 439-455.
# Schwarzkopf M. et al. Omega: flexible, scalable schedulers for large compute clusters //Proceedings of the 8th ACM European Conference on Computer Systems. – ACM, 2013. – С. 351-364.
# Ongaro D., Ousterhout J. K. In search of an understandable consensus algorithm // USENIX Annual Technical Conference, 2014.
# Bernstein P. A. et al. Orleans: Distributed virtual actors for programmability and scalability // Microsoft Research Technical Report MSR-TR-2014-41, 2014.
# Verma A. et al. Large-scale cluster management at Google with Borg // European Conference on Computer Systems (EuroSys), 2015.
# Lu H. et al. Existential consistency: measuring and understanding consistency at Facebook // ACM Symposium on Operating Systems Principles (SOSP), 2015.
# Howard H. et al. Raft refloated: do we have consensus? // ACM SIGOPS Operating Systems Review. – 2015. – Т. 49. – №. 1. – С. 12-21.
# Van Renesse R., Altinbuken D. Paxos made moderately complex //ACM Computing Surveys (CSUR). – 2015. – Т. 47. – №. 3. – С. 42.
# Burckhardt S. et al. Global sequence protocol: A robust abstraction for replicated shared state // LIPIcs-Leibniz International Proceedings in Informatics. – Schloss Dagstuhl-Leibniz-Zentrum fuer Informatik, 2015. – Т. 37.

НИС Распределенные системы (4 курс, 2018)

2019-01-30T11:03:27Z

Sandello: /* Информация про семинар */

== Информация про семинар ==
В рамках научно-исследовательского семинара по распределенным системам изучаются основные понятия, принципы и результаты предметной области.

Контакты: [mailto:sandello@gmail.com Пузыревский Иван Витальевич]

Рабочая таблица: https://docs.google.com/spreadsheets/d/1zvAqjpLXExVKFC5dHbnvWVJLNseUYKXKu5e0wSrvwUQ/edit?usp=sharing

Оценка за НИС формируется из двух компонент:
1. Выполненное практическое задание (должно скоро появиться ;) -- 4 балла за задание
2. Доклад (один или более) на семинаре -- 3 балла за один доклад
3. Рецензия (одна или более) -- 3 балла за одну рецензию

== Доклад ==

Требуется выступить с докладом о научной статье, связанной с распределенными системами. В докладе надо надо изложить постановку задачи, предлагаемые авторами статьи подходы к ее решению, полученные результаты и их краткий анализ. Можно выбрать статью из списка ниже или предложить свою статью, например связанную с темой курсовой.

Продолжительность доклада ограничена 20 минутами. После доклада отводится 5 минут на вопросы слушателей. На одном занятии проводится до 3 докладов.

Расписание докладов доступно в таблице по ссылке: https://docs.google.com/spreadsheets/d/1zvAqjpLXExVKFC5dHbnvWVJLNseUYKXKu5e0wSrvwUQ/edit?usp=sharing.

Студентам предлагается самостоятельно выбрать тему и дату выступления. В случае, если за неделю до занятия есть свободные слоты в расписании, они заполняются случайно выбранными студентами из числа тех, кто еще не делал доклад или не выбрал дату выступления. У таких студентов есть сутки, чтобы выбрать и согласовать тему доклада, в противном случае ее выбирает преподаватель.

=== Список статей для докладов ===

# Ghemawat S., Gobioff H., Leung S.T. The Google File System // ACM Symposium on Operating Systems Principles (SOSP), 2003.
# Dean J., Ghemawat S. MapReduce: simplified data processing on large clusters // USENIX Symposium on Operating System Design and Implementation (OSDI), 2004.
# Hayashibara N. et al. The φ accrual failure detector // Japan Advanced Institute of Science and Technology, School of Information Science, Technical Report IS-RR-2004-010, 2004.
# Van Renesse R., Schneider F. B. Chain Replication for Supporting High Throughput and Availability // USENIX Symposium on Operating System Design and Implementation (OSDI), 2004.
# Lamport L. Fast paxos //Distributed Computing. – 2006. – Т. 19. – №. 2. – С. 79-103.
# Chang F. et al. Bigtable: A distributed storage system for structured data // USENIX Symposium on Operating System Design and Implementation (OSDI), 2006.
# Mazieres D. Paxos made practical. Technical Report, Stanford University, 2007.
# Chandra T. D., Griesemer R., Redstone J. Paxos made live: an engineering perspective //Proceedings of the twenty-sixth annual ACM symposium on Principles of distributed computing. – ACM, 2007. – С. 398-407.
# Isard M. et al. Dryad: distributed data-parallel programs from sequential building blocks //ACM SIGOPS operating systems review. – ACM, 2007. – Т. 41. – №. 3. – С. 59-72.
# DeCandia G. et al. Dynamo: Amazon's highly available key-value store // ACM Symposium on Operating Systems Principles (SOSP), 2007.
# Cooper B. F. et al. PNUTS: Yahoo!'s hosted data serving platform // International Conference on Very Large Data Bases (VLDB), 2008.
# Isard M. et al. Quincy: fair scheduling for distributed computing clusters //Proceedings of the ACM SIGOPS 22nd symposium on Operating systems principles. – ACM, 2009. – С. 261-276.
# Van Renesse R., Minsky Y., Hayden M. A gossip-style failure detection service //Proceedings of the IFIP International Conference on Distributed Systems Platforms and Open Distributed Processing. – Springer-Verlag, 2009. – С. 55-70.
# Helland P., Campbell D. Building on quicksand // Conference on Innovative Data Systems Research (CIDR), January 2009.
# Malewicz G. et al. Pregel: a system for large-scale graph processing // ACM International Conference on Management of Data (SIGMOD), 2010.
# Hunt P. et al. ZooKeeper: Wait-free Coordination for Internet-scale Systems //USENIX annual technical conference. – 2010. – Т. 8. – №. 9.
# Lakshman A., Malik P. Cassandra: a decentralized structured storage system //ACM SIGOPS Operating Systems Review. – 2010. – Т. 44. – №. 2. – С. 35-40.
# Anderson E. et al. What consistency does your key-value store actually provide? // HotDep, 2010.
# Terry D. Replicated data consistency explained through baseball // Microsoft Research, Technical Report MSR-TR-2011-137, 2011.
# Junqueira F. P., Reed B. C., Serafini M. Zab: High-performance broadcast for primary-backup systems //Dependable Systems & Networks (DSN), 2011 IEEE/IFIP 41st International Conference on. – IEEE, 2011. – С. 245-256.
# Shapiro M. et al. Conflict-free replicated data types // Symposium on Self-Stabilizing Systems, 2011.
# Rao J., Shekita E. J., Tata S. Using paxos to build a scalable, consistent, and highly available datastore //Proceedings of the VLDB Endowment. – 2011. – Т. 4. – №. 4. – С. 243-254.
# Calder B. et al. Windows Azure Storage: a highly available cloud storage service with strong consistency // ACM Symposium on Operating Systems Principles (SOSP), 2011.
# Leners J. B. et al. Detecting failures in distributed systems with the falcon spy network //Proceedings of the Twenty-Third ACM Symposium on Operating Systems Principles. – ACM, 2011. – С. 279-294.
# Corbett J. C. et al. Spanner: Google’s globally distributed database // USENIX Symposium on Operating System Design and Implementation (OSDI), 2012.
# Liskov B., Cowling J. Viewstamped replication revisited. Massachusetts Institute of Technology, Tech Report MIT-CSAIL-TR-2012-021, 2012.
# Bronson N. et al. TAO: Facebook's Distributed Data Store for the Social Graph // USENIX Annual Technical Conference, 2013.
# Murray D. G. et al. Naiad: a timely dataflow system // Proceedings of the Twenty-Fourth ACM Symposium on Operating Systems Principles. – ACM, 2013. – С. 439-455.
# Schwarzkopf M. et al. Omega: flexible, scalable schedulers for large compute clusters //Proceedings of the 8th ACM European Conference on Computer Systems. – ACM, 2013. – С. 351-364.
# Ongaro D., Ousterhout J. K. In search of an understandable consensus algorithm // USENIX Annual Technical Conference, 2014.
# Bernstein P. A. et al. Orleans: Distributed virtual actors for programmability and scalability // Microsoft Research Technical Report MSR-TR-2014-41, 2014.
# Verma A. et al. Large-scale cluster management at Google with Borg // European Conference on Computer Systems (EuroSys), 2015.
# Lu H. et al. Existential consistency: measuring and understanding consistency at Facebook // ACM Symposium on Operating Systems Principles (SOSP), 2015.
# Howard H. et al. Raft refloated: do we have consensus? // ACM SIGOPS Operating Systems Review. – 2015. – Т. 49. – №. 1. – С. 12-21.
# Van Renesse R., Altinbuken D. Paxos made moderately complex //ACM Computing Surveys (CSUR). – 2015. – Т. 47. – №. 3. – С. 42.
# Burckhardt S. et al. Global sequence protocol: A robust abstraction for replicated shared state // LIPIcs-Leibniz International Proceedings in Informatics. – Schloss Dagstuhl-Leibniz-Zentrum fuer Informatik, 2015. – Т. 37.

НИС Распределенные системы (4 курс, 2018)

2019-01-30T10:58:33Z

Sandello:

НИС Распределенные системы (4 курс, 2018)

2019-01-30T10:58:01Z

Sandello:

О факультете

2019-01-30T10:54:55Z

Sandello:

__NOTOC__

= Учебные курсы факультета компьютерных наук=
== Курсы за 2018/19 учебный год ==
{| class="wikitable"
|-
! 1 курс !! 2 курс !! 3 курс !! 4 курс !! майноры и факультативы
|-
|

[[Математический_анализ_на_ПМИ_2018/2019_(пилотный_поток) | Математический анализ на ПМИ (пилотный поток)]]

[[Математический_анализ_на_ПМИ_2018/2019_(основной_поток) | Математический анализ на ПМИ (основной поток)]]

[[Calculus_DSBA_2018/2019 | Calculus I DSBA (ПАД)]]

[[Основы_и_методология_программирования_на_ПМИ_2018/2019_(пилотный_поток) | Основы и методология программирования на ПМИ (пилотный поток)]]

[[Основы_и_методология_программирования_на_ПМИ_2019_(С%2B%2B,_основной_поток) | Основы и методология программирования на ПМИ (С++, основной поток)]]

[[Линейная_алгебра_и_геометрия_на_ПМИ_2018/2019_(пилотный_поток) | Линейная алгебра и геометрия на ПМИ (пилотный поток)]]

[[Линейная_алгебра_и_геометрия_на_ПМИ_2018/2019_(основной_поток) | Линейная алгебра и геометрия на ПМИ (основной поток)]]

[[LAaG_DSBA_2018/2019 | LAaG DSBA]]

[[Дискретная_математика_1_2018/2019 | Дискретная математика-1 на ПМИ]]

[[Discrete Mathematics DSBA |Discrete Mathematics DSBA (ПАД)]]

[[Introduction_to_programming | Introduction to programming DSBA (ПАД)]]

[[Introduction_to_programming_2 | Introduction to programming 2 DSBA (ПАД)]]

[http://hsealgebra19.wikidot.com Алгебра на ПИ]

[[Алгоритмы_и_структуры_данных_2018/2019 | Алгоритмы и структуры данных на ПМИ (основной поток)]]

[[Алгоритмы_и_структуры_данных_2018/2019 (пилотный поток) | Алгоритмы и структуры данных на ПМИ (пилотный поток)]]

||

[http://math-info.hse.ru/s18/t Дифференциальные уравнения]

[[Теория_вероятностей_2018/2019_(основной_поток) | Теория вероятностей на ПМИ (основной поток)]]

[[Теория_вероятностей_2018/2019_(пилотный_поток) | Теория вероятностей на ПМИ (пилотный поток)]]

[[Математический_анализ_2018/2019_(пилотный_поток) | Математический анализ 2 на ПМИ (пилотный поток)]]

[[DM2-pilot2018/2019 | Дискретная математика-2 на ПМИ (пилотный поток)]]

[[DM2-basic2018/2019 | Дискретная математика-2 на ПМИ (основной поток)]]

[[Алгоритмы_и_структуры_данных_2_2018/2019 | Алгоритмы и структуры данных – 2 на ПМИ (основной поток)]]

||

[[Машинное_обучение_1 | Машинное обучение 1 на ПМИ]]

[[Машинное_обучение_2 | Машинное обучение 2 на ПМИ]]

[[Численные_Методы_2018 | Численные методы ]]

[[PDC | Параллельные и распределенные вычисления]]

[[Theory_of_Computing_2018_2019 | Theory of Computing, AMI]]

[[НИС_Машинное_обучение_и_приложения_2018/2019|НИС Машинное обучение и приложения]]

[[Прикладная_статистика_в_машинном_обучении(2018)|Прикладная статистика в машинном обучении]]

[[Безопасность_компьютерных_систем_2018|Безопасность компьютерных систем]]

[[НИС_РС|НИС Распределенные системы]]

[[Основные методы анализа данных]]

[[Теория баз данных]]

[[Непрерывная оптимизация/2019|Непрерывная оптимизация (161-162)]]

[[Непрерывная оптимизация (163-167)]]

[[Сложность вычислений и логика в теоретической информатике]]

[[Data analysis (Software Engineering) 2019|Data analysis]]

||

[[Statistical_learning_theory_2018_2019 | Introduction to statistical learning theory]]

[[Анализ_неструктурированных_данных-2018 |Анализ неструктурированных данных ]]

[[Байесовские_методы_машинного_обучения_2018|Байесовские методы машинного обучения]]

[[НИС_Машинное_обучение_и_приложения_2018/2019|НИС Машинное обучение и приложения]]

[[НИС_Науки_о_данных_2018/2019|НИС Науки о данных]]

[[НИС_Распределенные_системы_(4_курс,_2018)|НИС Распределенные системы]]

[[Теория_Информации_2018/2019|Теория информации]]

[[Безопасность_компьютерных_систем_2018|Безопасность компьютерных систем]]

[[Методы_и_системы_обработки_больших_данных_(осень_2018)|Методы и системы обработки больших данных]]

[[Философия_науки_2018|Философия науки]]

[[Теория баз данных]]

[[ConvAppr19 | Выпуклое программирование и аппроксимационные алгоритмы (ТИ)]]

[[Функциональное программирование 2019 | Функциональное программирование]]

[[A_Theorist's_Toolkit_2018_2019 | A Theorist's Toolkit, AMI]]

||
[[Дополнительные главы теории вероятностей 2019 | Дополнительные главы теории вероятностей 2019]]

[[Введение в программирование (курс майнора) 2018/2019]]

[[dopglavy_DM_1819|Допглавы дискретной математики]]

[[Современные_методы_машинного_обучения_(курс_майнора)_2018/2019 | Современные методы машинного обучения (курс майнора) 2018/2019]]

[[Прикладные_задачи_анализа_данных_(майнор_-_весна_2019) | Прикладные задачи анализа данных (майнор - весна 2019)]]

[[Майнор Интеллектуальный анализ данных/Введение в анализ данных | Введение в анализ данных (курс майнора)]]

[[Функциональный анализ (весна_2019) | Функциональный анализ (весна_2019)]]

||

|}

== Курсы в рамках проекта [https://www.hse.ru/dataculture/ Data Culture]==
=== 2 семестр ===

{| class="wikitable"
|-
! Дисциплина !! Образовательная программа !! Курс !! Модули

|-
| [[Основы программирования на Python весна 2019 матфак|Основы программирования на Python-2]] || Математика || 2-4 курс || 3-4 модули
|-
| [[Цифровая_грамотность_(филология)|Цифровая грамотность]] || Филология || 1 курс || 3-4 модули
|-
| [[Цифровая_грамотность_(ИИ_и_культурология)|Цифровая грамотность]] || История искусств и Культурология || 1 курс || 3-4 модули
|-
| [[Цифровая_грамотность_(ИЯМК_2019)|Цифровая грамотность]] || Иностранные языки и межкультурная коммуникация (ДИЯ) || 1 курс || 3-4 модули
|-
| [[Основы_анализа_и_визуализации_данных_ДИЯ_2019|Анализ и визуализации данных]] || Иностранные языки и межкультурная коммуникация (ДИЯ) || 2 курс || 3-4 модули
|-
| [[Научно-исследовательский_семинар_2019| Научно-исследовательский семинар]] || Политология || 1 курс || 3 модуль
|-
| [[ММО_Политология_201810|Методы машинного обучения]] || Прикладная политология || 1 г.о. || 2-3 модули
|-
| [[Основы_программирования_в_Python_2019|Основы программирования в Python]] || Мировая экономика || 2 курс || 3-4 модули
|-
| [[Программирование_и_компьютерные_инструменты_лингвистического_исследования|Программирование и компьютерные инструменты лингвистического исследования]] || Фундаментальная и компьютерная лингвистика || 1 курс || 1-4 модули
|-
| [[Программирование_(python)_для_лингвистов|Программирование (Python) для лингвистов]] || Фундаментальная и компьютерная лингвистика || 4 курс || 1-3 модули
|-
| [[ПМСАР-1|Автоматизированный сбор больших данных в экономико-социологических исследованиях]] || Прикладные методы социального анализа рынков || 2 г.о. || 3-4 модули
|}

=== 1 семестр ===

{| class="wikitable"
|-
! Дисциплина !! Образовательная программа !! Курс !! Модули

|-
| [[Основы анализа данных в международных отношениях 2018/2019|Основы анализа данных в международных отношениях]] || Международные отношения || 2 курс || 1-2 модули
|-
| [[Introduction_to_Data_Culture_2018-2019|Introduction to Data Culture]] || Программа двух дипломов НИУ ВШЭ и Лондонского университета "Международные отношения" || 1 курс || 2 модуль
|-
| [[Программирование_и_компьютерные_инструменты_лингвистического_исследования|Программирование и компьютерные инструменты лингвистического исследования]] || Фундаментальная и компьютерная лингвистика || 1 курс || 1-4 модули
|-
| [[Цифровая грамотность(востоковедение)|Цифровая грамотность]] || Востоковедение || 1 курс || 1 модуль
|-
| [[Разработка управленческих решений в маркетинге | Разработка управленческих решений в маркетинге]] || Маркетинг и рыночная аналитика || 2 курс || 1-2 модули
|-
| [[Информационные технологии в деятельности юриста_2018-2019| Информационные технологии в деятельности юриста]] || Юриспруденция || 1 курс || 2 модуль
|-
| [[Машинное обучение на матфаке 2018/2019| Машинное обучение]] || Факультет математики || 2-4 курсы || 1-2 модули
|-
| [[ПМСАР-2| Методы анализа больших данных в исследованиях поведения покупателей]] || Прикладные методы социального анализа рынков || 2 г.о. || 1-2 модули
|-
| [[Анализ данных в Python (Политологи 1 семестр 1-2 модули)|Анализ данных в Python]] || Политология || 4 курс || 1-2 модули
|-
| [[Основы анализа и визуализации данных для медиа (Журналисты 1 семестр 1 модуль)|Основы анализа и визуализации данных для медиа]] || Журналистика || 4 курс || 1 модуль
|-
| [[Программирование_(python)_для_лингвистов|Программирование (Python) для лингвистов]] || Фундаментальная и компьютерная лингвистика || 4 курс || 1-3 модули
|-
| [[Введение в анализ текстов на Python для ФГН 2018|Введение в анализ текстов на Python для ФГН 2018]] || Фундаментальная и компьютерная лингвистика || 3 курс || 1, 2, 4 модули
|-
| [[Машинное обучение (ФЭН)]] || Факультет экономических наук || 3-4 курсы || 1-2 модули
|-
| [[Программирование_(python)_для_экономистов|Программирование (Python) для экономистов]] || Факультет экономических наук || 2 курс || 1-2 модули
|-
| [[Цифровая грамотность(философия)|Цифровая грамотность]] || Философия || 1 курс || 1-2 модули
|-
| [[Цифровая_грамотность_(историки)|Цифровая грамотность]] || История || 1 курс || 1-2 модули
|-
| [[Обработка и анализ данных физического эксперимента|Обработка и анализ данных физического эксперимента]] || Физика || 2 курс || 1-2 модули
|-
| [[Статистический анализ в среде R (Социологи 1 семестр 2 модуль)|Статистический анализ в среде R ]] || Социология || 4 курс || 2 модуль
|-
| [[ММО_Политология_201810|Методы машинного обучения]] || Прикладная политология || 1 г.о. || 2-3 модули
|}

= Архив =

== Курсы за 2017/18 учебный год ==
{| class="wikitable"
|-
! 1 курс !! 2 курс !! 3 курс !! 4 курс !! майноры и факультативы
|-
|

[[Математический_анализ_на_ПМИ_2017/2018_(пилотный_поток) | Математический анализ на ПМИ 2017/2018 (пилотный поток)]]

[[Математический_анализ_на_ПМИ_2017/2018_(основной_поток) | Математический анализ на ПМИ 2017/2018 (основной поток)]]

[[Основы_и_методология_программирования_на_ПМИ_2017/2018_(пилотный_поток,_1_модуль) | Основы и методология программирования на ПМИ 2017/2018 (пилотный поток, 1 модуль)]]

[[Основы_и_методология_программирования_на_ПМИ_2017/2018_(основной_поток,_2_модуль) | Основы и методология программирования на ПМИ 2017/2018 (основной поток, 2 модуль)]]

[[Основы_и_методология_программирования_на_ПМИ_2017/2018_(основной_поток,_3_модуль) | Основы и методология программирования на ПМИ 2017/2018 (основной поток, 3 модуль)]]

[[Алгоритмы_и_структуры_данных_на_ПМИ_2017/2018_(основной_поток) | Алгоритмы и структуры данных на ПМИ 2017/2018 (основной поток)]]

[[Линейная_алгебра_и_геометрия_на_ПМИ_2017/2018_(пилотный_поток) | Линейная алгебра и геометрия на ПМИ (пилотный поток)]]

[[Линейная_алгебра_и_геометрия_на_ПМИ_2017/2018_(основной_поток) | Линейная алгебра и геометрия на ПМИ (основной поток)]]

[[Дискретная_математика_1_2017/2018 | Дискретная математика-1 на ПМИ]]

[[Алгоритмы и структуры данных 1 | Алгоритмы и структуры данных – 1 (пилотный поток)]]

[[Алгебра_на_ПМИ_2017/2018 | Алгебра на ПМИ]]

[http://hsealgebra18.wikidot.com Алгебра на ПИ]

||
[[Теория_вероятностей_2017/2018_(основной_поток) | Теория вероятностей на ПМИ (основной поток)]]

[[Теория_вероятностей_2017/2018_(пилотный_поток) | Теория вероятностей на ПМИ (пилотный поток)]]

[[Математический анализ-3 на ПМИ_2017/2018_(основной_поток) | Математический анализ-2 на ПМИ (основной поток)]]

[[Математический анализ на ПМИ_2017/2018 | Математический анализ-3 на ПМИ (пилотный поток)]]

[[DM2-pilot2017/2018 | Дискретная математика-2 на ПМИ (пилотный поток)]]

[[DM_2_2017_2018 | Дискретная математика-2 на ПМИ (основной поток)]]

[[Алгоритмы и структуры данных_2_2017/2018 | Алгоритмы и структуры данных – 2 на ПМИ (основной поток)]]

[[Дифференциальные уравнения (2 курс, 2017/2018)| Дифференциальные уравнения]]

||
[[Машинное_обучение_1/2017_2018 | Машинное обучение 1 на ПМИ]]

[[Машинное_обучение_2/2017_2018 | Машинное обучение 2 на ПМИ]]

[[Численные_методы_2017 | Численные методы]]

[[Statistics of Stochastic Processes|Статистика случайных процессов 2018]]

[[Прикладная_статистика_в_машинном_обучении | Прикладная статистика в машинном обучении]]

[[Theory_of_Computing | Theory of Computing, AMI]]

[[Statistical_learning_theory | Introduction to statistical learning theory]]

[[Основные_методы_анализа_данных_(специализация_АДИС) | Основные методы анализа данных на ПМИ]]

[[Анализ неструктурированных данных]]

[[Безопасность компьютерных систем 2017 | Безопасность компьютерных систем]]

[[НИС_Распределенные_системы_(3_курс,_2017) | НИС Распределенные системы]]

[[НИС_Машинное_обучение_и_приложения_2017/2018 | НИС Машинное обучение и приложения]]

[[Непрерывная_оптимизация | Непрерывная оптимизация]]

[[ Сложность_и_логика| Сложность вычислений и логика в теоретической информатике]]

[[Data_analysis_(Software_Engineering)_2018 | Data Analysis на ПИ]]

[http://telegra.ph/Kurs-Vvedenie-v-OOP-VSHEH-2018-Modul-3-01-30 Введение в ООП]

[http://wiki.cs.hse.ru/Машинное_обучение_на_больших_данных Машинное обучение на больших данных]

[[Дискретная_оптимизация | Дискретная оптимизация]]

||

[[Безопасность компьютерных систем 2017 | Безопасность компьютерных систем]]

[[Философия_науки_2017 | Философия науки]]

[[НИС_Распределенные_системы_(4_курс,_2017) | НИС Распределенные системы]]

[[НИС_Машинное_обучение_и_приложения_2017/2018 | НИС Машинное обучение и приложения]]

[[Анализ неструктурированных данных]]

[[Байесовские методы машинного обучения 2017 | Байесовские методы машинного обучения]]

[[Функциональное программирование 2018 | Функциональное программирование]]

[http://telegra.ph/Kurs-Vvedenie-v-OOP-VSHEH-2018-Modul-3-01-30 Введение в ООП]

||

[[Современные методы машинного обучения (курс майнора) 2017/2018]]

[[Введение в программирование (курс майнора) 2017/2018]]

[[Майнор Интеллектуальный анализ данных/Введение в анализ данных/2017-2018 | Введение в анализ данных (курс майнора)]]

[[Прикладные задачи анализа данных (майнор - весна 2018)]]

[[Маго-лего "Линейная алгебра в приложениях" весна 2018 | Линейная алгебра в приложениях (маго-лего)]]

[[Функциональный анализ 2017/18 | Функциональный анализ на ПМИ (факультатив)]]

[[Дополнительные главы теории вероятностей и математической статистики (факультативы) | Дополнительные главы теории вероятностей и математической статистики (факультативы)]]

[[Дополнительные главы дискретной математики 2017/18 | Дополнительные главы дискретной математики (факультатив)]]

[[Цифровые технологии в гуманитарных науках]]

|}

== Курсы в рамках проекта [https://www.hse.ru/dataculture/ Data Culture]==

=== 2 семестр ===

[[Цифровая_грамотность_2018_(2_семестр)|Цифровая грамотность (факультет гуманитарных наук — 2 семестр: ИЯМК, Филология, История искусств, Культурология, 1 курс)]] 
[[Научно-исследовательский семинар (ФСН) |Научно-исследовательский семинар (ОП "Политология", 1 курс)]] 
[[Introduction_to_Data_Culture|Introduction to Data Culture (HSE and University of London Parallel Degree Programme in International Relations, 1 year)]] 
[[ИИ_и_БД|Искусственный интеллект и большие данные (ОП "Дизайн", "Мода", 1 курс)]] 
[[Программирование_(python)_для_лингвистов|Компьютерная лингвистика и информационные технологии (ОП "Фундаментальная и компьютерная лингвистика", 4 курс, 2 семестр)]] 
[[Основы анализа данных в международных отношениях|Основы анализа данных в международных отношениях (ОП "Международные отношения", 2 курс, 4 модуль)]] 
[[Введение в data science (2_семестр)|Профориентационный семинар (блок по введению в data scicence) (Факультет социальных наук — 2 семестр: Социология, 1 курс)]] 
[[Введение в Data Science| Введение в Data Science (ФБиМ, 4 модуль)]] 

=== 1 семестр ===

[[Цифровая_грамотность|Цифровая грамотность (факультет гуманитарных наук — 1 семестр: История, Философия, 1 курс)]] 
[[Машинное обучение (факультет экономических наук)|Машинное обучение (факультет экономических наук)]] 
[[Программирование (python) для лингвистов | Программирование (python) для лингвистов (факультет гуманитарных наук)]] 
[[Извлечение и анализ интернет-данных | Извлечение и анализ интернет-данных (факультет экономических наук)]] 
[[Анализ больших данных в социальных науках (ФСН, 2017) | Анализ больших данных в социальных науках (ФСН, 2017)]] 
[[Информационные_технологии_в_деятельности_юриста|Информационные технологии в деятельности юриста (Факультет права)]] 
[[Машинное_обучение_для_лингвистов|Машинное обучение (магистратура Школы лингвистики)]] 

== Курсы магистратуры Финансовые технологии и анализ данных ==

[[Вероятностные_модели_и_прикладная_статистика_в_финансовой_математике|Вероятностные модели и прикладная статистика в финансовой математике]]

[[Рекомендательные системы и поиск закономерностей в данных|Рекомендательные системы и поиск закономерностей в данных]]

== Курсы за 2016/17 учебный год ==
{| class="wikitable"
|-
! 1 курс !! 2 курс !! 3-4 курс !! майноры
|-
|

[[Математический анализ на ПМИ_2016/2017 | Математический анализ на ПМИ (пилотный поток)]]

[[Линейная алгебра и геометрия_2016/2017 | Линейная алгебра и геометрия на ПМИ]]

[[Дискретная_математика_1_2016/2017 | Дискретная математика-1 на ПМИ]]

[[Основы и методология программирования_2016/2017_пилотный_поток | Основы и методология программирования на ПМИ (пилотный поток)]]

[[Основы и методология программирования_2016/2017 | Основы и методология программирования на ПМИ (основной поток)]]

[[Алгоритмы_и_структуры_данных_на_ПМИ_(пилотный_поток) | Алгоритмы и структуры данных на ПМИ (пилотный поток)]]

[[Алгоритмы_и_структуры_данных_на_ПМИ_(основной_поток) | Алгоритмы и структуры данных на ПМИ (основной поток)]]

[[Алгебра_на_ПМИ_2016/2017 | Алгебра на ПМИ]]

[http://hsealgebra17.wikidot.com/ Алгебра на ПИ]

||

[[Математический анализ_2016/2017 | Математический анализ-3 на ПМИ (основной поток)]]

[[Математически_анализ_3_на_ПМИ_(пилотный_поток) | Математический анализ-3 на ПМИ (пилотный поток)]]

[[DM_2_2016_2017 | Дискретная математика-2 на ПМИ (основной поток)]]

[[Дискретная математика_2_2016/2017 | Дискретная математика-2 на ПМИ (пилотный поток)]]

[[Алгоритмы и структуры данных_2_2016/2017 | Алгоритмы и структуры данных – 2 на ПМИ (основной поток)]]

[[Теория вероятностей_2016/2017 | Теория вероятностей на ПМИ (основной поток)]]

[[Теория_вероятностей_2016/2017_(пилотный_поток) | Теория вероятностей на ПМИ (пилотный поток)]]

[[Архитектура_компьютеров_и_операционные_системы_2016/2017 | Архитектура компьютеров и операционные системы]]

[[Факультатив_теория_вычислений_2016/2017 | Факультатив теория вычислений на ПМИ]]

[[Дополнительные_главы_теории_вероятностей_(факультатив,_2017) | Дополнительные главы теории вероятностей (факультатив)]]

[[Дифференциальные_уравнения_(2_курс,_2016/2017) | Дифференциальные уравнения]]

[[Математическая_статистика_2016/2017_(пилотный_поток) | Математическая статистика на ПМИ (пилотный поток)]]

[[Архитектура_компьютеров_и_операционные_системы_2016/2017 | Архитектура компьютеров и операционные системы ]]

||

[[НИС_Машинное_обучение_и_приложения_2016/2017 | НИС Машинное обучение и приложения на ПМИ]]

[[Машинное_обучение_1/2016_2017 | Машинное обучение 1 на ПМИ]]

[[Машинное_обучение_2/2016_2017 | Машинное обучение 2 на ПМИ]]

[[Прикладной_статистический_анализ_данных | Прикладной статистический анализ данных на ПМИ]]

[[Численные_методы_в_анализе_данных | Численные методы в анализе данных на ПМИ]]

[http://www.machinelearning.ru/wiki/index.php?title=Статистика_случайных_процессов_(курс_лекций,_ФКН_ВШЭ) Вероятностные модели и статистика случайных процессов на ПМИ]

[http://www.machinelearning.ru/wiki/index.php?title=Opt Методы оптимизации на ПМИ (специализации МОП и РС)]

[[Методы_оптимизации_(весна_2017)|Методы оптимизации 2 (дискретная оптимизация)]]

[[НИС_Распределенные_системы_(осень_2016) | НИС Распределенные системы]]

[[Анализ и верификация алгоритмов биржевой торговли | Анализ и верификация алгоритмов для систем биржевой торговли ]]

[[Программирование_на_графических_процессорах | Программирование на графических процессорах]]

[[ЯРПО | Языки разработки ПО (курс по выбору) на ПМИ]]

[[Data analysis (Software Engineering) 2017 | Data analysis на ПИ]]

[[Базы данных 2 | Базы данных 2 ]]

[[Компьютерные сети 2 | Компьютерные сети 2]]

[[Машинное_обучение_на_больших_данных | Машинное обучение на больших данных на ПМИ]]

||

[[Современные_методы_машинного_обучения_(курс_майнора) | Современные методы машинного обучения (курс майнора)]]

[[Майнор_Интеллектуальный_анализ_данных/Введение_в_программирование_2016/2017 | Введение в программирование (курс майнора)]]

[[Майнор Интеллектуальный анализ данных/Введение в анализ данных/2016-2017 | Введение в анализ данных (курс майнора)]]

[[Майнор Интеллектуальный анализ данных/Прикладные задачи анализа данных| Прикладные задачи анализа данных (курс майнора)]]

|}

{|width=100%
|style="vertical-align:top;"|



=== Курсы за 2015/16 учебный год ===
{|
|-
| [[Технологии программирования|Технологии программирования на ПМИ]]
|-
|[[ОиМП-2015|Основы и методология программирования на ПМИ]]
|-
|[[Алгоритмы и структуры данных 2016]]
|-
|[[Линейная алгебра и геометрия_2015/2016 | Линейная алгебра и геометрия на ПМИ]]
|-
|[[Алгебра_2015/2016 | Алгебра на ПМИ]]
|-
|[http://hsealgebra.wikidot.com/ Алгебра на ПИ]
|-
|[[Компьютерные системы]]
|-
|[[Математический анализ на ПМИ_2015/2016 | Математический анализ на ПМИ]]
|-
|[[Факультатив_Матпрактикум | Матпрактикум (факультатив) на ПМИ]]
|-
|[[Data analysis (Software Engineering)]] 
|-
|[[Майнор Интеллектуальный анализ данных/Введение в программирование|Введение в программирование (курс майнора) на ПМИ]]
|-
|[[Майнор Интеллектуальный анализ данных/Введение в анализ данных/2015-2016|Введение в анализ данных (курс майнора) на ПМИ]]
|-
|[[НИС Машинное обучение и приложения|НИС Машинное обучение и приложения на ПМИ]]
|-
|[[Архитектура компьютеров и системное программирование (ПМИ_4, 2015/2016)|Архитектура компьютеров и системное программирование (4 курс)]]
|-
|[[Дифференциальные уравнения (2 курс, 2015/2016)| Дифференциальные уравнения]]
|-
|[[Введение в VBA|Введение в VBA]]
|}

|style="vertical-align:top;"|



=== Курсы за 2014/15 учебный год ===
{|
|-
|[[Основы и методологии программирования]] 
|-
|[[Алгоритмы и структуры данных 2015 | Алгоритмы и структуры данных]] 
|-
|[[Анализ данных (Программная инженерия)]] 
|-
|[[Алгебра_2014/2015 | Алгебра]] 
|-
|[[Magolego_sna_2015| MAGoLEGO Social Network Analysis]]
|}

==== Проектная работа ====
{|
|-
|[[Проектная работа]] 
|-
|[[Учебная практика 1 курс (2016)]]
|-
|[[Проектная работа 2 курс (2016)]]
|}


|}

== Мероприятия факультета компьютерных наук ==
=== Summer School 2015 ===
[[Introduction to Natural Language Processing|Introduction to Natural Language Processing]]
#[[Lecture 1. Introduction|Introduction]]
#[[Lecture 2. Tokenization and word counts|Tokenization and word counts]]
#[[Lecture 3. POS tagging. Key word and phrase extraction|POS tagging. Key word and phrase extraction]]
#[[Lecture 4. Parsing|Parsing]]
#[[Lecture 5. Language sources|Language sources]]
#[[Lecture 6. Synonyms and near-synonyms detection|Synonyms and near-synonyms detection]]
#[[Lecture 8. Suffix trees for NLP|Suffix trees for NLP]]
#[[NLP References|References]]

== Архив ==
* [[Учебная практика 1 курс (2015)]]

НИС Распределенные системы (4 курс, 2018)

2019-01-30T10:54:21Z

Sandello:

НИС Распределенные системы (4 курс, 2018)

2018-09-19T17:36:52Z

Sandello:

НИС Распределенные системы (4 курс, 2018)

2018-09-19T17:36:08Z

Sandello: Новая страница: «== Информация про семинар == В рамках научно-исследовательского семинара по распределенн…»

НИС Распределенные системы (3 курс, 2017)

== Курсовые работы ==

Ниже приведены описания возможных проектов курсовой работы (напоминаю, что на третьем курсе в качестве курсовой работы засчитывается и [http://wiki.cs.hse.ru/Проектная_работа проектная работа]).

Если вас заинтересовала какая-либо из предложенных тем и вы хотите над ней поработать в рамках вашей курсовой работы, то ваша последовательность действий такая:
# напишите письмо руководителю темы, в копию письма добавьте Пузыревского Ивана (ipuzyrevskiy@hse.ru); укажите, над какой задачей вы хотите поработать; укажите релевантную информацию про вас (публичный github, опыт по теме, что вы сочтете нужным);
# далее, вам нужно с руководителем обсудить задачу и возможность работы над ней; обычно руководитель вам чуть более подробно вам расскажет, что от вас будет требоваться, вы обсудите, насколько реально вам выполнить предлагаемую работу;
# в конечном итоге, вы вместе с руководителем приходите или к положительному решению (вы работаете над оговоренной задачей), или к отрицательному (вам необходимо выбрать другую тему курсовой работы).

=== Рекомендуемые темы проектной работы ===

==== Безопасность ====
По поводу тем курсовых работ на тему информационной безопасности можно обращаться напрямую к [[mailto:gamajun@gmail.com Денису Гамаюнову]]. В рамках командной проектной работы предлагается два проекта:
* http://wiki.cs.hse.ru/Децентрализованный_крипточат_(командный_проект)
* http://wiki.cs.hse.ru/Веб-краулер_для_поиска_уязвимостей_авторизации_(командный_проект)

==== Криптовалюты, блокчейн ====
По поводу курсовых работ на тему криптовалют, блокчейна можно обращаться напрямую к [[Участник:Ryavorsky|Ярославу Яворскому]] для непосредственного обсуждения. Ниже приведены примеры тем, предлагаемых в рамках проектной работы на 2-м курсе.
* http://wiki.cs.hse.ru/Анализ_данных,_хранимых_в_реестрах_криптовалют_(проект)
* http://wiki.cs.hse.ru/Аналитический_сервис_по_новостям_в_сфере_блокчейн_технологий_(проект)
* http://wiki.cs.hse.ru/Тестирование_и_верификация_смарт-контрактов_(проект)
* http://wiki.cs.hse.ru/Разработка_веб_интерфейсов_для_криптовалют_и_смарт-контрактов_(проект)

=== Темы возможных курсовых работ ===

==== ClickHouse (9 тем) ====

'''Руководитель''': [mailto:milovidov@yandex-team.ru Миловидов Алексей]

[https://clickhouse.yandex/ ClickHouse] -- открытая колоночная СУБД, позволяющая выполнять аналитические запросы в интерактивном режиме по данным, обновляемым в реальном времени. ClickHouse разработан в Яндексе для задач Яндекс.Метрики -- второй по величине системы веб-аналитики в мире.

В качестве тем для курсовых работ предлагается следующий набор проектов:
* Использование первичного ключа при ORDER BY monotonic(PK), GROUP BY injective(subset(PK)).
* Поддержка форматов ввода-вывода Parquet и Protobuf.
* Модификаторы WITH ROLLUP и WITH CUBE для GROUP BY.
* Поддержка вычисляемых DEFAULT выражений для полуструктурированных форматов JSONEachRow, TSKV.
* Short-curcuit вычисление некоторых функций.
* Оптимизация простых выражений с помощью генерации LLVM кода.
* Кэширование промежуточных данных конвейера выполнения запроса.
* Оптимизация алгоритма слияний.
* Генератор тестовых данных.

==== Postgres Pro: Автоматизация смены мастера в кластере PostgreSQL, использующем логическую репликацию ====
'''Руководитель''': [mailto:marat.abubekerov@gmail.com Абубекеров Марат]

Есть кластер PostgreSQL с мастером и несколькими репликами. Используется логическая репликация. Требуется разработать приложение, которое в случае выхода мастера из строя автоматически выбирает нового мастера и переключает на него остальные реплики. Допускается зависимость от сторонних приложений, в частности etcd или Consul.

==== Postgres Pro: Приоритезация запросов в РСУБД PostgreSQL ====
'''Руководитель''': [mailto:marat.abubekerov@gmail.com Абубекеров Марат]

Исследовать различные механизмы приоритезации запросов в реляционных базах данных. Реализовать механизм приоритезации з апросов для РСУБД PostgreSQL. Запросы с большим приоритетом выполняются раньше запросов с низким приоритетом. Кроме того, время, выделяемое на выполнение запросов, пропорционально их приоритетам. Например, при одновременном выполнении OLTP и OLAP запросов становится возможно присвоить первым более высокий приоритет, чем вторым. В результате OLTP запросы будут выполняться как можно быстрее, а OLAP запросы будут выполняться в фоне с меньшим приоритетом.

==== Postgres Pro: Разработка механизма ограничения используемых ресурсов в PostgreSQL ====
'''Руководитель''': [mailto:marat.abubekerov@gmail.com Абубекеров Марат]

Исследование механизмов ограничения использования системных ресурсов - времени CPU, оперативной памяти, места на диске, сетевого трафика, и так далее. Реализация механизма ограничения используемых ресурсов по пользователям и сессиям для РСУБД PostgreSQL. Допускается использование сторонних механизмов, в частности cgroups.

==== Postgres Pro: Реализация в модуле pg_trgm поиска по N-граммам с N > 3 ====
'''Руководитель''': [mailto:marat.abubekerov@gmail.com Абубекеров Марат]

Модуль pg_trgm для PostgreSQL позволяет делать индексы по триграммам для нечеткого поиска. К примеру, слово 'молоко' будет разложено на массив триграмм [ мол, оло, лок, око] и если поисковый слово содержит опечатку, то большинство триграмм останется неизменным. Это свойство используется для поиска: можно разложить искомые слова/фразы на триграммы, построить по ним обратный ( инвертированный) индекс и при поиске искать документы с максимальным числом одинаковых триграмм. Такой подход хорошо и быстро работает на словах и небольших фразах.
Однако данный подход не эффективен, если поиск ведется по предложениям. Так как предложение большое, то разных триграмм от каждого документа получается много и поисковый запрос будет пересекаться с очень большим количеством строк в таблице. Чтобы избежать этого, предлагается реализовать поддержку не триграмм, а на N-грамм с N=4,5 и так далее. Тогда разных N-грам ставится экспоненциально больше с ростом N и соответственно вероятность встретить данную N-грамму - меньше, следовательно при поиске требуется проверять на соответствие меньше строк и поиск становится эффективнее.

==== Улучшение симулятора планировщика ресурсов кластера ====

'''Руководитель''': [mailto:ignat@yandex-team.ru Игнатий Игоревич Колесниченко]

В системе [https://habrahabr.ru/company/yandex/blog/311104/ YT] одна из наиболее значимых компонент -- это планировщик вычислений. Именно он отвечает за распределение ресурсов кластера между пользователями с учетом их требований и желаемых гарантий (зачастую, противоречивых). От эффективности работы планировщика зависит общая эффективность работы кластера и удовлетворенность пользователей. Для проведения оффлайн-экспериментов над алгоритмами планировщика был разработан симулятор, использующий "трейс" событий, снятый с реального кластера (запуск вычислений, освобождение вычислительных ресурсов, потеря вычислений в результате сбоя, и др.). Ниже представлены возможные направления для последующих исследований и улучшений данной функциональности.

В текущей версии симулятора известен ряд недоработок, существенно влияющих на качество симуляции. Например, текущий симулятор не учитывает зависимость вычислений между собой (когда выход одного вычисления используется как вход для другого). За счет использования метаинформации (имя пользователя, время начала/окончания вычислений, именование входных/выходных данных) можно было бы восстановить данные зависимости, что позволит существенно улучшить качество симуляции и, соответственно, качество вычисляемых метрик для цепочек вычислений.

==== Формальная спецификация HDFS с использованием TLA+ ====

'''Руководитель''': [mailto:sandello@yandex-team.ru Иван Витальевич Пузыревский]

HDFS (Hadoop Distributed File System) -- распределенная отказоустойчивая файловая система. В данной работе предлагается разработать и проверить формальную спецификацию системы с помощью [http://research.microsoft.com/en-us/um/people/lamport/tla/tla.html TLA+].

==== Фреймворк для изучения, разработки и тестирования распределенных алгоритмов при наличии отказов ====

'''Руководитель''': [mailto:sandello@yandex-team.ru Иван Витальевич Пузыревский]

При анализе и реализации распределенных алгоритмов наиболее сложной частью является обработка отказов, сетевых или процессных. В большинстве языков программирования и в большинстве прикладных библиотек существуют только базовые возможности для тестирования и проверки распределенного алгоритма в условиях сетевых сбоев. В рамках данной работы предлагается минимально интрузивным образом подменить сетевые взаимодействия в сетевых приложениях с целью последующего изучения и изменения характера коммуникации. В первом приближении можно считать, что вся сетевая коммуникация проходит через некоторого "оракула", который определяет факт и порядок доставки сообщений, величину сетевых задержек, корректность данных.

==== Исследование применимости фонтанирующих кодов в сетевых протоколах как альтернатива обратной связи, основанной на потере пакетов ====

'''Руководитель''': [mailto:sandello@yandex-team.ru Иван Витальевич Пузыревский]

Современные сетевые протоколы для оценки эффективной пропускной способности сети опираются на ''сетевые потери'': при переполнении буферов, очереди, или каких-либо других ресурсов во время доставки пакета, последний просто отбрасывается; на оценке доли отброшенных пакетов строится управление трафиком, например, в протоколе TCP. Определение факта потери пакета использует часы (таймауты), что в случае приложений, чувствительных к сетевым задержкам, приводит к всплескам латентности. В рамках данной работы предлагается исследовать возможность применения фонтанирующих кодов ([https://en.wikipedia.org/wiki/Fountain_code wiki]) для обеспечения гарантированной доставки данных в случае сетевых потерь.

==== Имитационное моделирование вычислительных ресурсов и распределенных вычислительных инфраструктур ====

'''Руководитель''': [mailto:oleg.sukhoroslov@gmail.com Олег Викторович Сухорослов]

Имитационное моделирование активно используется в исследованиях распределенных систем, заменяя натурные эксперименты и позволяя воспроизводимым образом сравнивать между собой различные методы (например, алгоритмы планирования задач). В данной работе объектом моделирования являются распределенные вычислительные инфраструктуры, состоящие из нескольких автономных ресурсов различного типа (кластеров, гридов, облаков, персональных компьютеров). Для реалистичного моделирования таких инфраструктур требуется хорошо моделировать отдельные ресурсы, их планировщики, нагрузку и доступность, а также передачу данных по сети. Для данных целей предлагается использовать [http://simgrid.gforge.inria.fr/ SimGrid], фреймворк для создания симуляторов распределенных систем. Требуется улучшить имеющиеся или реализовать новые модели ресурсов (например, кластер с планировщиком и внутренним потоком заданий), а также интегрировать их в единую модель. Возможны отдельные подтемы и работа в команде.

==== Симуляция и сравнительный анализ алгоритмов планирования задач в распределенных вычислительных системах ====

'''Руководитель''': [mailto:oleg.sukhoroslov@gmail.com Олег Викторович Сухорослов]

Планирование выполнения задач в распределенных системах в постановках, представляющих практический интерес, является NP-полной задачей. За последнее десятилетие было предложено множество алгоритмов планирования, основанных на различного рода (мета)эвристиках и ориентированных на различные классы приложений (bag of tasks, parallel job, workflow) и систем. При этом недостаточно хорошо изучен вопрос об области применимости и сравнительной эффективности данных алгоритмов в различных ситуациях. В данной работе предлагается реализовать на базе существующего симулятора наиболее известные алгоритмы и сравнить их друг с другом путем проведения имитационных экспериментов для различных типов приложений и систем. Возможны отдельные подтемы и работа в команде.

==== Исследование и экспериментальная оценка технологий распределенных вычислений на основе pilot jobs ====

'''Руководитель''': [mailto:oleg.sukhoroslov@gmail.com Олег Викторович Сухорослов]

При реализации крупномасштабных вычислений на базе распределенных ресурсов с собственными планировщиками часто используется стратегия pilot jobs. Данная стратегия, заключающаяся в запуске на ресурсах заданий-агентов с последующим динамическим распределением по ним задач, позволяет уменьшить влияние задержек в очередях ресурсов и накладные расходы на запуск задач. В настоящее время существует несколько технологий (pilot job frameworks), реализующих данный подход, например HTCondor, DIANE, BigJob, Swift, DIRAC. В данной работе предлагается изучить и сравнить между собой несколько данных технологий путем их развертывания и проведения экспериментов на тестовой инфраструктуре. Особое внимание планируется уделить сравнению производительности различных решений, оценке их масштабируемости, выявлению узких мест и поиску способов их устранения.

==== Использование простаивающих вычислительных ресурсов для распределенных вычислений на базе платформы Everest ====

'''Руководитель''': [mailto:oleg.sukhoroslov@gmail.com Олег Викторович Сухорослов]

Платформа [http://everest.distcomp.org/ Everest], разрабатываемая в ИППИ РАН, позволяет публиковать в виде веб-сервисов вычислительные приложения и запускать через веб-интерфейс расчеты на произвольных комбинациях внешних ресурсов, подключенных пользователями к платформе. Интеграция ресурсов с платформой реализована на основе специально разработанного агента, который выполняется на стороне ресурса. В настоящее время агент поддерживает запуск задач на одиночной машине (в монопольном режиме) и кластере (с приоритетом обычного пользователя), не учитывая внешнюю нагрузку на ресурс. В данной работе предлагается реализовать поддержку использования ресурса только в моменты его простоя, что требует мониторинга текущей загрузки ресурса и динамического управления задачами. При этом планируется использовать опыт и наработки систем, ориентированных на использование простаивающих персональных компьютеров (BOINC, Condor).

==== Реализация универсального вычислительного агента для систем распределенных вычислений ====

'''Руководитель''': [mailto:oleg.sukhoroslov@gmail.com Олег Викторович Сухорослов]

Платформа [http://everest.distcomp.org/ Everest], разрабатываемая в ИППИ РАН, позволяет публиковать в виде веб-сервисов вычислительные приложения и запускать через веб-интерфейс расчеты на произвольных комбинациях внешних ресурсов, подключенных пользователями к платформе. Интеграция ресурсов с платформой реализована на основе специально разработанного агента, который выполняется на стороне ресурса. Агент написан на языке Python с использованием фреймворка Tornado и реализует асинхронную обработку, запуск и мониторинг поступающих задач, загрузку данных и обмен сообщениями с платформой. В данной работе предлагается реализовать принципиально новую версию агента на языке Go. Помимо имеющейся функциональности планируется реализовать прямое взаимодействие по сети между агентами, автоматическое обновление кода агента, а также обеспечить универсальность агента для его использования с другими системами распределенных вычислений.

==== Исследование и реализация методов прямой передачи данных по сети между узлами за NAT и межсетевыми экранами ====

'''Руководитель''': [mailto:oleg.sukhoroslov@gmail.com Олег Викторович Сухорослов]

При реализации распределенных вычислений в глобальной сети часто возникает задача передачи данных между двумя машинами или ресурсами, находящимися в различных географических точках. При этом зачастую между данными машинами в сети находятся устройства, выполняющие трансляцию адресов (NAT) и межсетевые экраны, что затрудняет установление прямого соединения. Подход, использующий промежуточный сервер для обмена данными, обладает низкой эффективностью в случае передачи больших объемов данных или частых обменов. В данной работе предлагается изучить существующие методы прямой передачи данных между хостами в глобальной сети, реализовать некоторые из этих методов и экспериментально сравнить их эффективность.

==== Исследование и экспериментальная оценка методов обеспечения отказоустойчивости MPI-приложений ====

'''Руководитель''': [mailto:oleg.sukhoroslov@gmail.com Олег Викторович Сухорослов]

Одной из основных проблем, связанных с использованием в будущем мощных вычислительных систем уровня [https://en.wikipedia.org/wiki/Exascale_computing exascale], является обеспечение устойчивости параллельных программ к отказам. Поскольку данные системы могут включать миллионы процессоров, выполняющих до миллиарда потоков, то ожидается что в них с высокой частотой (до нескольких раз в час) будут возникать всевозможные сбои на аппаратном и программном уровнях, приводящие к падению процессов или потере данных. Традиционные методы, такие как checkpointing, становятся неэффективными в условиях, когда сохранение состояния требует времени сопоставимого с частотой отказов. В настоящее время активно ведется разработка новых методов, нацеленных на решение данной проблемы, в частности применительно к выполнению MPI-программ. В данной работе предлагается изучить данные методы, провести их экспериментальную оценку и, возможно, улучшить.

Темы для курсовых работ 2017 (РС)

2017-10-30T09:00:44Z

Sandello:

== Курсовые работы ==

Ниже приведены описания возможных проектов курсовой работы (напоминаю, что на третьем курсе в качестве курсовой работы засчитывается и [http://wiki.cs.hse.ru/Проектная_работа проектная работа]).

Если вас заинтересовала какая-либо из предложенных тем и вы хотите над ней поработать в рамках вашей курсовой работы, то ваша последовательность действий такая:
# напишите письмо руководителю темы, в копию письма добавьте Пузыревского Ивана (ipuzyrevskiy@hse.ru); укажите, над какой задачей вы хотите поработать; укажите релевантную информацию про вас (публичный github, опыт по теме, что вы сочтете нужным);
# далее, вам нужно с руководителем обсудить задачу и возможность работы над ней; обычно руководитель вам чуть более подробно вам расскажет, что от вас будет требоваться, вы обсудите, насколько реально вам выполнить предлагаемую работу;
# в конечном итоге, вы вместе с руководителем приходите или к положительному решению (вы работаете над оговоренной задачей), или к отрицательному (вам необходимо выбрать другую тему курсовой работы).

=== Рекомендуемые темы проектной работы ===

==== Безопасность ====
По поводу тем курсовых работ на тему информационной безопасности можно обращаться напрямую к [[mailto:gamajun@gmail.com Денису Гамаюнову]]. В рамках командной проектной работы предлагается два проекта:
http://wiki.cs.hse.ru/Децентрализованный_крипточат_(командный_проект)
http://wiki.cs.hse.ru/Веб-краулер_для_поиска_уязвимостей_авторизации_(командный_проект)

==== Криптовалюты, блокчейн ====
По поводу курсовых работ на тему криптовалют, блокчейна можно обращаться напрямую к [[Участник:Ryavorsky|Ярославу Яворскому]] для непосредственного обсуждения. Ниже приведены примеры тем, предлагаемых в рамках проектной работы на 2-м курсе.
http://wiki.cs.hse.ru/Анализ_данных,_хранимых_в_реестрах_криптовалют_(проект)
http://wiki.cs.hse.ru/Аналитический_сервис_по_новостям_в_сфере_блокчейн_технологий_(проект)
http://wiki.cs.hse.ru/Тестирование_и_верификация_смарт-контрактов_(проект)
http://wiki.cs.hse.ru/Разработка_веб_интерфейсов_для_криптовалют_и_смарт-контрактов_(проект)

=== Темы возможных курсовых работ ===

==== ClickHouse (9 тем) ====

'''Руководитель''': [mailto:milovidov@yandex-team.ru Миловидов Алексей]

[https://clickhouse.yandex/ ClickHouse] -- открытая колоночная СУБД, позволяющая выполнять аналитические запросы в интерактивном режиме по данным, обновляемым в реальном времени. ClickHouse разработан в Яндексе для задач Яндекс.Метрики -- второй по величине системы веб-аналитики в мире.

В качестве тем для курсовых работ предлагается следующий набор проектов:
* Использование первичного ключа при ORDER BY monotonic(PK), GROUP BY injective(subset(PK)).
* Поддержка форматов ввода-вывода Parquet и Protobuf.
* Модификаторы WITH ROLLUP и WITH CUBE для GROUP BY.
* Поддержка вычисляемых DEFAULT выражений для полуструктурированных форматов JSONEachRow, TSKV.
* Short-curcuit вычисление некоторых функций.
* Оптимизация простых выражений с помощью генерации LLVM кода.
* Кэширование промежуточных данных конвейера выполнения запроса.
* Оптимизация алгоритма слияний.
* Генератор тестовых данных.

==== Postgres Pro: Автоматизация смены мастера в кластере PostgreSQL, использующем логическую репликацию ====
'''Руководитель''': [mailto:marat.abubekerov@gmail.com Абубекеров Марат]

Есть кластер PostgreSQL с мастером и несколькими репликами. Используется логическая репликация. Требуется разработать приложение, которое в случае выхода мастера из строя автоматически выбирает нового мастера и переключает на него остальные реплики. Допускается зависимость от сторонних приложений, в частности etcd или Consul.

==== Postgres Pro: Приоритезация запросов в РСУБД PostgreSQL ====
'''Руководитель''': [mailto:marat.abubekerov@gmail.com Абубекеров Марат]

Исследовать различные механизмы приоритезации запросов в реляционных базах данных. Реализовать механизм приоритезации з апросов для РСУБД PostgreSQL. Запросы с большим приоритетом выполняются раньше запросов с низким приоритетом. Кроме того, время, выделяемое на выполнение запросов, пропорционально их приоритетам. Например, при одновременном выполнении OLTP и OLAP запросов становится возможно присвоить первым более высокий приоритет, чем вторым. В результате OLTP запросы будут выполняться как можно быстрее, а OLAP запросы будут выполняться в фоне с меньшим приоритетом.

==== Postgres Pro: Разработка механизма ограничения используемых ресурсов в PostgreSQL ====
'''Руководитель''': [mailto:marat.abubekerov@gmail.com Абубекеров Марат]

Исследование механизмов ограничения использования системных ресурсов - времени CPU, оперативной памяти, места на диске, сетевого трафика, и так далее. Реализация механизма ограничения используемых ресурсов по пользователям и сессиям для РСУБД PostgreSQL. Допускается использование сторонних механизмов, в частности cgroups.

==== Postgres Pro: Реализация в модуле pg_trgm поиска по N-граммам с N > 3 ====
'''Руководитель''': [mailto:marat.abubekerov@gmail.com Абубекеров Марат]

Модуль pg_trgm для PostgreSQL позволяет делать индексы по триграммам для нечеткого поиска. К примеру, слово 'молоко' будет разложено на массив триграмм [ мол, оло, лок, око] и если поисковый слово содержит опечатку, то большинство триграмм останется неизменным. Это свойство используется для поиска: можно разложить искомые слова/фразы на триграммы, построить по ним обратный ( инвертированный) индекс и при поиске искать документы с максимальным числом одинаковых триграмм. Такой подход хорошо и быстро работает на словах и небольших фразах.
Однако данный подход не эффективен, если поиск ведется по предложениям. Так как предложение большое, то разных триграмм от каждого документа получается много и поисковый запрос будет пересекаться с очень большим количеством строк в таблице. Чтобы избежать этого, предлагается реализовать поддержку не триграмм, а на N-грамм с N=4,5 и так далее. Тогда разных N-грам ставится экспоненциально больше с ростом N и соответственно вероятность встретить данную N-грамму - меньше, следовательно при поиске требуется проверять на соответствие меньше строк и поиск становится эффективнее.

==== Улучшение симулятора планировщика ресурсов кластера ====

'''Руководитель''': [mailto:ignat@yandex-team.ru Игнатий Игоревич Колесниченко]

В системе [https://habrahabr.ru/company/yandex/blog/311104/ YT] одна из наиболее значимых компонент -- это планировщик вычислений. Именно он отвечает за распределение ресурсов кластера между пользователями с учетом их требований и желаемых гарантий (зачастую, противоречивых). От эффективности работы планировщика зависит общая эффективность работы кластера и удовлетворенность пользователей. Для проведения оффлайн-экспериментов над алгоритмами планировщика был разработан симулятор, использующий "трейс" событий, снятый с реального кластера (запуск вычислений, освобождение вычислительных ресурсов, потеря вычислений в результате сбоя, и др.). Ниже представлены возможные направления для последующих исследований и улучшений данной функциональности.

В текущей версии симулятора известен ряд недоработок, существенно влияющих на качество симуляции. Например, текущий симулятор не учитывает зависимость вычислений между собой (когда выход одного вычисления используется как вход для другого). За счет использования метаинформации (имя пользователя, время начала/окончания вычислений, именование входных/выходных данных) можно было бы восстановить данные зависимости, что позволит существенно улучшить качество симуляции и, соответственно, качество вычисляемых метрик для цепочек вычислений.

==== Формальная спецификация HDFS с использованием TLA+ ====

'''Руководитель''': [mailto:sandello@yandex-team.ru Иван Витальевич Пузыревский]

HDFS (Hadoop Distributed File System) -- распределенная отказоустойчивая файловая система. В данной работе предлагается разработать и проверить формальную спецификацию системы с помощью [http://research.microsoft.com/en-us/um/people/lamport/tla/tla.html TLA+].

==== Фреймворк для изучения, разработки и тестирования распределенных алгоритмов при наличии отказов ====

'''Руководитель''': [mailto:sandello@yandex-team.ru Иван Витальевич Пузыревский]

При анализе и реализации распределенных алгоритмов наиболее сложной частью является обработка отказов, сетевых или процессных. В большинстве языков программирования и в большинстве прикладных библиотек существуют только базовые возможности для тестирования и проверки распределенного алгоритма в условиях сетевых сбоев. В рамках данной работы предлагается минимально интрузивным образом подменить сетевые взаимодействия в сетевых приложениях с целью последующего изучения и изменения характера коммуникации. В первом приближении можно считать, что вся сетевая коммуникация проходит через некоторого "оракула", который определяет факт и порядок доставки сообщений, величину сетевых задержек, корректность данных.

==== Исследование применимости фонтанирующих кодов в сетевых протоколах как альтернатива обратной связи, основанной на потере пакетов ====

'''Руководитель''': [mailto:sandello@yandex-team.ru Иван Витальевич Пузыревский]

Современные сетевые протоколы для оценки эффективной пропускной способности сети опираются на ''сетевые потери'': при переполнении буферов, очереди, или каких-либо других ресурсов во время доставки пакета, последний просто отбрасывается; на оценке доли отброшенных пакетов строится управление трафиком, например, в протоколе TCP. Определение факта потери пакета использует часы (таймауты), что в случае приложений, чувствительных к сетевым задержкам, приводит к всплескам латентности. В рамках данной работы предлагается исследовать возможность применения фонтанирующих кодов ([https://en.wikipedia.org/wiki/Fountain_code wiki]) для обеспечения гарантированной доставки данных в случае сетевых потерь.

==== Имитационное моделирование вычислительных ресурсов и распределенных вычислительных инфраструктур ====

'''Руководитель''': [mailto:oleg.sukhoroslov@gmail.com Олег Викторович Сухорослов]

Имитационное моделирование активно используется в исследованиях распределенных систем, заменяя натурные эксперименты и позволяя воспроизводимым образом сравнивать между собой различные методы (например, алгоритмы планирования задач). В данной работе объектом моделирования являются распределенные вычислительные инфраструктуры, состоящие из нескольких автономных ресурсов различного типа (кластеров, гридов, облаков, персональных компьютеров). Для реалистичного моделирования таких инфраструктур требуется хорошо моделировать отдельные ресурсы, их планировщики, нагрузку и доступность, а также передачу данных по сети. Для данных целей предлагается использовать [http://simgrid.gforge.inria.fr/ SimGrid], фреймворк для создания симуляторов распределенных систем. Требуется улучшить имеющиеся или реализовать новые модели ресурсов (например, кластер с планировщиком и внутренним потоком заданий), а также интегрировать их в единую модель. Возможны отдельные подтемы и работа в команде.

==== Симуляция и сравнительный анализ алгоритмов планирования задач в распределенных вычислительных системах ====

'''Руководитель''': [mailto:oleg.sukhoroslov@gmail.com Олег Викторович Сухорослов]

Планирование выполнения задач в распределенных системах в постановках, представляющих практический интерес, является NP-полной задачей. За последнее десятилетие было предложено множество алгоритмов планирования, основанных на различного рода (мета)эвристиках и ориентированных на различные классы приложений (bag of tasks, parallel job, workflow) и систем. При этом недостаточно хорошо изучен вопрос об области применимости и сравнительной эффективности данных алгоритмов в различных ситуациях. В данной работе предлагается реализовать на базе существующего симулятора наиболее известные алгоритмы и сравнить их друг с другом путем проведения имитационных экспериментов для различных типов приложений и систем. Возможны отдельные подтемы и работа в команде.

==== Исследование и экспериментальная оценка технологий распределенных вычислений на основе pilot jobs ====

'''Руководитель''': [mailto:oleg.sukhoroslov@gmail.com Олег Викторович Сухорослов]

При реализации крупномасштабных вычислений на базе распределенных ресурсов с собственными планировщиками часто используется стратегия pilot jobs. Данная стратегия, заключающаяся в запуске на ресурсах заданий-агентов с последующим динамическим распределением по ним задач, позволяет уменьшить влияние задержек в очередях ресурсов и накладные расходы на запуск задач. В настоящее время существует несколько технологий (pilot job frameworks), реализующих данный подход, например HTCondor, DIANE, BigJob, Swift, DIRAC. В данной работе предлагается изучить и сравнить между собой несколько данных технологий путем их развертывания и проведения экспериментов на тестовой инфраструктуре. Особое внимание планируется уделить сравнению производительности различных решений, оценке их масштабируемости, выявлению узких мест и поиску способов их устранения.

==== Использование простаивающих вычислительных ресурсов для распределенных вычислений на базе платформы Everest ====

'''Руководитель''': [mailto:oleg.sukhoroslov@gmail.com Олег Викторович Сухорослов]

Платформа [http://everest.distcomp.org/ Everest], разрабатываемая в ИППИ РАН, позволяет публиковать в виде веб-сервисов вычислительные приложения и запускать через веб-интерфейс расчеты на произвольных комбинациях внешних ресурсов, подключенных пользователями к платформе. Интеграция ресурсов с платформой реализована на основе специально разработанного агента, который выполняется на стороне ресурса. В настоящее время агент поддерживает запуск задач на одиночной машине (в монопольном режиме) и кластере (с приоритетом обычного пользователя), не учитывая внешнюю нагрузку на ресурс. В данной работе предлагается реализовать поддержку использования ресурса только в моменты его простоя, что требует мониторинга текущей загрузки ресурса и динамического управления задачами. При этом планируется использовать опыт и наработки систем, ориентированных на использование простаивающих персональных компьютеров (BOINC, Condor).

==== Реализация универсального вычислительного агента для систем распределенных вычислений ====

'''Руководитель''': [mailto:oleg.sukhoroslov@gmail.com Олег Викторович Сухорослов]

Платформа [http://everest.distcomp.org/ Everest], разрабатываемая в ИППИ РАН, позволяет публиковать в виде веб-сервисов вычислительные приложения и запускать через веб-интерфейс расчеты на произвольных комбинациях внешних ресурсов, подключенных пользователями к платформе. Интеграция ресурсов с платформой реализована на основе специально разработанного агента, который выполняется на стороне ресурса. Агент написан на языке Python с использованием фреймворка Tornado и реализует асинхронную обработку, запуск и мониторинг поступающих задач, загрузку данных и обмен сообщениями с платформой. В данной работе предлагается реализовать принципиально новую версию агента на языке Go. Помимо имеющейся функциональности планируется реализовать прямое взаимодействие по сети между агентами, автоматическое обновление кода агента, а также обеспечить универсальность агента для его использования с другими системами распределенных вычислений.

==== Исследование и реализация методов прямой передачи данных по сети между узлами за NAT и межсетевыми экранами ====

'''Руководитель''': [mailto:oleg.sukhoroslov@gmail.com Олег Викторович Сухорослов]

При реализации распределенных вычислений в глобальной сети часто возникает задача передачи данных между двумя машинами или ресурсами, находящимися в различных географических точках. При этом зачастую между данными машинами в сети находятся устройства, выполняющие трансляцию адресов (NAT) и межсетевые экраны, что затрудняет установление прямого соединения. Подход, использующий промежуточный сервер для обмена данными, обладает низкой эффективностью в случае передачи больших объемов данных или частых обменов. В данной работе предлагается изучить существующие методы прямой передачи данных между хостами в глобальной сети, реализовать некоторые из этих методов и экспериментально сравнить их эффективность.

==== Исследование и экспериментальная оценка методов обеспечения отказоустойчивости MPI-приложений ====

'''Руководитель''': [mailto:oleg.sukhoroslov@gmail.com Олег Викторович Сухорослов]

Одной из основных проблем, связанных с использованием в будущем мощных вычислительных систем уровня [https://en.wikipedia.org/wiki/Exascale_computing exascale], является обеспечение устойчивости параллельных программ к отказам. Поскольку данные системы могут включать миллионы процессоров, выполняющих до миллиарда потоков, то ожидается что в них с высокой частотой (до нескольких раз в час) будут возникать всевозможные сбои на аппаратном и программном уровнях, приводящие к падению процессов или потере данных. Традиционные методы, такие как checkpointing, становятся неэффективными в условиях, когда сохранение состояния требует времени сопоставимого с частотой отказов. В настоящее время активно ведется разработка новых методов, нацеленных на решение данной проблемы, в частности применительно к выполнению MPI-программ. В данной работе предлагается изучить данные методы, провести их экспериментальную оценку и, возможно, улучшить.

Темы для курсовых работ 2017 (РС)

2017-10-30T08:49:25Z

Sandello:

== Курсовые работы ==

Ниже приведены описания возможных проектов курсовой работы (напоминаю, что на третьем курсе в качестве курсовой работы засчитывается и [http://wiki.cs.hse.ru/Проектная_работа проектная работа]).

Если вас заинтересовала какая-либо из предложенных тем и вы хотите над ней поработать в рамках вашей курсовой работы, то ваша последовательность действий такая:
# напишите письмо руководителю темы, в копию письма добавьте Пузыревского Ивана (ipuzyrevskiy@hse.ru); укажите, над какой задачей вы хотите поработать; укажите релевантную информацию про вас (публичный github, опыт по теме, что вы сочтете нужным);
# далее, вам нужно с руководителем обсудить задачу и возможность работы над ней; обычно руководитель вам чуть более подробно вам расскажет, что от вас будет требоваться, вы обсудите, насколько реально вам выполнить предлагаемую работу;
# в конечном итоге, вы вместе с руководителем приходите или к положительному решению (вы работаете над оговоренной задачей), или к отрицательному (вам необходимо выбрать другую тему курсовой работы).

=== Рекомендуемые темы проектной работы ===

==== Безопасность ====
По поводу тем курсовых работ на тему информационной безопасности можно обращаться напрямую к [[mailto:gamajun@gmail.com|Денису Гамаюнову]]. В рамках командной проектной работы предлагается два проекта:
http://wiki.cs.hse.ru/Децентрализованный_крипточат_(командный_проект)
http://wiki.cs.hse.ru/Веб-краулер_для_поиска_уязвимостей_авторизации_(командный_проект)

==== Криптовалюты, блокчейн ====
По поводу курсовых работ на тему криптовалют, блокчейна можно обращаться напрямую к [[Участник:Ryavorsky|Ярославу Яворскому]] для непосредственного обсуждения. Ниже приведены примеры тем, предлагаемых в рамках проектной работы на 2-м курсе.
http://wiki.cs.hse.ru/Анализ_данных,_хранимых_в_реестрах_криптовалют_(проект)
http://wiki.cs.hse.ru/Аналитический_сервис_по_новостям_в_сфере_блокчейн_технологий_(проект)
http://wiki.cs.hse.ru/Тестирование_и_верификация_смарт-контрактов_(проект)
http://wiki.cs.hse.ru/Разработка_веб_интерфейсов_для_криптовалют_и_смарт-контрактов_(проект)

=== Темы возможных курсовых работ ===

==== ClickHouse (9 тем) ====

'''Руководитель''': [mailto:milovidov@yandex-team.ru Миловидов Алексей]

[https://clickhouse.yandex/ ClickHouse] -- открытая колоночная СУБД, позволяющая выполнять аналитические запросы в интерактивном режиме по данным, обновляемым в реальном времени. ClickHouse разработан в Яндексе для задач Яндекс.Метрики -- второй по величине системы веб-аналитики в мире.

В качестве тем для курсовых работ предлагается следующий набор проектов:
* Использование первичного ключа при ORDER BY monotonic(PK), GROUP BY injective(subset(PK)).
* Поддержка форматов ввода-вывода Parquet и Protobuf.
* Модификаторы WITH ROLLUP и WITH CUBE для GROUP BY.
* Поддержка вычисляемых DEFAULT выражений для полуструктурированных форматов JSONEachRow, TSKV.
* Short-curcuit вычисление некоторых функций.
* Оптимизация простых выражений с помощью генерации LLVM кода.
* Кэширование промежуточных данных конвейера выполнения запроса.
* Оптимизация алгоритма слияний.
* Генератор тестовых данных.

==== Postgres Pro: Автоматизация смены мастера в кластере PostgreSQL, использующем логическую репликацию ====
'''Руководитель''': [mailto:marat.abubekerov@gmail.com Абубекеров Марат]

Есть кластер PostgreSQL с мастером и несколькими репликами. Используется логическая репликация. Требуется разработать приложение, которое в случае выхода мастера из строя автоматически выбирает нового мастера и переключает на него остальные реплики. Допускается зависимость от сторонних приложений, в частности etcd или Consul.

==== Postgres Pro: Приоритезация запросов в РСУБД PostgreSQL ====
'''Руководитель''': [mailto:marat.abubekerov@gmail.com Абубекеров Марат]

Исследовать различные механизмы приоритезации запросов в реляционных базах данных. Реализовать механизм приоритезации з апросов для РСУБД PostgreSQL. Запросы с большим приоритетом выполняются раньше запросов с низким приоритетом. Кроме того, время, выделяемое на выполнение запросов, пропорционально их приоритетам. Например, при одновременном выполнении OLTP и OLAP запросов становится возможно присвоить первым более высокий приоритет, чем вторым. В результате OLTP запросы будут выполняться как можно быстрее, а OLAP запросы будут выполняться в фоне с меньшим приоритетом.

==== Postgres Pro: Разработка механизма ограничения используемых ресурсов в PostgreSQL ====
'''Руководитель''': [mailto:marat.abubekerov@gmail.com Абубекеров Марат]

Исследование механизмов ограничения использования системных ресурсов - времени CPU, оперативной памяти, места на диске, сетевого трафика, и так далее. Реализация механизма ограничения используемых ресурсов по пользователям и сессиям для РСУБД PostgreSQL. Допускается использование сторонних механизмов, в частности cgroups.

==== Postgres Pro: Реализация в модуле pg_trgm поиска по N-граммам с N > 3 ====
'''Руководитель''': [mailto:marat.abubekerov@gmail.com Абубекеров Марат]

Модуль pg_trgm для PostgreSQL позволяет делать индексы по триграммам для нечеткого поиска. К примеру, слово 'молоко' будет разложено на массив триграмм [ мол, оло, лок, око] и если поисковый слово содержит опечатку, то большинство триграмм останется неизменным. Это свойство используется для поиска: можно разложить искомые слова/фразы на триграммы, построить по ним обратный ( инвертированный) индекс и при поиске искать документы с максимальным числом одинаковых триграмм. Такой подход хорошо и быстро работает на словах и небольших фразах.
Однако данный подход не эффективен, если поиск ведется по предложениям. Так как предложение большое, то разных триграмм от каждого документа получается много и поисковый запрос будет пересекаться с очень большим количеством строк в таблице. Чтобы избежать этого, предлагается реализовать поддержку не триграмм, а на N-грамм с N=4,5 и так далее. Тогда разных N-грам ставится экспоненциально больше с ростом N и соответственно вероятность встретить данную N-грамму - меньше, следовательно при поиске требуется проверять на соответствие меньше строк и поиск становится эффективнее.

==== Улучшение симулятора планировщика ресурсов кластера ====

'''Руководитель''': [mailto:ignat@yandex-team.ru Игнатий Игоревич Колесниченко]

В системе [https://habrahabr.ru/company/yandex/blog/311104/ YT] одна из наиболее значимых компонент -- это планировщик вычислений. Именно он отвечает за распределение ресурсов кластера между пользователями с учетом их требований и желаемых гарантий (зачастую, противоречивых). От эффективности работы планировщика зависит общая эффективность работы кластера и удовлетворенность пользователей. Для проведения оффлайн-экспериментов над алгоритмами планировщика был разработан симулятор, использующий "трейс" событий, снятый с реального кластера (запуск вычислений, освобождение вычислительных ресурсов, потеря вычислений в результате сбоя, и др.). Ниже представлены возможные направления для последующих исследований и улучшений данной функциональности.

В текущей версии симулятора известен ряд недоработок, существенно влияющих на качество симуляции. Например, текущий симулятор не учитывает зависимость вычислений между собой (когда выход одного вычисления используется как вход для другого). За счет использования метаинформации (имя пользователя, время начала/окончания вычислений, именование входных/выходных данных) можно было бы восстановить данные зависимости, что позволит существенно улучшить качество симуляции и, соответственно, качество вычисляемых метрик для цепочек вычислений.

==== Формальная спецификация HDFS с использованием TLA+ ====

'''Руководитель''': [mailto:sandello@yandex-team.ru Иван Витальевич Пузыревский]

HDFS (Hadoop Distributed File System) -- распределенная отказоустойчивая файловая система. В данной работе предлагается разработать и проверить формальную спецификацию системы с помощью [http://research.microsoft.com/en-us/um/people/lamport/tla/tla.html TLA+].

==== Фреймворк для изучения, разработки и тестирования распределенных алгоритмов при наличии отказов ====

'''Руководитель''': [mailto:sandello@yandex-team.ru Иван Витальевич Пузыревский]

При анализе и реализации распределенных алгоритмов наиболее сложной частью является обработка отказов, сетевых или процессных. В большинстве языков программирования и в большинстве прикладных библиотек существуют только базовые возможности для тестирования и проверки распределенного алгоритма в условиях сетевых сбоев. В рамках данной работы предлагается минимально интрузивным образом подменить сетевые взаимодействия в сетевых приложениях с целью последующего изучения и изменения характера коммуникации. В первом приближении можно считать, что вся сетевая коммуникация проходит через некоторого "оракула", который определяет факт и порядок доставки сообщений, величину сетевых задержек, корректность данных.

==== Исследование применимости фонтанирующих кодов в сетевых протоколах как альтернатива обратной связи, основанной на потере пакетов ====

'''Руководитель''': [mailto:sandello@yandex-team.ru Иван Витальевич Пузыревский]

Современные сетевые протоколы для оценки эффективной пропускной способности сети опираются на ''сетевые потери'': при переполнении буферов, очереди, или каких-либо других ресурсов во время доставки пакета, последний просто отбрасывается; на оценке доли отброшенных пакетов строится управление трафиком, например, в протоколе TCP. Определение факта потери пакета использует часы (таймауты), что в случае приложений, чувствительных к сетевым задержкам, приводит к всплескам латентности. В рамках данной работы предлагается исследовать возможность применения фонтанирующих кодов ([https://en.wikipedia.org/wiki/Fountain_code wiki]) для обеспечения гарантированной доставки данных в случае сетевых потерь.

==== Имитационное моделирование вычислительных ресурсов и распределенных вычислительных инфраструктур ====

'''Руководитель''': [mailto:oleg.sukhoroslov@gmail.com Олег Викторович Сухорослов]

Имитационное моделирование активно используется в исследованиях распределенных систем, заменяя натурные эксперименты и позволяя воспроизводимым образом сравнивать между собой различные методы (например, алгоритмы планирования задач). В данной работе объектом моделирования являются распределенные вычислительные инфраструктуры, состоящие из нескольких автономных ресурсов различного типа (кластеров, гридов, облаков, персональных компьютеров). Для реалистичного моделирования таких инфраструктур требуется хорошо моделировать отдельные ресурсы, их планировщики, нагрузку и доступность, а также передачу данных по сети. Для данных целей предлагается использовать [http://simgrid.gforge.inria.fr/ SimGrid], фреймворк для создания симуляторов распределенных систем. Требуется улучшить имеющиеся или реализовать новые модели ресурсов (например, кластер с планировщиком и внутренним потоком заданий), а также интегрировать их в единую модель. Возможны отдельные подтемы и работа в команде.

==== Симуляция и сравнительный анализ алгоритмов планирования задач в распределенных вычислительных системах ====

'''Руководитель''': [mailto:oleg.sukhoroslov@gmail.com Олег Викторович Сухорослов]

Планирование выполнения задач в распределенных системах в постановках, представляющих практический интерес, является NP-полной задачей. За последнее десятилетие было предложено множество алгоритмов планирования, основанных на различного рода (мета)эвристиках и ориентированных на различные классы приложений (bag of tasks, parallel job, workflow) и систем. При этом недостаточно хорошо изучен вопрос об области применимости и сравнительной эффективности данных алгоритмов в различных ситуациях. В данной работе предлагается реализовать на базе существующего симулятора наиболее известные алгоритмы и сравнить их друг с другом путем проведения имитационных экспериментов для различных типов приложений и систем. Возможны отдельные подтемы и работа в команде.

==== Исследование и экспериментальная оценка технологий распределенных вычислений на основе pilot jobs ====

'''Руководитель''': [mailto:oleg.sukhoroslov@gmail.com Олег Викторович Сухорослов]

При реализации крупномасштабных вычислений на базе распределенных ресурсов с собственными планировщиками часто используется стратегия pilot jobs. Данная стратегия, заключающаяся в запуске на ресурсах заданий-агентов с последующим динамическим распределением по ним задач, позволяет уменьшить влияние задержек в очередях ресурсов и накладные расходы на запуск задач. В настоящее время существует несколько технологий (pilot job frameworks), реализующих данный подход, например HTCondor, DIANE, BigJob, Swift, DIRAC. В данной работе предлагается изучить и сравнить между собой несколько данных технологий путем их развертывания и проведения экспериментов на тестовой инфраструктуре. Особое внимание планируется уделить сравнению производительности различных решений, оценке их масштабируемости, выявлению узких мест и поиску способов их устранения.

==== Использование простаивающих вычислительных ресурсов для распределенных вычислений на базе платформы Everest ====

'''Руководитель''': [mailto:oleg.sukhoroslov@gmail.com Олег Викторович Сухорослов]

Платформа [http://everest.distcomp.org/ Everest], разрабатываемая в ИППИ РАН, позволяет публиковать в виде веб-сервисов вычислительные приложения и запускать через веб-интерфейс расчеты на произвольных комбинациях внешних ресурсов, подключенных пользователями к платформе. Интеграция ресурсов с платформой реализована на основе специально разработанного агента, который выполняется на стороне ресурса. В настоящее время агент поддерживает запуск задач на одиночной машине (в монопольном режиме) и кластере (с приоритетом обычного пользователя), не учитывая внешнюю нагрузку на ресурс. В данной работе предлагается реализовать поддержку использования ресурса только в моменты его простоя, что требует мониторинга текущей загрузки ресурса и динамического управления задачами. При этом планируется использовать опыт и наработки систем, ориентированных на использование простаивающих персональных компьютеров (BOINC, Condor).

==== Реализация универсального вычислительного агента для систем распределенных вычислений ====

'''Руководитель''': [mailto:oleg.sukhoroslov@gmail.com Олег Викторович Сухорослов]

Платформа [http://everest.distcomp.org/ Everest], разрабатываемая в ИППИ РАН, позволяет публиковать в виде веб-сервисов вычислительные приложения и запускать через веб-интерфейс расчеты на произвольных комбинациях внешних ресурсов, подключенных пользователями к платформе. Интеграция ресурсов с платформой реализована на основе специально разработанного агента, который выполняется на стороне ресурса. Агент написан на языке Python с использованием фреймворка Tornado и реализует асинхронную обработку, запуск и мониторинг поступающих задач, загрузку данных и обмен сообщениями с платформой. В данной работе предлагается реализовать принципиально новую версию агента на языке Go. Помимо имеющейся функциональности планируется реализовать прямое взаимодействие по сети между агентами, автоматическое обновление кода агента, а также обеспечить универсальность агента для его использования с другими системами распределенных вычислений.

==== Исследование и реализация методов прямой передачи данных по сети между узлами за NAT и межсетевыми экранами ====

'''Руководитель''': [mailto:oleg.sukhoroslov@gmail.com Олег Викторович Сухорослов]

При реализации распределенных вычислений в глобальной сети часто возникает задача передачи данных между двумя машинами или ресурсами, находящимися в различных географических точках. При этом зачастую между данными машинами в сети находятся устройства, выполняющие трансляцию адресов (NAT) и межсетевые экраны, что затрудняет установление прямого соединения. Подход, использующий промежуточный сервер для обмена данными, обладает низкой эффективностью в случае передачи больших объемов данных или частых обменов. В данной работе предлагается изучить существующие методы прямой передачи данных между хостами в глобальной сети, реализовать некоторые из этих методов и экспериментально сравнить их эффективность.

==== Исследование и экспериментальная оценка методов обеспечения отказоустойчивости MPI-приложений ====

'''Руководитель''': [mailto:oleg.sukhoroslov@gmail.com Олег Викторович Сухорослов]

Одной из основных проблем, связанных с использованием в будущем мощных вычислительных систем уровня [https://en.wikipedia.org/wiki/Exascale_computing exascale], является обеспечение устойчивости параллельных программ к отказам. Поскольку данные системы могут включать миллионы процессоров, выполняющих до миллиарда потоков, то ожидается что в них с высокой частотой (до нескольких раз в час) будут возникать всевозможные сбои на аппаратном и программном уровнях, приводящие к падению процессов или потере данных. Традиционные методы, такие как checkpointing, становятся неэффективными в условиях, когда сохранение состояния требует времени сопоставимого с частотой отказов. В настоящее время активно ведется разработка новых методов, нацеленных на решение данной проблемы, в частности применительно к выполнению MPI-программ. В данной работе предлагается изучить данные методы, провести их экспериментальную оценку и, возможно, улучшить.

Темы для курсовых работ 2017 (РС)

2017-10-30T08:46:53Z

Sandello: /* Темы возможных курсовых работ */

== Курсовые работы ==

Ниже приведены описания возможных проектов курсовой работы (напоминаю, что на третьем курсе в качестве курсовой работы засчитывается и [http://wiki.cs.hse.ru/Проектная_работа проектная работа]).

Если вас заинтересовала какая-либо из предложенных тем и вы хотите над ней поработать в рамках вашей курсовой работы, то ваша последовательность действий такая:
# напишите письмо руководителю темы, в копию письма добавьте Пузыревского Ивана (ipuzyrevskiy@hse.ru); укажите, над какой задачей вы хотите поработать; укажите релевантную информацию про вас (публичный github, опыт по теме, что вы сочтете нужным);
# далее, вам нужно с руководителем обсудить задачу и возможность работы над ней; обычно руководитель вам чуть более подробно вам расскажет, что от вас будет требоваться, вы обсудите, насколько реально вам выполнить предлагаемую работу;
# в конечном итоге, вы вместе с руководителем приходите или к положительному решению (вы работаете над оговоренной задачей), или к отрицательному (вам необходимо выбрать другую тему курсовой работы).

=== Рекомендуемые темы проектной работы ===

==== Безопасность ====
По поводу тем курсовых работ на тему информационной безопасности можно обращаться напрямую к [[mailto:gamajun@gmail.com|Денису Гамаюнову]]. В рамках командной проектной работы предлагается два проекта:
http://wiki.cs.hse.ru/Децентрализованный_крипточат_(командный_проект)
http://wiki.cs.hse.ru/Веб-краулер_для_поиска_уязвимостей_авторизации_(командный_проект)

==== Криптовалюты, блокчейн ====
По поводу курсовых работ на тему криптовалют, блокчейна можно обращаться напрямую к [[Участник:Ryavorsky|Ярославу Яворскому]] для непосредственного обсуждения. Ниже приведены примеры тем, предлагаемых в рамках проектной работы на 2-м курсе.
http://wiki.cs.hse.ru/Анализ_данных,_хранимых_в_реестрах_криптовалют_(проект)
http://wiki.cs.hse.ru/Аналитический_сервис_по_новостям_в_сфере_блокчейн_технологий_(проект)
http://wiki.cs.hse.ru/Тестирование_и_верификация_смарт-контрактов_(проект)
http://wiki.cs.hse.ru/Разработка_веб_интерфейсов_для_криптовалют_и_смарт-контрактов_(проект)

=== Темы возможных курсовых работ ===

==== ClickHouse (9 тем) ====

'''Руководитель''': [mailto:milovidov@yandex-team.ru Миловидов Алексей]

[https://clickhouse.yandex/ ClickHouse] -- открытая колоночная СУБД, позволяющая выполнять аналитические запросы в интерактивном режиме по данным, обновляемым в реальном времени. ClickHouse разработан в Яндексе для задач Яндекс.Метрики -- второй по величине системы веб-аналитики в мире.

В качестве тем для курсовых работ предлагается следующий набор проектов:
* Использование первичного ключа при ORDER BY monotonic(PK), GROUP BY injective(subset(PK)).
* Поддержка форматов ввода-вывода Parquet и Protobuf.
* Модификаторы WITH ROLLUP и WITH CUBE для GROUP BY.
* Поддержка вычисляемых DEFAULT выражений для полуструктурированных форматов JSONEachRow, TSKV.
* Short-curcuit вычисление некоторых функций.
* Оптимизация простых выражений с помощью генерации LLVM кода.
* Кэширование промежуточных данных конвейера выполнения запроса.
* Оптимизация алгоритма слияний.
* Генератор тестовых данных.

==== Postgres Pro: Автоматизация смены мастера в кластере PostgreSQL, использующем логическую репликацию ====
'''Руководитель''': [mailto:marat.abubekerov@gmail.com Абубекеров Марат]

Есть кластер PostgreSQL с мастером и несколькими репликами. Используется логическая репликация. Требуется разработать приложение, к оторое в случае выхода мастера из строя автоматически выбирает нового мастера и переключает на него остальные реплики. Допускается з ависимость от сторонних приложений, в частности etcd или Consul.

==== Postgres Pro: Приоритезация запросов в РСУБД PostgreSQL ====
'''Руководитель''': [mailto:marat.abubekerov@gmail.com Абубекеров Марат]

Исследовать различные механизмы приоритезации з апросов в реляционных базах данных. Реализовать механизм приоритезации з апросов для РСУБД PostgreSQL. Запросы с большим приоритетом выполняются раньше з апросов с низким приоритетом. Кроме т ого, время, выделяемое на выполнение з апросов, пропорционально их приоритетам. Например, при одновременном выполнении OLTP и OLAP з апросов становится возможно присвоить первым более высокий приоритет, чем вторым. В результате OLTP з апросы будут выполняться к ак можно быстрее, а OLAP з апросы будут выполняться в фоне с меньшим приоритетом.

==== Postgres Pro: Разработка механизма ограничения используемых ресурсов в PostgreSQL ====
'''Руководитель''': [mailto:marat.abubekerov@gmail.com Абубекеров Марат]

Исследование механизмов ограничения использования системных ресурсов - времени CPU, оперативной памяти, места на диске, сетевого т рафика, и т ак далее. Реализация механизма ограничения используемых ресурсов по пользователям и сессиям для РСУБД PostgreSQL. Допускается использование сторонних механизмов, в частности cgroups.

==== Postgres Pro: Реализация в модуле pg_trgm поиска по N-граммам с N > 3 ====
'''Руководитель''': [mailto:marat.abubekerov@gmail.com Абубекеров Марат]

Модуль pg_trgm для PostgreSQL позволяет делать индексы по т риграммам для нечеткого поиска. К примеру, слово ' молоко' будет разложено на массив триграмм [ мол, оло, лок, око] и если поисковый слово содержит опечатку, т о большинство т риграмм останется неизменным. Это свойство используется для поиска: можно разложить искомые слова/фразы на т риграммы, построить по ним обратный ( инвертированный) индекс и при поиске искать документы с максимальным числом одинаковых т риграмм. Такой подход хорошо и быстро работает на словах и небольших фразах.
Однако данный подход не эффективен, если поиск ведется по предложениям. Так к ак предложение большое, т о разных т риграмм от к аждого документа получается много и поисковый з апрос будет пересекаться с очень большим количеством строк в т аблице. Чтобы избежать этого, предлагается реализовать поддержку не т риграмм, а на N-грамм с N= 4, 5 и т ак далее. Тогда разных N-грам ставится экспоненциально больше с ростом N и соответственно вероятность встретить данную N-грамму - меньше, следовательно при поиске требуется проверять на соответствие меньше строк и поиск становится эффективнее.

==== Улучшение симулятора планировщика ресурсов кластера ====

'''Руководитель''': [mailto:ignat@yandex-team.ru Игнатий Игоревич Колесниченко]

В системе [https://habrahabr.ru/company/yandex/blog/311104/ YT] одна из наиболее значимых компонент -- это планировщик вычислений. Именно он отвечает за распределение ресурсов кластера между пользователями с учетом их требований и желаемых гарантий (зачастую, противоречивых). От эффективности работы планировщика зависит общая эффективность работы кластера и удовлетворенность пользователей. Для проведения оффлайн-экспериментов над алгоритмами планировщика был разработан симулятор, использующий "трейс" событий, снятый с реального кластера (запуск вычислений, освобождение вычислительных ресурсов, потеря вычислений в результате сбоя, и др.). Ниже представлены возможные направления для последующих исследований и улучшений данной функциональности.

В текущей версии симулятора известен ряд недоработок, существенно влияющих на качество симуляции. Например, текущий симулятор не учитывает зависимость вычислений между собой (когда выход одного вычисления используется как вход для другого). За счет использования метаинформации (имя пользователя, время начала/окончания вычислений, именование входных/выходных данных) можно было бы восстановить данные зависимости, что позволит существенно улучшить качество симуляции и, соответственно, качество вычисляемых метрик для цепочек вычислений.

==== Формальная спецификация HDFS с использованием TLA+ ====

'''Руководитель''': [mailto:sandello@yandex-team.ru Иван Витальевич Пузыревский]

HDFS (Hadoop Distributed File System) -- распределенная отказоустойчивая файловая система. В данной работе предлагается разработать и проверить формальную спецификацию системы с помощью [http://research.microsoft.com/en-us/um/people/lamport/tla/tla.html TLA+].

==== Фреймворк для изучения, разработки и тестирования распределенных алгоритмов при наличии отказов ====

'''Руководитель''': [mailto:sandello@yandex-team.ru Иван Витальевич Пузыревский]

При анализе и реализации распределенных алгоритмов наиболее сложной частью является обработка отказов, сетевых или процессных. В большинстве языков программирования и в большинстве прикладных библиотек существуют только базовые возможности для тестирования и проверки распределенного алгоритма в условиях сетевых сбоев. В рамках данной работы предлагается минимально интрузивным образом подменить сетевые взаимодействия в сетевых приложениях с целью последующего изучения и изменения характера коммуникации. В первом приближении можно считать, что вся сетевая коммуникация проходит через некоторого "оракула", который определяет факт и порядок доставки сообщений, величину сетевых задержек, корректность данных.

==== Исследование применимости фонтанирующих кодов в сетевых протоколах как альтернатива обратной связи, основанной на потере пакетов ====

'''Руководитель''': [mailto:sandello@yandex-team.ru Иван Витальевич Пузыревский]

Современные сетевые протоколы для оценки эффективной пропускной способности сети опираются на ''сетевые потери'': при переполнении буферов, очереди, или каких-либо других ресурсов во время доставки пакета, последний просто отбрасывается; на оценке доли отброшенных пакетов строится управление трафиком, например, в протоколе TCP. Определение факта потери пакета использует часы (таймауты), что в случае приложений, чувствительных к сетевым задержкам, приводит к всплескам латентности. В рамках данной работы предлагается исследовать возможность применения фонтанирующих кодов ([https://en.wikipedia.org/wiki/Fountain_code wiki]) для обеспечения гарантированной доставки данных в случае сетевых потерь.

==== Имитационное моделирование вычислительных ресурсов и распределенных вычислительных инфраструктур ====

'''Руководитель''': [mailto:oleg.sukhoroslov@gmail.com Олег Викторович Сухорослов]

Имитационное моделирование активно используется в исследованиях распределенных систем, заменяя натурные эксперименты и позволяя воспроизводимым образом сравнивать между собой различные методы (например, алгоритмы планирования задач). В данной работе объектом моделирования являются распределенные вычислительные инфраструктуры, состоящие из нескольких автономных ресурсов различного типа (кластеров, гридов, облаков, персональных компьютеров). Для реалистичного моделирования таких инфраструктур требуется хорошо моделировать отдельные ресурсы, их планировщики, нагрузку и доступность, а также передачу данных по сети. Для данных целей предлагается использовать [http://simgrid.gforge.inria.fr/ SimGrid], фреймворк для создания симуляторов распределенных систем. Требуется улучшить имеющиеся или реализовать новые модели ресурсов (например, кластер с планировщиком и внутренним потоком заданий), а также интегрировать их в единую модель. Возможны отдельные подтемы и работа в команде.

==== Симуляция и сравнительный анализ алгоритмов планирования задач в распределенных вычислительных системах ====

'''Руководитель''': [mailto:oleg.sukhoroslov@gmail.com Олег Викторович Сухорослов]

Планирование выполнения задач в распределенных системах в постановках, представляющих практический интерес, является NP-полной задачей. За последнее десятилетие было предложено множество алгоритмов планирования, основанных на различного рода (мета)эвристиках и ориентированных на различные классы приложений (bag of tasks, parallel job, workflow) и систем. При этом недостаточно хорошо изучен вопрос об области применимости и сравнительной эффективности данных алгоритмов в различных ситуациях. В данной работе предлагается реализовать на базе существующего симулятора наиболее известные алгоритмы и сравнить их друг с другом путем проведения имитационных экспериментов для различных типов приложений и систем. Возможны отдельные подтемы и работа в команде.

==== Исследование и экспериментальная оценка технологий распределенных вычислений на основе pilot jobs ====

'''Руководитель''': [mailto:oleg.sukhoroslov@gmail.com Олег Викторович Сухорослов]

При реализации крупномасштабных вычислений на базе распределенных ресурсов с собственными планировщиками часто используется стратегия pilot jobs. Данная стратегия, заключающаяся в запуске на ресурсах заданий-агентов с последующим динамическим распределением по ним задач, позволяет уменьшить влияние задержек в очередях ресурсов и накладные расходы на запуск задач. В настоящее время существует несколько технологий (pilot job frameworks), реализующих данный подход, например HTCondor, DIANE, BigJob, Swift, DIRAC. В данной работе предлагается изучить и сравнить между собой несколько данных технологий путем их развертывания и проведения экспериментов на тестовой инфраструктуре. Особое внимание планируется уделить сравнению производительности различных решений, оценке их масштабируемости, выявлению узких мест и поиску способов их устранения.

==== Использование простаивающих вычислительных ресурсов для распределенных вычислений на базе платформы Everest ====

'''Руководитель''': [mailto:oleg.sukhoroslov@gmail.com Олег Викторович Сухорослов]

Платформа [http://everest.distcomp.org/ Everest], разрабатываемая в ИППИ РАН, позволяет публиковать в виде веб-сервисов вычислительные приложения и запускать через веб-интерфейс расчеты на произвольных комбинациях внешних ресурсов, подключенных пользователями к платформе. Интеграция ресурсов с платформой реализована на основе специально разработанного агента, который выполняется на стороне ресурса. В настоящее время агент поддерживает запуск задач на одиночной машине (в монопольном режиме) и кластере (с приоритетом обычного пользователя), не учитывая внешнюю нагрузку на ресурс. В данной работе предлагается реализовать поддержку использования ресурса только в моменты его простоя, что требует мониторинга текущей загрузки ресурса и динамического управления задачами. При этом планируется использовать опыт и наработки систем, ориентированных на использование простаивающих персональных компьютеров (BOINC, Condor).

==== Реализация универсального вычислительного агента для систем распределенных вычислений ====

'''Руководитель''': [mailto:oleg.sukhoroslov@gmail.com Олег Викторович Сухорослов]

Платформа [http://everest.distcomp.org/ Everest], разрабатываемая в ИППИ РАН, позволяет публиковать в виде веб-сервисов вычислительные приложения и запускать через веб-интерфейс расчеты на произвольных комбинациях внешних ресурсов, подключенных пользователями к платформе. Интеграция ресурсов с платформой реализована на основе специально разработанного агента, который выполняется на стороне ресурса. Агент написан на языке Python с использованием фреймворка Tornado и реализует асинхронную обработку, запуск и мониторинг поступающих задач, загрузку данных и обмен сообщениями с платформой. В данной работе предлагается реализовать принципиально новую версию агента на языке Go. Помимо имеющейся функциональности планируется реализовать прямое взаимодействие по сети между агентами, автоматическое обновление кода агента, а также обеспечить универсальность агента для его использования с другими системами распределенных вычислений.

==== Исследование и реализация методов прямой передачи данных по сети между узлами за NAT и межсетевыми экранами ====

'''Руководитель''': [mailto:oleg.sukhoroslov@gmail.com Олег Викторович Сухорослов]

При реализации распределенных вычислений в глобальной сети часто возникает задача передачи данных между двумя машинами или ресурсами, находящимися в различных географических точках. При этом зачастую между данными машинами в сети находятся устройства, выполняющие трансляцию адресов (NAT) и межсетевые экраны, что затрудняет установление прямого соединения. Подход, использующий промежуточный сервер для обмена данными, обладает низкой эффективностью в случае передачи больших объемов данных или частых обменов. В данной работе предлагается изучить существующие методы прямой передачи данных между хостами в глобальной сети, реализовать некоторые из этих методов и экспериментально сравнить их эффективность.

==== Исследование и экспериментальная оценка методов обеспечения отказоустойчивости MPI-приложений ====

'''Руководитель''': [mailto:oleg.sukhoroslov@gmail.com Олег Викторович Сухорослов]

Одной из основных проблем, связанных с использованием в будущем мощных вычислительных систем уровня [https://en.wikipedia.org/wiki/Exascale_computing exascale], является обеспечение устойчивости параллельных программ к отказам. Поскольку данные системы могут включать миллионы процессоров, выполняющих до миллиарда потоков, то ожидается что в них с высокой частотой (до нескольких раз в час) будут возникать всевозможные сбои на аппаратном и программном уровнях, приводящие к падению процессов или потере данных. Традиционные методы, такие как checkpointing, становятся неэффективными в условиях, когда сохранение состояния требует времени сопоставимого с частотой отказов. В настоящее время активно ведется разработка новых методов, нацеленных на решение данной проблемы, в частности применительно к выполнению MPI-программ. В данной работе предлагается изучить данные методы, провести их экспериментальную оценку и, возможно, улучшить.

Список курсовых работ. Распределенные системы

2017-10-30T08:39:08Z

Sandello:

По годам:
* 2017-2018 учебный год (текущий): [[Темы для курсовых работ 2017 (РС)]]
* 2016-2017 учебный год (архив): [[Темы для курсовых работ 2016 (РС)]]

2017-10-30T07:01:36Z

Sandello:

НИС Распределенные системы (3 курс, 2017)

2017-10-30T07:00:33Z

Sandello:

Темы для курсовых работ 2017 (РС)

2017-10-23T14:38:43Z

Темы для курсовых работ 2016 (РС)

2017-10-02T14:40:39Z

== Курсовые работы ==

Ниже приведены описания возможных проектов курсовой работы (напоминаю, что на третьем курсе в качестве курсовой работы засчитывается и [http://wiki.cs.hse.ru/Проектная_работа проектная работа]).

Если вас заинтересовала какая-либо из предложенных тем и вы хотите над ней поработать в рамках вашей курсовой работы, то ваша последовательность действий такая:
# напишите письмо руководителю темы, в копию письма добавьте Пузыревского Ивана (ipuzyrevskiy@hse.ru); укажите, над какой задачей вы хотите поработать; укажите релевантную информацию про вас (публичный github, опыт по теме, что вы сочтете нужным);
# далее, вам нужно с руководителем обсудить задачу и возможность работы над ней; обычно руководитель вам чуть более подробно вам расскажет, что от вас будет требоваться, вы обсудите, насколько реально вам выполнить предлагаемую работу;
# в конечном итоге, вы вместе с руководителем приходите или к положительному решению (вы работаете над оговоренной задачей), или к отрицательному (вам необходимо выбрать другую тему курсовой работы).

=== ClickHouse ===

[https://clickhouse.yandex/ ClickHouse] -- открытая колоночная СУБД, позволяющая выполнять аналитические запросы в интерактивном режиме по данным, обновляемым в реальном времени. ClickHouse разработан в Яндексе для задач Яндекс.Метрики -- второй по величине системы веб-аналитики в мире.

==== Создание генератора тестовых данных, приближающих настоящие ====

'''Руководитель''': [mailto:milovidov@yandex-team.ru Алексей Николаевич Миловидов]

Существующие [https://clickhouse.yandex/benchmark.html бенчмарки] системы основаны на внутренних данных Яндекс.Метрики, и поэтому не могут быть воспроизведены людьми снаружи, что затрудняет корректное сравнение производительности. В рамках предлагаемой курсовой работы предлагается придумать и реализовать генератор псевдослучайных тестовых данных так, чтобы:

* приблизительно сохранить вероятностные распределения значений в столбцах;
* для некоторых случаев, сохранить совместные распределения;
* приблизительно сохранить коэффициент сжатия данных в столбцах;
* желательно сделать модель данных достаточно компактной (например, несколько мегабайт).

==== Симуляция и анализ стратегий слияния данных ====

'''Руководитель''': [mailto:milovidov@yandex-team.ru Алексей Николаевич Миловидов]

В системе для обеспечения высокой пропускной способности при вставке данных используются различные вариации техники [https://en.wikipedia.org/wiki/Log-structured_merge-tree log structured merge tree], что приводит к эффекту, известному как write amplification: когда реальных объем записываемых данных на диск кратно превосходит объем данных, вставленный в систему. Причина такого эффекта -- необходимость фоновых слияний данных для предотвращения деградации производительности чтения. В данной работе предлагается разработать симулятор фоновых слияний, а также проанализировать различные стратегии слияния с точки зрения различных метрик эффективности.

==== Автоматизация тестирования производительности ====

'''Руководитель''': [mailto:milovidov@yandex-team.ru Алексей Николаевич Миловидов]

В данной работе предлагается разработать и реализовать фреймворк для автоматического тестирования производительности различных компонент системы. Создаваемый фреймворк может быть использован для:

* регрессионных тестов производительности (основное применение);
* сравнение версий компилятора и флагов сборки, сравнение библиотек, приёмка новых версий;
* тестирование железа, а также настроек ОС, получение рейтинга производительности с точки зрения ClickHouse;
* просмотр динамики изменения производительности с течением времени по мере разработки.

=== Планировщик ресурсов кластера ===

В системе [https://habrahabr.ru/company/yandex/blog/311104/ YT] одна из наиболее значимых компонент -- это планировщик вычислений. Именно он отвечает за распределение ресурсов кластера между пользователями с учетом их требований и желаемых гарантий (зачастую, противоречивых). От эффективности работы планировщика зависит общая эффективность работы кластера и удовлетворенность пользователей. Для проведения оффлайн-экспериментов над алгоритмами планировщика был разработан симулятор, использующий "трейс" событий, снятый с реального кластера (запуск вычислений, освобождение вычислительных ресурсов, потеря вычислений в результате сбоя, и др.). Ниже представлены возможные направления для последующих исследований и улучшений данной функциональности.

==== Улучшение симулятора ====

'''Руководитель''': [mailto:ignat@yandex-team.ru Игнатий Игоревич Колесниченко]

В текущей версии симулятора известен ряд недоработок, существенно влияющих на качество симуляции. Например, текущий симулятор не учитывает зависимость вычислений между собой (когда выход одного вычисления используется как вход для другого). За счет использования метаинформации (имя пользователя, время начала/окончания вычислений, именование входных/выходных данных) можно было бы восстановить данные зависимости, что позволит существенно улучшить качество симуляции и, соответственно, качество вычисляемых метрик для цепочек вычислений.

==== Анализ различных стратегий вытеснения ====

'''Руководитель''': [mailto:ignat@yandex-team.ru Игнатий Игоревич Колесниченко]

Один из механизмом для обеспечения честности распределения ресурсов -- это вытеснение (preemption) вычислений. Однако, вытеснение части MR-вычисления подразумевает потерю выполненной работы, так как результат вычисления никуда не сохраняется. В данной работе предлагается провести анализ различных стратегий вытеснения и их влияния на различные метрики качества.

==== Учет истории потребления ресурсов ====

'''Руководитель''': [mailto:ignat@yandex-team.ru Игнатий Игоревич Колесниченко]

Текущая стратегия планирования HDRF (hierarchical dominant resource fairness) никак не учитывает историю потребления ресурсов кластера, что, например, дает преимущство пользователям, постоянно запускающим какие-либо вычисления. В данной работе предлагается проанализировать разные способы учета истории потребления ресурсов, вывести метрики качества.

=== Алгоритм консенсуса без явно выделенного мастера ===

Современные системы и сервисы требуют отказоустойчивого поведения на всех уровнях. Как правило, такие системы крайне сложны для понимания, так как нельзя полагаться на различные допущения о временных интервалах посылки сообщений, уметь работать с отказами оборудования, а также сохранять доступность при потерях связности между частями системы. Асинхронная природа посылки сообщений также усложняет взаимодействие между компонентами. Для упрощения взаимодействия применяют достаточно сложные алгоритмы репликации для получения отказоустойчивого состояния, распределенного между узлами системы. Алгоритмы консистентного изменения распределенного состояния называют алгоритмами консенсуса.

Как правило, все существующие на сегодняшний день алгоритмы в той или иной степени используют выделенный мастер-узел для выполнения основной части работы по сохранению консистентности. Вам предлагается исследовать уникальный алгоритм консенсуса без мастера. Уникальность состоит в полном отказе от традиционных методов достижения консенсуса, позволяя добиться уникальных характеристик систем, работающих на основе такого алгоритма.

Так как алгоритм полностью новый, то любые исследования в этой области представляют несомненный интерес. Фактически -- передний край науки.

==== Формальная спецификация с использованием TLA+ ====

'''Руководитель''': [mailto:gridem@yandex-team.ru Григорий Викторович Демченко]

Многие аспекты распределенных алгоритмов и систем не являются интуитивно понятными (параллельность исполнения, переупорядочивание событий), что приводит к труднодиагностируемым ошибкам в реализациях. В рамках данной работы предлагается разработать формальную спецификацию алгоритма консенсуса с использованием языка [http://research.microsoft.com/en-us/um/people/lamport/tla/tla.html TLA+].

==== Реализация алгоритма и экспериментальная оценка ====

'''Руководитель''': [mailto:gridem@yandex-team.ru Григорий Викторович Демченко]

В данной работе вам предлагается реализовать предлагаемый алгоритм, проверить его корректность и оценить производительность в различных интересных с точки зрения практики сценариях, например:

* междатацентровая репликация с существенно различными временами >100мс между узлами;
* внутридатацентровая репликация с временами <1мс;
* поведение в плохих сетях (выпадание пакетов, неопределенные задержки с доставкой);
* использование протокола UDP вместо TCP для обмена сообщениями;
* batching запросов;
* стабильность и производительность при выпадении/добавлении узлов;
* замеры для различного числа узлов, оценка деградации производительности с ростом числа узлов;
* сравнение производительности с существующими алгоритмами консенсуса.

=== Физическое хранение данных ===

При чтении/записи данных с современных облаков / распределенных файловых систем обычно задействовано много программных слоев: типизированное кодирование, компрессия, erasure-кодирование. Данный блок тем посвящен экспериментальному анализу различных аспектов систем хранения данных.

==== Разработка системы оценки алгоритмов сжатия ====

'''Руководитель''': [mailto:ignat@yandex-team.ru Игнатий Игоревич Колесниченко], [mailto:sandello@yandex-team.ru Иван Витальевич Пузыревский], [mailto:psushin@yandex-team.ru Павел Андреевич Сушин]

Наиболее часто алгоритмы сжатия сравнивают по скорости сжатия/расжатия и коэффициенту сжатия. Однако, данные характеристики варьируются в зависимости от конкретных входных данных, железа, и ряда других факторов. В данной работе предлагается систематически подойти к вопросу и реализовать фреймворк для оценки алгоритмов сжатия, с помощью которого можно быстро получить исчерпывающий анализ производительности на конкретном железе/на конкретных данных.

==== Сравнительный анализ различных алгоритмов erasure-кодирования ====

'''Руководитель''': [mailto:ignat@yandex-team.ru Игнатий Игоревич Колесниченко]

Для экономии дискового места при хранении данных используются erasure-коды, позволяющие переживать отказ отдельных дисков/машин с небольшими накладными расходами (1.33x..1.5x; например, [https://ru.wikipedia.org/wiki/Код_Рида_—_Соломона коды Рида-Соломона]). По сравнению с обычной репликацией данных, erasure-коды более ресурсозатратны в процессе восстановления данных. За последние несколько лет появился ряд новых алгоритов erasure-кодирования, представляющих различные компромиссы в пространстве решений. В данной работе предлагается провести сравнительный и экспериментальный анализ данного класса алгоритмов.

==== Экспериментальный анализ алгоритмов типизированного кодирования ====

'''Руководители''': [mailto:sandello@yandex-team.ru Иван Витальевич Пузыревский], [mailto:psushin@yandex-team.ru Павел Андреевич Сушин]

В дополнение к общим алгоритмам сжатия, работающим на уровне байт, на практике используются также типизированные кодеки, позволяющие добиться более высокой степени сжатия данных. К примеру, использование [https://en.wikipedia.org/wiki/Run-length_encoding RLE], [https://en.wikipedia.org/wiki/Shannon–Fano–Elias_coding кодов Элиса-Фано] для кодирования чисел; использование сжатых словарей для кодирования строк. Иногда кодированое представление допускает выполнение операций (например, поиска) поверх сжатых данных, без промежуточного расжатия; или допускает быстрый случайный доступ. В данной работе предлагается провести сравнительный и экспериментальный анализ различных кодеков для различных типов данных.

==== Анализ стратегий размещения реплик данных на кластере ====

'''Руководитель''': [mailto:ignat@yandex-team.ru Игнатий Игоревич Колесниченко], [mailto:psushin@yandex-team.ru Павел Андреевич Сушин]

Распределенные системы хранения данных почти всегда разбивают хранимые данные на блоки, которые размещаются на кластере согласно какой-либо стратегии. Например, на практике используется случайная стратегия размещения, стратегия размещения с учетом стоек/ЦОДов, с группировкой/без. Основные количественные метрики различных стратегий -- это вероятность потери данных; среднее количество потерянных блоков; среднее количество частично недоступных групп блоков (файлов). В данной работе предлагается разработать симулятор, моделирующий отказы узлов кластера по историческим данным, собранным с реального кластера, и оценивающий метрики качества различных стратегий.

==== Анализ кеширования данных в кластерах с различной нагрузкой ====

'''Руководитель''': [mailto:sandello@yandex-team.ru Иван Витальевич Пузыревский]

Обычно на каждой машине в составе распределенной файловой системы присутствует локальный кеш данных. Данный кеш должен устойчиво работать при различных типах нагрузки на файловую систему. В частности, кеш должен быть устойчив к "вымыванию" -- вытеснению горячих данных данных при единоразовом чтении крупного объема данных (существенно превышающего объем доступной памяти). В рамках данной работы предлагается проанализировать эффективность различных стратегии кеширования по историческим данным, собранным с реального кластера.

=== Остальные темы ===

==== Формальная спецификация HDFS ====

'''Руководитель''': [mailto:sandello@yandex-team.ru Иван Витальевич Пузыревский]

HDFS (Hadoop Distributed File System) -- распределенная отказоустойчивая файловая система. В данной работе предлагается разработать и проверить формальную спецификацию системы с помощью [http://research.microsoft.com/en-us/um/people/lamport/tla/tla.html TLA+].

==== Автоматическое определение проблемных узлов кластера ====

'''Руководитель''': [mailto:psushin@yandex-team.ru Павел Андреевич Сушин]

В больших кластерах существенно повышается вероятность деградации одного узла кластера: иногда вследствие неудачно распределившейся нагрузки, иногда вследствие аппаратных сбоев, иногда вследствие программных ошибок. Иногда деградация обусловлена не самим узлом, а проблемами сетевой связности. Обнаруживать проблемные узлы кластера важно для обеспечения превентивной защиты (проблемные узлы чаще выходят из строя) и для уменьшения времени отклика системы (например, не читать данные с таких узлов). В рамках данной работы предлагается разработать метод автоматического определения проблемных узлов кластера на основе доступных системных метрик производительности. Для решения задачи можно использовать методы машинного обучения.

==== Имитационное моделирование вычислительных ресурсов и распределенных вычислительных инфраструктур ====

'''Руководитель''': [mailto:oleg.sukhoroslov@gmail.com Олег Викторович Сухорослов]

Имитационное моделирование активно используется в исследованиях распределенных систем, заменяя натурные эксперименты и позволяя воспроизводимым образом сравнивать между собой различные методы (например, алгоритмы планирования задач). В данной работе объектом моделирования являются распределенные вычислительные инфраструктуры, состоящие из нескольких автономных ресурсов различного типа (кластеров, гридов, облаков, персональных компьютеров). Для реалистичного моделирования таких инфраструктур требуется хорошо моделировать отдельные ресурсы, их планировщики, нагрузку и доступность, а также передачу данных по сети. Для данных целей предлагается использовать [http://simgrid.gforge.inria.fr/ SimGrid], фреймворк для создания симуляторов распределенных систем. Требуется улучшить имеющиеся или реализовать новые модели ресурсов (например, кластер с планировщиком и внутренним потоком заданий), а также интегрировать их в единую модель. Возможны отдельные подтемы и работа в команде.

==== Симуляция и сравнительный анализ алгоритмов планирования задач в распределенных вычислительных системах ====

'''Руководитель''': [mailto:oleg.sukhoroslov@gmail.com Олег Викторович Сухорослов]

Планирование выполнения задач в распределенных системах в постановках, представляющих практический интерес, является NP-полной задачей. За последнее десятилетие было предложено множество алгоритмов планирования, основанных на различного рода (мета)эвристиках и ориентированных на различные классы приложений (bag of tasks, parallel job, workflow) и систем. При этом недостаточно хорошо изучен вопрос об области применимости и сравнительной эффективности данных алгоритмов в различных ситуациях. В данной работе предлагается реализовать на базе существующего симулятора наиболее известные алгоритмы и сравнить их друг с другом путем проведения имитационных экспериментов для различных типов приложений и систем. Возможны отдельные подтемы и работа в команде.

==== Исследование и экспериментальная оценка технологий распределенных вычислений на основе pilot jobs ====

'''Руководитель''': [mailto:oleg.sukhoroslov@gmail.com Олег Викторович Сухорослов]

При реализации крупномасштабных вычислений на базе распределенных ресурсов с собственными планировщиками часто используется стратегия pilot jobs. Данная стратегия, заключающаяся в запуске на ресурсах заданий-агентов с последующим динамическим распределением по ним задач, позволяет уменьшить влияние задержек в очередях ресурсов и накладные расходы на запуск задач. В настоящее время существует несколько технологий (pilot job frameworks), реализующих данный подход, например HTCondor, DIANE, BigJob, Swift, DIRAC. В данной работе предлагается изучить и сравнить между собой несколько данных технологий путем их развертывания и проведения экспериментов на тестовой инфраструктуре. Особое внимание планируется уделить сравнению производительности различных решений, оценке их масштабируемости, выявлению узких мест и поиску способов их устранения.

==== Использование простаивающих вычислительных ресурсов для распределенных вычислений на базе платформы Everest ====

'''Руководитель''': [mailto:oleg.sukhoroslov@gmail.com Олег Викторович Сухорослов]

Платформа [http://everest.distcomp.org/ Everest], разрабатываемая в ИППИ РАН, позволяет публиковать в виде веб-сервисов вычислительные приложения и запускать через веб-интерфейс расчеты на произвольных комбинациях внешних ресурсов, подключенных пользователями к платформе. Интеграция ресурсов с платформой реализована на основе специально разработанного агента, который выполняется на стороне ресурса. В настоящее время агент поддерживает запуск задач на одиночной машине (в монопольном режиме) и кластере (с приоритетом обычного пользователя), не учитывая внешнюю нагрузку на ресурс. В данной работе предлагается реализовать поддержку использования ресурса только в моменты его простоя, что требует мониторинга текущей загрузки ресурса и динамического управления задачами. При этом планируется использовать опыт и наработки систем, ориентированных на использование простаивающих персональных компьютеров (BOINC, Condor).

==== Реализация универсального вычислительного агента для систем распределенных вычислений ====

'''Руководитель''': [mailto:oleg.sukhoroslov@gmail.com Олег Викторович Сухорослов]

Платформа [http://everest.distcomp.org/ Everest], разрабатываемая в ИППИ РАН, позволяет публиковать в виде веб-сервисов вычислительные приложения и запускать через веб-интерфейс расчеты на произвольных комбинациях внешних ресурсов, подключенных пользователями к платформе. Интеграция ресурсов с платформой реализована на основе специально разработанного агента, который выполняется на стороне ресурса. Агент написан на языке Python с использованием фреймворка Tornado и реализует асинхронную обработку, запуск и мониторинг поступающих задач, загрузку данных и обмен сообщениями с платформой. В данной работе предлагается реализовать принципиально новую версию агента на языке Go. Помимо имеющейся функциональности планируется реализовать прямое взаимодействие по сети между агентами, автоматическое обновление кода агента, а также обеспечить универсальность агента для его использования с другими системами распределенных вычислений.

==== Исследование и реализация методов прямой передачи данных по сети между узлами за NAT и межсетевыми экранами ====

'''Руководитель''': [mailto:oleg.sukhoroslov@gmail.com Олег Викторович Сухорослов]

При реализации распределенных вычислений в глобальной сети часто возникает задача передачи данных между двумя машинами или ресурсами, находящимися в различных географических точках. При этом зачастую между данными машинами в сети находятся устройства, выполняющие трансляцию адресов (NAT) и межсетевые экраны, что затрудняет установление прямого соединения. Подход, использующий промежуточный сервер для обмена данными, обладает низкой эффективностью в случае передачи больших объемов данных или частых обменов. В данной работе предлагается изучить существующие методы прямой передачи данных между хостами в глобальной сети, реализовать некоторые из этих методов и экспериментально сравнить их эффективность.

==== Исследование и экспериментальная оценка методов обеспечения отказоустойчивости MPI-приложений ====

'''Руководитель''': [mailto:oleg.sukhoroslov@gmail.com Олег Викторович Сухорослов]

Одной из основных проблем, связанных с использованием в будущем мощных вычислительных систем уровня [https://en.wikipedia.org/wiki/Exascale_computing exascale], является обеспечение устойчивости параллельных программ к отказам. Поскольку данные системы могут включать миллионы процессоров, выполняющих до миллиарда потоков, то ожидается что в них с высокой частотой (до нескольких раз в час) будут возникать всевозможные сбои на аппаратном и программном уровнях, приводящие к падению процессов или потере данных. Традиционные методы, такие как checkpointing, становятся неэффективными в условиях, когда сохранение состояния требует времени сопоставимого с частотой отказов. В настоящее время активно ведется разработка новых методов, нацеленных на решение данной проблемы, в частности применительно к выполнению MPI-программ. В данной работе предлагается изучить данные методы, провести их экспериментальную оценку и, возможно, улучшить.

НИС Распределенные системы (4 курс, 2017)

2017-09-07T08:22:22Z

Sandello: /* Информация про семинар */

== Информация про семинар ==
В рамках научно-исследовательского семинара по распределенным системам изучаются основные понятия, принципы и результаты предметной области.

Контакты: [mailto:sandello@gmail.com Пузыревский Иван Витальевич]

=== Оценка ===

[TBD]

Текущая таблица с оценками, ведомостью и заданиями: https://docs.google.com/spreadsheets/d/1YnHTdQ3RvAfMdMk2PMUYac1jM71-ApJBoWvB4w_Qkrc/edit?usp=sharing

== Занятия ==

=== 1 модуль ===

'''7 сентября'''

Вводное занятие.

НИС Распределенные системы (4 курс, 2017)

2017-09-04T11:39:01Z

== Информация про семинар ==
В рамках научно-исследовательского семинара по распределенным системам изучаются основные понятия, принципы и результаты предметной области.

Контакты: [mailto:sandello@gmail.com Пузыревский Иван Витальевич]

=== Оценка ===

[TBD]

Текущая таблица с оценками и ведомостью: ...

== Занятия ==

=== 1 модуль ===

'''7 сентября'''

Вводное занятие.

НИС Распределенные системы (3 курс, 2017)

2017-09-04T11:38:44Z

== Информация про семинар ==
В рамках научно-исследовательского семинара по распределенным системам изучаются основные понятия, принципы и результаты предметной области.

Контакты: [mailto:sandello@gmail.com Пузыревский Иван Витальевич]

=== Оценка ===

[TBD]

Текущая таблица с оценками и ведомостью: https://docs.google.com/spreadsheets/d/16Z74fhT_TnNscsVviU9KU2mVlaMrmX3weQ6ku5jGGbk/edit?usp=sharing

== Занятия ==

=== 1 модуль ===

'''4 сентября'''

Вводное занятие. Модель распределенных вычислений.