https://wiki.cs.hse.ru/api.php?action=feedcontributions&feedformat=atom&user=Ivsavin 2026-09-21T14:27:51Z Вклад MediaWiki 1.43.9 https://wiki.cs.hse.ru/index.php?title=%D0%91%D0%B0%D0%B7%D1%8B_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_2&diff=22892 2017-03-21T07:34:34Z

<p>Ivsavin: </p> <hr /> <div>== Базы данных ==<br /> <br /> Продвинутый курс по БД для специальности РС.<br /> <br /> === Лекции ===<br /> * [https://docs.google.com/presentation/d/1kS8eyUqSXmVZ7_5AS0FdbAER94huceyGFv8UtoAvmyM/edit?usp=sharing Принципы хранения информации]<br /> * [https://docs.google.com/presentation/d/1PxM-2U72a-VRo5x3kHU54o18jQ36tC0zggN-_XnzNDk/edit?usp=sharing Представление элементов данных]<br /> * [https://docs.google.com/presentation/d/1XkL6jWOBm3Ew1oHGJygNblYBTTgPDFjbs9CFWFFwzWo/edit?usp=sharing Структуры индексов]<br /> * [https://docs.google.com/presentation/d/1yliSRkrgMGYMs7_5k26rriQIy4Vw0DFRJJeiMsNMqSg/edit?usp=sharing Структуры специализированных индексов]<br /> * [https://docs.google.com/presentation/d/1_o6b-uSP7lrucN4e-k50QlDqQCkTILvU02bpYzLbINs/edit Выполнение запросов 1]<br /> * [https://docs.google.com/presentation/d/1PDINXQol-bIQ9UcB3fvSM_s4ZqpA1Bgg-c1KjSJXYKw/edit Выполнение запросов 2]<br /> * [https://docs.google.com/presentation/d/19jvzM4mzmw8TcC1rpldws-SDmzmK2I7zzyaxxBxme1k/edit?usp=sharing Оптимизация запросов]<br /> * [https://docs.google.com/presentation/d/1rXA5gpz-fiTwklOooeFznk6_q9pN_1vaIOvy6i1c1o8/edit?usp=sharing Транзакции и бэкапы]<br /> * [https://docs.google.com/presentation/d/1v8S-0VKJkJc--1CI8rfJc3D0qrL5hCP4FnfXNSyLD1I/edit?usp=sharing Параллельное исполнение запросов 1]<br /> * [https://docs.google.com/presentation/d/1yRbtjBk_hQSBqUMDTia-quDZGn9T_K1hWkedoa3FfbE/edit?usp=sharing Параллельное исполнение запросов 2]<br /> * [https://docs.google.com/presentation/d/1IDKoJFvSnJ0JJe_gRaLCSvIKW6hqrUhr1iSe7fGgS-E/edit?usp=sharing Дополнение к управлению транзакциями]<br /> <br /> === Итоговый тест ===<br /> [[Базы данных 2/Вопросы]]<br /> <br /> === Практические работы ===<br /> <br /> Стартовый код и описание: [[Базы данных 2/simpledb]]<br /> <br /> В рамках курса нужно написать свою СУБД, в которой реализовать несколько ключевых механизмов, рассматриваемых в курсе, и обеспечивающих стабильную работу системы.<br /> <br /> * Задание 1: Взаимодействие с памятью<br /> * Задание 2: Индексы<br /> * Задание 3: Валидация и план запроса<br /> * Задание 4: Транзакции<br /> * Задание 5: Параллельное выполнение запросов<br /> <br /> Для практических заданий используется Java 8, можно пользоваться преимуществами этой версии (lambda, stream, работа со временем и тд, подробнее http://www.journaldev.com/2389/java-8-features-with-examples и https://www.tutorialspoint.com/java8/java8_overview.htm)<br /> Может быть полезным: http://web.mit.edu/6.005/www/sp16/<br /> <br /> Для тестирования:<br /> * http://site.mockito.org/<br /> * http://stackoverflow.com/questions/22697/whats-the-best-mock-framework-for-java<br /> <br /> === Оценки ===<br /> * https://docs.google.com/spreadsheets/d/1qCqCfZ04Fa6rUCcqlbWJ51jaVC6erSFV3vPRNYOo2Ks/edit#gid=0<br /> <br /> === Расчет оценки ===<br /> Вклад в оценку:<br /> * Практические задания (4 штуки) - 60%, для зачета обязательно нужно выполнить все задания<br /> * Несколько (три) тестов в конце второй пары - 20%<br /> * [[Базы данных 2/Вопросы|Итоговый тест]] (как домашняя работа) - 20%<br /> * Дополнительные задания на разработку (если пропустили тесты) - 20%<br /> <br /> У практических заданий есть дедлайны, каждый просроченный день после дедлайна дает -0.5 к оценке за задание, пока она не станет равна 4.<br /> <br /> === Литература ===<br /> Основная литература:<br /> * Системы баз данных. Полный курс. Г. Гарсиа-Молина, Д. Д. Ульман, Д. Уидом, 2004, Главы: 11-19 - частично устаревшее издание<br /> * Database Systems. The Complete Book, H.García-Molina, J.Ullman, J.Widom 2nd Edition, 2009, Главы 13-20 - более новое издание, но только на английском<br /> <br /> Дополнительная литература:<br /> * &quot;Architecture of a Database System&quot; J.M.Hellerstein, M.Stonebraker, J.Hamilton, 2007<br /> * https://en.wikibooks.org/wiki/Design_of_Main_Memory_Database_System<br /> * http://codecapsule.com/tag/key-value-store/<br /> <br /> <br /> === Контакты ===<br /> * Почта: acccko@gmail.com<br /> * Tg: @acccko</div>

Ivsavin https://wiki.cs.hse.ru/index.php?title=%D0%91%D0%B0%D0%B7%D1%8B_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_2/simpledb&diff=22891 2017-03-21T06:30:05Z

<p>Ivsavin: </p> <hr /> <div>=== Задания ===<br /> <br /> ====Задание 1====<br /> <br /> * В СУБД есть чтение доступных таблиц (схем) при старте сервера.<br /> * При выполнении запроса создается (на данном шаге можно не парсить запрос, а забить предустановленные значения) QueryPlan с операцией чтения из таблицы. QueryPlan содержит операцию full_scan.<br /> * BufferManager, получив QueryPlan, начинает считывать поблочно из файла с данными и формировать список кортежей для результата.<br /> <br /> Замечания:<br /> <br /> * В QueryResult атрибут schema указан как список, но на самом деле в результате выполнения запроса нужно иметь только одну схему.<br /> * Для перехода к следующему блоку можно также использовать и смещение в текущем файле данных.<br /> * Так как схема отношения уже определена, дополнительно не нужно хранить ее в блоках или картежах данных. Минимально достаточные данные в блоке: указатель/смещение на следующий блок, внутренняя таблица смещения кортежей, кортежи. В кортежах только данные. Для данных переменной длины (VARCHAR) допустимо использовать любой из методов хранения: указание в первом байте размера поля или указание управляющего символа в конце записи.<br /> <br /> '''Задание до 14 февраля.'''<br /> <br /> Если есть вопросы, то пишите на почту преподавателю: acccko@gmail.com<br /> <br /> ''' Для сдачи задания используйте форму: https://goo.gl/forms/81yE6BcY7tZP3wVm2 ''' <br /> <br /> ====Задание 2====<br /> * Реализовать вставку кортежей (формирование страниц) и запись страниц на диск. Для операции добавления нового кортежа достаточно считать в память последний страницу отношения (или реализовать поиск достаточного свободного места в страницах), добавить в него кортеж и записать страницу на диск.<br /> * Реализовать поддержку В-дерева: операции добавление, удаление, поиск по дереву.<br /> * Реализовать поддержку некластерного индекса (кластерного опционально)<br /> <br /> Замечания:<br /> * Для вставки достаточно брать случайные данные, не парсить запрос. Например, исходя из того, встречается ли в запросе слово insert или select, выполнять операции добавления или выборки.<br /> * Количество ссылок в узле/листе дерева определяется исходя из размера страницы на диске.<br /> <br /> <br /> Информацию об индексах можно хранить в отдельном файле или файлах.<br /> <br /> '''Задание до 1 марта.'''<br /> <br /> Для сдачи задания используйте форму: https://goo.gl/forms/gWhAi0fkObLA1uov2<br /> <br /> ====Задание 3====<br /> <br /> ''Парсинг запроса, составление плана. Возможно, будет пропущено.''<br /> <br /> ====Задание 4====<br /> <br /> Добавить менеджера транзакций, журнал и менеджера восстановления. Реализация поддержки транзакций.<br /> <br /> * Запись журнала в режиме undo/redo для списка запросов, обозначенных как одна транзакция<br /> * Алгоритм восстановления по журналу<br /> <br /> Пояснения:<br /> * Для обозначения транзакции нужно передать в BufferManager последовательно запросы: BEGIN, UPDATE ..., UPDATE ..., COMMIT. Можно использовать предустановленные результаты разбора запросов (не парсить). <br /> * BufferManager прежде чем совершить запрос, должен обратиться к TransactionManager и передать ему запрос и идентификатор клиента (можно использовать номер треда). В свою очередь TransactionManager, получив команду BEGIN, должен зафиксировать начало транзакции и затем обрабатывать все последующие операции. Как только TransactionManager успешно выполнит свою работу с запросов, BufferManager может выполнять свои действия (саму операцию). Как только BufferManager выполнил операцию, он обращается к TransactionManager, чтобы тот мог завершить действия по логированию операции.<br /> * Лог транзакций можно вести в текстовом виде, указывая простые команды типа START transaction_id, WRITE disk_address_to_field old_value new_value, COMMIT transaction_id<br /> * Во время запуска сервера должна быть возможность указать, что этот запуск в режиме восстановления. При этом RecoverManager должен считать журнал и выполнить операции согласно алгоритму восстановления.<br /> <br /> Замечания:<br /> * Механизм контрольных точек можно не реализовывать<br /> * Файл журнала можно хранить там же где данные, например, в файле transactions.log<br /> <br /> <br /> '''Задание до 14 марта'''<br /> <br /> Для сдачи задания используйте форму: https://docs.google.com/forms/d/e/1FAIpQLSek7ffoAvyeErRCXFkong4dvpqKbV4OLJ8KkgJ1inePig2fGw/viewform?usp=sf_link<br /> <br /> ====Задание 5====<br /> <br /> Параллельная обработка запросов.<br /> <br /> * Реализовать планировщик выполнения операций с блокированием: обработку транзакций перед отправкой к BufferManager для исполнения, таблицу блокировок с очередью из операций.<br /> <br /> Пояснения:<br /> * Нужно добавить SchedulePlanner, получающий операции транзакций от TransactionManager, переформировывающий расписание операций, и отправляющий его в BufferManager. SchedulePlanner также должен использовать таблицу блокировок и очередь транзакций для блокировки конкретных элементов данных (кортежей или отношений).<br /> * Используйте типы блокировок: shared, exclusive, update и сооветствующую матрицу возможностей блокировки.<br /> <br /> '''Задание до 24 марта'''<br /> <br /> Для сдачи задания используйте форму: https://docs.google.com/forms/d/e/1FAIpQLSfEayeVldmsxDjk2NlSU7DaicnlSnJWWhj8LBE0ZpbAa0y3Nw/viewform?usp=sf_link<br /> <br /> === Описание ===<br /> <br /> Описание пока что может отличаться от реального кода (какие-то взаимодействия еще не дописаны), но концепция скорее всего менять не будет.<br /> <br /> Есть Server (SocketServer), который может принять и обработать запрос (RequestHandler), затем отправить клиенту ответ.<br /> Запрос предварительно парсится на: управляюдище команды, DDL, DML.<br /> <br /> Если управляющая команда, то запрос уходит в ControlManager (там можно завершить соединение с клиентом exit)<br /> <br /> Если DDL, то запрос отправляется в SchemaManager (там можно запросить список отношений с колонками и индексами, а в будущем создавать и удалять их).<br /> <br /> Если запрос DML, то отправляется в QueryManager, который парсит запрос (с помощью QueryParser) и возвращает QueryPlan (список операций, типы операций и отношения, над которыми нужно их делать). Пример операции: table1, full_scan, condition.<br /> Результат работы QueryParser QueryManager отправляет в BufferManager, в котором происходят все операции. Если BufferManager нужны данные, которых нет в оперативной памяти, он используя SchemaManager отправляет запросы в DiskManager, который возвращает блоки с диска. Получив блоки (и записи в них) в BufferManager, тот считывает записи оттуда с помощью Row и отправляет наверх к QueryParser, тот в свою очередь отправляет результаты назад к CommandManager, который интерпретирует их и выводит в виде строки пользователю.<br /> <br /> При старте Server говорит SchemaManager, чтобы тот запустил свою инициализацию, по умолчанию это значит попросит BufferManager записать в оперативную мапять доступные схемы из файлов.<br /> <br /> SchemaManager работает с Schema, который состоит из Column, у которых есть название, тип и размер.<br /> <br /> === Код ===<br /> <br /> * Стартовый код расположен в git-репозитории: https://bitbucket.org/qs/simpledb<br /> <br /> === Описание взаимодействия ===<br /> <br /> На данном этапе нужно реализовать подгрузку схемы отношения и взаимодействие менеджера памяти с диском.<br /> <br /> Предлагается использовать следующую структуру файловой системы:<br /> <br /> Корень базы<br /> --- table.data - файл со страницами с данными<br /> --- table.meta - файл со схемой отношения<br /> <br /> Формат схемы отношений<br /> <br /> Можно ограничиться читабельным форматом, например, перечислить через точку с запятой имя поля, тип и размер (если он есть):<br /> <br /> id;int<br /> name;varchar;10<br /> dt;datetime<br /> <br /> Можно также хранить тип в виде числа объявленного в Const.<br /> <br /> Для данного задания точкой входа является BufferManager.executeQuery, который принимает queryPlan - список из операций (Операция определяется как отношение, тип операции (на данном этапе это full_scan) и предикат).<br /> <br /> Адресацию в таблице трансляции в BufferManager можно сделать относительно просто воспринимаемой: в качестве ключа в bufferTable нужно указать имя файла данных и смешение относительно начала файла, например: <br /> <br /> table1.data:32<br /> <br /> executeQuery запрашивает у SchemaManager файл с данными. Так как нужно выполнить операцию full_scan, то первоначальный адрес страницы, которую нужно загрузить в память будет table1.data:0, нужно проверить, загружена ли она в таблицу трансляции, и если нет, то с помощью DiskManager считать ее.<br /> <br /> Также нужно, чтобы у страницы (Page) была ссылка на следующую страницу.<br /> <br /> <br /> 1. BufferManager должен использовать свое адресное пространство при загрузке данных с диска (строить таблицу трансляции). Физический адрес - путь к файлу и смещение для перехода к нужному блоку.<br /> <br /> 2. Добавить команду добавления записей в таблицу. При этом расположение записей на блоке должно быть оптимальным для схемы.<br /> <br /> Как только блок заполнен, его нужно сохранить на диск. Если блок изменен, то через несколько операций (или по таймеру) он также долже быть сохранен на диск.<br /> <br /> Блок должен относиться к одному отношению. В блоке должны быть: ссылка на схему отношения, ссылка на следующий блок, бит переполнения (используется, если запись не поместилась в блок целиком)<br /> <br /> Схема отношения должна содержать адрес файла, в котором находятся блоки с записями.</div>

Ivsavin https://wiki.cs.hse.ru/index.php?title=%D0%91%D0%B0%D0%B7%D1%8B_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_2&diff=22890 2017-03-21T06:17:32Z

<p>Ivsavin: </p> <hr /> <div>== Базы данных ==<br /> <br /> Продвинутый курс по БД для специальности РС.<br /> <br /> === Лекции ===<br /> * [https://docs.google.com/presentation/d/1kS8eyUqSXmVZ7_5AS0FdbAER94huceyGFv8UtoAvmyM/edit?usp=sharing Принципы хранения информации]<br /> * [https://docs.google.com/presentation/d/1PxM-2U72a-VRo5x3kHU54o18jQ36tC0zggN-_XnzNDk/edit?usp=sharing Представление элементов данных]<br /> * [https://docs.google.com/presentation/d/1XkL6jWOBm3Ew1oHGJygNblYBTTgPDFjbs9CFWFFwzWo/edit?usp=sharing Структуры индексов]<br /> * [https://docs.google.com/presentation/d/1yliSRkrgMGYMs7_5k26rriQIy4Vw0DFRJJeiMsNMqSg/edit?usp=sharing Структуры специализированных индексов]<br /> * [https://docs.google.com/presentation/d/1_o6b-uSP7lrucN4e-k50QlDqQCkTILvU02bpYzLbINs/edit Выполнение запросов 1]<br /> * [https://docs.google.com/presentation/d/1PDINXQol-bIQ9UcB3fvSM_s4ZqpA1Bgg-c1KjSJXYKw/edit Выполнение запросов 2]<br /> * [https://docs.google.com/presentation/d/19jvzM4mzmw8TcC1rpldws-SDmzmK2I7zzyaxxBxme1k/edit?usp=sharing Оптимизация запросов]<br /> * [https://docs.google.com/presentation/d/1rXA5gpz-fiTwklOooeFznk6_q9pN_1vaIOvy6i1c1o8/edit?usp=sharing Транзакции и бэкапы]<br /> * [https://docs.google.com/presentation/d/1v8S-0VKJkJc--1CI8rfJc3D0qrL5hCP4FnfXNSyLD1I/edit?usp=sharing Параллельное исполнение запросов 1]<br /> * [https://docs.google.com/presentation/d/1yRbtjBk_hQSBqUMDTia-quDZGn9T_K1hWkedoa3FfbE/edit?usp=sharing Параллельное исполнение запросов 2]<br /> <br /> === Итоговый тест ===<br /> [[Базы данных 2/Вопросы]]<br /> <br /> === Практические работы ===<br /> <br /> Стартовый код и описание: [[Базы данных 2/simpledb]]<br /> <br /> В рамках курса нужно написать свою СУБД, в которой реализовать несколько ключевых механизмов, рассматриваемых в курсе, и обеспечивающих стабильную работу системы.<br /> <br /> * Задание 1: Взаимодействие с памятью<br /> * Задание 2: Индексы<br /> * Задание 3: Валидация и план запроса<br /> * Задание 4: Транзакции<br /> * Задание 5: Параллельное выполнение запросов<br /> <br /> Для практических заданий используется Java 8, можно пользоваться преимуществами этой версии (lambda, stream, работа со временем и тд, подробнее http://www.journaldev.com/2389/java-8-features-with-examples и https://www.tutorialspoint.com/java8/java8_overview.htm)<br /> Может быть полезным: http://web.mit.edu/6.005/www/sp16/<br /> <br /> Для тестирования:<br /> * http://site.mockito.org/<br /> * http://stackoverflow.com/questions/22697/whats-the-best-mock-framework-for-java<br /> <br /> === Оценки ===<br /> * https://docs.google.com/spreadsheets/d/1qCqCfZ04Fa6rUCcqlbWJ51jaVC6erSFV3vPRNYOo2Ks/edit#gid=0<br /> <br /> === Расчет оценки ===<br /> Вклад в оценку:<br /> * Практические задания (4 штуки) - 60%, для зачета обязательно нужно выполнить все задания<br /> * Несколько (три) тестов в конце второй пары - 20%<br /> * [[Базы данных 2/Вопросы|Итоговый тест]] (как домашняя работа) - 20%<br /> * Дополнительные задания на разработку (если пропустили тесты) - 20%<br /> <br /> У практических заданий есть дедлайны, каждый просроченный день после дедлайна дает -0.5 к оценке за задание, пока она не станет равна 4.<br /> <br /> === Литература ===<br /> Основная литература:<br /> * Системы баз данных. Полный курс. Г. Гарсиа-Молина, Д. Д. Ульман, Д. Уидом, 2004, Главы: 11-19 - частично устаревшее издание<br /> * Database Systems. The Complete Book, H.García-Molina, J.Ullman, J.Widom 2nd Edition, 2009, Главы 13-20 - более новое издание, но только на английском<br /> <br /> Дополнительная литература:<br /> * &quot;Architecture of a Database System&quot; J.M.Hellerstein, M.Stonebraker, J.Hamilton, 2007<br /> * https://en.wikibooks.org/wiki/Design_of_Main_Memory_Database_System<br /> * http://codecapsule.com/tag/key-value-store/<br /> <br /> <br /> === Контакты ===<br /> * Почта: acccko@gmail.com<br /> * Tg: @acccko</div>

Ivsavin https://wiki.cs.hse.ru/index.php?title=%D0%91%D0%B0%D0%B7%D1%8B_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_2/%D0%92%D0%BE%D0%BF%D1%80%D0%BE%D1%81%D1%8B&diff=22889 2017-03-21T06:16:14Z

<p>Ivsavin: </p> <hr /> <div><br /> '''Форма для сдачи задания: https://goo.gl/forms/qU2OcmBRvtfze5yC2<br /> <br /> Срок заполнения до конца 3 апреля 2017 года'''<br /> <br /> Список вопросов для удобства:<br /> <br /> # Перечислите основные функции СУБД.<br /> # Как организовать хранение BLOB на страницах памяти? Опишите процесс чтения BLOB во время выполнения запроса, указав возможные трудности и варианты их решения.<br /> # Опишите алгоритм выполнения запроса с диапазоном для kd-дерева. Когда и какие блоки с диска будут считаны?<br /> # Возможно ли поместить B-дерево в один блок на диске? Какие существуют варианты его структуры и размещения?<br /> # Опишите двухпроходный алгоритм соединения с хешированием? Покажите на примере: сколько операций чтения/записи блоков с диска будет совершено при произвольном объеме доступной памяти и размерами отношений для выполнения такой операции.<br /> # Какие этапы разбора запроса следует сделать СУБД, прежде чем она начнет выполнять в памяти операции, связанные с этим запросом? В чем задача каждого этапа, что подается на вход и что получается на выходе?<br /> # Что такое контрольная точка в контексте транзакций? Приведите пример динамического создания контрольных точек.<br /> # Опишите пример алгоритма восстановления по журналу транзакций, построенный методом undo/redo. В примере должны быть описаны не менее 3 транзакций с различным исходом на момент сбоя. <br /> # Какие проблемы решает планировщик расписаний? <br /> # Каковы функции графа предшествования? Предложите алгоритм проверки эквивалентности расписаний с помощью работы с графом предшествования. <br /> # Перечислите варианты архитектуры СУБД, в которых возможно параллельное выполнение нескольких транзакций (на менее 3). Для каждой укажите основное преимущество и за счет чего оно достигается.</div>

Ivsavin https://wiki.cs.hse.ru/index.php?title=%D0%91%D0%B0%D0%B7%D1%8B_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_2&diff=22888 2017-03-21T06:12:49Z

<p>Ivsavin: </p> <hr /> <div>== Базы данных ==<br /> <br /> Продвинутый курс по БД для специальности РС.<br /> <br /> === Лекции ===<br /> * [https://docs.google.com/presentation/d/1kS8eyUqSXmVZ7_5AS0FdbAER94huceyGFv8UtoAvmyM/edit?usp=sharing Принципы хранения информации]<br /> * [https://docs.google.com/presentation/d/1PxM-2U72a-VRo5x3kHU54o18jQ36tC0zggN-_XnzNDk/edit?usp=sharing Представление элементов данных]<br /> * [https://docs.google.com/presentation/d/1XkL6jWOBm3Ew1oHGJygNblYBTTgPDFjbs9CFWFFwzWo/edit?usp=sharing Структуры индексов]<br /> * [https://docs.google.com/presentation/d/1yliSRkrgMGYMs7_5k26rriQIy4Vw0DFRJJeiMsNMqSg/edit?usp=sharing Структуры специализированных индексов]<br /> * [https://docs.google.com/presentation/d/1_o6b-uSP7lrucN4e-k50QlDqQCkTILvU02bpYzLbINs/edit Выполнение запросов 1]<br /> * [https://docs.google.com/presentation/d/1PDINXQol-bIQ9UcB3fvSM_s4ZqpA1Bgg-c1KjSJXYKw/edit Выполнение запросов 2]<br /> * [https://docs.google.com/presentation/d/19jvzM4mzmw8TcC1rpldws-SDmzmK2I7zzyaxxBxme1k/edit?usp=sharing Оптимизация запросов]<br /> * [https://docs.google.com/presentation/d/1rXA5gpz-fiTwklOooeFznk6_q9pN_1vaIOvy6i1c1o8/edit?usp=sharing Транзакции и бэкапы]<br /> * [https://docs.google.com/presentation/d/1v8S-0VKJkJc--1CI8rfJc3D0qrL5hCP4FnfXNSyLD1I/edit?usp=sharing Параллельное исполнение запросов 1]<br /> * [https://docs.google.com/presentation/d/1yRbtjBk_hQSBqUMDTia-quDZGn9T_K1hWkedoa3FfbE/edit?usp=sharing Параллельное исполнение запросов 2]<br /> <br /> === Практические работы ===<br /> <br /> Стартовый код и описание: [[Базы данных 2/simpledb]]<br /> <br /> В рамках курса нужно написать свою СУБД, в которой реализовать несколько ключевых механизмов, рассматриваемых в курсе, и обеспечивающих стабильную работу системы.<br /> <br /> * Задание 1: Взаимодействие с памятью<br /> * Задание 2: Индексы<br /> * Задание 3: Валидация и план запроса<br /> * Задание 4: Транзакции<br /> * Задание 5: Параллельное выполнение запросов<br /> <br /> Для практических заданий используется Java 8, можно пользоваться преимуществами этой версии (lambda, stream, работа со временем и тд, подробнее http://www.journaldev.com/2389/java-8-features-with-examples и https://www.tutorialspoint.com/java8/java8_overview.htm)<br /> Может быть полезным: http://web.mit.edu/6.005/www/sp16/<br /> <br /> Для тестирования:<br /> * http://site.mockito.org/<br /> * http://stackoverflow.com/questions/22697/whats-the-best-mock-framework-for-java<br /> <br /> === Оценки ===<br /> * https://docs.google.com/spreadsheets/d/1qCqCfZ04Fa6rUCcqlbWJ51jaVC6erSFV3vPRNYOo2Ks/edit#gid=0<br /> <br /> === Расчет оценки ===<br /> Вклад в оценку:<br /> * Практические задания (4 штуки) - 60%, для зачета обязательно нужно выполнить все задания<br /> * Несколько (три) тестов в конце второй пары - 20%<br /> * Итоговый тест (как домашняя работа) - 20%<br /> * Дополнительные задания на разработку (если пропустили тесты) - 20%<br /> <br /> У практических заданий есть дедлайны, каждый просроченный день после дедлайна дает -0.5 к оценке за задание, пока она не станет равна 4.<br /> <br /> === Литература ===<br /> Основная литература:<br /> * Системы баз данных. Полный курс. Г. Гарсиа-Молина, Д. Д. Ульман, Д. Уидом, 2004, Главы: 11-19 - частично устаревшее издание<br /> * Database Systems. The Complete Book, H.García-Molina, J.Ullman, J.Widom 2nd Edition, 2009, Главы 13-20 - более новое издание, но только на английском<br /> <br /> Дополнительная литература:<br /> * &quot;Architecture of a Database System&quot; J.M.Hellerstein, M.Stonebraker, J.Hamilton, 2007<br /> * https://en.wikibooks.org/wiki/Design_of_Main_Memory_Database_System<br /> * http://codecapsule.com/tag/key-value-store/<br /> <br /> <br /> === Контакты ===<br /> * Почта: acccko@gmail.com<br /> * Tg: @acccko</div>

Ivsavin https://wiki.cs.hse.ru/index.php?title=%D0%91%D0%B0%D0%B7%D1%8B_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_2/%D0%92%D0%BE%D0%BF%D1%80%D0%BE%D1%81%D1%8B&diff=22886 2017-03-21T01:21:41Z

<p>Ivsavin: Новая страница: « &#039;&#039;&#039;Форма для сдачи задания: https://goo.gl/forms/qU2OcmBRvtfze5yC2 Срок заполнения до конца 28 марта 2017 года…»</p> <hr /> <div><br /> '''Форма для сдачи задания: https://goo.gl/forms/qU2OcmBRvtfze5yC2<br /> <br /> Срок заполнения до конца 28 марта 2017 года'''<br /> <br /> Список вопросов для удобства:<br /> <br /> # Перечислите основные функции СУБД.<br /> # Как организовать хранение BLOB на страницах памяти? Опишите процесс чтения BLOB во время выполнения запроса, указав возможные трудности и варианты их решения.<br /> # Опишите алгоритм выполнения запроса с диапазоном для kd-дерева. Когда и какие блоки с диска будут считаны?<br /> # Возможно ли поместить B-дерево в один блок на диске? Какие существуют варианты его структуры и размещения?<br /> # Опишите двухпроходный алгоритм соединения с хешированием? Покажите на примере: сколько операций чтения/записи блоков с диска будет совершено при произвольном объеме доступной памяти и размерами отношений для выполнения такой операции.<br /> # Какие этапы разбора запроса следует сделать СУБД, прежде чем она начнет выполнять в памяти операции, связанные с этим запросом? В чем задача каждого этапа, что подается на вход и что получается на выходе?<br /> # Что такое контрольная точка в контексте транзакций? Приведите пример динамического создания контрольных точек.<br /> # Опишите пример алгоритма восстановления по журналу транзакций, построенный методом undo/redo. В примере должны быть описаны не менее 3 транзакций с различным исходом на момент сбоя. <br /> # Какие проблемы решает планировщик расписаний? <br /> # Каковы функции графа предшествования? Предложите алгоритм проверки эквивалентности расписаний с помощью работы с графом предшествования. <br /> # Перечислите варианты архитектуры СУБД, в которых возможно параллельное выполнение нескольких транзакций (на менее 3). Для каждой укажите основное преимущество и за счет чего оно достигается.</div>

Ivsavin https://wiki.cs.hse.ru/index.php?title=%D0%91%D0%B0%D0%B7%D1%8B_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_2/simpledb&diff=22863 2017-03-19T01:04:38Z

<p>Ivsavin: </p> <hr /> <div>=== Задания ===<br /> <br /> ====Задание 1====<br /> <br /> * В СУБД есть чтение доступных таблиц (схем) при старте сервера.<br /> * При выполнении запроса создается (на данном шаге можно не парсить запрос, а забить предустановленные значения) QueryPlan с операцией чтения из таблицы. QueryPlan содержит операцию full_scan.<br /> * BufferManager, получив QueryPlan, начинает считывать поблочно из файла с данными и формировать список кортежей для результата.<br /> <br /> Замечания:<br /> <br /> * В QueryResult атрибут schema указан как список, но на самом деле в результате выполнения запроса нужно иметь только одну схему.<br /> * Для перехода к следующему блоку можно также использовать и смещение в текущем файле данных.<br /> * Так как схема отношения уже определена, дополнительно не нужно хранить ее в блоках или картежах данных. Минимально достаточные данные в блоке: указатель/смещение на следующий блок, внутренняя таблица смещения кортежей, кортежи. В кортежах только данные. Для данных переменной длины (VARCHAR) допустимо использовать любой из методов хранения: указание в первом байте размера поля или указание управляющего символа в конце записи.<br /> <br /> '''Задание до 14 февраля.'''<br /> <br /> Если есть вопросы, то пишите на почту преподавателю: acccko@gmail.com<br /> <br /> ''' Для сдачи задания используйте форму: https://goo.gl/forms/81yE6BcY7tZP3wVm2 ''' <br /> <br /> ====Задание 2====<br /> * Реализовать вставку кортежей (формирование страниц) и запись страниц на диск. Для операции добавления нового кортежа достаточно считать в память последний страницу отношения (или реализовать поиск достаточного свободного места в страницах), добавить в него кортеж и записать страницу на диск.<br /> * Реализовать поддержку В-дерева: операции добавление, удаление, поиск по дереву.<br /> * Реализовать поддержку некластерного индекса (кластерного опционально)<br /> <br /> Замечания:<br /> * Для вставки достаточно брать случайные данные, не парсить запрос. Например, исходя из того, встречается ли в запросе слово insert или select, выполнять операции добавления или выборки.<br /> * Количество ссылок в узле/листе дерева определяется исходя из размера страницы на диске.<br /> <br /> <br /> Информацию об индексах можно хранить в отдельном файле или файлах.<br /> <br /> '''Задание до 1 марта.'''<br /> <br /> Для сдачи задания используйте форму: https://goo.gl/forms/gWhAi0fkObLA1uov2<br /> <br /> ====Задание 3====<br /> <br /> ''Парсинг запроса, составление плана. Возможно, будет пропущено.''<br /> <br /> ====Задание 4====<br /> <br /> Добавить менеджера транзакций, журнал и менеджера восстановления. Реализация поддержки транзакций.<br /> <br /> * Запись журнала в режиме undo/redo для списка запросов, обозначенных как одна транзакция<br /> * Алгоритм восстановления по журналу<br /> <br /> Пояснения:<br /> * Для обозначения транзакции нужно передать в BufferManager последовательно запросы: BEGIN, UPDATE ..., UPDATE ..., COMMIT. Можно использовать предустановленные результаты разбора запросов (не парсить). <br /> * BufferManager прежде чем совершить запрос, должен обратиться к TransactionManager и передать ему запрос и идентификатор клиента (можно использовать номер треда). В свою очередь TransactionManager, получив команду BEGIN, должен зафиксировать начало транзакции и затем обрабатывать все последующие операции. Как только TransactionManager успешно выполнит свою работу с запросов, BufferManager может выполнять свои действия (саму операцию). Как только BufferManager выполнил операцию, он обращается к TransactionManager, чтобы тот мог завершить действия по логированию операции.<br /> * Лог транзакций можно вести в текстовом виде, указывая простые команды типа START transaction_id, WRITE disk_address_to_field old_value new_value, COMMIT transaction_id<br /> * Во время запуска сервера должна быть возможность указать, что этот запуск в режиме восстановления. При этом RecoverManager должен считать журнал и выполнить операции согласно алгоритму восстановления.<br /> <br /> Замечания:<br /> * Механизм контрольных точек можно не реализовывать<br /> * Файл журнала можно хранить там же где данные, например, в файле transactions.log<br /> <br /> <br /> '''Задание до 14 марта'''<br /> <br /> Для сдачи задания используйте форму: https://docs.google.com/forms/d/e/1FAIpQLSek7ffoAvyeErRCXFkong4dvpqKbV4OLJ8KkgJ1inePig2fGw/viewform?usp=sf_link<br /> <br /> ====Задание 5====<br /> <br /> Параллельная обработка запросов.<br /> <br /> * Реализовать планировщик выполнения операций с блокированием: обработку транзакций перед отправкой к BufferManager для исполнения, таблицу блокировок с очередью из операций.<br /> <br /> Пояснения:<br /> * Нужно добавить SchedulePlanner, получающий операции транзакций от TransactionManager, переформировывающий расписание операций, и отправляющий его в BufferManager. SchedulePlanner также должен использовать таблицу блокировок и очередь транзакций для блокировки конкретных элементов данных (кортежей или отношений).<br /> * Алгоритм обработки транзакций и отката нужно <br /> * Используйте типы блокировок: shared, exclusive, update и сооветствующую матрицу возможностей блокировки.<br /> <br /> '''Задание до 24 марта'''<br /> <br /> Для сдачи задания используйте форму: https://docs.google.com/forms/d/e/1FAIpQLSfEayeVldmsxDjk2NlSU7DaicnlSnJWWhj8LBE0ZpbAa0y3Nw/viewform?usp=sf_link<br /> <br /> === Описание ===<br /> <br /> Описание пока что может отличаться от реального кода (какие-то взаимодействия еще не дописаны), но концепция скорее всего менять не будет.<br /> <br /> Есть Server (SocketServer), который может принять и обработать запрос (RequestHandler), затем отправить клиенту ответ.<br /> Запрос предварительно парсится на: управляюдище команды, DDL, DML.<br /> <br /> Если управляющая команда, то запрос уходит в ControlManager (там можно завершить соединение с клиентом exit)<br /> <br /> Если DDL, то запрос отправляется в SchemaManager (там можно запросить список отношений с колонками и индексами, а в будущем создавать и удалять их).<br /> <br /> Если запрос DML, то отправляется в QueryManager, который парсит запрос (с помощью QueryParser) и возвращает QueryPlan (список операций, типы операций и отношения, над которыми нужно их делать). Пример операции: table1, full_scan, condition.<br /> Результат работы QueryParser QueryManager отправляет в BufferManager, в котором происходят все операции. Если BufferManager нужны данные, которых нет в оперативной памяти, он используя SchemaManager отправляет запросы в DiskManager, который возвращает блоки с диска. Получив блоки (и записи в них) в BufferManager, тот считывает записи оттуда с помощью Row и отправляет наверх к QueryParser, тот в свою очередь отправляет результаты назад к CommandManager, который интерпретирует их и выводит в виде строки пользователю.<br /> <br /> При старте Server говорит SchemaManager, чтобы тот запустил свою инициализацию, по умолчанию это значит попросит BufferManager записать в оперативную мапять доступные схемы из файлов.<br /> <br /> SchemaManager работает с Schema, который состоит из Column, у которых есть название, тип и размер.<br /> <br /> === Код ===<br /> <br /> * Стартовый код расположен в git-репозитории: https://bitbucket.org/qs/simpledb<br /> <br /> === Описание взаимодействия ===<br /> <br /> На данном этапе нужно реализовать подгрузку схемы отношения и взаимодействие менеджера памяти с диском.<br /> <br /> Предлагается использовать следующую структуру файловой системы:<br /> <br /> Корень базы<br /> --- table.data - файл со страницами с данными<br /> --- table.meta - файл со схемой отношения<br /> <br /> Формат схемы отношений<br /> <br /> Можно ограничиться читабельным форматом, например, перечислить через точку с запятой имя поля, тип и размер (если он есть):<br /> <br /> id;int<br /> name;varchar;10<br /> dt;datetime<br /> <br /> Можно также хранить тип в виде числа объявленного в Const.<br /> <br /> Для данного задания точкой входа является BufferManager.executeQuery, который принимает queryPlan - список из операций (Операция определяется как отношение, тип операции (на данном этапе это full_scan) и предикат).<br /> <br /> Адресацию в таблице трансляции в BufferManager можно сделать относительно просто воспринимаемой: в качестве ключа в bufferTable нужно указать имя файла данных и смешение относительно начала файла, например: <br /> <br /> table1.data:32<br /> <br /> executeQuery запрашивает у SchemaManager файл с данными. Так как нужно выполнить операцию full_scan, то первоначальный адрес страницы, которую нужно загрузить в память будет table1.data:0, нужно проверить, загружена ли она в таблицу трансляции, и если нет, то с помощью DiskManager считать ее.<br /> <br /> Также нужно, чтобы у страницы (Page) была ссылка на следующую страницу.<br /> <br /> <br /> 1. BufferManager должен использовать свое адресное пространство при загрузке данных с диска (строить таблицу трансляции). Физический адрес - путь к файлу и смещение для перехода к нужному блоку.<br /> <br /> 2. Добавить команду добавления записей в таблицу. При этом расположение записей на блоке должно быть оптимальным для схемы.<br /> <br /> Как только блок заполнен, его нужно сохранить на диск. Если блок изменен, то через несколько операций (или по таймеру) он также долже быть сохранен на диск.<br /> <br /> Блок должен относиться к одному отношению. В блоке должны быть: ссылка на схему отношения, ссылка на следующий блок, бит переполнения (используется, если запись не поместилась в блок целиком)<br /> <br /> Схема отношения должна содержать адрес файла, в котором находятся блоки с записями.</div>

Ivsavin https://wiki.cs.hse.ru/index.php?title=%D0%91%D0%B0%D0%B7%D1%8B_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_2&diff=22862 2017-03-19T00:54:45Z

<p>Ivsavin: </p> <hr /> <div>== Базы данных ==<br /> <br /> Продвинутый курс по БД для специальности РС.<br /> <br /> === Лекции ===<br /> * [https://docs.google.com/presentation/d/1kS8eyUqSXmVZ7_5AS0FdbAER94huceyGFv8UtoAvmyM/edit?usp=sharing Принципы хранения информации]<br /> * [https://docs.google.com/presentation/d/1PxM-2U72a-VRo5x3kHU54o18jQ36tC0zggN-_XnzNDk/edit?usp=sharing Представление элементов данных]<br /> * [https://docs.google.com/presentation/d/1XkL6jWOBm3Ew1oHGJygNblYBTTgPDFjbs9CFWFFwzWo/edit?usp=sharing Структуры индексов]<br /> * [https://docs.google.com/presentation/d/1yliSRkrgMGYMs7_5k26rriQIy4Vw0DFRJJeiMsNMqSg/edit?usp=sharing Структуры специализированных индексов]<br /> * [https://docs.google.com/presentation/d/1_o6b-uSP7lrucN4e-k50QlDqQCkTILvU02bpYzLbINs/edit Выполнение запросов 1]<br /> * [https://docs.google.com/presentation/d/1PDINXQol-bIQ9UcB3fvSM_s4ZqpA1Bgg-c1KjSJXYKw/edit Выполнение запросов 2]<br /> * [https://docs.google.com/presentation/d/19jvzM4mzmw8TcC1rpldws-SDmzmK2I7zzyaxxBxme1k/edit?usp=sharing Оптимизация запросов]<br /> * [https://docs.google.com/presentation/d/1rXA5gpz-fiTwklOooeFznk6_q9pN_1vaIOvy6i1c1o8/edit?usp=sharing Транзакции и бэкапы]<br /> * [https://docs.google.com/presentation/d/1v8S-0VKJkJc--1CI8rfJc3D0qrL5hCP4FnfXNSyLD1I/edit?usp=sharing Параллельное исполнение запросов 1]<br /> * [https://docs.google.com/presentation/d/1yRbtjBk_hQSBqUMDTia-quDZGn9T_K1hWkedoa3FfbE/edit?usp=sharing Параллельное исполнение запросов 2]<br /> <br /> === Практические работы ===<br /> <br /> Стартовый код и описание: [[Базы данных 2/simpledb]]<br /> <br /> В рамках курса нужно написать свою СУБД, в которой реализовать несколько ключевых механизмов, рассматриваемых в курсе, и обеспечивающих стабильную работу системы.<br /> <br /> * Задание 1: Взаимодействие с памятью<br /> * Задание 2: Индексы<br /> * Задание 3: Валидация и план запроса<br /> * Задание 4: Транзакции<br /> * Задание 5: Параллельное выполнение запросов<br /> <br /> Для практических заданий используется Java 8, можно пользоваться преимуществами этой версии (lambda, stream, работа со временем и тд, подробнее http://www.journaldev.com/2389/java-8-features-with-examples и https://www.tutorialspoint.com/java8/java8_overview.htm)<br /> Может быть полезным: http://web.mit.edu/6.005/www/sp16/<br /> <br /> Для тестирования:<br /> * http://site.mockito.org/<br /> * http://stackoverflow.com/questions/22697/whats-the-best-mock-framework-for-java<br /> <br /> === Оценки ===<br /> * https://docs.google.com/spreadsheets/d/1qCqCfZ04Fa6rUCcqlbWJ51jaVC6erSFV3vPRNYOo2Ks/edit#gid=0<br /> <br /> === Расчет оценки ===<br /> Вклад в оценку:<br /> * Практические задания (5 штук) - 60%, для зачета обязательно нужно выполнить все задания<br /> * Несколько тестов в конце второй пары - 30%<br /> * Итоговый тест (возможно, будет как домашняя работа) - 10%<br /> * Дополнительные задания на разработку (если пропустили тесты) - 20%<br /> <br /> У практических заданий есть дедлайны, каждый просроченный день после дедлайна дает -0.5 к оценке за задание, пока она не станет равна 4.<br /> <br /> === Литература ===<br /> Основная литература:<br /> * Системы баз данных. Полный курс. Г. Гарсиа-Молина, Д. Д. Ульман, Д. Уидом, 2004, Главы: 11-19 - частично устаревшее издание<br /> * Database Systems. The Complete Book, H.García-Molina, J.Ullman, J.Widom 2nd Edition, 2009, Главы 13-20 - более новое издание, но только на английском<br /> <br /> Дополнительная литература:<br /> * &quot;Architecture of a Database System&quot; J.M.Hellerstein, M.Stonebraker, J.Hamilton, 2007<br /> * https://en.wikibooks.org/wiki/Design_of_Main_Memory_Database_System<br /> * http://codecapsule.com/tag/key-value-store/<br /> <br /> <br /> === Контакты ===<br /> * Почта: acccko@gmail.com<br /> * Tg: @acccko</div>

Ivsavin https://wiki.cs.hse.ru/index.php?title=%D0%91%D0%B0%D0%B7%D1%8B_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_2/simpledb&diff=22835 2017-03-16T18:29:49Z

<p>Ivsavin: </p> <hr /> <div>=== Задания ===<br /> <br /> ====Задание 1====<br /> <br /> * В СУБД есть чтение доступных таблиц (схем) при старте сервера.<br /> * При выполнении запроса создается (на данном шаге можно не парсить запрос, а забить предустановленные значения) QueryPlan с операцией чтения из таблицы. QueryPlan содержит операцию full_scan.<br /> * BufferManager, получив QueryPlan, начинает считывать поблочно из файла с данными и формировать список кортежей для результата.<br /> <br /> Замечания:<br /> <br /> * В QueryResult атрибут schema указан как список, но на самом деле в результате выполнения запроса нужно иметь только одну схему.<br /> * Для перехода к следующему блоку можно также использовать и смещение в текущем файле данных.<br /> * Так как схема отношения уже определена, дополнительно не нужно хранить ее в блоках или картежах данных. Минимально достаточные данные в блоке: указатель/смещение на следующий блок, внутренняя таблица смещения кортежей, кортежи. В кортежах только данные. Для данных переменной длины (VARCHAR) допустимо использовать любой из методов хранения: указание в первом байте размера поля или указание управляющего символа в конце записи.<br /> <br /> '''Задание до 14 февраля.'''<br /> <br /> Если есть вопросы, то пишите на почту преподавателю: acccko@gmail.com<br /> <br /> ''' Для сдачи задания используйте форму: https://goo.gl/forms/81yE6BcY7tZP3wVm2 ''' <br /> <br /> ====Задание 2====<br /> * Реализовать вставку кортежей (формирование страниц) и запись страниц на диск. Для операции добавления нового кортежа достаточно считать в память последний страницу отношения (или реализовать поиск достаточного свободного места в страницах), добавить в него кортеж и записать страницу на диск.<br /> * Реализовать поддержку В-дерева: операции добавление, удаление, поиск по дереву.<br /> * Реализовать поддержку некластерного индекса (кластерного опционально)<br /> <br /> Замечания:<br /> * Для вставки достаточно брать случайные данные, не парсить запрос. Например, исходя из того, встречается ли в запросе слово insert или select, выполнять операции добавления или выборки.<br /> * Количество ссылок в узле/листе дерева определяется исходя из размера страницы на диске.<br /> <br /> <br /> Информацию об индексах можно хранить в отдельном файле или файлах.<br /> <br /> '''Задание до 1 марта.'''<br /> <br /> Для сдачи задания используйте форму: https://goo.gl/forms/gWhAi0fkObLA1uov2<br /> <br /> ====Задание 3====<br /> <br /> ''Парсинг запроса, составление плана. Возможно, будет пропущено.''<br /> <br /> ====Задание 4====<br /> <br /> Добавить менеджера транзакций, журнал и менеджера восстановления. Реализация поддержки транзакций.<br /> <br /> * Запись журнала в режиме undo/redo для списка запросов, обозначенных как одна транзакция<br /> * Алгоритм восстановления по журналу<br /> <br /> Пояснения:<br /> * Для обозначения транзакции нужно передать в BufferManager последовательно запросы: BEGIN, UPDATE ..., UPDATE ..., COMMIT. Можно использовать предустановленные результаты разбора запросов (не парсить). <br /> * BufferManager прежде чем совершить запрос, должен обратиться к TransactionManager и передать ему запрос и идентификатор клиента (можно использовать номер треда). В свою очередь TransactionManager, получив команду BEGIN, должен зафиксировать начало транзакции и затем обрабатывать все последующие операции. Как только TransactionManager успешно выполнит свою работу с запросов, BufferManager может выполнять свои действия (саму операцию). Как только BufferManager выполнил операцию, он обращается к TransactionManager, чтобы тот мог завершить действия по логированию операции.<br /> * Лог транзакций можно вести в текстовом виде, указывая простые команды типа START transaction_id, WRITE disk_address_to_field old_value new_value, COMMIT transaction_id<br /> * Во время запуска сервера должна быть возможность указать, что этот запуск в режиме восстановления. При этом RecoverManager должен считать журнал и выполнить операции согласно алгоритму восстановления.<br /> <br /> Замечания:<br /> * Механизм контрольных точек можно не реализовывать<br /> * Файл журнала можно хранить там же где данные, например, в файле transactions.log<br /> <br /> <br /> '''Задание до 14 марта'''<br /> <br /> Для сдачи задания используйте форму: https://docs.google.com/forms/d/e/1FAIpQLSek7ffoAvyeErRCXFkong4dvpqKbV4OLJ8KkgJ1inePig2fGw/viewform?usp=sf_link<br /> <br /> ====Задание 5====<br /> <br /> Параллельная обработка запросов.<br /> <br /> * Реализовать планировщик выполнения операций с блокированием: обработку транзакций перед отправкой к BufferManager для исполнения, таблицу блокировок с очередью из операций.<br /> <br /> Пояснения:<br /> * Нужно добавить SchedulePlanner, получающий операции транзакций от TransactionManager, переформировывающий расписание операций, и отправляющий его в BufferManager. SchedulePlanner также должен использовать таблицу блокировок и очередь транзакций для блокировки конкретных элементов данных (кортежей или отношений).<br /> * Алгоритм обработки транзакций и отката нужно <br /> * Используйте типы блокировок: shared, exclusive, update и сооветствующую матрицу возможностей блокировки.<br /> <br /> <br /> '''Задание до 24 марта'''<br /> <br /> === Описание ===<br /> <br /> Описание пока что может отличаться от реального кода (какие-то взаимодействия еще не дописаны), но концепция скорее всего менять не будет.<br /> <br /> Есть Server (SocketServer), который может принять и обработать запрос (RequestHandler), затем отправить клиенту ответ.<br /> Запрос предварительно парсится на: управляюдище команды, DDL, DML.<br /> <br /> Если управляющая команда, то запрос уходит в ControlManager (там можно завершить соединение с клиентом exit)<br /> <br /> Если DDL, то запрос отправляется в SchemaManager (там можно запросить список отношений с колонками и индексами, а в будущем создавать и удалять их).<br /> <br /> Если запрос DML, то отправляется в QueryManager, который парсит запрос (с помощью QueryParser) и возвращает QueryPlan (список операций, типы операций и отношения, над которыми нужно их делать). Пример операции: table1, full_scan, condition.<br /> Результат работы QueryParser QueryManager отправляет в BufferManager, в котором происходят все операции. Если BufferManager нужны данные, которых нет в оперативной памяти, он используя SchemaManager отправляет запросы в DiskManager, который возвращает блоки с диска. Получив блоки (и записи в них) в BufferManager, тот считывает записи оттуда с помощью Row и отправляет наверх к QueryParser, тот в свою очередь отправляет результаты назад к CommandManager, который интерпретирует их и выводит в виде строки пользователю.<br /> <br /> При старте Server говорит SchemaManager, чтобы тот запустил свою инициализацию, по умолчанию это значит попросит BufferManager записать в оперативную мапять доступные схемы из файлов.<br /> <br /> SchemaManager работает с Schema, который состоит из Column, у которых есть название, тип и размер.<br /> <br /> === Код ===<br /> <br /> * Стартовый код расположен в git-репозитории: https://bitbucket.org/qs/simpledb<br /> <br /> === Описание взаимодействия ===<br /> <br /> На данном этапе нужно реализовать подгрузку схемы отношения и взаимодействие менеджера памяти с диском.<br /> <br /> Предлагается использовать следующую структуру файловой системы:<br /> <br /> Корень базы<br /> --- table.data - файл со страницами с данными<br /> --- table.meta - файл со схемой отношения<br /> <br /> Формат схемы отношений<br /> <br /> Можно ограничиться читабельным форматом, например, перечислить через точку с запятой имя поля, тип и размер (если он есть):<br /> <br /> id;int<br /> name;varchar;10<br /> dt;datetime<br /> <br /> Можно также хранить тип в виде числа объявленного в Const.<br /> <br /> Для данного задания точкой входа является BufferManager.executeQuery, который принимает queryPlan - список из операций (Операция определяется как отношение, тип операции (на данном этапе это full_scan) и предикат).<br /> <br /> Адресацию в таблице трансляции в BufferManager можно сделать относительно просто воспринимаемой: в качестве ключа в bufferTable нужно указать имя файла данных и смешение относительно начала файла, например: <br /> <br /> table1.data:32<br /> <br /> executeQuery запрашивает у SchemaManager файл с данными. Так как нужно выполнить операцию full_scan, то первоначальный адрес страницы, которую нужно загрузить в память будет table1.data:0, нужно проверить, загружена ли она в таблицу трансляции, и если нет, то с помощью DiskManager считать ее.<br /> <br /> Также нужно, чтобы у страницы (Page) была ссылка на следующую страницу.<br /> <br /> <br /> 1. BufferManager должен использовать свое адресное пространство при загрузке данных с диска (строить таблицу трансляции). Физический адрес - путь к файлу и смещение для перехода к нужному блоку.<br /> <br /> 2. Добавить команду добавления записей в таблицу. При этом расположение записей на блоке должно быть оптимальным для схемы.<br /> <br /> Как только блок заполнен, его нужно сохранить на диск. Если блок изменен, то через несколько операций (или по таймеру) он также долже быть сохранен на диск.<br /> <br /> Блок должен относиться к одному отношению. В блоке должны быть: ссылка на схему отношения, ссылка на следующий блок, бит переполнения (используется, если запись не поместилась в блок целиком)<br /> <br /> Схема отношения должна содержать адрес файла, в котором находятся блоки с записями.</div>

Ivsavin https://wiki.cs.hse.ru/index.php?title=%D0%91%D0%B0%D0%B7%D1%8B_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_2/simpledb&diff=22818 2017-03-14T09:39:19Z

<p>Ivsavin: </p> <hr /> <div>=== Задания ===<br /> <br /> ====Задание 1====<br /> <br /> * В СУБД есть чтение доступных таблиц (схем) при старте сервера.<br /> * При выполнении запроса создается (на данном шаге можно не парсить запрос, а забить предустановленные значения) QueryPlan с операцией чтения из таблицы. QueryPlan содержит операцию full_scan.<br /> * BufferManager, получив QueryPlan, начинает считывать поблочно из файла с данными и формировать список кортежей для результата.<br /> <br /> Замечания:<br /> <br /> * В QueryResult атрибут schema указан как список, но на самом деле в результате выполнения запроса нужно иметь только одну схему.<br /> * Для перехода к следующему блоку можно также использовать и смещение в текущем файле данных.<br /> * Так как схема отношения уже определена, дополнительно не нужно хранить ее в блоках или картежах данных. Минимально достаточные данные в блоке: указатель/смещение на следующий блок, внутренняя таблица смещения кортежей, кортежи. В кортежах только данные. Для данных переменной длины (VARCHAR) допустимо использовать любой из методов хранения: указание в первом байте размера поля или указание управляющего символа в конце записи.<br /> <br /> '''Задание до 14 февраля.'''<br /> <br /> Если есть вопросы, то пишите на почту преподавателю: acccko@gmail.com<br /> <br /> ''' Для сдачи задания используйте форму: https://goo.gl/forms/81yE6BcY7tZP3wVm2 ''' <br /> <br /> ====Задание 2====<br /> * Реализовать вставку кортежей (формирование страниц) и запись страниц на диск. Для операции добавления нового кортежа достаточно считать в память последний страницу отношения (или реализовать поиск достаточного свободного места в страницах), добавить в него кортеж и записать страницу на диск.<br /> * Реализовать поддержку В-дерева: операции добавление, удаление, поиск по дереву.<br /> * Реализовать поддержку некластерного индекса (кластерного опционально)<br /> <br /> Замечания:<br /> * Для вставки достаточно брать случайные данные, не парсить запрос. Например, исходя из того, встречается ли в запросе слово insert или select, выполнять операции добавления или выборки.<br /> * Количество ссылок в узле/листе дерева определяется исходя из размера страницы на диске.<br /> <br /> <br /> Информацию об индексах можно хранить в отдельном файле или файлах.<br /> <br /> '''Задание до 1 марта.'''<br /> <br /> Для сдачи задания используйте форму: https://goo.gl/forms/gWhAi0fkObLA1uov2<br /> <br /> ====Задание 3====<br /> <br /> ''Парсинг запроса, составление плана. Возможно, будет пропущено.''<br /> <br /> ====Задание 4====<br /> <br /> Добавить менеджеров транзакций, журнала и восстановления. Реализация поддержки транзакций.<br /> <br /> * Запись журнала в режиме undo/redo для списка запросов, обозначенных как одна транзакция<br /> * Алгоритм восстановления по журналу<br /> <br /> Пояснения:<br /> * Для обозначения транзакции нужно передать в BufferManager последовательно запросы: BEGIN, UPDATE ..., UPDATE ..., COMMIT. Можно использовать предустановленные результаты разбора запросов (не парсить). <br /> * BufferManager прежде чем совершить запрос, должен обратиться к TransactionManager и передать ему запрос и идентификатор клиента (можно использовать номер треда). В свою очередь TransactionManager, получив команду BEGIN, должен зафиксировать начало транзакции и затем обрабатывать все последующие операции. Как только TransactionManager успешно выполнит свою работу с запросов, BufferManager может выполнять свои действия (саму операцию). Как только BufferManager выполнил операцию, он обращается к TransactionManager, чтобы тот мог завершить действия по логированию операции.<br /> * Лог транзакций можно вести в текстовом виде, указывая простые команды типа START transaction_id, WRITE disk_address_to_field old_value new_value, COMMIT transaction_id<br /> * Во время запуска сервера должна быть возможность указать, что этот запуск в режиме восстановления. При этом RecoverManager должен считать журнал и выполнить операции согласно алгоритму восстановления.<br /> <br /> Замечания:<br /> * Механизм контрольных точек можно не реализовывать<br /> * Файл журнала можно хранить там же где данные, например, в файле transactions.log<br /> <br /> <br /> '''Задание до 14 марта'''<br /> <br /> Для сдачи задания используйте форму: https://docs.google.com/forms/d/e/1FAIpQLSek7ffoAvyeErRCXFkong4dvpqKbV4OLJ8KkgJ1inePig2fGw/viewform?usp=sf_link<br /> <br /> ====Задание 5====<br /> <br /> Параллельная обработка запросов.<br /> <br /> * Реализовать планировщик выполнения операций с блокированием: обработку транзакций перед отправкой к BufferManager для исполнения, таблицу блокировок с очередью из операций.<br /> <br /> Пояснения:<br /> * Нужно добавить SchedulePlanner, получающий операции транзакций от TransactionManager, переформировывающий расписание операций, и отправляющий его в BufferManager. SchedulePlanner также должен использовать таблицу блокировок и очередь транзакций для блокировки конкретных элементов данных (кортежей или отношений).<br /> * Алгоритм обработки транзакций и отката нужно <br /> * Используйте типы блокировок: shared, exclusive, update и сооветствующую матрицу возможностей блокировки.<br /> <br /> <br /> '''Задание до 24 марта'''<br /> <br /> === Описание ===<br /> <br /> Описание пока что может отличаться от реального кода (какие-то взаимодействия еще не дописаны), но концепция скорее всего менять не будет.<br /> <br /> Есть Server (SocketServer), который может принять и обработать запрос (RequestHandler), затем отправить клиенту ответ.<br /> Запрос предварительно парсится на: управляюдище команды, DDL, DML.<br /> <br /> Если управляющая команда, то запрос уходит в ControlManager (там можно завершить соединение с клиентом exit)<br /> <br /> Если DDL, то запрос отправляется в SchemaManager (там можно запросить список отношений с колонками и индексами, а в будущем создавать и удалять их).<br /> <br /> Если запрос DML, то отправляется в QueryManager, который парсит запрос (с помощью QueryParser) и возвращает QueryPlan (список операций, типы операций и отношения, над которыми нужно их делать). Пример операции: table1, full_scan, condition.<br /> Результат работы QueryParser QueryManager отправляет в BufferManager, в котором происходят все операции. Если BufferManager нужны данные, которых нет в оперативной памяти, он используя SchemaManager отправляет запросы в DiskManager, который возвращает блоки с диска. Получив блоки (и записи в них) в BufferManager, тот считывает записи оттуда с помощью Row и отправляет наверх к QueryParser, тот в свою очередь отправляет результаты назад к CommandManager, который интерпретирует их и выводит в виде строки пользователю.<br /> <br /> При старте Server говорит SchemaManager, чтобы тот запустил свою инициализацию, по умолчанию это значит попросит BufferManager записать в оперативную мапять доступные схемы из файлов.<br /> <br /> SchemaManager работает с Schema, который состоит из Column, у которых есть название, тип и размер.<br /> <br /> === Код ===<br /> <br /> * Стартовый код расположен в git-репозитории: https://bitbucket.org/qs/simpledb<br /> <br /> === Описание взаимодействия ===<br /> <br /> На данном этапе нужно реализовать подгрузку схемы отношения и взаимодействие менеджера памяти с диском.<br /> <br /> Предлагается использовать следующую структуру файловой системы:<br /> <br /> Корень базы<br /> --- table.data - файл со страницами с данными<br /> --- table.meta - файл со схемой отношения<br /> <br /> Формат схемы отношений<br /> <br /> Можно ограничиться читабельным форматом, например, перечислить через точку с запятой имя поля, тип и размер (если он есть):<br /> <br /> id;int<br /> name;varchar;10<br /> dt;datetime<br /> <br /> Можно также хранить тип в виде числа объявленного в Const.<br /> <br /> Для данного задания точкой входа является BufferManager.executeQuery, который принимает queryPlan - список из операций (Операция определяется как отношение, тип операции (на данном этапе это full_scan) и предикат).<br /> <br /> Адресацию в таблице трансляции в BufferManager можно сделать относительно просто воспринимаемой: в качестве ключа в bufferTable нужно указать имя файла данных и смешение относительно начала файла, например: <br /> <br /> table1.data:32<br /> <br /> executeQuery запрашивает у SchemaManager файл с данными. Так как нужно выполнить операцию full_scan, то первоначальный адрес страницы, которую нужно загрузить в память будет table1.data:0, нужно проверить, загружена ли она в таблицу трансляции, и если нет, то с помощью DiskManager считать ее.<br /> <br /> Также нужно, чтобы у страницы (Page) была ссылка на следующую страницу.<br /> <br /> <br /> 1. BufferManager должен использовать свое адресное пространство при загрузке данных с диска (строить таблицу трансляции). Физический адрес - путь к файлу и смещение для перехода к нужному блоку.<br /> <br /> 2. Добавить команду добавления записей в таблицу. При этом расположение записей на блоке должно быть оптимальным для схемы.<br /> <br /> Как только блок заполнен, его нужно сохранить на диск. Если блок изменен, то через несколько операций (или по таймеру) он также долже быть сохранен на диск.<br /> <br /> Блок должен относиться к одному отношению. В блоке должны быть: ссылка на схему отношения, ссылка на следующий блок, бит переполнения (используется, если запись не поместилась в блок целиком)<br /> <br /> Схема отношения должна содержать адрес файла, в котором находятся блоки с записями.</div>

Ivsavin https://wiki.cs.hse.ru/index.php?title=%D0%91%D0%B0%D0%B7%D1%8B_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_2&diff=22817 2017-03-13T18:54:15Z

<p>Ivsavin: </p> <hr /> <div>== Базы данных ==<br /> <br /> Продвинутый курс по БД для специальности РС.<br /> <br /> === Лекции ===<br /> * [https://docs.google.com/presentation/d/1kS8eyUqSXmVZ7_5AS0FdbAER94huceyGFv8UtoAvmyM/edit?usp=sharing Принципы хранения информации]<br /> * [https://docs.google.com/presentation/d/1PxM-2U72a-VRo5x3kHU54o18jQ36tC0zggN-_XnzNDk/edit?usp=sharing Представление элементов данных]<br /> * [https://docs.google.com/presentation/d/1XkL6jWOBm3Ew1oHGJygNblYBTTgPDFjbs9CFWFFwzWo/edit?usp=sharing Структуры индексов]<br /> * [https://docs.google.com/presentation/d/1yliSRkrgMGYMs7_5k26rriQIy4Vw0DFRJJeiMsNMqSg/edit?usp=sharing Структуры специализированных индексов]<br /> * [https://docs.google.com/presentation/d/1_o6b-uSP7lrucN4e-k50QlDqQCkTILvU02bpYzLbINs/edit Выполнение запросов 1]<br /> * [https://docs.google.com/presentation/d/1PDINXQol-bIQ9UcB3fvSM_s4ZqpA1Bgg-c1KjSJXYKw/edit Выполнение запросов 2]<br /> * [https://docs.google.com/presentation/d/19jvzM4mzmw8TcC1rpldws-SDmzmK2I7zzyaxxBxme1k/edit?usp=sharing Оптимизация запросов]<br /> * [https://docs.google.com/presentation/d/1rXA5gpz-fiTwklOooeFznk6_q9pN_1vaIOvy6i1c1o8/edit?usp=sharing Транзакции и бэкапы]<br /> * [https://docs.google.com/presentation/d/1v8S-0VKJkJc--1CI8rfJc3D0qrL5hCP4FnfXNSyLD1I/edit?usp=sharing Параллельное исполнение запросов]<br /> <br /> === Практические работы ===<br /> <br /> Стартовый код и описание: [[Базы данных 2/simpledb]]<br /> <br /> В рамках курса нужно написать свою СУБД, в которой реализовать несколько ключевых механизмов, рассматриваемых в курсе, и обеспечивающих стабильную работу системы.<br /> <br /> * Задание 1: Взаимодействие с памятью<br /> * Задание 2: Индексы<br /> * Задание 3: Валидация и план запроса<br /> * Задание 4: Транзакции<br /> * Задание 5: Параллельное выполнение запросов<br /> <br /> Для практических заданий используется Java 8, можно пользоваться преимуществами этой версии (lambda, stream, работа со временем и тд, подробнее http://www.journaldev.com/2389/java-8-features-with-examples и https://www.tutorialspoint.com/java8/java8_overview.htm)<br /> Может быть полезным: http://web.mit.edu/6.005/www/sp16/<br /> <br /> Для тестирования:<br /> * http://site.mockito.org/<br /> * http://stackoverflow.com/questions/22697/whats-the-best-mock-framework-for-java<br /> <br /> === Оценки ===<br /> * https://docs.google.com/spreadsheets/d/1qCqCfZ04Fa6rUCcqlbWJ51jaVC6erSFV3vPRNYOo2Ks/edit#gid=0<br /> <br /> === Расчет оценки ===<br /> Вклад в оценку:<br /> * Практические задания (5 штук) - 60%, для зачета обязательно нужно выполнить все задания<br /> * Несколько тестов в конце второй пары - 30%<br /> * Итоговый тест (возможно, будет как домашняя работа) - 10%<br /> * Дополнительные задания на разработку (если пропустили тесты) - 20%<br /> <br /> У практических заданий есть дедлайны, каждый просроченный день после дедлайна дает -0.5 к оценке за задание, пока она не станет равна 4.<br /> <br /> === Литература ===<br /> Основная литература:<br /> * Системы баз данных. Полный курс. Г. Гарсиа-Молина, Д. Д. Ульман, Д. Уидом, 2004, Главы: 11-19 - частично устаревшее издание<br /> * Database Systems. The Complete Book, H.García-Molina, J.Ullman, J.Widom 2nd Edition, 2009, Главы 13-20 - более новое издание, но только на английском<br /> <br /> Дополнительная литература:<br /> * &quot;Architecture of a Database System&quot; J.M.Hellerstein, M.Stonebraker, J.Hamilton, 2007<br /> * https://en.wikibooks.org/wiki/Design_of_Main_Memory_Database_System<br /> * http://codecapsule.com/tag/key-value-store/<br /> <br /> <br /> === Контакты ===<br /> * Почта: acccko@gmail.com<br /> * Tg: @acccko</div>

Ivsavin https://wiki.cs.hse.ru/index.php?title=%D0%91%D0%B0%D0%B7%D1%8B_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_2/simpledb&diff=22809 2017-03-12T23:51:49Z

<p>Ivsavin: </p> <hr /> <div>=== Задания ===<br /> <br /> ====Задание 1====<br /> <br /> * В СУБД есть чтение доступных таблиц (схем) при старте сервера.<br /> * При выполнении запроса создается (на данном шаге можно не парсить запрос, а забить предустановленные значения) QueryPlan с операцией чтения из таблицы. QueryPlan содержит операцию full_scan.<br /> * BufferManager, получив QueryPlan, начинает считывать поблочно из файла с данными и формировать список кортежей для результата.<br /> <br /> Замечания:<br /> <br /> * В QueryResult атрибут schema указан как список, но на самом деле в результате выполнения запроса нужно иметь только одну схему.<br /> * Для перехода к следующему блоку можно также использовать и смещение в текущем файле данных.<br /> * Так как схема отношения уже определена, дополнительно не нужно хранить ее в блоках или картежах данных. Минимально достаточные данные в блоке: указатель/смещение на следующий блок, внутренняя таблица смещения кортежей, кортежи. В кортежах только данные. Для данных переменной длины (VARCHAR) допустимо использовать любой из методов хранения: указание в первом байте размера поля или указание управляющего символа в конце записи.<br /> <br /> '''Задание до 14 февраля.'''<br /> <br /> Если есть вопросы, то пишите на почту преподавателю: acccko@gmail.com<br /> <br /> ''' Для сдачи задания используйте форму: https://goo.gl/forms/81yE6BcY7tZP3wVm2 ''' <br /> <br /> ====Задание 2====<br /> * Реализовать вставку кортежей (формирование страниц) и запись страниц на диск. Для операции добавления нового кортежа достаточно считать в память последний страницу отношения (или реализовать поиск достаточного свободного места в страницах), добавить в него кортеж и записать страницу на диск.<br /> * Реализовать поддержку В-дерева: операции добавление, удаление, поиск по дереву.<br /> * Реализовать поддержку некластерного индекса (кластерного опционально)<br /> <br /> Замечания:<br /> * Для вставки достаточно брать случайные данные, не парсить запрос. Например, исходя из того, встречается ли в запросе слово insert или select, выполнять операции добавления или выборки.<br /> * Количество ссылок в узле/листе дерева определяется исходя из размера страницы на диске.<br /> <br /> <br /> Информацию об индексах можно хранить в отдельном файле или файлах.<br /> <br /> '''Задание до 1 марта.'''<br /> <br /> Для сдачи задания используйте форму: https://goo.gl/forms/gWhAi0fkObLA1uov2<br /> <br /> ====Задание 3====<br /> <br /> ''Парсинг запроса, составление плана. Возможно, будет пропущено.''<br /> <br /> ====Задание 4====<br /> <br /> Добавить менеджеров транзакций, журнала и восстановления. Реализация поддержки транзакций.<br /> <br /> * Запись журнала в режиме undo/redo для списка запросов, обозначенных как одна транзакция<br /> * Алгоритм восстановления по журналу<br /> <br /> Пояснения:<br /> * Для обозначения транзакции нужно передать в BufferManager последовательно запросы: BEGIN, UPDATE ..., UPDATE ..., COMMIT. Можно использовать предустановленные результаты разбора запросов (не парсить). <br /> * BufferManager прежде чем совершить запрос, должен обратиться к TransactionManager и передать ему запрос и идентификатор клиента (можно использовать номер треда). В свою очередь TransactionManager, получив команду BEGIN, должен зафиксировать начало транзакции и затем обрабатывать все последующие операции. Как только TransactionManager успешно выполнит свою работу с запросов, BufferManager может выполнять свои действия (саму операцию). Как только BufferManager выполнил операцию, он обращается к TransactionManager, чтобы тот мог завершить действия по логированию операции.<br /> * Лог транзакций можно вести в текстовом виде, указывая простые команды типа START transaction_id, WRITE disk_address_to_field old_value new_value, COMMIT transaction_id<br /> * Во время запуска сервера должна быть возможность указать, что этот запуск в режиме восстановления. При этом RecoverManager должен считать журнал и выполнить операции согласно алгоритму восстановления.<br /> <br /> Замечания:<br /> * Механизм контрольных точек можно не реализовывать<br /> * Файл журнала можно хранить там же где данные, например, в файле transactions.log<br /> <br /> <br /> '''Задание до 14 марта'''<br /> <br /> Для сдачи задания используйте форму: https://docs.google.com/forms/d/e/1FAIpQLSek7ffoAvyeErRCXFkong4dvpqKbV4OLJ8KkgJ1inePig2fGw/viewform?usp=sf_link<br /> <br /> ====Задание 5====<br /> <br /> Параллельная обработка запросов.<br /> <br /> * Реализация пранировщика блокирования<br /> <br /> '''Задание до 24 марта'''<br /> <br /> === Описание ===<br /> <br /> Описание пока что может отличаться от реального кода (какие-то взаимодействия еще не дописаны), но концепция скорее всего менять не будет.<br /> <br /> Есть Server (SocketServer), который может принять и обработать запрос (RequestHandler), затем отправить клиенту ответ.<br /> Запрос предварительно парсится на: управляюдище команды, DDL, DML.<br /> <br /> Если управляющая команда, то запрос уходит в ControlManager (там можно завершить соединение с клиентом exit)<br /> <br /> Если DDL, то запрос отправляется в SchemaManager (там можно запросить список отношений с колонками и индексами, а в будущем создавать и удалять их).<br /> <br /> Если запрос DML, то отправляется в QueryManager, который парсит запрос (с помощью QueryParser) и возвращает QueryPlan (список операций, типы операций и отношения, над которыми нужно их делать). Пример операции: table1, full_scan, condition.<br /> Результат работы QueryParser QueryManager отправляет в BufferManager, в котором происходят все операции. Если BufferManager нужны данные, которых нет в оперативной памяти, он используя SchemaManager отправляет запросы в DiskManager, который возвращает блоки с диска. Получив блоки (и записи в них) в BufferManager, тот считывает записи оттуда с помощью Row и отправляет наверх к QueryParser, тот в свою очередь отправляет результаты назад к CommandManager, который интерпретирует их и выводит в виде строки пользователю.<br /> <br /> При старте Server говорит SchemaManager, чтобы тот запустил свою инициализацию, по умолчанию это значит попросит BufferManager записать в оперативную мапять доступные схемы из файлов.<br /> <br /> SchemaManager работает с Schema, который состоит из Column, у которых есть название, тип и размер.<br /> <br /> === Код ===<br /> <br /> * Стартовый код расположен в git-репозитории: https://bitbucket.org/qs/simpledb<br /> <br /> === Описание взаимодействия ===<br /> <br /> На данном этапе нужно реализовать подгрузку схемы отношения и взаимодействие менеджера памяти с диском.<br /> <br /> Предлагается использовать следующую структуру файловой системы:<br /> <br /> Корень базы<br /> --- table.data - файл со страницами с данными<br /> --- table.meta - файл со схемой отношения<br /> <br /> Формат схемы отношений<br /> <br /> Можно ограничиться читабельным форматом, например, перечислить через точку с запятой имя поля, тип и размер (если он есть):<br /> <br /> id;int<br /> name;varchar;10<br /> dt;datetime<br /> <br /> Можно также хранить тип в виде числа объявленного в Const.<br /> <br /> Для данного задания точкой входа является BufferManager.executeQuery, который принимает queryPlan - список из операций (Операция определяется как отношение, тип операции (на данном этапе это full_scan) и предикат).<br /> <br /> Адресацию в таблице трансляции в BufferManager можно сделать относительно просто воспринимаемой: в качестве ключа в bufferTable нужно указать имя файла данных и смешение относительно начала файла, например: <br /> <br /> table1.data:32<br /> <br /> executeQuery запрашивает у SchemaManager файл с данными. Так как нужно выполнить операцию full_scan, то первоначальный адрес страницы, которую нужно загрузить в память будет table1.data:0, нужно проверить, загружена ли она в таблицу трансляции, и если нет, то с помощью DiskManager считать ее.<br /> <br /> Также нужно, чтобы у страницы (Page) была ссылка на следующую страницу.<br /> <br /> <br /> 1. BufferManager должен использовать свое адресное пространство при загрузке данных с диска (строить таблицу трансляции). Физический адрес - путь к файлу и смещение для перехода к нужному блоку.<br /> <br /> 2. Добавить команду добавления записей в таблицу. При этом расположение записей на блоке должно быть оптимальным для схемы.<br /> <br /> Как только блок заполнен, его нужно сохранить на диск. Если блок изменен, то через несколько операций (или по таймеру) он также долже быть сохранен на диск.<br /> <br /> Блок должен относиться к одному отношению. В блоке должны быть: ссылка на схему отношения, ссылка на следующий блок, бит переполнения (используется, если запись не поместилась в блок целиком)<br /> <br /> Схема отношения должна содержать адрес файла, в котором находятся блоки с записями.</div>

Ivsavin https://wiki.cs.hse.ru/index.php?title=%D0%91%D0%B0%D0%B7%D1%8B_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_2&diff=22778 2017-03-06T17:15:05Z

<p>Ivsavin: </p> <hr /> <div>== Базы данных ==<br /> <br /> Продвинутый курс по БД для специальности РС.<br /> <br /> === Лекции ===<br /> * [https://docs.google.com/presentation/d/1kS8eyUqSXmVZ7_5AS0FdbAER94huceyGFv8UtoAvmyM/edit?usp=sharing Принципы хранения информации]<br /> * [https://docs.google.com/presentation/d/1PxM-2U72a-VRo5x3kHU54o18jQ36tC0zggN-_XnzNDk/edit?usp=sharing Представление элементов данных]<br /> * [https://docs.google.com/presentation/d/1XkL6jWOBm3Ew1oHGJygNblYBTTgPDFjbs9CFWFFwzWo/edit?usp=sharing Структуры индексов]<br /> * [https://docs.google.com/presentation/d/1yliSRkrgMGYMs7_5k26rriQIy4Vw0DFRJJeiMsNMqSg/edit?usp=sharing Структуры специализированных индексов]<br /> * [https://docs.google.com/presentation/d/1_o6b-uSP7lrucN4e-k50QlDqQCkTILvU02bpYzLbINs/edit Выполнение запросов 1]<br /> * [https://docs.google.com/presentation/d/1PDINXQol-bIQ9UcB3fvSM_s4ZqpA1Bgg-c1KjSJXYKw/edit Выполнение запросов 2]<br /> * [https://docs.google.com/presentation/d/19jvzM4mzmw8TcC1rpldws-SDmzmK2I7zzyaxxBxme1k/edit?usp=sharing Оптимизация запросов]<br /> * [https://docs.google.com/presentation/d/1rXA5gpz-fiTwklOooeFznk6_q9pN_1vaIOvy6i1c1o8/edit?usp=sharing Транзакции и бэкапы]<br /> <br /> === Практические работы ===<br /> <br /> Стартовый код и описание: [[Базы данных 2/simpledb]]<br /> <br /> В рамках курса нужно написать свою СУБД, в которой реализовать несколько ключевых механизмов, рассматриваемых в курсе, и обеспечивающих стабильную работу системы.<br /> <br /> * Задание 1: Взаимодействие с памятью<br /> * Задание 2: Индексы<br /> * Задание 3: Валидация и план запроса<br /> * Задание 4: Транзакции<br /> * Задание 5: Параллельное выполнение запросов<br /> <br /> Для практических заданий используется Java 8, можно пользоваться преимуществами этой версии (lambda, stream, работа со временем и тд, подробнее http://www.journaldev.com/2389/java-8-features-with-examples и https://www.tutorialspoint.com/java8/java8_overview.htm)<br /> Может быть полезным: http://web.mit.edu/6.005/www/sp16/<br /> <br /> Для тестирования:<br /> * http://site.mockito.org/<br /> * http://stackoverflow.com/questions/22697/whats-the-best-mock-framework-for-java<br /> <br /> === Оценки ===<br /> * https://docs.google.com/spreadsheets/d/1qCqCfZ04Fa6rUCcqlbWJ51jaVC6erSFV3vPRNYOo2Ks/edit#gid=0<br /> <br /> === Расчет оценки ===<br /> Вклад в оценку:<br /> * Практические задания (5 штук) - 60%, для зачета обязательно нужно выполнить все задания<br /> * Несколько тестов в конце второй пары - 30%<br /> * Итоговый тест (возможно, будет как домашняя работа) - 10%<br /> * Дополнительные задания на разработку (если пропустили тесты) - 20%<br /> <br /> У практических заданий есть дедлайны, каждый просроченный день после дедлайна дает -0.5 к оценке за задание, пока она не станет равна 4.<br /> <br /> === Литература ===<br /> Основная литература:<br /> * Системы баз данных. Полный курс. Г. Гарсиа-Молина, Д. Д. Ульман, Д. Уидом, 2004, Главы: 11-19 - частично устаревшее издание<br /> * Database Systems. The Complete Book, H.García-Molina, J.Ullman, J.Widom 2nd Edition, 2009, Главы 13-20 - более новое издание, но только на английском<br /> <br /> Дополнительная литература:<br /> * &quot;Architecture of a Database System&quot; J.M.Hellerstein, M.Stonebraker, J.Hamilton, 2007<br /> * https://en.wikibooks.org/wiki/Design_of_Main_Memory_Database_System<br /> * http://codecapsule.com/tag/key-value-store/<br /> <br /> <br /> === Контакты ===<br /> * Почта: acccko@gmail.com<br /> * Tg: @acccko</div>

Ivsavin https://wiki.cs.hse.ru/index.php?title=%D0%91%D0%B0%D0%B7%D1%8B_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_2/simpledb&diff=22725 2017-02-28T07:15:05Z

<p>Ivsavin: </p> <hr /> <div>=== Задания ===<br /> <br /> ====Задание 1====<br /> <br /> * В СУБД есть чтение доступных таблиц (схем) при старте сервера.<br /> * При выполнении запроса создается (на данном шаге можно не парсить запрос, а забить предустановленные значения) QueryPlan с операцией чтения из таблицы. QueryPlan содержит операцию full_scan.<br /> * BufferManager, получив QueryPlan, начинает считывать поблочно из файла с данными и формировать список кортежей для результата.<br /> <br /> Замечания:<br /> <br /> * В QueryResult атрибут schema указан как список, но на самом деле в результате выполнения запроса нужно иметь только одну схему.<br /> * Для перехода к следующему блоку можно также использовать и смещение в текущем файле данных.<br /> * Так как схема отношения уже определена, дополнительно не нужно хранить ее в блоках или картежах данных. Минимально достаточные данные в блоке: указатель/смещение на следующий блок, внутренняя таблица смещения кортежей, кортежи. В кортежах только данные. Для данных переменной длины (VARCHAR) допустимо использовать любой из методов хранения: указание в первом байте размера поля или указание управляющего символа в конце записи.<br /> <br /> '''Задание до 14 февраля.'''<br /> <br /> Если есть вопросы, то пишите на почту преподавателю: acccko@gmail.com<br /> <br /> ''' Для сдачи задания используйте форму: https://goo.gl/forms/81yE6BcY7tZP3wVm2 ''' <br /> <br /> ====Задание 2====<br /> * Реализовать вставку кортежей (формирование страниц) и запись страниц на диск. Для операции добавления нового кортежа достаточно считать в память последний страницу отношения (или реализовать поиск достаточного свободного места в страницах), добавить в него кортеж и записать страницу на диск.<br /> * Реализовать поддержку В-дерева: операции добавление, удаление, поиск по дереву.<br /> * Реализовать поддержку некластерного индекса (кластерного опционально)<br /> <br /> Замечания:<br /> * Для вставки достаточно брать случайные данные, не парсить запрос. Например, исходя из того, встречается ли в запросе слово insert или select, выполнять операции добавления или выборки.<br /> * Количество ссылок в узле/листе дерева определяется исходя из размера страницы на диске.<br /> <br /> <br /> Информацию об индексах можно хранить в отдельном файле или файлах.<br /> <br /> '''Задание до 1 марта.'''<br /> <br /> Для сдачи задания используйте форму: https://goo.gl/forms/gWhAi0fkObLA1uov2<br /> <br /> ====Задание 3====<br /> <br /> ''Парсинг запроса, составление плана. Возможно, будет пропущено.''<br /> <br /> ====Задание 4====<br /> <br /> Добавить менеджеров транзакций, журнала и восстановления. Реализация поддержки транзакций.<br /> <br /> * Запись журнала в режиме undo/redo для списка запросов, обозначенных как одна транзакция<br /> * Алгоритм восстановления по журналу<br /> <br /> Пояснения:<br /> * Для обозначения транзакции нужно передать в BufferManager последовательно запросы: BEGIN, UPDATE ..., UPDATE ..., COMMIT. Можно использовать предустановленные результаты разбора запросов (не парсить). <br /> * BufferManager прежде чем совершить запрос, должен обратиться к TransactionManager и передать ему запрос и идентификатор клиента (можно использовать номер треда). В свою очередь TransactionManager, получив команду BEGIN, должен зафиксировать начало транзакции и затем обрабатывать все последующие операции. Как только TransactionManager успешно выполнит свою работу с запросов, BufferManager может выполнять свои действия (саму операцию). Как только BufferManager выполнил операцию, он обращается к TransactionManager, чтобы тот мог завершить действия по логированию операции.<br /> * Лог транзакций можно вести в текстовом виде, указывая простые команды типа START transaction_id, WRITE disk_address_to_field old_value new_value, COMMIT transaction_id<br /> * Во время запуска сервера должна быть возможность указать, что этот запуск в режиме восстановления. При этом RecoverManager должен считать журнал и выполнить операции согласно алгоритму восстановления.<br /> <br /> Замечания:<br /> * Механизм контрольных точек можно не реализовывать<br /> * Файл журнала можно хранить там же где данные, например, в файле transactions.log<br /> <br /> <br /> '''Задание до 14 марта'''<br /> <br /> ====Задание 5====<br /> <br /> Параллельная обработка запросов.<br /> <br /> * Реализация пранировщика блокирования<br /> <br /> '''Задание до 24 марта'''<br /> <br /> === Описание ===<br /> <br /> Описание пока что может отличаться от реального кода (какие-то взаимодействия еще не дописаны), но концепция скорее всего менять не будет.<br /> <br /> Есть Server (SocketServer), который может принять и обработать запрос (RequestHandler), затем отправить клиенту ответ.<br /> Запрос предварительно парсится на: управляюдище команды, DDL, DML.<br /> <br /> Если управляющая команда, то запрос уходит в ControlManager (там можно завершить соединение с клиентом exit)<br /> <br /> Если DDL, то запрос отправляется в SchemaManager (там можно запросить список отношений с колонками и индексами, а в будущем создавать и удалять их).<br /> <br /> Если запрос DML, то отправляется в QueryManager, который парсит запрос (с помощью QueryParser) и возвращает QueryPlan (список операций, типы операций и отношения, над которыми нужно их делать). Пример операции: table1, full_scan, condition.<br /> Результат работы QueryParser QueryManager отправляет в BufferManager, в котором происходят все операции. Если BufferManager нужны данные, которых нет в оперативной памяти, он используя SchemaManager отправляет запросы в DiskManager, который возвращает блоки с диска. Получив блоки (и записи в них) в BufferManager, тот считывает записи оттуда с помощью Row и отправляет наверх к QueryParser, тот в свою очередь отправляет результаты назад к CommandManager, который интерпретирует их и выводит в виде строки пользователю.<br /> <br /> При старте Server говорит SchemaManager, чтобы тот запустил свою инициализацию, по умолчанию это значит попросит BufferManager записать в оперативную мапять доступные схемы из файлов.<br /> <br /> SchemaManager работает с Schema, который состоит из Column, у которых есть название, тип и размер.<br /> <br /> === Код ===<br /> <br /> * Стартовый код расположен в git-репозитории: https://bitbucket.org/qs/simpledb<br /> <br /> === Описание взаимодействия ===<br /> <br /> На данном этапе нужно реализовать подгрузку схемы отношения и взаимодействие менеджера памяти с диском.<br /> <br /> Предлагается использовать следующую структуру файловой системы:<br /> <br /> Корень базы<br /> --- table.data - файл со страницами с данными<br /> --- table.meta - файл со схемой отношения<br /> <br /> Формат схемы отношений<br /> <br /> Можно ограничиться читабельным форматом, например, перечислить через точку с запятой имя поля, тип и размер (если он есть):<br /> <br /> id;int<br /> name;varchar;10<br /> dt;datetime<br /> <br /> Можно также хранить тип в виде числа объявленного в Const.<br /> <br /> Для данного задания точкой входа является BufferManager.executeQuery, который принимает queryPlan - список из операций (Операция определяется как отношение, тип операции (на данном этапе это full_scan) и предикат).<br /> <br /> Адресацию в таблице трансляции в BufferManager можно сделать относительно просто воспринимаемой: в качестве ключа в bufferTable нужно указать имя файла данных и смешение относительно начала файла, например: <br /> <br /> table1.data:32<br /> <br /> executeQuery запрашивает у SchemaManager файл с данными. Так как нужно выполнить операцию full_scan, то первоначальный адрес страницы, которую нужно загрузить в память будет table1.data:0, нужно проверить, загружена ли она в таблицу трансляции, и если нет, то с помощью DiskManager считать ее.<br /> <br /> Также нужно, чтобы у страницы (Page) была ссылка на следующую страницу.<br /> <br /> <br /> 1. BufferManager должен использовать свое адресное пространство при загрузке данных с диска (строить таблицу трансляции). Физический адрес - путь к файлу и смещение для перехода к нужному блоку.<br /> <br /> 2. Добавить команду добавления записей в таблицу. При этом расположение записей на блоке должно быть оптимальным для схемы.<br /> <br /> Как только блок заполнен, его нужно сохранить на диск. Если блок изменен, то через несколько операций (или по таймеру) он также долже быть сохранен на диск.<br /> <br /> Блок должен относиться к одному отношению. В блоке должны быть: ссылка на схему отношения, ссылка на следующий блок, бит переполнения (используется, если запись не поместилась в блок целиком)<br /> <br /> Схема отношения должна содержать адрес файла, в котором находятся блоки с записями.</div>

Ivsavin https://wiki.cs.hse.ru/index.php?title=%D0%91%D0%B0%D0%B7%D1%8B_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_2/simpledb&diff=22724 2017-02-28T07:12:30Z

<p>Ivsavin: </p> <hr /> <div>=== Задания ===<br /> <br /> ====Задание 1====<br /> <br /> * В СУБД есть чтение доступных таблиц (схем) при старте сервера.<br /> * При выполнении запроса создается (на данном шаге можно не парсить запрос, а забить предустановленные значения) QueryPlan с операцией чтения из таблицы. QueryPlan содержит операцию full_scan.<br /> * BufferManager, получив QueryPlan, начинает считывать поблочно из файла с данными и формировать список кортежей для результата.<br /> <br /> Замечания:<br /> <br /> * В QueryResult атрибут schema указан как список, но на самом деле в результате выполнения запроса нужно иметь только одну схему.<br /> * Для перехода к следующему блоку можно также использовать и смещение в текущем файле данных.<br /> * Так как схема отношения уже определена, дополнительно не нужно хранить ее в блоках или картежах данных. Минимально достаточные данные в блоке: указатель/смещение на следующий блок, внутренняя таблица смещения кортежей, кортежи. В кортежах только данные. Для данных переменной длины (VARCHAR) допустимо использовать любой из методов хранения: указание в первом байте размера поля или указание управляющего символа в конце записи.<br /> <br /> '''Задание до 14 февраля.'''<br /> <br /> Если есть вопросы, то пишите на почту преподавателю: acccko@gmail.com<br /> <br /> ''' Для сдачи задания используйте форму: https://goo.gl/forms/81yE6BcY7tZP3wVm2 ''' <br /> <br /> ====Задание 2====<br /> * Реализовать вставку кортежей (формирование страниц) и запись страниц на диск. Для операции добавления нового кортежа достаточно считать в память последний страницу отношения (или реализовать поиск достаточного свободного места в страницах), добавить в него кортеж и записать страницу на диск.<br /> * Реализовать поддержку В-дерева: операции добавление, удаление, поиск по дереву.<br /> * Реализовать поддержку некластерного индекса (кластерного опционально)<br /> <br /> Замечания:<br /> * Для вставки достаточно брать случайные данные, не парсить запрос. Например, исходя из того, встречается ли в запросе слово insert или select, выполнять операции добавления или выборки.<br /> * Количество ссылок в узле/листе дерева определяется исходя из размера страницы на диске.<br /> <br /> <br /> Информацию об индексах можно хранить в отдельном файле или файлах.<br /> <br /> '''Задание до 1 марта.'''<br /> <br /> Для сдачи задания используйте форму: https://goo.gl/forms/gWhAi0fkObLA1uov2<br /> <br /> ====Задание 3====<br /> <br /> ''Парсинг запроса, составление плана. Возможно, будет пропущено.''<br /> <br /> ====Задание 4====<br /> <br /> Добавить менеджеров транзакций, журнала и восстановления. Реализация поддержки транзакций.<br /> <br /> * Запись журнала в режиме undo/redo для списка запросов, обозначенных как одна транзакция<br /> * Алгоритм восстановления по журналу<br /> <br /> Пояснения:<br /> * Для обозначения транзакции нужно передать в BufferManager последовательно запросы: BEGIN, UPDATE ..., UPDATE ..., COMMIT. Можно использовать предустановленные результаты разбора запросов (не парсить). <br /> * BufferManager прежде чем совершить запрос, должен обратиться к TransactionManager и передать ему запрос и идентификатор клиента (можно использовать номер треда). В свою очередь TransactionManager, получив команду BEGIN, должен зафиксировать начало транзакции и затем обрабатывать все последующие операции. Как только TransactionManager успешно выполнит свою работу с запросов, BufferManager может выполнять свои действия (саму операцию). Как только BufferManager выполнил операцию, он обращается к TransactionManager, чтобы тот мог завершить действия по логированию операции.<br /> * Лог транзакций можно вести в текстовом виде, указывая простые команды типа START transaction_id, WRITE disk_address_to_field old_value new_value, COMMIT transaction_id<br /> * Во время запуска сервера должна быть возможность указать, что этот запуск в режиме восстановления. При этом RecoverManager должен считать журнал и выполнить операции согласно алгоритму восстановления.<br /> <br /> Замечания:<br /> * Механизм контрольных точек можно не реализовывать<br /> * Файл журнала можно хранить там же где данные, например, в файле transactions.log<br /> <br /> <br /> '''Задание до 14 марта'''<br /> <br /> ====Задание 5====<br /> <br /> Параллельная обработка запросов.<br /> <br /> * Реализация пранировщика блокирования<br /> <br /> '''Задание до TBA'''<br /> <br /> === Описание ===<br /> <br /> Описание пока что может отличаться от реального кода (какие-то взаимодействия еще не дописаны), но концепция скорее всего менять не будет.<br /> <br /> Есть Server (SocketServer), который может принять и обработать запрос (RequestHandler), затем отправить клиенту ответ.<br /> Запрос предварительно парсится на: управляюдище команды, DDL, DML.<br /> <br /> Если управляющая команда, то запрос уходит в ControlManager (там можно завершить соединение с клиентом exit)<br /> <br /> Если DDL, то запрос отправляется в SchemaManager (там можно запросить список отношений с колонками и индексами, а в будущем создавать и удалять их).<br /> <br /> Если запрос DML, то отправляется в QueryManager, который парсит запрос (с помощью QueryParser) и возвращает QueryPlan (список операций, типы операций и отношения, над которыми нужно их делать). Пример операции: table1, full_scan, condition.<br /> Результат работы QueryParser QueryManager отправляет в BufferManager, в котором происходят все операции. Если BufferManager нужны данные, которых нет в оперативной памяти, он используя SchemaManager отправляет запросы в DiskManager, который возвращает блоки с диска. Получив блоки (и записи в них) в BufferManager, тот считывает записи оттуда с помощью Row и отправляет наверх к QueryParser, тот в свою очередь отправляет результаты назад к CommandManager, который интерпретирует их и выводит в виде строки пользователю.<br /> <br /> При старте Server говорит SchemaManager, чтобы тот запустил свою инициализацию, по умолчанию это значит попросит BufferManager записать в оперативную мапять доступные схемы из файлов.<br /> <br /> SchemaManager работает с Schema, который состоит из Column, у которых есть название, тип и размер.<br /> <br /> === Код ===<br /> <br /> * Стартовый код расположен в git-репозитории: https://bitbucket.org/qs/simpledb<br /> <br /> === Описание взаимодействия ===<br /> <br /> На данном этапе нужно реализовать подгрузку схемы отношения и взаимодействие менеджера памяти с диском.<br /> <br /> Предлагается использовать следующую структуру файловой системы:<br /> <br /> Корень базы<br /> --- table.data - файл со страницами с данными<br /> --- table.meta - файл со схемой отношения<br /> <br /> Формат схемы отношений<br /> <br /> Можно ограничиться читабельным форматом, например, перечислить через точку с запятой имя поля, тип и размер (если он есть):<br /> <br /> id;int<br /> name;varchar;10<br /> dt;datetime<br /> <br /> Можно также хранить тип в виде числа объявленного в Const.<br /> <br /> Для данного задания точкой входа является BufferManager.executeQuery, который принимает queryPlan - список из операций (Операция определяется как отношение, тип операции (на данном этапе это full_scan) и предикат).<br /> <br /> Адресацию в таблице трансляции в BufferManager можно сделать относительно просто воспринимаемой: в качестве ключа в bufferTable нужно указать имя файла данных и смешение относительно начала файла, например: <br /> <br /> table1.data:32<br /> <br /> executeQuery запрашивает у SchemaManager файл с данными. Так как нужно выполнить операцию full_scan, то первоначальный адрес страницы, которую нужно загрузить в память будет table1.data:0, нужно проверить, загружена ли она в таблицу трансляции, и если нет, то с помощью DiskManager считать ее.<br /> <br /> Также нужно, чтобы у страницы (Page) была ссылка на следующую страницу.<br /> <br /> <br /> 1. BufferManager должен использовать свое адресное пространство при загрузке данных с диска (строить таблицу трансляции). Физический адрес - путь к файлу и смещение для перехода к нужному блоку.<br /> <br /> 2. Добавить команду добавления записей в таблицу. При этом расположение записей на блоке должно быть оптимальным для схемы.<br /> <br /> Как только блок заполнен, его нужно сохранить на диск. Если блок изменен, то через несколько операций (или по таймеру) он также долже быть сохранен на диск.<br /> <br /> Блок должен относиться к одному отношению. В блоке должны быть: ссылка на схему отношения, ссылка на следующий блок, бит переполнения (используется, если запись не поместилась в блок целиком)<br /> <br /> Схема отношения должна содержать адрес файла, в котором находятся блоки с записями.</div>

Ivsavin https://wiki.cs.hse.ru/index.php?title=%D0%91%D0%B0%D0%B7%D1%8B_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_2/simpledb&diff=22723 2017-02-28T06:55:15Z

<p>Ivsavin: </p> <hr /> <div>=== Задания ===<br /> <br /> ====Задание 1====<br /> <br /> * В СУБД есть чтение доступных таблиц (схем) при старте сервера.<br /> * При выполнении запроса создается (на данном шаге можно не парсить запрос, а забить предустановленные значения) QueryPlan с операцией чтения из таблицы. QueryPlan содержит операцию full_scan.<br /> * BufferManager, получив QueryPlan, начинает считывать поблочно из файла с данными и формировать список кортежей для результата.<br /> <br /> Замечания:<br /> <br /> * В QueryResult атрибут schema указан как список, но на самом деле в результате выполнения запроса нужно иметь только одну схему.<br /> * Для перехода к следующему блоку можно также использовать и смещение в текущем файле данных.<br /> * Так как схема отношения уже определена, дополнительно не нужно хранить ее в блоках или картежах данных. Минимально достаточные данные в блоке: указатель/смещение на следующий блок, внутренняя таблица смещения кортежей, кортежи. В кортежах только данные. Для данных переменной длины (VARCHAR) допустимо использовать любой из методов хранения: указание в первом байте размера поля или указание управляющего символа в конце записи.<br /> <br /> '''Задание до 14 февраля.'''<br /> <br /> Если есть вопросы, то пишите на почту преподавателю: acccko@gmail.com<br /> <br /> ''' Для сдачи задания используйте форму: https://goo.gl/forms/81yE6BcY7tZP3wVm2 ''' <br /> <br /> ====Задание 2====<br /> * Реализовать вставку кортежей (формирование страниц) и запись страниц на диск. Для операции добавления нового кортежа достаточно считать в память последний страницу отношения (или реализовать поиск достаточного свободного места в страницах), добавить в него кортеж и записать страницу на диск.<br /> * Реализовать поддержку В-дерева: операции добавление, удаление, поиск по дереву.<br /> * Реализовать поддержку некластерного индекса (кластерного опционально)<br /> <br /> Замечания:<br /> * Для вставки достаточно брать случайные данные, не парсить запрос. Например, исходя из того, встречается ли в запросе слово insert или select, выполнять операции добавления или выборки.<br /> * Количество ссылок в узле/листе дерева определяется исходя из размера страницы на диске.<br /> <br /> <br /> Информацию об индексах можно хранить в отдельном файле или файлах.<br /> <br /> '''Задание до 1 марта.'''<br /> <br /> Для сдачи задания используйте форму: https://goo.gl/forms/gWhAi0fkObLA1uov2<br /> <br /> ====Задание 3====<br /> <br /> ''Парсинг запроса, составление плана. Возможно, будет пропущено.''<br /> <br /> ====Задание 4====<br /> <br /> Добавить менеджеров транзакций, журнала и восстановления. Реализация поддержки транзакций.<br /> <br /> * Запись журнала в режиме undo/redo для списка запросов, обозначенных как одна транзакция<br /> * Алгоритм восстановления по журналу<br /> <br /> Пояснения:<br /> * Для обозначения транзакции нужно передать в BufferManager последовательно запросы: BEGIN, UPDATE ..., UPDATE ..., COMMIT. Можно использовать предустановленные результаты разбора запросов (не парсить). BufferManager прежде чем совершить запрос, должен обратиться к TransactionManager и передать ему запрос и идентификатор клиента (можно использовать номер треда). В свою очередь TransactionManager, получив команду BEGIN, должен зафиксировать начало транзакции и затем обрабатывать все последующие операции. Как только TransactionManager успешно выполнит свою работу с запросов, BufferManager может выполнять свои действия (саму операцию). Как только BufferManager выполнил операцию, он обращается к TransactionManager, чтобы тот мог завершить действия по логированию операции.<br /> * Лог транзакций можно вести в текстовом виде, указывая простые команды типа START transaction_id, WRITE disk_address_to_field old_value new_value, COMMIT transaction_id<br /> <br /> Замечания:<br /> * Механизм контрольных точек можно не реализовывать<br /> <br /> <br /> '''Задание до 14 марта'''<br /> <br /> ====Задание 5====<br /> <br /> Параллельная обработка запросов.<br /> <br /> * Реализация пранировщика блокирования<br /> <br /> '''Задание до TBA'''<br /> <br /> === Описание ===<br /> <br /> Описание пока что может отличаться от реального кода (какие-то взаимодействия еще не дописаны), но концепция скорее всего менять не будет.<br /> <br /> Есть Server (SocketServer), который может принять и обработать запрос (RequestHandler), затем отправить клиенту ответ.<br /> Запрос предварительно парсится на: управляюдище команды, DDL, DML.<br /> <br /> Если управляющая команда, то запрос уходит в ControlManager (там можно завершить соединение с клиентом exit)<br /> <br /> Если DDL, то запрос отправляется в SchemaManager (там можно запросить список отношений с колонками и индексами, а в будущем создавать и удалять их).<br /> <br /> Если запрос DML, то отправляется в QueryManager, который парсит запрос (с помощью QueryParser) и возвращает QueryPlan (список операций, типы операций и отношения, над которыми нужно их делать). Пример операции: table1, full_scan, condition.<br /> Результат работы QueryParser QueryManager отправляет в BufferManager, в котором происходят все операции. Если BufferManager нужны данные, которых нет в оперативной памяти, он используя SchemaManager отправляет запросы в DiskManager, который возвращает блоки с диска. Получив блоки (и записи в них) в BufferManager, тот считывает записи оттуда с помощью Row и отправляет наверх к QueryParser, тот в свою очередь отправляет результаты назад к CommandManager, который интерпретирует их и выводит в виде строки пользователю.<br /> <br /> При старте Server говорит SchemaManager, чтобы тот запустил свою инициализацию, по умолчанию это значит попросит BufferManager записать в оперативную мапять доступные схемы из файлов.<br /> <br /> SchemaManager работает с Schema, который состоит из Column, у которых есть название, тип и размер.<br /> <br /> === Код ===<br /> <br /> * Стартовый код расположен в git-репозитории: https://bitbucket.org/qs/simpledb<br /> <br /> === Описание взаимодействия ===<br /> <br /> На данном этапе нужно реализовать подгрузку схемы отношения и взаимодействие менеджера памяти с диском.<br /> <br /> Предлагается использовать следующую структуру файловой системы:<br /> <br /> Корень базы<br /> --- table.data - файл со страницами с данными<br /> --- table.meta - файл со схемой отношения<br /> <br /> Формат схемы отношений<br /> <br /> Можно ограничиться читабельным форматом, например, перечислить через точку с запятой имя поля, тип и размер (если он есть):<br /> <br /> id;int<br /> name;varchar;10<br /> dt;datetime<br /> <br /> Можно также хранить тип в виде числа объявленного в Const.<br /> <br /> Для данного задания точкой входа является BufferManager.executeQuery, который принимает queryPlan - список из операций (Операция определяется как отношение, тип операции (на данном этапе это full_scan) и предикат).<br /> <br /> Адресацию в таблице трансляции в BufferManager можно сделать относительно просто воспринимаемой: в качестве ключа в bufferTable нужно указать имя файла данных и смешение относительно начала файла, например: <br /> <br /> table1.data:32<br /> <br /> executeQuery запрашивает у SchemaManager файл с данными. Так как нужно выполнить операцию full_scan, то первоначальный адрес страницы, которую нужно загрузить в память будет table1.data:0, нужно проверить, загружена ли она в таблицу трансляции, и если нет, то с помощью DiskManager считать ее.<br /> <br /> Также нужно, чтобы у страницы (Page) была ссылка на следующую страницу.<br /> <br /> <br /> 1. BufferManager должен использовать свое адресное пространство при загрузке данных с диска (строить таблицу трансляции). Физический адрес - путь к файлу и смещение для перехода к нужному блоку.<br /> <br /> 2. Добавить команду добавления записей в таблицу. При этом расположение записей на блоке должно быть оптимальным для схемы.<br /> <br /> Как только блок заполнен, его нужно сохранить на диск. Если блок изменен, то через несколько операций (или по таймеру) он также долже быть сохранен на диск.<br /> <br /> Блок должен относиться к одному отношению. В блоке должны быть: ссылка на схему отношения, ссылка на следующий блок, бит переполнения (используется, если запись не поместилась в блок целиком)<br /> <br /> Схема отношения должна содержать адрес файла, в котором находятся блоки с записями.</div>

Ivsavin https://wiki.cs.hse.ru/index.php?title=%D0%91%D0%B0%D0%B7%D1%8B_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_2/simpledb&diff=22722 2017-02-28T06:30:34Z

<p>Ivsavin: </p> <hr /> <div>=== Задания ===<br /> <br /> ====Задание 1====<br /> <br /> * В СУБД есть чтение доступных таблиц (схем) при старте сервера.<br /> * При выполнении запроса создается (на данном шаге можно не парсить запрос, а забить предустановленные значения) QueryPlan с операцией чтения из таблицы. QueryPlan содержит операцию full_scan.<br /> * BufferManager, получив QueryPlan, начинает считывать поблочно из файла с данными и формировать список кортежей для результата.<br /> <br /> Замечания:<br /> <br /> * В QueryResult атрибут schema указан как список, но на самом деле в результате выполнения запроса нужно иметь только одну схему.<br /> * Для перехода к следующему блоку можно также использовать и смещение в текущем файле данных.<br /> * Так как схема отношения уже определена, дополнительно не нужно хранить ее в блоках или картежах данных. Минимально достаточные данные в блоке: указатель/смещение на следующий блок, внутренняя таблица смещения кортежей, кортежи. В кортежах только данные. Для данных переменной длины (VARCHAR) допустимо использовать любой из методов хранения: указание в первом байте размера поля или указание управляющего символа в конце записи.<br /> <br /> '''Задание до 14 февраля.'''<br /> <br /> Если есть вопросы, то пишите на почту преподавателю: acccko@gmail.com<br /> <br /> ''' Для сдачи задания используйте форму: https://goo.gl/forms/81yE6BcY7tZP3wVm2 ''' <br /> <br /> ====Задание 2====<br /> * Реализовать вставку кортежей (формирование страниц) и запись страниц на диск. Для операции добавления нового кортежа достаточно считать в память последний страницу отношения (или реализовать поиск достаточного свободного места в страницах), добавить в него кортеж и записать страницу на диск.<br /> * Реализовать поддержку В-дерева: операции добавление, удаление, поиск по дереву.<br /> * Реализовать поддержку некластерного индекса (кластерного опционально)<br /> <br /> Замечания:<br /> * Для вставки достаточно брать случайные данные, не парсить запрос. Например, исходя из того, встречается ли в запросе слово insert или select, выполнять операции добавления или выборки.<br /> * Количество ссылок в узле/листе дерева определяется исходя из размера страницы на диске.<br /> <br /> <br /> Информацию об индексах можно хранить в отдельном файле или файлах.<br /> <br /> '''Задание до 1 марта.'''<br /> <br /> Для сдачи задания используйте форму: https://goo.gl/forms/gWhAi0fkObLA1uov2<br /> <br /> ====Задание 3====<br /> <br /> ''Парсинг запроса, составление плана. Возможно, будет пропущено.''<br /> <br /> ====Задание 4====<br /> <br /> Добавить менеджеров транзакций, журнала и восстановления. Реализация поддержки транзакций.<br /> <br /> * Запись журнала в режиме undo/redo<br /> * Алгоритм восстановления по журналу<br /> <br /> '''Задание до TBA'''<br /> <br /> ====Задание 5====<br /> <br /> Параллельная обработка запросов.<br /> <br /> * Реализация пранировщика блокирования<br /> <br /> '''Задание до TBA'''<br /> <br /> === Описание ===<br /> <br /> Описание пока что может отличаться от реального кода (какие-то взаимодействия еще не дописаны), но концепция скорее всего менять не будет.<br /> <br /> Есть Server (SocketServer), который может принять и обработать запрос (RequestHandler), затем отправить клиенту ответ.<br /> Запрос предварительно парсится на: управляюдище команды, DDL, DML.<br /> <br /> Если управляющая команда, то запрос уходит в ControlManager (там можно завершить соединение с клиентом exit)<br /> <br /> Если DDL, то запрос отправляется в SchemaManager (там можно запросить список отношений с колонками и индексами, а в будущем создавать и удалять их).<br /> <br /> Если запрос DML, то отправляется в QueryManager, который парсит запрос (с помощью QueryParser) и возвращает QueryPlan (список операций, типы операций и отношения, над которыми нужно их делать). Пример операции: table1, full_scan, condition.<br /> Результат работы QueryParser QueryManager отправляет в BufferManager, в котором происходят все операции. Если BufferManager нужны данные, которых нет в оперативной памяти, он используя SchemaManager отправляет запросы в DiskManager, который возвращает блоки с диска. Получив блоки (и записи в них) в BufferManager, тот считывает записи оттуда с помощью Row и отправляет наверх к QueryParser, тот в свою очередь отправляет результаты назад к CommandManager, который интерпретирует их и выводит в виде строки пользователю.<br /> <br /> При старте Server говорит SchemaManager, чтобы тот запустил свою инициализацию, по умолчанию это значит попросит BufferManager записать в оперативную мапять доступные схемы из файлов.<br /> <br /> SchemaManager работает с Schema, который состоит из Column, у которых есть название, тип и размер.<br /> <br /> === Код ===<br /> <br /> * Стартовый код расположен в git-репозитории: https://bitbucket.org/qs/simpledb<br /> <br /> === Описание взаимодействия ===<br /> <br /> На данном этапе нужно реализовать подгрузку схемы отношения и взаимодействие менеджера памяти с диском.<br /> <br /> Предлагается использовать следующую структуру файловой системы:<br /> <br /> Корень базы<br /> --- table.data - файл со страницами с данными<br /> --- table.meta - файл со схемой отношения<br /> <br /> Формат схемы отношений<br /> <br /> Можно ограничиться читабельным форматом, например, перечислить через точку с запятой имя поля, тип и размер (если он есть):<br /> <br /> id;int<br /> name;varchar;10<br /> dt;datetime<br /> <br /> Можно также хранить тип в виде числа объявленного в Const.<br /> <br /> Для данного задания точкой входа является BufferManager.executeQuery, который принимает queryPlan - список из операций (Операция определяется как отношение, тип операции (на данном этапе это full_scan) и предикат).<br /> <br /> Адресацию в таблице трансляции в BufferManager можно сделать относительно просто воспринимаемой: в качестве ключа в bufferTable нужно указать имя файла данных и смешение относительно начала файла, например: <br /> <br /> table1.data:32<br /> <br /> executeQuery запрашивает у SchemaManager файл с данными. Так как нужно выполнить операцию full_scan, то первоначальный адрес страницы, которую нужно загрузить в память будет table1.data:0, нужно проверить, загружена ли она в таблицу трансляции, и если нет, то с помощью DiskManager считать ее.<br /> <br /> Также нужно, чтобы у страницы (Page) была ссылка на следующую страницу.<br /> <br /> <br /> 1. BufferManager должен использовать свое адресное пространство при загрузке данных с диска (строить таблицу трансляции). Физический адрес - путь к файлу и смещение для перехода к нужному блоку.<br /> <br /> 2. Добавить команду добавления записей в таблицу. При этом расположение записей на блоке должно быть оптимальным для схемы.<br /> <br /> Как только блок заполнен, его нужно сохранить на диск. Если блок изменен, то через несколько операций (или по таймеру) он также долже быть сохранен на диск.<br /> <br /> Блок должен относиться к одному отношению. В блоке должны быть: ссылка на схему отношения, ссылка на следующий блок, бит переполнения (используется, если запись не поместилась в блок целиком)<br /> <br /> Схема отношения должна содержать адрес файла, в котором находятся блоки с записями.</div>

Ivsavin https://wiki.cs.hse.ru/index.php?title=%D0%91%D0%B0%D0%B7%D1%8B_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_2/simpledb&diff=22721 2017-02-28T06:24:06Z

<p>Ivsavin: </p> <hr /> <div>=== Задания ===<br /> <br /> ====Задание 1====<br /> <br /> * В СУБД есть чтение доступных таблиц (схем) при старте сервера.<br /> * При выполнении запроса создается (на данном шаге можно не парсить запрос, а забить предустановленные значения) QueryPlan с операцией чтения из таблицы. QueryPlan содержит операцию full_scan.<br /> * BufferManager, получив QueryPlan, начинает считывать поблочно из файла с данными и формировать список кортежей для результата.<br /> <br /> Замечания:<br /> <br /> * В QueryResult атрибут schema указан как список, но на самом деле в результате выполнения запроса нужно иметь только одну схему.<br /> * Для перехода к следующему блоку можно также использовать и смещение в текущем файле данных.<br /> * Так как схема отношения уже определена, дополнительно не нужно хранить ее в блоках или картежах данных. Минимально достаточные данные в блоке: указатель/смещение на следующий блок, внутренняя таблица смещения кортежей, кортежи. В кортежах только данные. Для данных переменной длины (VARCHAR) допустимо использовать любой из методов хранения: указание в первом байте размера поля или указание управляющего символа в конце записи.<br /> <br /> '''Задание до 14 февраля.'''<br /> <br /> Если есть вопросы, то пишите на почту преподавателю: acccko@gmail.com<br /> <br /> ''' Для сдачи задания используйте форму: https://goo.gl/forms/81yE6BcY7tZP3wVm2 ''' <br /> <br /> ====Задание 2====<br /> * Реализовать вставку кортежей (формирование страниц) и запись страниц на диск. Для операции добавления нового кортежа достаточно считать в память последний страницу отношения (или реализовать поиск достаточного свободного места в страницах), добавить в него кортеж и записать страницу на диск.<br /> * Реализовать поддержку В-дерева: операции добавление, удаление, поиск по дереву.<br /> * Реализовать поддержку некластерного индекса (кластерного опционально)<br /> <br /> Замечания:<br /> * Для вставки достаточно брать случайные данные, не парсить запрос. Например, исходя из того, встречается ли в запросе слово insert или select, выполнять операции добавления или выборки.<br /> <br /> <br /> Информацию об индексах можно хранить в отдельном файле или файлах.<br /> <br /> '''Задание до 1 марта.'''<br /> <br /> Для сдачи задания используйте форму: https://goo.gl/forms/gWhAi0fkObLA1uov2<br /> <br /> ====Задание 3====<br /> <br /> ''Парсинг запроса, составление плана. Возможно, будет пропущено.''<br /> <br /> ====Задание 4====<br /> <br /> Добавить менеджеров транзакций, журнала и восстановления. Реализация поддержки транзакций.<br /> <br /> * Запись журнала в режиме undo/redo<br /> * Алгоритм восстановления по журналу<br /> <br /> '''Задание до TBA'''<br /> <br /> ====Задание 5====<br /> <br /> Параллельная обработка запросов.<br /> <br /> * Реализация пранировщика блокирования<br /> <br /> '''Задание до TBA'''<br /> <br /> === Описание ===<br /> <br /> Описание пока что может отличаться от реального кода (какие-то взаимодействия еще не дописаны), но концепция скорее всего менять не будет.<br /> <br /> Есть Server (SocketServer), который может принять и обработать запрос (RequestHandler), затем отправить клиенту ответ.<br /> Запрос предварительно парсится на: управляюдище команды, DDL, DML.<br /> <br /> Если управляющая команда, то запрос уходит в ControlManager (там можно завершить соединение с клиентом exit)<br /> <br /> Если DDL, то запрос отправляется в SchemaManager (там можно запросить список отношений с колонками и индексами, а в будущем создавать и удалять их).<br /> <br /> Если запрос DML, то отправляется в QueryManager, который парсит запрос (с помощью QueryParser) и возвращает QueryPlan (список операций, типы операций и отношения, над которыми нужно их делать). Пример операции: table1, full_scan, condition.<br /> Результат работы QueryParser QueryManager отправляет в BufferManager, в котором происходят все операции. Если BufferManager нужны данные, которых нет в оперативной памяти, он используя SchemaManager отправляет запросы в DiskManager, который возвращает блоки с диска. Получив блоки (и записи в них) в BufferManager, тот считывает записи оттуда с помощью Row и отправляет наверх к QueryParser, тот в свою очередь отправляет результаты назад к CommandManager, который интерпретирует их и выводит в виде строки пользователю.<br /> <br /> При старте Server говорит SchemaManager, чтобы тот запустил свою инициализацию, по умолчанию это значит попросит BufferManager записать в оперативную мапять доступные схемы из файлов.<br /> <br /> SchemaManager работает с Schema, который состоит из Column, у которых есть название, тип и размер.<br /> <br /> === Код ===<br /> <br /> * Стартовый код расположен в git-репозитории: https://bitbucket.org/qs/simpledb<br /> <br /> === Описание взаимодействия ===<br /> <br /> На данном этапе нужно реализовать подгрузку схемы отношения и взаимодействие менеджера памяти с диском.<br /> <br /> Предлагается использовать следующую структуру файловой системы:<br /> <br /> Корень базы<br /> --- table.data - файл со страницами с данными<br /> --- table.meta - файл со схемой отношения<br /> <br /> Формат схемы отношений<br /> <br /> Можно ограничиться читабельным форматом, например, перечислить через точку с запятой имя поля, тип и размер (если он есть):<br /> <br /> id;int<br /> name;varchar;10<br /> dt;datetime<br /> <br /> Можно также хранить тип в виде числа объявленного в Const.<br /> <br /> Для данного задания точкой входа является BufferManager.executeQuery, который принимает queryPlan - список из операций (Операция определяется как отношение, тип операции (на данном этапе это full_scan) и предикат).<br /> <br /> Адресацию в таблице трансляции в BufferManager можно сделать относительно просто воспринимаемой: в качестве ключа в bufferTable нужно указать имя файла данных и смешение относительно начала файла, например: <br /> <br /> table1.data:32<br /> <br /> executeQuery запрашивает у SchemaManager файл с данными. Так как нужно выполнить операцию full_scan, то первоначальный адрес страницы, которую нужно загрузить в память будет table1.data:0, нужно проверить, загружена ли она в таблицу трансляции, и если нет, то с помощью DiskManager считать ее.<br /> <br /> Также нужно, чтобы у страницы (Page) была ссылка на следующую страницу.<br /> <br /> <br /> 1. BufferManager должен использовать свое адресное пространство при загрузке данных с диска (строить таблицу трансляции). Физический адрес - путь к файлу и смещение для перехода к нужному блоку.<br /> <br /> 2. Добавить команду добавления записей в таблицу. При этом расположение записей на блоке должно быть оптимальным для схемы.<br /> <br /> Как только блок заполнен, его нужно сохранить на диск. Если блок изменен, то через несколько операций (или по таймеру) он также долже быть сохранен на диск.<br /> <br /> Блок должен относиться к одному отношению. В блоке должны быть: ссылка на схему отношения, ссылка на следующий блок, бит переполнения (используется, если запись не поместилась в блок целиком)<br /> <br /> Схема отношения должна содержать адрес файла, в котором находятся блоки с записями.</div>

Ivsavin https://wiki.cs.hse.ru/index.php?title=%D0%91%D0%B0%D0%B7%D1%8B_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_2/simpledb&diff=22720 2017-02-28T06:13:49Z

<p>Ivsavin: </p> <hr /> <div>=== Задания ===<br /> <br /> ====Задание 1====<br /> <br /> * В СУБД есть чтение доступных таблиц (схем) при старте сервера.<br /> * При выполнении запроса создается (на данном шаге можно не парсить запрос, а забить предустановленные значения) QueryPlan с операцией чтения из таблицы. QueryPlan содержит операцию full_scan.<br /> * BufferManager, получив QueryPlan, начинает считывать поблочно из файла с данными и формировать список кортежей для результата.<br /> <br /> Замечания:<br /> <br /> * В QueryResult атрибут schema указан как список, но на самом деле в результате выполнения запроса нужно иметь только одну схему.<br /> * Для перехода к следующему блоку можно также использовать и смещение в текущем файле данных.<br /> * Так как схема отношения уже определена, дополнительно не нужно хранить ее в блоках или картежах данных. Минимально достаточные данные в блоке: указатель/смещение на следующий блок, внутренняя таблица смещения кортежей, кортежи. В кортежах только данные. Для данных переменной длины (VARCHAR) допустимо использовать любой из методов хранения: указание в первом байте размера поля или указание управляющего символа в конце записи.<br /> <br /> '''Задание до 14 февраля.'''<br /> <br /> Если есть вопросы, то пишите на почту преподавателю: acccko@gmail.com<br /> <br /> ''' Для сдачи задания используйте форму: https://goo.gl/forms/81yE6BcY7tZP3wVm2 ''' <br /> <br /> ====Задание 2====<br /> * Реализовать вставку кортежей (формирование страниц) и запись страниц на диск. Для операции добавления нового кортежа достаточно считать в память последний страницу отношения (или реализовать поиск достаточного свободного места в страницах), добавить в него кортеж и записать страницу на диск.<br /> * Реализовать поддержку В-дерева: операции добавление, удаление, поиск по дереву.<br /> * Реализовать поддержку некластерного индекса (кластерного опционально)<br /> <br /> Замечания:<br /> * Для вставки достаточно брать случайные данные, не парсить запрос. Например, исходя из того, встречается ли в запросе слово insert или select, выполнять операции добавления или выборки.<br /> <br /> <br /> Информацию об индексах можно хранить в отдельном файле или файлах.<br /> <br /> '''Задание до 1 марта.'''<br /> <br /> ====Задание 3====<br /> <br /> ''Парсинг запроса, составление плана. Возможно, будет пропущено.''<br /> <br /> ====Задание 4====<br /> <br /> Добавить менеджеров транзакций, журнала и восстановления. Реализация поддержки транзакций.<br /> <br /> * Запись журнала в режиме undo/redo<br /> * Алгоритм восстановления по журналу<br /> <br /> '''Задание до TBA'''<br /> <br /> ====Задание 5====<br /> <br /> Параллельная обработка запросов.<br /> <br /> * Реализация пранировщика блокирования<br /> <br /> '''Задание до TBA'''<br /> <br /> === Описание ===<br /> <br /> Описание пока что может отличаться от реального кода (какие-то взаимодействия еще не дописаны), но концепция скорее всего менять не будет.<br /> <br /> Есть Server (SocketServer), который может принять и обработать запрос (RequestHandler), затем отправить клиенту ответ.<br /> Запрос предварительно парсится на: управляюдище команды, DDL, DML.<br /> <br /> Если управляющая команда, то запрос уходит в ControlManager (там можно завершить соединение с клиентом exit)<br /> <br /> Если DDL, то запрос отправляется в SchemaManager (там можно запросить список отношений с колонками и индексами, а в будущем создавать и удалять их).<br /> <br /> Если запрос DML, то отправляется в QueryManager, который парсит запрос (с помощью QueryParser) и возвращает QueryPlan (список операций, типы операций и отношения, над которыми нужно их делать). Пример операции: table1, full_scan, condition.<br /> Результат работы QueryParser QueryManager отправляет в BufferManager, в котором происходят все операции. Если BufferManager нужны данные, которых нет в оперативной памяти, он используя SchemaManager отправляет запросы в DiskManager, который возвращает блоки с диска. Получив блоки (и записи в них) в BufferManager, тот считывает записи оттуда с помощью Row и отправляет наверх к QueryParser, тот в свою очередь отправляет результаты назад к CommandManager, который интерпретирует их и выводит в виде строки пользователю.<br /> <br /> При старте Server говорит SchemaManager, чтобы тот запустил свою инициализацию, по умолчанию это значит попросит BufferManager записать в оперативную мапять доступные схемы из файлов.<br /> <br /> SchemaManager работает с Schema, который состоит из Column, у которых есть название, тип и размер.<br /> <br /> === Код ===<br /> <br /> * Стартовый код расположен в git-репозитории: https://bitbucket.org/qs/simpledb<br /> <br /> === Описание взаимодействия ===<br /> <br /> На данном этапе нужно реализовать подгрузку схемы отношения и взаимодействие менеджера памяти с диском.<br /> <br /> Предлагается использовать следующую структуру файловой системы:<br /> <br /> Корень базы<br /> --- table.data - файл со страницами с данными<br /> --- table.meta - файл со схемой отношения<br /> <br /> Формат схемы отношений<br /> <br /> Можно ограничиться читабельным форматом, например, перечислить через точку с запятой имя поля, тип и размер (если он есть):<br /> <br /> id;int<br /> name;varchar;10<br /> dt;datetime<br /> <br /> Можно также хранить тип в виде числа объявленного в Const.<br /> <br /> Для данного задания точкой входа является BufferManager.executeQuery, который принимает queryPlan - список из операций (Операция определяется как отношение, тип операции (на данном этапе это full_scan) и предикат).<br /> <br /> Адресацию в таблице трансляции в BufferManager можно сделать относительно просто воспринимаемой: в качестве ключа в bufferTable нужно указать имя файла данных и смешение относительно начала файла, например: <br /> <br /> table1.data:32<br /> <br /> executeQuery запрашивает у SchemaManager файл с данными. Так как нужно выполнить операцию full_scan, то первоначальный адрес страницы, которую нужно загрузить в память будет table1.data:0, нужно проверить, загружена ли она в таблицу трансляции, и если нет, то с помощью DiskManager считать ее.<br /> <br /> Также нужно, чтобы у страницы (Page) была ссылка на следующую страницу.<br /> <br /> <br /> 1. BufferManager должен использовать свое адресное пространство при загрузке данных с диска (строить таблицу трансляции). Физический адрес - путь к файлу и смещение для перехода к нужному блоку.<br /> <br /> 2. Добавить команду добавления записей в таблицу. При этом расположение записей на блоке должно быть оптимальным для схемы.<br /> <br /> Как только блок заполнен, его нужно сохранить на диск. Если блок изменен, то через несколько операций (или по таймеру) он также долже быть сохранен на диск.<br /> <br /> Блок должен относиться к одному отношению. В блоке должны быть: ссылка на схему отношения, ссылка на следующий блок, бит переполнения (используется, если запись не поместилась в блок целиком)<br /> <br /> Схема отношения должна содержать адрес файла, в котором находятся блоки с записями.</div>

Ivsavin https://wiki.cs.hse.ru/index.php?title=%D0%91%D0%B0%D0%B7%D1%8B_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_2/simpledb&diff=22719 2017-02-28T05:19:55Z

<p>Ivsavin: </p> <hr /> <div>=== Задания ===<br /> <br /> ====Задание 1====<br /> <br /> * В СУБД есть чтение доступных таблиц (схем) при старте сервера.<br /> * При выполнении запроса создается (на данном шаге можно не парсить запрос, а забить предустановленные значения) QueryPlan с операцией чтения из таблицы. QueryPlan содержит операцию full_scan.<br /> * BufferManager, получив QueryPlan, начинает считывать поблочно из файла с данными и формировать список кортежей для результата.<br /> <br /> Замечания:<br /> <br /> * В QueryResult атрибут schema указан как список, но на самом деле в результате выполнения запроса нужно иметь только одну схему.<br /> * Для перехода к следующему блоку можно также использовать и смещение в текущем файле данных.<br /> * Так как схема отношения уже определена, дополнительно не нужно хранить ее в блоках или картежах данных. Минимально достаточные данные в блоке: указатель/смещение на следующий блок, внутренняя таблица смещения кортежей, кортежи. В кортежах только данные. Для данных переменной длины (VARCHAR) допустимо использовать любой из методов хранения: указание в первом байте размера поля или указание управляющего символа в конце записи.<br /> <br /> '''Задание до 14 февраля.'''<br /> <br /> Если есть вопросы, то пишите на почту преподавателю: acccko@gmail.com<br /> <br /> ''' Для сдачи задания используйте форму: https://goo.gl/forms/81yE6BcY7tZP3wVm2 ''' <br /> <br /> ====Задание 2====<br /> * Реализовать вставку кортежей (формирование страниц) и запись страниц на диск. Для операции добавления нового кортежа достаточно считать в память последний страницу отношения (или реализовать поиск достаточного свободного места в страницах), добавить в него кортеж и записать страницу на диск.<br /> * Реализовать поддержку В-дерева: операции добавление, удаление, поиск по дереву.<br /> * Реализовать поддержку некластерного индекса (кластерного опционально)<br /> <br /> Информацию об индексах можно хранить в отдельном файле или файлах.<br /> <br /> '''Задание до 1 марта.'''<br /> <br /> ====Задание 3====<br /> <br /> ''Парсинг запроса, составление плана. Возможно, будет пропущено.''<br /> <br /> ====Задание 4====<br /> <br /> Добавить менеджеров транзакций, журнала и восстановления. Реализация поддержки транзакций.<br /> <br /> * Запись журнала в режиме undo/redo<br /> * Алгоритм восстановления по журналу<br /> <br /> '''Задание до TBA'''<br /> <br /> ====Задание 5====<br /> <br /> Параллельная обработка запросов.<br /> <br /> * Реализация пранировщика блокирования<br /> <br /> '''Задание до TBA'''<br /> <br /> === Описание ===<br /> <br /> Описание пока что может отличаться от реального кода (какие-то взаимодействия еще не дописаны), но концепция скорее всего менять не будет.<br /> <br /> Есть Server (SocketServer), который может принять и обработать запрос (RequestHandler), затем отправить клиенту ответ.<br /> Запрос предварительно парсится на: управляюдище команды, DDL, DML.<br /> <br /> Если управляющая команда, то запрос уходит в ControlManager (там можно завершить соединение с клиентом exit)<br /> <br /> Если DDL, то запрос отправляется в SchemaManager (там можно запросить список отношений с колонками и индексами, а в будущем создавать и удалять их).<br /> <br /> Если запрос DML, то отправляется в QueryManager, который парсит запрос (с помощью QueryParser) и возвращает QueryPlan (список операций, типы операций и отношения, над которыми нужно их делать). Пример операции: table1, full_scan, condition.<br /> Результат работы QueryParser QueryManager отправляет в BufferManager, в котором происходят все операции. Если BufferManager нужны данные, которых нет в оперативной памяти, он используя SchemaManager отправляет запросы в DiskManager, который возвращает блоки с диска. Получив блоки (и записи в них) в BufferManager, тот считывает записи оттуда с помощью Row и отправляет наверх к QueryParser, тот в свою очередь отправляет результаты назад к CommandManager, который интерпретирует их и выводит в виде строки пользователю.<br /> <br /> При старте Server говорит SchemaManager, чтобы тот запустил свою инициализацию, по умолчанию это значит попросит BufferManager записать в оперативную мапять доступные схемы из файлов.<br /> <br /> SchemaManager работает с Schema, который состоит из Column, у которых есть название, тип и размер.<br /> <br /> === Код ===<br /> <br /> * Стартовый код расположен в git-репозитории: https://bitbucket.org/qs/simpledb<br /> <br /> === Описание взаимодействия ===<br /> <br /> На данном этапе нужно реализовать подгрузку схемы отношения и взаимодействие менеджера памяти с диском.<br /> <br /> Предлагается использовать следующую структуру файловой системы:<br /> <br /> Корень базы<br /> --- table.data - файл со страницами с данными<br /> --- table.meta - файл со схемой отношения<br /> <br /> Формат схемы отношений<br /> <br /> Можно ограничиться читабельным форматом, например, перечислить через точку с запятой имя поля, тип и размер (если он есть):<br /> <br /> id;int<br /> name;varchar;10<br /> dt;datetime<br /> <br /> Можно также хранить тип в виде числа объявленного в Const.<br /> <br /> Для данного задания точкой входа является BufferManager.executeQuery, который принимает queryPlan - список из операций (Операция определяется как отношение, тип операции (на данном этапе это full_scan) и предикат).<br /> <br /> Адресацию в таблице трансляции в BufferManager можно сделать относительно просто воспринимаемой: в качестве ключа в bufferTable нужно указать имя файла данных и смешение относительно начала файла, например: <br /> <br /> table1.data:32<br /> <br /> executeQuery запрашивает у SchemaManager файл с данными. Так как нужно выполнить операцию full_scan, то первоначальный адрес страницы, которую нужно загрузить в память будет table1.data:0, нужно проверить, загружена ли она в таблицу трансляции, и если нет, то с помощью DiskManager считать ее.<br /> <br /> Также нужно, чтобы у страницы (Page) была ссылка на следующую страницу.<br /> <br /> <br /> 1. BufferManager должен использовать свое адресное пространство при загрузке данных с диска (строить таблицу трансляции). Физический адрес - путь к файлу и смещение для перехода к нужному блоку.<br /> <br /> 2. Добавить команду добавления записей в таблицу. При этом расположение записей на блоке должно быть оптимальным для схемы.<br /> <br /> Как только блок заполнен, его нужно сохранить на диск. Если блок изменен, то через несколько операций (или по таймеру) он также долже быть сохранен на диск.<br /> <br /> Блок должен относиться к одному отношению. В блоке должны быть: ссылка на схему отношения, ссылка на следующий блок, бит переполнения (используется, если запись не поместилась в блок целиком)<br /> <br /> Схема отношения должна содержать адрес файла, в котором находятся блоки с записями.</div>

Ivsavin https://wiki.cs.hse.ru/index.php?title=%D0%91%D0%B0%D0%B7%D1%8B_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_2&diff=22689 2017-02-21T07:32:18Z

<p>Ivsavin: </p> <hr /> <div>== Базы данных ==<br /> <br /> Продвинутый курс по БД для специальности РС.<br /> <br /> === Лекции ===<br /> * [https://docs.google.com/presentation/d/1kS8eyUqSXmVZ7_5AS0FdbAER94huceyGFv8UtoAvmyM/edit?usp=sharing Принципы хранения информации]<br /> * [https://docs.google.com/presentation/d/1PxM-2U72a-VRo5x3kHU54o18jQ36tC0zggN-_XnzNDk/edit?usp=sharing Представление элементов данных]<br /> * [https://docs.google.com/presentation/d/1XkL6jWOBm3Ew1oHGJygNblYBTTgPDFjbs9CFWFFwzWo/edit?usp=sharing Структуры индексов]<br /> * [https://docs.google.com/presentation/d/1yliSRkrgMGYMs7_5k26rriQIy4Vw0DFRJJeiMsNMqSg/edit?usp=sharing Структуры специализированных индексов]<br /> * [https://docs.google.com/presentation/d/1_o6b-uSP7lrucN4e-k50QlDqQCkTILvU02bpYzLbINs/edit Выполнение запросов 1]<br /> * [https://docs.google.com/presentation/d/1PDINXQol-bIQ9UcB3fvSM_s4ZqpA1Bgg-c1KjSJXYKw/edit Выполнение запросов 2]<br /> * [https://docs.google.com/presentation/d/19jvzM4mzmw8TcC1rpldws-SDmzmK2I7zzyaxxBxme1k/edit?usp=sharing Оптимизация запросов]<br /> <br /> === Практические работы ===<br /> <br /> Стартовый код и описание: [[Базы данных 2/simpledb]]<br /> <br /> В рамках курса нужно написать свою СУБД, в которой реализовать несколько ключевых механизмов, рассматриваемых в курсе, и обеспечивающих стабильную работу системы.<br /> <br /> * Задание 1: Взаимодействие с памятью<br /> * Задание 2: Индексы<br /> * Задание 3: Валидация и план запроса<br /> * Задание 4: Транзакции<br /> * Задание 5: Параллельное выполнение запросов<br /> <br /> Для практических заданий используется Java 8, можно пользоваться преимуществами этой версии (lambda, stream, работа со временем и тд, подробнее http://www.journaldev.com/2389/java-8-features-with-examples и https://www.tutorialspoint.com/java8/java8_overview.htm)<br /> Может быть полезным: http://web.mit.edu/6.005/www/sp16/<br /> <br /> Для тестирования:<br /> * http://site.mockito.org/<br /> * http://stackoverflow.com/questions/22697/whats-the-best-mock-framework-for-java<br /> <br /> === Оценки ===<br /> * https://docs.google.com/spreadsheets/d/1qCqCfZ04Fa6rUCcqlbWJ51jaVC6erSFV3vPRNYOo2Ks/edit#gid=0<br /> <br /> === Расчет оценки ===<br /> Вклад в оценку:<br /> * Практические задания (5 штук) - 60%, для зачета обязательно нужно выполнить все задания<br /> * Несколько тестов в конце второй пары - 30%<br /> * Итоговый тест (возможно, будет как домашняя работа) - 10%<br /> * Дополнительные задания на разработку (если пропустили тесты) - 20%<br /> <br /> У практических заданий есть дедлайны, каждый просроченный день после дедлайна дает -0.5 к оценке за задание, пока она не станет равна 4.<br /> <br /> === Литература ===<br /> Основная литература:<br /> * Системы баз данных. Полный курс. Г. Гарсиа-Молина, Д. Д. Ульман, Д. Уидом, 2004, Главы: 11-19 - частично устаревшее издание<br /> * Database Systems. The Complete Book, H.García-Molina, J.Ullman, J.Widom 2nd Edition, 2009, Главы 13-20 - более новое издание, но только на английском<br /> <br /> Дополнительная литература:<br /> * &quot;Architecture of a Database System&quot; J.M.Hellerstein, M.Stonebraker, J.Hamilton, 2007<br /> * https://en.wikibooks.org/wiki/Design_of_Main_Memory_Database_System<br /> * http://codecapsule.com/tag/key-value-store/<br /> <br /> <br /> === Контакты ===<br /> * Почта: acccko@gmail.com<br /> * Tg: @acccko</div>

Ivsavin https://wiki.cs.hse.ru/index.php?title=%D0%91%D0%B0%D0%B7%D1%8B_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_2/simpledb&diff=22688 2017-02-21T07:20:07Z

<p>Ivsavin: </p> <hr /> <div>=== Задания ===<br /> <br /> ====Задание 1====<br /> <br /> * В СУБД есть чтение доступных таблиц (схем) при старте сервера.<br /> * При выполнении запроса создается (на данном шаге можно не парсить запрос, а забить предустановленные значения) QueryPlan с операцией чтения из таблицы. QueryPlan содержит операцию full_scan.<br /> * BufferManager, получив QueryPlan, начинает считывать поблочно из файла с данными и формировать список кортежей для результата.<br /> <br /> Замечания:<br /> <br /> * В QueryResult атрибут schema указан как список, но на самом деле в результате выполнения запроса нужно иметь только одну схему.<br /> * Для перехода к следующему блоку можно также использовать и смещение в текущем файле данных.<br /> * Так как схема отношения уже определена, дополнительно не нужно хранить ее в блоках или картежах данных. Минимально достаточные данные в блоке: указатель/смещение на следующий блок, внутренняя таблица смещения кортежей, кортежи. В кортежах только данные. Для данных переменной длины (VARCHAR) допустимо использовать любой из методов хранения: указание в первом байте размера поля или указание управляющего символа в конце записи.<br /> <br /> '''Задание до 14 февраля.'''<br /> <br /> Если есть вопросы, то пишите на почту преподавателю: acccko@gmail.com<br /> <br /> ''' Для сдачи задания используйте форму: https://goo.gl/forms/81yE6BcY7tZP3wVm2 ''' <br /> <br /> ====Задание 2====<br /> * Реализовать вставку кортежей (формирование страниц) и запись страниц на диск. Для операции добавления нового кортежа достаточно считать в память последний страницу отношения (или реализовать поиск достаточного свободного места в страницах), добавить в него кортеж и записать страницу на диск.<br /> * Реализовать поддержку В-дерева: операции добавление, удаление, поиск по дереву.<br /> * Реализовать поддержку некластерного индекса (кластерного опционально)<br /> <br /> Информацию об индексах можно хранить в отдельном файле или файлах.<br /> <br /> '''Задание до 1 марта.'''<br /> <br /> ====Задание 3====<br /> <br /> ''Парсинг запроса, составление плана. Возможно, будет пропущено.''<br /> <br /> ====Задание 4====<br /> <br /> Реализация поддержки транзакций.<br /> <br /> * Запись журнала <br /> * Алгоритм восстановления по журналу<br /> <br /> '''Задание до TBA'''<br /> <br /> ====Задание 5====<br /> <br /> Параллельная обработка запросов.<br /> <br /> * Реализация пранировщика блокирования<br /> <br /> '''Задание до TBA'''<br /> <br /> === Описание ===<br /> <br /> Описание пока что может отличаться от реального кода (какие-то взаимодействия еще не дописаны), но концепция скорее всего менять не будет.<br /> <br /> Есть Server (SocketServer), который может принять и обработать запрос (RequestHandler), затем отправить клиенту ответ.<br /> Запрос предварительно парсится на: управляюдище команды, DDL, DML.<br /> <br /> Если управляющая команда, то запрос уходит в ControlManager (там можно завершить соединение с клиентом exit)<br /> <br /> Если DDL, то запрос отправляется в SchemaManager (там можно запросить список отношений с колонками и индексами, а в будущем создавать и удалять их).<br /> <br /> Если запрос DML, то отправляется в QueryManager, который парсит запрос (с помощью QueryParser) и возвращает QueryPlan (список операций, типы операций и отношения, над которыми нужно их делать). Пример операции: table1, full_scan, condition.<br /> Результат работы QueryParser QueryManager отправляет в BufferManager, в котором происходят все операции. Если BufferManager нужны данные, которых нет в оперативной памяти, он используя SchemaManager отправляет запросы в DiskManager, который возвращает блоки с диска. Получив блоки (и записи в них) в BufferManager, тот считывает записи оттуда с помощью Row и отправляет наверх к QueryParser, тот в свою очередь отправляет результаты назад к CommandManager, который интерпретирует их и выводит в виде строки пользователю.<br /> <br /> При старте Server говорит SchemaManager, чтобы тот запустил свою инициализацию, по умолчанию это значит попросит BufferManager записать в оперативную мапять доступные схемы из файлов.<br /> <br /> SchemaManager работает с Schema, который состоит из Column, у которых есть название, тип и размер.<br /> <br /> === Код ===<br /> <br /> * Стартовый код расположен в git-репозитории: https://bitbucket.org/qs/simpledb<br /> <br /> === Описание взаимодействия ===<br /> <br /> На данном этапе нужно реализовать подгрузку схемы отношения и взаимодействие менеджера памяти с диском.<br /> <br /> Предлагается использовать следующую структуру файловой системы:<br /> <br /> Корень базы<br /> --- table.data - файл со страницами с данными<br /> --- table.meta - файл со схемой отношения<br /> <br /> Формат схемы отношений<br /> <br /> Можно ограничиться читабельным форматом, например, перечислить через точку с запятой имя поля, тип и размер (если он есть):<br /> <br /> id;int<br /> name;varchar;10<br /> dt;datetime<br /> <br /> Можно также хранить тип в виде числа объявленного в Const.<br /> <br /> Для данного задания точкой входа является BufferManager.executeQuery, который принимает queryPlan - список из операций (Операция определяется как отношение, тип операции (на данном этапе это full_scan) и предикат).<br /> <br /> Адресацию в таблице трансляции в BufferManager можно сделать относительно просто воспринимаемой: в качестве ключа в bufferTable нужно указать имя файла данных и смешение относительно начала файла, например: <br /> <br /> table1.data:32<br /> <br /> executeQuery запрашивает у SchemaManager файл с данными. Так как нужно выполнить операцию full_scan, то первоначальный адрес страницы, которую нужно загрузить в память будет table1.data:0, нужно проверить, загружена ли она в таблицу трансляции, и если нет, то с помощью DiskManager считать ее.<br /> <br /> Также нужно, чтобы у страницы (Page) была ссылка на следующую страницу.<br /> <br /> <br /> 1. BufferManager должен использовать свое адресное пространство при загрузке данных с диска (строить таблицу трансляции). Физический адрес - путь к файлу и смещение для перехода к нужному блоку.<br /> <br /> 2. Добавить команду добавления записей в таблицу. При этом расположение записей на блоке должно быть оптимальным для схемы.<br /> <br /> Как только блок заполнен, его нужно сохранить на диск. Если блок изменен, то через несколько операций (или по таймеру) он также долже быть сохранен на диск.<br /> <br /> Блок должен относиться к одному отношению. В блоке должны быть: ссылка на схему отношения, ссылка на следующий блок, бит переполнения (используется, если запись не поместилась в блок целиком)<br /> <br /> Схема отношения должна содержать адрес файла, в котором находятся блоки с записями.</div>

Ivsavin https://wiki.cs.hse.ru/index.php?title=%D0%91%D0%B0%D0%B7%D1%8B_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_2&diff=22687 2017-02-21T07:04:31Z

<p>Ivsavin: </p> <hr /> <div>== Базы данных ==<br /> <br /> Продвинутый курс по БД для специальности РС.<br /> <br /> === Лекции ===<br /> * [https://docs.google.com/presentation/d/1kS8eyUqSXmVZ7_5AS0FdbAER94huceyGFv8UtoAvmyM/edit?usp=sharing Принципы хранения информации]<br /> * [https://docs.google.com/presentation/d/1PxM-2U72a-VRo5x3kHU54o18jQ36tC0zggN-_XnzNDk/edit?usp=sharing Представление элементов данных]<br /> * [https://docs.google.com/presentation/d/1XkL6jWOBm3Ew1oHGJygNblYBTTgPDFjbs9CFWFFwzWo/edit?usp=sharing Структуры индексов]<br /> * [https://docs.google.com/presentation/d/1yliSRkrgMGYMs7_5k26rriQIy4Vw0DFRJJeiMsNMqSg/edit?usp=sharing Структуры специализированных индексов]<br /> * [https://docs.google.com/presentation/d/1_o6b-uSP7lrucN4e-k50QlDqQCkTILvU02bpYzLbINs/edit Выполнение запросов 1]<br /> * [https://docs.google.com/presentation/d/1PDINXQol-bIQ9UcB3fvSM_s4ZqpA1Bgg-c1KjSJXYKw/edit Выполнение запросов 2]<br /> <br /> === Практические работы ===<br /> <br /> Стартовый код и описание: [[Базы данных 2/simpledb]]<br /> <br /> В рамках курса нужно написать свою СУБД, в которой реализовать несколько ключевых механизмов, рассматриваемых в курсе, и обеспечивающих стабильную работу системы.<br /> <br /> * Задание 1: Взаимодействие с памятью<br /> * Задание 2: Индексы<br /> * Задание 3: Валидация и план запроса<br /> * Задание 4: Транзакции<br /> * Задание 5: Параллельное выполнение запросов<br /> <br /> Для практических заданий используется Java 8, можно пользоваться преимуществами этой версии (lambda, stream, работа со временем и тд, подробнее http://www.journaldev.com/2389/java-8-features-with-examples и https://www.tutorialspoint.com/java8/java8_overview.htm)<br /> Может быть полезным: http://web.mit.edu/6.005/www/sp16/<br /> <br /> Для тестирования:<br /> * http://site.mockito.org/<br /> * http://stackoverflow.com/questions/22697/whats-the-best-mock-framework-for-java<br /> <br /> === Оценки ===<br /> * https://docs.google.com/spreadsheets/d/1qCqCfZ04Fa6rUCcqlbWJ51jaVC6erSFV3vPRNYOo2Ks/edit#gid=0<br /> <br /> === Расчет оценки ===<br /> Вклад в оценку:<br /> * Практические задания (5 штук) - 60%, для зачета обязательно нужно выполнить все задания<br /> * Несколько тестов в конце второй пары - 30%<br /> * Итоговый тест (возможно, будет как домашняя работа) - 10%<br /> * Дополнительные задания на разработку (если пропустили тесты) - 20%<br /> <br /> У практических заданий есть дедлайны, каждый просроченный день после дедлайна дает -0.5 к оценке за задание, пока она не станет равна 4.<br /> <br /> === Литература ===<br /> Основная литература:<br /> * Системы баз данных. Полный курс. Г. Гарсиа-Молина, Д. Д. Ульман, Д. Уидом, 2004, Главы: 11-19 - частично устаревшее издание<br /> * Database Systems. The Complete Book, H.García-Molina, J.Ullman, J.Widom 2nd Edition, 2009, Главы 13-20 - более новое издание, но только на английском<br /> <br /> Дополнительная литература:<br /> * &quot;Architecture of a Database System&quot; J.M.Hellerstein, M.Stonebraker, J.Hamilton, 2007<br /> * https://en.wikibooks.org/wiki/Design_of_Main_Memory_Database_System<br /> * http://codecapsule.com/tag/key-value-store/<br /> <br /> <br /> === Контакты ===<br /> * Почта: acccko@gmail.com<br /> * Tg: @acccko</div>

Ivsavin https://wiki.cs.hse.ru/index.php?title=%D0%91%D0%B0%D0%B7%D1%8B_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_2/simpledb&diff=22633 2017-02-14T17:16:16Z

<p>Ivsavin: </p> <hr /> <div>=== Задания ===<br /> <br /> ====Задание 1====<br /> <br /> * В СУБД есть чтение доступных таблиц (схем) при старте сервера.<br /> * При выполнении запроса создается (на данном шаге можно не парсить запрос, а забить предустановленные значения) QueryPlan с операцией чтения из таблицы. QueryPlan содержит операцию full_scan.<br /> * BufferManager, получив QueryPlan, начинает считывать поблочно из файла с данными и формировать список кортежей для результата.<br /> <br /> Замечания:<br /> <br /> * В QueryResult атрибут schema указан как список, но на самом деле в результате выполнения запроса нужно иметь только одну схему.<br /> * Для перехода к следующему блоку можно также использовать и смещение в текущем файле данных.<br /> * Так как схема отношения уже определена, дополнительно не нужно хранить ее в блоках или картежах данных. Минимально достаточные данные в блоке: указатель/смещение на следующий блок, внутренняя таблица смещения кортежей, кортежи. В кортежах только данные. Для данных переменной длины (VARCHAR) допустимо использовать любой из методов хранения: указание в первом байте размера поля или указание управляющего символа в конце записи.<br /> <br /> '''Задание до 14 февраля.'''<br /> <br /> Если есть вопросы, то пишите на почту преподавателю: acccko@gmail.com<br /> <br /> ''' Для сдачи задания используйте форму: https://goo.gl/forms/81yE6BcY7tZP3wVm2 ''' <br /> <br /> ====Задание 2====<br /> * Реализовать вставку кортежей (формирование страниц) и запись страниц на диск. Для операции добавления нового кортежа достаточно считать в память последний страницу отношения (или реализовать поиск достаточного свободного места в страницах), добавить в него кортеж и записать страницу на диск.<br /> * Реализовать поддержку В-дерева: операции добавление, удаление, поиск по дереву.<br /> * Реализовать поддержку кластерного и некластерного индексов.<br /> <br /> Информацию об индексах можно хранить в отдельном файле или файлах.<br /> <br /> '''Задание до 1 марта.'''<br /> <br /> <br /> === Описание ===<br /> <br /> Описание пока что может отличаться от реального кода (какие-то взаимодействия еще не дописаны), но концепция скорее всего менять не будет.<br /> <br /> Есть Server (SocketServer), который может принять и обработать запрос (RequestHandler), затем отправить клиенту ответ.<br /> Запрос предварительно парсится на: управляюдище команды, DDL, DML.<br /> <br /> Если управляющая команда, то запрос уходит в ControlManager (там можно завершить соединение с клиентом exit)<br /> <br /> Если DDL, то запрос отправляется в SchemaManager (там можно запросить список отношений с колонками и индексами, а в будущем создавать и удалять их).<br /> <br /> Если запрос DML, то отправляется в QueryManager, который парсит запрос (с помощью QueryParser) и возвращает QueryPlan (список операций, типы операций и отношения, над которыми нужно их делать). Пример операции: table1, full_scan, condition.<br /> Результат работы QueryParser QueryManager отправляет в BufferManager, в котором происходят все операции. Если BufferManager нужны данные, которых нет в оперативной памяти, он используя SchemaManager отправляет запросы в DiskManager, который возвращает блоки с диска. Получив блоки (и записи в них) в BufferManager, тот считывает записи оттуда с помощью Row и отправляет наверх к QueryParser, тот в свою очередь отправляет результаты назад к CommandManager, который интерпретирует их и выводит в виде строки пользователю.<br /> <br /> При старте Server говорит SchemaManager, чтобы тот запустил свою инициализацию, по умолчанию это значит попросит BufferManager записать в оперативную мапять доступные схемы из файлов.<br /> <br /> SchemaManager работает с Schema, который состоит из Column, у которых есть название, тип и размер.<br /> <br /> === Код ===<br /> <br /> * Стартовый код расположен в git-репозитории: https://bitbucket.org/qs/simpledb<br /> <br /> === Описание взаимодействия ===<br /> <br /> На данном этапе нужно реализовать подгрузку схемы отношения и взаимодействие менеджера памяти с диском.<br /> <br /> Предлагается использовать следующую структуру файловой системы:<br /> <br /> Корень базы<br /> --- table.data - файл со страницами с данными<br /> --- table.meta - файл со схемой отношения<br /> <br /> Формат схемы отношений<br /> <br /> Можно ограничиться читабельным форматом, например, перечислить через точку с запятой имя поля, тип и размер (если он есть):<br /> <br /> id;int<br /> name;varchar;10<br /> dt;datetime<br /> <br /> Можно также хранить тип в виде числа объявленного в Const.<br /> <br /> Для данного задания точкой входа является BufferManager.executeQuery, который принимает queryPlan - список из операций (Операция определяется как отношение, тип операции (на данном этапе это full_scan) и предикат).<br /> <br /> Адресацию в таблице трансляции в BufferManager можно сделать относительно просто воспринимаемой: в качестве ключа в bufferTable нужно указать имя файла данных и смешение относительно начала файла, например: <br /> <br /> table1.data:32<br /> <br /> executeQuery запрашивает у SchemaManager файл с данными. Так как нужно выполнить операцию full_scan, то первоначальный адрес страницы, которую нужно загрузить в память будет table1.data:0, нужно проверить, загружена ли она в таблицу трансляции, и если нет, то с помощью DiskManager считать ее.<br /> <br /> Также нужно, чтобы у страницы (Page) была ссылка на следующую страницу.<br /> <br /> <br /> 1. BufferManager должен использовать свое адресное пространство при загрузке данных с диска (строить таблицу трансляции). Физический адрес - путь к файлу и смещение для перехода к нужному блоку.<br /> <br /> 2. Добавить команду добавления записей в таблицу. При этом расположение записей на блоке должно быть оптимальным для схемы.<br /> <br /> Как только блок заполнен, его нужно сохранить на диск. Если блок изменен, то через несколько операций (или по таймеру) он также долже быть сохранен на диск.<br /> <br /> Блок должен относиться к одному отношению. В блоке должны быть: ссылка на схему отношения, ссылка на следующий блок, бит переполнения (используется, если запись не поместилась в блок целиком)<br /> <br /> Схема отношения должна содержать адрес файла, в котором находятся блоки с записями.</div>

Ivsavin https://wiki.cs.hse.ru/index.php?title=%D0%91%D0%B0%D0%B7%D1%8B_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_2/simpledb&diff=22631 2017-02-14T17:13:01Z

<p>Ivsavin: </p> <hr /> <div>=== Задания ===<br /> <br /> ====Задание 1====<br /> <br /> * В СУБД есть чтение доступных таблиц (схем) при старте сервера.<br /> * При выполнении запроса создается (на данном шаге можно не парсить запрос, а забить предустановленные значения) QueryPlan с операцией чтения из таблицы. QueryPlan содержит операцию full_scan.<br /> * BufferManager, получив QueryPlan, начинает считывать поблочно из файла с данными и формировать список кортежей для результата.<br /> <br /> Замечания:<br /> <br /> * В QueryResult атрибут schema указан как список, но на самом деле в результате выполнения запроса нужно иметь только одну схему.<br /> * Для перехода к следующему блоку можно также использовать и смещение в текущем файле данных.<br /> * Так как схема отношения уже определена, дополнительно не нужно хранить ее в блоках или картежах данных. Минимально достаточные данные в блоке: указатель/смещение на следующий блок, внутренняя таблица смещения кортежей, кортежи. В кортежах только данные. Для данных переменной длины (VARCHAR) допустимо использовать любой из методов хранения: указание в первом байте размера поля или указание управляющего символа в конце записи.<br /> <br /> '''Задание до 14 февраля.'''<br /> <br /> Если есть вопросы, то пишите на почту преподавателю: acccko@gmai.com<br /> <br /> ''' Для сдачи задания используйте форму: https://goo.gl/forms/81yE6BcY7tZP3wVm2 ''' <br /> <br /> ====Задание 2====<br /> * Реализовать вставку кортежей (формирование страниц) и запись страниц на диск. Для операции добавления нового кортежа достаточно считать в память последний страницу отношения (или реализовать поиск достаточного свободного места в страницах), добавить в него кортеж и записать страницу на диск.<br /> * Реализовать поддержку В-дерева: операции добавление, удаление, поиск по дереву.<br /> * Реализовать поддержку кластерного и некластерного индексов.<br /> <br /> Информацию об индексах можно хранить в отдельном файле или файлах.<br /> <br /> '''Задание до 1 марта.'''<br /> <br /> <br /> === Описание ===<br /> <br /> Описание пока что может отличаться от реального кода (какие-то взаимодействия еще не дописаны), но концепция скорее всего менять не будет.<br /> <br /> Есть Server (SocketServer), который может принять и обработать запрос (RequestHandler), затем отправить клиенту ответ.<br /> Запрос предварительно парсится на: управляюдище команды, DDL, DML.<br /> <br /> Если управляющая команда, то запрос уходит в ControlManager (там можно завершить соединение с клиентом exit)<br /> <br /> Если DDL, то запрос отправляется в SchemaManager (там можно запросить список отношений с колонками и индексами, а в будущем создавать и удалять их).<br /> <br /> Если запрос DML, то отправляется в QueryManager, который парсит запрос (с помощью QueryParser) и возвращает QueryPlan (список операций, типы операций и отношения, над которыми нужно их делать). Пример операции: table1, full_scan, condition.<br /> Результат работы QueryParser QueryManager отправляет в BufferManager, в котором происходят все операции. Если BufferManager нужны данные, которых нет в оперативной памяти, он используя SchemaManager отправляет запросы в DiskManager, который возвращает блоки с диска. Получив блоки (и записи в них) в BufferManager, тот считывает записи оттуда с помощью Row и отправляет наверх к QueryParser, тот в свою очередь отправляет результаты назад к CommandManager, который интерпретирует их и выводит в виде строки пользователю.<br /> <br /> При старте Server говорит SchemaManager, чтобы тот запустил свою инициализацию, по умолчанию это значит попросит BufferManager записать в оперативную мапять доступные схемы из файлов.<br /> <br /> SchemaManager работает с Schema, который состоит из Column, у которых есть название, тип и размер.<br /> <br /> === Код ===<br /> <br /> * Стартовый код расположен в git-репозитории: https://bitbucket.org/qs/simpledb<br /> <br /> === Описание взаимодействия ===<br /> <br /> На данном этапе нужно реализовать подгрузку схемы отношения и взаимодействие менеджера памяти с диском.<br /> <br /> Предлагается использовать следующую структуру файловой системы:<br /> <br /> Корень базы<br /> --- table.data - файл со страницами с данными<br /> --- table.meta - файл со схемой отношения<br /> <br /> Формат схемы отношений<br /> <br /> Можно ограничиться читабельным форматом, например, перечислить через точку с запятой имя поля, тип и размер (если он есть):<br /> <br /> id;int<br /> name;varchar;10<br /> dt;datetime<br /> <br /> Можно также хранить тип в виде числа объявленного в Const.<br /> <br /> Для данного задания точкой входа является BufferManager.executeQuery, который принимает queryPlan - список из операций (Операция определяется как отношение, тип операции (на данном этапе это full_scan) и предикат).<br /> <br /> Адресацию в таблице трансляции в BufferManager можно сделать относительно просто воспринимаемой: в качестве ключа в bufferTable нужно указать имя файла данных и смешение относительно начала файла, например: <br /> <br /> table1.data:32<br /> <br /> executeQuery запрашивает у SchemaManager файл с данными. Так как нужно выполнить операцию full_scan, то первоначальный адрес страницы, которую нужно загрузить в память будет table1.data:0, нужно проверить, загружена ли она в таблицу трансляции, и если нет, то с помощью DiskManager считать ее.<br /> <br /> Также нужно, чтобы у страницы (Page) была ссылка на следующую страницу.<br /> <br /> <br /> 1. BufferManager должен использовать свое адресное пространство при загрузке данных с диска (строить таблицу трансляции). Физический адрес - путь к файлу и смещение для перехода к нужному блоку.<br /> <br /> 2. Добавить команду добавления записей в таблицу. При этом расположение записей на блоке должно быть оптимальным для схемы.<br /> <br /> Как только блок заполнен, его нужно сохранить на диск. Если блок изменен, то через несколько операций (или по таймеру) он также долже быть сохранен на диск.<br /> <br /> Блок должен относиться к одному отношению. В блоке должны быть: ссылка на схему отношения, ссылка на следующий блок, бит переполнения (используется, если запись не поместилась в блок целиком)<br /> <br /> Схема отношения должна содержать адрес файла, в котором находятся блоки с записями.</div>

Ivsavin https://wiki.cs.hse.ru/index.php?title=%D0%91%D0%B0%D0%B7%D1%8B_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_2&diff=22626 2017-02-14T07:41:55Z

<p>Ivsavin: </p> <hr /> <div>== Базы данных ==<br /> <br /> Продвинутый курс по БД для специальности РС.<br /> <br /> === Лекции ===<br /> * [https://docs.google.com/presentation/d/1kS8eyUqSXmVZ7_5AS0FdbAER94huceyGFv8UtoAvmyM/edit?usp=sharing Принципы хранения информации]<br /> * [https://docs.google.com/presentation/d/1PxM-2U72a-VRo5x3kHU54o18jQ36tC0zggN-_XnzNDk/edit?usp=sharing Представление элементов данных]<br /> * [https://docs.google.com/presentation/d/1XkL6jWOBm3Ew1oHGJygNblYBTTgPDFjbs9CFWFFwzWo/edit?usp=sharing Структуры индексов]<br /> * [https://docs.google.com/presentation/d/1yliSRkrgMGYMs7_5k26rriQIy4Vw0DFRJJeiMsNMqSg/edit?usp=sharing Структуры специализированных индексов]<br /> * [https://docs.google.com/presentation/d/1_o6b-uSP7lrucN4e-k50QlDqQCkTILvU02bpYzLbINs/edit Выполнение запросов 1]<br /> * [https://docs.google.com/presentation/d/1PDINXQol-bIQ9UcB3fvSM_s4ZqpA1Bgg-c1KjSJXYKw/edit Выполнение запросов 2]<br /> <br /> === Практические работы ===<br /> <br /> Стартовый код и описание: [[Базы данных 2/simpledb]]<br /> <br /> В рамках курса нужно написать свою СУБД, в которой реализовать несколько ключевых механизмов, рассматриваемых в курсе, и обеспечивающих стабильную работу системы.<br /> <br /> * Задание 1: Взаимодействие с памятью<br /> * Задание 2: Индексы<br /> * Задание 3: Валидация и план запроса<br /> * Задание 4: Транзакции<br /> * Задание 5: Параллельное выполнение запросов<br /> <br /> Для практических заданий используется Java 8, можно пользоваться преимуществами этой версии (lambda, stream, работа со временем и тд, подробнее http://www.journaldev.com/2389/java-8-features-with-examples и https://www.tutorialspoint.com/java8/java8_overview.htm)<br /> Может быть полезным: http://web.mit.edu/6.005/www/sp16/<br /> <br /> Для тестирования:<br /> * http://site.mockito.org/<br /> * http://stackoverflow.com/questions/22697/whats-the-best-mock-framework-for-java<br /> <br /> <br /> === Расчет оценки ===<br /> Вклад в оценку:<br /> * Практические задания (5 штук) - 60%, для зачета обязательно нужно выполнить все задания<br /> * Несколько тестов в конце второй пары - 30%<br /> * Итоговый тест (возможно, будет как домашняя работа) - 10%<br /> * Дополнительные задания на разработку (если пропустили тесты) - 20%<br /> <br /> У практических заданий есть дедлайны, каждый просроченный день после дедлайна дает -0.5 к оценке за задание, пока она не станет равна 4.<br /> <br /> === Литература ===<br /> Основная литература:<br /> * Системы баз данных. Полный курс. Г. Гарсиа-Молина, Д. Д. Ульман, Д. Уидом, 2004, Главы: 11-19 - частично устаревшее издание<br /> * Database Systems. The Complete Book, H.García-Molina, J.Ullman, J.Widom 2nd Edition, 2009, Главы 13-20 - более новое издание, но только на английском<br /> <br /> Дополнительная литература:<br /> * &quot;Architecture of a Database System&quot; J.M.Hellerstein, M.Stonebraker, J.Hamilton, 2007<br /> * https://en.wikibooks.org/wiki/Design_of_Main_Memory_Database_System<br /> * http://codecapsule.com/tag/key-value-store/<br /> <br /> <br /> === Контакты ===<br /> * Почта: acccko@gmail.com<br /> * Tg: @acccko</div>

Ivsavin https://wiki.cs.hse.ru/index.php?title=%D0%91%D0%B0%D0%B7%D1%8B_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_2/simpledb&diff=22625 2017-02-14T07:23:41Z

<p>Ivsavin: </p> <hr /> <div>=== Задания ===<br /> <br /> ====Задание 1====<br /> <br /> * В СУБД есть чтение доступных таблиц (схем) при старте сервера.<br /> * При выполнении запроса создается (на данном шаге можно не парсить запрос, а забить предустановленные значения) QueryPlan с операцией чтения из таблицы. QueryPlan содержит операцию full_scan.<br /> * BufferManager, получив QueryPlan, начинает считывать поблочно из файла с данными и формировать список кортежей для результата.<br /> <br /> Замечания:<br /> <br /> * В QueryResult атрибут schema указан как список, но на самом деле в результате выполнения запроса нужно иметь только одну схему.<br /> * Для перехода к следующему блоку можно также использовать и смещение в текущем файле данных.<br /> * Так как схема отношения уже определена, дополнительно не нужно хранить ее в блоках или картежах данных. Минимально достаточные данные в блоке: указатель/смещение на следующий блок, внутренняя таблица смещения кортежей, кортежи. В кортежах только данные. Для данных переменной длины (VARCHAR) допустимо использовать любой из методов хранения: указание в первом байте размера поля или указание управляющего символа в конце записи.<br /> <br /> '''Задание до 14 февраля.'''<br /> <br /> Если есть вопросы, то пишите на почту преподавателю: acccko@gmai.com<br /> <br /> ''' Для сдачи задания используйте форму: https://goo.gl/forms/81yE6BcY7tZP3wVm2 ''' <br /> <br /> ====Задание 2====<br /> * Реализовать вставку кортежей (формирование страниц) и запись страниц на диск. Для операции добавления нового кортежа достаточно считать в память последний страницу отношения (или реализовать поиск достаточного свободного места в страницах), добавить в него кортеж и записать страницу на диск.<br /> * Реализовать поддержку В-дерева: операции добавление, удаление, поиск по дереву.<br /> * Реализовать поддержку кластерного и некластерного индексов.<br /> <br /> Информацию об индексах можно хранить в отдельном файле или файлах.<br /> <br /> '''Задание до 1 марта.'''<br /> <br /> <br /> === Описание ===<br /> <br /> Описание пока что может отличаться от реального кода (какие-то взаимодействия еще не дописаны), но концепция скорее всего менять не будет.<br /> <br /> Есть Server (SocketServer), который может принять и обработать запрос (RequestHandler), затем отправить клиенту ответ.<br /> Запрос предварительно парсится на: управляюдище команды, DDL, DML.<br /> <br /> Если управляющая команда, то запрос уходит в ControlManager (там можно завершить соединение с клиентом exit)<br /> <br /> Если DDL, то запрос отправляется в SchemaManager (там можно запросить список отношений с колонками и индексами, а в будущем создавать и удалять их).<br /> <br /> Если запрос DML, то отправляется в QueryManager, который парсит запрос (с помощью QueryParser) и возвращает QueryPlan (список операций, типы операций и отношения, над которыми нужно их делать). Пример операции: table1, full_scan, condition.<br /> Результат работы QueryParser QueryManager отправляет в BufferManager, в котором происходят все операции. Если BufferManager нужны данные, которых нет в оперативной памяти, он используя SchemaManager отправляет запросы в DiskManager, который возвращает блоки с диска. Получив блоки (и записи в них) в BufferManager, тот считывает записи оттуда с помощью Row и отправляет наверх к QueryParser, тот в свою очередь отправляет результаты назад к CommandManager, который интерпретирует их и выводит в виде строки пользователю.<br /> <br /> При старте Server говорит SchemaManager, чтобы тот запустил свою инициализацию, по умолчанию это значит попросит BufferManager записать в оперативную мапять доступные схемы из файлов.<br /> <br /> SchemaManager работает с Schema, который состоит из Column, у которых есть название, тип и размер.<br /> <br /> === Код ===<br /> <br /> * Стартовый код расположен в git-репозитории: https://bitbucket.org/qs/simpledb<br /> <br /> === Задания ===<br /> <br /> ==== Задание 1 ====<br /> <br /> ''(Дедлайн будет установлен, когда часть стартового кода для этого задания будет полностью готов, но можно начинать делать)''<br /> <br /> Организовать работу BufferManager и DiskManager.<br /> <br /> ===== Описание взаимодействия =====<br /> <br /> На данном этапе нужно реализовать подгрузку схемы отношения и взаимодействие менеджера памяти с диском.<br /> <br /> Предлагается использовать следующую структуру файловой системы:<br /> <br /> Корень базы<br /> --- table.data - файл со страницами с данными<br /> --- table.meta - файл со схемой отношения<br /> <br /> Формат схемы отношений<br /> <br /> Можно ограничиться читабельным форматом, например, перечислить через точку с запятой имя поля, тип и размер (если он есть):<br /> <br /> id;int<br /> name;varchar;10<br /> dt;datetime<br /> <br /> Можно также хранить тип в виде числа объявленного в Const.<br /> <br /> Для данного задания точкой входа является BufferManager.executeQuery, который принимает queryPlan - список из операций (Операция определяется как отношение, тип операции (на данном этапе это full_scan) и предикат).<br /> <br /> Адресацию в таблице трансляции в BufferManager можно сделать относительно просто воспринимаемой: в качестве ключа в bufferTable нужно указать имя файла данных и смешение относительно начала файла, например: <br /> <br /> table1.data:32<br /> <br /> executeQuery запрашивает у SchemaManager файл с данными. Так как нужно выполнить операцию full_scan, то первоначальный адрес страницы, которую нужно загрузить в память будет table1.data:0, нужно проверить, загружена ли она в таблицу трансляции, и если нет, то с помощью DiskManager считать ее.<br /> <br /> Также нужно, чтобы у страницы (Page) была ссылка на следующую страницу.<br /> <br /> ===== Задания =====<br /> <br /> 1. BufferManager должен использовать свое адресное пространство при загрузке данных с диска (строить таблицу трансляции). Физический адрес - путь к файлу и смещение для перехода к нужному блоку.<br /> <br /> 2. Добавить команду добавления записей в таблицу. При этом расположение записей на блоке должно быть оптимальным для схемы.<br /> <br /> Как только блок заполнен, его нужно сохранить на диск. Если блок изменен, то через несколько операций (или по таймеру) он также долже быть сохранен на диск.<br /> <br /> Блок должен относиться к одному отношению. В блоке должны быть: ссылка на схему отношения, ссылка на следующий блок, бит переполнения (используется, если запись не поместилась в блок целиком)<br /> <br /> Схема отношения должна содержать адрес файла, в котором находятся блоки с записями.</div>

Ivsavin https://wiki.cs.hse.ru/index.php?title=%D0%91%D0%B0%D0%B7%D1%8B_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_2/simpledb&diff=22624 2017-02-14T07:08:19Z

<p>Ivsavin: </p> <hr /> <div>=== Задания ===<br /> <br /> ====Задание 1====<br /> <br /> * В СУБД есть чтение доступных таблиц (схем) при старте сервера.<br /> * При выполнении запроса создается (на данном шаге можно не парсить запрос, а забить предустановленные значения) QueryPlan с операцией чтения из таблицы. QueryPlan содержит операцию full_scan.<br /> * BufferManager, получив QueryPlan, начинает считывать поблочно из файла с данными и формировать список кортежей для результата.<br /> <br /> Замечания:<br /> <br /> * В QueryResult атрибут schema указан как список, но на самом деле в результате выполнения запроса нужно иметь только одну схему.<br /> * Для перехода к следующему блоку можно также использовать и смещение в текущем файле данных.<br /> * Так как схема отношения уже определена, дополнительно не нужно хранить ее в блоках или картежах данных. Минимально достаточные данные в блоке: указатель/смещение на следующий блок, внутренняя таблица смещения кортежей, кортежи. В кортежах только данные. Для данных переменной длины (VARCHAR) допустимо использовать любой из методов хранения: указание в первом байте размера поля или указание управляющего символа в конце записи.<br /> <br /> '''Задание до 14 февраля.'''<br /> <br /> Если есть вопросы, то пишите на почту преподавателю: acccko@gmai.com<br /> <br /> ''' Для сдачи задания используйте форму: https://goo.gl/forms/81yE6BcY7tZP3wVm2 ''' <br /> <br /> ====Задание 2====<br /> * Реализовать вставку кортежей (формирование страниц) и запись страниц на диск. Для операции добавления нового кортежа достаточно считать в память последний страницу отношения (или реализовать поиск достаточного свободного места в страницах), добавить в него кортеж и записать страницу на диск.<br /> * Реализовать поддержку В-дерева: операции добавление, удаление, поиск по дереву.<br /> <br /> '''Задание до 1 марта.'''<br /> <br /> <br /> === Описание ===<br /> <br /> Описание пока что может отличаться от реального кода (какие-то взаимодействия еще не дописаны), но концепция скорее всего менять не будет.<br /> <br /> Есть Server (SocketServer), который может принять и обработать запрос (RequestHandler), затем отправить клиенту ответ.<br /> Запрос предварительно парсится на: управляюдище команды, DDL, DML.<br /> <br /> Если управляющая команда, то запрос уходит в ControlManager (там можно завершить соединение с клиентом exit)<br /> <br /> Если DDL, то запрос отправляется в SchemaManager (там можно запросить список отношений с колонками и индексами, а в будущем создавать и удалять их).<br /> <br /> Если запрос DML, то отправляется в QueryManager, который парсит запрос (с помощью QueryParser) и возвращает QueryPlan (список операций, типы операций и отношения, над которыми нужно их делать). Пример операции: table1, full_scan, condition.<br /> Результат работы QueryParser QueryManager отправляет в BufferManager, в котором происходят все операции. Если BufferManager нужны данные, которых нет в оперативной памяти, он используя SchemaManager отправляет запросы в DiskManager, который возвращает блоки с диска. Получив блоки (и записи в них) в BufferManager, тот считывает записи оттуда с помощью Row и отправляет наверх к QueryParser, тот в свою очередь отправляет результаты назад к CommandManager, который интерпретирует их и выводит в виде строки пользователю.<br /> <br /> При старте Server говорит SchemaManager, чтобы тот запустил свою инициализацию, по умолчанию это значит попросит BufferManager записать в оперативную мапять доступные схемы из файлов.<br /> <br /> SchemaManager работает с Schema, который состоит из Column, у которых есть название, тип и размер.<br /> <br /> === Код ===<br /> <br /> * Стартовый код расположен в git-репозитории: https://bitbucket.org/qs/simpledb<br /> <br /> === Задания ===<br /> <br /> ==== Задание 1 ====<br /> <br /> ''(Дедлайн будет установлен, когда часть стартового кода для этого задания будет полностью готов, но можно начинать делать)''<br /> <br /> Организовать работу BufferManager и DiskManager.<br /> <br /> ===== Описание взаимодействия =====<br /> <br /> На данном этапе нужно реализовать подгрузку схемы отношения и взаимодействие менеджера памяти с диском.<br /> <br /> Предлагается использовать следующую структуру файловой системы:<br /> <br /> Корень базы<br /> --- table.data - файл со страницами с данными<br /> --- table.meta - файл со схемой отношения<br /> <br /> Формат схемы отношений<br /> <br /> Можно ограничиться читабельным форматом, например, перечислить через точку с запятой имя поля, тип и размер (если он есть):<br /> <br /> id;int<br /> name;varchar;10<br /> dt;datetime<br /> <br /> Можно также хранить тип в виде числа объявленного в Const.<br /> <br /> Для данного задания точкой входа является BufferManager.executeQuery, который принимает queryPlan - список из операций (Операция определяется как отношение, тип операции (на данном этапе это full_scan) и предикат).<br /> <br /> Адресацию в таблице трансляции в BufferManager можно сделать относительно просто воспринимаемой: в качестве ключа в bufferTable нужно указать имя файла данных и смешение относительно начала файла, например: <br /> <br /> table1.data:32<br /> <br /> executeQuery запрашивает у SchemaManager файл с данными. Так как нужно выполнить операцию full_scan, то первоначальный адрес страницы, которую нужно загрузить в память будет table1.data:0, нужно проверить, загружена ли она в таблицу трансляции, и если нет, то с помощью DiskManager считать ее.<br /> <br /> Также нужно, чтобы у страницы (Page) была ссылка на следующую страницу.<br /> <br /> ===== Задания =====<br /> <br /> 1. BufferManager должен использовать свое адресное пространство при загрузке данных с диска (строить таблицу трансляции). Физический адрес - путь к файлу и смещение для перехода к нужному блоку.<br /> <br /> 2. Добавить команду добавления записей в таблицу. При этом расположение записей на блоке должно быть оптимальным для схемы.<br /> <br /> Как только блок заполнен, его нужно сохранить на диск. Если блок изменен, то через несколько операций (или по таймеру) он также долже быть сохранен на диск.<br /> <br /> Блок должен относиться к одному отношению. В блоке должны быть: ссылка на схему отношения, ссылка на следующий блок, бит переполнения (используется, если запись не поместилась в блок целиком)<br /> <br /> Схема отношения должна содержать адрес файла, в котором находятся блоки с записями.</div>

Ivsavin https://wiki.cs.hse.ru/index.php?title=%D0%91%D0%B0%D0%B7%D1%8B_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_2/simpledb&diff=22623 2017-02-14T07:02:53Z

<p>Ivsavin: </p> <hr /> <div>=== Задания ===<br /> <br /> ====Задание 1====<br /> <br /> * В СУБД есть чтение доступных таблиц (схем) при старте сервера.<br /> * При выполнении запроса создается (на данном шаге можно не парсить запрос, а забить предустановленные значения) QueryPlan с операцией чтения из таблицы. QueryPlan содержит операцию full_scan.<br /> * BufferManager, получив QueryPlan, начинает считывать поблочно из файла с данными и формировать список кортежей для результата.<br /> <br /> Замечания:<br /> <br /> * В QueryResult атрибут schema указан как список, но на самом деле в результате выполнения запроса нужно иметь только одну схему.<br /> * Для перехода к следующему блоку можно также использовать и смещение в текущем файле данных.<br /> * Так как схема отношения уже определена, дополнительно не нужно хранить ее в блоках или картежах данных. Минимально достаточные данные в блоке: указатель/смещение на следующий блок, внутренняя таблица смещения кортежей, кортежи. В кортежах только данные. Для данных переменной длины (VARCHAR) допустимо использовать любой из методов хранения: указание в первом байте размера поля или указание управляющего символа в конце записи.<br /> <br /> '''Задание до 14 февраля.'''<br /> <br /> Если есть вопросы, то пишите на почту преподавателю: acccko@gmai.com<br /> <br /> ''' Для сдачи задания используйте форму: https://goo.gl/forms/81yE6BcY7tZP3wVm2 ''' <br /> <br /> ====Задание 2====<br /> * Реализовать вставку кортежей (формирование страниц) и запись страниц на диск. Как только операция добавлени<br /> * Реализовать поддержку В-дерева: операции добавление, удаление, поиск по дереву.<br /> <br /> '''Задание до 1 марта.'''<br /> <br /> <br /> === Описание ===<br /> <br /> Описание пока что может отличаться от реального кода (какие-то взаимодействия еще не дописаны), но концепция скорее всего менять не будет.<br /> <br /> Есть Server (SocketServer), который может принять и обработать запрос (RequestHandler), затем отправить клиенту ответ.<br /> Запрос предварительно парсится на: управляюдище команды, DDL, DML.<br /> <br /> Если управляющая команда, то запрос уходит в ControlManager (там можно завершить соединение с клиентом exit)<br /> <br /> Если DDL, то запрос отправляется в SchemaManager (там можно запросить список отношений с колонками и индексами, а в будущем создавать и удалять их).<br /> <br /> Если запрос DML, то отправляется в QueryManager, который парсит запрос (с помощью QueryParser) и возвращает QueryPlan (список операций, типы операций и отношения, над которыми нужно их делать). Пример операции: table1, full_scan, condition.<br /> Результат работы QueryParser QueryManager отправляет в BufferManager, в котором происходят все операции. Если BufferManager нужны данные, которых нет в оперативной памяти, он используя SchemaManager отправляет запросы в DiskManager, который возвращает блоки с диска. Получив блоки (и записи в них) в BufferManager, тот считывает записи оттуда с помощью Row и отправляет наверх к QueryParser, тот в свою очередь отправляет результаты назад к CommandManager, который интерпретирует их и выводит в виде строки пользователю.<br /> <br /> При старте Server говорит SchemaManager, чтобы тот запустил свою инициализацию, по умолчанию это значит попросит BufferManager записать в оперативную мапять доступные схемы из файлов.<br /> <br /> SchemaManager работает с Schema, который состоит из Column, у которых есть название, тип и размер.<br /> <br /> === Код ===<br /> <br /> * Стартовый код расположен в git-репозитории: https://bitbucket.org/qs/simpledb<br /> <br /> === Задания ===<br /> <br /> ==== Задание 1 ====<br /> <br /> ''(Дедлайн будет установлен, когда часть стартового кода для этого задания будет полностью готов, но можно начинать делать)''<br /> <br /> Организовать работу BufferManager и DiskManager.<br /> <br /> ===== Описание взаимодействия =====<br /> <br /> На данном этапе нужно реализовать подгрузку схемы отношения и взаимодействие менеджера памяти с диском.<br /> <br /> Предлагается использовать следующую структуру файловой системы:<br /> <br /> Корень базы<br /> --- table.data - файл со страницами с данными<br /> --- table.meta - файл со схемой отношения<br /> <br /> Формат схемы отношений<br /> <br /> Можно ограничиться читабельным форматом, например, перечислить через точку с запятой имя поля, тип и размер (если он есть):<br /> <br /> id;int<br /> name;varchar;10<br /> dt;datetime<br /> <br /> Можно также хранить тип в виде числа объявленного в Const.<br /> <br /> Для данного задания точкой входа является BufferManager.executeQuery, который принимает queryPlan - список из операций (Операция определяется как отношение, тип операции (на данном этапе это full_scan) и предикат).<br /> <br /> Адресацию в таблице трансляции в BufferManager можно сделать относительно просто воспринимаемой: в качестве ключа в bufferTable нужно указать имя файла данных и смешение относительно начала файла, например: <br /> <br /> table1.data:32<br /> <br /> executeQuery запрашивает у SchemaManager файл с данными. Так как нужно выполнить операцию full_scan, то первоначальный адрес страницы, которую нужно загрузить в память будет table1.data:0, нужно проверить, загружена ли она в таблицу трансляции, и если нет, то с помощью DiskManager считать ее.<br /> <br /> Также нужно, чтобы у страницы (Page) была ссылка на следующую страницу.<br /> <br /> ===== Задания =====<br /> <br /> 1. BufferManager должен использовать свое адресное пространство при загрузке данных с диска (строить таблицу трансляции). Физический адрес - путь к файлу и смещение для перехода к нужному блоку.<br /> <br /> 2. Добавить команду добавления записей в таблицу. При этом расположение записей на блоке должно быть оптимальным для схемы.<br /> <br /> Как только блок заполнен, его нужно сохранить на диск. Если блок изменен, то через несколько операций (или по таймеру) он также долже быть сохранен на диск.<br /> <br /> Блок должен относиться к одному отношению. В блоке должны быть: ссылка на схему отношения, ссылка на следующий блок, бит переполнения (используется, если запись не поместилась в блок целиком)<br /> <br /> Схема отношения должна содержать адрес файла, в котором находятся блоки с записями.</div>

Ivsavin https://wiki.cs.hse.ru/index.php?title=%D0%91%D0%B0%D0%B7%D1%8B_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_2/simpledb&diff=22622 2017-02-14T06:34:53Z

<p>Ivsavin: </p> <hr /> <div>=== Задания ===<br /> <br /> Задание 1<br /> <br /> * В СУБД есть чтение доступных таблиц (схем) при старте сервера.<br /> * При выполнении запроса создается (на данном шаге можно не парсить запрос, а забить предустановленные значения) QueryPlan с операцией чтения из таблицы. QueryPlan содержит операцию full_scan.<br /> * BufferManager, получив QueryPlan, начинает считывать поблочно из файла с данными и формировать список кортежей для результата.<br /> <br /> Замечания:<br /> <br /> * В QueryResult атрибут schema указан как список, но на самом деле в результате выполнения запроса нужно иметь только одну схему.<br /> <br /> '''Задание до 14 февраля.'''<br /> <br /> Если есть вопросы, то пишите на почту преподавателю: acccko@gmai.com<br /> <br /> ''' Для сдачи задания используйте форму: https://goo.gl/forms/81yE6BcY7tZP3wVm2 ''' <br /> <br /> === Описание ===<br /> <br /> Описание пока что может отличаться от реального кода (какие-то взаимодействия еще не дописаны), но концепция скорее всего менять не будет.<br /> <br /> Есть Server (SocketServer), который может принять и обработать запрос (RequestHandler), затем отправить клиенту ответ.<br /> Запрос предварительно парсится на: управляюдище команды, DDL, DML.<br /> <br /> Если управляющая команда, то запрос уходит в ControlManager (там можно завершить соединение с клиентом exit)<br /> <br /> Если DDL, то запрос отправляется в SchemaManager (там можно запросить список отношений с колонками и индексами, а в будущем создавать и удалять их).<br /> <br /> Если запрос DML, то отправляется в QueryManager, который парсит запрос (с помощью QueryParser) и возвращает QueryPlan (список операций, типы операций и отношения, над которыми нужно их делать). Пример операции: table1, full_scan, condition.<br /> Результат работы QueryParser QueryManager отправляет в BufferManager, в котором происходят все операции. Если BufferManager нужны данные, которых нет в оперативной памяти, он используя SchemaManager отправляет запросы в DiskManager, который возвращает блоки с диска. Получив блоки (и записи в них) в BufferManager, тот считывает записи оттуда с помощью Row и отправляет наверх к QueryParser, тот в свою очередь отправляет результаты назад к CommandManager, который интерпретирует их и выводит в виде строки пользователю.<br /> <br /> При старте Server говорит SchemaManager, чтобы тот запустил свою инициализацию, по умолчанию это значит попросит BufferManager записать в оперативную мапять доступные схемы из файлов.<br /> <br /> SchemaManager работает с Schema, который состоит из Column, у которых есть название, тип и размер.<br /> <br /> === Код ===<br /> <br /> * Стартовый код расположен в git-репозитории: https://bitbucket.org/qs/simpledb<br /> <br /> === Задания ===<br /> <br /> ==== Задание 1 ====<br /> <br /> ''(Дедлайн будет установлен, когда часть стартового кода для этого задания будет полностью готов, но можно начинать делать)''<br /> <br /> Организовать работу BufferManager и DiskManager.<br /> <br /> ===== Описание взаимодействия =====<br /> <br /> На данном этапе нужно реализовать подгрузку схемы отношения и взаимодействие менеджера памяти с диском.<br /> <br /> Предлагается использовать следующую структуру файловой системы:<br /> <br /> Корень базы<br /> --- table.data - файл со страницами с данными<br /> --- table.meta - файл со схемой отношения<br /> <br /> Формат схемы отношений<br /> <br /> Можно ограничиться читабельным форматом, например, перечислить через точку с запятой имя поля, тип и размер (если он есть):<br /> <br /> id;int<br /> name;varchar;10<br /> dt;datetime<br /> <br /> Можно также хранить тип в виде числа объявленного в Const.<br /> <br /> Для данного задания точкой входа является BufferManager.executeQuery, который принимает queryPlan - список из операций (Операция определяется как отношение, тип операции (на данном этапе это full_scan) и предикат).<br /> <br /> Адресацию в таблице трансляции в BufferManager можно сделать относительно просто воспринимаемой: в качестве ключа в bufferTable нужно указать имя файла данных и смешение относительно начала файла, например: <br /> <br /> table1.data:32<br /> <br /> executeQuery запрашивает у SchemaManager файл с данными. Так как нужно выполнить операцию full_scan, то первоначальный адрес страницы, которую нужно загрузить в память будет table1.data:0, нужно проверить, загружена ли она в таблицу трансляции, и если нет, то с помощью DiskManager считать ее.<br /> <br /> Также нужно, чтобы у страницы (Page) была ссылка на следующую страницу.<br /> <br /> ===== Задания =====<br /> <br /> 1. BufferManager должен использовать свое адресное пространство при загрузке данных с диска (строить таблицу трансляции). Физический адрес - путь к файлу и смещение для перехода к нужному блоку.<br /> <br /> 2. Добавить команду добавления записей в таблицу. При этом расположение записей на блоке должно быть оптимальным для схемы.<br /> <br /> Как только блок заполнен, его нужно сохранить на диск. Если блок изменен, то через несколько операций (или по таймеру) он также долже быть сохранен на диск.<br /> <br /> Блок должен относиться к одному отношению. В блоке должны быть: ссылка на схему отношения, ссылка на следующий блок, бит переполнения (используется, если запись не поместилась в блок целиком)<br /> <br /> Схема отношения должна содержать адрес файла, в котором находятся блоки с записями.</div>

Ivsavin https://wiki.cs.hse.ru/index.php?title=%D0%91%D0%B0%D0%B7%D1%8B_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_2/simpledb&diff=22620 2017-02-14T06:22:16Z

<p>Ivsavin: </p> <hr /> <div>=== Задания ===<br /> <br /> Задание 1<br /> <br /> * В СУБД есть чтение доступных таблиц (схем) при старте сервера.<br /> * При выполнении запроса создается (на данном шаге можно не парсить запрос, а забить предустановленные значения) QueryPlan с операцией чтения из таблицы. QueryPlan содержит операцию full_scan.<br /> * BufferManager, получив QueryPlan, начинает считывать поблочно из файла с данными и формировать список кортежей для результата.<br /> <br /> '''Задание до 14 февраля.'''<br /> <br /> Если есть вопросы, то пишите на почту преподавателю: acccko@gmai.com<br /> <br /> ''' Для сдачи задания используйте форму: https://goo.gl/forms/81yE6BcY7tZP3wVm2 ''' <br /> <br /> === Описание ===<br /> <br /> Описание пока что может отличаться от реального кода (какие-то взаимодействия еще не дописаны), но концепция скорее всего менять не будет.<br /> <br /> Есть Server (SocketServer), который может принять и обработать запрос (RequestHandler), затем отправить клиенту ответ.<br /> Запрос предварительно парсится на: управляюдище команды, DDL, DML.<br /> <br /> Если управляющая команда, то запрос уходит в ControlManager (там можно завершить соединение с клиентом exit)<br /> <br /> Если DDL, то запрос отправляется в SchemaManager (там можно запросить список отношений с колонками и индексами, а в будущем создавать и удалять их).<br /> <br /> Если запрос DML, то отправляется в QueryManager, который парсит запрос (с помощью QueryParser) и возвращает QueryPlan (список операций, типы операций и отношения, над которыми нужно их делать). Пример операции: table1, full_scan, condition.<br /> Результат работы QueryParser QueryManager отправляет в BufferManager, в котором происходят все операции. Если BufferManager нужны данные, которых нет в оперативной памяти, он используя SchemaManager отправляет запросы в DiskManager, который возвращает блоки с диска. Получив блоки (и записи в них) в BufferManager, тот считывает записи оттуда с помощью Row и отправляет наверх к QueryParser, тот в свою очередь отправляет результаты назад к CommandManager, который интерпретирует их и выводит в виде строки пользователю.<br /> <br /> При старте Server говорит SchemaManager, чтобы тот запустил свою инициализацию, по умолчанию это значит попросит BufferManager записать в оперативную мапять доступные схемы из файлов.<br /> <br /> SchemaManager работает с Schema, который состоит из Column, у которых есть название, тип и размер.<br /> <br /> === Код ===<br /> <br /> * Стартовый код расположен в git-репозитории: https://bitbucket.org/qs/simpledb<br /> <br /> === Задания ===<br /> <br /> ==== Задание 1 ====<br /> <br /> ''(Дедлайн будет установлен, когда часть стартового кода для этого задания будет полностью готов, но можно начинать делать)''<br /> <br /> Организовать работу BufferManager и DiskManager.<br /> <br /> ===== Описание взаимодействия =====<br /> <br /> На данном этапе нужно реализовать подгрузку схемы отношения и взаимодействие менеджера памяти с диском.<br /> <br /> Предлагается использовать следующую структуру файловой системы:<br /> <br /> Корень базы<br /> --- table.data - файл со страницами с данными<br /> --- table.meta - файл со схемой отношения<br /> <br /> Формат схемы отношений<br /> <br /> Можно ограничиться читабельным форматом, например, перечислить через точку с запятой имя поля, тип и размер (если он есть):<br /> <br /> id;int<br /> name;varchar;10<br /> dt;datetime<br /> <br /> Можно также хранить тип в виде числа объявленного в Const.<br /> <br /> Для данного задания точкой входа является BufferManager.executeQuery, который принимает queryPlan - список из операций (Операция определяется как отношение, тип операции (на данном этапе это full_scan) и предикат).<br /> <br /> Адресацию в таблице трансляции в BufferManager можно сделать относительно просто воспринимаемой: в качестве ключа в bufferTable нужно указать имя файла данных и смешение относительно начала файла, например: <br /> <br /> table1.data:32<br /> <br /> executeQuery запрашивает у SchemaManager файл с данными. Так как нужно выполнить операцию full_scan, то первоначальный адрес страницы, которую нужно загрузить в память будет table1.data:0, нужно проверить, загружена ли она в таблицу трансляции, и если нет, то с помощью DiskManager считать ее.<br /> <br /> Также нужно, чтобы у страницы (Page) была ссылка на следующую страницу.<br /> <br /> ===== Задания =====<br /> <br /> 1. BufferManager должен использовать свое адресное пространство при загрузке данных с диска (строить таблицу трансляции). Физический адрес - путь к файлу и смещение для перехода к нужному блоку.<br /> <br /> 2. Добавить команду добавления записей в таблицу. При этом расположение записей на блоке должно быть оптимальным для схемы.<br /> <br /> Как только блок заполнен, его нужно сохранить на диск. Если блок изменен, то через несколько операций (или по таймеру) он также долже быть сохранен на диск.<br /> <br /> Блок должен относиться к одному отношению. В блоке должны быть: ссылка на схему отношения, ссылка на следующий блок, бит переполнения (используется, если запись не поместилась в блок целиком)<br /> <br /> Схема отношения должна содержать адрес файла, в котором находятся блоки с записями.</div>

Ivsavin https://wiki.cs.hse.ru/index.php?title=%D0%91%D0%B0%D0%B7%D1%8B_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_2/simpledb&diff=22619 2017-02-14T06:21:57Z

<p>Ivsavin: </p> <hr /> <div>=== Задания ===<br /> <br /> Задание 1<br /> <br /> * В СУБД есть чтение доступных таблиц (схем) при старте сервера.<br /> * При выполнении запроса создается (на данном шаге можно не парсить запрос, а забить предустановленные значения) QueryPlan с операцией чтения из таблицы. QueryPlan содержит операцию full_scan.<br /> * BufferManager, получив QueryPlan, начинает считывать поблочно из файла с данными и формировать список кортежей для результата.<br /> <br /> '''Задание до 14 февраля.'''<br /> <br /> Если есть вопросы, то пишите на почту преподавателю: acccko@gmai.com<br /> '''<br /> Для сдачи задания используйте форму: https://goo.gl/forms/81yE6BcY7tZP3wVm2''' <br /> <br /> === Описание ===<br /> <br /> Описание пока что может отличаться от реального кода (какие-то взаимодействия еще не дописаны), но концепция скорее всего менять не будет.<br /> <br /> Есть Server (SocketServer), который может принять и обработать запрос (RequestHandler), затем отправить клиенту ответ.<br /> Запрос предварительно парсится на: управляюдище команды, DDL, DML.<br /> <br /> Если управляющая команда, то запрос уходит в ControlManager (там можно завершить соединение с клиентом exit)<br /> <br /> Если DDL, то запрос отправляется в SchemaManager (там можно запросить список отношений с колонками и индексами, а в будущем создавать и удалять их).<br /> <br /> Если запрос DML, то отправляется в QueryManager, который парсит запрос (с помощью QueryParser) и возвращает QueryPlan (список операций, типы операций и отношения, над которыми нужно их делать). Пример операции: table1, full_scan, condition.<br /> Результат работы QueryParser QueryManager отправляет в BufferManager, в котором происходят все операции. Если BufferManager нужны данные, которых нет в оперативной памяти, он используя SchemaManager отправляет запросы в DiskManager, который возвращает блоки с диска. Получив блоки (и записи в них) в BufferManager, тот считывает записи оттуда с помощью Row и отправляет наверх к QueryParser, тот в свою очередь отправляет результаты назад к CommandManager, который интерпретирует их и выводит в виде строки пользователю.<br /> <br /> При старте Server говорит SchemaManager, чтобы тот запустил свою инициализацию, по умолчанию это значит попросит BufferManager записать в оперативную мапять доступные схемы из файлов.<br /> <br /> SchemaManager работает с Schema, который состоит из Column, у которых есть название, тип и размер.<br /> <br /> === Код ===<br /> <br /> * Стартовый код расположен в git-репозитории: https://bitbucket.org/qs/simpledb<br /> <br /> === Задания ===<br /> <br /> ==== Задание 1 ====<br /> <br /> ''(Дедлайн будет установлен, когда часть стартового кода для этого задания будет полностью готов, но можно начинать делать)''<br /> <br /> Организовать работу BufferManager и DiskManager.<br /> <br /> ===== Описание взаимодействия =====<br /> <br /> На данном этапе нужно реализовать подгрузку схемы отношения и взаимодействие менеджера памяти с диском.<br /> <br /> Предлагается использовать следующую структуру файловой системы:<br /> <br /> Корень базы<br /> --- table.data - файл со страницами с данными<br /> --- table.meta - файл со схемой отношения<br /> <br /> Формат схемы отношений<br /> <br /> Можно ограничиться читабельным форматом, например, перечислить через точку с запятой имя поля, тип и размер (если он есть):<br /> <br /> id;int<br /> name;varchar;10<br /> dt;datetime<br /> <br /> Можно также хранить тип в виде числа объявленного в Const.<br /> <br /> Для данного задания точкой входа является BufferManager.executeQuery, который принимает queryPlan - список из операций (Операция определяется как отношение, тип операции (на данном этапе это full_scan) и предикат).<br /> <br /> Адресацию в таблице трансляции в BufferManager можно сделать относительно просто воспринимаемой: в качестве ключа в bufferTable нужно указать имя файла данных и смешение относительно начала файла, например: <br /> <br /> table1.data:32<br /> <br /> executeQuery запрашивает у SchemaManager файл с данными. Так как нужно выполнить операцию full_scan, то первоначальный адрес страницы, которую нужно загрузить в память будет table1.data:0, нужно проверить, загружена ли она в таблицу трансляции, и если нет, то с помощью DiskManager считать ее.<br /> <br /> Также нужно, чтобы у страницы (Page) была ссылка на следующую страницу.<br /> <br /> ===== Задания =====<br /> <br /> 1. BufferManager должен использовать свое адресное пространство при загрузке данных с диска (строить таблицу трансляции). Физический адрес - путь к файлу и смещение для перехода к нужному блоку.<br /> <br /> 2. Добавить команду добавления записей в таблицу. При этом расположение записей на блоке должно быть оптимальным для схемы.<br /> <br /> Как только блок заполнен, его нужно сохранить на диск. Если блок изменен, то через несколько операций (или по таймеру) он также долже быть сохранен на диск.<br /> <br /> Блок должен относиться к одному отношению. В блоке должны быть: ссылка на схему отношения, ссылка на следующий блок, бит переполнения (используется, если запись не поместилась в блок целиком)<br /> <br /> Схема отношения должна содержать адрес файла, в котором находятся блоки с записями.</div>

Ivsavin https://wiki.cs.hse.ru/index.php?title=%D0%91%D0%B0%D0%B7%D1%8B_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_2&diff=22618 2017-02-14T05:17:57Z

<p>Ivsavin: </p> <hr /> <div>== Базы данных ==<br /> <br /> Продвинутый курс по БД для специальности РС.<br /> <br /> === Лекции ===<br /> * [https://docs.google.com/presentation/d/1kS8eyUqSXmVZ7_5AS0FdbAER94huceyGFv8UtoAvmyM/edit?usp=sharing Принципы хранения информации]<br /> * [https://docs.google.com/presentation/d/1PxM-2U72a-VRo5x3kHU54o18jQ36tC0zggN-_XnzNDk/edit?usp=sharing Представление элементов данных]<br /> * [https://docs.google.com/presentation/d/1XkL6jWOBm3Ew1oHGJygNblYBTTgPDFjbs9CFWFFwzWo/edit?usp=sharing Структуры индексов]<br /> * [https://docs.google.com/presentation/d/1yliSRkrgMGYMs7_5k26rriQIy4Vw0DFRJJeiMsNMqSg/edit?usp=sharing Структуры специализированных индексов]<br /> * [https://docs.google.com/presentation/d/1_o6b-uSP7lrucN4e-k50QlDqQCkTILvU02bpYzLbINs/edit Выполнение запросов 1]<br /> <br /> === Практические работы ===<br /> <br /> Стартовый код и описание: [[Базы данных 2/simpledb]]<br /> <br /> В рамках курса нужно написать свою СУБД, в которой реализовать несколько ключевых механизмов, рассматриваемых в курсе, и обеспечивающих стабильную работу системы.<br /> <br /> * Задание 1: Взаимодействие с памятью<br /> * Задание 2: Индексы<br /> * Задание 3: Валидация и план запроса<br /> * Задание 4: Транзакции<br /> * Задание 5: Параллельное выполнение запросов<br /> <br /> Для практических заданий используется Java 8, можно пользоваться преимуществами этой версии (lambda, stream, работа со временем и тд, подробнее http://www.journaldev.com/2389/java-8-features-with-examples и https://www.tutorialspoint.com/java8/java8_overview.htm)<br /> Может быть полезным: http://web.mit.edu/6.005/www/sp16/<br /> <br /> Для тестирования:<br /> * http://site.mockito.org/<br /> * http://stackoverflow.com/questions/22697/whats-the-best-mock-framework-for-java<br /> <br /> <br /> === Расчет оценки ===<br /> Вклад в оценку:<br /> * Практические задания (5 штук) - 60%, для зачета обязательно нужно выполнить все задания<br /> * Несколько тестов в конце второй пары - 30%<br /> * Итоговый тест (возможно, будет как домашняя работа) - 10%<br /> * Дополнительные задания на разработку (если пропустили тесты) - 20%<br /> <br /> У практических заданий есть дедлайны, каждый просроченный день после дедлайна дает -0.5 к оценке за задание, пока она не станет равна 4.<br /> <br /> === Литература ===<br /> Основная литература:<br /> * Системы баз данных. Полный курс. Г. Гарсиа-Молина, Д. Д. Ульман, Д. Уидом, 2004, Главы: 11-19 - частично устаревшее издание<br /> * Database Systems. The Complete Book, H.García-Molina, J.Ullman, J.Widom 2nd Edition, 2009, Главы 13-20 - более новое издание, но только на английском<br /> <br /> Дополнительная литература:<br /> * &quot;Architecture of a Database System&quot; J.M.Hellerstein, M.Stonebraker, J.Hamilton, 2007<br /> * https://en.wikibooks.org/wiki/Design_of_Main_Memory_Database_System<br /> * http://codecapsule.com/tag/key-value-store/<br /> <br /> <br /> === Контакты ===<br /> * Почта: acccko@gmail.com<br /> * Tg: @acccko</div>

Ivsavin https://wiki.cs.hse.ru/index.php?title=%D0%91%D0%B0%D0%B7%D1%8B_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_2/simpledb&diff=22582 2017-02-07T07:34:18Z

<p>Ivsavin: </p> <hr /> <div>=== Задания ===<br /> <br /> Задание 1<br /> <br /> * В СУБД есть чтение доступных таблиц (схем) при старте сервера.<br /> * При выполнении запроса создается (на данном шаге можно не парсить запрос, а забить предустановленные значения) QueryPlan с операцией чтения из таблицы. QueryPlan содержит операцию full_scan.<br /> * BufferManager, получив QueryPlan, начинает считывать поблочно из файла с данными и формировать список кортежей для результата.<br /> <br /> '''Задание до 14 февраля.'''<br /> <br /> Если есть вопросы, то пишите на почту преподавателю: acccko@gmai.com<br /> <br /> === Описание ===<br /> <br /> Описание пока что может отличаться от реального кода (какие-то взаимодействия еще не дописаны), но концепция скорее всего менять не будет.<br /> <br /> Есть Server (SocketServer), который может принять и обработать запрос (RequestHandler), затем отправить клиенту ответ.<br /> Запрос предварительно парсится на: управляюдище команды, DDL, DML.<br /> <br /> Если управляющая команда, то запрос уходит в ControlManager (там можно завершить соединение с клиентом exit)<br /> <br /> Если DDL, то запрос отправляется в SchemaManager (там можно запросить список отношений с колонками и индексами, а в будущем создавать и удалять их).<br /> <br /> Если запрос DML, то отправляется в QueryManager, который парсит запрос (с помощью QueryParser) и возвращает QueryPlan (список операций, типы операций и отношения, над которыми нужно их делать). Пример операции: table1, full_scan, condition.<br /> Результат работы QueryParser QueryManager отправляет в BufferManager, в котором происходят все операции. Если BufferManager нужны данные, которых нет в оперативной памяти, он используя SchemaManager отправляет запросы в DiskManager, который возвращает блоки с диска. Получив блоки (и записи в них) в BufferManager, тот считывает записи оттуда с помощью Row и отправляет наверх к QueryParser, тот в свою очередь отправляет результаты назад к CommandManager, который интерпретирует их и выводит в виде строки пользователю.<br /> <br /> При старте Server говорит SchemaManager, чтобы тот запустил свою инициализацию, по умолчанию это значит попросит BufferManager записать в оперативную мапять доступные схемы из файлов.<br /> <br /> SchemaManager работает с Schema, который состоит из Column, у которых есть название, тип и размер.<br /> <br /> === Код ===<br /> <br /> * Стартовый код расположен в git-репозитории: https://bitbucket.org/qs/simpledb<br /> <br /> === Задания ===<br /> <br /> ==== Задание 1 ====<br /> <br /> ''(Дедлайн будет установлен, когда часть стартового кода для этого задания будет полностью готов, но можно начинать делать)''<br /> <br /> Организовать работу BufferManager и DiskManager.<br /> <br /> ===== Описание взаимодействия =====<br /> <br /> На данном этапе нужно реализовать подгрузку схемы отношения и взаимодействие менеджера памяти с диском.<br /> <br /> Предлагается использовать следующую структуру файловой системы:<br /> <br /> Корень базы<br /> --- table.data - файл со страницами с данными<br /> --- table.meta - файл со схемой отношения<br /> <br /> Формат схемы отношений<br /> <br /> Можно ограничиться читабельным форматом, например, перечислить через точку с запятой имя поля, тип и размер (если он есть):<br /> <br /> id;int<br /> name;varchar;10<br /> dt;datetime<br /> <br /> Можно также хранить тип в виде числа объявленного в Const.<br /> <br /> Для данного задания точкой входа является BufferManager.executeQuery, который принимает queryPlan - список из операций (Операция определяется как отношение, тип операции (на данном этапе это full_scan) и предикат).<br /> <br /> Адресацию в таблице трансляции в BufferManager можно сделать относительно просто воспринимаемой: в качестве ключа в bufferTable нужно указать имя файла данных и смешение относительно начала файла, например: <br /> <br /> table1.data:32<br /> <br /> executeQuery запрашивает у SchemaManager файл с данными. Так как нужно выполнить операцию full_scan, то первоначальный адрес страницы, которую нужно загрузить в память будет table1.data:0, нужно проверить, загружена ли она в таблицу трансляции, и если нет, то с помощью DiskManager считать ее.<br /> <br /> Также нужно, чтобы у страницы (Page) была ссылка на следующую страницу.<br /> <br /> ===== Задания =====<br /> <br /> 1. BufferManager должен использовать свое адресное пространство при загрузке данных с диска (строить таблицу трансляции). Физический адрес - путь к файлу и смещение для перехода к нужному блоку.<br /> <br /> 2. Добавить команду добавления записей в таблицу. При этом расположение записей на блоке должно быть оптимальным для схемы.<br /> <br /> Как только блок заполнен, его нужно сохранить на диск. Если блок изменен, то через несколько операций (или по таймеру) он также долже быть сохранен на диск.<br /> <br /> Блок должен относиться к одному отношению. В блоке должны быть: ссылка на схему отношения, ссылка на следующий блок, бит переполнения (используется, если запись не поместилась в блок целиком)<br /> <br /> Схема отношения должна содержать адрес файла, в котором находятся блоки с записями.</div>

Ivsavin https://wiki.cs.hse.ru/index.php?title=%D0%91%D0%B0%D0%B7%D1%8B_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_2&diff=22581 2017-02-07T06:21:51Z

<p>Ivsavin: </p> <hr /> <div>== Базы данных ==<br /> <br /> Продвинутый курс по БД для специальности РС.<br /> <br /> === Лекции ===<br /> * [https://docs.google.com/presentation/d/1kS8eyUqSXmVZ7_5AS0FdbAER94huceyGFv8UtoAvmyM/edit?usp=sharing Принципы хранения информации]<br /> * [https://docs.google.com/presentation/d/1PxM-2U72a-VRo5x3kHU54o18jQ36tC0zggN-_XnzNDk/edit?usp=sharing Представление элементов данных]<br /> * [https://docs.google.com/presentation/d/1XkL6jWOBm3Ew1oHGJygNblYBTTgPDFjbs9CFWFFwzWo/edit?usp=sharing Структуры индексов]<br /> * [https://docs.google.com/presentation/d/1yliSRkrgMGYMs7_5k26rriQIy4Vw0DFRJJeiMsNMqSg/edit?usp=sharing Структуры специализированных индексов]<br /> <br /> === Практические работы ===<br /> <br /> Стартовый код и описание: [[Базы данных 2/simpledb]]<br /> <br /> В рамках курса нужно написать свою СУБД, в которой реализовать несколько ключевых механизмов, рассматриваемых в курсе, и обеспечивающих стабильную работу системы.<br /> <br /> * Задание 1: Взаимодействие с памятью<br /> * Задание 2: Индексы<br /> * Задание 3: Валидация и план запроса<br /> * Задание 4: Транзакции<br /> * Задание 5: Параллельное выполнение запросов<br /> <br /> Для практических заданий используется Java 8, можно пользоваться преимуществами этой версии (lambda, stream, работа со временем и тд, подробнее http://www.journaldev.com/2389/java-8-features-with-examples и https://www.tutorialspoint.com/java8/java8_overview.htm)<br /> Может быть полезным: http://web.mit.edu/6.005/www/sp16/<br /> <br /> Для тестирования:<br /> * http://site.mockito.org/<br /> * http://stackoverflow.com/questions/22697/whats-the-best-mock-framework-for-java<br /> <br /> <br /> === Расчет оценки ===<br /> Вклад в оценку:<br /> * Практические задания (5 штук) - 60%, для зачета обязательно нужно выполнить все задания<br /> * Несколько тестов в конце второй пары - 30%<br /> * Итоговый тест (возможно, будет как домашняя работа) - 10%<br /> * Дополнительные задания на разработку (если пропустили тесты) - 20%<br /> <br /> У практических заданий есть дедлайны, каждый просроченный день после дедлайна дает -0.5 к оценке за задание, пока она не станет равна 4.<br /> <br /> === Литература ===<br /> Основная литература:<br /> * Системы баз данных. Полный курс. Г. Гарсиа-Молина, Д. Д. Ульман, Д. Уидом, 2004, Главы: 11-19 - частично устаревшее издание<br /> * Database Systems. The Complete Book, H.García-Molina, J.Ullman, J.Widom 2nd Edition, 2009, Главы 13-20 - более новое издание, но только на английском<br /> <br /> Дополнительная литература:<br /> * &quot;Architecture of a Database System&quot; J.M.Hellerstein, M.Stonebraker, J.Hamilton, 2007<br /> * https://en.wikibooks.org/wiki/Design_of_Main_Memory_Database_System<br /> * http://codecapsule.com/tag/key-value-store/<br /> <br /> <br /> === Контакты ===<br /> * Почта: acccko@gmail.com<br /> * Tg: @acccko</div>

Ivsavin https://wiki.cs.hse.ru/index.php?title=%D0%91%D0%B0%D0%B7%D1%8B_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_2/simpledb&diff=22520 2017-01-31T07:14:27Z

<p>Ivsavin: </p> <hr /> <div>=== Описание ===<br /> <br /> Описание пока что может отличаться от реального кода (какие-то взаимодействия еще не дописаны), но концепция скорее всего менять не будет.<br /> <br /> Есть Server (SocketServer), который может принять и обработать запрос (RequestHandler), затем отправить клиенту ответ.<br /> Запрос предварительно парсится на: управляюдище команды, DDL, DML.<br /> <br /> Если управляющая команда, то запрос уходит в ControlManager (там можно завершить соединение с клиентом exit)<br /> <br /> Если DDL, то запрос отправляется в SchemaManager (там можно запросить список отношений с колонками и индексами, а в будущем создавать и удалять их).<br /> <br /> Если запрос DML, то отправляется в QueryManager, который парсит запрос (с помощью QueryParser) и возвращает QueryPlan (список операций, типы операций и отношения, над которыми нужно их делать). Пример операции: table1, full_scan, condition.<br /> Результат работы QueryParser QueryManager отправляет в BufferManager, в котором происходят все операции. Если BufferManager нужны данные, которых нет в оперативной памяти, он используя SchemaManager отправляет запросы в DiskManager, который возвращает блоки с диска. Получив блоки (и записи в них) в BufferManager, тот считывает записи оттуда с помощью Row и отправляет наверх к QueryParser, тот в свою очередь отправляет результаты назад к CommandManager, который интерпретирует их и выводит в виде строки пользователю.<br /> <br /> При старте Server говорит SchemaManager, чтобы тот запустил свою инициализацию, по умолчанию это значит попросит BufferManager записать в оперативную мапять доступные схемы из файлов.<br /> <br /> SchemaManager работает с Schema, который состоит из Column, у которых есть название, тип и размер.<br /> <br /> === Код ===<br /> <br /> * Стартовый код расположен в git-репозитории: https://bitbucket.org/qs/simpledb<br /> <br /> === Задания ===<br /> <br /> ==== Задание 1 ====<br /> <br /> ''(Дедлайн будет установлен, когда часть стартового кода для этого задания будет полностью готов, но можно начинать делать)''<br /> <br /> Организовать работу BufferManager и DiskManager.<br /> <br /> ===== Описание взаимодействия =====<br /> <br /> На данном этапе нужно реализовать подгрузку схемы отношения и взаимодействие менеджера памяти с диском.<br /> <br /> Предлагается использовать следующую структуру файловой системы:<br /> <br /> Корень базы<br /> --- table.data - файл со страницами с данными<br /> --- table.meta - файл со схемой отношения<br /> <br /> Формат схемы отношений<br /> <br /> Можно ограничиться читабельным форматом, например, перечислить через точку с запятой имя поля, тип и размер (если он есть):<br /> <br /> id;int<br /> name;varchar;10<br /> dt;datetime<br /> <br /> Можно также хранить тип в виде числа объявленного в Const.<br /> <br /> Для данного задания точкой входа является BufferManager.executeQuery, который принимает queryPlan - список из операций (Операция определяется как отношение, тип операции (на данном этапе это full_scan) и предикат).<br /> <br /> Адресацию в таблице трансляции в BufferManager можно сделать относительно просто воспринимаемой: в качестве ключа в bufferTable нужно указать имя файла данных и смешение относительно начала файла, например: <br /> <br /> table1.data:32<br /> <br /> executeQuery запрашивает у SchemaManager файл с данными. Так как нужно выполнить операцию full_scan, то первоначальный адрес страницы, которую нужно загрузить в память будет table1.data:0, нужно проверить, загружена ли она в таблицу трансляции, и если нет, то с помощью DiskManager считать ее.<br /> <br /> Также нужно, чтобы у страницы (Page) была ссылка на следующую страницу.<br /> <br /> ===== Задания =====<br /> <br /> 1. BufferManager должен использовать свое адресное пространство при загрузке данных с диска (строить таблицу трансляции). Физический адрес - путь к файлу и смещение для перехода к нужному блоку.<br /> <br /> 2. Добавить команду добавления записей в таблицу. При этом расположение записей на блоке должно быть оптимальным для схемы.<br /> <br /> Как только блок заполнен, его нужно сохранить на диск. Если блок изменен, то через несколько операций (или по таймеру) он также долже быть сохранен на диск.<br /> <br /> Блок должен относиться к одному отношению. В блоке должны быть: ссылка на схему отношения, ссылка на следующий блок, бит переполнения (используется, если запись не поместилась в блок целиком)<br /> <br /> Схема отношения должна содержать адрес файла, в котором находятся блоки с записями.</div>

Ivsavin https://wiki.cs.hse.ru/index.php?title=%D0%91%D0%B0%D0%B7%D1%8B_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_2/simpledb&diff=22519 2017-01-31T06:50:42Z

<p>Ivsavin: </p> <hr /> <div>=== Описание ===<br /> <br /> Описание пока что может отличаться от реального кода (какие-то взаимодействия еще не дописаны), но концепция скорее всего менять не будет.<br /> <br /> Есть Server (SocketServer), который может принять и обработать запрос (RequestHandler), затем отправить клиенту ответ.<br /> Запрос предварительно парсится на: управляюдище команды, DDL, DML.<br /> <br /> Если управляющая команда, то запрос уходит в ControlManager (там можно завершить соединение с клиентом exit)<br /> <br /> Если DDL, то запрос отправляется в SchemaManager (там можно запросить список отношений с колонками и индексами, а в будущем создавать и удалять их).<br /> <br /> Если запрос DML, то отправляется в QueryManager, который парсит запрос (с помощью QueryParser) и возвращает QueryPlan (список операций, типы операций и отношения, над которыми нужно их делать). Пример операции: table1, full_scan, condition.<br /> Результат работы QueryParser QueryManager отправляет в BufferManager, в котором происходят все операции. Если BufferManager нужны данные, которых нет в оперативной памяти, он используя SchemaManager отправляет запросы в DiskManager, который возвращает блоки с диска. Получив блоки (и записи в них) в BufferManager, тот считывает записи оттуда с помощью Row и отправляет наверх к QueryParser, тот в свою очередь отправляет результаты назад к CommandManager, который интерпретирует их и выводит в виде строки пользователю.<br /> <br /> При старте Server говорит SchemaManager, чтобы тот запустил свою инициализацию, по умолчанию это значит попросит BufferManager записать в оперативную мапять доступные схемы из файлов.<br /> <br /> SchemaManager работает с Schema, который состоит из Column, у которых есть название, тип и размер.<br /> <br /> === Код ===<br /> <br /> * Стартовый код расположен в git-репозитории: https://bitbucket.org/qs/simpledb<br /> <br /> === Задания ===<br /> <br /> ==== Задание 1 ====<br /> <br /> ''(Дедлайн будет установлен, когда часть стартового кода для этого задания будет полностью готов, но можно начинать делать)''<br /> <br /> Организовать работу BufferManager и DiskManager.<br /> <br /> ===== Описание взаимодействия =====<br /> <br /> На данном этапе нужно реализовать подгрузку схемы отношения и взаимодействие менеджера памяти с диском.<br /> <br /> Предлагается использовать следующую структуру файловой системы:<br /> <br /> Корень базы<br /> --- table.data - файл со страницами с данными<br /> --- table.meta - файл со схемой отношения<br /> <br /> Формат схемы отношений<br /> <br /> Можно ограничиться читабельным форматом, например, перечислить через точку с запятой имя поля, тип и размер (если он есть):<br /> <br /> id;int<br /> name;varchar;10<br /> dt;datetime<br /> <br /> ===== Задания =====<br /> <br /> 1. BufferManager должен использовать свое адресное пространство при загрузке данных с диска (строить таблицу трансляции). Физический адрес - путь к файлу и смещение для перехода к нужному блоку.<br /> <br /> 2. Добавить команду добавления записей в таблицу. При этом расположение записей на блоке должно быть оптимальным для схемы.<br /> <br /> Как только блок заполнен, его нужно сохранить на диск. Если блок изменен, то через несколько операций (или по таймеру) он также долже быть сохранен на диск.<br /> <br /> Блок должен относиться к одному отношению. В блоке должны быть: ссылка на схему отношения, ссылка на следующий блок, бит переполнения (используется, если запись не поместилась в блок целиком)<br /> <br /> Схема отношения должна содержать адрес файла, в котором находятся блоки с записями.</div>

Ivsavin https://wiki.cs.hse.ru/index.php?title=%D0%91%D0%B0%D0%B7%D1%8B_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_2/simpledb&diff=22518 2017-01-31T06:32:27Z

<p>Ivsavin: </p> <hr /> <div>=== Описание ===<br /> <br /> Описание пока что может отличаться от реального кода (какие-то взаимодействия еще не дописаны), но концепция скорее всего менять не будет.<br /> <br /> Есть Server (SocketServer), который может принять и обработать запрос (RequestHandler), затем отправить клиенту ответ.<br /> Запрос предварительно парсится на: управляюдище команды, DDL, DML.<br /> <br /> Если управляющая команда, то запрос уходит в ControlManager (там можно завершить соединение с клиентом exit)<br /> <br /> Если DDL, то запрос отправляется в SchemaManager (там можно запросить список отношений с колонками и индексами, а в будущем создавать и удалять их).<br /> <br /> Если запрос DML, то отправляется в QueryManager, который парсит запрос (с помощью QueryParser) и возвращает QueryPlan (список операций, типы операций и отношения, над которыми нужно их делать). Пример операции: table1, full_scan, condition.<br /> Результат работы QueryParser QueryManager отправляет в BufferManager, в котором происходят все операции. Если BufferManager нужны данные, которых нет в оперативной памяти, он используя SchemaManager отправляет запросы в DiskManager, который возвращает блоки с диска. Получив блоки (и записи в них) в BufferManager, тот считывает записи оттуда с помощью Row и отправляет наверх к QueryParser, тот в свою очередь отправляет результаты назад к CommandManager, который интерпретирует их и выводит в виде строки пользователю.<br /> <br /> При старте Server говорит SchemaManager, чтобы тот запустил свою инициализацию, по умолчанию это значит попросит BufferManager записать в оперативную мапять доступные схемы из файлов.<br /> <br /> SchemaManager работает с Schema, который состоит из Column, которые связаны с Type.<br /> <br /> <br /> === Код ===<br /> <br /> * Стартовый код расположен в git-репозитории: https://bitbucket.org/qs/simpledb<br /> <br /> === Задания ===<br /> <br /> ==== Задание 1 ====<br /> <br /> ''(Дедлайн будет установлен, когда часть стартового кода для этого задания будет полностью готов, но можно начинать делать)''<br /> <br /> Организовать работу BufferManager и DiskManager.<br /> <br /> 1. BufferManager должен использовать свое адресное пространство при загрузке данных с диска (строить таблицу трансляции). Физический адрес - путь к файлу и смещение для перехода к нжному блоку.<br /> <br /> 2. Добавить команду добавления записей в таблицу. При этом расположение записей на блоке должно быть оптимальным для схемы.<br /> <br /> Как только блок заполнен, его нужно сохранить на диск. Если блок изменен, то через несколько операций (или по таймеру) он также долже быть сохранен на диск.<br /> <br /> Блок должен относиться к одному отношению. В блоке должны быть: ссылка на схему отношения, ссылка на следующий блок, бит переполнения (используется, если запись не поместилась в блок целиком)<br /> <br /> Схема отношения должна содержать адрес файла, в котором находятся блоки с записями.</div>

Ivsavin https://wiki.cs.hse.ru/index.php?title=%D0%91%D0%B0%D0%B7%D1%8B_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_2&diff=22438 2017-01-25T16:13:30Z

<p>Ivsavin: </p> <hr /> <div>== Базы данных ==<br /> <br /> Продвинутый курс по БД для специальности РС.<br /> <br /> === Лекции ===<br /> * [https://docs.google.com/presentation/d/1kS8eyUqSXmVZ7_5AS0FdbAER94huceyGFv8UtoAvmyM/edit?usp=sharing Принципы хранения информации]<br /> * [https://docs.google.com/presentation/d/1PxM-2U72a-VRo5x3kHU54o18jQ36tC0zggN-_XnzNDk/edit?usp=sharing Представление элементов данных]<br /> <br /> === Практические работы ===<br /> <br /> Стартовый код и описание: [[Базы данных 2/simpledb]]<br /> <br /> В рамках курса нужно написать свою СУБД, в которой реализовать несколько ключевых механизмов, рассматриваемых в курсе, и обеспечивающих стабильную работу системы.<br /> <br /> * Задание 1: Взаимодействие с памятью<br /> * Задание 2: Индексы<br /> * Задание 3: Валидация и план запроса<br /> * Задание 4: Транзакции<br /> * Задание 5: Параллельное выполнение запросов<br /> <br /> Для практических заданий используется Java 8, можно пользоваться преимуществами этой версии (lambda, stream, работа со временем и тд, подробнее http://www.journaldev.com/2389/java-8-features-with-examples и https://www.tutorialspoint.com/java8/java8_overview.htm)<br /> Может быть полезным: http://web.mit.edu/6.005/www/sp16/<br /> <br /> Для тестирования:<br /> * http://site.mockito.org/<br /> * http://stackoverflow.com/questions/22697/whats-the-best-mock-framework-for-java<br /> <br /> <br /> === Расчет оценки ===<br /> Вклад в оценку:<br /> * Практические задания (5 штук) - 60%, для зачета обязательно нужно выполнить все задания<br /> * Несколько тестов в конце второй пары - 30%<br /> * Итоговый тест (возможно, будет как домашняя работа) - 10%<br /> * Дополнительные задания на разработку (если пропустили тесты) - 20%<br /> <br /> У практических заданий есть дедлайны, каждый просроченный день после дедлайна дает -0.5 к оценке за задание, пока она не станет равна 4.<br /> <br /> === Литература ===<br /> Основная литература:<br /> * Системы баз данных. Полный курс. Г. Гарсиа-Молина, Д. Д. Ульман, Д. Уидом, 2004, Главы: 11-19 - частично устаревшее издание<br /> * Database Systems. The Complete Book, H.García-Molina, J.Ullman, J.Widom 2nd Edition, 2009, Главы 13-20 - более новое издание, но только на английском<br /> <br /> Дополнительная литература:<br /> * &quot;Architecture of a Database System&quot; J.M.Hellerstein, M.Stonebraker, J.Hamilton, 2007<br /> * https://en.wikibooks.org/wiki/Design_of_Main_Memory_Database_System<br /> * http://codecapsule.com/tag/key-value-store/<br /> <br /> <br /> === Контакты ===<br /> * Почта: acccko@gmail.com<br /> * Tg: @acccko</div>

Ivsavin https://wiki.cs.hse.ru/index.php?title=%D0%91%D0%B0%D0%B7%D1%8B_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_2/simpledb&diff=22437 2017-01-25T16:11:50Z

<p>Ivsavin: Новая страница: «=== Описание === Описание пока что может отличаться от реального кода (какие-то взаимодейс…»</p> <hr /> <div>=== Описание ===<br /> <br /> Описание пока что может отличаться от реального кода (какие-то взаимодействия еще не дописаны), но концепция скорее всего менять не будет.<br /> <br /> Есть Server (SocketServer), который может принять и обработать запрос (RequestHandler), затем отправить клиенту ответ.<br /> Запрос предварительно парсится на: управляюдище команды, DDL, DML.<br /> <br /> Если управляющая команда, то запрос уходит в ControlManager (там можно завершить соединение с клиентом exit)<br /> <br /> Если DDL, то запрос отправляется в SchemaManager (там можно запросить список отношений с колонками и индексами, а в будущем создавать и удалять их).<br /> <br /> Если запрос DML, то отправляется в QueryManager, который парсит запрос (с помощью QueryParser) и возвращает QueryPlan (список операций, типы операций и отношения, над которыми нужно их делать). Пример операции: table1, full_scan, condition.<br /> Результат работы QueryParser QueryManager отправляет в BufferManager, в котором происходят все операции. Если BufferManager нужны данные, которых нет в оперативной памяти, он используя SchemaManager отправляет запросы в StorageManager, который возвращает блоки с диска. Получив блоки (и записи в них) в BufferManager, тот считывает записи оттуда с помощью Row и отправляет наверх к QueryParser, тот в свою очередь отправляет результаты назад к CommandManager, который интерпретирует их и выводит в виде строки пользователю.<br /> <br /> При старте Server говорит SchemaManager, чтобы тот запустил свою инициализацию, по умолчанию это значит попросит BufferManager записать в оперативную мапять доступные схемы из файлов.<br /> <br /> SchemaManager работает с Schema, который состоит из Column, которые связаны с Type.<br /> <br /> <br /> === Код ===<br /> <br /> * Стартовый код расположен в git-репозитории: https://bitbucket.org/qs/simpledb<br /> <br /> === Задания ===<br /> <br /> ==== Задание 1 ====<br /> <br /> ''(Дедлайн будет установлен, когда часть стартового кода для этого задания будет полностью готов, но можно начинать делать)''<br /> <br /> Организовать работу BufferManager и DiskManager.<br /> <br /> 1. BufferManager должен использовать свое адресное пространство при загрузке данных с диска (строить таблицу трансляции). Физический адрес - путь к файлу и смещение для перехода к нжному блоку.<br /> <br /> 2. Добавить команду добавления записей в таблицу. При этом расположение записей на блоке должно быть оптимальным для схемы.<br /> <br /> Как только блок заполнен, его нужно сохранить на диск. Если блок изменен, то через несколько операций (или по таймеру) он также долже быть сохранен на диск.<br /> <br /> Блок должен относиться к одному отношению. В блоке должны быть: ссылка на схему отношения, ссылка на следующий блок, бит переполнения (используется, если запись не поместилась в блок целиком)<br /> <br /> Схема отношения должна содержать адрес файла, в котором находятся блоки с записями.</div>

Ivsavin https://wiki.cs.hse.ru/index.php?title=%D0%9E_%D1%84%D0%B0%D0%BA%D1%83%D0%BB%D1%8C%D1%82%D0%B5%D1%82%D0%B5&diff=22372 2017-01-18T11:45:56Z

<p>Ivsavin: </p> <hr /> <div>__NOTOC__ <br /> <br /> == Учебные курсы факультета компьютерных наук==<br /> <br /> === Курсы за 2016/17 учебный год ===<br /> {| class=&quot;wikitable&quot;<br /> |-<br /> ! 1 курс !! 2 курс !! 3-4 курс !! майноры<br /> |-<br /> |<br /> <br /> [[Математический анализ на ПМИ_2016/2017 | Математический анализ на ПМИ (пилотный поток)]]<br /> <br /> [[Линейная алгебра и геометрия_2016/2017 | Линейная алгебра и геометрия на ПМИ]]<br /> <br /> [[Дискретная_математика_1_2016/2017 | Дискретная математика-1 на ПМИ]]<br /> <br /> [[Основы и методология программирования_2016/2017_пилотный_поток | Основы и методология программирования на ПМИ (пилотный поток)]]<br /> <br /> [[Основы и методология программирования_2016/2017 | Основы и методология программирования на ПМИ (основной поток)]]<br /> <br /> [[Алгоритмы_и_структуры_данных_на_ПМИ_(пилотный_поток) | Алгоритмы и структуры данных на ПМИ (пилотный поток)]]<br /> <br /> [http://hsealgebra17.wikidot.com/ Алгебра на ПИ]<br /> <br /> || <br /> <br /> [[Математический анализ_2016/2017 | Математический анализ-3 на ПМИ (основной поток)]]<br /> <br /> [[Математически_анализ_3_на_ПМИ_(пилотный_поток) | Математический анализ-3 на ПМИ (пилотный поток)]]<br /> <br /> [[DM_2_2016_2017 | Дискретная математика-2 на ПМИ (основной поток)]]<br /> <br /> [[Дискретная математика_2_2016/2017 | Дискретная математика-2 на ПМИ (пилотный поток)]]<br /> <br /> [[Алгоритмы и структуры данных_2_2016/2017 | Алгоритмы и структуры данных – 2 на ПМИ (основной поток)]]<br /> <br /> [[Теория вероятностей_2016/2017 | Теория вероятностей на ПМИ (основной поток)]]<br /> <br /> [[Теория_вероятностей_2016/2017_(пилотный_поток) | Теория вероятностей на ПМИ (пилотный поток)]]<br /> <br /> [[Архитектура_компьютеров_и_операционные_системы_2016/2017 | Архитектура компьютеров и операционные системы]]<br /> <br /> [[Факультатив_теория_вычислений_2016/2017 | Факультатив теория вычислений на ПМИ]]<br /> <br /> [[Дополнительные_главы_теории_вероятностей_(факультатив,_2017) | Дополнительные главы теории вероятностей (факультатив)]]<br /> <br /> || <br /> <br /> [[НИС_Машинное_обучение_и_приложения_2016/2017 | НИС Машинное обучение и приложения на ПМИ]]<br /> <br /> [[Машинное_обучение_1 | Машинное обучение 1 на ПМИ]]<br /> <br /> [[Машинное_обучение_2 | Машинное обучение 2 на ПМИ]]<br /> <br /> [[Прикладной_статистический_анализ_данных | Прикладной статистический анализ данных на ПМИ]]<br /> <br /> [[Численные_методы_в_анализе_данных | Численные методы в анализе данных на ПМИ]]<br /> <br /> [http://www.machinelearning.ru/wiki/index.php?title=Opt Методы оптимизации на ПМИ (специализации МОП и РС)]<br /> <br /> [[НИС_Распределенные_системы_(осень_2016) | НИС Распределенные системы]]<br /> <br /> [[Анализ и верификация алгоритмов биржевой торговли | Анализ и верификация алгоритмов для систем биржевой торговли ]]<br /> <br /> [[Программирование_на_графических_процессорах | Программирование на графических процессорах]]<br /> <br /> [[ЯРПО | Языки разработки ПО (курс по выбору) на ПМИ]]<br /> <br /> [[Data analysis (Software Engineering) 2017 | Data analysis на ПИ]]<br /> <br /> [[Базы данных 2 | Компьютерные сети и базы данных 2 ]]<br /> <br /> ||<br /> <br /> [[Современные_методы_машинного_обучения_(курс_майнора) | Современные методы машинного обучения (курс майнора)]]<br /> <br /> [[Майнор_Интеллектуальный_анализ_данных/Введение_в_программирование_2016/2017 | Введение в программирование (курс майнора)]]<br /> <br /> [[Майнор Интеллектуальный анализ данных/Введение в анализ данных | Введение в анализ данных (курс майнора)]]<br /> <br /> |}<br /> <br /> {|width=100%<br /> |style=&quot;vertical-align:top;&quot;|<br /> <br /> &lt;!-- Первая колонка --&gt;<br /> <br /> === Курсы за 2015/16 учебный год ===<br /> {|<br /> |-<br /> | [[Технологии программирования|Технологии программирования на ПМИ]]<br /> |-<br /> |[[ОиМП-2015|Основы и методология программирования на ПМИ]]<br /> |-<br /> |[[Алгоритмы и структуры данных]]<br /> |-<br /> |[[Линейная алгебра и геометрия_2015/2016 | Линейная алгебра и геометрия на ПМИ]]<br /> |-<br /> |[[Алгебра_2015/2016 | Алгебра на ПМИ]]<br /> |-<br /> |[http://hsealgebra.wikidot.com/ Алгебра на ПИ]<br /> |-<br /> |[[Компьютерные системы]]<br /> |-<br /> |[[Математический анализ на ПМИ_2015/2016 | Математический анализ на ПМИ]]<br /> |-<br /> |[[Факультатив_Матпрактикум | Матпрактикум (факультатив) на ПМИ]]<br /> |-<br /> |[[Data analysis (Software Engineering)]]&lt;br /&gt;<br /> |-<br /> |[[Майнор Интеллектуальный анализ данных/Введение в программирование|Введение в программирование (курс майнора) на ПМИ]]<br /> |-<br /> |[[Майнор Интеллектуальный анализ данных/Введение в анализ данных/2015-2016|Введение в анализ данных (курс майнора) на ПМИ]]<br /> |-<br /> |[[НИС Машинное обучение и приложения|НИС Машинное обучение и приложения на ПМИ]]<br /> |-<br /> |[[Архитектура компьютеров и системное программирование (ПМИ_4, 2015/2016)|Архитектура компьютеров и системное программирование (4 курс)]]<br /> |-<br /> |[[Дифференциальные уравнения (2 курс, 2015/2016)| Дифференциальные уравнения]]<br /> |-<br /> |[[Введение в VBA|Введение в VBA]]<br /> |}<br /> <br /> |style=&quot;vertical-align:top;&quot;|<br /> <br /> &lt;!-- Вторая колонка --&gt;<br /> <br /> === Курсы за 2014/15 учебный год ===<br /> {|<br /> |-<br /> |[[Основы и методологии программирования]]&lt;br /&gt;<br /> |-<br /> |[[Алгоритмы и структуры данных 2015 | Алгоритмы и структуры данных]]&lt;br /&gt;<br /> |-<br /> |[[Анализ данных (Программная инженерия)]]&lt;br /&gt;<br /> |-<br /> |[[Алгебра_2014/2015 | Алгебра]]&lt;br /&gt;<br /> |-<br /> |[[Magolego_sna_2015| MAGoLEGO Social Network Analysis]]<br /> |}<br /> <br /> ==== Проектная работа ====<br /> {|<br /> |-<br /> |[[Проектная работа]] &lt;br /&gt;<br /> |-<br /> |[[Учебная практика 1 курс (2016)]]<br /> |-<br /> |[[Проектная работа 2 курс (2016)]]<br /> |}<br /> <br /> &lt;!-- Завершение двухколоночной таблицы --&gt;<br /> |}<br /> <br /> == Мероприятия факультета компьютерных наук ==<br /> === Summer School 2015 ===<br /> [[Introduction to Natural Language Processing|Introduction to Natural Language Processing]]<br /> #[[Lecture 1. Introduction|Introduction]]<br /> #[[Lecture 2. Tokenization and word counts|Tokenization and word counts]]<br /> #[[Lecture 3. POS tagging. Key word and phrase extraction|POS tagging. Key word and phrase extraction]]<br /> #[[Lecture 4. Parsing|Parsing]]<br /> #[[Lecture 5. Language sources|Language sources]]<br /> #[[Lecture 6. Synonyms and near-synonyms detection|Synonyms and near-synonyms detection]]<br /> #[[Lecture 8. Suffix trees for NLP|Suffix trees for NLP]]<br /> #[[NLP References|References]]<br /> <br /> == Архив ==<br /> * [[Учебная практика 1 курс (2015)]]</div>

Ivsavin https://wiki.cs.hse.ru/index.php?title=%D0%91%D0%B0%D0%B7%D1%8B_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_2&diff=22371 2017-01-18T11:33:13Z

<p>Ivsavin: </p> <hr /> <div>== Базы данных ==<br /> <br /> Продвинутый курс по БД для специальности РС.<br /> <br /> === Лекции ===<br /> * [https://docs.google.com/presentation/d/1kS8eyUqSXmVZ7_5AS0FdbAER94huceyGFv8UtoAvmyM/edit?usp=sharing Принципы хранения информации]<br /> * [https://docs.google.com/presentation/d/1PxM-2U72a-VRo5x3kHU54o18jQ36tC0zggN-_XnzNDk/edit?usp=sharing Представление элементов данных]<br /> <br /> === Практические работы ===<br /> <br /> В рамках курса нужно написать свою СУБД, в которой реализовать несколько ключевых механизмов, рассматриваемых в курсе, и обеспечивающих стабильную работу системы.<br /> <br /> * Задание 1: Взаимодействие с памятью<br /> * Задание 2: Индексы<br /> * Задание 3: Валидация и план запроса<br /> * Задание 4: Транзакции<br /> * Задание 5: Параллельное выполнение запросов<br /> <br /> Для практических заданий используется Java 8, можно пользоваться преимуществами этой версии (lambda, stream, работа со временем и тд, подробнее http://www.journaldev.com/2389/java-8-features-with-examples и https://www.tutorialspoint.com/java8/java8_overview.htm)<br /> Может быть полезным: http://web.mit.edu/6.005/www/sp16/<br /> <br /> Для тестирования:<br /> * http://site.mockito.org/<br /> * http://stackoverflow.com/questions/22697/whats-the-best-mock-framework-for-java<br /> <br /> <br /> === Расчет оценки ===<br /> Вклад в оценку:<br /> * Практические задания (5 штук) - 60%, для зачета обязательно нужно выполнить все задания<br /> * Несколько тестов в конце второй пары - 30%<br /> * Итоговый тест (возможно, будет как домашняя работа) - 10%<br /> * Дополнительные задания на разработку (если пропустили тесты) - 20%<br /> <br /> У практических заданий есть дедлайны, каждый просроченный день после дедлайна дает -0.5 к оценке за задание, пока она не станет равна 4.<br /> <br /> === Литература ===<br /> Основная литература:<br /> * Системы баз данных. Полный курс. Г. Гарсиа-Молина, Д. Д. Ульман, Д. Уидом, 2004, Главы: 11-19 - частично устаревшее издание<br /> * Database Systems. The Complete Book, H.García-Molina, J.Ullman, J.Widom 2nd Edition, 2009, Главы 13-20 - более новое издание, но только на английском<br /> <br /> Дополнительная литература:<br /> * &quot;Architecture of a Database System&quot; J.M.Hellerstein, M.Stonebraker, J.Hamilton, 2007<br /> * https://en.wikibooks.org/wiki/Design_of_Main_Memory_Database_System<br /> * http://codecapsule.com/tag/key-value-store/<br /> <br /> <br /> === Контакты ===<br /> * Почта: acccko@gmail.com<br /> * Tg: @acccko</div>

Ivsavin https://wiki.cs.hse.ru/index.php?title=%D0%91%D0%B0%D0%B7%D1%8B_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_2&diff=22329 2017-01-16T09:54:08Z

<p>Ivsavin: </p> <hr /> <div>== Базы данных ==<br /> <br /> Продвинутый курс по БД для специальности РС.<br /> <br /> === Лекции ===<br /> * [https://docs.google.com/presentation/d/1kS8eyUqSXmVZ7_5AS0FdbAER94huceyGFv8UtoAvmyM/edit?usp=sharing Принципы хранения информации]<br /> <br /> === Практические работы ===<br /> <br /> В рамках курса нужно написать свою СУБД, в которой реализовать несколько ключевых механизмов, рассматриваемых в курсе, и обеспечивающих стабильную работу системы.<br /> <br /> * Задание 1: Взаимодействие с памятью<br /> * Задание 2: Индексы<br /> * Задание 3: Валидация и план запроса<br /> * Задание 4: Транзакции<br /> * Задание 5: Параллельное выполнение запросов<br /> <br /> Для практических заданий используется Java 8, можно пользоваться преимуществами этой версии (lambda, stream, работа со временем и тд, подробнее http://www.journaldev.com/2389/java-8-features-with-examples и https://www.tutorialspoint.com/java8/java8_overview.htm)<br /> Может быть полезным: http://web.mit.edu/6.005/www/sp16/<br /> <br /> Для тестирования:<br /> * http://site.mockito.org/<br /> * http://stackoverflow.com/questions/22697/whats-the-best-mock-framework-for-java<br /> <br /> <br /> === Расчет оценки ===<br /> Вклад в оценку:<br /> * Практические задания (5 штук) - 60%, для зачета обязательно нужно выполнить все задания<br /> * Несколько тестов в конце второй пары - 30%<br /> * Итоговый тест (возможно, будет как домашняя работа) - 10%<br /> * Дополнительные задания на разработку (если пропустили тесты) - 20%<br /> <br /> У практических заданий есть дедлайны, каждый просроченный день после дедлайна дает -0.5 к оценке за задание, пока она не станет равна 4.<br /> <br /> === Литература ===<br /> Основная литература:<br /> * Системы баз данных. Полный курс. Г. Гарсиа-Молина, Д. Д. Ульман, Д. Уидом, 2004, Главы: 11-19 - частично устаревшее издание<br /> * Database Systems. The Complete Book, H.García-Molina, J.Ullman, J.Widom 2nd Edition, 2009, Главы 13-20 - более новое издание, но только на английском<br /> <br /> Дополнительная литература:<br /> * &quot;Architecture of a Database System&quot; J.M.Hellerstein, M.Stonebraker, J.Hamilton, 2007<br /> * https://en.wikibooks.org/wiki/Design_of_Main_Memory_Database_System<br /> * http://codecapsule.com/tag/key-value-store/<br /> <br /> <br /> === Контакты ===<br /> * Почта: acccko@gmail.com<br /> * Tg: @acccko</div>

Ivsavin https://wiki.cs.hse.ru/index.php?title=%D0%91%D0%B0%D0%B7%D1%8B_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_2&diff=22271 2017-01-10T06:32:57Z

<p>Ivsavin: </p> <hr /> <div>== Базы данных ==<br /> <br /> Продвинутый курс по БД для специальности РС.<br /> <br /> === Лекции ===<br /> * TODO<br /> <br /> === Практические работы ===<br /> <br /> В рамках курса нужно написать свою СУБД, в которой реализовать несколько ключевых механизмов, рассматриваемых в курсе, и обеспечивающих стабильную работу системы.<br /> <br /> * Задание 1: Взаимодействие с памятью<br /> * Задание 2: Индексы<br /> * Задание 3: Валидация и план запроса<br /> * Задание 4: Транзакции<br /> * Задание 5: Параллельное выполнение запросов<br /> <br /> Для практических заданий используется Java 8, можно пользоваться преимуществами этой версии (lambda, stream, работа со временем и тд, подробнее http://www.journaldev.com/2389/java-8-features-with-examples и https://www.tutorialspoint.com/java8/java8_overview.htm)<br /> Может быть полезным: http://web.mit.edu/6.005/www/sp16/<br /> <br /> Для тестирования:<br /> * http://site.mockito.org/<br /> * http://stackoverflow.com/questions/22697/whats-the-best-mock-framework-for-java<br /> <br /> <br /> === Расчет оценки ===<br /> Вклад в оценку:<br /> * Практические задания (5 штук) - 60%, для зачета обязательно нужно выполнить все задания<br /> * Несколько тестов в конце второй пары - 30%<br /> * Итоговый тест (возможно, будет как домашняя работа) - 10%<br /> * Дополнительные задания на разработку (если пропустили тесты) - 20%<br /> <br /> У практических заданий есть дедлайны, каждый просроченный день после дедлайна дает -0.5 к оценке за задание, пока она не станет равна 4.<br /> <br /> === Литература ===<br /> Основная литература:<br /> * Системы баз данных. Полный курс. Г. Гарсиа-Молина, Д. Д. Ульман, Д. Уидом, 2004, Главы: 11-19 - частично устаревшее издание<br /> * Database Systems. The Complete Book, H.García-Molina, J.Ullman, J.Widom 2nd Edition, 2009, Главы 13-20 - более новое издание, но только на английском<br /> <br /> Дополнительная литература:<br /> * &quot;Architecture of a Database System&quot; J.M.Hellerstein, M.Stonebraker, J.Hamilton, 2007<br /> * https://en.wikibooks.org/wiki/Design_of_Main_Memory_Database_System<br /> * http://codecapsule.com/tag/key-value-store/<br /> <br /> <br /> === Контакты ===<br /> * Почта: acccko@gmail.com<br /> * Tg: @acccko</div>

Ivsavin https://wiki.cs.hse.ru/index.php?title=%D0%91%D0%B0%D0%B7%D1%8B_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_2&diff=22270 2017-01-09T23:54:58Z

<p>Ivsavin: Новая страница: «== Базы данных == Продвинутый курс по БД для специальности РС. === Лекции === * TODO === Практиче…»</p> <hr /> <div>== Базы данных ==<br /> <br /> Продвинутый курс по БД для специальности РС.<br /> <br /> === Лекции ===<br /> * TODO<br /> <br /> === Практические работы ===<br /> <br /> В рамках курса нужно написать свою СУБД, в которой реализовать несколько ключевых механизмов, рассматриваемых в курсе, и обеспечивающих стабильную работу системы.<br /> <br /> * Задание 1: Взаимодействие с памятью<br /> * Задание 2: Индексы<br /> * Задание 3: Валидация и план запроса<br /> * Задание 4: Транзакции<br /> * Задание 5: Параллельное выполнение запросов<br /> <br /> Для практических заданий используется Java 8, можно пользоваться преимуществами этой версии (lambda, stream, работа со временем и тд, подробнее http://www.journaldev.com/2389/java-8-features-with-examples и https://www.tutorialspoint.com/java8/java8_overview.htm)<br /> Может быть полезным: http://web.mit.edu/6.005/www/sp16/<br /> <br /> Для тестирования:<br /> * http://site.mockito.org/<br /> * http://stackoverflow.com/questions/22697/whats-the-best-mock-framework-for-java<br /> <br /> <br /> === Расчет оценки ===<br /> Вклад в оценку:<br /> * Практические задания (5 штук) - 60%, для зачета обязательно нужно выполнить все задания<br /> * Несколько тестов в конце второй пары - 30%<br /> * Итоговый тест (возможно, будет как домашняя работа) - 10%<br /> * Дополнительные задания на разработку (если пропустили тесты) - 20%<br /> <br /> У практических заданий есть дедлайны, каждый просроченный день после дедлайна дает -0.5 к оценке за задание, пока она не станет равна 4.<br /> <br /> === Литература ===<br /> Основная литература:<br /> * Системы баз данных. Полный курс. Г. Гарсиа-Молина, Д. Д. Ульман, Д. Уидом, 2004, Главы: 11-19 - частично устаревшее издание<br /> * Database Systems. The Complete Book, H.García-Molina, J.Ullman, J.Widom 2nd Edition, 2009, Главы 13-20 - более новое издание, но только на английском<br /> <br /> Дополнительная литература:<br /> * &quot;Architecture of a Database System&quot; J.M.Hellerstein, M.Stonebraker, J.Hamilton, 2007<br /> * https://en.wikibooks.org/wiki/Design_of_Main_Memory_Database_System<br /> * http://codecapsule.com/tag/key-value-store/</div>

Ivsavin https://wiki.cs.hse.ru/index.php?title=%D0%90%D0%B3%D1%80%D0%B5%D0%B3%D0%B0%D1%82%D0%BE%D1%80_%D0%BD%D0%BE%D0%B2%D0%BE%D1%81%D1%82%D0%B5%D0%B9_%D0%BD%D0%B0_%D0%BF%D0%BE%D0%B4%D0%BE%D0%B1%D0%B8%D0%B8_Meduza.io_(%D0%BA%D0%BE%D0%BC%D0%B0%D0%BD%D0%B4%D0%BD%D1%8B%D0%B9_%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82)&diff=20596 2016-09-21T18:12:38Z

<p>Ivsavin: /* Критерии оценки */</p> <hr /> <div>{{Карточка_командного_проекта<br /> |name=Агрегатор новостей на подобии Meduza.io<br /> |company=IPONWEB<br /> |semester=Осень 2016<br /> |course=3<br /> |number_of_students=3-4<br /> |categorize=yes<br /> }}<br /> <br /> === Что это за проект? ===<br /> Агрегатор новостных сайтов, также кластеризует новости, находя похожие темы. Также есть админка для коллективной работы над текстами новостей с привязкой к собранным темам.<br /> <br /> === Чему научатся студенты? Что самое интересное в проекте? ===<br /> * Пример разработки системы агрегации<br /> * Обработка и анализ текста<br /> * Разработка системы взаимодействия в реальном времени<br /> <br /> === Организация работы (Как студенты будут работать в команде?) ===<br /> Основные моменты взаимодействия:<br /> * Непрерывня интеграция: линтеры кода, прогон тестов, покрытие тестами, сборка пакета и выкладка на прод, работа с конфигурациями. Настройка на примере Jenkins или Phabricator. Работа с конфигурациями через Puppet (или, возможно, Docker или Vagrant)<br /> * Гибкая методология разработки: бэклог, организация спринтов, оценка сложности задач и сопоставление с фактически потраченным, демо. Технически на примере Trello, RedMine или Phabricator<br /> * В группе каждые 2 недели (спринт) переходит роль менеджера проекта, чтобы каждый мог попробовать роль пару раз и на планирование не забивали.<br /> * Взаимные код-ревью: все ревьюят всех.<br /> * Удаленная работа, встречаться нечасто (например, в конце каждого спринта), но раз в 2-3 дня обязательно синхронизовать результаты и планы в слаке/телеграмме или по почте.<br /> <br /> === Компоненты (Из каких частей состоит проект?) ===<br /> * Агрегация и работа с разными источниками.<br /> * Кластеризация новостей, склеивание по общим темам, возможно склеивание в истории с развитием.<br /> * Параллельная работа в админке (см. Описание Медузы)<br /> * Редактор новости: проверка правописания, выявление именованных сущностей и рекомендации справки о них, поиск новостей по этой же теме по мере написания материала.<br /> * Составление рекомендаций связанного контента: по тексту и корректировка по поведению пользователей<br /> <br /> Техническое описание устройства Медузы:<br /> * https://medium.com/meduza-dev/-9dbf37861e11#.tcci76sag<br /> * https://medium.com/meduza-dev/-f86a924c09a2#.uqcmksrtt<br /> * https://medium.com/meduza-how-it-works/-1a99202d27a3#.uocxelhaj<br /> <br /> Сделать агрегацию нескольких источников, нормализацию текста (и перевод в bag-of-words), затем кластеризацию новостей за последнее время для поиска схожих тем и их развитий.<br /> <br /> Админка должна отображать текущие агрегированные темы, тему, на которую составляется новость. Также через веб-сокеты должна быть реализована совместная работа над текстом. Также печатаемый текст проверяется на поиск именованых сущностей для привязки справки по ним.<br /> <br /> === Какие будут использоваться технологии? ===<br /> Язык разработки непринципиален, подойдет любой, в котором удобно работать с HTTP-запросами, взаимодействовать с СУБД и разрабатывать веб-сервер (например, Python, Ruby, JavaScript)<br /> <br /> В качестве платформы подойдут AWS или Google Cloud<br /> <br /> === Какие начальные требования? ===<br /> * Базовое понимание HTTP, опыт работы с API.<br /> * Опыт веб-разработки<br /> <br /> === Темы вводных занятий ===<br /> * Взаимодействие в команде, методология Agile<br /> * Архитектура разрабатываемого проекта<br /> * Составление бэклога и планирование спринтов<br /> <br /> === Критерии оценки ===<br /> Минимальные требования (на 4-5):<br /> *Агрегация по крайне мере 10 источников новостей на русском языке<br /> *Нормализация (составление bag of words, векторной модели новостей)<br /> *Кластеризация новостей по схожести, определение дубликатов<br /> *Веб-сайт с лентой новостей с кешированием.<br /> <br /> Требования (на 6-7):<br /> *Выделение именованных сущностей в тексте и связка с другими новостями по ним или страницами википедии.<br /> *Агрегация добавляемых аккаунтов социальных медиа: фейсбук, жж. + Несложный классификатор, похож ли пост на информационный повод (например, по длине поста, наличию именованных сущностей, слов из заданного списка, ссылок)<br /> *Админка для работы с новостями на веб-сокетах для совместных правок и работы выпускающего редактора: редактирование текста, блокировка полей для других при редактировании, сохранение истории изменений и чат/комментарии.<br /> <br /> Требования (на 8-10):<br /> *Интеграция с Яндекс.Метрикой через API - подгрузка и кеширование данных о просмотревших новость (демография, интересы, регион и тд)<br /> *Система персональной рекомендации контента на основе фич новости и данных из Метрики.<br /> *Конструктор верстки текста новости. + AMP версия.<br /> *Работа с твиттером: мониторинг трендов, отслеживание добавляемых аккаунтов, экспорт и визуализация твиттов и диалогов в новости.<br /> *Пуш-уведомления о новостях.<br /> <br /> Требования (на вероятность создать в итоге успешный сервис для СМИ):<br /> * Код соответствует современным стандартам кодирования<br /> * Актуальная документация по работе процессов сервиса<br /> * Покрытие тестами, юнит-тесты, функциональные и интеграционные тесты<br /> * Проведен UX-анализ основных интерфейсов и сценариев пользователей<br /> <br /> ''Точные требования на 6-10 будут сформулированы на первых занятиях исходя из составленного бэклога и уровня подготовки участников проекта.''<br /> <br /> === Похожие проекты ===<br /> * Яндекс.Новости, Google News - агрегация<br /> * Meduza.io - редактирование новостей<br /> <br /> === Контактная информация ===<br /> * Почта: acccko@gmail.com<br /> * Телеграмм: @acccko</div>

Ivsavin https://wiki.cs.hse.ru/index.php?title=%D0%9D%D0%B0%D0%B2%D0%B8%D0%B3%D0%B0%D1%82%D0%BE%D1%80_%D0%BC%D0%B0%D1%80%D1%88%D1%80%D1%83%D1%82%D0%BE%D0%B2_%D0%B4%D0%BB%D1%8F_%D0%BD%D0%B5%D0%BC%D0%BE%D1%82%D0%BE%D1%80%D0%BD%D0%BE%D0%B3%D0%BE_%D1%82%D1%80%D0%B0%D0%BD%D1%81%D0%BF%D0%BE%D1%80%D1%82%D0%B0_(%D0%BA%D0%BE%D0%BC%D0%B0%D0%BD%D0%B4%D0%BD%D1%8B%D0%B9_%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82)&diff=19992 2016-08-30T16:59:12Z

<p>Ivsavin: Новая страница, с помощью формы Новый_командный_проект</p> <hr /> <div>{{Карточка_командного_проекта<br /> |name=Навигатор маршрутов для немоторного транспорта<br /> |company=IPONWEB<br /> |semester=Осень 2016<br /> |course=3<br /> |number_of_students=4-5<br /> |categorize=yes<br /> }}<br /> <br /> === Что это за проект? ===<br /> Сервис на основе Яндекс.Карт, на котором оцениваются, насколько удобно ездить на транспорте с небольшими колесами (роликах, самокате, скейте). Также можно прокладывать маршруты в зависимости от выбранного транспорта.<br /> <br /> === Чему научатся студенты? Что самое интересное в проекте? ===<br /> * Работа с геоданными: хранение, выборка, обработка, привязка маршрутов<br /> * Цифровая обработка сигналов: в случае автоматизированного обновления информации о качестве дорожек нужно будет разобраться с обработкой данный, очистить их от шума, классифицировать различные выбросы.<br /> <br /> === Организация работы (Как студенты будут работать в команде?) ===<br /> Основные моменты взаимодействия:<br /> * Непрерывня интеграция: линтеры кода, прогон тестов, покрытие тестами, сборка пакета и выкладка на прод, работа с конфигурациями. Настройка на примере Jenkins или Phabricator. Работа с конфигурациями через Puppet (или, возможно, Docker или Vagrant)<br /> * Гибкая методология разработки: бэклог, организация спринтов, оценка сложности задач и сопоставление с фактически потраченным, демо. Технически на примере Trello, RedMine или Phabricator<br /> * В группе каждые 2 недели (спринт) переходит роль менеджера проекта, чтобы каждый мог попробовать роль пару раз и на планирование не забивали.<br /> * Взаимные код-ревью: все ревьюят всех.<br /> * Удаленная работа, встречаться нечасто (например, в конце каждого спринта), но раз в 2-3 дня обязательно синхронизовать результаты и планы в слаке/телеграмме или по почте.<br /> <br /> === Компоненеты (Из каких частей состоит проект?) ===<br /> * Веб-сервис с использованием API Яндекс.Карт для проложения маршрутов и отметок свойств дорожек.<br /> * Мобильный клиент для верификации и отправки данных о дорожках.<br /> * В зависимости от источников данных:<br /> * Анализ данных с виброметра на предмет оценки качества дорожки (нужно учитывать шумы, характер движения, одиночные препядствия типа бордюров)<br /> * Анализатор изображений дорог: классификация по качеству<br /> * Система проложения маршрута исходя из транспорта пользователя<br /> <br /> Вариант сбора информации (достаточно реализовать первый и какой-либо из двух других, но лучше попробовать все):<br /> * Пользователи сами отмечают участки и качество дорог (дефолтный вариант)<br /> * Можно присоединить к своему транспортному средству телефон с приложением, которое на основе виброметра, которое собирает данные, затем отправляет серверу или анализирует самостоятельно. Пользователь верифицирует данные, чтобы избежать неточности координат или характера его поездки.<br /> * Парсить Яндекс.Панорамы (или попросить датасет нижних частей фотографий) и по ним (видимо через нейросеть) определять, где начинается бордюр или является ли дорожка пешеходной, тип дорожки (брусчатка, качество асфальт).<br /> Информация на панорамах также может устаревать, поэтому лучше использовать все три варианта сбора информации.<br /> <br /> === Какие будут использоваться технологии? ===<br /> * API Яндекс.Карт<br /> * Возможно, API Панорам Яндекс.Карт<br /> * Возможно, интерфейсы доступа к датчикам смартфона (React Native, Cordova или Swift, Java)<br /> <br /> === Какие начальные требования? ===<br /> * Поможет умение анализировать функции, знание разложения функций в ряды<br /> * Желателен опыт работы с геоданными<br /> * Желателен опыт мобильной разработки<br /> <br /> === Темы вводных занятий ===<br /> * Взаимодействие в команде, методология Agile<br /> * Архитектура разрабатываемого проекта<br /> * Составление бэклога и планирование спринтов<br /> <br /> === Критерии оценки ===<br /> Минимальные требования (на 4-5):<br /> <br /> * Организована система хранения маршрутов и привязки их к API карт.<br /> * Есть веб-интерфейс, через который можно указать часть маршрута и отметить качество дорожки.<br /> * Разработан мобильный клиент для сервиса, через который можно также вносить информацию о маршрутах.<br /> <br /> Точные требования на 6-10 будут сформулированы на первых занятиях исходя из составленного бэклога и уровня подготовки участников проекта.<br /> <br /> === Похожие проекты ===<br /> * Яндекс.Пробки отчасти похож принципом действия: агрегация информации от агентов (телефонов и уличных камер) о скорости и пользователей об авариях.<br /> <br /> === Контактная информация ===<br /> * Почта: acccko@gmail.com<br /> * Телеграмм: @acccko</div>

Ivsavin https://wiki.cs.hse.ru/index.php?title=%D0%A1%D0%B5%D1%80%D0%B2%D0%B8%D1%81_%D1%83%D1%87%D0%B5%D1%82%D0%B0_%D0%B8_%D0%BA%D0%BB%D0%B0%D1%81%D1%81%D0%B8%D1%84%D0%B8%D0%BA%D0%B0%D1%86%D0%B8%D0%B8_%D0%B0%D0%BA%D1%82%D0%B8%D0%B2%D0%BD%D0%BE%D1%81%D1%82%D0%B8_(%D0%BA%D0%BE%D0%BC%D0%B0%D0%BD%D0%B4%D0%BD%D1%8B%D0%B9_%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82)&diff=19990 2016-08-30T14:02:19Z

<p>Ivsavin: Новая страница, с помощью формы Новый_командный_проект</p> <hr /> <div>{{Карточка_командного_проекта<br /> |name=Сервис учета и классификации активности<br /> |company=IPONWEB<br /> |semester=Осень 2016<br /> |course=3<br /> |number_of_students=4-5<br /> |categorize=yes<br /> }}<br /> <br /> === Что это за проект? ===<br /> Сервис, собирающий информацию об активности пользователя с различных устройств и браузера и размечающий активности как продуктивные/непродуктивные.<br /> <br /> === Чему научатся студенты? Что самое интересное в проекте? ===<br /> Наиболее интересные компоненты проекта:<br /> * Классификатор активности. Можно по словам в заголовке, можно выкачивать списки приложений (игр, ide, офисных пакетов) или даже получать информацию через их апи во время получения неизвестной активности.<br /> * Учет активности с разных устройств. Например, если человек листает учебник на планшете и делает заметки на ноутбуке, то нужно смержить эти активности как общепродуктивные. Идеально разработать хралинище паттернов поведения и учитывать активность в целом.<br /> <br /> === Организация работы (Как студенты будут работать в команде?) ===<br /> Основные моменты взаимодействия:<br /> * Непрерывня интеграция: линтеры кода, прогон тестов, покрытие тестами, сборка пакета и выкладка на прод, работа с конфигурациями. Настройка на примере Jenkins или Phabricator. Работа с конфигурациями через Puppet (или, возможно, Docker или Vagrant)<br /> * Гибкая методология разработки: бэклог, организация спринтов, оценка сложности задач и сопоставление с фактически потраченным, демо. Технически на примере Trello, RedMine или Phabricator<br /> * В группе каждые 2 недели (спринт) переходит роль менеджера проекта, чтобы каждый мог попробовать роль пару раз и на планирование не забивали.<br /> * Взаимные код-ревью: все ревьюят всех.<br /> * Удаленная работа, встречаться нечасто (например, в конце каждого спринта), но раз в 2-3 дня обязательно синхронизовать результаты и планы в слаке/телеграмме или по почте.<br /> <br /> === Компоненеты (Из каких частей состоит проект?) ===<br /> * Сервер принимающий информацию от агентов.<br /> * Графики разной статистики в веб-кабинете пользователя (можно взять за основу код grafana)<br /> * Клиенты: для десктопов (для начала можно ограничиться одной платформой Ubuntu/OSX и писать на Electron), плагины для браузера (на Greasemonkey и Tampermonkey), клиенты для мобильных устройств (можно использовать кросс-платформенные фреймворки типа Ionic)<br /> * Сервер: Язык не принципиален нужно сделать REST API, СУБД: InfluxDB и скорее всего для хранения фич разных приложений (заголовков) понадобится MongoDB.<br /> * ETL-сервисы и классификаторы активностей.<br /> <br /> <br /> Техническое описание:<br /> * Пользователь устанавливает агенты сервиса на своих устройствах, агенты отправляют на сервер данные об активностях пользователя.<br /> * Агент должен отправлять только заголовок активного окна. При этом не всегда можно отследить изменение окна без переключения программы, поэтому для браузеров может понадобиться плагин.<br /> * Агент также должен агрегировать информацию находясь в оффлайн и отправлять при появлении соединения.<br /> * Предлагается попробовать InfluxDB для хранения метрик. Также понадобится спроектировать алгоритм учета активностей, поступающих с разных устройств в одно время (недостаток всех существующих сервисов этой категории).<br /> <br /> === Какие будут использоваться технологии? ===<br /> * Фреймворки Electron, React Native - для кросс-платформенных клиентов. <br /> * Возможно, понадобится более низкоуровневое программирование под конкретные ОС: Swift, Java, C#, etc<br /> * InfluxDB в качестве основной СУБД<br /> <br /> === Какие начальные требования? ===<br /> * Опыт веб-разработки сервисов с REST API<br /> * Желателен опыт разработки приложений с взаимодействием с компонентами различных ОС.<br /> * Желателен опыт кросс-платформенной разработки приложений.<br /> <br /> === Темы вводных занятий ===<br /> * Взаимодействие в команде, методология Agile<br /> * Архитектура разрабатываемого проекта<br /> * Составление бэклога и планирование спринтов<br /> <br /> === Критерии оценки ===<br /> Минимальные требования (на 4-5 баллов):<br /> * Разработан агент под Ubuntu, собирающий активность пользователя и отправляющий ее на сервер<br /> * Разработан сервер, агрегирующий информацию об активности пользователя.<br /> * Разработан веб-сайт, через который пользователь может просматривать статистику своей активности, отмечать активность как продуктивную или нет.<br /> * Разработан классификатор активностей на основе слов, встречающихся в заголовках активных окон и отметок пользователя.<br /> <br /> Точные требования на 6-10 будут сформулированы на первых занятиях исходя из составленного бэклога и уровня подготовки участников проекта.<br /> <br /> === Похожие проекты ===<br /> * Rescuetime<br /> * Project Hamster<br /> <br /> === Контактная информация ===<br /> * Почта: acccko@gmail.com<br /> * Телеграмм: @acccko</div>

Ivsavin https://wiki.cs.hse.ru/index.php?title=%D0%90%D0%B3%D1%80%D0%B5%D0%B3%D0%B0%D1%82%D0%BE%D1%80_%D0%BD%D0%BE%D0%B2%D0%BE%D1%81%D1%82%D0%B5%D0%B9_%D0%BD%D0%B0_%D0%BF%D0%BE%D0%B4%D0%BE%D0%B1%D0%B8%D0%B8_Meduza.io_(%D0%BA%D0%BE%D0%BC%D0%B0%D0%BD%D0%B4%D0%BD%D1%8B%D0%B9_%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82)&diff=19984 2016-08-29T18:35:34Z

<p>Ivsavin: </p> <hr /> <div>{{Карточка_командного_проекта<br /> |name=Агрегатор новостей на подобии Meduza.io<br /> |company=IPONWEB<br /> |semester=Осень 2016<br /> |course=3<br /> |number_of_students=3-4<br /> |categorize=yes<br /> }}<br /> <br /> === Что это за проект? ===<br /> Агрегатор новостных сайтов, также кластеризует новости, находя похожие темы. Также есть админка для коллективной работы над текстами новостей с привязкой к собранным темам.<br /> <br /> === Чему научатся студенты? Что самое интересное в проекте? ===<br /> * Пример разработки системы агрегации<br /> * Обработка и анализ текста<br /> * Разработка системы взаимодействия в реальном времени<br /> <br /> === Организация работы (Как студенты будут работать в команде?) ===<br /> Основные моменты взаимодействия:<br /> * Непрерывня интеграция: линтеры кода, прогон тестов, покрытие тестами, сборка пакета и выкладка на прод, работа с конфигурациями. Настройка на примере Jenkins или Phabricator. Работа с конфигурациями через Puppet (или, возможно, Docker или Vagrant)<br /> * Гибкая методология разработки: бэклог, организация спринтов, оценка сложности задач и сопоставление с фактически потраченным, демо. Технически на примере Trello, RedMine или Phabricator<br /> * В группе каждые 2 недели (спринт) переходит роль менеджера проекта, чтобы каждый мог попробовать роль пару раз и на планирование не забивали.<br /> * Взаимные код-ревью: все ревьюят всех.<br /> * Удаленная работа, встречаться нечасто (например, в конце каждого спринта), но раз в 2-3 дня обязательно синхронизовать результаты и планы в слаке/телеграмме или по почте.<br /> <br /> === Компоненеты (Из каких частей состоит проект?) ===<br /> * Агрегация и работа с разными источниками.<br /> * Кластеризация новостей, склеивание по общим темам, возможно склеивание в истории с развитием.<br /> * Параллельная работа в админке (см. Описание Медузы)<br /> * Редактор новости: проверка правописания, выявление именованных сущностей и рекомендации справки о них, поиск новостей по этой же теме по мере написания материала.<br /> * Составление рекомендаций связанного контента: по тексту и корректировка по поведению пользователей<br /> <br /> Техническое описание устройства Медузы:<br /> * https://medium.com/meduza-dev/-9dbf37861e11#.tcci76sag<br /> * https://medium.com/meduza-dev/-f86a924c09a2#.uqcmksrtt<br /> * https://medium.com/meduza-how-it-works/-1a99202d27a3#.uocxelhaj<br /> <br /> Сделать агрегацию нескольких источников, нормализацию текста (и перевод в bag-of-words), затем кластеризацию новостей за последнее время для поиска схожих тем и их развитий.<br /> <br /> Админка должна отображать текущие агрегированные темы, тему, на которую составляется новость. Также через веб-сокеты должна быть реализована совместная работа над текстом. Также печатаемый текст проверяется на поиск именованых сущностей для привязки справки по ним.<br /> <br /> === Какие будут использоваться технологии? ===<br /> Язык разработки непринципиален, подойдет любой, в котором удобно работать с HTTP-запросами, взаимодействовать с СУБД и разрабатывать веб-сервер (например, Python, Ruby, JavaScript)<br /> <br /> В качестве платформы подойдут AWS или Google Cloud<br /> <br /> === Какие начальные требования? ===<br /> * Базовое понимание HTTP, опыт работы с API.<br /> * Опыт веб-разработки<br /> <br /> === Темы вводных занятий ===<br /> * Взаимодействие в команде, методология Agile<br /> * Архитектура разрабатываемого проекта<br /> * Составление бэклога и планирование спринтов<br /> <br /> === Критерии оценки ===<br /> Минимальные требования (на 4-5):<br /> * Агрегация по крайне мере 10 источников новостей на русском языке<br /> * Нормализация (составление bag of words, векторной модели новостей)<br /> * Кластеризация новостей по схожести, определение дубликатов<br /> <br /> Точные требования на 6-10 будут сформулированы на первых занятиях исходя из составленного бэклога и уровня подготовки участников проекта.<br /> <br /> === Похожие проекты ===<br /> * Яндекс.Новости, Google News - агрегация<br /> * Meduza.io - редактирование новостей<br /> <br /> === Контактная информация ===<br /> * Почта: acccko@gmail.com<br /> * Телеграмм: @acccko</div>

Ivsavin https://wiki.cs.hse.ru/index.php?title=%D0%90%D0%B3%D1%80%D0%B5%D0%B3%D0%B0%D1%82%D0%BE%D1%80_%D0%BD%D0%BE%D0%B2%D0%BE%D1%81%D1%82%D0%B5%D0%B9_%D0%BD%D0%B0_%D0%BF%D0%BE%D0%B4%D0%BE%D0%B1%D0%B8%D0%B8_Meduza.io_(%D0%BA%D0%BE%D0%BC%D0%B0%D0%BD%D0%B4%D0%BD%D1%8B%D0%B9_%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82)&diff=19983 2016-08-29T18:34:43Z

<p>Ivsavin: /* Компоненеты (Из каких частей состоит проект?) */</p> <hr /> <div>{{Карточка_командного_проекта<br /> |name=Агрегатор новостей на подобии Meduza.io<br /> |company=IPONWEB<br /> |semester=Осень 2016<br /> |course=3<br /> |number_of_students=3-4<br /> |categorize=yes<br /> }}<br /> <br /> === Что это за проект? ===<br /> Агрегатор новостных сайтов, также кластеризует новости, находя похожие темы. Также есть админка для коллективной работы над текстами новостей с привязкой к собраным темам.<br /> <br /> === Чему научатся студенты? Что самое интересное в проекте? ===<br /> * Пример разработки системы агрегации<br /> * Обработка и анализ текста<br /> * Разработка системы взаимодействия в реальном времени<br /> <br /> === Организация работы (Как студенты будут работать в команде?) ===<br /> Основные моменты взаимодействия:<br /> * Непрерывня интеграция: линтеры кода, прогон тестов, покрытие тестами, сборка пакета и выкладка на прод, работа с конфигурациями. Настройка на примере Jenkins или Phabricator. Работа с конфигурациями через Puppet (или, возможно, Docker или Vagrant)<br /> * Гибкая методология разработки: бэклог, организация спринтов, оценка сложности задач и сопоставление с фактически потраченным, демо. Технически на примере Trello, RedMine или Phabricator<br /> * В группе каждые 2 недели (спринт) переходит роль менеджера проекта, чтобы каждый мог попробовать роль пару раз и на планирование не забивали.<br /> * Взаимные код-ревью: все ревьюят всех.<br /> * Удаленная работа, встречаться нечасто (например, в конце каждого спринта), но раз в 2-3 дня обязательно синхронизовать результаты и планы в слаке/телеграмме или по почте.<br /> <br /> === Компоненеты (Из каких частей состоит проект?) ===<br /> * Агрегация и работа с разными источниками.<br /> * Кластеризация новостей, склеивание по общим темам, возможно склеивание в истории с равзитием.<br /> * Параллельная работа в админке (см. Описание Медузы)<br /> * Редактор новости: проверка правописания, выявление именованных сущностей и рекомендации справки о них, поиск новостей по этой же теме по мере написания материала.<br /> * Составление рекомендаций связанного контента: по тексту и корректировка по поведению пользователей<br /> <br /> Техническое описание устройства Медузы:<br /> * https://medium.com/meduza-dev/-9dbf37861e11#.tcci76sag<br /> * https://medium.com/meduza-dev/-f86a924c09a2#.uqcmksrtt<br /> * https://medium.com/meduza-how-it-works/-1a99202d27a3#.uocxelhaj<br /> <br /> Сделать агрегацию нескольких источников, нормализацию текста (и перевод в bag-of-words), затем кластеризацию новостей за последнее время для поиска схожих тем и их развитий.<br /> <br /> Админка должна отображать текущие агрегированные темы, тему, на которую составляется новость. Также через веб-сокеты должна быть реализована совместная работа над текстом. Также печатаемый текст проверяется на поиск именованых сущностей для привязки справки по ним.<br /> <br /> === Какие будут использоваться технологии? ===<br /> Язык разработки непринципиален, подойдет любой, в котором удобно работать с HTTP-запросами, взаимодействовать с СУБД и разрабатывать веб-сервер (например, Python, Ruby, JavaScript)<br /> <br /> В качестве платформы подойдут AWS или Google Cloud<br /> <br /> === Какие начальные требования? ===<br /> * Базовое понимание HTTP, опыт работы с API.<br /> * Опыт веб-разработки<br /> <br /> === Темы вводных занятий ===<br /> * Взаимодействие в команде, методология Agile<br /> * Архитектура разрабатываемого проекта<br /> * Составление бэклога и планирование спринтов<br /> <br /> === Критерии оценки ===<br /> Минимальные требования (на 4-5):<br /> * Агрегация по крайне мере 10 источников новостей на русском языке<br /> * Нормализация (составление bag of words, векторной модели новостей)<br /> * Кластеризация новостей по схожести, определение дубликатов<br /> <br /> Точные требования на 6-10 будут сформулированы на первых занятиях исходя из составленного бэклога и уровня подготовки участников проекта.<br /> <br /> === Похожие проекты ===<br /> * Яндекс.Новости, Google News - агрегация<br /> * Meduza.io - редактирование новостей<br /> <br /> === Контактная информация ===<br /> * Почта: acccko@gmail.com<br /> * Телеграмм: @acccko</div>

Ivsavin