Wiki - Факультет компьютерных наук - Вклад [ru]

Введение в MLOPS (ИИ24, 5 модуль)

2025-10-01T19:00:04Z

Saprokhorov 1:

= Введение в MLOps (ИИ24, 5 модуль)=

== Аннотация==
Курс посвящён практическим инструментам и подходам MLOps, которые позволяют автоматизировать процесс обучения и эксплуатации моделей машинного обучения.
Студенты знакомятся с Docker, Airflow и MLflow, учатся строить пайплайны, логировать эксперименты и организовывать сервинг моделей. Практическая часть реализуется на Python.

== Цели==
* Развернуть окружение для MLOps с помощью Docker и docker-compose.
* Понимать архитектуру Airflow и MLflow.
* Строить DAG’и и использовать XCom для передачи данных.
* Работать с MLflow для логирования экспериментов и организации Model Registry.
* Разворачивать MLflow Tracking Server с внешними хранилищами (S3).
* Использовать MLflow Model Serving для развёртывания моделей.
* Реализовать end-to-end пайплайн: обучение моделей в Airflow + логирование в MLflow.

==Структура курса==

===Вебинар 1. Введение и установка окружения.===
* Обзор Архитектуры Airflow&MLFlow
* Docker и docker-compose. Установка Jupyter, Airflow, MLflow. Подключение S3.

===Вебинар 2. Airflow для ML-пайплайнов===
* Архитектура Airflow (scheduler, worker, executor, база данных)
* DAG: структура, параметры, расписание
* Connections, Variables, Hooks
* XCom и передача данных между задачами
* Примеры DAG для ML

===Вебинар 3. MLflow: эксперименты и хранилище моделей===
* Архитектура MLflow Tracking Server
* Логирование экспериментов в Jupyter и Airflow
* MLflow Projects и Models
* Model Registry

===Вебинар 4. MLflow Model Serving и финальный проект===
* Развёртывание моделей через MLflow Model Serving
* Пример: интеграция через Flask/FastAPI
* DockerOperator
* Финальный проект и разбор требований

== Система оценивания==
* Домашнее задание 1 (Airflow) — 20%
* Домашнее задание 2 (MLflow + Serving) — 20%
* Финальный проект (Airflow + MLflow) — 60%

Формула:
Итог = ДЗ1 × 0.2 + ДЗ2 × 0.2 + Проект × 0.6

===Домашнее задание 1 Airflow===

Цель: познакомиться с Airflow и научиться строить DAG для автоматизации ML-задачи.

Требования к функционалу:

1. Написать DAG, который реализует простой pipeline:
* инициализация (логирование старта работы);
* загрузка датасета из интернета (например, Titanic / Iris / Wine);
* предобработка данных (train/test split, нормализация или one-hot encoding);
* обучение простой модели (LogisticRegression или RandomForest);
* вычисление и сохранение метрик.

2. Использовать **XCom** для передачи данных между шагами.

3. Добавить расписание DAG (каждый вторник в 6 утра).

Что сдаём
* Код DAG’а: `dags/*.py`.

=== Домашнее задание 2. MLflow: эксперименты и логирование моделей ===

Цель: освоить возможности MLflow — логирование экспериментов, nested runs и хранение моделей.

Требования к функционалу:

1. Создать новый эксперимент в MLflow со своим ФИО.
2. Обучить ≥ 3 моделей на одном датасете (классический мл, легковесные сетки).
3. Для эксперимента использовать **nested runs**:
* общий **parent run** (для всего эксперимента);
* отдельные **child runs** для каждой модели.
4. Для каждой child-модели:
* залогировать метрики (accuracy / ROC-AUC и др.);
* залогировать артефакты (файл модели, preprocessing-пайплайн).
5. Зарегистрировать хотя бы одну модель в **MLflow Model Registry**.

Что сдаём
* Код обучения моделей с логированием в MLflow (с nested runs).

Подсказки и соглашения
(tbc)

===Домашнее задание 3 (Финальный проект). End-to-End MLOps c MLflow → Docker → Serving===

Цель: собрать полноценный конвейер: обучение моделей в Airflow → логирование в MLflow → выбор лучшей версии → сборка Docker-образа → сервинг

Требования к функционалу:

1. Обучение и логирование
* DAG в Airflow обучает ≥2 моделей на одном датасете (можно классический ML, легковесные сетки).
* Логирование метрик, артефактов и самих моделей в MLflow Tracking.
* Регистрация модели в MLflow Model Registry под именем `NAME_SURNAME_MODELTYPE`.

2. Выбор лучшей модели
* Автоматический выбор по метрике (например, ROC-AUC/F1/MAPE).
* Перевод версии в `Staging` или `Production` (правила — на ваше усмотрение).

3. Сборка и публикация Docker-образа
* Сборка PyFunc-сервиса с помощью mlflow.
* Публикация образа в registry.

4. Сервинг
* docker run...
* Проверка через `POST`:
* JSON-ответ согласно формату MLflow PyFunc (`{"inputs": [[...], [...]]}` или DataFrame-подобный формат).

Что сдаём
* Код DAG’а: `dags/*.py`.

Критерии оценивания (60% итоговой оценки курса)
* Точность и воспроизводимость (10%)— читаемый понятный код, запускаемый без дебага, выполняющий все шаги из задания.
* Airflow (20%) — чистая DAG-логика, XCom/Variables/Connections, понятные таски.
* MLflow (20%) — корректное логирование, Registry, промоушен версий.
* Сборка/сервинг (10%) — рабочий образ, публикация в реестр, успешный REST.

Обязательные требования к неймингу Airflow Variables (будут дополнены позже):
* `MLFLOW_TRACKING_URI`, `MODEL_NAME`, `MODEL_STAGE` (Staging/Production),
* `REGISTRY`, `IMAGE_NAME`, `TAG`,
* `CI_REGISTRY_USER`, `CI_REGISTRY_PASSWORD`
Метрики и данные — на ваш выбор.

==Литература==
* Noah Gift, Alfredo Deza — Practical MLOps. O’Reilly, 2021.
* А. В. Платонов — Машинное обучение. Юрайт, 2023.
* Б. Харенслак — Apache Airflow и конвейеры обработки данных. ДМК Пресс, 2022.

Введение в MLOPS (ИИ24, 5 модуль)

2025-09-09T15:28:39Z

Saprokhorov 1:

= Введение в MLOps (ИИ24, 5 модуль)=

== Аннотация==
Курс посвящён практическим инструментам и подходам MLOps, которые позволяют автоматизировать процесс обучения и эксплуатации моделей машинного обучения.
Студенты знакомятся с Docker, Airflow и MLflow, учатся строить пайплайны, логировать эксперименты и организовывать сервинг моделей. Практическая часть реализуется на Python.

== Цели==
* Развернуть окружение для MLOps с помощью Docker и docker-compose.
* Понимать архитектуру Airflow и MLflow.
* Строить DAG’и и использовать XCom для передачи данных.
* Работать с MLflow для логирования экспериментов и организации Model Registry.
* Разворачивать MLflow Tracking Server с внешними хранилищами (S3).
* Использовать MLflow Model Serving для развёртывания моделей.
* Реализовать end-to-end пайплайн: обучение моделей в Airflow + логирование в MLflow.

==Структура курса==

===Вебинар 1. Введение и установка окружения.===
* Обзор Архитектуры Airflow&MLFlow
* Docker и docker-compose. Установка Jupyter, Airflow, MLflow. Подключение S3.

===Вебинар 2. Airflow для ML-пайплайнов===
* Архитектура Airflow (scheduler, worker, executor, база данных)
* DAG: структура, параметры, расписание
* Connections, Variables, Hooks
* XCom и передача данных между задачами
* Примеры DAG для ML

===Вебинар 3. MLflow: эксперименты и хранилище моделей===
* Архитектура MLflow Tracking Server
* Логирование экспериментов в Jupyter и Airflow
* MLflow Projects и Models
* Model Registry

===Вебинар 4. MLflow Model Serving и финальный проект===
* Развёртывание моделей через MLflow Model Serving
* Пример: HuggingFace модель, интеграция через Flask/FastAPI
* DockerOperator
* Финальный проект и разбор требований

== Система оценивания==
* Домашнее задание 1 (Airflow) — 20%
* Домашнее задание 2 (MLflow + Serving) — 20%
* Финальный проект (Airflow + MLflow) — 60%

Формула:
Итог = ДЗ1 × 0.2 + ДЗ2 × 0.2 + Проект × 0.6

===Домашнее задание 1 Airflow===

Цель: познакомиться с Airflow и научиться строить DAG для автоматизации ML-задачи.

Требования к функционалу:

1. Написать DAG, который реализует простой pipeline:
* инициализация (логирование старта работы);
* загрузка датасета из интернета (например, Titanic / Iris / Wine);
* предобработка данных (train/test split, нормализация или one-hot encoding);
* обучение простой модели (LogisticRegression или RandomForest);
* вычисление и сохранение метрик.

2. Использовать **XCom** для передачи данных между шагами.

3. Добавить расписание DAG (каждый вторник в 6 утра).

Что сдаём
* Код DAG’а: `dags/*.py`.

=== Домашнее задание 2. MLflow: эксперименты и логирование моделей ===

Цель: освоить возможности MLflow — логирование экспериментов, nested runs и хранение моделей.

Требования к функционалу:

1. Создать новый эксперимент в MLflow со своим ФИО.
2. Обучить ≥ 3 моделей на одном датасете (классический мл, легковесные сетки).
3. Для эксперимента использовать **nested runs**:
* общий **parent run** (для всего эксперимента);
* отдельные **child runs** для каждой модели.
4. Для каждой child-модели:
* залогировать метрики (accuracy / ROC-AUC и др.);
* залогировать артефакты (файл модели, preprocessing-пайплайн).
5. Зарегистрировать хотя бы одну модель в **MLflow Model Registry**.

Что сдаём
* Код обучения моделей с логированием в MLflow (с nested runs).

Подсказки и соглашения
(tbc)

===Домашнее задание 3 (Финальный проект). End-to-End MLOps c MLflow → Docker → Serving===

Цель: собрать полноценный конвейер: обучение моделей в Airflow → логирование в MLflow → выбор лучшей версии → сборка Docker-образа → сервинг

Требования к функционалу:

1. Обучение и логирование
* DAG в Airflow обучает ≥2 моделей на одном датасете (можно классический ML, легковесные сетки).
* Логирование метрик, артефактов и самих моделей в MLflow Tracking.
* Регистрация модели в MLflow Model Registry под именем `NAME_SURNAME_MODELTYPE`.

2. Выбор лучшей модели
* Автоматический выбор по метрике (например, ROC-AUC/F1/MAPE).
* Перевод версии в `Staging` или `Production` (правила — на ваше усмотрение).

3. Сборка и публикация Docker-образа
* Сборка PyFunc-сервиса с помощью mlflow.
* Публикация образа в registry.

4. Сервинг
* docker run...
* Проверка через `POST`:
* JSON-ответ согласно формату MLflow PyFunc (`{"inputs": [[...], [...]]}` или DataFrame-подобный формат).

Что сдаём
* Код DAG’а: `dags/*.py`.

Критерии оценивания (60% итоговой оценки курса)
* Точность и воспроизводимость (10%)— читаемый понятный код, запускаемый без дебага, выполняющий все шаги из задания.
* Airflow (20%) — чистая DAG-логика, XCom/Variables/Connections, понятные таски.
* MLflow (20%) — корректное логирование, Registry, промоушен версий.
* Сборка/сервинг (10%) — рабочий образ, публикация в реестр, успешный REST.

Обязательные требования к неймингу Airflow Variables (будут дополнены позже):
* `MLFLOW_TRACKING_URI`, `MODEL_NAME`, `MODEL_STAGE` (Staging/Production),
* `REGISTRY`, `IMAGE_NAME`, `TAG`,
* `CI_REGISTRY_USER`, `CI_REGISTRY_PASSWORD`
Метрики и данные — на ваш выбор.

==Литература==
* Noah Gift, Alfredo Deza — Practical MLOps. O’Reilly, 2021.
* А. В. Платонов — Машинное обучение. Юрайт, 2023.
* Б. Харенслак — Apache Airflow и конвейеры обработки данных. ДМК Пресс, 2022.

Введение в MLOPS (ИИ24, 5 модуль)

2025-09-09T15:19:41Z

Saprokhorov 1: дз3

= Введение в MLOps (ИИ24, 5 модуль)=

== Аннотация==
Курс посвящён практическим инструментам и подходам MLOps, которые позволяют автоматизировать процесс обучения и эксплуатации моделей машинного обучения.
Студенты знакомятся с Docker, Airflow и MLflow, учатся строить пайплайны, логировать эксперименты и организовывать сервинг моделей. Практическая часть реализуется на Python.

== Цели==
* Развернуть окружение для MLOps с помощью Docker и docker-compose.
* Понимать архитектуру Airflow и MLflow.
* Строить DAG’и и использовать XCom для передачи данных.
* Работать с MLflow для логирования экспериментов и организации Model Registry.
* Разворачивать MLflow Tracking Server с внешними хранилищами (S3).
* Использовать MLflow Model Serving для развёртывания моделей.
* Реализовать end-to-end пайплайн: обучение моделей в Airflow + логирование в MLflow.

==Структура курса==

===Вебинар 1. Введение и установка окружения.===
* Обзор Архитектуры Airflow&MLFlow
* Docker и docker-compose. Установка Jupyter, Airflow, MLflow. Подключение S3.

===Вебинар 2. Airflow для ML-пайплайнов===
* Архитектура Airflow (scheduler, worker, executor, база данных)
* DAG: структура, параметры, расписание
* Connections, Variables, Hooks
* XCom и передача данных между задачами
* Примеры DAG для ML

===Вебинар 3. MLflow: эксперименты и хранилище моделей===
* Архитектура MLflow Tracking Server
* Логирование экспериментов в Jupyter и Airflow
* MLflow Projects и Models
* Model Registry

===Вебинар 4. MLflow Model Serving и финальный проект===
* Развёртывание моделей через MLflow Model Serving
* Пример: HuggingFace модель, интеграция через Flask/FastAPI
* DockerOperator
* Финальный проект и разбор требований

== Система оценивания==
* Домашнее задание 1 (Airflow) — 20%
* Домашнее задание 2 (MLflow + Serving) — 20%
* Финальный проект (Airflow + MLflow) — 60%

Формула:
Итог = ДЗ1 × 0.2 + ДЗ2 × 0.2 + Проект × 0.6

===Домашнее задание 3 (Финальный проект). End-to-End MLOps c MLflow → Docker → Serving===

Цель: собрать полноценный конвейер: обучение моделей в Airflow → логирование в MLflow → выбор лучшей версии → сборка Docker-образа → сервинг

Требования к функционалу:

1. Обучение и логирование
* DAG в Airflow обучает ≥2 моделей на одном датасете (можно классический ML, легковесные сетки).
* Логирование метрик, артефактов и самих моделей в MLflow Tracking.
* Регистрация модели в MLflow Model Registry под именем `NAME_SURNAME_MODELTYPE`.

2. Выбор лучшей модели
* Автоматический выбор по метрике (например, ROC-AUC/F1/MAPE).
* Перевод версии в `Staging` или `Production` (правила — на ваше усмотрение).

3. Сборка и публикация Docker-образа
* Сборка PyFunc-сервиса с помощью mlflow.
* Публикация образа в registry.

4. Сервинг
* docker run...
* Проверка через `POST`:
* JSON-ответ согласно формату MLflow PyFunc (`{"inputs": [[...], [...]]}` или DataFrame-подобный формат).

Что сдаём
* Код DAG’а: `dags/*.py`.

Критерии оценивания (60% итоговой оценки курса)
* Точность и воспроизводимость (10%)— читаемый понятный код, запускаемый без дебага, выполняющий все шаги из задания.
* Airflow (20%) — чистая DAG-логика, XCom/Variables/Connections, понятные таски.
* MLflow (20%) — корректное логирование, Registry, промоушен версий.
* Сборка/сервинг (10%) — рабочий образ, публикация в реестр, успешный REST.

Обязательные требования к неймингу Airflow Variables (будут дополнены позже):
* `MLFLOW_TRACKING_URI`, `MODEL_NAME`, `MODEL_STAGE` (Staging/Production),
* `REGISTRY`, `IMAGE_NAME`, `TAG`,
* `CI_REGISTRY_USER`, `CI_REGISTRY_PASSWORD`
Метрики и данные — на ваш выбор.

==Литература==
* Noah Gift, Alfredo Deza — Practical MLOps. O’Reilly, 2021.
* А. В. Платонов — Машинное обучение. Юрайт, 2023.
* Б. Харенслак — Apache Airflow и конвейеры обработки данных. ДМК Пресс, 2022.

Введение в MLOPS (ИИ24, 5 модуль)

2025-09-09T14:47:08Z

Saprokhorov 1: Программа курса

Автоматическая обработка текста 24/25 (МОВС23)

2025-06-20T19:28:10Z

Saprokhorov 1: small impro

==О курсе==

NLP — это область искусственного интеллекта, направленная на решение задач, связанных с обработкой человеческого языка, таких как извлечение информации, машинный перевод, автоматическое суммирование и диалоговые системы. За последние годы мы увидели значительный прогресс благодаря статистическому и глубокому обучению. Демонстрация возможностей современных диалоговых систем по типу ChatGPT от OpenAI позволила нам переосмыслить перспективы NLP в повседневной жизни, что привлекло к области внимание как со стороны исследователей и инженеров, так и институциональных инвесторов, готовых финансировать бурный рост отрасли.

Данный курс ставит перед собой следующие цели:
* познакомить слушателя с ключевыми направлениями современного развития области, сформировать понимание запросов, с которыми сталкиваются инженеры и исследователи в повседневной работе.

* развить понимание фундаментальных концепций, необходимых для самостоятельного решения задач как прикладного, так и исследовательского характера.

* познакомить слушателя с инструментами, необходимыми для решения прикладных задач.

Курс основан на материалах [https://github.com/yandexdataschool/nlp_course/tree/2023 Школы Анализа Данных Яндекса (ШАД)], [https://web.stanford.edu/class/cs224n/ CS224n by Stanford], а также личном опыте автора. Курс приоритезирует понимание слушателями пространства существующих на сегодня в отрасли задач и умение их решать над полнотой освещения исторически важных, однако на текущий день устаревших концепций

Занятия проводятся в [https://us06web.zoom.us/j/85123736103?pwd=TbFnaDOVRPyqcVof2vlGbpeub1kDw5.1 Zoom] '''по четвергам в 19:40'''

==Контакты==

Чат курса в TG: [https://t.me/+7ayE2oKTNPg3M2M6 chat link]

Преподаватель: Хажгериев Мурат Анзорович ([https://t.me/greedisneutral @greedisneutral])

{| class="wikitable"
|-
! Ассистент !! Контакты
|-
| style="background:#eaecf0;" | Соня-Аня Никифорова || [https://t.me/sonya_leaf @sonya_leaf]
|-
| style="background:#eaecf0;" | Стас Ивашков || [https://t.me/ps1va @ps1va]
|-
| style="background:#eaecf0;" | Маша Харченко || [https://t.me/mister_autocrat @mister_autocrat]
|-
| style="background:#eaecf0;" | Савелий Прохоров || [https://t.me/Savely_Prokhorov @Savely_Prokhorov]
|}

==Материалы курса==
Ссылка на плейлист курса на YouTube: [https://www.youtube.com/playlist?list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4 YouTube-playlist]

Ссылка на плейлист в VK: [https://vk.com/video/playlist/-227011779_15 VK Видео]

Ссылка на GitHub с материалами курса: [https://github.com/greedisneutral/NLP-course GitHub repository]

{| class="wikitable"
|-
! Занятие !! Тема !! Дата !! Материалы для самоподготовки к семинарам !! Дополнительные материалы
|-
| style="background:#eaecf0;" | '''1''' [[https://www.youtube.com/watch?v=QSLSIiQ6Mcs&list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4&index=2&pp=iAQB Запись, YouTube]] || [[https://github.com/greedisneutral/NLP-course/blob/master/1.Embeddings/Word_Embeddings.pdf Слайды], [https://github.com/greedisneutral/NLP-course/blob/master/1.Embeddings/NLP_seminar_week_1.ipynb Тетрадка]] Карта задач и методов NLP, эмбеддинги слов (word embeddings) || 06.11.24 (Ср.) || ||
|-
| style="background:#eaecf0;" | '''2''' [[https://www.youtube.com/watch?v=QjmqbOe84vY&list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4&index=1&pp=iAQB Запись, YouTube]] || [[https://github.com/greedisneutral/NLP-course/blob/master/2.Classification/Classification.pdf Слайды], [https://github.com/greedisneutral/NLP-course/blob/master/2.Classification/NLP_seminar_week_2.ipynb Тетрадка]] Классификация текста || 14.11.24 (Чт.) || ||
|-
| style="background:#eaecf0;" | '''3''' [[https://www.youtube.com/watch?v=q9EUpCF97VI&list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4&index=3&pp=iAQB Запись]] || [[https://github.com/greedisneutral/NLP-course/blob/master/3.Seq2seq/seq2seq_attention.pdf Слайды], [https://github.com/greedisneutral/NLP-course/blob/master/3.Seq2seq/NLP_seminar_week_3.ipynb Тетрадка], [https://github.com/greedisneutral/NLP-course/blob/master/3.Seq2seq/seq2seq_attention_whiteboard.pdf Доска]] Seq2seq, Трансформер и механим внимания || 21.11.24 (Чт.) || || [https://colah.github.io/posts/2015-08-Understanding-LSTMs/ Ссылка] на качественное объяснение того, как работает LSTM (да и RNN вообще)
|-
| style="background:#eaecf0;" | '''4''' [[https://www.youtube.com/watch?v=RFdDgHDiKMs&list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4&index=4&pp=iAQB Запись]] || [[https://github.com/greedisneutral/NLP-course/blob/master/4.Transformers/Transformers.pdf Слайды], [https://github.com/greedisneutral/NLP-course/blob/master/4.Transformers/HSE_NLP_seminar_4.ipynb Ноутбук]] Transfer learning: BERT, ELMO, GPT || 28.11.24 (Чт.) ||
Замечательный [https://jalammar.github.io/illustrated-transformer/ разбор] архитектуры от Джея Аламмара

Прекрасный [https://lena-voita.github.io/nlp_course/seq2seq_and_attention.html разбор] от Лены Войты в рамках NLP Course | For You

Уже ставшая бородатой [https://arxiv.org/abs/1706.03762 оригинальная статья] Attention is all you need
||
|-
| style="background:#eaecf0;" | '''5''' [[https://www.youtube.com/watch?v=Mi21czVUyCo&list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4&index=5&pp=iAQB Запись]] || [[https://github.com/greedisneutral/NLP-course/blob/master/5.Pretrain_finetune/Pretrain_finetune_slides.pdf Слайды], [https://github.com/greedisneutral/NLP-course/blob/master/5.Pretrain_finetune/Pretrain_finetune_whiteboard.pdf Доска]] Обучение Больших языковых моделей (Large Language Models): Обучение с нуля vs Тонкая настройка (finetuning) || 12.12.24 (Чт.) || ||
|-
| style="background:#eaecf0;" | '''6''' [[https://www.youtube.com/watch?v=C5HRjlQLMBM&list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4&index=6&pp=iAQB Запись]] || [[https://github.com/greedisneutral/NLP-course/blob/master/6.RLHF/RLHF_slides.pdf Слайды], [https://github.com/greedisneutral/NLP-course/blob/master/6.RLHF/RLHF_whiteboard.pdf Доска]] Reinforcement Learning From Human Feedback (RLHF), Direct Preference Optimization (DPO) || 14.12.24 (Сб.) || ||
|-
| style="background:#eaecf0;" | '''7''' [[https://www.youtube.com/watch?v=LT_pJ56tVso&list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4&index=7&pp=iAQB Запись]] || [[https://github.com/greedisneutral/NLP-course/blob/master/7.Efficiency/Efficiency_slides.pdf Слайды]] Практические подходы для эффективного обучения и развертывания LLM || 16.12.24 (Пн.) || [https://github.com/mryab/efficient-dl-systems Хороший курс] по взрослой работе с моделями ||
|-
| style="background:#eaecf0;" | '''8''' [[https://github.com/greedisneutral/NLP-course/blob/master/8.RAG_Tools/NLP%20system%20showcase_whiteboard.pdf Запись]] || [[https://github.com/greedisneutral/NLP-course/blob/master/8.RAG_Tools/RAG_Tools_slides.pdf Доска], [https://github.com/greedisneutral/NLP-course/blob/master/8.RAG_Tools/NLP%20system%20showcase_whiteboard.pdf Ноутбук]] Retrieval-Augmented Generation (RAG), Tools, LLM-based System Overview || 19.12.24 (Чт.) ||
RAG and Tooling Frameworks: https://www.llamaindex.ai/framework, https://www.langchain.com/, https://huggingface.co/docs/transformers/en/agents

Graph RAG-specific Repos: https://github.com/HKUDS/LightRAG, https://github.com/microsoft/graphrag
||
Faiss (vectorDB): https://github.com/facebookresearch/faiss, https://github.com/facebookresearch/faiss/wiki/Guidelines-to-choose-an-index

GraphDB (turn-on your VPN): https://neo4j.com/docs/getting-started/graph-database/
|}

=== Записи консультаций ===

==Формула оценивания==

=== При участии в устном экзамене ===

Оценка = 0.3*ОУстный экзамен + 0.7*ОДЗ

=== При отказе от устного экзамене ===

Оценка = 1.0*ОДЗ

== Домашние задания ==

'''После выдачи домашнего задания студентам предоставляется 2 (две) недели на выполнение'''.

'''Каждый день просрочки штрафуется 1 баллом от максимальной оценки за соответствующее задание.'''

=== Main Track ===
# Обучение эмбеддингов с помощью библиотеки fasttext, реализация реального движка поиска эмбеддинга-ответа по запросу в векторной БД - Выдана 21.11.24, '''Дедлайн - 23:59 (МСК), 01.12.24 (Вс.)''', [https://github.com/greedisneutral/NLP-course/blob/master/2.Classification/NLP_hw_week_2.ipynb Ноутбук] - Весит 30% от итога (если выбираете идти на экзамен) и 40% при перевзвешивании в случае отказа от экзамена
# Тонкая настройка (fine-tuning) BERT на собственных данных // Имплементация GPT 2 - Выдана 03.12.24, '''Дедлайн - 23:59 (МСК), 15.12.24 (Вс.)''', [https://github.com/greedisneutral/NLP-course/blob/master/4.Transformers/HSE_NLP_HW_BERT.ipynb Ноутбук (BERT)], [https://github.com/greedisneutral/NLP-course/blob/master/4.Transformers/HSE_NLP_HW_GPT.ipynb Ноутбук (GPT)] - Весит 20% от итога (если выбираете идти на экзамен) и 30% при перевзвешивании в случае отказа от экзамена
# Тонкая настройка LLM (LLAMA 3 8b) с помощью PEFT - Выдана 12.12.24, '''Дедлайн - 23:59 (МСК), 22.12.2024 (Вс.)''', [https://github.com/greedisneutral/NLP-course/blob/master/5.Pretrain_finetune/NLP_seminar_finetuning_raw.ipynb Ноутбук] - Весит 20% от итога (если выбираете идти на экзамен) и 30% при перевзвешивании в случае отказа от экзамена

=== Optional Track ===
'''Мягкий дедлайн - 27.12.24 (Пт.)''', ''жёсткий - 30.12.24 (Пн.)''

* Тонкая настройка собственной модели с использованием библиотеки TRL - Выдана 14.12.24, [https://github.com/greedisneutral/NLP-course/blob/master/6.RLHF/HSE_NLP_HW_4_optional.ipynb Ноутбук] - Весит 15% от итога
* Реализация Round-to-Nearest (RTN), Generalized Post-Training Quantization (GPTQ) - Выдано 16.12.24, [https://github.com/greedisneutral/NLP-course/blob/master/7.Efficiency/HSE_NLP_HW_5_optional.ipynb.ipynb Ноутбук] - Весит 15% от итога

== Устный экзамен ==

Программой курса предусмотрен устный экзамен, в рамках которого студентам будет предложено тянуть случайный билет с вопросом по пройденному материалу.

== Автоматы ==
На курсе предусмотрены автоматы:
Если оценка студента за блок “домашние задания” ≥ 4 и устраивает студента, ее можно зачесть в виде автомата.

== Литература ==
Статьи, упомянутые в лекциях

Автоматическая обработка текста 24/25 (МОВС23)

2024-12-21T01:29:48Z

Saprokhorov 1: add deadlines for optional track and weights for hw1-3 if no exam

==О курсе==

NLP — это область искусственного интеллекта, направленная на решение задач, связанных с обработкой человеческого языка, таких как извлечение информации, машинный перевод, автоматическое суммирование и диалоговые системы. За последние годы мы увидели значительный прогресс благодаря статистическому и глубокому обучению. Демонстрация возможностей современных диалоговых систем по типу ChatGPT от OpenAI позволила нам переосмыслить перспективы NLP в повседневной жизни, что привлекло к области внимание как со стороны исследователей и инженеров, так и институциональных инвесторов, готовых финансировать бурный рост отрасли.

Данный курс ставит перед собой следующие цели:
* познакомить слушателя с ключевыми направлениями современного развития области, сформировать понимание запросов, с которыми сталкиваются инженеры и исследователи в повседневной работе.

* развить понимание фундаментальных концепций, необходимых для самостоятельного решения задач как прикладного, так и исследовательского характера.

* познакомить слушателя с инструментами, необходимыми для решения прикладных задач.

Курс основан на материалах [https://github.com/yandexdataschool/nlp_course/tree/2023 Школы Анализа Данных Яндекса (ШАД)], [https://web.stanford.edu/class/cs224n/ CS224n by Stanford], а также личном опыте автора. Курс приоритезирует понимание слушателями пространства существующих на сегодня в отрасли задач и умение их решать над полнотой освещения исторически важных, однако на текущий день устаревших концепций

Занятия проводятся в [https://us06web.zoom.us/j/85123736103?pwd=TbFnaDOVRPyqcVof2vlGbpeub1kDw5.1 Zoom] '''по четвергам в 19:40'''

==Контакты==

Чат курса в TG: [https://t.me/+7ayE2oKTNPg3M2M6 chat link]

Преподаватель: Хажгериев Мурат Анзорович ([https://t.me/greedisneutral @greedisneutral])

{| class="wikitable"
|-
! Ассистент !! Контакты
|-
| style="background:#eaecf0;" | Соня-Аня Никифорова || [https://t.me/sonya_leaf @sonya_leaf]
|-
| style="background:#eaecf0;" | Стас Ивашков || [https://t.me/ps1va @ps1va]
|-
| style="background:#eaecf0;" | Маша Харченко || [https://t.me/mister_autocrat @mister_autocrat]
|-
| style="background:#eaecf0;" | Савелий Прохоров || [https://t.me/Savely_Prokhorov @Savely_Prokhorov]
|}

==Материалы курса==
Ссылка на плейлист курса на YouTube: [https://www.youtube.com/playlist?list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4 YouTube-playlist]

Ссылка на плейлист в VK: [https://vk.com/video/playlist/-227011779_15 VK Видео]

Ссылка на GitHub с материалами курса: [https://github.com/greedisneutral/NLP-course GitHub repository]

{| class="wikitable"
|-
! Занятие !! Тема !! Дата !! Материалы для самоподготовки к семинарам !! Дополнительные материалы
|-
| style="background:#eaecf0;" | '''1''' [[https://www.youtube.com/watch?v=QSLSIiQ6Mcs&list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4&index=2&pp=iAQB Запись, YouTube]] || [[https://github.com/greedisneutral/NLP-course/blob/master/1.Embeddings/Word_Embeddings.pdf Слайды], [https://github.com/greedisneutral/NLP-course/blob/master/1.Embeddings/NLP_seminar_week_1.ipynb Тетрадка]] Карта задач и методов NLP, эмбеддинги слов (word embeddings) || 06.11.24 (Ср.) || ||
|-
| style="background:#eaecf0;" | '''2''' [[https://www.youtube.com/watch?v=QjmqbOe84vY&list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4&index=1&pp=iAQB Запись, YouTube]] || [[https://github.com/greedisneutral/NLP-course/blob/master/2.Classification/Classification.pdf Слайды], [https://github.com/greedisneutral/NLP-course/blob/master/2.Classification/NLP_seminar_week_2.ipynb Тетрадка]] Классификация текста || 14.11.24 (Чт.) || ||
|-
| style="background:#eaecf0;" | '''3''' [[https://www.youtube.com/watch?v=q9EUpCF97VI&list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4&index=3&pp=iAQB Запись]] || [[https://github.com/greedisneutral/NLP-course/blob/master/3.Seq2seq/seq2seq_attention.pdf Слайды], [https://github.com/greedisneutral/NLP-course/blob/master/3.Seq2seq/NLP_seminar_week_3.ipynb Тетрадка], [https://github.com/greedisneutral/NLP-course/blob/master/3.Seq2seq/seq2seq_attention_whiteboard.pdf Доска]] Seq2seq, Трансформер и механим внимания || 21.11.24 (Чт.) || || [https://colah.github.io/posts/2015-08-Understanding-LSTMs/ Ссылка] на качественное объяснение того, как работает LSTM (да и RNN вообще)
|-
| style="background:#eaecf0;" | '''4''' [[https://www.youtube.com/watch?v=RFdDgHDiKMs&list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4&index=4&pp=iAQB Запись]] || [[https://github.com/greedisneutral/NLP-course/blob/master/4.Transformers/Transformers.pdf Слайды], [https://github.com/greedisneutral/NLP-course/blob/master/4.Transformers/HSE_NLP_seminar_4.ipynb Ноутбук]] Transfer learning: BERT, ELMO, GPT || 28.11.24 (Чт.) ||
Замечательный [https://jalammar.github.io/illustrated-transformer/ разбор] архитектуры от Джея Аламмара

Прекрасный [https://lena-voita.github.io/nlp_course/seq2seq_and_attention.html разбор] от Лены Войты в рамках NLP Course | For You

Уже ставшая бородатой [https://arxiv.org/abs/1706.03762 оригинальная статья] Attention is all you need
||
|-
| style="background:#eaecf0;" | '''5''' [[https://www.youtube.com/watch?v=Mi21czVUyCo&list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4&index=5&pp=iAQB Запись]] || [[https://github.com/greedisneutral/NLP-course/blob/master/5.Pretrain_finetune/Pretrain_finetune_slides.pdf Слайды], [https://github.com/greedisneutral/NLP-course/blob/master/5.Pretrain_finetune/Pretrain_finetune_whiteboard.pdf Доска]] Обучение Больших языковых моделей (Large Language Models): Обучение с нуля vs Тонкая настройка (finetuning) || 12.12.24 (Чт.) || ||
|-
| style="background:#eaecf0;" | '''6''' [[https://www.youtube.com/watch?v=C5HRjlQLMBM&list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4&index=6&pp=iAQB Запись]] || [[https://github.com/greedisneutral/NLP-course/blob/master/6.RLHF/RLHF_slides.pdf Слайды], [https://github.com/greedisneutral/NLP-course/blob/master/6.RLHF/RLHF_whiteboard.pdf Доска]] Reinforcement Learning From Human Feedback (RLHF), Direct Preference Optimization (DPO) || 14.12.24 (Сб.) || ||
|-
| style="background:#eaecf0;" | '''7''' [[https://www.youtube.com/watch?v=LT_pJ56tVso&list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4&index=7&pp=iAQB Запись]] || [[https://github.com/greedisneutral/NLP-course/blob/master/7.Efficiency/Efficiency_slides.pdf Слайды]] Практические подходы для эффективного обучения и развертывания LLM || 16.12.24 (Пн.) || [https://github.com/mryab/efficient-dl-systems Хороший курс] по взрослой работе с моделями ||
|-
| style="background:#eaecf0;" | '''8''' [[https://github.com/greedisneutral/NLP-course/blob/master/8.RAG_Tools/NLP%20system%20showcase_whiteboard.pdf Запись]] || [[https://github.com/greedisneutral/NLP-course/blob/master/8.RAG_Tools/RAG_Tools_slides.pdf Доска], [https://github.com/greedisneutral/NLP-course/blob/master/8.RAG_Tools/NLP%20system%20showcase_whiteboard.pdf Ноутбук]] Retrieval-Augmented (RAG) LLM || 19.12.24 (Чт.) ||
RAG and Tooling Frameworks: https://www.llamaindex.ai/framework, https://www.langchain.com/, https://huggingface.co/docs/transformers/en/agents

Graph RAG-specific Repos: https://github.com/HKUDS/LightRAG, https://github.com/microsoft/graphrag
||
Faiss (vectorDB): https://github.com/facebookresearch/faiss, https://github.com/facebookresearch/faiss/wiki/Guidelines-to-choose-an-index

GraphDB (turn-on your VPN): https://neo4j.com/docs/getting-started/graph-database/
|}

=== Записи консультаций ===

==Формула оценивания==

=== При участии в устном экзамене ===

Оценка = 0.3*ОУстный экзамен + 0.7*ОДЗ

=== При отказе от устного экзамене ===

Оценка = 1.0*ОДЗ

== Домашние задания ==

'''После выдачи домашнего задания студентам предоставляется 2 (две) недели на выполнение'''.

'''Каждый день просрочки штрафуется 1 баллом от максимальной оценки за соответствующее задание.'''

=== Main Track ===
# Обучение эмбеддингов с помощью библиотеки fasttext, реализация реального движка поиска эмбеддинга-ответа по запросу в векторной БД - Выдана 21.11.24, '''Дедлайн - 23:59 (МСК), 01.12.24 (Вс.)''', [https://github.com/greedisneutral/NLP-course/blob/master/2.Classification/NLP_hw_week_2.ipynb Ноутбук] - Весит 30% от итога (если выбираете идти на экзамен) и 40% при перевзвешивании в случае отказа от экзамена
# Тонкая настройка (fine-tuning) BERT на собственных данных // Имплементация GPT 2 - Выдана 03.12.24, '''Дедлайн - 23:59 (МСК), 15.12.24 (Вс.)''', [https://github.com/greedisneutral/NLP-course/blob/master/4.Transformers/HSE_NLP_HW_BERT.ipynb Ноутбук (BERT)], [https://github.com/greedisneutral/NLP-course/blob/master/4.Transformers/HSE_NLP_HW_GPT.ipynb Ноутбук (GPT)] - Весит 20% от итога (если выбираете идти на экзамен) и 30% при перевзвешивании в случае отказа от экзамена
# Тонкая настройка LLM (LLAMA 3 8b) с помощью PEFT - Выдана 12.12.24, '''Дедлайн - 23:59 (МСК), 22.12.2024 (Вс.)''', [https://github.com/greedisneutral/NLP-course/blob/master/5.Pretrain_finetune/NLP_seminar_finetuning_raw.ipynb Ноутбук] - Весит 20% от итога (если выбираете идти на экзамен) и 30% при перевзвешивании в случае отказа от экзамена

=== Optional Track ===
'''Мягкий дедлайн - 27.12.24 (Пт.)''', ''жёсткий - 30.12.24 (Пн.)''

* Тонкая настройка собственной модели с использованием библиотеки TRL - Выдана 14.12.24, [https://github.com/greedisneutral/NLP-course/blob/master/6.RLHF/HSE_NLP_HW_4_optional.ipynb Ноутбук] - Весит 15% от итога
* Реализация Round-to-Nearest (RTN), Generalized Post-Training Quantization (GPTQ) - Выдано 16.12.24, [https://github.com/greedisneutral/NLP-course/blob/master/7.Efficiency/HSE_NLP_HW_5_optional.ipynb.ipynb Ноутбук] - Весит 15% от итога

== Устный экзамен ==

Программой курса предусмотрен устный экзамен, в рамках которого студентам будет предложено тянуть случайный билет с вопросом по пройденному материалу.

== Автоматы ==
На курсе предусмотрены автоматы:
Если оценка студента за блок “домашние задания” ≥ 4 и устраивает студента, ее можно зачесть в виде автомата.

== Литература ==
Статьи, упомянутые в лекциях

Автоматическая обработка текста 24/25 (МОВС23)

2024-12-21T00:29:30Z

Saprokhorov 1: add kinda of further reading list

==О курсе==

NLP — это область искусственного интеллекта, направленная на решение задач, связанных с обработкой человеческого языка, таких как извлечение информации, машинный перевод, автоматическое суммирование и диалоговые системы. За последние годы мы увидели значительный прогресс благодаря статистическому и глубокому обучению. Демонстрация возможностей современных диалоговых систем по типу ChatGPT от OpenAI позволила нам переосмыслить перспективы NLP в повседневной жизни, что привлекло к области внимание как со стороны исследователей и инженеров, так и институциональных инвесторов, готовых финансировать бурный рост отрасли.

Данный курс ставит перед собой следующие цели:
* познакомить слушателя с ключевыми направлениями современного развития области, сформировать понимание запросов, с которыми сталкиваются инженеры и исследователи в повседневной работе.

* развить понимание фундаментальных концепций, необходимых для самостоятельного решения задач как прикладного, так и исследовательского характера.

* познакомить слушателя с инструментами, необходимыми для решения прикладных задач.

Курс основан на материалах [https://github.com/yandexdataschool/nlp_course/tree/2023 Школы Анализа Данных Яндекса (ШАД)], [https://web.stanford.edu/class/cs224n/ CS224n by Stanford], а также личном опыте автора. Курс приоритезирует понимание слушателями пространства существующих на сегодня в отрасли задач и умение их решать над полнотой освещения исторически важных, однако на текущий день устаревших концепций

Занятия проводятся в [https://us06web.zoom.us/j/85123736103?pwd=TbFnaDOVRPyqcVof2vlGbpeub1kDw5.1 Zoom] '''по четвергам в 19:40'''

==Контакты==

Чат курса в TG: [https://t.me/+7ayE2oKTNPg3M2M6 chat link]

Преподаватель: Хажгериев Мурат Анзорович ([https://t.me/greedisneutral @greedisneutral])

{| class="wikitable"
|-
! Ассистент !! Контакты
|-
| style="background:#eaecf0;" | Соня-Аня Никифорова || [https://t.me/sonya_leaf @sonya_leaf]
|-
| style="background:#eaecf0;" | Стас Ивашков || [https://t.me/ps1va @ps1va]
|-
| style="background:#eaecf0;" | Маша Харченко || [https://t.me/mister_autocrat @mister_autocrat]
|-
| style="background:#eaecf0;" | Савелий Прохоров || [https://t.me/Savely_Prokhorov @Savely_Prokhorov]
|}

==Материалы курса==
Ссылка на плейлист курса на YouTube: [https://www.youtube.com/playlist?list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4 YouTube-playlist]

Ссылка на плейлист в VK: [https://vk.com/video/playlist/-227011779_15 VK Видео]

Ссылка на GitHub с материалами курса: [https://github.com/greedisneutral/NLP-course GitHub repository]

{| class="wikitable"
|-
! Занятие !! Тема !! Дата !! Материалы для самоподготовки к семинарам !! Дополнительные материалы
|-
| style="background:#eaecf0;" | '''1''' [[https://www.youtube.com/watch?v=QSLSIiQ6Mcs&list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4&index=2&pp=iAQB Запись, YouTube]] || [[https://github.com/greedisneutral/NLP-course/blob/master/1.Embeddings/Word_Embeddings.pdf Слайды], [https://github.com/greedisneutral/NLP-course/blob/master/1.Embeddings/NLP_seminar_week_1.ipynb Тетрадка]] Карта задач и методов NLP, эмбеддинги слов (word embeddings) || 06.11.24 (Ср.) || ||
|-
| style="background:#eaecf0;" | '''2''' [[https://www.youtube.com/watch?v=QjmqbOe84vY&list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4&index=1&pp=iAQB Запись, YouTube]] || [[https://github.com/greedisneutral/NLP-course/blob/master/2.Classification/Classification.pdf Слайды], [https://github.com/greedisneutral/NLP-course/blob/master/2.Classification/NLP_seminar_week_2.ipynb Тетрадка]] Классификация текста || 14.11.24 (Чт.) || ||
|-
| style="background:#eaecf0;" | '''3''' [[https://www.youtube.com/watch?v=q9EUpCF97VI&list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4&index=3&pp=iAQB Запись]] || [[https://github.com/greedisneutral/NLP-course/blob/master/3.Seq2seq/seq2seq_attention.pdf Слайды], [https://github.com/greedisneutral/NLP-course/blob/master/3.Seq2seq/NLP_seminar_week_3.ipynb Тетрадка], [https://github.com/greedisneutral/NLP-course/blob/master/3.Seq2seq/seq2seq_attention_whiteboard.pdf Доска]] Seq2seq, Трансформер и механим внимания || 21.11.24 (Чт.) || || [https://colah.github.io/posts/2015-08-Understanding-LSTMs/ Ссылка] на качественное объяснение того, как работает LSTM (да и RNN вообще)
|-
| style="background:#eaecf0;" | '''4''' [[https://www.youtube.com/watch?v=RFdDgHDiKMs&list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4&index=4&pp=iAQB Запись]] || [[https://github.com/greedisneutral/NLP-course/blob/master/4.Transformers/Transformers.pdf Слайды], [https://github.com/greedisneutral/NLP-course/blob/master/4.Transformers/HSE_NLP_seminar_4.ipynb Ноутбук]] Transfer learning: BERT, ELMO, GPT || 28.11.24 (Чт.) ||
Замечательный [https://jalammar.github.io/illustrated-transformer/ разбор] архитектуры от Джея Аламмара

Прекрасный [https://lena-voita.github.io/nlp_course/seq2seq_and_attention.html разбор] от Лены Войты в рамках NLP Course | For You

Уже ставшая бородатой [https://arxiv.org/abs/1706.03762 оригинальная статья] Attention is all you need
||
|-
| style="background:#eaecf0;" | '''5''' [[https://www.youtube.com/watch?v=Mi21czVUyCo&list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4&index=5&pp=iAQB Запись]] || [[https://github.com/greedisneutral/NLP-course/blob/master/5.Pretrain_finetune/Pretrain_finetune_slides.pdf Слайды], [https://github.com/greedisneutral/NLP-course/blob/master/5.Pretrain_finetune/Pretrain_finetune_whiteboard.pdf Доска]] Обучение Больших языковых моделей (Large Language Models): Обучение с нуля vs Тонкая настройка (finetuning) || 12.12.24 (Чт.) || ||
|-
| style="background:#eaecf0;" | '''6''' [[https://www.youtube.com/watch?v=C5HRjlQLMBM&list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4&index=6&pp=iAQB Запись]] || [[https://github.com/greedisneutral/NLP-course/blob/master/6.RLHF/RLHF_slides.pdf Слайды], [https://github.com/greedisneutral/NLP-course/blob/master/6.RLHF/RLHF_whiteboard.pdf Доска]] Reinforcement Learning From Human Feedback (RLHF), Direct Preference Optimization (DPO) || 14.12.24 (Сб.) || ||
|-
| style="background:#eaecf0;" | '''7''' [[https://www.youtube.com/watch?v=LT_pJ56tVso&list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4&index=7&pp=iAQB Запись]] || [[https://github.com/greedisneutral/NLP-course/blob/master/7.Efficiency/Efficiency_slides.pdf Слайды]] Практические подходы для эффективного обучения и развертывания LLM || 16.12.24 (Пн.) || [https://github.com/mryab/efficient-dl-systems Хороший курс] по взрослой работе с моделями ||
|-
| style="background:#eaecf0;" | '''8''' [[https://github.com/greedisneutral/NLP-course/blob/master/8.RAG_Tools/NLP%20system%20showcase_whiteboard.pdf Запись]] || [[https://github.com/greedisneutral/NLP-course/blob/master/8.RAG_Tools/RAG_Tools_slides.pdf Доска], [https://github.com/greedisneutral/NLP-course/blob/master/8.RAG_Tools/NLP%20system%20showcase_whiteboard.pdf Ноутбук]] Retrieval-Augmented (RAG) LLM || 19.12.24 (Чт.) ||
RAG and Tooling Frameworks: https://www.llamaindex.ai/framework, https://www.langchain.com/, https://huggingface.co/docs/transformers/en/agents

Graph RAG-specific Repos: https://github.com/HKUDS/LightRAG, https://github.com/microsoft/graphrag
||
Faiss (vectorDB): https://github.com/facebookresearch/faiss, https://github.com/facebookresearch/faiss/wiki/Guidelines-to-choose-an-index

GraphDB (turn-on your VPN): https://neo4j.com/docs/getting-started/graph-database/
|}

=== Записи консультаций ===

==Формула оценивания==

=== При участии в устном экзамене ===

Оценка = 0.3*ОУстный экзамен + 0.7*ОДЗ

=== При отказе от устного экзамене ===

Оценка = 1.0*ОДЗ

== Домашние задания ==

'''После выдачи домашнего задания студентам предоставляется 2 (две) недели на выполнение'''.

'''Каждый день просрочки штрафуется 1 баллом от максимальной оценки за соответствующее задание.'''

=== Main Track ===
# Обучение эмбеддингов с помощью библиотеки fasttext, реализация реального движка поиска эмбеддинга-ответа по запросу в векторной БД - Выдана 21.11.24, '''Дедлайн - 23:59 (МСК), 01.12.24 (Вс.)''', [https://github.com/greedisneutral/NLP-course/blob/master/2.Classification/NLP_hw_week_2.ipynb Ноутбук] - Весит 30% от итога
# Тонкая настройка (fine-tuning) BERT на собственных данных // Имплементация GPT 2 - Выдана 03.12.24, '''Дедлайн - 23:59 (МСК), 15.12.24 (Вс.)''', [https://github.com/greedisneutral/NLP-course/blob/master/4.Transformers/HSE_NLP_HW_BERT.ipynb Ноутбук (BERT)], [https://github.com/greedisneutral/NLP-course/blob/master/4.Transformers/HSE_NLP_HW_GPT.ipynb Ноутбук (GPT)] - Весит 20% от итога
# Тонкая настройка LLM (LLAMA 3 8b) с помощью PEFT - Выдана 12.12.24, '''Дедлайн - 23:59 (МСК), 22.12.2024 (Вс.)''', [https://github.com/greedisneutral/NLP-course/blob/master/5.Pretrain_finetune/NLP_seminar_finetuning_raw.ipynb Ноутбук] - Весит 20% от итога

=== Optional Track ===
* Тонкая настройка собственной модели с использованием библиотеки TRL - Выдана 14.12.24, [https://github.com/greedisneutral/NLP-course/blob/master/6.RLHF/HSE_NLP_HW_4_optional.ipynb Ноутбук] - Весит 15% от итога
* Реализация Round-to-Nearest (RTN), Generalized Post-Training Quantization (GPTQ) - Выдано 16.12.24, [https://github.com/greedisneutral/NLP-course/blob/master/7.Efficiency/HSE_NLP_HW_5_optional.ipynb.ipynb Ноутбук] - Весит 15% от итога

== Устный экзамен ==

Программой курса предусмотрен устный экзамен, в рамках которого студентам будет предложено тянуть случайный билет с вопросом по пройденному материалу.

== Автоматы ==
На курсе предусмотрены автоматы:
Если оценка студента за блок “домашние задания” ≥ 4 и устраивает студента, ее можно зачесть в виде автомата.

== Литература ==
Статьи, упомянутые в лекциях

Автоматическая обработка текста 24/25 (МОВС23)

2024-12-20T20:16:47Z

Saprokhorov 1: add some external links

==О курсе==

NLP — это область искусственного интеллекта, направленная на решение задач, связанных с обработкой человеческого языка, таких как извлечение информации, машинный перевод, автоматическое суммирование и диалоговые системы. За последние годы мы увидели значительный прогресс благодаря статистическому и глубокому обучению. Демонстрация возможностей современных диалоговых систем по типу ChatGPT от OpenAI позволила нам переосмыслить перспективы NLP в повседневной жизни, что привлекло к области внимание как со стороны исследователей и инженеров, так и институциональных инвесторов, готовых финансировать бурный рост отрасли.

Данный курс ставит перед собой следующие цели:
* познакомить слушателя с ключевыми направлениями современного развития области, сформировать понимание запросов, с которыми сталкиваются инженеры и исследователи в повседневной работе.

* развить понимание фундаментальных концепций, необходимых для самостоятельного решения задач как прикладного, так и исследовательского характера.

* познакомить слушателя с инструментами, необходимыми для решения прикладных задач.

Курс основан на материалах [https://github.com/yandexdataschool/nlp_course/tree/2023 Школы Анализа Данных Яндекса (ШАД)], [https://web.stanford.edu/class/cs224n/ CS224n by Stanford], а также личном опыте автора. Курс приоритезирует понимание слушателями пространства существующих на сегодня в отрасли задач и умение их решать над полнотой освещения исторически важных, однако на текущий день устаревших концепций

Занятия проводятся в [https://us06web.zoom.us/j/85123736103?pwd=TbFnaDOVRPyqcVof2vlGbpeub1kDw5.1 Zoom] '''по четвергам в 19:40'''

==Контакты==

Чат курса в TG: [https://t.me/+7ayE2oKTNPg3M2M6 chat link]

Преподаватель: Хажгериев Мурат Анзорович ([https://t.me/greedisneutral @greedisneutral])

{| class="wikitable"
|-
! Ассистент !! Контакты
|-
| style="background:#eaecf0;" | Соня-Аня Никифорова || [https://t.me/sonya_leaf @sonya_leaf]
|-
| style="background:#eaecf0;" | Стас Ивашков || [https://t.me/ps1va @ps1va]
|-
| style="background:#eaecf0;" | Маша Харченко || [https://t.me/mister_autocrat @mister_autocrat]
|-
| style="background:#eaecf0;" | Савелий Прохоров || [https://t.me/Savely_Prokhorov @Savely_Prokhorov]
|}

==Материалы курса==
Ссылка на плейлист курса на YouTube: [https://www.youtube.com/playlist?list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4 YouTube-playlist]

Ссылка на плейлист в VK: [https://vk.com/video/playlist/-227011779_15 VK Видео]

Ссылка на GitHub с материалами курса: [https://github.com/greedisneutral/NLP-course GitHub repository]

{| class="wikitable"
|-
! Занятие !! Тема !! Дата !! Материалы для самоподготовки к семинарам !! Дополнительные материалы
|-
| style="background:#eaecf0;" | '''1''' [[https://www.youtube.com/watch?v=QSLSIiQ6Mcs&list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4&index=2&pp=iAQB Запись, YouTube]] || [[https://github.com/greedisneutral/NLP-course/blob/master/1.Embeddings/Word_Embeddings.pdf Слайды], [https://github.com/greedisneutral/NLP-course/blob/master/1.Embeddings/NLP_seminar_week_1.ipynb Тетрадка]] Карта задач и методов NLP, эмбеддинги слов (word embeddings) || 06.11.24 (Ср.) || ||
|-
| style="background:#eaecf0;" | '''2''' [[https://www.youtube.com/watch?v=QjmqbOe84vY&list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4&index=1&pp=iAQB Запись, YouTube]] || [[https://github.com/greedisneutral/NLP-course/blob/master/2.Classification/Classification.pdf Слайды], [https://github.com/greedisneutral/NLP-course/blob/master/2.Classification/NLP_seminar_week_2.ipynb Тетрадка]] Классификация текста || 14.11.24 (Чт.) || ||
|-
| style="background:#eaecf0;" | '''3''' [[https://www.youtube.com/watch?v=q9EUpCF97VI&list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4&index=3&pp=iAQB Запись]] || [[https://github.com/greedisneutral/NLP-course/blob/master/3.Seq2seq/seq2seq_attention.pdf Слайды], [https://github.com/greedisneutral/NLP-course/blob/master/3.Seq2seq/NLP_seminar_week_3.ipynb Тетрадка], [https://github.com/greedisneutral/NLP-course/blob/master/3.Seq2seq/seq2seq_attention_whiteboard.pdf Доска]] Seq2seq, Трансформер и механим внимания || 21.11.24 (Чт.) || || [https://colah.github.io/posts/2015-08-Understanding-LSTMs/ Ссылка] на качественное объяснение того, как работает LSTM (да и RNN вообще)
|-
| style="background:#eaecf0;" | '''4''' [[https://www.youtube.com/watch?v=RFdDgHDiKMs&list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4&index=4&pp=iAQB Запись]] || [[https://github.com/greedisneutral/NLP-course/blob/master/4.Transformers/Transformers.pdf Слайды], [https://github.com/greedisneutral/NLP-course/blob/master/4.Transformers/HSE_NLP_seminar_4.ipynb Ноутбук]] Transfer learning: BERT, ELMO, GPT || 28.11.24 (Чт.) ||
Замечательный [https://jalammar.github.io/illustrated-transformer/ разбор] архитектуры от Джея Аламмара

Прекрасный [https://lena-voita.github.io/nlp_course/seq2seq_and_attention.html разбор] от Лены Войты в рамках NLP Course | For You

Уже ставшая бородатой [https://arxiv.org/abs/1706.03762 оригинальная статья] Attention is all you need
||
|-
| style="background:#eaecf0;" | '''5''' [[https://www.youtube.com/watch?v=Mi21czVUyCo&list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4&index=5&pp=iAQB Запись]] || [[https://github.com/greedisneutral/NLP-course/blob/master/5.Pretrain_finetune/Pretrain_finetune_slides.pdf Слайды], [https://github.com/greedisneutral/NLP-course/blob/master/5.Pretrain_finetune/Pretrain_finetune_whiteboard.pdf Доска]] Обучение Больших языковых моделей (Large Language Models): Обучение с нуля vs Тонкая настройка (finetuning) || 12.12.24 (Чт.) || ||
|-
| style="background:#eaecf0;" | '''6''' [[https://www.youtube.com/watch?v=C5HRjlQLMBM&list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4&index=6&pp=iAQB Запись]] || [[https://github.com/greedisneutral/NLP-course/blob/master/6.RLHF/RLHF_slides.pdf Слайды], [https://github.com/greedisneutral/NLP-course/blob/master/6.RLHF/RLHF_whiteboard.pdf Доска]] Reinforcement Learning From Human Feedback (RLHF), Direct Preference Optimization (DPO) || 14.12.24 (Сб.) || ||
|-
| style="background:#eaecf0;" | '''7''' [[https://www.youtube.com/watch?v=LT_pJ56tVso&list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4&index=7&pp=iAQB Запись]] || [[https://github.com/greedisneutral/NLP-course/blob/master/7.Efficiency/Efficiency_slides.pdf Слайды]] Практические подходы для эффективного обучения и развертывания LLM || 16.12.24 (Пн.) || [https://github.com/mryab/efficient-dl-systems Хороший курс] по взрослой работе с моделями ||
|-
| style="background:#eaecf0;" | '''8''' [[https://github.com/greedisneutral/NLP-course/blob/master/8.RAG_Tools/NLP%20system%20showcase_whiteboard.pdf Запись]] || [[https://github.com/greedisneutral/NLP-course/blob/master/8.RAG_Tools/RAG_Tools_slides.pdf Доска], [https://github.com/greedisneutral/NLP-course/blob/master/8.RAG_Tools/NLP%20system%20showcase_whiteboard.pdf Ноутбук]] Retrieval-Augmented (RAG) LLM || 19.12.24 (Чт.) ||
RAG and Tooling Frameworks: https://www.llamaindex.ai/framework, https://www.langchain.com/, https://huggingface.co/docs/transformers/en/agents

Graph RAG-specific Repos: https://github.com/HKUDS/LightRAG, https://github.com/microsoft/graphrag
||
Faiss (vectorDB): https://github.com/facebookresearch/faiss, https://github.com/facebookresearch/faiss/wiki/Guidelines-to-choose-an-index

GraphDB (turn-on your VPN): https://neo4j.com/docs/getting-started/graph-database/
|}

=== Записи консультаций ===

==Формула оценивания==

=== При участии в устном экзамене ===

Оценка = 0.3*ОУстный экзамен + 0.7*ОДЗ

=== При отказе от устного экзамене ===

Оценка = 1.0*ОДЗ

== Домашние задания ==

'''После выдачи домашнего задания студентам предоставляется 2 (две) недели на выполнение'''.

'''Каждый день просрочки штрафуется 1 баллом от максимальной оценки за соответствующее задание.'''

=== Main Track ===
# Обучение эмбеддингов с помощью библиотеки fasttext, реализация реального движка поиска эмбеддинга-ответа по запросу в векторной БД - Выдана 21.11.24, '''Дедлайн - 23:59 (МСК), 01.12.24 (Вс.)''', [https://github.com/greedisneutral/NLP-course/blob/master/2.Classification/NLP_hw_week_2.ipynb Ноутбук] - Весит 30% от итога
# Тонкая настройка (fine-tuning) BERT на собственных данных // Имплементация GPT 2 - Выдана 03.12.24, '''Дедлайн - 23:59 (МСК), 15.12.24 (Вс.)''', [https://github.com/greedisneutral/NLP-course/blob/master/4.Transformers/HSE_NLP_HW_BERT.ipynb Ноутбук (BERT)], [https://github.com/greedisneutral/NLP-course/blob/master/4.Transformers/HSE_NLP_HW_GPT.ipynb Ноутбук (GPT)] - Весит 20% от итога
# Тонкая настройка LLM (LLAMA 3 8b) с помощью PEFT - Выдана 12.12.24, '''Дедлайн - 23:59 (МСК), 22.12.2024 (Вс.)''', [https://github.com/greedisneutral/NLP-course/blob/master/5.Pretrain_finetune/NLP_seminar_finetuning_raw.ipynb Ноутбук] - Весит 20% от итога

=== Optional Track ===
* Тонкая настройка собственной модели с использованием библиотеки TRL - Выдана 14.12.24, [https://github.com/greedisneutral/NLP-course/blob/master/6.RLHF/HSE_NLP_HW_4_optional.ipynb Ноутбук] - Весит 15% от итога
* Реализация Round-to-Nearest (RTN), Generalized Post-Training Quantization (GPTQ) - Выдано 16.12.24, [https://github.com/greedisneutral/NLP-course/blob/master/7.Efficiency/HSE_NLP_HW_5_optional.ipynb.ipynb Ноутбук] - Весит 15% от итога

== Устный экзамен ==

Программой курса предусмотрен устный экзамен, в рамках которого студентам будет предложено тянуть случайный билет с вопросом по пройденному материалу.

== Автоматы ==
На курсе предусмотрены автоматы:
Если оценка студента за блок “домашние задания” ≥ 4 и устраивает студента, ее можно зачесть в виде автомата.

== Литература ==
#
#
#
#

ML System Design 24/25 (МОВС23)

2024-12-20T20:12:12Z

Saprokhorov 1: upd last meet-up date

==О курсе==

''Курс "ML System Design" посвящён практическим знаниям и навыкам, необходимых для проектирования и разработки масштабируемых систем машинного обучения. Слушатели курс получат итеративный фреймворк для разработки надёжных, масштабируемых, развертываемых ML-систем''

Занятия проводятся в [https://us06web.zoom.us/j/83596901782?pwd=vyNnobAPbaf3n37XG6RJ8Y4KAePMv4.1 Zoom] '''по средам в 18:10'''

==Контакты==

Чат курса в TG: [https://t.me/+iofkw6XUSSVkNzEy chat link]

Преподаватель: Теванян Элен Арамовна ([https://www.hse.ru/org/persons/46745470/ Страничка преподавателя ВШЭ])

{| class="wikitable"
|-
! Ассистент !! Контакты
|-
| style="background:#eaecf0;" | Савелий Прохоров || [https://t.me/Savely_Prokhorov @Savely_Prokhorov]
|-
| style="background:#eaecf0;" | Мурат Хажгериев || [https://t.me/greedisneutral @greedisneutral]
|-
| style="background:#eaecf0;" | Григорий Кузнецов || [https://t.me/growa @growa]
|}

==Материалы курса==
Ссылка на плейлист курса на YouTube: [https://www.youtube.com/playlist?list=PLmA-1xX7IuzAhYdXKcYnea4VnmeeIynx8 YouTube-playlist]

Плелист в VK Видео: [https://vkvideo.ru/playlist/-227011779_23 VK Видео]

Ссылка на GDrive с материалами курса: [https://drive.google.com/drive/folders/1VakrUsTXcRU-ljEMT0srIwsuTbY3pjab?usp=drive_link GDrive]

{| class="wikitable"
|-
! Занятие !! Тема !! Дата !! Материалы для самоподготовки к семинарам !! Дополнительные материалы
|-
| style="background:#eaecf0;" | '''1''' [[https://vkvideo.ru/playlist/-227011779_23/video-227011779_456239170 Запись, VK] | [https://www.youtube.com/watch?v=oi-HqYGkFBo&list=PLmA-1xX7IuzAhYdXKcYnea4VnmeeIynx8&index=4&pp=iAQB Запись, YouTube]] || [[https://drive.google.com/file/d/1mXKZqVoCJLgMV9XlulRmJFSwoJn9EnbC/view?usp=sharing Слайды]] Введение в дизайн систем машинного обучения || 20.11.24 (Ср.) || ||
|-
| style="background:#eaecf0;" | '''2''' [[https://vkvideo.ru/playlist/-227011779_23/video-227011779_456239189 Запись, VK] | [https://www.youtube.com/watch?v=EeB3GelSqvw&list=PLmA-1xX7IuzAhYdXKcYnea4VnmeeIynx8&index=3&pp=iAQB Запись, YouTube]] || [[https://drive.google.com/file/d/1mqAUp2LtjZi0tkdcxk-F2kvClYdCvZDU/view?usp=drive_link Слайды]] Датасеты и инжиниринг признаков || 26.11.24 (Вт.) || ||
|-
| style="background:#eaecf0;" | '''3''' [[https://vkvideo.ru/playlist/-227011779_23/video-227011779_456239210 Запись, VK] | [https://www.youtube.com/watch?v=sOPBVpRSHuM&list=PLmA-1xX7IuzAhYdXKcYnea4VnmeeIynx8&index=2&pp=iAQB Запись, YouTube]] || [[https://drive.google.com/file/d/1fsqH4DCa-Gs1SMR9vVNe7ws3mU2HSpui/view?usp=drive_link Слайды]] Выбор моделей и обучение моделей || 03.12.24 (Вт.) || ||
|-
| style="background:#eaecf0;" | '''4''' [[https://vkvideo.ru/playlist/-227011779_23/video-227011779_456239215 Запись, VK] | [https://www.youtube.com/watch?v=3ooOAYHsBdk&list=PLmA-1xX7IuzAhYdXKcYnea4VnmeeIynx8&index=1&pp=iAQB Запись, YouTube]] || [[https://drive.google.com/file/d/1Cabe-ytWPo4Cpvmgmg3HnBEpNqE9O8O5/view?usp=drive_link Слайды]] Оценка моделей || 04.12.24 (Ср.) || ||
|-
| style="background:#eaecf0;" | '''5''' [[https://vkvideo.ru/playlist/-227011779_23/video-227011779_456239232 Запись, VK] | [https://www.youtube.com/watch?v=_bJI6dhqxlQ&list=PLmA-1xX7IuzAhYdXKcYnea4VnmeeIynx8&index=1&pp=iAQB Запись, YouTube]] || [[ Слайды]] Диагностика проблем и мониторинг ML-систем || 11.12.24 (Ср.) || ||
|-
| style="background:#eaecf0;" | '''6''' [[https://vkvideo.ru/playlist/-227011779_23/video-227011779_456239251 Запись, VK] | [https://www.youtube.com/watch?v=6JBkKVgnxs0&list=PLmA-1xX7IuzAhYdXKcYnea4VnmeeIynx8&index=6&pp=iAQB Запись, YouTube]] || [[https://drive.google.com/file/d/1qKTYXG1iy9OkSm7ODdwCwwFpkrW56Y3r/view?usp=drive_link Слайды]] Деплой ML-систем || 17.12.24 (Вт.) || ||
|-
| style="background:#eaecf0;" | '''7''' [[ Запись, VK] | [Запись, YouTube]] || [[ Слайды]] Инфраструктура для машинного обучения и ML-платформы || 20.12.24 (Пт.) || ||
|}

=== Записи консультаций ===

==Формула оценивания==

Оценка = 0.4*ОДЗ + 0.6*ОПроект

== Формы контроля ==
[https://anytask.org/course/1157 Anytask]: инвайт - <code>i2lFfXn</code>

* '''Домашнее задание''' | [https://docs.google.com/document/d/1zKPToSFLBbYtXLhA2s-sl0EysEuqhi2eC4VoDvgYgeg/edit?usp=sharing GDoc] - Представляет собой небольшую текстовую работу и блок-схему, в которых надо отразить пройденный материал на примере предложенных ML-задач. Допустимы инициативные темы. - Выдано 08.12.24, - '''Мягкий дедлайн - 20.12.24, 23:30 МСК''', ''Жесткий - 23.12.24, 23:30 МСК (штраф в 30%)''
* '''Проект''' - Представляет собой расширенную версию ДЗ по проблеме, отличной от ДЗ, с проработкой всех вопросов, рассмотренных на курсе - Выдается после 6-го // 7-го занятия

== Литература ==
# Nguyễn, C. (2022). Designing Machine Learning Systems. O'Reilly Media
# Babushkin, V., & Kravchenko, A. (2023). Machine Learning System Design: With End-to-End Examples. Independently published.

ML System Design 24/25 (МОВС23)

2024-12-20T20:11:09Z

Saprokhorov 1: upd deadlines for hw1

==О курсе==

''Курс "ML System Design" посвящён практическим знаниям и навыкам, необходимых для проектирования и разработки масштабируемых систем машинного обучения. Слушатели курс получат итеративный фреймворк для разработки надёжных, масштабируемых, развертываемых ML-систем''

Занятия проводятся в [https://us06web.zoom.us/j/83596901782?pwd=vyNnobAPbaf3n37XG6RJ8Y4KAePMv4.1 Zoom] '''по средам в 18:10'''

==Контакты==

Чат курса в TG: [https://t.me/+iofkw6XUSSVkNzEy chat link]

Преподаватель: Теванян Элен Арамовна ([https://www.hse.ru/org/persons/46745470/ Страничка преподавателя ВШЭ])

{| class="wikitable"
|-
! Ассистент !! Контакты
|-
| style="background:#eaecf0;" | Савелий Прохоров || [https://t.me/Savely_Prokhorov @Savely_Prokhorov]
|-
| style="background:#eaecf0;" | Мурат Хажгериев || [https://t.me/greedisneutral @greedisneutral]
|-
| style="background:#eaecf0;" | Григорий Кузнецов || [https://t.me/growa @growa]
|}

==Материалы курса==
Ссылка на плейлист курса на YouTube: [https://www.youtube.com/playlist?list=PLmA-1xX7IuzAhYdXKcYnea4VnmeeIynx8 YouTube-playlist]

Плелист в VK Видео: [https://vkvideo.ru/playlist/-227011779_23 VK Видео]

Ссылка на GDrive с материалами курса: [https://drive.google.com/drive/folders/1VakrUsTXcRU-ljEMT0srIwsuTbY3pjab?usp=drive_link GDrive]

{| class="wikitable"
|-
! Занятие !! Тема !! Дата !! Материалы для самоподготовки к семинарам !! Дополнительные материалы
|-
| style="background:#eaecf0;" | '''1''' [[https://vkvideo.ru/playlist/-227011779_23/video-227011779_456239170 Запись, VK] | [https://www.youtube.com/watch?v=oi-HqYGkFBo&list=PLmA-1xX7IuzAhYdXKcYnea4VnmeeIynx8&index=4&pp=iAQB Запись, YouTube]] || [[https://drive.google.com/file/d/1mXKZqVoCJLgMV9XlulRmJFSwoJn9EnbC/view?usp=sharing Слайды]] Введение в дизайн систем машинного обучения || 20.11.24 (Ср.) || ||
|-
| style="background:#eaecf0;" | '''2''' [[https://vkvideo.ru/playlist/-227011779_23/video-227011779_456239189 Запись, VK] | [https://www.youtube.com/watch?v=EeB3GelSqvw&list=PLmA-1xX7IuzAhYdXKcYnea4VnmeeIynx8&index=3&pp=iAQB Запись, YouTube]] || [[https://drive.google.com/file/d/1mqAUp2LtjZi0tkdcxk-F2kvClYdCvZDU/view?usp=drive_link Слайды]] Датасеты и инжиниринг признаков || 26.11.24 (Вт.) || ||
|-
| style="background:#eaecf0;" | '''3''' [[https://vkvideo.ru/playlist/-227011779_23/video-227011779_456239210 Запись, VK] | [https://www.youtube.com/watch?v=sOPBVpRSHuM&list=PLmA-1xX7IuzAhYdXKcYnea4VnmeeIynx8&index=2&pp=iAQB Запись, YouTube]] || [[https://drive.google.com/file/d/1fsqH4DCa-Gs1SMR9vVNe7ws3mU2HSpui/view?usp=drive_link Слайды]] Выбор моделей и обучение моделей || 03.12.24 (Вт.) || ||
|-
| style="background:#eaecf0;" | '''4''' [[https://vkvideo.ru/playlist/-227011779_23/video-227011779_456239215 Запись, VK] | [https://www.youtube.com/watch?v=3ooOAYHsBdk&list=PLmA-1xX7IuzAhYdXKcYnea4VnmeeIynx8&index=1&pp=iAQB Запись, YouTube]] || [[https://drive.google.com/file/d/1Cabe-ytWPo4Cpvmgmg3HnBEpNqE9O8O5/view?usp=drive_link Слайды]] Оценка моделей || 04.12.24 (Ср.) || ||
|-
| style="background:#eaecf0;" | '''5''' [[https://vkvideo.ru/playlist/-227011779_23/video-227011779_456239232 Запись, VK] | [https://www.youtube.com/watch?v=_bJI6dhqxlQ&list=PLmA-1xX7IuzAhYdXKcYnea4VnmeeIynx8&index=1&pp=iAQB Запись, YouTube]] || [[ Слайды]] Диагностика проблем и мониторинг ML-систем || 11.12.24 (Ср.) || ||
|-
| style="background:#eaecf0;" | '''6''' [[https://vkvideo.ru/playlist/-227011779_23/video-227011779_456239251 Запись, VK] | [https://www.youtube.com/watch?v=6JBkKVgnxs0&list=PLmA-1xX7IuzAhYdXKcYnea4VnmeeIynx8&index=6&pp=iAQB Запись, YouTube]] || [[https://drive.google.com/file/d/1qKTYXG1iy9OkSm7ODdwCwwFpkrW56Y3r/view?usp=drive_link Слайды]] Деплой ML-систем || 17.12.24 (Вт.) || ||
|-
| style="background:#eaecf0;" | '''7''' [[ Запись, VK] | [Запись, YouTube]] || [[ Слайды]] Инфраструктура для машинного обучения и ML-платформы || 18.12.24 (Ср.) || ||
|}

=== Записи консультаций ===

==Формула оценивания==

Оценка = 0.4*ОДЗ + 0.6*ОПроект

== Формы контроля ==
[https://anytask.org/course/1157 Anytask]: инвайт - <code>i2lFfXn</code>

* '''Домашнее задание''' | [https://docs.google.com/document/d/1zKPToSFLBbYtXLhA2s-sl0EysEuqhi2eC4VoDvgYgeg/edit?usp=sharing GDoc] - Представляет собой небольшую текстовую работу и блок-схему, в которых надо отразить пройденный материал на примере предложенных ML-задач. Допустимы инициативные темы. - Выдано 08.12.24, - '''Мягкий дедлайн - 20.12.24, 23:30 МСК''', ''Жесткий - 23.12.24, 23:30 МСК (штраф в 30%)''
* '''Проект''' - Представляет собой расширенную версию ДЗ по проблеме, отличной от ДЗ, с проработкой всех вопросов, рассмотренных на курсе - Выдается после 6-го // 7-го занятия

== Литература ==
# Nguyễn, C. (2022). Designing Machine Learning Systems. O'Reilly Media
# Babushkin, V., & Kravchenko, A. (2023). Machine Learning System Design: With End-to-End Examples. Independently published.

Автоматическая обработка текста 24/25 (МОВС23)

2024-12-20T09:22:05Z

Saprokhorov 1: del hws from what was notebooks

==О курсе==

NLP — это область искусственного интеллекта, направленная на решение задач, связанных с обработкой человеческого языка, таких как извлечение информации, машинный перевод, автоматическое суммирование и диалоговые системы. За последние годы мы увидели значительный прогресс благодаря статистическому и глубокому обучению. Демонстрация возможностей современных диалоговых систем по типу ChatGPT от OpenAI позволила нам переосмыслить перспективы NLP в повседневной жизни, что привлекло к области внимание как со стороны исследователей и инженеров, так и институциональных инвесторов, готовых финансировать бурный рост отрасли.

Данный курс ставит перед собой следующие цели:
* познакомить слушателя с ключевыми направлениями современного развития области, сформировать понимание запросов, с которыми сталкиваются инженеры и исследователи в повседневной работе.

* развить понимание фундаментальных концепций, необходимых для самостоятельного решения задач как прикладного, так и исследовательского характера.

* познакомить слушателя с инструментами, необходимыми для решения прикладных задач.

Курс основан на материалах [https://github.com/yandexdataschool/nlp_course/tree/2023 Школы Анализа Данных Яндекса (ШАД)], [https://web.stanford.edu/class/cs224n/ CS224n by Stanford], а также личном опыте автора. Курс приоритезирует понимание слушателями пространства существующих на сегодня в отрасли задач и умение их решать над полнотой освещения исторически важных, однако на текущий день устаревших концепций

Занятия проводятся в [https://us06web.zoom.us/j/85123736103?pwd=TbFnaDOVRPyqcVof2vlGbpeub1kDw5.1 Zoom] '''по четвергам в 19:40'''

==Контакты==

Чат курса в TG: [https://t.me/+7ayE2oKTNPg3M2M6 chat link]

Преподаватель: Хажгериев Мурат Анзорович ([https://t.me/greedisneutral @greedisneutral])

{| class="wikitable"
|-
! Ассистент !! Контакты
|-
| style="background:#eaecf0;" | Соня-Аня Никифорова || [https://t.me/sonya_leaf @sonya_leaf]
|-
| style="background:#eaecf0;" | Стас Ивашков || [https://t.me/ps1va @ps1va]
|-
| style="background:#eaecf0;" | Маша Харченко || [https://t.me/mister_autocrat @mister_autocrat]
|-
| style="background:#eaecf0;" | Савелий Прохоров || [https://t.me/Savely_Prokhorov @Savely_Prokhorov]
|}

==Материалы курса==
Ссылка на плейлист курса на YouTube: [https://www.youtube.com/playlist?list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4 YouTube-playlist]

Ссылка на плейлист в VK: [https://vk.com/video/playlist/-227011779_15 VK Видео]

Ссылка на GitHub с материалами курса: [https://github.com/greedisneutral/NLP-course GitHub repository]

{| class="wikitable"
|-
! Занятие !! Тема !! Дата !! Материалы для самоподготовки к семинарам !! Дополнительные материалы
|-
| style="background:#eaecf0;" | '''1''' [[https://www.youtube.com/watch?v=QSLSIiQ6Mcs&list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4&index=2&pp=iAQB Запись, YouTube]] || [[https://github.com/greedisneutral/NLP-course/blob/master/1.Embeddings/Word_Embeddings.pdf Слайды], [https://github.com/greedisneutral/NLP-course/blob/master/1.Embeddings/NLP_seminar_week_1.ipynb Тетрадка]] Карта задач и методов NLP, эмбеддинги слов (word embeddings) || 06.11.24 (Ср.) || ||
|-
| style="background:#eaecf0;" | '''2''' [[https://www.youtube.com/watch?v=QjmqbOe84vY&list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4&index=1&pp=iAQB Запись, YouTube]] || [[https://github.com/greedisneutral/NLP-course/blob/master/2.Classification/Classification.pdf Слайды], [https://github.com/greedisneutral/NLP-course/blob/master/2.Classification/NLP_seminar_week_2.ipynb Тетрадка]] Классификация текста || 14.11.24 (Чт.) || ||
|-
| style="background:#eaecf0;" | '''3''' [[https://www.youtube.com/watch?v=q9EUpCF97VI&list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4&index=3&pp=iAQB Запись]] || [[https://github.com/greedisneutral/NLP-course/blob/master/3.Seq2seq/seq2seq_attention.pdf Слайды], [https://github.com/greedisneutral/NLP-course/blob/master/3.Seq2seq/NLP_seminar_week_3.ipynb Тетрадка], [https://github.com/greedisneutral/NLP-course/blob/master/3.Seq2seq/seq2seq_attention_whiteboard.pdf Доска]] Seq2seq, Трансформер и механим внимания || 21.11.24 (Чт.) || || [https://colah.github.io/posts/2015-08-Understanding-LSTMs/ Ссылка] на качественное объяснение того, как работает LSTM (да и RNN вообще)
|-
| style="background:#eaecf0;" | '''4''' [[https://www.youtube.com/watch?v=RFdDgHDiKMs&list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4&index=4&pp=iAQB Запись]] || [[https://github.com/greedisneutral/NLP-course/blob/master/4.Transformers/Transformers.pdf Слайды], [https://github.com/greedisneutral/NLP-course/blob/master/4.Transformers/HSE_NLP_seminar_4.ipynb Ноутбук]] Transfer learning: BERT, ELMO, GPT || 28.11.24 (Чт.) ||
Замечательный [https://jalammar.github.io/illustrated-transformer/ разбор] архитектуры от Джея Аламмара

Прекрасный [https://lena-voita.github.io/nlp_course/seq2seq_and_attention.html разбор] от Лены Войты в рамках NLP Course | For You

Уже ставшая бородатой [https://arxiv.org/abs/1706.03762 оригинальная статья] Attention is all you need
||
|-
| style="background:#eaecf0;" | '''5''' [[https://www.youtube.com/watch?v=Mi21czVUyCo&list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4&index=5&pp=iAQB Запись]] || [[https://github.com/greedisneutral/NLP-course/blob/master/5.Pretrain_finetune/Pretrain_finetune_slides.pdf Слайды], [https://github.com/greedisneutral/NLP-course/blob/master/5.Pretrain_finetune/Pretrain_finetune_whiteboard.pdf Доска]] Обучение Больших языковых моделей (Large Language Models): Обучение с нуля vs Тонкая настройка (finetuning) || 12.12.24 (Чт.) || ||
|-
| style="background:#eaecf0;" | '''6''' [[https://www.youtube.com/watch?v=C5HRjlQLMBM&list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4&index=6&pp=iAQB Запись]] || [[https://github.com/greedisneutral/NLP-course/blob/master/6.RLHF/RLHF_slides.pdf Слайды], [https://github.com/greedisneutral/NLP-course/blob/master/6.RLHF/RLHF_whiteboard.pdf Доска]] Reinforcement Learning From Human Feedback (RLHF), Direct Preference Optimization (DPO) || 14.12.24 (Сб.) || ||
|-
| style="background:#eaecf0;" | '''7''' [[https://www.youtube.com/watch?v=LT_pJ56tVso&list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4&index=7&pp=iAQB Запись]] || [[https://github.com/greedisneutral/NLP-course/blob/master/7.Efficiency/Efficiency_slides.pdf Слайды]] Практические подходы для эффективного обучения и развертывания LLM || 16.12.24 (Пн.) || ||
|-
| style="background:#eaecf0;" | '''8''' [[https://github.com/greedisneutral/NLP-course/blob/master/8.RAG_Tools/NLP%20system%20showcase_whiteboard.pdf Запись]] || [[https://github.com/greedisneutral/NLP-course/blob/master/8.RAG_Tools/RAG_Tools_slides.pdf Слайды], [https://github.com/greedisneutral/NLP-course/blob/master/8.RAG_Tools/NLP%20system%20showcase_whiteboard.pdf Ноутбук]] Retrieval-Augmented (RAG) LLM || 19.12.24 (Чт.) || ||
|}

=== Записи консультаций ===

==Формула оценивания==

=== При участии в устном экзамене ===

Оценка = 0.3*ОУстный экзамен + 0.7*ОДЗ

=== При отказе от устного экзамене ===

Оценка = 1.0*ОДЗ

== Домашние задания ==

'''После выдачи домашнего задания студентам предоставляется 2 (две) недели на выполнение'''.

'''Каждый день просрочки штрафуется 1 баллом от максимальной оценки за соответствующее задание.'''

=== Main Track ===
# Обучение эмбеддингов с помощью библиотеки fasttext, реализация реального движка поиска эмбеддинга-ответа по запросу в векторной БД - Выдана 21.11.24, '''Дедлайн - 23:59 (МСК), 01.12.24 (Вс.)''', [https://github.com/greedisneutral/NLP-course/blob/master/2.Classification/NLP_hw_week_2.ipynb Ноутбук] - Весит 30% от итога
# Тонкая настройка (fine-tuning) BERT на собственных данных // Имплементация GPT 2 - Выдана 03.12.24, '''Дедлайн - 23:59 (МСК), 15.12.24 (Вс.)''', [https://github.com/greedisneutral/NLP-course/blob/master/4.Transformers/HSE_NLP_HW_BERT.ipynb Ноутбук (BERT)], [https://github.com/greedisneutral/NLP-course/blob/master/4.Transformers/HSE_NLP_HW_GPT.ipynb Ноутбук (GPT)] - Весит 20% от итога
# Тонкая настройка LLM (LLAMA 3 8b) с помощью PEFT - Выдана 12.12.24, '''Дедлайн - 23:59 (МСК), 22.12.2024 (Вс.)''', [https://github.com/greedisneutral/NLP-course/blob/master/5.Pretrain_finetune/NLP_seminar_finetuning_raw.ipynb Ноутбук] - Весит 20% от итога

=== Optional Track ===
* Тонкая настройка собственной модели с использованием библиотеки TRL - Выдана 14.12.24, [https://github.com/greedisneutral/NLP-course/blob/master/6.RLHF/HSE_NLP_HW_4_optional.ipynb Ноутбук] - Весит 15% от итога
* Реализация Round-to-Nearest (RTN), Generalized Post-Training Quantization (GPTQ) - Выдано 16.12.24, [https://github.com/greedisneutral/NLP-course/blob/master/7.Efficiency/HSE_NLP_HW_5_optional.ipynb.ipynb Ноутбук] - Весит 15% от итога

== Устный экзамен ==

Программой курса предусмотрен устный экзамен, в рамках которого студентам будет предложено тянуть случайный билет с вопросом по пройденному материалу.

== Автоматы ==
На курсе предусмотрены автоматы:
Если оценка студента за блок “домашние задания” ≥ 4 и устраивает студента, ее можно зачесть в виде автомата.

== Литература ==
#
#
#
#

Автоматическая обработка текста 24/25 (МОВС23)

2024-12-20T09:20:43Z

Saprokhorov 1: add (optional) hws4-5

==О курсе==

NLP — это область искусственного интеллекта, направленная на решение задач, связанных с обработкой человеческого языка, таких как извлечение информации, машинный перевод, автоматическое суммирование и диалоговые системы. За последние годы мы увидели значительный прогресс благодаря статистическому и глубокому обучению. Демонстрация возможностей современных диалоговых систем по типу ChatGPT от OpenAI позволила нам переосмыслить перспективы NLP в повседневной жизни, что привлекло к области внимание как со стороны исследователей и инженеров, так и институциональных инвесторов, готовых финансировать бурный рост отрасли.

Данный курс ставит перед собой следующие цели:
* познакомить слушателя с ключевыми направлениями современного развития области, сформировать понимание запросов, с которыми сталкиваются инженеры и исследователи в повседневной работе.

* развить понимание фундаментальных концепций, необходимых для самостоятельного решения задач как прикладного, так и исследовательского характера.

* познакомить слушателя с инструментами, необходимыми для решения прикладных задач.

Курс основан на материалах [https://github.com/yandexdataschool/nlp_course/tree/2023 Школы Анализа Данных Яндекса (ШАД)], [https://web.stanford.edu/class/cs224n/ CS224n by Stanford], а также личном опыте автора. Курс приоритезирует понимание слушателями пространства существующих на сегодня в отрасли задач и умение их решать над полнотой освещения исторически важных, однако на текущий день устаревших концепций

Занятия проводятся в [https://us06web.zoom.us/j/85123736103?pwd=TbFnaDOVRPyqcVof2vlGbpeub1kDw5.1 Zoom] '''по четвергам в 19:40'''

==Контакты==

Чат курса в TG: [https://t.me/+7ayE2oKTNPg3M2M6 chat link]

Преподаватель: Хажгериев Мурат Анзорович ([https://t.me/greedisneutral @greedisneutral])

{| class="wikitable"
|-
! Ассистент !! Контакты
|-
| style="background:#eaecf0;" | Соня-Аня Никифорова || [https://t.me/sonya_leaf @sonya_leaf]
|-
| style="background:#eaecf0;" | Стас Ивашков || [https://t.me/ps1va @ps1va]
|-
| style="background:#eaecf0;" | Маша Харченко || [https://t.me/mister_autocrat @mister_autocrat]
|-
| style="background:#eaecf0;" | Савелий Прохоров || [https://t.me/Savely_Prokhorov @Savely_Prokhorov]
|}

==Материалы курса==
Ссылка на плейлист курса на YouTube: [https://www.youtube.com/playlist?list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4 YouTube-playlist]

Ссылка на плейлист в VK: [https://vk.com/video/playlist/-227011779_15 VK Видео]

Ссылка на GitHub с материалами курса: [https://github.com/greedisneutral/NLP-course GitHub repository]

{| class="wikitable"
|-
! Занятие !! Тема !! Дата !! Материалы для самоподготовки к семинарам !! Дополнительные материалы
|-
| style="background:#eaecf0;" | '''1''' [[https://www.youtube.com/watch?v=QSLSIiQ6Mcs&list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4&index=2&pp=iAQB Запись, YouTube]] || [[https://github.com/greedisneutral/NLP-course/blob/master/1.Embeddings/Word_Embeddings.pdf Слайды], [https://github.com/greedisneutral/NLP-course/blob/master/1.Embeddings/NLP_seminar_week_1.ipynb Тетрадка]] Карта задач и методов NLP, эмбеддинги слов (word embeddings) || 06.11.24 (Ср.) || ||
|-
| style="background:#eaecf0;" | '''2''' [[https://www.youtube.com/watch?v=QjmqbOe84vY&list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4&index=1&pp=iAQB Запись, YouTube]] || [[https://github.com/greedisneutral/NLP-course/blob/master/2.Classification/Classification.pdf Слайды], [https://github.com/greedisneutral/NLP-course/blob/master/2.Classification/NLP_seminar_week_2.ipynb Тетрадка]] Классификация текста || 14.11.24 (Чт.) || ||
|-
| style="background:#eaecf0;" | '''3''' [[https://www.youtube.com/watch?v=q9EUpCF97VI&list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4&index=3&pp=iAQB Запись]] || [[https://github.com/greedisneutral/NLP-course/blob/master/3.Seq2seq/seq2seq_attention.pdf Слайды], [https://github.com/greedisneutral/NLP-course/blob/master/3.Seq2seq/NLP_seminar_week_3.ipynb Тетрадка], [https://github.com/greedisneutral/NLP-course/blob/master/3.Seq2seq/seq2seq_attention_whiteboard.pdf Доска]] Seq2seq, Трансформер и механим внимания || 21.11.24 (Чт.) || || [https://colah.github.io/posts/2015-08-Understanding-LSTMs/ Ссылка] на качественное объяснение того, как работает LSTM (да и RNN вообще)
|-
| style="background:#eaecf0;" | '''4''' [[https://www.youtube.com/watch?v=RFdDgHDiKMs&list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4&index=4&pp=iAQB Запись]] || [[https://github.com/greedisneutral/NLP-course/blob/master/4.Transformers/Transformers.pdf Слайды], [https://github.com/greedisneutral/NLP-course/blob/master/4.Transformers/HSE_NLP_seminar_4.ipynb Ноутбук]] Transfer learning: BERT, ELMO, GPT || 28.11.24 (Чт.) ||
Замечательный [https://jalammar.github.io/illustrated-transformer/ разбор] архитектуры от Джея Аламмара

Прекрасный [https://lena-voita.github.io/nlp_course/seq2seq_and_attention.html разбор] от Лены Войты в рамках NLP Course | For You

Уже ставшая бородатой [https://arxiv.org/abs/1706.03762 оригинальная статья] Attention is all you need
||
|-
| style="background:#eaecf0;" | '''5''' [[https://www.youtube.com/watch?v=Mi21czVUyCo&list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4&index=5&pp=iAQB Запись]] || [[https://github.com/greedisneutral/NLP-course/blob/master/5.Pretrain_finetune/Pretrain_finetune_slides.pdf Слайды], [https://github.com/greedisneutral/NLP-course/blob/master/5.Pretrain_finetune/NLP_seminar_finetuning_raw.ipynb Ноутбук], [https://github.com/greedisneutral/NLP-course/blob/master/5.Pretrain_finetune/Pretrain_finetune_whiteboard.pdf Доска]] Обучение Больших языковых моделей (Large Language Models): Обучение с нуля vs Тонкая настройка (finetuning) || 12.12.24 (Чт.) || ||
|-
| style="background:#eaecf0;" | '''6''' [[https://www.youtube.com/watch?v=C5HRjlQLMBM&list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4&index=6&pp=iAQB Запись]] || [[https://github.com/greedisneutral/NLP-course/blob/master/6.RLHF/RLHF_slides.pdf Слайды], [https://github.com/greedisneutral/NLP-course/blob/master/6.RLHF/HSE_NLP_HW_4_optional.ipynb Ноутбук], [https://github.com/greedisneutral/NLP-course/blob/master/6.RLHF/RLHF_whiteboard.pdf Доска]] Reinforcement Learning From Human Feedback (RLHF), Direct Preference Optimization (DPO) || 14.12.24 (Сб.) || ||
|-
| style="background:#eaecf0;" | '''7''' [[https://www.youtube.com/watch?v=LT_pJ56tVso&list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4&index=7&pp=iAQB Запись]] || [[https://github.com/greedisneutral/NLP-course/blob/master/7.Efficiency/Efficiency_slides.pdf Слайды]] Практические подходы для эффективного обучения и развертывания LLM || 16.12.24 (Пн.) || ||
|-
| style="background:#eaecf0;" | '''8''' [[https://github.com/greedisneutral/NLP-course/blob/master/8.RAG_Tools/NLP%20system%20showcase_whiteboard.pdf Запись]] || [[https://github.com/greedisneutral/NLP-course/blob/master/8.RAG_Tools/RAG_Tools_slides.pdf Слайды], [https://github.com/greedisneutral/NLP-course/blob/master/8.RAG_Tools/NLP%20system%20showcase_whiteboard.pdf Ноутбук]] Retrieval-Augmented (RAG) LLM || 19.12.24 (Чт.) || ||
|}

=== Записи консультаций ===

==Формула оценивания==

=== При участии в устном экзамене ===

Оценка = 0.3*ОУстный экзамен + 0.7*ОДЗ

=== При отказе от устного экзамене ===

Оценка = 1.0*ОДЗ

== Домашние задания ==

'''После выдачи домашнего задания студентам предоставляется 2 (две) недели на выполнение'''.

'''Каждый день просрочки штрафуется 1 баллом от максимальной оценки за соответствующее задание.'''

=== Main Track ===
# Обучение эмбеддингов с помощью библиотеки fasttext, реализация реального движка поиска эмбеддинга-ответа по запросу в векторной БД - Выдана 21.11.24, '''Дедлайн - 23:59 (МСК), 01.12.24 (Вс.)''', [https://github.com/greedisneutral/NLP-course/blob/master/2.Classification/NLP_hw_week_2.ipynb Ноутбук] - Весит 30% от итога
# Тонкая настройка (fine-tuning) BERT на собственных данных // Имплементация GPT 2 - Выдана 03.12.24, '''Дедлайн - 23:59 (МСК), 15.12.24 (Вс.)''', [https://github.com/greedisneutral/NLP-course/blob/master/4.Transformers/HSE_NLP_HW_BERT.ipynb Ноутбук (BERT)], [https://github.com/greedisneutral/NLP-course/blob/master/4.Transformers/HSE_NLP_HW_GPT.ipynb Ноутбук (GPT)] - Весит 20% от итога
# Тонкая настройка LLM (LLAMA 3 8b) с помощью PEFT - Выдана 12.12.24, '''Дедлайн - 23:59 (МСК), 22.12.2024 (Вс.)''', [https://github.com/greedisneutral/NLP-course/blob/master/5.Pretrain_finetune/NLP_seminar_finetuning_raw.ipynb Ноутбук] - Весит 20% от итога

=== Optional Track ===
* Тонкая настройка собственной модели с использованием библиотеки TRL - Выдана 14.12.24, [https://github.com/greedisneutral/NLP-course/blob/master/6.RLHF/HSE_NLP_HW_4_optional.ipynb Ноутбук] - Весит 15% от итога
* Реализация Round-to-Nearest (RTN), Generalized Post-Training Quantization (GPTQ) - Выдано 16.12.24, [https://github.com/greedisneutral/NLP-course/blob/master/7.Efficiency/HSE_NLP_HW_5_optional.ipynb.ipynb Ноутбук] - Весит 15% от итога

== Устный экзамен ==

Программой курса предусмотрен устный экзамен, в рамках которого студентам будет предложено тянуть случайный билет с вопросом по пройденному материалу.

== Автоматы ==
На курсе предусмотрены автоматы:
Если оценка студента за блок “домашние задания” ≥ 4 и устраивает студента, ее можно зачесть в виде автомата.

== Литература ==
#
#
#
#

Автоматическая обработка текста 24/25 (МОВС23)

2024-12-20T09:18:13Z

Saprokhorov 1: add hw3

==О курсе==

NLP — это область искусственного интеллекта, направленная на решение задач, связанных с обработкой человеческого языка, таких как извлечение информации, машинный перевод, автоматическое суммирование и диалоговые системы. За последние годы мы увидели значительный прогресс благодаря статистическому и глубокому обучению. Демонстрация возможностей современных диалоговых систем по типу ChatGPT от OpenAI позволила нам переосмыслить перспективы NLP в повседневной жизни, что привлекло к области внимание как со стороны исследователей и инженеров, так и институциональных инвесторов, готовых финансировать бурный рост отрасли.

Данный курс ставит перед собой следующие цели:
* познакомить слушателя с ключевыми направлениями современного развития области, сформировать понимание запросов, с которыми сталкиваются инженеры и исследователи в повседневной работе.

* развить понимание фундаментальных концепций, необходимых для самостоятельного решения задач как прикладного, так и исследовательского характера.

* познакомить слушателя с инструментами, необходимыми для решения прикладных задач.

Курс основан на материалах [https://github.com/yandexdataschool/nlp_course/tree/2023 Школы Анализа Данных Яндекса (ШАД)], [https://web.stanford.edu/class/cs224n/ CS224n by Stanford], а также личном опыте автора. Курс приоритезирует понимание слушателями пространства существующих на сегодня в отрасли задач и умение их решать над полнотой освещения исторически важных, однако на текущий день устаревших концепций

Занятия проводятся в [https://us06web.zoom.us/j/85123736103?pwd=TbFnaDOVRPyqcVof2vlGbpeub1kDw5.1 Zoom] '''по четвергам в 19:40'''

==Контакты==

Чат курса в TG: [https://t.me/+7ayE2oKTNPg3M2M6 chat link]

Преподаватель: Хажгериев Мурат Анзорович ([https://t.me/greedisneutral @greedisneutral])

{| class="wikitable"
|-
! Ассистент !! Контакты
|-
| style="background:#eaecf0;" | Соня-Аня Никифорова || [https://t.me/sonya_leaf @sonya_leaf]
|-
| style="background:#eaecf0;" | Стас Ивашков || [https://t.me/ps1va @ps1va]
|-
| style="background:#eaecf0;" | Маша Харченко || [https://t.me/mister_autocrat @mister_autocrat]
|-
| style="background:#eaecf0;" | Савелий Прохоров || [https://t.me/Savely_Prokhorov @Savely_Prokhorov]
|}

==Материалы курса==
Ссылка на плейлист курса на YouTube: [https://www.youtube.com/playlist?list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4 YouTube-playlist]

Ссылка на плейлист в VK: [https://vk.com/video/playlist/-227011779_15 VK Видео]

Ссылка на GitHub с материалами курса: [https://github.com/greedisneutral/NLP-course GitHub repository]

{| class="wikitable"
|-
! Занятие !! Тема !! Дата !! Материалы для самоподготовки к семинарам !! Дополнительные материалы
|-
| style="background:#eaecf0;" | '''1''' [[https://www.youtube.com/watch?v=QSLSIiQ6Mcs&list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4&index=2&pp=iAQB Запись, YouTube]] || [[https://github.com/greedisneutral/NLP-course/blob/master/1.Embeddings/Word_Embeddings.pdf Слайды], [https://github.com/greedisneutral/NLP-course/blob/master/1.Embeddings/NLP_seminar_week_1.ipynb Тетрадка]] Карта задач и методов NLP, эмбеддинги слов (word embeddings) || 06.11.24 (Ср.) || ||
|-
| style="background:#eaecf0;" | '''2''' [[https://www.youtube.com/watch?v=QjmqbOe84vY&list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4&index=1&pp=iAQB Запись, YouTube]] || [[https://github.com/greedisneutral/NLP-course/blob/master/2.Classification/Classification.pdf Слайды], [https://github.com/greedisneutral/NLP-course/blob/master/2.Classification/NLP_seminar_week_2.ipynb Тетрадка]] Классификация текста || 14.11.24 (Чт.) || ||
|-
| style="background:#eaecf0;" | '''3''' [[https://www.youtube.com/watch?v=q9EUpCF97VI&list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4&index=3&pp=iAQB Запись]] || [[https://github.com/greedisneutral/NLP-course/blob/master/3.Seq2seq/seq2seq_attention.pdf Слайды], [https://github.com/greedisneutral/NLP-course/blob/master/3.Seq2seq/NLP_seminar_week_3.ipynb Тетрадка], [https://github.com/greedisneutral/NLP-course/blob/master/3.Seq2seq/seq2seq_attention_whiteboard.pdf Доска]] Seq2seq, Трансформер и механим внимания || 21.11.24 (Чт.) || || [https://colah.github.io/posts/2015-08-Understanding-LSTMs/ Ссылка] на качественное объяснение того, как работает LSTM (да и RNN вообще)
|-
| style="background:#eaecf0;" | '''4''' [[https://www.youtube.com/watch?v=RFdDgHDiKMs&list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4&index=4&pp=iAQB Запись]] || [[https://github.com/greedisneutral/NLP-course/blob/master/4.Transformers/Transformers.pdf Слайды], [https://github.com/greedisneutral/NLP-course/blob/master/4.Transformers/HSE_NLP_seminar_4.ipynb Ноутбук]] Transfer learning: BERT, ELMO, GPT || 28.11.24 (Чт.) ||
Замечательный [https://jalammar.github.io/illustrated-transformer/ разбор] архитектуры от Джея Аламмара

Прекрасный [https://lena-voita.github.io/nlp_course/seq2seq_and_attention.html разбор] от Лены Войты в рамках NLP Course | For You

Уже ставшая бородатой [https://arxiv.org/abs/1706.03762 оригинальная статья] Attention is all you need
||
|-
| style="background:#eaecf0;" | '''5''' [[https://www.youtube.com/watch?v=Mi21czVUyCo&list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4&index=5&pp=iAQB Запись]] || [[https://github.com/greedisneutral/NLP-course/blob/master/5.Pretrain_finetune/Pretrain_finetune_slides.pdf Слайды], [https://github.com/greedisneutral/NLP-course/blob/master/5.Pretrain_finetune/NLP_seminar_finetuning_raw.ipynb Ноутбук], [https://github.com/greedisneutral/NLP-course/blob/master/5.Pretrain_finetune/Pretrain_finetune_whiteboard.pdf Доска]] Обучение Больших языковых моделей (Large Language Models): Обучение с нуля vs Тонкая настройка (finetuning) || 12.12.24 (Чт.) || ||
|-
| style="background:#eaecf0;" | '''6''' [[https://www.youtube.com/watch?v=C5HRjlQLMBM&list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4&index=6&pp=iAQB Запись]] || [[https://github.com/greedisneutral/NLP-course/blob/master/6.RLHF/RLHF_slides.pdf Слайды], [https://github.com/greedisneutral/NLP-course/blob/master/6.RLHF/HSE_NLP_HW_4_optional.ipynb Ноутбук], [https://github.com/greedisneutral/NLP-course/blob/master/6.RLHF/RLHF_whiteboard.pdf Доска]] Reinforcement Learning From Human Feedback (RLHF), Direct Preference Optimization (DPO) || 14.12.24 (Сб.) || ||
|-
| style="background:#eaecf0;" | '''7''' [[https://www.youtube.com/watch?v=LT_pJ56tVso&list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4&index=7&pp=iAQB Запись]] || [[https://github.com/greedisneutral/NLP-course/blob/master/7.Efficiency/Efficiency_slides.pdf Слайды]] Практические подходы для эффективного обучения и развертывания LLM || 16.12.24 (Пн.) || ||
|-
| style="background:#eaecf0;" | '''8''' [[https://github.com/greedisneutral/NLP-course/blob/master/8.RAG_Tools/NLP%20system%20showcase_whiteboard.pdf Запись]] || [[https://github.com/greedisneutral/NLP-course/blob/master/8.RAG_Tools/RAG_Tools_slides.pdf Слайды], [https://github.com/greedisneutral/NLP-course/blob/master/8.RAG_Tools/NLP%20system%20showcase_whiteboard.pdf Ноутбук]] Retrieval-Augmented (RAG) LLM || 19.12.24 (Чт.) || ||
|}

=== Записи консультаций ===

==Формула оценивания==

=== При участии в устном экзамене ===

Оценка = 0.3*ОУстный экзамен + 0.7*ОДЗ

=== При отказе от устного экзамене ===

Оценка = 1.0*ОДЗ

== Домашние задания ==

'''После выдачи домашнего задания студентам предоставляется 2 (две) недели на выполнение'''.

'''Каждый день просрочки штрафуется 1 баллом от максимальной оценки за соответствующее задание.'''

=== Main Track ===
# Обучение эмбеддингов с помощью библиотеки fasttext, реализация реального движка поиска эмбеддинга-ответа по запросу в векторной БД - Выдана 21.11.24, '''Дедлайн - 23:59 (МСК), 01.12.24 (Вс.)''', [https://github.com/greedisneutral/NLP-course/blob/master/2.Classification/NLP_hw_week_2.ipynb Ноутбук] - Весит 30% от итога
# Тонкая настройка (fine-tuning) BERT на собственных данных // Имплементация GPT 2 - Выдана 03.12.24, '''Дедлайн - 23:59 (МСК), 15.12.24 (Вс.)''', [https://github.com/greedisneutral/NLP-course/blob/master/4.Transformers/HSE_NLP_HW_BERT.ipynb Ноутбук (BERT)], [https://github.com/greedisneutral/NLP-course/blob/master/4.Transformers/HSE_NLP_HW_GPT.ipynb Ноутбук (GPT)] - Весит 20% от итога
# Тонкая настройка LLM (LLAMA 3 8b) с помощью PEFT - Выдана 12.12.24, '''Дедлайн - 23:59 (МСК), 22.12.2024 (Вс.)''', [https://github.com/greedisneutral/NLP-course/blob/master/5.Pretrain_finetune/NLP_seminar_finetuning_raw.ipynb Ноутбук] - Весит 20% от итога

=== Optional Track ===
* Тонкая настройка собственной модели с использованием библиотеки TRL - Выдаётся на неделе 6 - Весит 15% от итога
* Реализация Round-to-Nearest (RTN), Generalized Post-Training Quantization (GPTQ) - Выдаётся на неделе 7 - Весит 15% от итога

== Устный экзамен ==

Программой курса предусмотрен устный экзамен, в рамках которого студентам будет предложено тянуть случайный билет с вопросом по пройденному материалу.

== Автоматы ==
На курсе предусмотрены автоматы:
Если оценка студента за блок “домашние задания” ≥ 4 и устраивает студента, ее можно зачесть в виде автомата.

== Литература ==
#
#
#
#

Автоматическая обработка текста 24/25 (МОВС23)

2024-12-20T09:05:55Z

Saprokhorov 1: upd links

==О курсе==

NLP — это область искусственного интеллекта, направленная на решение задач, связанных с обработкой человеческого языка, таких как извлечение информации, машинный перевод, автоматическое суммирование и диалоговые системы. За последние годы мы увидели значительный прогресс благодаря статистическому и глубокому обучению. Демонстрация возможностей современных диалоговых систем по типу ChatGPT от OpenAI позволила нам переосмыслить перспективы NLP в повседневной жизни, что привлекло к области внимание как со стороны исследователей и инженеров, так и институциональных инвесторов, готовых финансировать бурный рост отрасли.

Данный курс ставит перед собой следующие цели:
* познакомить слушателя с ключевыми направлениями современного развития области, сформировать понимание запросов, с которыми сталкиваются инженеры и исследователи в повседневной работе.

* развить понимание фундаментальных концепций, необходимых для самостоятельного решения задач как прикладного, так и исследовательского характера.

* познакомить слушателя с инструментами, необходимыми для решения прикладных задач.

Курс основан на материалах [https://github.com/yandexdataschool/nlp_course/tree/2023 Школы Анализа Данных Яндекса (ШАД)], [https://web.stanford.edu/class/cs224n/ CS224n by Stanford], а также личном опыте автора. Курс приоритезирует понимание слушателями пространства существующих на сегодня в отрасли задач и умение их решать над полнотой освещения исторически важных, однако на текущий день устаревших концепций

Занятия проводятся в [https://us06web.zoom.us/j/85123736103?pwd=TbFnaDOVRPyqcVof2vlGbpeub1kDw5.1 Zoom] '''по четвергам в 19:40'''

==Контакты==

Чат курса в TG: [https://t.me/+7ayE2oKTNPg3M2M6 chat link]

Преподаватель: Хажгериев Мурат Анзорович ([https://t.me/greedisneutral @greedisneutral])

{| class="wikitable"
|-
! Ассистент !! Контакты
|-
| style="background:#eaecf0;" | Соня-Аня Никифорова || [https://t.me/sonya_leaf @sonya_leaf]
|-
| style="background:#eaecf0;" | Стас Ивашков || [https://t.me/ps1va @ps1va]
|-
| style="background:#eaecf0;" | Маша Харченко || [https://t.me/mister_autocrat @mister_autocrat]
|-
| style="background:#eaecf0;" | Савелий Прохоров || [https://t.me/Savely_Prokhorov @Savely_Prokhorov]
|}

==Материалы курса==
Ссылка на плейлист курса на YouTube: [https://www.youtube.com/playlist?list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4 YouTube-playlist]

Ссылка на плейлист в VK: [https://vk.com/video/playlist/-227011779_15 VK Видео]

Ссылка на GitHub с материалами курса: [https://github.com/greedisneutral/NLP-course GitHub repository]

{| class="wikitable"
|-
! Занятие !! Тема !! Дата !! Материалы для самоподготовки к семинарам !! Дополнительные материалы
|-
| style="background:#eaecf0;" | '''1''' [[https://www.youtube.com/watch?v=QSLSIiQ6Mcs&list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4&index=2&pp=iAQB Запись, YouTube]] || [[https://github.com/greedisneutral/NLP-course/blob/master/1.Embeddings/Word_Embeddings.pdf Слайды], [https://github.com/greedisneutral/NLP-course/blob/master/1.Embeddings/NLP_seminar_week_1.ipynb Тетрадка]] Карта задач и методов NLP, эмбеддинги слов (word embeddings) || 06.11.24 (Ср.) || ||
|-
| style="background:#eaecf0;" | '''2''' [[https://www.youtube.com/watch?v=QjmqbOe84vY&list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4&index=1&pp=iAQB Запись, YouTube]] || [[https://github.com/greedisneutral/NLP-course/blob/master/2.Classification/Classification.pdf Слайды], [https://github.com/greedisneutral/NLP-course/blob/master/2.Classification/NLP_seminar_week_2.ipynb Тетрадка]] Классификация текста || 14.11.24 (Чт.) || ||
|-
| style="background:#eaecf0;" | '''3''' [[https://www.youtube.com/watch?v=q9EUpCF97VI&list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4&index=3&pp=iAQB Запись]] || [[https://github.com/greedisneutral/NLP-course/blob/master/3.Seq2seq/seq2seq_attention.pdf Слайды], [https://github.com/greedisneutral/NLP-course/blob/master/3.Seq2seq/NLP_seminar_week_3.ipynb Тетрадка], [https://github.com/greedisneutral/NLP-course/blob/master/3.Seq2seq/seq2seq_attention_whiteboard.pdf Доска]] Seq2seq, Трансформер и механим внимания || 21.11.24 (Чт.) || || [https://colah.github.io/posts/2015-08-Understanding-LSTMs/ Ссылка] на качественное объяснение того, как работает LSTM (да и RNN вообще)
|-
| style="background:#eaecf0;" | '''4''' [[https://www.youtube.com/watch?v=RFdDgHDiKMs&list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4&index=4&pp=iAQB Запись]] || [[https://github.com/greedisneutral/NLP-course/blob/master/4.Transformers/Transformers.pdf Слайды], [https://github.com/greedisneutral/NLP-course/blob/master/4.Transformers/HSE_NLP_seminar_4.ipynb Ноутбук]] Transfer learning: BERT, ELMO, GPT || 28.11.24 (Чт.) ||
Замечательный [https://jalammar.github.io/illustrated-transformer/ разбор] архитектуры от Джея Аламмара

Прекрасный [https://lena-voita.github.io/nlp_course/seq2seq_and_attention.html разбор] от Лены Войты в рамках NLP Course | For You

Уже ставшая бородатой [https://arxiv.org/abs/1706.03762 оригинальная статья] Attention is all you need
||
|-
| style="background:#eaecf0;" | '''5''' [[https://www.youtube.com/watch?v=Mi21czVUyCo&list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4&index=5&pp=iAQB Запись]] || [[https://github.com/greedisneutral/NLP-course/blob/master/5.Pretrain_finetune/Pretrain_finetune_slides.pdf Слайды], [https://github.com/greedisneutral/NLP-course/blob/master/5.Pretrain_finetune/NLP_seminar_finetuning_raw.ipynb Ноутбук], [https://github.com/greedisneutral/NLP-course/blob/master/5.Pretrain_finetune/Pretrain_finetune_whiteboard.pdf Доска]] Обучение Больших языковых моделей (Large Language Models): Обучение с нуля vs Тонкая настройка (finetuning) || 12.12.24 (Чт.) || ||
|-
| style="background:#eaecf0;" | '''6''' [[https://www.youtube.com/watch?v=C5HRjlQLMBM&list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4&index=6&pp=iAQB Запись]] || [[https://github.com/greedisneutral/NLP-course/blob/master/6.RLHF/RLHF_slides.pdf Слайды], [https://github.com/greedisneutral/NLP-course/blob/master/6.RLHF/HSE_NLP_HW_4_optional.ipynb Ноутбук], [https://github.com/greedisneutral/NLP-course/blob/master/6.RLHF/RLHF_whiteboard.pdf Доска]] Reinforcement Learning From Human Feedback (RLHF), Direct Preference Optimization (DPO) || 14.12.24 (Сб.) || ||
|-
| style="background:#eaecf0;" | '''7''' [[https://www.youtube.com/watch?v=LT_pJ56tVso&list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4&index=7&pp=iAQB Запись]] || [[https://github.com/greedisneutral/NLP-course/blob/master/7.Efficiency/Efficiency_slides.pdf Слайды]] Практические подходы для эффективного обучения и развертывания LLM || 16.12.24 (Пн.) || ||
|-
| style="background:#eaecf0;" | '''8''' [[https://github.com/greedisneutral/NLP-course/blob/master/8.RAG_Tools/NLP%20system%20showcase_whiteboard.pdf Запись]] || [[https://github.com/greedisneutral/NLP-course/blob/master/8.RAG_Tools/RAG_Tools_slides.pdf Слайды], [https://github.com/greedisneutral/NLP-course/blob/master/8.RAG_Tools/NLP%20system%20showcase_whiteboard.pdf Ноутбук]] Retrieval-Augmented (RAG) LLM || 19.12.24 (Чт.) || ||
|}

=== Записи консультаций ===

==Формула оценивания==

=== При участии в устном экзамене ===

Оценка = 0.3*ОУстный экзамен + 0.7*ОДЗ

=== При отказе от устного экзамене ===

Оценка = 1.0*ОДЗ

== Домашние задания ==

'''После выдачи домашнего задания студентам предоставляется 2 (две) недели на выполнение'''.

'''Каждый день просрочки штрафуется 1 баллом от максимальной оценки за соответствующее задание.'''

=== Main Track ===
# Обучение эмбеддингов с помощью библиотеки fasttext, реализация реального движка поиска эмбеддинга-ответа по запросу в векторной БД - Выдана 21.11.24, '''Дедлайн - 23:59 (МСК), 01.12.24 (Вс.)''', [https://github.com/greedisneutral/NLP-course/blob/master/2.Classification/NLP_hw_week_2.ipynb Ноутбук] - Весит 30% от итога
# Тонкая настройка (fine-tuning) BERT на собственных данных // Имплементация GPT 2 - Выдана 03.12.24, '''Дедлайн - 23:59 (МСК), 15.12.24 (Вс.)''', [https://github.com/greedisneutral/NLP-course/blob/master/4.Transformers/HSE_NLP_HW_BERT.ipynb Ноутбук (BERT)], [https://github.com/greedisneutral/NLP-course/blob/master/4.Transformers/HSE_NLP_HW_GPT.ipynb Ноутбук (GPT)] - Весит 20% от итога
# Тонкая настройка LLM (LLAMA 3 8b) с помощью PEFT - Выдаётся на неделе 5 - Весит 20% от итога

=== Optional Track ===
* Тонкая настройка собственной модели с использованием библиотеки TRL - Выдаётся на неделе 6 - Весит 15% от итога
* Реализация Round-to-Nearest (RTN), Generalized Post-Training Quantization (GPTQ) - Выдаётся на неделе 7 - Весит 15% от итога

== Устный экзамен ==

Программой курса предусмотрен устный экзамен, в рамках которого студентам будет предложено тянуть случайный билет с вопросом по пройденному материалу.

== Автоматы ==
На курсе предусмотрены автоматы:
Если оценка студента за блок “домашние задания” ≥ 4 и устраивает студента, ее можно зачесть в виде автомата.

== Литература ==
#
#
#
#

ML System Design 24/25 (МОВС23)

2024-12-20T08:52:33Z

Saprokhorov 1: add slides links

==О курсе==

''Курс "ML System Design" посвящён практическим знаниям и навыкам, необходимых для проектирования и разработки масштабируемых систем машинного обучения. Слушатели курс получат итеративный фреймворк для разработки надёжных, масштабируемых, развертываемых ML-систем''

Занятия проводятся в [https://us06web.zoom.us/j/83596901782?pwd=vyNnobAPbaf3n37XG6RJ8Y4KAePMv4.1 Zoom] '''по средам в 18:10'''

==Контакты==

Чат курса в TG: [https://t.me/+iofkw6XUSSVkNzEy chat link]

Преподаватель: Теванян Элен Арамовна ([https://www.hse.ru/org/persons/46745470/ Страничка преподавателя ВШЭ])

{| class="wikitable"
|-
! Ассистент !! Контакты
|-
| style="background:#eaecf0;" | Савелий Прохоров || [https://t.me/Savely_Prokhorov @Savely_Prokhorov]
|-
| style="background:#eaecf0;" | Мурат Хажгериев || [https://t.me/greedisneutral @greedisneutral]
|-
| style="background:#eaecf0;" | Григорий Кузнецов || [https://t.me/growa @growa]
|}

==Материалы курса==
Ссылка на плейлист курса на YouTube: [https://www.youtube.com/playlist?list=PLmA-1xX7IuzAhYdXKcYnea4VnmeeIynx8 YouTube-playlist]

Плелист в VK Видео: [https://vkvideo.ru/playlist/-227011779_23 VK Видео]

Ссылка на GDrive с материалами курса: [https://drive.google.com/drive/folders/1VakrUsTXcRU-ljEMT0srIwsuTbY3pjab?usp=drive_link GDrive]

{| class="wikitable"
|-
! Занятие !! Тема !! Дата !! Материалы для самоподготовки к семинарам !! Дополнительные материалы
|-
| style="background:#eaecf0;" | '''1''' [[https://vkvideo.ru/playlist/-227011779_23/video-227011779_456239170 Запись, VK] | [https://www.youtube.com/watch?v=oi-HqYGkFBo&list=PLmA-1xX7IuzAhYdXKcYnea4VnmeeIynx8&index=4&pp=iAQB Запись, YouTube]] || [[https://drive.google.com/file/d/1mXKZqVoCJLgMV9XlulRmJFSwoJn9EnbC/view?usp=sharing Слайды]] Введение в дизайн систем машинного обучения || 20.11.24 (Ср.) || ||
|-
| style="background:#eaecf0;" | '''2''' [[https://vkvideo.ru/playlist/-227011779_23/video-227011779_456239189 Запись, VK] | [https://www.youtube.com/watch?v=EeB3GelSqvw&list=PLmA-1xX7IuzAhYdXKcYnea4VnmeeIynx8&index=3&pp=iAQB Запись, YouTube]] || [[https://drive.google.com/file/d/1mqAUp2LtjZi0tkdcxk-F2kvClYdCvZDU/view?usp=drive_link Слайды]] Датасеты и инжиниринг признаков || 26.11.24 (Вт.) || ||
|-
| style="background:#eaecf0;" | '''3''' [[https://vkvideo.ru/playlist/-227011779_23/video-227011779_456239210 Запись, VK] | [https://www.youtube.com/watch?v=sOPBVpRSHuM&list=PLmA-1xX7IuzAhYdXKcYnea4VnmeeIynx8&index=2&pp=iAQB Запись, YouTube]] || [[https://drive.google.com/file/d/1fsqH4DCa-Gs1SMR9vVNe7ws3mU2HSpui/view?usp=drive_link Слайды]] Выбор моделей и обучение моделей || 03.12.24 (Вт.) || ||
|-
| style="background:#eaecf0;" | '''4''' [[https://vkvideo.ru/playlist/-227011779_23/video-227011779_456239215 Запись, VK] | [https://www.youtube.com/watch?v=3ooOAYHsBdk&list=PLmA-1xX7IuzAhYdXKcYnea4VnmeeIynx8&index=1&pp=iAQB Запись, YouTube]] || [[https://drive.google.com/file/d/1Cabe-ytWPo4Cpvmgmg3HnBEpNqE9O8O5/view?usp=drive_link Слайды]] Оценка моделей || 04.12.24 (Ср.) || ||
|-
| style="background:#eaecf0;" | '''5''' [[https://vkvideo.ru/playlist/-227011779_23/video-227011779_456239232 Запись, VK] | [https://www.youtube.com/watch?v=_bJI6dhqxlQ&list=PLmA-1xX7IuzAhYdXKcYnea4VnmeeIynx8&index=1&pp=iAQB Запись, YouTube]] || [[ Слайды]] Диагностика проблем и мониторинг ML-систем || 11.12.24 (Ср.) || ||
|-
| style="background:#eaecf0;" | '''6''' [[https://vkvideo.ru/playlist/-227011779_23/video-227011779_456239251 Запись, VK] | [https://www.youtube.com/watch?v=6JBkKVgnxs0&list=PLmA-1xX7IuzAhYdXKcYnea4VnmeeIynx8&index=6&pp=iAQB Запись, YouTube]] || [[https://drive.google.com/file/d/1qKTYXG1iy9OkSm7ODdwCwwFpkrW56Y3r/view?usp=drive_link Слайды]] Деплой ML-систем || 17.12.24 (Вт.) || ||
|-
| style="background:#eaecf0;" | '''7''' [[ Запись, VK] | [Запись, YouTube]] || [[ Слайды]] Инфраструктура для машинного обучения и ML-платформы || 18.12.24 (Ср.) || ||
|}

=== Записи консультаций ===

==Формула оценивания==

Оценка = 0.4*ОДЗ + 0.6*ОПроект

== Формы контроля ==
[https://anytask.org/course/1157 Anytask]: инвайт - <code>i2lFfXn</code>

* '''Домашнее задание''' | [https://docs.google.com/document/d/1zKPToSFLBbYtXLhA2s-sl0EysEuqhi2eC4VoDvgYgeg/edit?usp=sharing GDoc] - Представляет собой небольшую текстовую работу и блок-схему, в которых надо отразить пройденный материал на примере предложенных ML-задач. Допустимы инициативные темы. - Выдано 08.12.24, - '''Мягкий дедлайн - 16.12.24, 23:30 МСК''', ''Жесткий - 23.12.24, 23:30 МСК''
* '''Проект''' - Представляет собой расширенную версию ДЗ по проблеме, отличной от ДЗ, с проработкой всех вопросов, рассмотренных на курсе - Выдается после 6-го // 7-го занятия

== Литература ==
# Nguyễn, C. (2022). Designing Machine Learning Systems. O'Reilly Media
# Babushkin, V., & Kravchenko, A. (2023). Machine Learning System Design: With End-to-End Examples. Independently published.

ML System Design 24/25 (МОВС23)

2024-12-20T08:45:22Z

Saprokhorov 1: add videos links

==О курсе==

''Курс "ML System Design" посвящён практическим знаниям и навыкам, необходимых для проектирования и разработки масштабируемых систем машинного обучения. Слушатели курс получат итеративный фреймворк для разработки надёжных, масштабируемых, развертываемых ML-систем''

Занятия проводятся в [https://us06web.zoom.us/j/83596901782?pwd=vyNnobAPbaf3n37XG6RJ8Y4KAePMv4.1 Zoom] '''по средам в 18:10'''

==Контакты==

Чат курса в TG: [https://t.me/+iofkw6XUSSVkNzEy chat link]

Преподаватель: Теванян Элен Арамовна ([https://www.hse.ru/org/persons/46745470/ Страничка преподавателя ВШЭ])

{| class="wikitable"
|-
! Ассистент !! Контакты
|-
| style="background:#eaecf0;" | Савелий Прохоров || [https://t.me/Savely_Prokhorov @Savely_Prokhorov]
|-
| style="background:#eaecf0;" | Мурат Хажгериев || [https://t.me/greedisneutral @greedisneutral]
|-
| style="background:#eaecf0;" | Григорий Кузнецов || [https://t.me/growa @growa]
|}

==Материалы курса==
Ссылка на плейлист курса на YouTube: [https://www.youtube.com/playlist?list=PLmA-1xX7IuzAhYdXKcYnea4VnmeeIynx8 YouTube-playlist]

Плелист в VK Видео: [https://vkvideo.ru/playlist/-227011779_23 VK Видео]

Ссылка на GDrive с материалами курса: [[ GDrive]]

{| class="wikitable"
|-
! Занятие !! Тема !! Дата !! Материалы для самоподготовки к семинарам !! Дополнительные материалы
|-
| style="background:#eaecf0;" | '''1''' [[https://vkvideo.ru/playlist/-227011779_23/video-227011779_456239170 Запись, VK] | [https://www.youtube.com/watch?v=oi-HqYGkFBo&list=PLmA-1xX7IuzAhYdXKcYnea4VnmeeIynx8&index=4&pp=iAQB Запись, YouTube]] || [[ Слайды]] Введение в дизайн систем машинного обучения || 20.11.24 (Ср.) || ||
|-
| style="background:#eaecf0;" | '''2''' [[https://vkvideo.ru/playlist/-227011779_23/video-227011779_456239189 Запись, VK] | [https://www.youtube.com/watch?v=EeB3GelSqvw&list=PLmA-1xX7IuzAhYdXKcYnea4VnmeeIynx8&index=3&pp=iAQB Запись, YouTube]] || [[ Слайды]] Датасеты и инжиниринг признаков || 26.11.24 (Вт.) || ||
|-
| style="background:#eaecf0;" | '''3''' [[https://vkvideo.ru/playlist/-227011779_23/video-227011779_456239210 Запись, VK] | [https://www.youtube.com/watch?v=sOPBVpRSHuM&list=PLmA-1xX7IuzAhYdXKcYnea4VnmeeIynx8&index=2&pp=iAQB Запись, YouTube]] || [[ Слайды]] Выбор моделей и обучение моделей || 03.12.24 (Вт.) || ||
|-
| style="background:#eaecf0;" | '''4''' [[https://vkvideo.ru/playlist/-227011779_23/video-227011779_456239215 Запись, VK] | [https://www.youtube.com/watch?v=3ooOAYHsBdk&list=PLmA-1xX7IuzAhYdXKcYnea4VnmeeIynx8&index=1&pp=iAQB Запись, YouTube]] || [[ Слайды]] Оценка моделей || 04.12.24 (Ср.) || ||
|-
| style="background:#eaecf0;" | '''5''' [[https://vkvideo.ru/playlist/-227011779_23/video-227011779_456239232 Запись, VK] | [https://www.youtube.com/watch?v=_bJI6dhqxlQ&list=PLmA-1xX7IuzAhYdXKcYnea4VnmeeIynx8&index=1&pp=iAQB Запись, YouTube]] || [[ Слайды]] Диагностика проблем и мониторинг ML-систем || 11.12.24 (Ср.) || ||
|-
| style="background:#eaecf0;" | '''6''' [[https://vkvideo.ru/playlist/-227011779_23/video-227011779_456239251 Запись, VK] | [https://www.youtube.com/watch?v=6JBkKVgnxs0&list=PLmA-1xX7IuzAhYdXKcYnea4VnmeeIynx8&index=6&pp=iAQB Запись, YouTube]] || [[ Слайды]] Деплой ML-систем || 17.12.24 (Вт.) || ||
|-
| style="background:#eaecf0;" | '''7''' [[ Запись, VK] | [Запись, YouTube]] || [[ Слайды]] Инфраструктура для машинного обучения и ML-платформы || 18.12.24 (Ср.) || ||
|}

=== Записи консультаций ===

==Формула оценивания==

Оценка = 0.4*ОДЗ + 0.6*ОПроект

== Формы контроля ==
[https://anytask.org/course/1157 Anytask]: инвайт - <code>i2lFfXn</code>

* '''Домашнее задание''' | [https://docs.google.com/document/d/1zKPToSFLBbYtXLhA2s-sl0EysEuqhi2eC4VoDvgYgeg/edit?usp=sharing GDoc] - Представляет собой небольшую текстовую работу и блок-схему, в которых надо отразить пройденный материал на примере предложенных ML-задач. Допустимы инициативные темы. - Выдано 08.12.24, - '''Мягкий дедлайн - 16.12.24, 23:30 МСК''', ''Жесткий - 23.12.24, 23:30 МСК''
* '''Проект''' - Представляет собой расширенную версию ДЗ по проблеме, отличной от ДЗ, с проработкой всех вопросов, рассмотренных на курсе - Выдается после 6-го // 7-го занятия

== Литература ==
# Nguyễn, C. (2022). Designing Machine Learning Systems. O'Reilly Media
# Babushkin, V., & Kravchenko, A. (2023). Machine Learning System Design: With End-to-End Examples. Independently published.

ИИ Инструменты разработки (ИИ24, 1-2 модули)

2024-12-16T19:58:31Z

Saprokhorov 1: /* Домашние задания */

==О курсе==

Курс читается для студентов 1 курса магистратуры "Искусственный интеллект" в 1-2 модулях 2024/2025 учебного года.

В данном курсе затрагиваются темы, которые редко освещаются в стандартной программе, и вместо этого студенты сами его проходят: владение своими инструментами разработки. Курс предназначен для освоения работы с командной строкой, использования мощного текстового редактора, использования необычных функций систем контроля версий и многого другого. Мы рассмотрим дизайн и внутренности этих инструментов, чтобы студенты в будущем свободно владели и понимали остальных разработчиков, а также думали в рамках этих инструментов наиболее гибко. Люди проводят сотни часов, используя эти инструменты в процессе обучения (и тысячи часов в течение своей карьеры), поэтому имеет смысл сделать процесс обучения максимально плавным и простым. Овладение ими не только позволяет вам тратить меньше времени на выяснение того, как подчинить ваши инструменты своей воле, но также позволяет решать проблемы, которые раньше казались невероятно сложными.

==Контакты==

Чат курса в TG: TBD

Преподаватель: Паточенко Евгений Анатольевич (https://www.hse.ru/org/persons/344864076/)

{| class="wikitable"
|-
! Ассистент !! Telegram
|-
| style="background:#eaecf0;" | Марк Блуменау || [https://t.me/markblumenau @markblumenau]
|-
| style="background:#eaecf0;" | Дмитрий Качкин || [https://t.me/KachkinDmitrii @KachkinDmitrii]
|-
| style="background:#eaecf0;" | Сергей Кривошеев || [https://t.me/FlameInBrain @FlameInBrain]
|-
| style="background:#eaecf0;" | Олег Афанасьев || [https://t.me/afanasevo @afanasevo]
|-
| style="background:#eaecf0;" | Милана Кучумова || [https://t.me/milana_kma @milana_kma]
|-
| style="background:#eaecf0;" | Лука Марков || [https://t.me/lulu_fw01 @lulu_fw01]
|-
| style="background:#eaecf0;" | Денис Сапожников || [https://t.me/I_1ove_myse1f @I_1ove_myse1f]
|-
|}

==Материалы курса: начальная группа (BASE)==
[https://www.youtube.com/playlist?list=PLmA-1xX7IuzAUVEEPyrde6Rozy9Ob1vXK Ссылка на плейлист курса на YouTube]

Ссылка на GitHub с материалами курса: TBD

{| class="wikitable"
|-
! Занятие !! Тема !! Дата !! Ссылки
|-
| style="background:#eaecf0;" | '''1''' || Понятие ОС. Знакомство с Linux
|| 14.09.24 || Запись занятия ([https://www.youtube.com/watch?v=aajK-QZmIms youtube], [https://vk.com/video-227011779_456239044?list=ln-ldVAHpmtXqbsIZMZCM vk]), [https://drive.google.com/file/d/107r4XLvlvPdQIoVrdbXqhvW-vh0ST8b4/view Презентация]
|-
| style="background:#eaecf0;" | '''2''' || Git и GitHub
|| 21.09.24 || Запись занятия ([https://youtu.be/WWMNNJcWObc youtube], [https://vk.com/video-227011779_456239060?list=ln-HyvrtATwub1vM5Ahse vk]), [https://drive.google.com/file/d/1ZBjJ3SE5SbBxIdYp4p8RdJ_aCyTmfuS-/view Презентация]
|-
| style="background:#eaecf0;" | '''3''' || Практика в Git
|| 28.09.24 || Запись занятия ([https://youtu.be/F-n_J1e-7fk youtube], [https://vk.com/video-227011779_456239074?list=ln-rTAQo9hcn3GQfDq8Ii vk]), [https://drive.google.com/file/d/1Y7ooyJIjfe4pb1Hs_acJgD0PlzVFsjia/view Презентация]
|-
| style="background:#eaecf0;" | '''4''' || Сбор данных (BS4, регулярные выражения)
|| 05.10.24 || Запись занятия ([https://youtu.be/42gjwaCGdTU youtube], [https://vk.com/video-227011779_456239089?list=ln-9JQ7eX6rdNBQTFGlXE vk]), [https://colab.research.google.com/drive/1FgiYgJ2mmOXBa7RQ6byaMQ2m2rV01JFy Ноутбук]
|-
| style="background:#eaecf0;" | '''5''' || Введение в регулярные выражения
|| 12.10.24 || Запись занятия ([https://youtu.be/ZNjwzK4Pd_8 youtube], [https://vk.com/video-227011779_456239103?list=ln-xAcssmeLhiaoi1JrU3 vk]), [https://colab.research.google.com/drive/15KvcVNUN6uqiVLAnUJx3f-53K9wdnwUw Ноутбук]
|-
| style="background:#eaecf0;" | '''6''' || Аннотации типов в Python
|| 19.10.24 || Запись занятия ([https://youtu.be/ig-w-0vrAnw youtube], [https://vk.com/video-227011779_456239125?list=ln-AkaVx9yJhS3BUCu4Xq vk]), [https://colab.research.google.com/drive/1cQ6VZ4SHFxxa-CCNXtimKTo7-2srdrWe Ноутбук]
|-
| style="background:#eaecf0;" | '''7''' || Знакомство с FastAPI
Фреймворк Streamlit
|| 02.11.24 || Запись занятия FastAPI ([https://youtu.be/JFvyF4hhJus youtube], [https://vk.com/video-227011779_456239132?list=ln-jya9m5zSF5Pt7iZPTs vk]), [https://colab.research.google.com/drive/1KcYYmdGHtDf-FSucKXYASjOKfjaveXNb Ноутбук]
Запись занятия Streamlit ([https://youtu.be/4sup1Z2r2PU youtube], [https://vk.com/video-227011779_456239152?list=ln-7xJ0yNfD5PshwCLfar vk]), [https://github.com/evgpat/streamlit_tutorial/tree/main Скрипты], [https://github.com/evgpat/streamlit_demo Репозиторий титаника], [https://titanic.streamlit.app/ Развернутое приложение]
|-
| style="background:#eaecf0;" | '''8''' || Практика в Linux
BASH

Особенности работы в BASH
|| 09.11.24 || Запись занятия Linux ([https://youtu.be/TWvhCW4RBbU youtube], [https://vk.com/video-227011779_456239162?list=ln-CBAEsTfzTDJOwZB0bH vk]), [https://colab.research.google.com/drive/157NKOUfTcOL61I-7Qso7-5-MJoGonlTH Ноутбук]
Запись занятия BASH ([https://youtu.be/dhvQVXhYtDo youtube], [https://vk.com/video-227011779_456239163?list=ln-TRlcYAoPTtbyXezD6W vk]), [https://colab.research.google.com/drive/1_2jSPNhVL1KL4lKTUtvON5uLam5187v_ Ноутбук]

Запись занятия "Особенности работы в BASH" ([https://youtu.be/7X2CqhcQyuM youtube], [https://vk.com/video-227011779_456239171?list=ln-pl1V1ViKwQyrLp7iif vk])
|-
| style="background:#eaecf0;" | '''9''' || FastAPI и ML-модель
|| TBD || Запись занятия ([https://youtu.be/xMvSCxkRX34 youtube], [https://vkvideo.ru/video-227011779_456239182?list=ln-Go5CcDCUdiEZu0WqaO vk]), [https://colab.research.google.com/drive/1gWa2Hy6ad8cYnw3U8YTEzsI4xIaycDOa Ноутбук Титаник], [https://colab.research.google.com/drive/1AFI3x5LzJqlT2avbx6W9Iv7DP8EnfoxE Ноутбук Калифорния], [https://colab.research.google.com/drive/1DWkqeQdgsvcfNbwQ7p7oDVwOFDxucq6e Ноутбук Пингвины]
|-
| style="background:#eaecf0;" | '''10''' || Структура ML-проекта. Основные концепции
|| TBD || Запись занятия ([https://youtu.be/QFP6imk-Ics youtube], [https://vk.com/video-227011779_456239220?list=ln-2zAQ0SPrswBmuJIUNG vk]), [https://drive.google.com/file/d/1o6YZaE5oNaVfVnG335Nzg78vOSHFsyJW/view Презентация]
|-
| style="background:#eaecf0;" | '''11''' || Хранилища данных. Часть 1
Хранилища данных. Часть 2
|| TBD || Запись занятия ([https://youtu.be/jBlL5KMUK1c youtube], [https://vk.com/video-227011779_456239224?list=ln-QlFZqbheUzGxf5ypqe vk]), [https://drive.google.com/file/d/1uE1YH0aQ4ZtJxN9HON5DZG6S0QA-4mBN/view Презентация]
Запись занятия ([https://youtu.be/OjIz5VsBlAc youtube], [https://vk.com/video-227011779_456239225?list=ln-4YSUBv3Tv6e3KpYhYw vk]), [https://drive.google.com/file/d/1ptZ0Yhp-it0WhvbkCBJvZyf-CwfzhxPV/view Презентация]
|-
| style="background:#eaecf0;" | '''12''' || Модуль aiohttp (клиент)
|| TBD || Запись занятия ([https://youtu.be/abu4CR8S2ZI youtube], [https://vk.com/video-227011779_456239226?list=ln-pu9tCxe8e4kzQnIk7e vk]), [https://colab.research.google.com/drive/1FBZt_-J3_fNw8jjhlvjRB1C9kfpb_ccm Ноутбук]
|}

==Материалы курса: базовая группа (MIDDLE)==
[https://www.youtube.com/playlist?list=PLmA-1xX7IuzAUVEEPyrde6Rozy9Ob1vXK Ссылка на плейлист курса на YouTube]

Ссылка на GitHub с материалами курса: TBD

{| class="wikitable"
|-
! Занятие !! Тема !! Дата !! Ссылки
|-
| style="background:#eaecf0;" | '''1''' || Знакомство с Linux
|| 14.09.24 || Запись занятия ([https://youtu.be/pdeuxUjIRq0 youtube], [https://vk.com/video-227011779_456239045?list=ln-KbECgxuIHy3mKZ88SM vk]), [https://drive.google.com/file/d/1pauqAJ0svtehuphviDYcFyct17WZ_fds/view Презентация]
|-
| style="background:#eaecf0;" | '''2''' || Практика в Git
|| 21.09.24 || Запись занятия ([https://youtu.be/8-FTVZzAWZ0 youtube], [https://vk.com/video-227011779_456239061?list=ln-TVuC33rigvfLpuBczd vk])
|-
| style="background:#eaecf0;" | '''3''' || Практика в Git
|| 28.09.24 || Запись занятия ([https://youtu.be/KQlZw2Dypto youtube], [https://vk.com/video-227011779_456239075?list=ln-6vNhJTfimvahldXmqh vk]), [https://drive.google.com/file/d/1B10unT46NDSKk7CA4TqNajaJuHUa2yNG/view Презентация]
|-
| style="background:#eaecf0;" | '''4''' || Работа с API
|| 05.10.24 || Запись занятия ([https://youtu.be/2BleVnXHMTA youtube], [https://vk.com/video-227011779_456239090?list=ln-cx2rkC5tjhBHwguInj vk]), [https://drive.google.com/file/d/1r4DdUzVZjtRRNj_NAqgEdwdKYccXbVMg/view Презентация]
|-
| style="background:#eaecf0;" | '''5''' || Регулярные выражения
|| 12.10.24 || Запись занятия ([https://youtu.be/pb1YWbmw1Fg youtube], [https://vk.com/video-227011779_456239113?list=ln-bhlvZWj9Gvwa9THuRu vk]), [https://colab.research.google.com/drive/16yhbtS3xcEQcdTMAWJpP2ihvwY2gGRYN Ноутбук]
|-
| style="background:#eaecf0;" | '''6''' || Библиотека Pydantic
|| 19.10.24 || Запись занятия ([https://youtu.be/h8XBmjO4CCU youtube], [https://vk.com/video-227011779_456239131?list=ln-z3lN3RZLr88VmZyflJ vk]), [https://colab.research.google.com/drive/1xgtUfDBrIOY3yvNefOAcBRH-gG0fDmP- Ноутбук]
|-
| style="background:#eaecf0;" | '''7''' || BASH
Особенности работы в BASH
|| 09.11.24 || Запись занятия ([https://youtu.be/dhvQVXhYtDo youtube], [https://vk.com/video-227011779_456239163?list=ln-TRlcYAoPTtbyXezD6W vk]), [https://colab.research.google.com/drive/1_2jSPNhVL1KL4lKTUtvON5uLam5187v_ Ноутбук]
Запись занятия "Особенности работы в BASH" ([https://youtu.be/7X2CqhcQyuM youtube], [https://vk.com/video-227011779_456239171?list=ln-pl1V1ViKwQyrLp7iif vk])
|-
| style="background:#eaecf0;" | '''8''' || Структура ML-проекта. Основные концепции
|| TBD || Запись занятия ([https://youtu.be/QFP6imk-Ics youtube], [https://vk.com/video-227011779_456239220?list=ln-2zAQ0SPrswBmuJIUNG vk]), [https://drive.google.com/file/d/1o6YZaE5oNaVfVnG335Nzg78vOSHFsyJW/view Презентация]
|-
| style="background:#eaecf0;" | '''9''' || Хранилища данных. Часть 1
Хранилища данных. Часть 2
|| TBD || Запись занятия ([https://youtu.be/jBlL5KMUK1c youtube], [https://vk.com/video-227011779_456239224?list=ln-QlFZqbheUzGxf5ypqe vk]), [https://drive.google.com/file/d/1uE1YH0aQ4ZtJxN9HON5DZG6S0QA-4mBN/view Презентация]
Запись занятия ([https://youtu.be/OjIz5VsBlAc youtube], [https://vk.com/video-227011779_456239225?list=ln-4YSUBv3Tv6e3KpYhYw vk]), [https://drive.google.com/file/d/1ptZ0Yhp-it0WhvbkCBJvZyf-CwfzhxPV/view Презентация]
|-
| style="background:#eaecf0;" | '''10''' || Модуль aiohttp (клиент)
|| TBD || Запись занятия ([https://youtu.be/abu4CR8S2ZI youtube], [https://vk.com/video-227011779_456239226?list=ln-pu9tCxe8e4kzQnIk7e vk]), [https://colab.research.google.com/drive/1FBZt_-J3_fNw8jjhlvjRB1C9kfpb_ccm Ноутбук]
|-
| style="background:#eaecf0;" | '''11''' || Web-service
|| TBD ||
|-
| style="background:#eaecf0;" | '''12''' || ML-разработка в облаке. Yandex DataSphere
|| TBD ||
|}

==Материалы курса: продвинутая группа (PRO)==
[https://www.youtube.com/playlist?list=PLmA-1xX7IuzAUVEEPyrde6Rozy9Ob1vXK Ссылка на плейлист курса на YouTube]

Ссылка на GitHub с материалами курса: TBD

{| class="wikitable"
|-
! Занятие !! Тема !! Дата !! Ссылки
|-
| style="background:#eaecf0;" | '''1''' || Модели в ML production. Серилизация моделей
|| 18.09.24 || Запись занятия ([https://youtu.be/uzHQUFZNNd4 youtube] [https://vk.com/video-227011779_456239052?list=ln-LAVj1PwWEiCXGrfUZK vk]), [https://drive.google.com/file/d/1YKCIBH1orxoOmleTVRN4-mNVUp-nwGyy/view Презентация], [https://colab.research.google.com/drive/1DvKRrJdyWmlhWEza-xAcsZ-Bh0-7FiOS Ноутбук]
|-
| style="background:#eaecf0;" | '''2''' || RECAP: Git
|| 29.09.24 || Запись занятия ([https://youtu.be/JZouuS96kuY youtube] [https://vk.com/video-227011779_456239076?list=ln-52nwVJZR8hiBnXsta9 vk]), [https://drive.google.com/file/d/1kuurD9lxiD4qsELYRzQ4MOxDQ4MdJuAx/view Презентация], [https://colab.research.google.com/drive/1jWtQUy1k0p2dLqdmXqhd2P8rukuY9ke4 Ноутбук]
|-
| style="background:#eaecf0;" | '''3''' || Память в Питоне
|| 09.10.24 || Запись занятия ([https://youtu.be/KNRKv8Sypkc youtube] [https://vk.com/video-227011779_456239102?list=ln-0yZxT3vy4DjdvYHIGx vk]), [https://colab.research.google.com/drive/1C9Y_p4pYlcr_acMN_GWHnj4XIjTvYKJJ Ноутбук]
|-
| style="background:#eaecf0;" | '''4''' || Ускорение Python
|| 16.10.24 || Запись занятия ([https://youtu.be/D-WK_dXpRj8 youtube] [https://vk.com/video-227011779_456239118?list=ln-1jzJNZYeqBzKPrMalW vk]), [https://colab.research.google.com/drive/1B4legra3iu6XvEClnzojM2I2GopM3e2w Ноутбук]
|-
| style="background:#eaecf0;" | '''5''' || Структура ML-проекта. Основные концепции
|| TBD || Запись занятия ([https://youtu.be/QFP6imk-Ics youtube], [https://vk.com/video-227011779_456239220?list=ln-2zAQ0SPrswBmuJIUNG vk]), [https://drive.google.com/file/d/1o6YZaE5oNaVfVnG335Nzg78vOSHFsyJW/view Презентация]
|-
| style="background:#eaecf0;" | '''6''' || Хранилища данных. Часть 1
Хранилища данных. Часть 2
|| TBD || Запись занятия ([https://youtu.be/jBlL5KMUK1c youtube], [https://vk.com/video-227011779_456239224?list=ln-QlFZqbheUzGxf5ypqe vk]), [https://drive.google.com/file/d/1uE1YH0aQ4ZtJxN9HON5DZG6S0QA-4mBN/view Презентация]
Запись занятия ([https://youtu.be/OjIz5VsBlAc youtube], [https://vk.com/video-227011779_456239225?list=ln-4YSUBv3Tv6e3KpYhYw vk]), [https://drive.google.com/file/d/1ptZ0Yhp-it0WhvbkCBJvZyf-CwfzhxPV/view Презентация]
|-
| style="background:#eaecf0;" | '''7''' || RECAP: Docker
|| TBD ||
|-
| style="background:#eaecf0;" | '''8''' || Telegram bot
|| TBD ||
|-
| style="background:#eaecf0;" | '''9''' || Docker Compose и сеть
|| TBD ||
|-
| style="background:#eaecf0;" | '''10''' || MVP в Data Science. Фреймворк Streamlit
|| TBD ||
|-
| style="background:#eaecf0;" | '''11''' || ML-разработка в облаке. Yandex DataSphere
|| TBD ||
|}

=== Записи консультаций ===

==Формула оценивания==

Оценка = 0.1 * ОПрактика: Git + 0.05 * ОТест: Git + 0.05 * ОТест: Regex и API + 0.1 * ОПрактика: BASH + 0.2 * ОПрактика: FastAPI + 0.4 * О Чекпоинт + 0.1 * ОТест: Final + Бонус

== Распределительный тест ==

[https://forms.gle/2cZz1b5AjKgdpjjD7 Распределительный тест] - Дедлайн: '''05.09, 19:00'''

== Домашние задания ==
* Тест1: Системы контроля версий. Работа в Git ([https://forms.gle/RmPcXGZj8XguS95R9 BASE], [https://forms.gle/TVtyDJaLJ1XtMGSn7 MIDDLE], [https://forms.gle/u66TQCJzjxSoiY568 PRO]) - Дедлайн: '''12 октября, 23:59 (GMT+3)''';
* Тест2: Регулярные выражения + API ([https://forms.gle/Fqzfr3b5oW18cRPDA BASE], [https://forms.gle/k12UiH7RKYN9MR2L6 MIDDLE], [https://forms.gle/gSpqDVUUharun99P9 PRO]) - Дедлайн: '''28 октября, 23:59 (GMT+3)''';
* Тест3: [https://forms.gle/7qsDy49t9QrZJhwp6 Итоговый тест] - Дедлайн: '''22 декабря, 23:59 (GMT+3)''';

* ДЗ1: [https://drive.google.com/file/d/1c4DUPXh196N6I9YHxOjqrDJafzzRBQWY/view Практика в Git] - Дедлайн: '''5 октября, 23:59 (GMT+3)''';
* ДЗ2: [https://drive.google.com/file/d/17jCoDd3_v-LUFKLiReMgxwlc4LIbDN5Z/view Скриптинг на Bash] - Дедлайн: '''5 декабря, 23:59 (GMT+3)''';
* ДЗ3: Практика с FastAPI ([https://docs.google.com/presentation/d/1JM9WYEgAbMP8_UbmSGfJiKlSl76BLWcvZIVKGk1dzF0 BASE], [https://docs.google.com/presentation/d/1BKlreBDh8RlDQlm93Jbzrnc3Unbb_roYVTeDnQiLCZ4 MIDDLE], [https://docs.google.com/presentation/d/1O0Ns4SB-uvGi_ze153-TK1yGJIAGRhKV2CUWUWk7rAI PRO]) - Дедлайн: '''15 декабря, 23:59 (GMT+3)''';
* ДЗ4: [https://drive.google.com/file/d/1HVhrZS-xTgNUKX73QlAPCNy3IEKmTc8N/view Чекпоинт годового проекта] - Дедлайн: '''20 декабря, 23:59 (GMT+3)''';

== Литература ==

ИИ Инструменты разработки (ИИ24, 1-2 модули)

2024-12-16T19:55:59Z

Saprokhorov 1: /* Формула оценивания */

==О курсе==

Курс читается для студентов 1 курса магистратуры "Искусственный интеллект" в 1-2 модулях 2024/2025 учебного года.

В данном курсе затрагиваются темы, которые редко освещаются в стандартной программе, и вместо этого студенты сами его проходят: владение своими инструментами разработки. Курс предназначен для освоения работы с командной строкой, использования мощного текстового редактора, использования необычных функций систем контроля версий и многого другого. Мы рассмотрим дизайн и внутренности этих инструментов, чтобы студенты в будущем свободно владели и понимали остальных разработчиков, а также думали в рамках этих инструментов наиболее гибко. Люди проводят сотни часов, используя эти инструменты в процессе обучения (и тысячи часов в течение своей карьеры), поэтому имеет смысл сделать процесс обучения максимально плавным и простым. Овладение ими не только позволяет вам тратить меньше времени на выяснение того, как подчинить ваши инструменты своей воле, но также позволяет решать проблемы, которые раньше казались невероятно сложными.

==Контакты==

Чат курса в TG: TBD

Преподаватель: Паточенко Евгений Анатольевич (https://www.hse.ru/org/persons/344864076/)

{| class="wikitable"
|-
! Ассистент !! Telegram
|-
| style="background:#eaecf0;" | Марк Блуменау || [https://t.me/markblumenau @markblumenau]
|-
| style="background:#eaecf0;" | Дмитрий Качкин || [https://t.me/KachkinDmitrii @KachkinDmitrii]
|-
| style="background:#eaecf0;" | Сергей Кривошеев || [https://t.me/FlameInBrain @FlameInBrain]
|-
| style="background:#eaecf0;" | Олег Афанасьев || [https://t.me/afanasevo @afanasevo]
|-
| style="background:#eaecf0;" | Милана Кучумова || [https://t.me/milana_kma @milana_kma]
|-
| style="background:#eaecf0;" | Лука Марков || [https://t.me/lulu_fw01 @lulu_fw01]
|-
| style="background:#eaecf0;" | Денис Сапожников || [https://t.me/I_1ove_myse1f @I_1ove_myse1f]
|-
|}

==Материалы курса: начальная группа (BASE)==
[https://www.youtube.com/playlist?list=PLmA-1xX7IuzAUVEEPyrde6Rozy9Ob1vXK Ссылка на плейлист курса на YouTube]

Ссылка на GitHub с материалами курса: TBD

{| class="wikitable"
|-
! Занятие !! Тема !! Дата !! Ссылки
|-
| style="background:#eaecf0;" | '''1''' || Понятие ОС. Знакомство с Linux
|| 14.09.24 || Запись занятия ([https://www.youtube.com/watch?v=aajK-QZmIms youtube], [https://vk.com/video-227011779_456239044?list=ln-ldVAHpmtXqbsIZMZCM vk]), [https://drive.google.com/file/d/107r4XLvlvPdQIoVrdbXqhvW-vh0ST8b4/view Презентация]
|-
| style="background:#eaecf0;" | '''2''' || Git и GitHub
|| 21.09.24 || Запись занятия ([https://youtu.be/WWMNNJcWObc youtube], [https://vk.com/video-227011779_456239060?list=ln-HyvrtATwub1vM5Ahse vk]), [https://drive.google.com/file/d/1ZBjJ3SE5SbBxIdYp4p8RdJ_aCyTmfuS-/view Презентация]
|-
| style="background:#eaecf0;" | '''3''' || Практика в Git
|| 28.09.24 || Запись занятия ([https://youtu.be/F-n_J1e-7fk youtube], [https://vk.com/video-227011779_456239074?list=ln-rTAQo9hcn3GQfDq8Ii vk]), [https://drive.google.com/file/d/1Y7ooyJIjfe4pb1Hs_acJgD0PlzVFsjia/view Презентация]
|-
| style="background:#eaecf0;" | '''4''' || Сбор данных (BS4, регулярные выражения)
|| 05.10.24 || Запись занятия ([https://youtu.be/42gjwaCGdTU youtube], [https://vk.com/video-227011779_456239089?list=ln-9JQ7eX6rdNBQTFGlXE vk]), [https://colab.research.google.com/drive/1FgiYgJ2mmOXBa7RQ6byaMQ2m2rV01JFy Ноутбук]
|-
| style="background:#eaecf0;" | '''5''' || Введение в регулярные выражения
|| 12.10.24 || Запись занятия ([https://youtu.be/ZNjwzK4Pd_8 youtube], [https://vk.com/video-227011779_456239103?list=ln-xAcssmeLhiaoi1JrU3 vk]), [https://colab.research.google.com/drive/15KvcVNUN6uqiVLAnUJx3f-53K9wdnwUw Ноутбук]
|-
| style="background:#eaecf0;" | '''6''' || Аннотации типов в Python
|| 19.10.24 || Запись занятия ([https://youtu.be/ig-w-0vrAnw youtube], [https://vk.com/video-227011779_456239125?list=ln-AkaVx9yJhS3BUCu4Xq vk]), [https://colab.research.google.com/drive/1cQ6VZ4SHFxxa-CCNXtimKTo7-2srdrWe Ноутбук]
|-
| style="background:#eaecf0;" | '''7''' || Знакомство с FastAPI
Фреймворк Streamlit
|| 02.11.24 || Запись занятия FastAPI ([https://youtu.be/JFvyF4hhJus youtube], [https://vk.com/video-227011779_456239132?list=ln-jya9m5zSF5Pt7iZPTs vk]), [https://colab.research.google.com/drive/1KcYYmdGHtDf-FSucKXYASjOKfjaveXNb Ноутбук]
Запись занятия Streamlit ([https://youtu.be/4sup1Z2r2PU youtube], [https://vk.com/video-227011779_456239152?list=ln-7xJ0yNfD5PshwCLfar vk]), [https://github.com/evgpat/streamlit_tutorial/tree/main Скрипты], [https://github.com/evgpat/streamlit_demo Репозиторий титаника], [https://titanic.streamlit.app/ Развернутое приложение]
|-
| style="background:#eaecf0;" | '''8''' || Практика в Linux
BASH

Особенности работы в BASH
|| 09.11.24 || Запись занятия Linux ([https://youtu.be/TWvhCW4RBbU youtube], [https://vk.com/video-227011779_456239162?list=ln-CBAEsTfzTDJOwZB0bH vk]), [https://colab.research.google.com/drive/157NKOUfTcOL61I-7Qso7-5-MJoGonlTH Ноутбук]
Запись занятия BASH ([https://youtu.be/dhvQVXhYtDo youtube], [https://vk.com/video-227011779_456239163?list=ln-TRlcYAoPTtbyXezD6W vk]), [https://colab.research.google.com/drive/1_2jSPNhVL1KL4lKTUtvON5uLam5187v_ Ноутбук]

Запись занятия "Особенности работы в BASH" ([https://youtu.be/7X2CqhcQyuM youtube], [https://vk.com/video-227011779_456239171?list=ln-pl1V1ViKwQyrLp7iif vk])
|-
| style="background:#eaecf0;" | '''9''' || FastAPI и ML-модель
|| TBD || Запись занятия ([https://youtu.be/xMvSCxkRX34 youtube], [https://vkvideo.ru/video-227011779_456239182?list=ln-Go5CcDCUdiEZu0WqaO vk]), [https://colab.research.google.com/drive/1gWa2Hy6ad8cYnw3U8YTEzsI4xIaycDOa Ноутбук Титаник], [https://colab.research.google.com/drive/1AFI3x5LzJqlT2avbx6W9Iv7DP8EnfoxE Ноутбук Калифорния], [https://colab.research.google.com/drive/1DWkqeQdgsvcfNbwQ7p7oDVwOFDxucq6e Ноутбук Пингвины]
|-
| style="background:#eaecf0;" | '''10''' || Структура ML-проекта. Основные концепции
|| TBD || Запись занятия ([https://youtu.be/QFP6imk-Ics youtube], [https://vk.com/video-227011779_456239220?list=ln-2zAQ0SPrswBmuJIUNG vk]), [https://drive.google.com/file/d/1o6YZaE5oNaVfVnG335Nzg78vOSHFsyJW/view Презентация]
|-
| style="background:#eaecf0;" | '''11''' || Хранилища данных. Часть 1
Хранилища данных. Часть 2
|| TBD || Запись занятия ([https://youtu.be/jBlL5KMUK1c youtube], [https://vk.com/video-227011779_456239224?list=ln-QlFZqbheUzGxf5ypqe vk]), [https://drive.google.com/file/d/1uE1YH0aQ4ZtJxN9HON5DZG6S0QA-4mBN/view Презентация]
Запись занятия ([https://youtu.be/OjIz5VsBlAc youtube], [https://vk.com/video-227011779_456239225?list=ln-4YSUBv3Tv6e3KpYhYw vk]), [https://drive.google.com/file/d/1ptZ0Yhp-it0WhvbkCBJvZyf-CwfzhxPV/view Презентация]
|-
| style="background:#eaecf0;" | '''12''' || Модуль aiohttp (клиент)
|| TBD || Запись занятия ([https://youtu.be/abu4CR8S2ZI youtube], [https://vk.com/video-227011779_456239226?list=ln-pu9tCxe8e4kzQnIk7e vk]), [https://colab.research.google.com/drive/1FBZt_-J3_fNw8jjhlvjRB1C9kfpb_ccm Ноутбук]
|}

==Материалы курса: базовая группа (MIDDLE)==
[https://www.youtube.com/playlist?list=PLmA-1xX7IuzAUVEEPyrde6Rozy9Ob1vXK Ссылка на плейлист курса на YouTube]

Ссылка на GitHub с материалами курса: TBD

{| class="wikitable"
|-
! Занятие !! Тема !! Дата !! Ссылки
|-
| style="background:#eaecf0;" | '''1''' || Знакомство с Linux
|| 14.09.24 || Запись занятия ([https://youtu.be/pdeuxUjIRq0 youtube], [https://vk.com/video-227011779_456239045?list=ln-KbECgxuIHy3mKZ88SM vk]), [https://drive.google.com/file/d/1pauqAJ0svtehuphviDYcFyct17WZ_fds/view Презентация]
|-
| style="background:#eaecf0;" | '''2''' || Практика в Git
|| 21.09.24 || Запись занятия ([https://youtu.be/8-FTVZzAWZ0 youtube], [https://vk.com/video-227011779_456239061?list=ln-TVuC33rigvfLpuBczd vk])
|-
| style="background:#eaecf0;" | '''3''' || Практика в Git
|| 28.09.24 || Запись занятия ([https://youtu.be/KQlZw2Dypto youtube], [https://vk.com/video-227011779_456239075?list=ln-6vNhJTfimvahldXmqh vk]), [https://drive.google.com/file/d/1B10unT46NDSKk7CA4TqNajaJuHUa2yNG/view Презентация]
|-
| style="background:#eaecf0;" | '''4''' || Работа с API
|| 05.10.24 || Запись занятия ([https://youtu.be/2BleVnXHMTA youtube], [https://vk.com/video-227011779_456239090?list=ln-cx2rkC5tjhBHwguInj vk]), [https://drive.google.com/file/d/1r4DdUzVZjtRRNj_NAqgEdwdKYccXbVMg/view Презентация]
|-
| style="background:#eaecf0;" | '''5''' || Регулярные выражения
|| 12.10.24 || Запись занятия ([https://youtu.be/pb1YWbmw1Fg youtube], [https://vk.com/video-227011779_456239113?list=ln-bhlvZWj9Gvwa9THuRu vk]), [https://colab.research.google.com/drive/16yhbtS3xcEQcdTMAWJpP2ihvwY2gGRYN Ноутбук]
|-
| style="background:#eaecf0;" | '''6''' || Библиотека Pydantic
|| 19.10.24 || Запись занятия ([https://youtu.be/h8XBmjO4CCU youtube], [https://vk.com/video-227011779_456239131?list=ln-z3lN3RZLr88VmZyflJ vk]), [https://colab.research.google.com/drive/1xgtUfDBrIOY3yvNefOAcBRH-gG0fDmP- Ноутбук]
|-
| style="background:#eaecf0;" | '''7''' || BASH
Особенности работы в BASH
|| 09.11.24 || Запись занятия ([https://youtu.be/dhvQVXhYtDo youtube], [https://vk.com/video-227011779_456239163?list=ln-TRlcYAoPTtbyXezD6W vk]), [https://colab.research.google.com/drive/1_2jSPNhVL1KL4lKTUtvON5uLam5187v_ Ноутбук]
Запись занятия "Особенности работы в BASH" ([https://youtu.be/7X2CqhcQyuM youtube], [https://vk.com/video-227011779_456239171?list=ln-pl1V1ViKwQyrLp7iif vk])
|-
| style="background:#eaecf0;" | '''8''' || Структура ML-проекта. Основные концепции
|| TBD || Запись занятия ([https://youtu.be/QFP6imk-Ics youtube], [https://vk.com/video-227011779_456239220?list=ln-2zAQ0SPrswBmuJIUNG vk]), [https://drive.google.com/file/d/1o6YZaE5oNaVfVnG335Nzg78vOSHFsyJW/view Презентация]
|-
| style="background:#eaecf0;" | '''9''' || Хранилища данных. Часть 1
Хранилища данных. Часть 2
|| TBD || Запись занятия ([https://youtu.be/jBlL5KMUK1c youtube], [https://vk.com/video-227011779_456239224?list=ln-QlFZqbheUzGxf5ypqe vk]), [https://drive.google.com/file/d/1uE1YH0aQ4ZtJxN9HON5DZG6S0QA-4mBN/view Презентация]
Запись занятия ([https://youtu.be/OjIz5VsBlAc youtube], [https://vk.com/video-227011779_456239225?list=ln-4YSUBv3Tv6e3KpYhYw vk]), [https://drive.google.com/file/d/1ptZ0Yhp-it0WhvbkCBJvZyf-CwfzhxPV/view Презентация]
|-
| style="background:#eaecf0;" | '''10''' || Модуль aiohttp (клиент)
|| TBD || Запись занятия ([https://youtu.be/abu4CR8S2ZI youtube], [https://vk.com/video-227011779_456239226?list=ln-pu9tCxe8e4kzQnIk7e vk]), [https://colab.research.google.com/drive/1FBZt_-J3_fNw8jjhlvjRB1C9kfpb_ccm Ноутбук]
|-
| style="background:#eaecf0;" | '''11''' || Web-service
|| TBD ||
|-
| style="background:#eaecf0;" | '''12''' || ML-разработка в облаке. Yandex DataSphere
|| TBD ||
|}

==Материалы курса: продвинутая группа (PRO)==
[https://www.youtube.com/playlist?list=PLmA-1xX7IuzAUVEEPyrde6Rozy9Ob1vXK Ссылка на плейлист курса на YouTube]

Ссылка на GitHub с материалами курса: TBD

{| class="wikitable"
|-
! Занятие !! Тема !! Дата !! Ссылки
|-
| style="background:#eaecf0;" | '''1''' || Модели в ML production. Серилизация моделей
|| 18.09.24 || Запись занятия ([https://youtu.be/uzHQUFZNNd4 youtube] [https://vk.com/video-227011779_456239052?list=ln-LAVj1PwWEiCXGrfUZK vk]), [https://drive.google.com/file/d/1YKCIBH1orxoOmleTVRN4-mNVUp-nwGyy/view Презентация], [https://colab.research.google.com/drive/1DvKRrJdyWmlhWEza-xAcsZ-Bh0-7FiOS Ноутбук]
|-
| style="background:#eaecf0;" | '''2''' || RECAP: Git
|| 29.09.24 || Запись занятия ([https://youtu.be/JZouuS96kuY youtube] [https://vk.com/video-227011779_456239076?list=ln-52nwVJZR8hiBnXsta9 vk]), [https://drive.google.com/file/d/1kuurD9lxiD4qsELYRzQ4MOxDQ4MdJuAx/view Презентация], [https://colab.research.google.com/drive/1jWtQUy1k0p2dLqdmXqhd2P8rukuY9ke4 Ноутбук]
|-
| style="background:#eaecf0;" | '''3''' || Память в Питоне
|| 09.10.24 || Запись занятия ([https://youtu.be/KNRKv8Sypkc youtube] [https://vk.com/video-227011779_456239102?list=ln-0yZxT3vy4DjdvYHIGx vk]), [https://colab.research.google.com/drive/1C9Y_p4pYlcr_acMN_GWHnj4XIjTvYKJJ Ноутбук]
|-
| style="background:#eaecf0;" | '''4''' || Ускорение Python
|| 16.10.24 || Запись занятия ([https://youtu.be/D-WK_dXpRj8 youtube] [https://vk.com/video-227011779_456239118?list=ln-1jzJNZYeqBzKPrMalW vk]), [https://colab.research.google.com/drive/1B4legra3iu6XvEClnzojM2I2GopM3e2w Ноутбук]
|-
| style="background:#eaecf0;" | '''5''' || Структура ML-проекта. Основные концепции
|| TBD || Запись занятия ([https://youtu.be/QFP6imk-Ics youtube], [https://vk.com/video-227011779_456239220?list=ln-2zAQ0SPrswBmuJIUNG vk]), [https://drive.google.com/file/d/1o6YZaE5oNaVfVnG335Nzg78vOSHFsyJW/view Презентация]
|-
| style="background:#eaecf0;" | '''6''' || Хранилища данных. Часть 1
Хранилища данных. Часть 2
|| TBD || Запись занятия ([https://youtu.be/jBlL5KMUK1c youtube], [https://vk.com/video-227011779_456239224?list=ln-QlFZqbheUzGxf5ypqe vk]), [https://drive.google.com/file/d/1uE1YH0aQ4ZtJxN9HON5DZG6S0QA-4mBN/view Презентация]
Запись занятия ([https://youtu.be/OjIz5VsBlAc youtube], [https://vk.com/video-227011779_456239225?list=ln-4YSUBv3Tv6e3KpYhYw vk]), [https://drive.google.com/file/d/1ptZ0Yhp-it0WhvbkCBJvZyf-CwfzhxPV/view Презентация]
|-
| style="background:#eaecf0;" | '''7''' || RECAP: Docker
|| TBD ||
|-
| style="background:#eaecf0;" | '''8''' || Telegram bot
|| TBD ||
|-
| style="background:#eaecf0;" | '''9''' || Docker Compose и сеть
|| TBD ||
|-
| style="background:#eaecf0;" | '''10''' || MVP в Data Science. Фреймворк Streamlit
|| TBD ||
|-
| style="background:#eaecf0;" | '''11''' || ML-разработка в облаке. Yandex DataSphere
|| TBD ||
|}

=== Записи консультаций ===

==Формула оценивания==

Оценка = 0.1 * ОПрактика: Git + 0.05 * ОТест: Git + 0.05 * ОТест: Regex и API + 0.1 * ОПрактика: BASH + 0.2 * ОПрактика: FastAPI + 0.4 * О Чекпоинт + 0.1 * ОТест: Final + Бонус

== Распределительный тест ==

[https://forms.gle/2cZz1b5AjKgdpjjD7 Распределительный тест] - Дедлайн: '''05.09, 19:00'''

== Домашние задания ==
* Тест1: Системы контроля версий. Работа в Git ([https://forms.gle/RmPcXGZj8XguS95R9 BASE], [https://forms.gle/TVtyDJaLJ1XtMGSn7 MIDDLE], [https://forms.gle/u66TQCJzjxSoiY568 PRO]) - Дедлайн: '''12 октября, 23:59 (GMT+3)''';
* Тест2: Регулярные выражения + API ([https://forms.gle/Fqzfr3b5oW18cRPDA BASE], [https://forms.gle/k12UiH7RKYN9MR2L6 MIDDLE], [https://forms.gle/gSpqDVUUharun99P9 PRO]) - Дедлайн: '''28 октября, 23:59 (GMT+3)''';
* Тест3: Принципы работы современных ОС. Основы Linux - Дедлайн: TBA;
* Тест4: Команды Docker - Дедлайн: TBA;

* ДЗ1: [https://drive.google.com/file/d/1c4DUPXh196N6I9YHxOjqrDJafzzRBQWY/view Практика в Git] - Дедлайн: '''5 октября, 23:59 (GMT+3)''';
* ДЗ2: [https://drive.google.com/file/d/17jCoDd3_v-LUFKLiReMgxwlc4LIbDN5Z/view Скриптинг на Bash] - Дедлайн: '''5 декабря, 23:59 (GMT+3)''';
* ДЗ3: Практика с FastAPI ([https://docs.google.com/presentation/d/1JM9WYEgAbMP8_UbmSGfJiKlSl76BLWcvZIVKGk1dzF0 BASE], [https://docs.google.com/presentation/d/1BKlreBDh8RlDQlm93Jbzrnc3Unbb_roYVTeDnQiLCZ4 MIDDLE], [https://docs.google.com/presentation/d/1O0Ns4SB-uvGi_ze153-TK1yGJIAGRhKV2CUWUWk7rAI PRO]) - Дедлайн: '''15 декабря, 23:59 (GMT+3)''';
* ДЗ4: Telegram-бот - Дедлайн: TBA;

== Литература ==

ИИ Инструменты разработки (ИИ24, 1-2 модули)

2024-12-13T16:11:59Z

Saprokhorov 1:

==О курсе==

Курс читается для студентов 1 курса магистратуры "Искусственный интеллект" в 1-2 модулях 2024/2025 учебного года.

В данном курсе затрагиваются темы, которые редко освещаются в стандартной программе, и вместо этого студенты сами его проходят: владение своими инструментами разработки. Курс предназначен для освоения работы с командной строкой, использования мощного текстового редактора, использования необычных функций систем контроля версий и многого другого. Мы рассмотрим дизайн и внутренности этих инструментов, чтобы студенты в будущем свободно владели и понимали остальных разработчиков, а также думали в рамках этих инструментов наиболее гибко. Люди проводят сотни часов, используя эти инструменты в процессе обучения (и тысячи часов в течение своей карьеры), поэтому имеет смысл сделать процесс обучения максимально плавным и простым. Овладение ими не только позволяет вам тратить меньше времени на выяснение того, как подчинить ваши инструменты своей воле, но также позволяет решать проблемы, которые раньше казались невероятно сложными.

==Контакты==

Чат курса в TG: TBD

Преподаватель: Паточенко Евгений Анатольевич (https://www.hse.ru/org/persons/344864076/)

{| class="wikitable"
|-
! Ассистент !! Telegram
|-
| style="background:#eaecf0;" | Марк Блуменау || [https://t.me/markblumenau @markblumenau]
|-
| style="background:#eaecf0;" | Дмитрий Качкин || [https://t.me/KachkinDmitrii @KachkinDmitrii]
|-
| style="background:#eaecf0;" | Сергей Кривошеев || [https://t.me/FlameInBrain @FlameInBrain]
|-
| style="background:#eaecf0;" | Олег Афанасьев || [https://t.me/afanasevo @afanasevo]
|-
| style="background:#eaecf0;" | Милана Кучумова || [https://t.me/milana_kma @milana_kma]
|-
| style="background:#eaecf0;" | Лука Марков || [https://t.me/lulu_fw01 @lulu_fw01]
|-
| style="background:#eaecf0;" | Денис Сапожников || [https://t.me/I_1ove_myse1f @I_1ove_myse1f]
|-
|}

==Материалы курса: начальная группа (BASE)==
[https://www.youtube.com/playlist?list=PLmA-1xX7IuzAUVEEPyrde6Rozy9Ob1vXK Ссылка на плейлист курса на YouTube]

Ссылка на GitHub с материалами курса: TBD

{| class="wikitable"
|-
! Занятие !! Тема !! Дата !! Ссылки
|-
| style="background:#eaecf0;" | '''1''' || Понятие ОС. Знакомство с Linux
|| 14.09.24 || Запись занятия ([https://www.youtube.com/watch?v=aajK-QZmIms youtube], [https://vk.com/video-227011779_456239044?list=ln-ldVAHpmtXqbsIZMZCM vk]), [https://drive.google.com/file/d/107r4XLvlvPdQIoVrdbXqhvW-vh0ST8b4/view Презентация]
|-
| style="background:#eaecf0;" | '''2''' || Git и GitHub
|| 21.09.24 || Запись занятия ([https://youtu.be/WWMNNJcWObc youtube], [https://vk.com/video-227011779_456239060?list=ln-HyvrtATwub1vM5Ahse vk]), [https://drive.google.com/file/d/1ZBjJ3SE5SbBxIdYp4p8RdJ_aCyTmfuS-/view Презентация]
|-
| style="background:#eaecf0;" | '''3''' || Практика в Git
|| 28.09.24 || Запись занятия ([https://youtu.be/F-n_J1e-7fk youtube], [https://vk.com/video-227011779_456239074?list=ln-rTAQo9hcn3GQfDq8Ii vk]), [https://drive.google.com/file/d/1Y7ooyJIjfe4pb1Hs_acJgD0PlzVFsjia/view Презентация]
|-
| style="background:#eaecf0;" | '''4''' || Сбор данных (BS4, регулярные выражения)
|| 05.10.24 || Запись занятия ([https://youtu.be/42gjwaCGdTU youtube], [https://vk.com/video-227011779_456239089?list=ln-9JQ7eX6rdNBQTFGlXE vk]), [https://colab.research.google.com/drive/1FgiYgJ2mmOXBa7RQ6byaMQ2m2rV01JFy Ноутбук]
|-
| style="background:#eaecf0;" | '''5''' || Введение в регулярные выражения
|| 12.10.24 || Запись занятия ([https://youtu.be/ZNjwzK4Pd_8 youtube], [https://vk.com/video-227011779_456239103?list=ln-xAcssmeLhiaoi1JrU3 vk]), [https://colab.research.google.com/drive/15KvcVNUN6uqiVLAnUJx3f-53K9wdnwUw Ноутбук]
|-
| style="background:#eaecf0;" | '''6''' || Аннотации типов в Python
|| 19.10.24 || Запись занятия ([https://youtu.be/ig-w-0vrAnw youtube], [https://vk.com/video-227011779_456239125?list=ln-AkaVx9yJhS3BUCu4Xq vk]), [https://colab.research.google.com/drive/1cQ6VZ4SHFxxa-CCNXtimKTo7-2srdrWe Ноутбук]
|-
| style="background:#eaecf0;" | '''7''' || Знакомство с FastAPI
Фреймворк Streamlit
|| 02.11.24 || Запись занятия FastAPI ([https://youtu.be/JFvyF4hhJus youtube], [https://vk.com/video-227011779_456239132?list=ln-jya9m5zSF5Pt7iZPTs vk]), [https://colab.research.google.com/drive/1KcYYmdGHtDf-FSucKXYASjOKfjaveXNb Ноутбук]
Запись занятия Streamlit ([https://youtu.be/4sup1Z2r2PU youtube], [https://vk.com/video-227011779_456239152?list=ln-7xJ0yNfD5PshwCLfar vk]), [https://github.com/evgpat/streamlit_tutorial/tree/main Скрипты], [https://github.com/evgpat/streamlit_demo Репозиторий титаника], [https://titanic.streamlit.app/ Развернутое приложение]
|-
| style="background:#eaecf0;" | '''8''' || Практика в Linux
BASH

Особенности работы в BASH
|| 09.11.24 || Запись занятия Linux ([https://youtu.be/TWvhCW4RBbU youtube], [https://vk.com/video-227011779_456239162?list=ln-CBAEsTfzTDJOwZB0bH vk]), [https://colab.research.google.com/drive/157NKOUfTcOL61I-7Qso7-5-MJoGonlTH Ноутбук]
Запись занятия BASH ([https://youtu.be/dhvQVXhYtDo youtube], [https://vk.com/video-227011779_456239163?list=ln-TRlcYAoPTtbyXezD6W vk]), [https://colab.research.google.com/drive/1_2jSPNhVL1KL4lKTUtvON5uLam5187v_ Ноутбук]

Запись занятия "Особенности работы в BASH" ([https://youtu.be/7X2CqhcQyuM youtube], [https://vk.com/video-227011779_456239171?list=ln-pl1V1ViKwQyrLp7iif vk])
|-
| style="background:#eaecf0;" | '''9''' || FastAPI и ML-модель
|| TBD || Запись занятия ([https://youtu.be/xMvSCxkRX34 youtube], [https://vkvideo.ru/video-227011779_456239182?list=ln-Go5CcDCUdiEZu0WqaO vk]), [https://colab.research.google.com/drive/1gWa2Hy6ad8cYnw3U8YTEzsI4xIaycDOa Ноутбук Титаник], [https://colab.research.google.com/drive/1AFI3x5LzJqlT2avbx6W9Iv7DP8EnfoxE Ноутбук Калифорния], [https://colab.research.google.com/drive/1DWkqeQdgsvcfNbwQ7p7oDVwOFDxucq6e Ноутбук Пингвины]
|-
| style="background:#eaecf0;" | '''10''' || Структура ML-проекта. Основные концепции
|| TBD || Запись занятия ([https://youtu.be/QFP6imk-Ics youtube], [https://vk.com/video-227011779_456239220?list=ln-2zAQ0SPrswBmuJIUNG vk]), [https://drive.google.com/file/d/1o6YZaE5oNaVfVnG335Nzg78vOSHFsyJW/view Презентация]
|-
| style="background:#eaecf0;" | '''11''' || Хранилища данных. Часть 1
Хранилища данных. Часть 2
|| TBD || Запись занятия ([https://youtu.be/jBlL5KMUK1c youtube], [https://vk.com/video-227011779_456239224?list=ln-QlFZqbheUzGxf5ypqe vk]), [https://drive.google.com/file/d/1uE1YH0aQ4ZtJxN9HON5DZG6S0QA-4mBN/view Презентация]
Запись занятия ([https://youtu.be/OjIz5VsBlAc youtube], [https://vk.com/video-227011779_456239225?list=ln-4YSUBv3Tv6e3KpYhYw vk]), [https://drive.google.com/file/d/1ptZ0Yhp-it0WhvbkCBJvZyf-CwfzhxPV/view Презентация]
|-
| style="background:#eaecf0;" | '''12''' || Модуль aiohttp (клиент)
|| TBD || Запись занятия ([https://youtu.be/abu4CR8S2ZI youtube], [https://vk.com/video-227011779_456239226?list=ln-pu9tCxe8e4kzQnIk7e vk]), [https://colab.research.google.com/drive/1FBZt_-J3_fNw8jjhlvjRB1C9kfpb_ccm Ноутбук]
|}

==Материалы курса: базовая группа (MIDDLE)==
[https://www.youtube.com/playlist?list=PLmA-1xX7IuzAUVEEPyrde6Rozy9Ob1vXK Ссылка на плейлист курса на YouTube]

Ссылка на GitHub с материалами курса: TBD

{| class="wikitable"
|-
! Занятие !! Тема !! Дата !! Ссылки
|-
| style="background:#eaecf0;" | '''1''' || Знакомство с Linux
|| 14.09.24 || Запись занятия ([https://youtu.be/pdeuxUjIRq0 youtube], [https://vk.com/video-227011779_456239045?list=ln-KbECgxuIHy3mKZ88SM vk]), [https://drive.google.com/file/d/1pauqAJ0svtehuphviDYcFyct17WZ_fds/view Презентация]
|-
| style="background:#eaecf0;" | '''2''' || Практика в Git
|| 21.09.24 || Запись занятия ([https://youtu.be/8-FTVZzAWZ0 youtube], [https://vk.com/video-227011779_456239061?list=ln-TVuC33rigvfLpuBczd vk])
|-
| style="background:#eaecf0;" | '''3''' || Практика в Git
|| 28.09.24 || Запись занятия ([https://youtu.be/KQlZw2Dypto youtube], [https://vk.com/video-227011779_456239075?list=ln-6vNhJTfimvahldXmqh vk]), [https://drive.google.com/file/d/1B10unT46NDSKk7CA4TqNajaJuHUa2yNG/view Презентация]
|-
| style="background:#eaecf0;" | '''4''' || Работа с API
|| 05.10.24 || Запись занятия ([https://youtu.be/2BleVnXHMTA youtube], [https://vk.com/video-227011779_456239090?list=ln-cx2rkC5tjhBHwguInj vk]), [https://drive.google.com/file/d/1r4DdUzVZjtRRNj_NAqgEdwdKYccXbVMg/view Презентация]
|-
| style="background:#eaecf0;" | '''5''' || Регулярные выражения
|| 12.10.24 || Запись занятия ([https://youtu.be/pb1YWbmw1Fg youtube], [https://vk.com/video-227011779_456239113?list=ln-bhlvZWj9Gvwa9THuRu vk]), [https://colab.research.google.com/drive/16yhbtS3xcEQcdTMAWJpP2ihvwY2gGRYN Ноутбук]
|-
| style="background:#eaecf0;" | '''6''' || Библиотека Pydantic
|| 19.10.24 || Запись занятия ([https://youtu.be/h8XBmjO4CCU youtube], [https://vk.com/video-227011779_456239131?list=ln-z3lN3RZLr88VmZyflJ vk]), [https://colab.research.google.com/drive/1xgtUfDBrIOY3yvNefOAcBRH-gG0fDmP- Ноутбук]
|-
| style="background:#eaecf0;" | '''7''' || BASH
Особенности работы в BASH
|| 09.11.24 || Запись занятия ([https://youtu.be/dhvQVXhYtDo youtube], [https://vk.com/video-227011779_456239163?list=ln-TRlcYAoPTtbyXezD6W vk]), [https://colab.research.google.com/drive/1_2jSPNhVL1KL4lKTUtvON5uLam5187v_ Ноутбук]
Запись занятия "Особенности работы в BASH" ([https://youtu.be/7X2CqhcQyuM youtube], [https://vk.com/video-227011779_456239171?list=ln-pl1V1ViKwQyrLp7iif vk])
|-
| style="background:#eaecf0;" | '''8''' || Структура ML-проекта. Основные концепции
|| TBD || Запись занятия ([https://youtu.be/QFP6imk-Ics youtube], [https://vk.com/video-227011779_456239220?list=ln-2zAQ0SPrswBmuJIUNG vk]), [https://drive.google.com/file/d/1o6YZaE5oNaVfVnG335Nzg78vOSHFsyJW/view Презентация]
|-
| style="background:#eaecf0;" | '''9''' || Хранилища данных. Часть 1
Хранилища данных. Часть 2
|| TBD || Запись занятия ([https://youtu.be/jBlL5KMUK1c youtube], [https://vk.com/video-227011779_456239224?list=ln-QlFZqbheUzGxf5ypqe vk]), [https://drive.google.com/file/d/1uE1YH0aQ4ZtJxN9HON5DZG6S0QA-4mBN/view Презентация]
Запись занятия ([https://youtu.be/OjIz5VsBlAc youtube], [https://vk.com/video-227011779_456239225?list=ln-4YSUBv3Tv6e3KpYhYw vk]), [https://drive.google.com/file/d/1ptZ0Yhp-it0WhvbkCBJvZyf-CwfzhxPV/view Презентация]
|-
| style="background:#eaecf0;" | '''10''' || Модуль aiohttp (клиент)
|| TBD || Запись занятия ([https://youtu.be/abu4CR8S2ZI youtube], [https://vk.com/video-227011779_456239226?list=ln-pu9tCxe8e4kzQnIk7e vk]), [https://colab.research.google.com/drive/1FBZt_-J3_fNw8jjhlvjRB1C9kfpb_ccm Ноутбук]
|-
| style="background:#eaecf0;" | '''11''' || Web-service
|| TBD ||
|-
| style="background:#eaecf0;" | '''12''' || ML-разработка в облаке. Yandex DataSphere
|| TBD ||
|}

==Материалы курса: продвинутая группа (PRO)==
[https://www.youtube.com/playlist?list=PLmA-1xX7IuzAUVEEPyrde6Rozy9Ob1vXK Ссылка на плейлист курса на YouTube]

Ссылка на GitHub с материалами курса: TBD

{| class="wikitable"
|-
! Занятие !! Тема !! Дата !! Ссылки
|-
| style="background:#eaecf0;" | '''1''' || Модели в ML production. Серилизация моделей
|| 18.09.24 || Запись занятия ([https://youtu.be/uzHQUFZNNd4 youtube] [https://vk.com/video-227011779_456239052?list=ln-LAVj1PwWEiCXGrfUZK vk]), [https://drive.google.com/file/d/1YKCIBH1orxoOmleTVRN4-mNVUp-nwGyy/view Презентация], [https://colab.research.google.com/drive/1DvKRrJdyWmlhWEza-xAcsZ-Bh0-7FiOS Ноутбук]
|-
| style="background:#eaecf0;" | '''2''' || RECAP: Git
|| 29.09.24 || Запись занятия ([https://youtu.be/JZouuS96kuY youtube] [https://vk.com/video-227011779_456239076?list=ln-52nwVJZR8hiBnXsta9 vk]), [https://drive.google.com/file/d/1kuurD9lxiD4qsELYRzQ4MOxDQ4MdJuAx/view Презентация], [https://colab.research.google.com/drive/1jWtQUy1k0p2dLqdmXqhd2P8rukuY9ke4 Ноутбук]
|-
| style="background:#eaecf0;" | '''3''' || Память в Питоне
|| 09.10.24 || Запись занятия ([https://youtu.be/KNRKv8Sypkc youtube] [https://vk.com/video-227011779_456239102?list=ln-0yZxT3vy4DjdvYHIGx vk]), [https://colab.research.google.com/drive/1C9Y_p4pYlcr_acMN_GWHnj4XIjTvYKJJ Ноутбук]
|-
| style="background:#eaecf0;" | '''4''' || Ускорение Python
|| 16.10.24 || Запись занятия ([https://youtu.be/D-WK_dXpRj8 youtube] [https://vk.com/video-227011779_456239118?list=ln-1jzJNZYeqBzKPrMalW vk]), [https://colab.research.google.com/drive/1B4legra3iu6XvEClnzojM2I2GopM3e2w Ноутбук]
|-
| style="background:#eaecf0;" | '''5''' || Структура ML-проекта. Основные концепции
|| TBD || Запись занятия ([https://youtu.be/QFP6imk-Ics youtube], [https://vk.com/video-227011779_456239220?list=ln-2zAQ0SPrswBmuJIUNG vk]), [https://drive.google.com/file/d/1o6YZaE5oNaVfVnG335Nzg78vOSHFsyJW/view Презентация]
|-
| style="background:#eaecf0;" | '''6''' || Хранилища данных. Часть 1
Хранилища данных. Часть 2
|| TBD || Запись занятия ([https://youtu.be/jBlL5KMUK1c youtube], [https://vk.com/video-227011779_456239224?list=ln-QlFZqbheUzGxf5ypqe vk]), [https://drive.google.com/file/d/1uE1YH0aQ4ZtJxN9HON5DZG6S0QA-4mBN/view Презентация]
Запись занятия ([https://youtu.be/OjIz5VsBlAc youtube], [https://vk.com/video-227011779_456239225?list=ln-4YSUBv3Tv6e3KpYhYw vk]), [https://drive.google.com/file/d/1ptZ0Yhp-it0WhvbkCBJvZyf-CwfzhxPV/view Презентация]
|-
| style="background:#eaecf0;" | '''7''' || RECAP: Docker
|| TBD ||
|-
| style="background:#eaecf0;" | '''8''' || Telegram bot
|| TBD ||
|-
| style="background:#eaecf0;" | '''9''' || Docker Compose и сеть
|| TBD ||
|-
| style="background:#eaecf0;" | '''10''' || MVP в Data Science. Фреймворк Streamlit
|| TBD ||
|-
| style="background:#eaecf0;" | '''11''' || ML-разработка в облаке. Yandex DataSphere
|| TBD ||
|}

=== Записи консультаций ===

==Формула оценивания==

Оценка = 0.1 * ОПрактика Git + 0.05 * ОТест: Git + 0.05 * ОТест: Regex и API
+ 0.1 * ОПрактика: FastApi + 0.1 * ОПрактика: BASH + 0.1 * ОПрактика: SQL + 0.1 * ОПрактика: Docker+
0.3 * ОПрактика: Инференс ML-модели + 0.05 * ОТест: Docker + 0.05 * ОТест: General 

== Распределительный тест ==

[https://forms.gle/2cZz1b5AjKgdpjjD7 Распределительный тест] - Дедлайн: '''05.09, 19:00'''

== Домашние задания ==
* Тест1: Системы контроля версий. Работа в Git ([https://forms.gle/RmPcXGZj8XguS95R9 BASE], [https://forms.gle/TVtyDJaLJ1XtMGSn7 MIDDLE], [https://forms.gle/u66TQCJzjxSoiY568 PRO]) - Дедлайн: '''12 октября, 23:59 (GMT+3)''';
* Тест2: Регулярные выражения + API ([https://forms.gle/Fqzfr3b5oW18cRPDA BASE], [https://forms.gle/k12UiH7RKYN9MR2L6 MIDDLE], [https://forms.gle/gSpqDVUUharun99P9 PRO]) - Дедлайн: '''28 октября, 23:59 (GMT+3)''';
* Тест3: Принципы работы современных ОС. Основы Linux - Дедлайн: TBA;
* Тест4: Команды Docker - Дедлайн: TBA;

* ДЗ1: [https://drive.google.com/file/d/1c4DUPXh196N6I9YHxOjqrDJafzzRBQWY/view Практика в Git] - Дедлайн: '''5 октября, 23:59 (GMT+3)''';
* ДЗ2: [https://drive.google.com/file/d/17jCoDd3_v-LUFKLiReMgxwlc4LIbDN5Z/view Скриптинг на Bash] - Дедлайн: '''5 декабря, 23:59 (GMT+3)''';
* ДЗ3: Практика с FastAPI ([https://docs.google.com/presentation/d/1JM9WYEgAbMP8_UbmSGfJiKlSl76BLWcvZIVKGk1dzF0 BASE], [https://docs.google.com/presentation/d/1BKlreBDh8RlDQlm93Jbzrnc3Unbb_roYVTeDnQiLCZ4 MIDDLE], [https://docs.google.com/presentation/d/1O0Ns4SB-uvGi_ze153-TK1yGJIAGRhKV2CUWUWk7rAI PRO]) - Дедлайн: '''15 декабря, 23:59 (GMT+3)''';
* ДЗ4: Telegram-бот - Дедлайн: TBA;

== Литература ==

ИИ Инструменты разработки (ИИ24, 1-2 модули)

2024-12-13T16:06:15Z

Saprokhorov 1:

==О курсе==

Курс читается для студентов 1 курса магистратуры "Искусственный интеллект" в 1-2 модулях 2024/2025 учебного года.

В данном курсе затрагиваются темы, которые редко освещаются в стандартной программе, и вместо этого студенты сами его проходят: владение своими инструментами разработки. Курс предназначен для освоения работы с командной строкой, использования мощного текстового редактора, использования необычных функций систем контроля версий и многого другого. Мы рассмотрим дизайн и внутренности этих инструментов, чтобы студенты в будущем свободно владели и понимали остальных разработчиков, а также думали в рамках этих инструментов наиболее гибко. Люди проводят сотни часов, используя эти инструменты в процессе обучения (и тысячи часов в течение своей карьеры), поэтому имеет смысл сделать процесс обучения максимально плавным и простым. Овладение ими не только позволяет вам тратить меньше времени на выяснение того, как подчинить ваши инструменты своей воле, но также позволяет решать проблемы, которые раньше казались невероятно сложными.

==Контакты==

Чат курса в TG: TBD

Преподаватель: Паточенко Евгений Анатольевич (https://www.hse.ru/org/persons/344864076/)

{| class="wikitable"
|-
! Ассистент !! Telegram
|-
| style="background:#eaecf0;" | Марк Блуменау || [https://t.me/markblumenau @markblumenau]
|-
| style="background:#eaecf0;" | Дмитрий Качкин || [https://t.me/KachkinDmitrii @KachkinDmitrii]
|-
| style="background:#eaecf0;" | Сергей Кривошеев || [https://t.me/FlameInBrain @FlameInBrain]
|-
| style="background:#eaecf0;" | Олег Афанасьев || [https://t.me/afanasevo @afanasevo]
|-
| style="background:#eaecf0;" | Милана Кучумова || [https://t.me/milana_kma @milana_kma]
|-
| style="background:#eaecf0;" | Лука Марков || [https://t.me/lulu_fw01 @lulu_fw01]
|-
| style="background:#eaecf0;" | Денис Сапожников || [https://t.me/I_1ove_myse1f @I_1ove_myse1f]
|-
|}

==Материалы курса: начальная группа (BASE)==
[https://www.youtube.com/playlist?list=PLmA-1xX7IuzAUVEEPyrde6Rozy9Ob1vXK Ссылка на плейлист курса на YouTube]

Ссылка на GitHub с материалами курса: TBD

{| class="wikitable"
|-
! Занятие !! Тема !! Дата !! Ссылки
|-
| style="background:#eaecf0;" | '''1''' || Понятие ОС. Знакомство с Linux
|| 14.09.24 || Запись занятия ([https://www.youtube.com/watch?v=aajK-QZmIms youtube], [https://vk.com/video-227011779_456239044?list=ln-ldVAHpmtXqbsIZMZCM vk]), [https://drive.google.com/file/d/107r4XLvlvPdQIoVrdbXqhvW-vh0ST8b4/view Презентация]
|-
| style="background:#eaecf0;" | '''2''' || Git и GitHub
|| 21.09.24 || Запись занятия ([https://youtu.be/WWMNNJcWObc youtube], [https://vk.com/video-227011779_456239060?list=ln-HyvrtATwub1vM5Ahse vk]), [https://drive.google.com/file/d/1ZBjJ3SE5SbBxIdYp4p8RdJ_aCyTmfuS-/view Презентация]
|-
| style="background:#eaecf0;" | '''3''' || Практика в Git
|| 28.09.24 || Запись занятия ([https://youtu.be/F-n_J1e-7fk youtube], [https://vk.com/video-227011779_456239074?list=ln-rTAQo9hcn3GQfDq8Ii vk]), [https://drive.google.com/file/d/1Y7ooyJIjfe4pb1Hs_acJgD0PlzVFsjia/view Презентация]
|-
| style="background:#eaecf0;" | '''4''' || Сбор данных (BS4, регулярные выражения)
|| 05.10.24 || Запись занятия ([https://youtu.be/42gjwaCGdTU youtube], [https://vk.com/video-227011779_456239089?list=ln-9JQ7eX6rdNBQTFGlXE vk]), [https://colab.research.google.com/drive/1FgiYgJ2mmOXBa7RQ6byaMQ2m2rV01JFy Ноутбук]
|-
| style="background:#eaecf0;" | '''5''' || Введение в регулярные выражения
|| 12.10.24 || Запись занятия ([https://youtu.be/ZNjwzK4Pd_8 youtube], [https://vk.com/video-227011779_456239103?list=ln-xAcssmeLhiaoi1JrU3 vk]), [https://colab.research.google.com/drive/15KvcVNUN6uqiVLAnUJx3f-53K9wdnwUw Ноутбук]
|-
| style="background:#eaecf0;" | '''6''' || Аннотации типов в Python
|| 19.10.24 || Запись занятия ([https://youtu.be/ig-w-0vrAnw youtube], [https://vk.com/video-227011779_456239125?list=ln-AkaVx9yJhS3BUCu4Xq vk]), [https://colab.research.google.com/drive/1cQ6VZ4SHFxxa-CCNXtimKTo7-2srdrWe Ноутбук]
|-
| style="background:#eaecf0;" | '''7''' || Знакомство с FastAPI
Фреймворк Streamlit
|| 02.11.24 || Запись занятия FastAPI ([https://youtu.be/JFvyF4hhJus youtube], [https://vk.com/video-227011779_456239132?list=ln-jya9m5zSF5Pt7iZPTs vk]), [https://colab.research.google.com/drive/1KcYYmdGHtDf-FSucKXYASjOKfjaveXNb Ноутбук]
Запись занятия Streamlit ([https://youtu.be/4sup1Z2r2PU youtube], [https://vk.com/video-227011779_456239152?list=ln-7xJ0yNfD5PshwCLfar vk]), [https://github.com/evgpat/streamlit_tutorial/tree/main Скрипты], [https://github.com/evgpat/streamlit_demo Репозиторий титаника], [https://titanic.streamlit.app/ Развернутое приложение]
|-
| style="background:#eaecf0;" | '''8''' || Практика в Linux
BASH

Особенности работы в BASH
|| 09.11.24 || Запись занятия Linux ([https://youtu.be/TWvhCW4RBbU youtube], [https://vk.com/video-227011779_456239162?list=ln-CBAEsTfzTDJOwZB0bH vk]), [https://colab.research.google.com/drive/157NKOUfTcOL61I-7Qso7-5-MJoGonlTH Ноутбук]
Запись занятия BASH ([https://youtu.be/dhvQVXhYtDo youtube], [https://vk.com/video-227011779_456239163?list=ln-TRlcYAoPTtbyXezD6W vk]), [https://colab.research.google.com/drive/1_2jSPNhVL1KL4lKTUtvON5uLam5187v_ Ноутбук]

Запись занятия "Особенности работы в BASH" ([https://youtu.be/7X2CqhcQyuM youtube], [https://vk.com/video-227011779_456239171?list=ln-pl1V1ViKwQyrLp7iif vk])
|-
| style="background:#eaecf0;" | '''9''' || FastAPI и ML-модель
|| TBD || Запись занятия ([https://youtu.be/xMvSCxkRX34 youtube], [https://vkvideo.ru/video-227011779_456239182?list=ln-Go5CcDCUdiEZu0WqaO vk]), [https://colab.research.google.com/drive/1gWa2Hy6ad8cYnw3U8YTEzsI4xIaycDOa Ноутбук Титаник], [https://colab.research.google.com/drive/1AFI3x5LzJqlT2avbx6W9Iv7DP8EnfoxE Ноутбук Калифорния], [https://colab.research.google.com/drive/1DWkqeQdgsvcfNbwQ7p7oDVwOFDxucq6e Ноутбук Пингвины]
|-
| style="background:#eaecf0;" | '''10''' || Структура ML-проекта. Основные концепции
|| TBD || Запись занятия ([https://youtu.be/QFP6imk-Ics youtube], [https://vk.com/video-227011779_456239220?list=ln-2zAQ0SPrswBmuJIUNG vk]), [https://drive.google.com/file/d/1o6YZaE5oNaVfVnG335Nzg78vOSHFsyJW/view Презентация]
|-
| style="background:#eaecf0;" | '''11''' || Web-service
|| TBD ||
|-
| style="background:#eaecf0;" | '''12''' || Yandex DataSphere
|| TBD ||
|}

==Материалы курса: базовая группа (MIDDLE)==
[https://www.youtube.com/playlist?list=PLmA-1xX7IuzAUVEEPyrde6Rozy9Ob1vXK Ссылка на плейлист курса на YouTube]

Ссылка на GitHub с материалами курса: TBD

{| class="wikitable"
|-
! Занятие !! Тема !! Дата !! Ссылки
|-
| style="background:#eaecf0;" | '''1''' || Знакомство с Linux
|| 14.09.24 || Запись занятия ([https://youtu.be/pdeuxUjIRq0 youtube], [https://vk.com/video-227011779_456239045?list=ln-KbECgxuIHy3mKZ88SM vk]), [https://drive.google.com/file/d/1pauqAJ0svtehuphviDYcFyct17WZ_fds/view Презентация]
|-
| style="background:#eaecf0;" | '''2''' || Практика в Git
|| 21.09.24 || Запись занятия ([https://youtu.be/8-FTVZzAWZ0 youtube], [https://vk.com/video-227011779_456239061?list=ln-TVuC33rigvfLpuBczd vk])
|-
| style="background:#eaecf0;" | '''3''' || Практика в Git
|| 28.09.24 || Запись занятия ([https://youtu.be/KQlZw2Dypto youtube], [https://vk.com/video-227011779_456239075?list=ln-6vNhJTfimvahldXmqh vk]), [https://drive.google.com/file/d/1B10unT46NDSKk7CA4TqNajaJuHUa2yNG/view Презентация]
|-
| style="background:#eaecf0;" | '''4''' || Работа с API
|| 05.10.24 || Запись занятия ([https://youtu.be/2BleVnXHMTA youtube], [https://vk.com/video-227011779_456239090?list=ln-cx2rkC5tjhBHwguInj vk]), [https://drive.google.com/file/d/1r4DdUzVZjtRRNj_NAqgEdwdKYccXbVMg/view Презентация]
|-
| style="background:#eaecf0;" | '''5''' || Регулярные выражения
|| 12.10.24 || Запись занятия ([https://youtu.be/pb1YWbmw1Fg youtube], [https://vk.com/video-227011779_456239113?list=ln-bhlvZWj9Gvwa9THuRu vk]), [https://colab.research.google.com/drive/16yhbtS3xcEQcdTMAWJpP2ihvwY2gGRYN Ноутбук]
|-
| style="background:#eaecf0;" | '''6''' || Библиотека Pydantic
|| 19.10.24 || Запись занятия ([https://youtu.be/h8XBmjO4CCU youtube], [https://vk.com/video-227011779_456239131?list=ln-z3lN3RZLr88VmZyflJ vk]), [https://colab.research.google.com/drive/1xgtUfDBrIOY3yvNefOAcBRH-gG0fDmP- Ноутбук]
|-
| style="background:#eaecf0;" | '''7''' || BASH
Особенности работы в BASH
|| 09.11.24 || Запись занятия ([https://youtu.be/dhvQVXhYtDo youtube], [https://vk.com/video-227011779_456239163?list=ln-TRlcYAoPTtbyXezD6W vk]), [https://colab.research.google.com/drive/1_2jSPNhVL1KL4lKTUtvON5uLam5187v_ Ноутбук]
Запись занятия "Особенности работы в BASH" ([https://youtu.be/7X2CqhcQyuM youtube], [https://vk.com/video-227011779_456239171?list=ln-pl1V1ViKwQyrLp7iif vk])
|-
| style="background:#eaecf0;" | '''8''' || Структура ML-проекта. Основные концепции
|| TBD || Запись занятия ([https://youtu.be/QFP6imk-Ics youtube], [https://vk.com/video-227011779_456239220?list=ln-2zAQ0SPrswBmuJIUNG vk]), [https://drive.google.com/file/d/1o6YZaE5oNaVfVnG335Nzg78vOSHFsyJW/view Презентация]
|-
| style="background:#eaecf0;" | '''9''' || Основы Docker
|| TBD ||
|-
| style="background:#eaecf0;" | '''10''' || Telegram bot
|| TBD ||
|-
| style="background:#eaecf0;" | '''11''' || Web-service
|| TBD ||
|-
| style="background:#eaecf0;" | '''12''' || ML-разработка в облаке. Yandex DataSphere
|| TBD ||
|}

==Материалы курса: продвинутая группа (PRO)==
[https://www.youtube.com/playlist?list=PLmA-1xX7IuzAUVEEPyrde6Rozy9Ob1vXK Ссылка на плейлист курса на YouTube]

Ссылка на GitHub с материалами курса: TBD

{| class="wikitable"
|-
! Занятие !! Тема !! Дата !! Ссылки
|-
| style="background:#eaecf0;" | '''1''' || Модели в ML production. Серилизация моделей
|| 18.09.24 || Запись занятия ([https://youtu.be/uzHQUFZNNd4 youtube] [https://vk.com/video-227011779_456239052?list=ln-LAVj1PwWEiCXGrfUZK vk]), [https://drive.google.com/file/d/1YKCIBH1orxoOmleTVRN4-mNVUp-nwGyy/view Презентация], [https://colab.research.google.com/drive/1DvKRrJdyWmlhWEza-xAcsZ-Bh0-7FiOS Ноутбук]
|-
| style="background:#eaecf0;" | '''2''' || RECAP: Git
|| 29.09.24 || Запись занятия ([https://youtu.be/JZouuS96kuY youtube] [https://vk.com/video-227011779_456239076?list=ln-52nwVJZR8hiBnXsta9 vk]), [https://drive.google.com/file/d/1kuurD9lxiD4qsELYRzQ4MOxDQ4MdJuAx/view Презентация], [https://colab.research.google.com/drive/1jWtQUy1k0p2dLqdmXqhd2P8rukuY9ke4 Ноутбук]
|-
| style="background:#eaecf0;" | '''3''' || Память в Питоне
|| 09.10.24 || Запись занятия ([https://youtu.be/KNRKv8Sypkc youtube] [https://vk.com/video-227011779_456239102?list=ln-0yZxT3vy4DjdvYHIGx vk]), [https://colab.research.google.com/drive/1C9Y_p4pYlcr_acMN_GWHnj4XIjTvYKJJ Ноутбук]
|-
| style="background:#eaecf0;" | '''4''' || Ускорение Python
|| 16.10.24 || Запись занятия ([https://youtu.be/D-WK_dXpRj8 youtube] [https://vk.com/video-227011779_456239118?list=ln-1jzJNZYeqBzKPrMalW vk]), [https://colab.research.google.com/drive/1B4legra3iu6XvEClnzojM2I2GopM3e2w Ноутбук]
|-
| style="background:#eaecf0;" | '''5''' || Структура ML-проекта. Основные концепции
|| TBD || Запись занятия ([https://youtu.be/QFP6imk-Ics youtube], [https://vk.com/video-227011779_456239220?list=ln-2zAQ0SPrswBmuJIUNG vk]), [https://drive.google.com/file/d/1o6YZaE5oNaVfVnG335Nzg78vOSHFsyJW/view Презентация]
|-
| style="background:#eaecf0;" | '''6''' || Фреймворки для создания сервисов (Django, Flask, FastAPI)
|| TBD ||
|-
| style="background:#eaecf0;" | '''7''' || Хранилища данных
|| TBD ||
|-
| style="background:#eaecf0;" | '''8''' || RECAP: Docker
|| TBD ||
|-
| style="background:#eaecf0;" | '''9''' || Telegram bot
|| TBD ||
|-
| style="background:#eaecf0;" | '''10''' || Docker Compose и сеть
|| TBD ||
|-
| style="background:#eaecf0;" | '''11''' || MVP в Data Science. Фреймворк Streamlit
|| TBD ||
|-
| style="background:#eaecf0;" | '''12''' || ML-разработка в облаке. Yandex DataSphere
|| TBD ||
|}

=== Записи консультаций ===

==Формула оценивания==

Оценка = 0.1 * ОПрактика Git + 0.05 * ОТест: Git + 0.05 * ОТест: Regex и API
+ 0.1 * ОПрактика: FastApi + 0.1 * ОПрактика: BASH + 0.1 * ОПрактика: SQL + 0.1 * ОПрактика: Docker+
0.3 * ОПрактика: Инференс ML-модели + 0.05 * ОТест: Docker + 0.05 * ОТест: General 

== Распределительный тест ==

[https://forms.gle/2cZz1b5AjKgdpjjD7 Распределительный тест] - Дедлайн: '''05.09, 19:00'''

== Домашние задания ==
* Тест1: Системы контроля версий. Работа в Git ([https://forms.gle/RmPcXGZj8XguS95R9 BASE], [https://forms.gle/TVtyDJaLJ1XtMGSn7 MIDDLE], [https://forms.gle/u66TQCJzjxSoiY568 PRO]) - Дедлайн: '''12 октября, 23:59 (GMT+3)''';
* Тест2: Регулярные выражения + API ([https://forms.gle/Fqzfr3b5oW18cRPDA BASE], [https://forms.gle/k12UiH7RKYN9MR2L6 MIDDLE], [https://forms.gle/gSpqDVUUharun99P9 PRO]) - Дедлайн: '''28 октября, 23:59 (GMT+3)''';
* Тест3: Принципы работы современных ОС. Основы Linux - Дедлайн: TBA;
* Тест4: Команды Docker - Дедлайн: TBA;

* ДЗ1: [https://drive.google.com/file/d/1c4DUPXh196N6I9YHxOjqrDJafzzRBQWY/view Практика в Git] - Дедлайн: '''5 октября, 23:59 (GMT+3)''';
* ДЗ2: [https://drive.google.com/file/d/17jCoDd3_v-LUFKLiReMgxwlc4LIbDN5Z/view Скриптинг на Bash] - Дедлайн: '''5 декабря, 23:59 (GMT+3)''';
* ДЗ3: Практика с FastAPI ([https://docs.google.com/presentation/d/1JM9WYEgAbMP8_UbmSGfJiKlSl76BLWcvZIVKGk1dzF0 BASE], [https://docs.google.com/presentation/d/1BKlreBDh8RlDQlm93Jbzrnc3Unbb_roYVTeDnQiLCZ4 MIDDLE], [https://docs.google.com/presentation/d/1O0Ns4SB-uvGi_ze153-TK1yGJIAGRhKV2CUWUWk7rAI PRO]) - Дедлайн: '''15 декабря, 23:59 (GMT+3)''';
* ДЗ4: Telegram-бот - Дедлайн: TBA;

== Литература ==

ML System Design 24/25 (МОВС23)

2024-12-11T07:35:07Z

Saprokhorov 1: various upds

==О курсе==

''Курс "ML System Design" посвящён практическим знаниям и навыкам, необходимых для проектирования и разработки масштабируемых систем машинного обучения. Слушатели курс получат итеративный фреймворк для разработки надёжных, масштабируемых, развертываемых ML-систем''

Занятия проводятся в [https://us06web.zoom.us/j/83596901782?pwd=vyNnobAPbaf3n37XG6RJ8Y4KAePMv4.1 Zoom] '''по средам в 18:10'''

==Контакты==

Чат курса в TG: [https://t.me/+iofkw6XUSSVkNzEy chat link]

Преподаватель: Теванян Элен Арамовна ([https://www.hse.ru/org/persons/46745470/ Страничка преподавателя ВШЭ])

{| class="wikitable"
|-
! Ассистент !! Контакты
|-
| style="background:#eaecf0;" | Савелий Прохоров || [https://t.me/Savely_Prokhorov @Savely_Prokhorov]
|-
| style="background:#eaecf0;" | Мурат Хажгериев || [https://t.me/greedisneutral @greedisneutral]
|-
| style="background:#eaecf0;" | Григорий Кузнецов || [https://t.me/growa @growa]
|}

==Материалы курса==
Ссылка на плейлист курса на YouTube: [https://www.youtube.com/playlist?list=PLmA-1xX7IuzAhYdXKcYnea4VnmeeIynx8 YouTube-playlist]

Плелист в VK Видео: [https://vkvideo.ru/playlist/-227011779_23 VK Видео]

Ссылка на GDrive с материалами курса: [[ GDrive]]

{| class="wikitable"
|-
! Занятие !! Тема !! Дата !! Материалы для самоподготовки к семинарам !! Дополнительные материалы
|-
| style="background:#eaecf0;" | '''1''' [[https://vkvideo.ru/playlist/-227011779_23/video-227011779_456239170 Запись, VK] | [https://www.youtube.com/watch?v=oi-HqYGkFBo&list=PLmA-1xX7IuzAhYdXKcYnea4VnmeeIynx8&index=4&pp=iAQB Запись, YouTube]] || [[ Слайды]] Введение в дизайн систем машинного обучения || 20.11.24 (Ср.) || ||
|-
| style="background:#eaecf0;" | '''2''' [[https://vkvideo.ru/playlist/-227011779_23/video-227011779_456239189 Запись, VK] | [https://www.youtube.com/watch?v=EeB3GelSqvw&list=PLmA-1xX7IuzAhYdXKcYnea4VnmeeIynx8&index=3&pp=iAQB Запись, YouTube]] || [[ Слайды]] Датасеты и инжиниринг признаков || 26.11.24 (Вт.) || ||
|-
| style="background:#eaecf0;" | '''3''' [[https://vkvideo.ru/playlist/-227011779_23/video-227011779_456239210 Запись, VK] | [https://www.youtube.com/watch?v=sOPBVpRSHuM&list=PLmA-1xX7IuzAhYdXKcYnea4VnmeeIynx8&index=2&pp=iAQB Запись, YouTube]] || [[ Слайды]] Выбор моделей и обучение моделей || 03.12.24 (Вт.) || ||
|-
| style="background:#eaecf0;" | '''4''' [[https://vkvideo.ru/playlist/-227011779_23/video-227011779_456239215 Запись, VK] | [https://www.youtube.com/watch?v=3ooOAYHsBdk&list=PLmA-1xX7IuzAhYdXKcYnea4VnmeeIynx8&index=1&pp=iAQB Запись, YouTube]] || [[ Слайды]] Оценка моделей || 04.12.24 (Ср.) || ||
|-
| style="background:#eaecf0;" | '''5''' [[ Запись, VK] | [Запись, YouTube]] || [[ Слайды]] Диагностика проблем и мониторинг ML-систем || 11.12.24 (Ср.) || ||
|-
| style="background:#eaecf0;" | '''6''' [[ Запись, VK] | [Запись, YouTube]] || [[ Слайды]] Деплой ML-систем || 17.12.24 (Вт.) || ||
|-
| style="background:#eaecf0;" | '''7''' [[ Запись, VK] | [Запись, YouTube]] || [[ Слайды]] Инфраструктура для машинного обучения и ML-платформы || 18.12.24 (Ср.) || ||
|}

=== Записи консультаций ===

==Формула оценивания==

Оценка = 0.4*ОДЗ + 0.6*ОПроект

== Формы контроля ==
[https://anytask.org/course/1157 Anytask]: инвайт - <code>i2lFfXn</code>

* '''Домашнее задание''' | [https://docs.google.com/document/d/1zKPToSFLBbYtXLhA2s-sl0EysEuqhi2eC4VoDvgYgeg/edit?usp=sharing GDoc] - Представляет собой небольшую текстовую работу и блок-схему, в которых надо отразить пройденный материал на примере предложенных ML-задач. Допустимы инициативные темы. - Выдано 08.12.24, - '''Мягкий дедлайн - 16.12.24, 23:30 МСК''', ''Жесткий - 23.12.24, 23:30 МСК''
* '''Проект''' - Представляет собой расширенную версию ДЗ по проблеме, отличной от ДЗ, с проработкой всех вопросов, рассмотренных на курсе - Выдается после 6-го // 7-го занятия

== Литература ==
# Nguyễn, C. (2022). Designing Machine Learning Systems. O'Reilly Media
# Babushkin, V., & Kravchenko, A. (2023). Machine Learning System Design: With End-to-End Examples. Independently published.

Автоматическая обработка текста 24/25 (МОВС23)

2024-12-11T04:17:58Z

Saprokhorov 1: add hw2

==О курсе==

NLP — это область искусственного интеллекта, направленная на решение задач, связанных с обработкой человеческого языка, таких как извлечение информации, машинный перевод, автоматическое суммирование и диалоговые системы. За последние годы мы увидели значительный прогресс благодаря статистическому и глубокому обучению. Демонстрация возможностей современных диалоговых систем по типу ChatGPT от OpenAI позволила нам переосмыслить перспективы NLP в повседневной жизни, что привлекло к области внимание как со стороны исследователей и инженеров, так и институциональных инвесторов, готовых финансировать бурный рост отрасли.

Данный курс ставит перед собой следующие цели:
* познакомить слушателя с ключевыми направлениями современного развития области, сформировать понимание запросов, с которыми сталкиваются инженеры и исследователи в повседневной работе.

* развить понимание фундаментальных концепций, необходимых для самостоятельного решения задач как прикладного, так и исследовательского характера.

* познакомить слушателя с инструментами, необходимыми для решения прикладных задач.

Курс основан на материалах [https://github.com/yandexdataschool/nlp_course/tree/2023 Школы Анализа Данных Яндекса (ШАД)], [https://web.stanford.edu/class/cs224n/ CS224n by Stanford], а также личном опыте автора. Курс приоритезирует понимание слушателями пространства существующих на сегодня в отрасли задач и умение их решать над полнотой освещения исторически важных, однако на текущий день устаревших концепций

Занятия проводятся в [https://us06web.zoom.us/j/85123736103?pwd=TbFnaDOVRPyqcVof2vlGbpeub1kDw5.1 Zoom] '''по четвергам в 19:40'''

==Контакты==

Чат курса в TG: [https://t.me/+7ayE2oKTNPg3M2M6 chat link]

Преподаватель: Хажгериев Мурат Анзорович ([https://t.me/greedisneutral @greedisneutral])

{| class="wikitable"
|-
! Ассистент !! Контакты
|-
| style="background:#eaecf0;" | Соня-Аня Никифорова || [https://t.me/sonya_leaf @sonya_leaf]
|-
| style="background:#eaecf0;" | Стас Ивашков || [https://t.me/ps1va @ps1va]
|-
| style="background:#eaecf0;" | Маша Харченко || [https://t.me/mister_autocrat @mister_autocrat]
|-
| style="background:#eaecf0;" | Савелий Прохоров || [https://t.me/Savely_Prokhorov @Savely_Prokhorov]
|}

==Материалы курса==
Ссылка на плейлист курса на YouTube: [https://www.youtube.com/playlist?list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4 YouTube-playlist]

Ссылка на плейлист в VK: [https://vk.com/video/playlist/-227011779_15 VK Видео]

Ссылка на GitHub с материалами курса: [https://github.com/greedisneutral/NLP-course GitHub repository]

{| class="wikitable"
|-
! Занятие !! Тема !! Дата !! Материалы для самоподготовки к семинарам !! Дополнительные материалы
|-
| style="background:#eaecf0;" | '''1''' [[https://www.youtube.com/watch?v=QSLSIiQ6Mcs&list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4&index=2&pp=iAQB Запись, YouTube]] || [[https://github.com/greedisneutral/NLP-course/blob/master/1.Embeddings/Word_Embeddings.pdf Слайды], [https://github.com/greedisneutral/NLP-course/blob/master/1.Embeddings/NLP_seminar_week_1.ipynb Тетрадка]] Карта задач и методов NLP, эмбеддинги слов (word embeddings) || 06.11.24 (Ср.) || ||
|-
| style="background:#eaecf0;" | '''2''' [[https://www.youtube.com/watch?v=QjmqbOe84vY&list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4&index=1&pp=iAQB Запись, YouTube]] || [[https://github.com/greedisneutral/NLP-course/blob/master/2.Classification/Classification.pdf Слайды], [https://github.com/greedisneutral/NLP-course/blob/master/2.Classification/NLP_seminar_week_2.ipynb Тетрадка]] Классификация текста || 14.11.24 (Чт.) || ||
|-
| style="background:#eaecf0;" | '''3''' [[https://www.youtube.com/watch?v=q9EUpCF97VI&list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4&index=3&pp=iAQB Запись]] || [[https://github.com/greedisneutral/NLP-course/blob/master/3.Seq2seq/seq2seq_attention.pdf Слайды], [https://github.com/greedisneutral/NLP-course/blob/master/3.Seq2seq/NLP_seminar_week_3.ipynb Тетрадка], [https://github.com/greedisneutral/NLP-course/blob/master/3.Seq2seq/seq2seq_attention_whiteboard.pdf Доска]] Seq2seq, Трансформер и механим внимания || 21.11.24 (Чт.) || || [https://colah.github.io/posts/2015-08-Understanding-LSTMs/ Ссылка] на качественное объяснение того, как работает LSTM (да и RNN вообще)
|-
| style="background:#eaecf0;" | '''4''' [[https://www.youtube.com/watch?v=RFdDgHDiKMs&list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4&index=4&pp=iAQB Запись]] || [[https://github.com/greedisneutral/NLP-course/blob/master/4.Transformers/Transformers.pdf Слайды], [https://github.com/greedisneutral/NLP-course/blob/master/4.Transformers/HSE_NLP_seminar_4.ipynb Ноутбук]] Transfer learning: BERT, ELMO, GPT || 28.11.24 (Чт.) ||
Замечательный [https://jalammar.github.io/illustrated-transformer/ разбор] архитектуры от Джея Аламмара

Прекрасный [https://lena-voita.github.io/nlp_course/seq2seq_and_attention.html разбор] от Лены Войты в рамках NLP Course | For You

Уже ставшая бородатой [https://arxiv.org/abs/1706.03762 оригинальная статья] Attention is all you need
||
|-
| style="background:#eaecf0;" | '''5''' [[ Запись]] || [[ Ноутбук]] Обучение Больших языковых моделей (Large Language Models): Обучение с нуля vs Тонкая настройка (finetuning) || 12.12.24 (Чт.) || ||
|-
| style="background:#eaecf0;" | '''6''' [[ Запись]] || [[ Ноутбук]] Reinforcement Learning From Human Feedback (RLHF), Direct Preference Optimization (DPO) || 14.12.24 (Сб.) || ||
|-
| style="background:#eaecf0;" | '''7''' [[ Запись]] || [[ Ноутбук]] Практические подходы для эффективного обучения и развертывания LLM || 16.12.24 (Пн.) || ||
|-
| style="background:#eaecf0;" | '''8''' [[ Запись]] || [[ Ноутбук]] Retrieval-Augmented (RAG) LLM || 19.12.24 (Чт.) || ||
|}

=== Записи консультаций ===

==Формула оценивания==

=== При участии в устном экзамене ===

Оценка = 0.3*ОУстный экзамен + 0.7*ОДЗ

=== При отказе от устного экзамене ===

Оценка = 1.0*ОДЗ

== Домашние задания ==

'''После выдачи домашнего задания студентам предоставляется 2 (две) недели на выполнение'''.

'''Каждый день просрочки штрафуется 1 баллом от максимальной оценки за соответствующее задание.'''

=== Main Track ===
# Обучение эмбеддингов с помощью библиотеки fasttext, реализация реального движка поиска эмбеддинга-ответа по запросу в векторной БД - Выдана 21.11.24, '''Дедлайн - 23:59 (МСК), 01.12.24 (Вс.)''', [https://github.com/greedisneutral/NLP-course/blob/master/2.Classification/NLP_hw_week_2.ipynb Ноутбук] - Весит 30% от итога
# Тонкая настройка (fine-tuning) BERT на собственных данных // Имплементация GPT 2 - Выдана 03.12.24, '''Дедлайн - 23:59 (МСК), 15.12.24 (Вс.)''', [https://github.com/greedisneutral/NLP-course/blob/master/4.Transformers/HSE_NLP_HW_BERT.ipynb Ноутбук (BERT)], [https://github.com/greedisneutral/NLP-course/blob/master/4.Transformers/HSE_NLP_HW_GPT.ipynb Ноутбук (GPT)] - Весит 20% от итога
# Тонкая настройка LLM (LLAMA 3 8b) с помощью PEFT - Выдаётся на неделе 5 - Весит 20% от итога

=== Optional Track ===
* Тонкая настройка собственной модели с использованием библиотеки TRL - Выдаётся на неделе 6 - Весит 15% от итога
* Реализация Round-to-Nearest (RTN), Generalized Post-Training Quantization (GPTQ) - Выдаётся на неделе 7 - Весит 15% от итога

== Устный экзамен ==

Программой курса предусмотрен устный экзамен, в рамках которого студентам будет предложено тянуть случайный билет с вопросом по пройденному материалу.

== Автоматы ==
На курсе предусмотрены автоматы:
Если оценка студента за блок “домашние задания” ≥ 4 и устраивает студента, ее можно зачесть в виде автомата.

== Литература ==
#
#
#
#

Автоматическая обработка текста 24/25 (МОВС23)

2024-12-11T04:14:11Z

Saprokhorov 1: upd dates of meet-ups

==О курсе==

NLP — это область искусственного интеллекта, направленная на решение задач, связанных с обработкой человеческого языка, таких как извлечение информации, машинный перевод, автоматическое суммирование и диалоговые системы. За последние годы мы увидели значительный прогресс благодаря статистическому и глубокому обучению. Демонстрация возможностей современных диалоговых систем по типу ChatGPT от OpenAI позволила нам переосмыслить перспективы NLP в повседневной жизни, что привлекло к области внимание как со стороны исследователей и инженеров, так и институциональных инвесторов, готовых финансировать бурный рост отрасли.

Данный курс ставит перед собой следующие цели:
* познакомить слушателя с ключевыми направлениями современного развития области, сформировать понимание запросов, с которыми сталкиваются инженеры и исследователи в повседневной работе.

* развить понимание фундаментальных концепций, необходимых для самостоятельного решения задач как прикладного, так и исследовательского характера.

* познакомить слушателя с инструментами, необходимыми для решения прикладных задач.

Курс основан на материалах [https://github.com/yandexdataschool/nlp_course/tree/2023 Школы Анализа Данных Яндекса (ШАД)], [https://web.stanford.edu/class/cs224n/ CS224n by Stanford], а также личном опыте автора. Курс приоритезирует понимание слушателями пространства существующих на сегодня в отрасли задач и умение их решать над полнотой освещения исторически важных, однако на текущий день устаревших концепций

Занятия проводятся в [https://us06web.zoom.us/j/85123736103?pwd=TbFnaDOVRPyqcVof2vlGbpeub1kDw5.1 Zoom] '''по четвергам в 19:40'''

==Контакты==

Чат курса в TG: [https://t.me/+7ayE2oKTNPg3M2M6 chat link]

Преподаватель: Хажгериев Мурат Анзорович ([https://t.me/greedisneutral @greedisneutral])

{| class="wikitable"
|-
! Ассистент !! Контакты
|-
| style="background:#eaecf0;" | Соня-Аня Никифорова || [https://t.me/sonya_leaf @sonya_leaf]
|-
| style="background:#eaecf0;" | Стас Ивашков || [https://t.me/ps1va @ps1va]
|-
| style="background:#eaecf0;" | Маша Харченко || [https://t.me/mister_autocrat @mister_autocrat]
|-
| style="background:#eaecf0;" | Савелий Прохоров || [https://t.me/Savely_Prokhorov @Savely_Prokhorov]
|}

==Материалы курса==
Ссылка на плейлист курса на YouTube: [https://www.youtube.com/playlist?list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4 YouTube-playlist]

Ссылка на плейлист в VK: [https://vk.com/video/playlist/-227011779_15 VK Видео]

Ссылка на GitHub с материалами курса: [https://github.com/greedisneutral/NLP-course GitHub repository]

{| class="wikitable"
|-
! Занятие !! Тема !! Дата !! Материалы для самоподготовки к семинарам !! Дополнительные материалы
|-
| style="background:#eaecf0;" | '''1''' [[https://www.youtube.com/watch?v=QSLSIiQ6Mcs&list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4&index=2&pp=iAQB Запись, YouTube]] || [[https://github.com/greedisneutral/NLP-course/blob/master/1.Embeddings/Word_Embeddings.pdf Слайды], [https://github.com/greedisneutral/NLP-course/blob/master/1.Embeddings/NLP_seminar_week_1.ipynb Тетрадка]] Карта задач и методов NLP, эмбеддинги слов (word embeddings) || 06.11.24 (Ср.) || ||
|-
| style="background:#eaecf0;" | '''2''' [[https://www.youtube.com/watch?v=QjmqbOe84vY&list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4&index=1&pp=iAQB Запись, YouTube]] || [[https://github.com/greedisneutral/NLP-course/blob/master/2.Classification/Classification.pdf Слайды], [https://github.com/greedisneutral/NLP-course/blob/master/2.Classification/NLP_seminar_week_2.ipynb Тетрадка]] Классификация текста || 14.11.24 (Чт.) || ||
|-
| style="background:#eaecf0;" | '''3''' [[https://www.youtube.com/watch?v=q9EUpCF97VI&list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4&index=3&pp=iAQB Запись]] || [[https://github.com/greedisneutral/NLP-course/blob/master/3.Seq2seq/seq2seq_attention.pdf Слайды], [https://github.com/greedisneutral/NLP-course/blob/master/3.Seq2seq/NLP_seminar_week_3.ipynb Тетрадка], [https://github.com/greedisneutral/NLP-course/blob/master/3.Seq2seq/seq2seq_attention_whiteboard.pdf Доска]] Seq2seq, Трансформер и механим внимания || 21.11.24 (Чт.) || || [https://colah.github.io/posts/2015-08-Understanding-LSTMs/ Ссылка] на качественное объяснение того, как работает LSTM (да и RNN вообще)
|-
| style="background:#eaecf0;" | '''4''' [[https://www.youtube.com/watch?v=RFdDgHDiKMs&list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4&index=4&pp=iAQB Запись]] || [[https://github.com/greedisneutral/NLP-course/blob/master/4.Transformers/Transformers.pdf Слайды], [https://github.com/greedisneutral/NLP-course/blob/master/4.Transformers/HSE_NLP_seminar_4.ipynb Ноутбук]] Transfer learning: BERT, ELMO, GPT || 28.11.24 (Чт.) ||
Замечательный [https://jalammar.github.io/illustrated-transformer/ разбор] архитектуры от Джея Аламмара

Прекрасный [https://lena-voita.github.io/nlp_course/seq2seq_and_attention.html разбор] от Лены Войты в рамках NLP Course | For You

Уже ставшая бородатой [https://arxiv.org/abs/1706.03762 оригинальная статья] Attention is all you need
||
|-
| style="background:#eaecf0;" | '''5''' [[ Запись]] || [[ Ноутбук]] Обучение Больших языковых моделей (Large Language Models): Обучение с нуля vs Тонкая настройка (finetuning) || 12.12.24 (Чт.) || ||
|-
| style="background:#eaecf0;" | '''6''' [[ Запись]] || [[ Ноутбук]] Reinforcement Learning From Human Feedback (RLHF), Direct Preference Optimization (DPO) || 14.12.24 (Сб.) || ||
|-
| style="background:#eaecf0;" | '''7''' [[ Запись]] || [[ Ноутбук]] Практические подходы для эффективного обучения и развертывания LLM || 16.12.24 (Пн.) || ||
|-
| style="background:#eaecf0;" | '''8''' [[ Запись]] || [[ Ноутбук]] Retrieval-Augmented (RAG) LLM || 19.12.24 (Чт.) || ||
|}

=== Записи консультаций ===

==Формула оценивания==

=== При участии в устном экзамене ===

Оценка = 0.3*ОУстный экзамен + 0.7*ОДЗ

=== При отказе от устного экзамене ===

Оценка = 1.0*ОДЗ

== Домашние задания ==

'''После выдачи домашнего задания студентам предоставляется 2 (две) недели на выполнение'''.

'''Каждый день просрочки штрафуется 1 баллом от максимальной оценки за соответствующее задание.'''

=== Main Track ===
# Обучение эмбеддингов с помощью библиотеки fasttext, реализация реального движка поиска эмбеддинга-ответа по запросу в векторной БД - Выдана 21.11.24, '''Дедлайн - 23:59 (МСК), 01.12.24 (Вс.)''', [https://github.com/greedisneutral/NLP-course/blob/master/2.Classification/NLP_hw_week_2.ipynb Ноутбук] - Весит 30% от итога
# Тонкая настройка (fine-tuning) BERT на собственных данных - Выдаётся на неделе 4 - Весит 20% от итога
# Тонкая настройка LLM (LLAMA 3 8b) с помощью PEFT - Выдаётся на неделе 5 - Весит 20% от итога

=== Optional Track ===
* Тонкая настройка собственной модели с использованием библиотеки TRL - Выдаётся на неделе 6 - Весит 15% от итога
* Реализация Round-to-Nearest (RTN), Generalized Post-Training Quantization (GPTQ) - Выдаётся на неделе 7 - Весит 15% от итога

== Устный экзамен ==

Программой курса предусмотрен устный экзамен, в рамках которого студентам будет предложено тянуть случайный билет с вопросом по пройденному материалу.

== Автоматы ==
На курсе предусмотрены автоматы:
Если оценка студента за блок “домашние задания” ≥ 4 и устраивает студента, ее можно зачесть в виде автомата.

== Литература ==
#
#
#
#

Автоматическая обработка текста 24/25 (МОВС23)

2024-12-11T04:12:16Z

Saprokhorov 1: added links and additional info

==О курсе==

NLP — это область искусственного интеллекта, направленная на решение задач, связанных с обработкой человеческого языка, таких как извлечение информации, машинный перевод, автоматическое суммирование и диалоговые системы. За последние годы мы увидели значительный прогресс благодаря статистическому и глубокому обучению. Демонстрация возможностей современных диалоговых систем по типу ChatGPT от OpenAI позволила нам переосмыслить перспективы NLP в повседневной жизни, что привлекло к области внимание как со стороны исследователей и инженеров, так и институциональных инвесторов, готовых финансировать бурный рост отрасли.

Данный курс ставит перед собой следующие цели:
* познакомить слушателя с ключевыми направлениями современного развития области, сформировать понимание запросов, с которыми сталкиваются инженеры и исследователи в повседневной работе.

* развить понимание фундаментальных концепций, необходимых для самостоятельного решения задач как прикладного, так и исследовательского характера.

* познакомить слушателя с инструментами, необходимыми для решения прикладных задач.

Курс основан на материалах [https://github.com/yandexdataschool/nlp_course/tree/2023 Школы Анализа Данных Яндекса (ШАД)], [https://web.stanford.edu/class/cs224n/ CS224n by Stanford], а также личном опыте автора. Курс приоритезирует понимание слушателями пространства существующих на сегодня в отрасли задач и умение их решать над полнотой освещения исторически важных, однако на текущий день устаревших концепций

Занятия проводятся в [https://us06web.zoom.us/j/85123736103?pwd=TbFnaDOVRPyqcVof2vlGbpeub1kDw5.1 Zoom] '''по четвергам в 19:40'''

==Контакты==

Чат курса в TG: [https://t.me/+7ayE2oKTNPg3M2M6 chat link]

Преподаватель: Хажгериев Мурат Анзорович ([https://t.me/greedisneutral @greedisneutral])

{| class="wikitable"
|-
! Ассистент !! Контакты
|-
| style="background:#eaecf0;" | Соня-Аня Никифорова || [https://t.me/sonya_leaf @sonya_leaf]
|-
| style="background:#eaecf0;" | Стас Ивашков || [https://t.me/ps1va @ps1va]
|-
| style="background:#eaecf0;" | Маша Харченко || [https://t.me/mister_autocrat @mister_autocrat]
|-
| style="background:#eaecf0;" | Савелий Прохоров || [https://t.me/Savely_Prokhorov @Savely_Prokhorov]
|}

==Материалы курса==
Ссылка на плейлист курса на YouTube: [https://www.youtube.com/playlist?list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4 YouTube-playlist]

Ссылка на плейлист в VK: [https://vk.com/video/playlist/-227011779_15 VK Видео]

Ссылка на GitHub с материалами курса: [https://github.com/greedisneutral/NLP-course GitHub repository]

{| class="wikitable"
|-
! Занятие !! Тема !! Дата !! Материалы для самоподготовки к семинарам !! Дополнительные материалы
|-
| style="background:#eaecf0;" | '''1''' [[https://www.youtube.com/watch?v=QSLSIiQ6Mcs&list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4&index=2&pp=iAQB Запись, YouTube]] || [[https://github.com/greedisneutral/NLP-course/blob/master/1.Embeddings/Word_Embeddings.pdf Слайды], [https://github.com/greedisneutral/NLP-course/blob/master/1.Embeddings/NLP_seminar_week_1.ipynb Тетрадка]] Карта задач и методов NLP, эмбеддинги слов (word embeddings) || 06.11.24 (Ср.) || ||
|-
| style="background:#eaecf0;" | '''2''' [[https://www.youtube.com/watch?v=QjmqbOe84vY&list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4&index=1&pp=iAQB Запись, YouTube]] || [[https://github.com/greedisneutral/NLP-course/blob/master/2.Classification/Classification.pdf Слайды], [https://github.com/greedisneutral/NLP-course/blob/master/2.Classification/NLP_seminar_week_2.ipynb Тетрадка]] Классификация текста || 14.11.24 (Чт.) || ||
|-
| style="background:#eaecf0;" | '''3''' [[https://www.youtube.com/watch?v=q9EUpCF97VI&list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4&index=3&pp=iAQB Запись]] || [[https://github.com/greedisneutral/NLP-course/blob/master/3.Seq2seq/seq2seq_attention.pdf Слайды], [https://github.com/greedisneutral/NLP-course/blob/master/3.Seq2seq/NLP_seminar_week_3.ipynb Тетрадка], [https://github.com/greedisneutral/NLP-course/blob/master/3.Seq2seq/seq2seq_attention_whiteboard.pdf Доска]] Seq2seq, Трансформер и механим внимания || 21.11.24 (Чт.) || || [https://colah.github.io/posts/2015-08-Understanding-LSTMs/ Ссылка] на качественное объяснение того, как работает LSTM (да и RNN вообще)
|-
| style="background:#eaecf0;" | '''4''' [[https://www.youtube.com/watch?v=RFdDgHDiKMs&list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4&index=4&pp=iAQB Запись]] || [[https://github.com/greedisneutral/NLP-course/blob/master/4.Transformers/Transformers.pdf Слайды], [https://github.com/greedisneutral/NLP-course/blob/master/4.Transformers/HSE_NLP_seminar_4.ipynb Ноутбук]] Transfer learning: BERT, ELMO, GPT || 28.11.24 (Чт.) ||
Замечательный [https://jalammar.github.io/illustrated-transformer/ разбор] архитектуры от Джея Аламмара

Прекрасный [https://lena-voita.github.io/nlp_course/seq2seq_and_attention.html разбор] от Лены Войты в рамках NLP Course | For You

Уже ставшая бородатой [https://arxiv.org/abs/1706.03762 оригинальная статья] Attention is all you need
||
|-
| style="background:#eaecf0;" | '''5''' [[ Запись]] || [[ Ноутбук]] Обучение Больших языковых моделей (Large Language Models): Обучение с нуля vs Тонкая настройка (finetuning) || 05.12.24 (Чт.) || ||
|-
| style="background:#eaecf0;" | '''6''' [[ Запись]] || [[ Ноутбук]] Reinforcement Learning From Human Feedback (RLHF), Direct Preference Optimization (DPO) || 12.12.24 (Чт.) || ||
|-
| style="background:#eaecf0;" | '''7''' [[ Запись]] || [[ Ноутбук]] Практические подходы для эффективного обучения и развертывания LLM || 19.12.24 (Чт.) || ||
|-
| style="background:#eaecf0;" | '''8''' [[ Запись]] || [[ Ноутбук]] Retrieval-Augmented (RAG) LLM || ...<date>... || ||
|}

=== Записи консультаций ===

==Формула оценивания==

=== При участии в устном экзамене ===

Оценка = 0.3*ОУстный экзамен + 0.7*ОДЗ

=== При отказе от устного экзамене ===

Оценка = 1.0*ОДЗ

== Домашние задания ==

'''После выдачи домашнего задания студентам предоставляется 2 (две) недели на выполнение'''.

'''Каждый день просрочки штрафуется 1 баллом от максимальной оценки за соответствующее задание.'''

=== Main Track ===
# Обучение эмбеддингов с помощью библиотеки fasttext, реализация реального движка поиска эмбеддинга-ответа по запросу в векторной БД - Выдана 21.11.24, '''Дедлайн - 23:59 (МСК), 01.12.24 (Вс.)''', [https://github.com/greedisneutral/NLP-course/blob/master/2.Classification/NLP_hw_week_2.ipynb Ноутбук] - Весит 30% от итога
# Тонкая настройка (fine-tuning) BERT на собственных данных - Выдаётся на неделе 4 - Весит 20% от итога
# Тонкая настройка LLM (LLAMA 3 8b) с помощью PEFT - Выдаётся на неделе 5 - Весит 20% от итога

=== Optional Track ===
* Тонкая настройка собственной модели с использованием библиотеки TRL - Выдаётся на неделе 6 - Весит 15% от итога
* Реализация Round-to-Nearest (RTN), Generalized Post-Training Quantization (GPTQ) - Выдаётся на неделе 7 - Весит 15% от итога

== Устный экзамен ==

Программой курса предусмотрен устный экзамен, в рамках которого студентам будет предложено тянуть случайный билет с вопросом по пройденному материалу.

== Автоматы ==
На курсе предусмотрены автоматы:
Если оценка студента за блок “домашние задания” ≥ 4 и устраивает студента, ее можно зачесть в виде автомата.

== Литература ==
#
#
#
#

Автоматическая обработка текста 24/25 (МОВС23)

2024-11-22T13:41:43Z

Saprokhorov 1: add hw1

==О курсе==

NLP — это область искусственного интеллекта, направленная на решение задач, связанных с обработкой человеческого языка, таких как извлечение информации, машинный перевод, автоматическое суммирование и диалоговые системы. За последние годы мы увидели значительный прогресс благодаря статистическому и глубокому обучению. Демонстрация возможностей современных диалоговых систем по типу ChatGPT от OpenAI позволила нам переосмыслить перспективы NLP в повседневной жизни, что привлекло к области внимание как со стороны исследователей и инженеров, так и институциональных инвесторов, готовых финансировать бурный рост отрасли.

Данный курс ставит перед собой следующие цели:
* познакомить слушателя с ключевыми направлениями современного развития области, сформировать понимание запросов, с которыми сталкиваются инженеры и исследователи в повседневной работе.

* развить понимание фундаментальных концепций, необходимых для самостоятельного решения задач как прикладного, так и исследовательского характера.

* познакомить слушателя с инструментами, необходимыми для решения прикладных задач.

Курс основан на материалах [https://github.com/yandexdataschool/nlp_course/tree/2023 Школы Анализа Данных Яндекса (ШАД)], [https://web.stanford.edu/class/cs224n/ CS224n by Stanford], а также личном опыте автора. Курс приоритезирует понимание слушателями пространства существующих на сегодня в отрасли задач и умение их решать над полнотой освещения исторически важных, однако на текущий день устаревших концепций

Занятия проводятся в [https://us06web.zoom.us/j/85123736103?pwd=TbFnaDOVRPyqcVof2vlGbpeub1kDw5.1 Zoom] '''по четвергам в 19:40'''

==Контакты==

Чат курса в TG: [https://t.me/+7ayE2oKTNPg3M2M6 chat link]

Преподаватель: Хажгериев Мурат Анзорович ([https://t.me/greedisneutral @greedisneutral])

{| class="wikitable"
|-
! Ассистент !! Контакты
|-
| style="background:#eaecf0;" | Соня-Аня Никифорова || [https://t.me/sonya_leaf @sonya_leaf]
|-
| style="background:#eaecf0;" | Стас Ивашков || [https://t.me/ps1va @ps1va]
|-
| style="background:#eaecf0;" | Маша Харченко || [https://t.me/mister_autocrat @mister_autocrat]
|-
| style="background:#eaecf0;" | Савелий Прохоров || [https://t.me/Savely_Prokhorov @Savely_Prokhorov]
|}

==Материалы курса==
Ссылка на плейлист курса на YouTube: [https://www.youtube.com/playlist?list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4 YouTube-playlist]

Ссылка на плейлист в VK: [https://vk.com/video/playlist/-227011779_15 VK Видео]

Ссылка на GitHub с материалами курса: [https://github.com/greedisneutral/NLP-course GitHub repository]

{| class="wikitable"
|-
! Занятие !! Тема !! Дата !! Материалы для самоподготовки к семинарам !! Дополнительные материалы
|-
| style="background:#eaecf0;" | '''1''' [[https://www.youtube.com/watch?v=QSLSIiQ6Mcs&list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4&index=2&pp=iAQB Запись, YouTube]] || [[https://github.com/greedisneutral/NLP-course/blob/master/1.Embeddings/Word_Embeddings.pdf Слайды], [https://github.com/greedisneutral/NLP-course/blob/master/1.Embeddings/NLP_seminar_week_1.ipynb Тетрадка]] Карта задач и методов NLP, эмбеддинги слов (word embeddings) || 06.11.24 (Ср.) || ||
|-
| style="background:#eaecf0;" | '''2''' [[https://www.youtube.com/watch?v=QjmqbOe84vY&list=PLmA-1xX7IuzBARI5ES_l6WOduw0CZs3t4&index=1&pp=iAQB Запись, YouTube]] || [[https://github.com/greedisneutral/NLP-course/blob/master/2.Classification/Classification.pdf Слайды], [https://github.com/greedisneutral/NLP-course/blob/master/2.Classification/NLP_seminar_week_2.ipynb Тетрадка]] Классификация текста || 14.11.24 (Чт.) || ||
|-
| style="background:#eaecf0;" | '''3''' [[ Запись]] || [[https://github.com/greedisneutral/NLP-course/blob/master/3.Seq2seq/seq2seq_attention.pdf Слайды], [https://github.com/greedisneutral/NLP-course/blob/master/3.Seq2seq/NLP_seminar_week_3.ipynb Тетрадка], [https://github.com/greedisneutral/NLP-course/blob/master/3.Seq2seq/seq2seq_attention_whiteboard.pdf Доска]] Seq2seq, Трансформер и механим внимания || 21.11.24 (Чт.) || || [https://colah.github.io/posts/2015-08-Understanding-LSTMs/ Ссылка] на качественное объяснение того, как работает LSTM (да и RNN вообще)
|-
| style="background:#eaecf0;" | '''4''' [[ Запись]] || [[ Ноутбук]] Transfer learning: BERT, ELMO, GPT || 28.11.24 (Чт.) || ||
|-
| style="background:#eaecf0;" | '''5''' [[ Запись]] || [[ Ноутбук]] Обучение Больших языковых моделей (Large Language Models): Обучение с нуля vs Тонкая настройка (finetuning) || 05.12.24 (Чт.) || ||
|-
| style="background:#eaecf0;" | '''6''' [[ Запись]] || [[ Ноутбук]] Reinforcement Learning From Human Feedback (RLHF), Direct Preference Optimization (DPO) || 12.12.24 (Чт.) || ||
|-
| style="background:#eaecf0;" | '''7''' [[ Запись]] || [[ Ноутбук]] Практические подходы для эффективного обучения и развертывания LLM || 19.12.24 (Чт.) || ||
|-
| style="background:#eaecf0;" | '''8''' [[ Запись]] || [[ Ноутбук]] Retrieval-Augmented (RAG) LLM || ...<date>... || ||
|}

=== Записи консультаций ===

==Формула оценивания==

=== При участии в устном экзамене ===

Оценка = 0.3*ОУстный экзамен + 0.7*ОДЗ

=== При отказе от устного экзамене ===

Оценка = 1.0*ОДЗ

== Домашние задания ==

'''После выдачи домашнего задания студентам предоставляется 2 (две) недели на выполнение'''.

'''Каждый день просрочки штрафуется 1 баллом от максимальной оценки за соответствующее задание.'''

=== Main Track ===
# Обучение эмбеддингов с помощью библиотеки fasttext, реализация реального движка поиска эмбеддинга-ответа по запросу в векторной БД - Выдана 21.11.24, '''Дедлайн - 23:59 (МСК), 01.12.24 (Вс.)''', [https://github.com/greedisneutral/NLP-course/blob/master/2.Classification/NLP_hw_week_2.ipynb Ноутбук] - Весит 30% от итога
# Тонкая настройка (fine-tuning) BERT на собственных данных - Выдаётся на неделе 4 - Весит 20% от итога
# Тонкая настройка LLM (LLAMA 3 8b) с помощью PEFT - Выдаётся на неделе 5 - Весит 20% от итога

=== Optional Track ===
* Тонкая настройка собственной модели с использованием библиотеки TRL - Выдаётся на неделе 6 - Весит 15% от итога
* Реализация Round-to-Nearest (RTN), Generalized Post-Training Quantization (GPTQ) - Выдаётся на неделе 7 - Весит 15% от итога

== Устный экзамен ==

Программой курса предусмотрен устный экзамен, в рамках которого студентам будет предложено тянуть случайный билет с вопросом по пройденному материалу.

== Автоматы ==
На курсе предусмотрены автоматы:
Если оценка студента за блок “домашние задания” ≥ 4 и устраивает студента, ее можно зачесть в виде автомата.

== Литература ==
#
#
#
#

Автоматическая обработка текста 24/25 (МОВС23)

2024-11-22T13:39:38Z

Saprokhorov 1: add weeks1-3 links

Автоматическая обработка текста 24/25 (МОВС23)

2024-11-22T13:33:17Z

Saprokhorov 1: add chat link

ИИ Инструменты разработки (ИИ24, 1-2 модули)

2024-11-21T10:32:54Z

Saprokhorov 1:

==О курсе==

Курс читается для студентов 1 курса магистратуры "Искусственный интеллект" в 1-2 модулях 2024/2025 учебного года.

В данном курсе затрагиваются темы, которые редко освещаются в стандартной программе, и вместо этого студенты сами его проходят: владение своими инструментами разработки. Курс предназначен для освоения работы с командной строкой, использования мощного текстового редактора, использования необычных функций систем контроля версий и многого другого. Мы рассмотрим дизайн и внутренности этих инструментов, чтобы студенты в будущем свободно владели и понимали остальных разработчиков, а также думали в рамках этих инструментов наиболее гибко. Люди проводят сотни часов, используя эти инструменты в процессе обучения (и тысячи часов в течение своей карьеры), поэтому имеет смысл сделать процесс обучения максимально плавным и простым. Овладение ими не только позволяет вам тратить меньше времени на выяснение того, как подчинить ваши инструменты своей воле, но также позволяет решать проблемы, которые раньше казались невероятно сложными.

==Контакты==

Чат курса в TG: TBD

Преподаватель: Паточенко Евгений Анатольевич (https://www.hse.ru/org/persons/344864076/)

{| class="wikitable"
|-
! Ассистент !! Telegram
|-
| style="background:#eaecf0;" | Марк Блуменау || [https://t.me/markblumenau @markblumenau]
|-
| style="background:#eaecf0;" | Дмитрий Качкин || [https://t.me/KachkinDmitrii @KachkinDmitrii]
|-
| style="background:#eaecf0;" | Сергей Кривошеев || [https://t.me/FlameInBrain @FlameInBrain]
|-
| style="background:#eaecf0;" | Олег Афанасьев || [https://t.me/afanasevo @afanasevo]
|-
| style="background:#eaecf0;" | Милана Кучумова || [https://t.me/milana_kma @milana_kma]
|-
| style="background:#eaecf0;" | Лука Марков || [https://t.me/lulu_fw01 @lulu_fw01]
|-
| style="background:#eaecf0;" | Денис Сапожников || [https://t.me/I_1ove_myse1f @I_1ove_myse1f]
|-
|}

==Материалы курса: начальная группа (BASE)==
[https://www.youtube.com/playlist?list=PLmA-1xX7IuzAUVEEPyrde6Rozy9Ob1vXK Ссылка на плейлист курса на YouTube]

Ссылка на GitHub с материалами курса: TBD

{| class="wikitable"
|-
! Занятие !! Тема !! Дата !! Ссылки
|-
| style="background:#eaecf0;" | '''1''' || Понятие ОС. Знакомство с Linux
|| 14.09.24 || Запись занятия ([https://www.youtube.com/watch?v=aajK-QZmIms youtube], [https://vk.com/video-227011779_456239044?list=ln-ldVAHpmtXqbsIZMZCM vk]), [https://drive.google.com/file/d/107r4XLvlvPdQIoVrdbXqhvW-vh0ST8b4/view Презентация]
|-
| style="background:#eaecf0;" | '''2''' || Git и GitHub
|| 21.09.24 || Запись занятия ([https://youtu.be/WWMNNJcWObc youtube], [https://vk.com/video-227011779_456239060?list=ln-HyvrtATwub1vM5Ahse vk]), [https://drive.google.com/file/d/1ZBjJ3SE5SbBxIdYp4p8RdJ_aCyTmfuS-/view Презентация]
|-
| style="background:#eaecf0;" | '''3''' || Практика в Git
|| 28.09.24 || Запись занятия ([https://youtu.be/F-n_J1e-7fk youtube], [https://vk.com/video-227011779_456239074?list=ln-rTAQo9hcn3GQfDq8Ii vk]), [https://drive.google.com/file/d/1Y7ooyJIjfe4pb1Hs_acJgD0PlzVFsjia/view Презентация]
|-
| style="background:#eaecf0;" | '''4''' || Сбор данных (BS4, регулярные выражения)
|| 05.10.24 || Запись занятия ([https://youtu.be/42gjwaCGdTU youtube], [https://vk.com/video-227011779_456239089?list=ln-9JQ7eX6rdNBQTFGlXE vk]), [https://colab.research.google.com/drive/1FgiYgJ2mmOXBa7RQ6byaMQ2m2rV01JFy Ноутбук]
|-
| style="background:#eaecf0;" | '''5''' || Введение в регулярные выражения
|| 12.10.24 || Запись занятия ([https://youtu.be/ZNjwzK4Pd_8 youtube], [https://vk.com/video-227011779_456239103?list=ln-xAcssmeLhiaoi1JrU3 vk]), [https://colab.research.google.com/drive/15KvcVNUN6uqiVLAnUJx3f-53K9wdnwUw Ноутбук]
|-
| style="background:#eaecf0;" | '''6''' || Аннотации типов в Python
|| 19.10.24 || Запись занятия ([https://youtu.be/ig-w-0vrAnw youtube], [https://vk.com/video-227011779_456239125?list=ln-AkaVx9yJhS3BUCu4Xq vk]), [https://colab.research.google.com/drive/1cQ6VZ4SHFxxa-CCNXtimKTo7-2srdrWe Ноутбук]
|-
| style="background:#eaecf0;" | '''7''' || Знакомство с FastAPI
Фреймворк Streamlit
|| 02.11.24 || Запись занятия FastAPI ([https://youtu.be/JFvyF4hhJus youtube], [https://vk.com/video-227011779_456239132?list=ln-jya9m5zSF5Pt7iZPTs vk]), [https://colab.research.google.com/drive/1KcYYmdGHtDf-FSucKXYASjOKfjaveXNb Ноутбук]
Запись занятия Streamlit ([https://youtu.be/4sup1Z2r2PU youtube], [https://vk.com/video-227011779_456239152?list=ln-7xJ0yNfD5PshwCLfar vk]), [https://github.com/evgpat/streamlit_tutorial/tree/main Скрипты], [https://github.com/evgpat/streamlit_demo Репозиторий титаника], [https://titanic.streamlit.app/ Развернутое приложение]
|-
| style="background:#eaecf0;" | '''8''' || Практика в Linux
BASH
|| 09.11.24 || Запись занятия Linux ([https://youtu.be/TWvhCW4RBbU youtube], [https://vk.com/video-227011779_456239162?list=ln-CBAEsTfzTDJOwZB0bH vk]), [https://colab.research.google.com/drive/157NKOUfTcOL61I-7Qso7-5-MJoGonlTH Ноутбук]
Запись занятия BASH ([https://youtu.be/dhvQVXhYtDo youtube], [https://vk.com/video-227011779_456239163?list=ln-TRlcYAoPTtbyXezD6W vk]), [https://colab.research.google.com/drive/1_2jSPNhVL1KL4lKTUtvON5uLam5187v_ Ноутбук]
|-
| style="background:#eaecf0;" | '''9''' || Основы Docker
|| TBD ||
|-
| style="background:#eaecf0;" | '''10''' || Telegram bot
|| TBD ||
|-
| style="background:#eaecf0;" | '''11''' || Web-service
|| TBD ||
|-
| style="background:#eaecf0;" | '''12''' || Yandex DataSphere
|| TBD ||
|}

==Материалы курса: базовая группа (MIDDLE)==
[https://www.youtube.com/playlist?list=PLmA-1xX7IuzAUVEEPyrde6Rozy9Ob1vXK Ссылка на плейлист курса на YouTube]

Ссылка на GitHub с материалами курса: TBD

{| class="wikitable"
|-
! Занятие !! Тема !! Дата !! Ссылки
|-
| style="background:#eaecf0;" | '''1''' || Знакомство с Linux
|| 14.09.24 || Запись занятия ([https://youtu.be/pdeuxUjIRq0 youtube], [https://vk.com/video-227011779_456239045?list=ln-KbECgxuIHy3mKZ88SM vk]), [https://drive.google.com/file/d/1pauqAJ0svtehuphviDYcFyct17WZ_fds/view Презентация]
|-
| style="background:#eaecf0;" | '''2''' || Практика в Git
|| 21.09.24 || Запись занятия ([https://youtu.be/8-FTVZzAWZ0 youtube], [https://vk.com/video-227011779_456239061?list=ln-TVuC33rigvfLpuBczd vk])
|-
| style="background:#eaecf0;" | '''3''' || Практика в Git
|| 28.09.24 || Запись занятия ([https://youtu.be/KQlZw2Dypto youtube], [https://vk.com/video-227011779_456239075?list=ln-6vNhJTfimvahldXmqh vk]), [https://drive.google.com/file/d/1B10unT46NDSKk7CA4TqNajaJuHUa2yNG/view Презентация]
|-
| style="background:#eaecf0;" | '''4''' || Работа с API
|| 05.10.24 || Запись занятия ([https://youtu.be/2BleVnXHMTA youtube], [https://vk.com/video-227011779_456239090?list=ln-cx2rkC5tjhBHwguInj vk]), [https://drive.google.com/file/d/1r4DdUzVZjtRRNj_NAqgEdwdKYccXbVMg/view Презентация]
|-
| style="background:#eaecf0;" | '''5''' || Регулярные выражения
|| 12.10.24 || Запись занятия ([https://youtu.be/pb1YWbmw1Fg youtube], [https://vk.com/video-227011779_456239113?list=ln-bhlvZWj9Gvwa9THuRu vk]), [https://colab.research.google.com/drive/16yhbtS3xcEQcdTMAWJpP2ihvwY2gGRYN Ноутбук]
|-
| style="background:#eaecf0;" | '''6''' || Библиотека Pydantic
|| 19.10.24 || Запись занятия ([https://youtu.be/h8XBmjO4CCU youtube], [https://vk.com/video-227011779_456239131?list=ln-z3lN3RZLr88VmZyflJ vk]), [https://colab.research.google.com/drive/1xgtUfDBrIOY3yvNefOAcBRH-gG0fDmP- Ноутбук]
|-
| style="background:#eaecf0;" | '''7''' || BASH
|| 09.11.24 || Запись занятия ([https://youtu.be/dhvQVXhYtDo youtube], [https://vk.com/video-227011779_456239163?list=ln-TRlcYAoPTtbyXezD6W vk]), [https://colab.research.google.com/drive/1_2jSPNhVL1KL4lKTUtvON5uLam5187v_ Ноутбук]
|-
| style="background:#eaecf0;" | '''8''' || Хранилища данных. Понятие DWH
|| TBD ||
|-
| style="background:#eaecf0;" | '''9''' || Основы Docker
|| TBD ||
|-
| style="background:#eaecf0;" | '''10''' || Telegram bot
|| TBD ||
|-
| style="background:#eaecf0;" | '''11''' || Web-service
|| TBD ||
|-
| style="background:#eaecf0;" | '''12''' || ML-разработка в облаке. Yandex DataSphere
|| TBD ||
|}

==Материалы курса: продвинутая группа (PRO)==
[https://www.youtube.com/playlist?list=PLmA-1xX7IuzAUVEEPyrde6Rozy9Ob1vXK Ссылка на плейлист курса на YouTube]

Ссылка на GitHub с материалами курса: TBD

{| class="wikitable"
|-
! Занятие !! Тема !! Дата !! Ссылки
|-
| style="background:#eaecf0;" | '''1''' || Модели в ML production. Серилизация моделей
|| 18.09.24 || Запись занятия ([https://youtu.be/uzHQUFZNNd4 youtube] [https://vk.com/video-227011779_456239052?list=ln-LAVj1PwWEiCXGrfUZK vk]), [https://drive.google.com/file/d/1YKCIBH1orxoOmleTVRN4-mNVUp-nwGyy/view Презентация], [https://colab.research.google.com/drive/1DvKRrJdyWmlhWEza-xAcsZ-Bh0-7FiOS Ноутбук]
|-
| style="background:#eaecf0;" | '''2''' || RECAP: Git
|| 29.09.24 || Запись занятия ([https://youtu.be/JZouuS96kuY youtube] [https://vk.com/video-227011779_456239076?list=ln-52nwVJZR8hiBnXsta9 vk]), [https://drive.google.com/file/d/1kuurD9lxiD4qsELYRzQ4MOxDQ4MdJuAx/view Презентация], [https://colab.research.google.com/drive/1jWtQUy1k0p2dLqdmXqhd2P8rukuY9ke4 Ноутбук]
|-
| style="background:#eaecf0;" | '''3''' || Память в Питоне
|| 09.10.24 || Запись занятия ([https://youtu.be/KNRKv8Sypkc youtube] [https://vk.com/video-227011779_456239102?list=ln-0yZxT3vy4DjdvYHIGx vk]), [https://colab.research.google.com/drive/1C9Y_p4pYlcr_acMN_GWHnj4XIjTvYKJJ Ноутбук]
|-
| style="background:#eaecf0;" | '''4''' || Ускорение Python
|| 16.10.24 || Запись занятия ([https://youtu.be/D-WK_dXpRj8 youtube] [https://vk.com/video-227011779_456239118?list=ln-1jzJNZYeqBzKPrMalW vk]), [https://colab.research.google.com/drive/1B4legra3iu6XvEClnzojM2I2GopM3e2w Ноутбук]
|-
| style="background:#eaecf0;" | '''5''' || Сбор данных
|| TBD ||
|-
| style="background:#eaecf0;" | '''6''' || Фреймворки для создания сервисов (Django, Flask, FastAPI)
|| TBD ||
|-
| style="background:#eaecf0;" | '''7''' || Хранилища данных
|| TBD ||
|-
| style="background:#eaecf0;" | '''8''' || RECAP: Docker
|| TBD ||
|-
| style="background:#eaecf0;" | '''9''' || Telegram bot
|| TBD ||
|-
| style="background:#eaecf0;" | '''10''' || Docker Compose и сеть
|| TBD ||
|-
| style="background:#eaecf0;" | '''11''' || MVP в Data Science. Фреймворк Streamlit
|| TBD ||
|-
| style="background:#eaecf0;" | '''12''' || ML-разработка в облаке. Yandex DataSphere
|| TBD ||
|}

=== Записи консультаций ===

==Формула оценивания==

Оценка = 0.1 * ОПрактика Git + 0.05 * ОТест: Git + 0.05 * ОТест: Regex и API
+ 0.1 * ОПрактика: FastApi + 0.1 * ОПрактика: BASH + 0.1 * ОПрактика: SQL + 0.1 * ОПрактика: Docker+
0.3 * ОПрактика: Инференс ML-модели + 0.05 * ОТест: Docker + 0.05 * ОТест: General 

== Распределительный тест ==

[https://forms.gle/2cZz1b5AjKgdpjjD7 Распределительный тест] - Дедлайн: '''05.09, 19:00'''

== Домашние задания ==
* Тест1: Системы контроля версий. Работа в Git ([https://forms.gle/RmPcXGZj8XguS95R9 BASE], [https://forms.gle/TVtyDJaLJ1XtMGSn7 MIDDLE], [https://forms.gle/u66TQCJzjxSoiY568 PRO]) - Дедлайн: '''12 октября, 23:59 (GMT+3)''';
* Тест2: Регулярные выражения + API ([https://forms.gle/Fqzfr3b5oW18cRPDA BASE], [https://forms.gle/k12UiH7RKYN9MR2L6 MIDDLE], [https://forms.gle/gSpqDVUUharun99P9 PRO]) - Дедлайн: '''28 октября, 23:59 (GMT+3)''';
* Тест3: Принципы работы современных ОС. Основы Linux - Дедлайн: TBA;
* Тест4: Команды Docker - Дедлайн: TBA;

* ДЗ1: [https://drive.google.com/file/d/1c4DUPXh196N6I9YHxOjqrDJafzzRBQWY/view Практика в Git] - Дедлайн: '''5 октября, 23:59 (GMT+3)''';
* ДЗ2: [https://drive.google.com/file/d/17jCoDd3_v-LUFKLiReMgxwlc4LIbDN5Z/view Скриптинг на Bash] - Дедлайн: '''1 декабря, 23:59 (GMT+3)''';
* ДЗ3: Базы данных. SQL - Дедлайн: TBA;
* ДЗ4: Практика с FastAPI - Дедлайн: TBA;
* ДЗ5: Оборачивание приложения в Docker-контейнер - Дедлайн: TBA;
* ДЗ6: Telegram-бот - Дедлайн: TBA;

== Литература ==

ИИ Инструменты разработки (ИИ24, 1-2 модули)

2024-11-21T10:29:49Z

Saprokhorov 1: /* Материалы курса: начальная группа (BASE) */

==О курсе==

Курс читается для студентов 1 курса магистратуры "Искусственный интеллект" в 1-2 модулях 2024/2025 учебного года.

В данном курсе затрагиваются темы, которые редко освещаются в стандартной программе, и вместо этого студенты сами его проходят: владение своими инструментами разработки. Курс предназначен для освоения работы с командной строкой, использования мощного текстового редактора, использования необычных функций систем контроля версий и многого другого. Мы рассмотрим дизайн и внутренности этих инструментов, чтобы студенты в будущем свободно владели и понимали остальных разработчиков, а также думали в рамках этих инструментов наиболее гибко. Люди проводят сотни часов, используя эти инструменты в процессе обучения (и тысячи часов в течение своей карьеры), поэтому имеет смысл сделать процесс обучения максимально плавным и простым. Овладение ими не только позволяет вам тратить меньше времени на выяснение того, как подчинить ваши инструменты своей воле, но также позволяет решать проблемы, которые раньше казались невероятно сложными.

==Контакты==

Чат курса в TG: TBD

Преподаватель: Паточенко Евгений Анатольевич (https://www.hse.ru/org/persons/344864076/)

{| class="wikitable"
|-
! Ассистент !! Telegram
|-
| style="background:#eaecf0;" | Марк Блуменау || [https://t.me/markblumenau @markblumenau]
|-
| style="background:#eaecf0;" | Дмитрий Качкин || [https://t.me/KachkinDmitrii @KachkinDmitrii]
|-
| style="background:#eaecf0;" | Сергей Кривошеев || [https://t.me/FlameInBrain @FlameInBrain]
|-
| style="background:#eaecf0;" | Олег Афанасьев || [https://t.me/afanasevo @afanasevo]
|-
| style="background:#eaecf0;" | Милана Кучумова || [https://t.me/milana_kma @milana_kma]
|-
| style="background:#eaecf0;" | Лука Марков || [https://t.me/lulu_fw01 @lulu_fw01]
|-
| style="background:#eaecf0;" | Денис Сапожников || [https://t.me/I_1ove_myse1f @I_1ove_myse1f]
|-
|}

==Материалы курса: начальная группа (BASE)==
[https://www.youtube.com/playlist?list=PLmA-1xX7IuzAUVEEPyrde6Rozy9Ob1vXK Ссылка на плейлист курса на YouTube]

Ссылка на GitHub с материалами курса: TBD

{| class="wikitable"
|-
! Занятие !! Тема !! Дата !! Ссылки
|-
| style="background:#eaecf0;" | '''1''' || Понятие ОС. Знакомство с Linux
|| 14.09.24 || Запись занятия ([https://www.youtube.com/watch?v=aajK-QZmIms youtube], [https://vk.com/video-227011779_456239044?list=ln-ldVAHpmtXqbsIZMZCM vk]), [https://drive.google.com/file/d/107r4XLvlvPdQIoVrdbXqhvW-vh0ST8b4/view Презентация]
|-
| style="background:#eaecf0;" | '''2''' || Git и GitHub
|| 21.09.24 || Запись занятия ([https://youtu.be/WWMNNJcWObc youtube], [https://vk.com/video-227011779_456239060?list=ln-HyvrtATwub1vM5Ahse vk]), [https://drive.google.com/file/d/1ZBjJ3SE5SbBxIdYp4p8RdJ_aCyTmfuS-/view Презентация]
|-
| style="background:#eaecf0;" | '''3''' || Практика в Git
|| 28.09.24 || Запись занятия ([https://youtu.be/F-n_J1e-7fk youtube], [https://vk.com/video-227011779_456239074?list=ln-rTAQo9hcn3GQfDq8Ii vk]), [https://drive.google.com/file/d/1Y7ooyJIjfe4pb1Hs_acJgD0PlzVFsjia/view Презентация]
|-
| style="background:#eaecf0;" | '''4''' || Сбор данных (BS4, регулярные выражения)
|| 05.10.24 || Запись занятия ([https://youtu.be/42gjwaCGdTU youtube], [https://vk.com/video-227011779_456239089?list=ln-9JQ7eX6rdNBQTFGlXE vk]), [https://colab.research.google.com/drive/1FgiYgJ2mmOXBa7RQ6byaMQ2m2rV01JFy Ноутбук]
|-
| style="background:#eaecf0;" | '''5''' || Введение в регулярные выражения
|| 12.10.24 || Запись занятия ([https://youtu.be/ZNjwzK4Pd_8 youtube], [https://vk.com/video-227011779_456239103?list=ln-xAcssmeLhiaoi1JrU3 vk]), [https://colab.research.google.com/drive/15KvcVNUN6uqiVLAnUJx3f-53K9wdnwUw Ноутбук]
|-
| style="background:#eaecf0;" | '''6''' || Аннотации типов в Python
|| 19.10.24 || Запись занятия ([https://youtu.be/ig-w-0vrAnw youtube], [https://vk.com/video-227011779_456239125?list=ln-AkaVx9yJhS3BUCu4Xq vk]), [https://colab.research.google.com/drive/1cQ6VZ4SHFxxa-CCNXtimKTo7-2srdrWe Ноутбук]
|-
| style="background:#eaecf0;" | '''7''' || Знакомство с FastAPI
Фреймворк Streamlit
|| 02.11.24 || Запись занятия FastAPI ([https://youtu.be/JFvyF4hhJus youtube], [https://vk.com/video-227011779_456239132?list=ln-jya9m5zSF5Pt7iZPTs vk]), [https://colab.research.google.com/drive/1KcYYmdGHtDf-FSucKXYASjOKfjaveXNb Ноутбук]
Запись занятия Streamlit ([https://youtu.be/4sup1Z2r2PU youtube], [https://vk.com/video-227011779_456239152?list=ln-7xJ0yNfD5PshwCLfar vk]), [https://github.com/evgpat/streamlit_tutorial/tree/main Скрипты], [https://github.com/evgpat/streamlit_demo Репозиторий титаника], [https://titanic.streamlit.app/ Развернутое приложение]
|-
| style="background:#eaecf0;" | '''8''' || Практика в Linux
BASH
|| 09.11.24 || Запись занятия Linux ([https://youtu.be/TWvhCW4RBbU youtube], [https://vk.com/video-227011779_456239162?list=ln-CBAEsTfzTDJOwZB0bH vk]), [https://colab.research.google.com/drive/157NKOUfTcOL61I-7Qso7-5-MJoGonlTH Ноутбук]
Запись занятия BASH ([https://youtu.be/dhvQVXhYtDo youtube], [https://vk.com/video-227011779_456239163?list=ln-TRlcYAoPTtbyXezD6W vk]), [https://colab.research.google.com/drive/1_2jSPNhVL1KL4lKTUtvON5uLam5187v_ Ноутбук]
|-
| style="background:#eaecf0;" | '''9''' || Основы Docker
|| TBD ||
|-
| style="background:#eaecf0;" | '''10''' || Telegram bot
|| TBD ||
|-
| style="background:#eaecf0;" | '''11''' || Web-service
|| TBD ||
|-
| style="background:#eaecf0;" | '''12''' || Yandex DataSphere
|| TBD ||
|}

==Материалы курса: базовая группа (MIDDLE)==
[https://www.youtube.com/playlist?list=PLmA-1xX7IuzAUVEEPyrde6Rozy9Ob1vXK Ссылка на плейлист курса на YouTube]

Ссылка на GitHub с материалами курса: TBD

{| class="wikitable"
|-
! Занятие !! Тема !! Дата !! Ссылки
|-
| style="background:#eaecf0;" | '''1''' || Знакомство с Linux
|| 14.09.24 || Запись занятия ([https://youtu.be/pdeuxUjIRq0 youtube], [https://vk.com/video-227011779_456239045?list=ln-KbECgxuIHy3mKZ88SM vk]), [https://drive.google.com/file/d/1pauqAJ0svtehuphviDYcFyct17WZ_fds/view Презентация]
|-
| style="background:#eaecf0;" | '''2''' || Практика в Git
|| 21.09.24 || Запись занятия ([https://youtu.be/8-FTVZzAWZ0 youtube], [https://vk.com/video-227011779_456239061?list=ln-TVuC33rigvfLpuBczd vk])
|-
| style="background:#eaecf0;" | '''3''' || Практика в Git
|| 28.09.24 || Запись занятия ([https://youtu.be/KQlZw2Dypto youtube], [https://vk.com/video-227011779_456239075?list=ln-6vNhJTfimvahldXmqh vk]), [https://drive.google.com/file/d/1B10unT46NDSKk7CA4TqNajaJuHUa2yNG/view Презентация]
|-
| style="background:#eaecf0;" | '''4''' || Работа с API
|| 05.10.24 || Запись занятия ([https://youtu.be/2BleVnXHMTA youtube], [https://vk.com/video-227011779_456239090?list=ln-cx2rkC5tjhBHwguInj vk]), [https://drive.google.com/file/d/1r4DdUzVZjtRRNj_NAqgEdwdKYccXbVMg/view Презентация]
|-
| style="background:#eaecf0;" | '''5''' || Регулярные выражения
|| 12.10.24 || Запись занятия ([https://youtu.be/pb1YWbmw1Fg youtube], [https://vk.com/video-227011779_456239113?list=ln-bhlvZWj9Gvwa9THuRu vk]), [https://colab.research.google.com/drive/16yhbtS3xcEQcdTMAWJpP2ihvwY2gGRYN Ноутбук]
|-
| style="background:#eaecf0;" | '''6''' || Библиотека Pydantic
|| 19.10.24 || Запись занятия ([https://youtu.be/h8XBmjO4CCU youtube], [https://vk.com/video-227011779_456239131?list=ln-z3lN3RZLr88VmZyflJ vk]), [https://colab.research.google.com/drive/1xgtUfDBrIOY3yvNefOAcBRH-gG0fDmP- Ноутбук]
|-
| style="background:#eaecf0;" | '''7''' || Работа с API. Фреймворк FastAPI
|| TBD ||
|-
| style="background:#eaecf0;" | '''8''' || Хранилища данных. Понятие DWH
|| TBD ||
|-
| style="background:#eaecf0;" | '''9''' || Основы Docker
|| TBD ||
|-
| style="background:#eaecf0;" | '''10''' || Telegram bot
|| TBD ||
|-
| style="background:#eaecf0;" | '''11''' || Web-service
|| TBD ||
|-
| style="background:#eaecf0;" | '''12''' || ML-разработка в облаке. Yandex DataSphere
|| TBD ||
|}

==Материалы курса: продвинутая группа (PRO)==
[https://www.youtube.com/playlist?list=PLmA-1xX7IuzAUVEEPyrde6Rozy9Ob1vXK Ссылка на плейлист курса на YouTube]

Ссылка на GitHub с материалами курса: TBD

{| class="wikitable"
|-
! Занятие !! Тема !! Дата !! Ссылки
|-
| style="background:#eaecf0;" | '''1''' || Модели в ML production. Серилизация моделей
|| 18.09.24 || Запись занятия ([https://youtu.be/uzHQUFZNNd4 youtube] [https://vk.com/video-227011779_456239052?list=ln-LAVj1PwWEiCXGrfUZK vk]), [https://drive.google.com/file/d/1YKCIBH1orxoOmleTVRN4-mNVUp-nwGyy/view Презентация], [https://colab.research.google.com/drive/1DvKRrJdyWmlhWEza-xAcsZ-Bh0-7FiOS Ноутбук]
|-
| style="background:#eaecf0;" | '''2''' || RECAP: Git
|| 29.09.24 || Запись занятия ([https://youtu.be/JZouuS96kuY youtube] [https://vk.com/video-227011779_456239076?list=ln-52nwVJZR8hiBnXsta9 vk]), [https://drive.google.com/file/d/1kuurD9lxiD4qsELYRzQ4MOxDQ4MdJuAx/view Презентация], [https://colab.research.google.com/drive/1jWtQUy1k0p2dLqdmXqhd2P8rukuY9ke4 Ноутбук]
|-
| style="background:#eaecf0;" | '''3''' || Память в Питоне
|| 09.10.24 || Запись занятия ([https://youtu.be/KNRKv8Sypkc youtube] [https://vk.com/video-227011779_456239102?list=ln-0yZxT3vy4DjdvYHIGx vk]), [https://colab.research.google.com/drive/1C9Y_p4pYlcr_acMN_GWHnj4XIjTvYKJJ Ноутбук]
|-
| style="background:#eaecf0;" | '''4''' || Ускорение Python
|| 16.10.24 || Запись занятия ([https://youtu.be/D-WK_dXpRj8 youtube] [https://vk.com/video-227011779_456239118?list=ln-1jzJNZYeqBzKPrMalW vk]), [https://colab.research.google.com/drive/1B4legra3iu6XvEClnzojM2I2GopM3e2w Ноутбук]
|-
| style="background:#eaecf0;" | '''5''' || Сбор данных
|| TBD ||
|-
| style="background:#eaecf0;" | '''6''' || Фреймворки для создания сервисов (Django, Flask, FastAPI)
|| TBD ||
|-
| style="background:#eaecf0;" | '''7''' || Хранилища данных
|| TBD ||
|-
| style="background:#eaecf0;" | '''8''' || RECAP: Docker
|| TBD ||
|-
| style="background:#eaecf0;" | '''9''' || Telegram bot
|| TBD ||
|-
| style="background:#eaecf0;" | '''10''' || Docker Compose и сеть
|| TBD ||
|-
| style="background:#eaecf0;" | '''11''' || MVP в Data Science. Фреймворк Streamlit
|| TBD ||
|-
| style="background:#eaecf0;" | '''12''' || ML-разработка в облаке. Yandex DataSphere
|| TBD ||
|}

=== Записи консультаций ===

==Формула оценивания==

Оценка = 0.1 * ОПрактика Git + 0.05 * ОТест: Git + 0.05 * ОТест: Regex и API
+ 0.1 * ОПрактика: FastApi + 0.1 * ОПрактика: BASH + 0.1 * ОПрактика: SQL + 0.1 * ОПрактика: Docker+
0.3 * ОПрактика: Инференс ML-модели + 0.05 * ОТест: Docker + 0.05 * ОТест: General 

== Распределительный тест ==

[https://forms.gle/2cZz1b5AjKgdpjjD7 Распределительный тест] - Дедлайн: '''05.09, 19:00'''

== Домашние задания ==
* Тест1: Системы контроля версий. Работа в Git ([https://forms.gle/RmPcXGZj8XguS95R9 BASE], [https://forms.gle/TVtyDJaLJ1XtMGSn7 MIDDLE], [https://forms.gle/u66TQCJzjxSoiY568 PRO]) - Дедлайн: '''12 октября, 23:59 (GMT+3)''';
* Тест2: Регулярные выражения + API ([https://forms.gle/Fqzfr3b5oW18cRPDA BASE], [https://forms.gle/k12UiH7RKYN9MR2L6 MIDDLE], [https://forms.gle/gSpqDVUUharun99P9 PRO]) - Дедлайн: '''28 октября, 23:59 (GMT+3)''';
* Тест3: Принципы работы современных ОС. Основы Linux - Дедлайн: TBA;
* Тест4: Команды Docker - Дедлайн: TBA;

* ДЗ1: [https://drive.google.com/file/d/1c4DUPXh196N6I9YHxOjqrDJafzzRBQWY/view Практика в Git] - Дедлайн: '''5 октября, 23:59 (GMT+3)''';
* ДЗ2: [https://drive.google.com/file/d/17jCoDd3_v-LUFKLiReMgxwlc4LIbDN5Z/view Скриптинг на Bash] - Дедлайн: '''1 декабря, 23:59 (GMT+3)''';
* ДЗ3: Базы данных. SQL - Дедлайн: TBA;
* ДЗ4: Практика с FastAPI - Дедлайн: TBA;
* ДЗ5: Оборачивание приложения в Docker-контейнер - Дедлайн: TBA;
* ДЗ6: Telegram-бот - Дедлайн: TBA;

== Литература ==

ИИ Инструменты разработки (ИИ24, 1-2 модули)

2024-11-16T10:23:23Z

Saprokhorov 1: /* Материалы курса: начальная группа (BASE) */

==О курсе==

Курс читается для студентов 1 курса магистратуры "Искусственный интеллект" в 1-2 модулях 2024/2025 учебного года.

В данном курсе затрагиваются темы, которые редко освещаются в стандартной программе, и вместо этого студенты сами его проходят: владение своими инструментами разработки. Курс предназначен для освоения работы с командной строкой, использования мощного текстового редактора, использования необычных функций систем контроля версий и многого другого. Мы рассмотрим дизайн и внутренности этих инструментов, чтобы студенты в будущем свободно владели и понимали остальных разработчиков, а также думали в рамках этих инструментов наиболее гибко. Люди проводят сотни часов, используя эти инструменты в процессе обучения (и тысячи часов в течение своей карьеры), поэтому имеет смысл сделать процесс обучения максимально плавным и простым. Овладение ими не только позволяет вам тратить меньше времени на выяснение того, как подчинить ваши инструменты своей воле, но также позволяет решать проблемы, которые раньше казались невероятно сложными.

==Контакты==

Чат курса в TG: TBD

Преподаватель: Паточенко Евгений Анатольевич (https://www.hse.ru/org/persons/344864076/)

{| class="wikitable"
|-
! Ассистент !! Telegram
|-
| style="background:#eaecf0;" | Марк Блуменау || [https://t.me/markblumenau @markblumenau]
|-
| style="background:#eaecf0;" | Дмитрий Качкин || [https://t.me/KachkinDmitrii @KachkinDmitrii]
|-
| style="background:#eaecf0;" | Сергей Кривошеев || [https://t.me/FlameInBrain @FlameInBrain]
|-
| style="background:#eaecf0;" | Олег Афанасьев || [https://t.me/afanasevo @afanasevo]
|-
| style="background:#eaecf0;" | Милана Кучумова || [https://t.me/milana_kma @milana_kma]
|-
| style="background:#eaecf0;" | Лука Марков || [https://t.me/lulu_fw01 @lulu_fw01]
|-
| style="background:#eaecf0;" | Денис Сапожников || [https://t.me/I_1ove_myse1f @I_1ove_myse1f]
|-
|}

==Материалы курса: начальная группа (BASE)==
[https://www.youtube.com/playlist?list=PLmA-1xX7IuzAUVEEPyrde6Rozy9Ob1vXK Ссылка на плейлист курса на YouTube]

Ссылка на GitHub с материалами курса: TBD

{| class="wikitable"
|-
! Занятие !! Тема !! Дата !! Ссылки
|-
| style="background:#eaecf0;" | '''1''' || Понятие ОС. Знакомство с Linux
|| 14.09.24 || Запись занятия ([https://www.youtube.com/watch?v=aajK-QZmIms youtube], [https://vk.com/video-227011779_456239044?list=ln-ldVAHpmtXqbsIZMZCM vk]), [https://drive.google.com/file/d/107r4XLvlvPdQIoVrdbXqhvW-vh0ST8b4/view Презентация]
|-
| style="background:#eaecf0;" | '''2''' || Git и GitHub
|| 21.09.24 || Запись занятия ([https://youtu.be/WWMNNJcWObc youtube], [https://vk.com/video-227011779_456239060?list=ln-HyvrtATwub1vM5Ahse vk]), [https://drive.google.com/file/d/1ZBjJ3SE5SbBxIdYp4p8RdJ_aCyTmfuS-/view Презентация]
|-
| style="background:#eaecf0;" | '''3''' || Практика в Git
|| 28.09.24 || Запись занятия ([https://youtu.be/F-n_J1e-7fk youtube], [https://vk.com/video-227011779_456239074?list=ln-rTAQo9hcn3GQfDq8Ii vk]), [https://drive.google.com/file/d/1Y7ooyJIjfe4pb1Hs_acJgD0PlzVFsjia/view Презентация]
|-
| style="background:#eaecf0;" | '''4''' || Сбор данных (BS4, регулярные выражения)
|| 05.10.24 || Запись занятия ([https://youtu.be/42gjwaCGdTU youtube], [https://vk.com/video-227011779_456239089?list=ln-9JQ7eX6rdNBQTFGlXE vk]), [https://colab.research.google.com/drive/1FgiYgJ2mmOXBa7RQ6byaMQ2m2rV01JFy Ноутбук]
|-
| style="background:#eaecf0;" | '''5''' || Введение в регулярные выражения
|| 12.10.24 || Запись занятия ([https://youtu.be/ZNjwzK4Pd_8 youtube], [https://vk.com/video-227011779_456239103?list=ln-xAcssmeLhiaoi1JrU3 vk]), [https://colab.research.google.com/drive/15KvcVNUN6uqiVLAnUJx3f-53K9wdnwUw Ноутбук]
|-
| style="background:#eaecf0;" | '''6''' || Аннотации типов в Python
|| 19.10.24 || Запись занятия ([https://youtu.be/ig-w-0vrAnw youtube], [https://vk.com/video-227011779_456239125?list=ln-AkaVx9yJhS3BUCu4Xq vk]), [https://colab.research.google.com/drive/1cQ6VZ4SHFxxa-CCNXtimKTo7-2srdrWe Ноутбук]
|-
| style="background:#eaecf0;" | '''7''' || Знакомство с FastAPI
Фреймворк Streamlit
|| 02.11.24 || Запись занятия FastAPI ([https://youtu.be/JFvyF4hhJus youtube], [https://vk.com/video-227011779_456239132?list=ln-jya9m5zSF5Pt7iZPTs vk]), [https://colab.research.google.com/drive/1KcYYmdGHtDf-FSucKXYASjOKfjaveXNb Ноутбук]
Запись занятия Streamlit ([https://youtu.be/4sup1Z2r2PU youtube], [https://vk.com/video-227011779_456239152?list=ln-7xJ0yNfD5PshwCLfar vk]), [https://github.com/evgpat/streamlit_tutorial/tree/main Скрипты], [https://github.com/evgpat/streamlit_demo Репозиторий титаника], [https://titanic.streamlit.app/ Развернутое приложение]
|-
| style="background:#eaecf0;" | '''8''' || Хранилища данных
|| TBD ||
|-
| style="background:#eaecf0;" | '''9''' || Основы Docker
|| TBD ||
|-
| style="background:#eaecf0;" | '''10''' || Telegram bot
|| TBD ||
|-
| style="background:#eaecf0;" | '''11''' || Web-service
|| TBD ||
|-
| style="background:#eaecf0;" | '''12''' || Yandex DataSphere
|| TBD ||
|}

==Материалы курса: базовая группа (MIDDLE)==
[https://www.youtube.com/playlist?list=PLmA-1xX7IuzAUVEEPyrde6Rozy9Ob1vXK Ссылка на плейлист курса на YouTube]

Ссылка на GitHub с материалами курса: TBD

{| class="wikitable"
|-
! Занятие !! Тема !! Дата !! Ссылки
|-
| style="background:#eaecf0;" | '''1''' || Знакомство с Linux
|| 14.09.24 || Запись занятия ([https://youtu.be/pdeuxUjIRq0 youtube], [https://vk.com/video-227011779_456239045?list=ln-KbECgxuIHy3mKZ88SM vk]), [https://drive.google.com/file/d/1pauqAJ0svtehuphviDYcFyct17WZ_fds/view Презентация]
|-
| style="background:#eaecf0;" | '''2''' || Практика в Git
|| 21.09.24 || Запись занятия ([https://youtu.be/8-FTVZzAWZ0 youtube], [https://vk.com/video-227011779_456239061?list=ln-TVuC33rigvfLpuBczd vk])
|-
| style="background:#eaecf0;" | '''3''' || Практика в Git
|| 28.09.24 || Запись занятия ([https://youtu.be/KQlZw2Dypto youtube], [https://vk.com/video-227011779_456239075?list=ln-6vNhJTfimvahldXmqh vk]), [https://drive.google.com/file/d/1B10unT46NDSKk7CA4TqNajaJuHUa2yNG/view Презентация]
|-
| style="background:#eaecf0;" | '''4''' || Работа с API
|| 05.10.24 || Запись занятия ([https://youtu.be/2BleVnXHMTA youtube], [https://vk.com/video-227011779_456239090?list=ln-cx2rkC5tjhBHwguInj vk]), [https://drive.google.com/file/d/1r4DdUzVZjtRRNj_NAqgEdwdKYccXbVMg/view Презентация]
|-
| style="background:#eaecf0;" | '''5''' || Регулярные выражения
|| 12.10.24 || Запись занятия ([https://youtu.be/pb1YWbmw1Fg youtube], [https://vk.com/video-227011779_456239113?list=ln-bhlvZWj9Gvwa9THuRu vk]), [https://colab.research.google.com/drive/16yhbtS3xcEQcdTMAWJpP2ihvwY2gGRYN Ноутбук]
|-
| style="background:#eaecf0;" | '''6''' || Библиотека Pydantic
|| 19.10.24 || Запись занятия ([https://youtu.be/h8XBmjO4CCU youtube], [https://vk.com/video-227011779_456239131?list=ln-z3lN3RZLr88VmZyflJ vk]), [https://colab.research.google.com/drive/1xgtUfDBrIOY3yvNefOAcBRH-gG0fDmP- Ноутбук]
|-
| style="background:#eaecf0;" | '''7''' || Работа с API. Фреймворк FastAPI
|| TBD ||
|-
| style="background:#eaecf0;" | '''8''' || Хранилища данных. Понятие DWH
|| TBD ||
|-
| style="background:#eaecf0;" | '''9''' || Основы Docker
|| TBD ||
|-
| style="background:#eaecf0;" | '''10''' || Telegram bot
|| TBD ||
|-
| style="background:#eaecf0;" | '''11''' || Web-service
|| TBD ||
|-
| style="background:#eaecf0;" | '''12''' || ML-разработка в облаке. Yandex DataSphere
|| TBD ||
|}

==Материалы курса: продвинутая группа (PRO)==
[https://www.youtube.com/playlist?list=PLmA-1xX7IuzAUVEEPyrde6Rozy9Ob1vXK Ссылка на плейлист курса на YouTube]

Ссылка на GitHub с материалами курса: TBD

{| class="wikitable"
|-
! Занятие !! Тема !! Дата !! Ссылки
|-
| style="background:#eaecf0;" | '''1''' || Модели в ML production. Серилизация моделей
|| 18.09.24 || Запись занятия ([https://youtu.be/uzHQUFZNNd4 youtube] [https://vk.com/video-227011779_456239052?list=ln-LAVj1PwWEiCXGrfUZK vk]), [https://drive.google.com/file/d/1YKCIBH1orxoOmleTVRN4-mNVUp-nwGyy/view Презентация], [https://colab.research.google.com/drive/1DvKRrJdyWmlhWEza-xAcsZ-Bh0-7FiOS Ноутбук]
|-
| style="background:#eaecf0;" | '''2''' || RECAP: Git
|| 29.09.24 || Запись занятия ([https://youtu.be/JZouuS96kuY youtube] [https://vk.com/video-227011779_456239076?list=ln-52nwVJZR8hiBnXsta9 vk]), [https://drive.google.com/file/d/1kuurD9lxiD4qsELYRzQ4MOxDQ4MdJuAx/view Презентация], [https://colab.research.google.com/drive/1jWtQUy1k0p2dLqdmXqhd2P8rukuY9ke4 Ноутбук]
|-
| style="background:#eaecf0;" | '''3''' || Память в Питоне
|| 09.10.24 || Запись занятия ([https://youtu.be/KNRKv8Sypkc youtube] [https://vk.com/video-227011779_456239102?list=ln-0yZxT3vy4DjdvYHIGx vk]), [https://colab.research.google.com/drive/1C9Y_p4pYlcr_acMN_GWHnj4XIjTvYKJJ Ноутбук]
|-
| style="background:#eaecf0;" | '''4''' || Ускорение Python
|| 16.10.24 || Запись занятия ([https://youtu.be/D-WK_dXpRj8 youtube] [https://vk.com/video-227011779_456239118?list=ln-1jzJNZYeqBzKPrMalW vk]), [https://colab.research.google.com/drive/1B4legra3iu6XvEClnzojM2I2GopM3e2w Ноутбук]
|-
| style="background:#eaecf0;" | '''5''' || Сбор данных
|| TBD ||
|-
| style="background:#eaecf0;" | '''6''' || Фреймворки для создания сервисов (Django, Flask, FastAPI)
|| TBD ||
|-
| style="background:#eaecf0;" | '''7''' || Хранилища данных
|| TBD ||
|-
| style="background:#eaecf0;" | '''8''' || RECAP: Docker
|| TBD ||
|-
| style="background:#eaecf0;" | '''9''' || Telegram bot
|| TBD ||
|-
| style="background:#eaecf0;" | '''10''' || Docker Compose и сеть
|| TBD ||
|-
| style="background:#eaecf0;" | '''11''' || MVP в Data Science. Фреймворк Streamlit
|| TBD ||
|-
| style="background:#eaecf0;" | '''12''' || ML-разработка в облаке. Yandex DataSphere
|| TBD ||
|}

=== Записи консультаций ===

==Формула оценивания==

Оценка = 0.1 * ОПрактика Git + 0.05 * ОТест: Git + 0.05 * ОТест: Regex и API
+ 0.1 * ОПрактика: FastApi + 0.1 * ОПрактика: BASH + 0.1 * ОПрактика: SQL + 0.1 * ОПрактика: Docker+
0.3 * ОПрактика: Инференс ML-модели + 0.05 * ОТест: Docker + 0.05 * ОТест: General 

== Распределительный тест ==

[https://forms.gle/2cZz1b5AjKgdpjjD7 Распределительный тест] - Дедлайн: '''05.09, 19:00'''

== Домашние задания ==
* Тест1: Системы контроля версий. Работа в Git ([https://forms.gle/RmPcXGZj8XguS95R9 BASE], [https://forms.gle/TVtyDJaLJ1XtMGSn7 MIDDLE], [https://forms.gle/u66TQCJzjxSoiY568 PRO]) - Дедлайн: '''12 октября, 23:59 (GMT+3)''';
* Тест2: Регулярные выражения + API ([https://forms.gle/Fqzfr3b5oW18cRPDA BASE], [https://forms.gle/k12UiH7RKYN9MR2L6 MIDDLE], [https://forms.gle/gSpqDVUUharun99P9 PRO]) - Дедлайн: '''28 октября, 23:59 (GMT+3)''';
* Тест3: Принципы работы современных ОС. Основы Linux - Дедлайн: TBA;
* Тест4: Команды Docker - Дедлайн: TBA;

* ДЗ1: [https://drive.google.com/file/d/1c4DUPXh196N6I9YHxOjqrDJafzzRBQWY/view Практика в Git] - Дедлайн: '''5 октября, 23:59 (GMT+3)''';
* ДЗ2: [https://drive.google.com/file/d/17jCoDd3_v-LUFKLiReMgxwlc4LIbDN5Z/view Скриптинг на Bash] - Дедлайн: '''1 декабря, 23:59 (GMT+3)''';
* ДЗ3: Базы данных. SQL - Дедлайн: TBA;
* ДЗ4: Практика с FastAPI - Дедлайн: TBA;
* ДЗ5: Оборачивание приложения в Docker-контейнер - Дедлайн: TBA;
* ДЗ6: Telegram-бот - Дедлайн: TBA;

== Литература ==

ИИ Инструменты разработки (ИИ24, 1-2 модули)

2024-11-10T15:07:09Z

Saprokhorov 1: /* Домашние задания */

==О курсе==

Курс читается для студентов 1 курса магистратуры "Искусственный интеллект" в 1-2 модулях 2024/2025 учебного года.

В данном курсе затрагиваются темы, которые редко освещаются в стандартной программе, и вместо этого студенты сами его проходят: владение своими инструментами разработки. Курс предназначен для освоения работы с командной строкой, использования мощного текстового редактора, использования необычных функций систем контроля версий и многого другого. Мы рассмотрим дизайн и внутренности этих инструментов, чтобы студенты в будущем свободно владели и понимали остальных разработчиков, а также думали в рамках этих инструментов наиболее гибко. Люди проводят сотни часов, используя эти инструменты в процессе обучения (и тысячи часов в течение своей карьеры), поэтому имеет смысл сделать процесс обучения максимально плавным и простым. Овладение ими не только позволяет вам тратить меньше времени на выяснение того, как подчинить ваши инструменты своей воле, но также позволяет решать проблемы, которые раньше казались невероятно сложными.

==Контакты==

Чат курса в TG: TBD

Преподаватель: Паточенко Евгений Анатольевич (https://www.hse.ru/org/persons/344864076/)

{| class="wikitable"
|-
! Ассистент !! Telegram
|-
| style="background:#eaecf0;" | Марк Блуменау || [https://t.me/markblumenau @markblumenau]
|-
| style="background:#eaecf0;" | Дмитрий Качкин || [https://t.me/KachkinDmitrii @KachkinDmitrii]
|-
| style="background:#eaecf0;" | Сергей Кривошеев || [https://t.me/FlameInBrain @FlameInBrain]
|-
| style="background:#eaecf0;" | Олег Афанасьев || [https://t.me/afanasevo @afanasevo]
|-
| style="background:#eaecf0;" | Милана Кучумова || [https://t.me/milana_kma @milana_kma]
|-
| style="background:#eaecf0;" | Лука Марков || [https://t.me/lulu_fw01 @lulu_fw01]
|-
| style="background:#eaecf0;" | Денис Сапожников || [https://t.me/I_1ove_myse1f @I_1ove_myse1f]
|-
|}

==Материалы курса: начальная группа (BASE)==
[https://www.youtube.com/playlist?list=PLmA-1xX7IuzAUVEEPyrde6Rozy9Ob1vXK Ссылка на плейлист курса на YouTube]

Ссылка на GitHub с материалами курса: TBD

{| class="wikitable"
|-
! Занятие !! Тема !! Дата !! Ссылки
|-
| style="background:#eaecf0;" | '''1''' || Понятие ОС. Знакомство с Linux
|| 14.09.24 || Запись занятия ([https://www.youtube.com/watch?v=aajK-QZmIms youtube], [https://vk.com/video-227011779_456239044?list=ln-ldVAHpmtXqbsIZMZCM vk]), [https://drive.google.com/file/d/107r4XLvlvPdQIoVrdbXqhvW-vh0ST8b4/view Презентация]
|-
| style="background:#eaecf0;" | '''2''' || Git и GitHub
|| 21.09.24 || Запись занятия ([https://youtu.be/WWMNNJcWObc youtube], [https://vk.com/video-227011779_456239060?list=ln-HyvrtATwub1vM5Ahse vk]), [https://drive.google.com/file/d/1ZBjJ3SE5SbBxIdYp4p8RdJ_aCyTmfuS-/view Презентация]
|-
| style="background:#eaecf0;" | '''3''' || Практика в Git
|| 28.09.24 || Запись занятия ([https://youtu.be/F-n_J1e-7fk youtube], [https://vk.com/video-227011779_456239074?list=ln-rTAQo9hcn3GQfDq8Ii vk]), [https://drive.google.com/file/d/1Y7ooyJIjfe4pb1Hs_acJgD0PlzVFsjia/view Презентация]
|-
| style="background:#eaecf0;" | '''4''' || Сбор данных (BS4, регулярные выражения)
|| 05.10.24 || Запись занятия ([https://youtu.be/42gjwaCGdTU youtube], [https://vk.com/video-227011779_456239089?list=ln-9JQ7eX6rdNBQTFGlXE vk]), [https://colab.research.google.com/drive/1FgiYgJ2mmOXBa7RQ6byaMQ2m2rV01JFy Ноутбук]
|-
| style="background:#eaecf0;" | '''5''' || Введение в регулярные выражения
|| 12.10.24 || Запись занятия ([https://youtu.be/ZNjwzK4Pd_8 youtube], [https://vk.com/video-227011779_456239103?list=ln-xAcssmeLhiaoi1JrU3 vk]), [https://colab.research.google.com/drive/15KvcVNUN6uqiVLAnUJx3f-53K9wdnwUw Ноутбук]
|-
| style="background:#eaecf0;" | '''6''' || Аннотации типов в Python
|| 19.10.24 || Запись занятия ([https://youtu.be/ig-w-0vrAnw youtube], [https://vk.com/video-227011779_456239125?list=ln-AkaVx9yJhS3BUCu4Xq vk]), [https://colab.research.google.com/drive/1cQ6VZ4SHFxxa-CCNXtimKTo7-2srdrWe Ноутбук]
|-
| style="background:#eaecf0;" | '''7''' || Знакомство с FastAPI
|| 02.11.24 || Запись занятия ([https://youtu.be/JFvyF4hhJus youtube], [https://vk.com/video-227011779_456239132?list=ln-jya9m5zSF5Pt7iZPTs vk]), [https://colab.research.google.com/drive/1KcYYmdGHtDf-FSucKXYASjOKfjaveXNb Ноутбук]
|-
| style="background:#eaecf0;" | '''8''' || Хранилища данных
|| TBD ||
|-
| style="background:#eaecf0;" | '''9''' || Основы Docker
|| TBD ||
|-
| style="background:#eaecf0;" | '''10''' || Telegram bot
|| TBD ||
|-
| style="background:#eaecf0;" | '''11''' || Web-service
|| TBD ||
|-
| style="background:#eaecf0;" | '''12''' || Yandex DataSphere
|| TBD ||
|}

==Материалы курса: базовая группа (MIDDLE)==
[https://www.youtube.com/playlist?list=PLmA-1xX7IuzAUVEEPyrde6Rozy9Ob1vXK Ссылка на плейлист курса на YouTube]

Ссылка на GitHub с материалами курса: TBD

{| class="wikitable"
|-
! Занятие !! Тема !! Дата !! Ссылки
|-
| style="background:#eaecf0;" | '''1''' || Знакомство с Linux
|| 14.09.24 || Запись занятия ([https://youtu.be/pdeuxUjIRq0 youtube], [https://vk.com/video-227011779_456239045?list=ln-KbECgxuIHy3mKZ88SM vk]), [https://drive.google.com/file/d/1pauqAJ0svtehuphviDYcFyct17WZ_fds/view Презентация]
|-
| style="background:#eaecf0;" | '''2''' || Практика в Git
|| 21.09.24 || Запись занятия ([https://youtu.be/8-FTVZzAWZ0 youtube], [https://vk.com/video-227011779_456239061?list=ln-TVuC33rigvfLpuBczd vk])
|-
| style="background:#eaecf0;" | '''3''' || Практика в Git
|| 28.09.24 || Запись занятия ([https://youtu.be/KQlZw2Dypto youtube], [https://vk.com/video-227011779_456239075?list=ln-6vNhJTfimvahldXmqh vk]), [https://drive.google.com/file/d/1B10unT46NDSKk7CA4TqNajaJuHUa2yNG/view Презентация]
|-
| style="background:#eaecf0;" | '''4''' || Работа с API
|| 05.10.24 || Запись занятия ([https://youtu.be/2BleVnXHMTA youtube], [https://vk.com/video-227011779_456239090?list=ln-cx2rkC5tjhBHwguInj vk]), [https://drive.google.com/file/d/1r4DdUzVZjtRRNj_NAqgEdwdKYccXbVMg/view Презентация]
|-
| style="background:#eaecf0;" | '''5''' || Регулярные выражения
|| 12.10.24 || Запись занятия ([https://youtu.be/pb1YWbmw1Fg youtube], [https://vk.com/video-227011779_456239113?list=ln-bhlvZWj9Gvwa9THuRu vk]), [https://colab.research.google.com/drive/16yhbtS3xcEQcdTMAWJpP2ihvwY2gGRYN Ноутбук]
|-
| style="background:#eaecf0;" | '''6''' || Библиотека Pydantic
|| 19.10.24 || Запись занятия ([https://youtu.be/h8XBmjO4CCU youtube], [https://vk.com/video-227011779_456239131?list=ln-z3lN3RZLr88VmZyflJ vk]), [https://colab.research.google.com/drive/1xgtUfDBrIOY3yvNefOAcBRH-gG0fDmP- Ноутбук]
|-
| style="background:#eaecf0;" | '''7''' || Работа с API. Фреймворк FastAPI
|| TBD ||
|-
| style="background:#eaecf0;" | '''8''' || Хранилища данных. Понятие DWH
|| TBD ||
|-
| style="background:#eaecf0;" | '''9''' || Основы Docker
|| TBD ||
|-
| style="background:#eaecf0;" | '''10''' || Telegram bot
|| TBD ||
|-
| style="background:#eaecf0;" | '''11''' || Web-service
|| TBD ||
|-
| style="background:#eaecf0;" | '''12''' || ML-разработка в облаке. Yandex DataSphere
|| TBD ||
|}

==Материалы курса: продвинутая группа (PRO)==
[https://www.youtube.com/playlist?list=PLmA-1xX7IuzAUVEEPyrde6Rozy9Ob1vXK Ссылка на плейлист курса на YouTube]

Ссылка на GitHub с материалами курса: TBD

{| class="wikitable"
|-
! Занятие !! Тема !! Дата !! Ссылки
|-
| style="background:#eaecf0;" | '''1''' || Модели в ML production. Серилизация моделей
|| 18.09.24 || Запись занятия ([https://youtu.be/uzHQUFZNNd4 youtube] [https://vk.com/video-227011779_456239052?list=ln-LAVj1PwWEiCXGrfUZK vk]), [https://drive.google.com/file/d/1YKCIBH1orxoOmleTVRN4-mNVUp-nwGyy/view Презентация], [https://colab.research.google.com/drive/1DvKRrJdyWmlhWEza-xAcsZ-Bh0-7FiOS Ноутбук]
|-
| style="background:#eaecf0;" | '''2''' || RECAP: Git
|| 29.09.24 || Запись занятия ([https://youtu.be/JZouuS96kuY youtube] [https://vk.com/video-227011779_456239076?list=ln-52nwVJZR8hiBnXsta9 vk]), [https://drive.google.com/file/d/1kuurD9lxiD4qsELYRzQ4MOxDQ4MdJuAx/view Презентация], [https://colab.research.google.com/drive/1jWtQUy1k0p2dLqdmXqhd2P8rukuY9ke4 Ноутбук]
|-
| style="background:#eaecf0;" | '''3''' || Память в Питоне
|| 09.10.24 || Запись занятия ([https://youtu.be/KNRKv8Sypkc youtube] [https://vk.com/video-227011779_456239102?list=ln-0yZxT3vy4DjdvYHIGx vk]), [https://colab.research.google.com/drive/1C9Y_p4pYlcr_acMN_GWHnj4XIjTvYKJJ Ноутбук]
|-
| style="background:#eaecf0;" | '''4''' || Ускорение Python
|| 16.10.24 || Запись занятия ([https://youtu.be/D-WK_dXpRj8 youtube] [https://vk.com/video-227011779_456239118?list=ln-1jzJNZYeqBzKPrMalW vk]), [https://colab.research.google.com/drive/1B4legra3iu6XvEClnzojM2I2GopM3e2w Ноутбук]
|-
| style="background:#eaecf0;" | '''5''' || Сбор данных
|| TBD ||
|-
| style="background:#eaecf0;" | '''6''' || Фреймворки для создания сервисов (Django, Flask, FastAPI)
|| TBD ||
|-
| style="background:#eaecf0;" | '''7''' || Хранилища данных
|| TBD ||
|-
| style="background:#eaecf0;" | '''8''' || RECAP: Docker
|| TBD ||
|-
| style="background:#eaecf0;" | '''9''' || Telegram bot
|| TBD ||
|-
| style="background:#eaecf0;" | '''10''' || Docker Compose и сеть
|| TBD ||
|-
| style="background:#eaecf0;" | '''11''' || MVP в Data Science. Фреймворк Streamlit
|| TBD ||
|-
| style="background:#eaecf0;" | '''12''' || ML-разработка в облаке. Yandex DataSphere
|| TBD ||
|}

=== Записи консультаций ===

==Формула оценивания==

Оценка = 0.1 * ОПрактика Git + 0.05 * ОТест: Git + 0.05 * ОТест: Regex и API
+ 0.1 * ОПрактика: FastApi + 0.1 * ОПрактика: BASH + 0.1 * ОПрактика: SQL + 0.1 * ОПрактика: Docker+
0.3 * ОПрактика: Инференс ML-модели + 0.05 * ОТест: Docker + 0.05 * ОТест: General 

== Распределительный тест ==

[https://forms.gle/2cZz1b5AjKgdpjjD7 Распределительный тест] - Дедлайн: '''05.09, 19:00'''

== Домашние задания ==
* Тест1: Системы контроля версий. Работа в Git ([https://forms.gle/RmPcXGZj8XguS95R9 BASE], [https://forms.gle/TVtyDJaLJ1XtMGSn7 MIDDLE], [https://forms.gle/u66TQCJzjxSoiY568 PRO]) - Дедлайн: '''12 октября, 23:59 (GMT+3)''';
* Тест2: Регулярные выражения + API ([https://forms.gle/Fqzfr3b5oW18cRPDA BASE], [https://forms.gle/k12UiH7RKYN9MR2L6 MIDDLE], [https://forms.gle/gSpqDVUUharun99P9 PRO]) - Дедлайн: '''28 октября, 23:59 (GMT+3)''';
* Тест3: Принципы работы современных ОС. Основы Linux - Дедлайн: TBA;
* Тест4: Команды Docker - Дедлайн: TBA;

* ДЗ1: [https://drive.google.com/file/d/1c4DUPXh196N6I9YHxOjqrDJafzzRBQWY/view Практика в Git] - Дедлайн: '''5 октября, 23:59 (GMT+3)''';
* ДЗ2: [https://drive.google.com/file/d/17jCoDd3_v-LUFKLiReMgxwlc4LIbDN5Z/view Скриптинг на Bash] - Дедлайн: '''1 декабря, 23:59 (GMT+3)''';
* ДЗ3: Базы данных. SQL - Дедлайн: TBA;
* ДЗ4: Практика с FastAPI - Дедлайн: TBA;
* ДЗ5: Оборачивание приложения в Docker-контейнер - Дедлайн: TBA;
* ДЗ6: Telegram-бот - Дедлайн: TBA;

== Литература ==

Автоматическая обработка текста 24/25 (МОВС23)

2024-11-08T09:10:09Z

Saprokhorov 1: reformat "about"

Автоматическая обработка текста 24/25 (МОВС23)

2024-11-08T09:09:24Z

Saprokhorov 1: alpha version

Автоматическая обработка текста 24/25 (МОВС23)

2024-11-08T08:59:15Z

Saprokhorov 1: add syllabus

Автоматическая обработка текста 24/25 (МОВС23)

2024-11-08T08:47:02Z

Saprokhorov 1: add contacts

Автоматическая обработка текста 24/25 (МОВС23)

2024-11-08T08:43:57Z

Saprokhorov 1: add about

ML System Design 24/25 (МОВС23)

2024-11-08T08:37:10Z

Saprokhorov 1: alpha version

ML System Design 24/25 (МОВС23)

2024-11-08T08:32:28Z

Saprokhorov 1: add formula

ML System Design 24/25 (МОВС23)

2024-11-08T08:31:19Z

Saprokhorov 1: add course annotation

ML System Design 24/25 (МОВС23)

2024-11-08T08:29:49Z

Saprokhorov 1: add course syllabus

==О курсе==

''Здесь должно быть описание курса''

Занятия проводятся в [https://us06web.zoom.us/j/83596901782?pwd=vyNnobAPbaf3n37XG6RJ8Y4KAePMv4.1 Zoom] '''по средам в 18:10'''

==Контакты==

Чат курса в TG: [[ chat link]]

Преподаватель: Теванян Элен Арамовна ([https://www.hse.ru/org/persons/46745470/ Страничка преподавателя ВШЭ])

{| class="wikitable"
|-
! Ассистент !! Контакты
|-
| style="background:#eaecf0;" | Савелий Прохоров || [https://t.me/Savely_Prokhorov @Savely_Prokhorov]
|-
| style="background:#eaecf0;" | Мурат Хажгериев || [https://t.me/greedisneutral @greedisneutral]
|-
| style="background:#eaecf0;" | Григорий Кузнецов || [https://t.me/growa @growa]
|}

==Материалы курса==
Ссылка на плейлист курса на YouTube: [[ YouTube-playlist]]

Ссылка на GitHub с материалами курса: [[ GitHub repository]]

{| class="wikitable"
|-
! Занятие !! Тема !! Дата !! Материалы для самоподготовки к семинарам !! Дополнительные материалы
|-
| style="background:#eaecf0;" | '''1''' [[ Запись]] || [[ Слайды]] Введение в дизайн систем машинного обучения || 13.11.24 (Ср.) || ||
|-
| style="background:#eaecf0;" | '''2''' [[ Запись]] || [[ Слайды]] Датасеты и инжиниринг признаков || 20.11.24 (Ср.) || ||
|-
| style="background:#eaecf0;" | '''3''' [[ Запись]] || [[ Слайды]] Выбор моделей и обучение моделей || 26.11.24 (Вт.) || ||
|-
| style="background:#eaecf0;" | '''4''' [[ Запись]] || [[ Слайды]] Оценка моделей || 27.11.24 (Ср.) || ||
|-
| style="background:#eaecf0;" | '''5''' [[ Запись]] || [[ Слайды]] Диагностика проблем и мониторинг ML-систем || 04.12.24 (Ср.) || ||
|-
| style="background:#eaecf0;" | '''6''' [[ Запись]] || [[ Слайды]] Деплой ML-систем || 11.12.24 (Ср.) || ||
|-
| style="background:#eaecf0;" | '''7''' [[ Запись]] || [[ Слайды]] Инфраструктура для машинного обучения и ML-платформы || 18.12.24 (Ср.) || ||
|}

=== Записи консультаций ===

==Формула оценивания==

Оценка = ...<вес 1>...*О...<форма контроля 1>... + ...<вес 2>...*О...<форма контроля 2>... + ...<вес 3>...*О...<форма контроля 3>...

== Домашние задания ==
#
#
#
#

== Литература ==
#
#
#
#

ML System Design 24/25 (МОВС23)

2024-11-08T08:24:05Z

Saprokhorov 1: add course persons

==О курсе==

''Здесь должно быть описание курса''

Занятия проводятся в [https://us06web.zoom.us/j/83596901782?pwd=vyNnobAPbaf3n37XG6RJ8Y4KAePMv4.1 Zoom] '''по средам в 18:10'''

==Контакты==

Чат курса в TG: [[ chat link]]

Преподаватель: Теванян Элен Арамовна ([https://www.hse.ru/org/persons/46745470/ Страничка преподавателя ВШЭ])

{| class="wikitable"
|-
! Ассистент !! Контакты
|-
| style="background:#eaecf0;" | Савелий Прохоров || [https://t.me/Savely_Prokhorov @Savely_Prokhorov]
|-
| style="background:#eaecf0;" | Мурат Хажгериев || [https://t.me/greedisneutral @greedisneutral]
|-
| style="background:#eaecf0;" | Григорий Кузнецов || [https://t.me/growa @growa]
|}

==Материалы курса==
Ссылка на плейлист курса на YouTube: [[ YouTube-playlist]]

Ссылка на GitHub с материалами курса: [[ GitHub repository]]

{| class="wikitable"
|-
! Занятие !! Тема !! Дата !! Материалы для самоподготовки к семинарам !! Дополнительные материалы
|-
| style="background:#eaecf0;" | '''1''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| style="background:#eaecf0;" | '''2''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| style="background:#eaecf0;" | '''3''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| style="background:#eaecf0;" | '''4''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| style="background:#eaecf0;" | '''5''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| style="background:#eaecf0;" | '''6''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| Конец первого модуля |
|-
| style="background:#eaecf0;" | '''7''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| style="background:#eaecf0;" | '''8''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| style="background:#eaecf0;" | '''9''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| style="background:#eaecf0;" | '''10''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| style="background:#eaecf0;" | '''11''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| style="background:#eaecf0;" | '''12''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
|}

=== Записи консультаций ===

==Формула оценивания==

Оценка = ...<вес 1>...*О...<форма контроля 1>... + ...<вес 2>...*О...<форма контроля 2>... + ...<вес 3>...*О...<форма контроля 3>...

== Домашние задания ==
#
#
#
#

== Литература ==
#
#
#
#

ML System Design 24/25 (МОВС23)

2024-11-08T08:20:18Z

Saprokhorov 1: add zoom link

==О курсе==

''Здесь должно быть описание курса''

Занятия проводятся в [https://us06web.zoom.us/j/83596901782?pwd=vyNnobAPbaf3n37XG6RJ8Y4KAePMv4.1 Zoom] '''по средам в 18:10'''

==Контакты==

Канал курса в TG: [[ channel link]]

Чат курса в TG: [[ chat link]]

Преподаватель:

{| class="wikitable"
|-
! Ассистент !! Контакты
|-
| style="background:#eaecf0;" | ||
|-
| style="background:#eaecf0;" | ||
|}

==Материалы курса==
Ссылка на плейлист курса на YouTube: [[ YouTube-playlist]]

Ссылка на GitHub с материалами курса: [[ GitHub repository]]

{| class="wikitable"
|-
! Занятие !! Тема !! Дата !! Материалы для самоподготовки к семинарам !! Дополнительные материалы
|-
| style="background:#eaecf0;" | '''1''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| style="background:#eaecf0;" | '''2''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| style="background:#eaecf0;" | '''3''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| style="background:#eaecf0;" | '''4''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| style="background:#eaecf0;" | '''5''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| style="background:#eaecf0;" | '''6''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| Конец первого модуля |
|-
| style="background:#eaecf0;" | '''7''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| style="background:#eaecf0;" | '''8''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| style="background:#eaecf0;" | '''9''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| style="background:#eaecf0;" | '''10''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| style="background:#eaecf0;" | '''11''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
| style="background:#eaecf0;" | '''12''' [[ Запись]] || [[ Ноутбук]] || ...<date>... || ||
|-
|}

=== Записи консультаций ===

==Формула оценивания==

Оценка = ...<вес 1>...*О...<форма контроля 1>... + ...<вес 2>...*О...<форма контроля 2>... + ...<вес 3>...*О...<форма контроля 3>...

== Домашние задания ==
#
#
#
#

== Литература ==
#
#
#
#

ИИ Инструменты разработки (ИИ24, 1-2 модули)

2024-11-06T10:49:05Z

Saprokhorov 1: /* Материалы курса: продвинутая группа (PRO) */

==О курсе==

Курс читается для студентов 1 курса магистратуры "Искусственный интеллект" в 1-2 модулях 2024/2025 учебного года.

В данном курсе затрагиваются темы, которые редко освещаются в стандартной программе, и вместо этого студенты сами его проходят: владение своими инструментами разработки. Курс предназначен для освоения работы с командной строкой, использования мощного текстового редактора, использования необычных функций систем контроля версий и многого другого. Мы рассмотрим дизайн и внутренности этих инструментов, чтобы студенты в будущем свободно владели и понимали остальных разработчиков, а также думали в рамках этих инструментов наиболее гибко. Люди проводят сотни часов, используя эти инструменты в процессе обучения (и тысячи часов в течение своей карьеры), поэтому имеет смысл сделать процесс обучения максимально плавным и простым. Овладение ими не только позволяет вам тратить меньше времени на выяснение того, как подчинить ваши инструменты своей воле, но также позволяет решать проблемы, которые раньше казались невероятно сложными.

==Контакты==

Чат курса в TG: TBD

Преподаватель: Паточенко Евгений Анатольевич (https://www.hse.ru/org/persons/344864076/)

{| class="wikitable"
|-
! Ассистент !! Telegram
|-
| style="background:#eaecf0;" | Марк Блуменау || [https://t.me/markblumenau @markblumenau]
|-
| style="background:#eaecf0;" | Дмитрий Качкин || [https://t.me/KachkinDmitrii @KachkinDmitrii]
|-
| style="background:#eaecf0;" | Сергей Кривошеев || [https://t.me/FlameInBrain @FlameInBrain]
|-
| style="background:#eaecf0;" | Олег Афанасьев || [https://t.me/afanasevo @afanasevo]
|-
| style="background:#eaecf0;" | Милана Кучумова || [https://t.me/milana_kma @milana_kma]
|-
| style="background:#eaecf0;" | Лука Марков || [https://t.me/lulu_fw01 @lulu_fw01]
|-
| style="background:#eaecf0;" | Денис Сапожников || [https://t.me/I_1ove_myse1f @I_1ove_myse1f]
|-
|}

==Материалы курса: начальная группа (BASE)==
[https://www.youtube.com/playlist?list=PLmA-1xX7IuzAUVEEPyrde6Rozy9Ob1vXK Ссылка на плейлист курса на YouTube]

Ссылка на GitHub с материалами курса: TBD

{| class="wikitable"
|-
! Занятие !! Тема !! Дата !! Ссылки
|-
| style="background:#eaecf0;" | '''1''' || Понятие ОС. Знакомство с Linux
|| 14.09.24 || Запись занятия ([https://www.youtube.com/watch?v=aajK-QZmIms youtube], [https://vk.com/video-227011779_456239044?list=ln-ldVAHpmtXqbsIZMZCM vk]), [https://drive.google.com/file/d/107r4XLvlvPdQIoVrdbXqhvW-vh0ST8b4/view Презентация]
|-
| style="background:#eaecf0;" | '''2''' || Git и GitHub
|| 21.09.24 || Запись занятия ([https://youtu.be/WWMNNJcWObc youtube], [https://vk.com/video-227011779_456239060?list=ln-HyvrtATwub1vM5Ahse vk]), [https://drive.google.com/file/d/1ZBjJ3SE5SbBxIdYp4p8RdJ_aCyTmfuS-/view Презентация]
|-
| style="background:#eaecf0;" | '''3''' || Практика в Git
|| 28.09.24 || Запись занятия ([https://youtu.be/F-n_J1e-7fk youtube], [https://vk.com/video-227011779_456239074?list=ln-rTAQo9hcn3GQfDq8Ii vk]), [https://drive.google.com/file/d/1Y7ooyJIjfe4pb1Hs_acJgD0PlzVFsjia/view Презентация]
|-
| style="background:#eaecf0;" | '''4''' || Сбор данных (BS4, регулярные выражения)
|| 05.10.24 || Запись занятия ([https://youtu.be/42gjwaCGdTU youtube], [https://vk.com/video-227011779_456239089?list=ln-9JQ7eX6rdNBQTFGlXE vk]), [https://colab.research.google.com/drive/1FgiYgJ2mmOXBa7RQ6byaMQ2m2rV01JFy Ноутбук]
|-
| style="background:#eaecf0;" | '''5''' || Введение в регулярные выражения
|| 12.10.24 || Запись занятия ([https://youtu.be/ZNjwzK4Pd_8 youtube], [https://vk.com/video-227011779_456239103?list=ln-xAcssmeLhiaoi1JrU3 vk]), [https://colab.research.google.com/drive/15KvcVNUN6uqiVLAnUJx3f-53K9wdnwUw Ноутбук]
|-
| style="background:#eaecf0;" | '''6''' || Аннотации типов в Python
|| 19.10.24 || Запись занятия ([https://youtu.be/ig-w-0vrAnw youtube], [https://vk.com/video-227011779_456239125?list=ln-AkaVx9yJhS3BUCu4Xq vk]), [https://colab.research.google.com/drive/1cQ6VZ4SHFxxa-CCNXtimKTo7-2srdrWe Ноутбук]
|-
| style="background:#eaecf0;" | '''7''' || Знакомство с FastAPI
|| 02.11.24 || Запись занятия ([https://youtu.be/JFvyF4hhJus youtube], [https://vk.com/video-227011779_456239132?list=ln-jya9m5zSF5Pt7iZPTs vk]), [https://colab.research.google.com/drive/1KcYYmdGHtDf-FSucKXYASjOKfjaveXNb Ноутбук]
|-
| style="background:#eaecf0;" | '''8''' || Хранилища данных
|| TBD ||
|-
| style="background:#eaecf0;" | '''9''' || Основы Docker
|| TBD ||
|-
| style="background:#eaecf0;" | '''10''' || Telegram bot
|| TBD ||
|-
| style="background:#eaecf0;" | '''11''' || Web-service
|| TBD ||
|-
| style="background:#eaecf0;" | '''12''' || Yandex DataSphere
|| TBD ||
|}

==Материалы курса: базовая группа (MIDDLE)==
[https://www.youtube.com/playlist?list=PLmA-1xX7IuzAUVEEPyrde6Rozy9Ob1vXK Ссылка на плейлист курса на YouTube]

Ссылка на GitHub с материалами курса: TBD

{| class="wikitable"
|-
! Занятие !! Тема !! Дата !! Ссылки
|-
| style="background:#eaecf0;" | '''1''' || Знакомство с Linux
|| 14.09.24 || Запись занятия ([https://youtu.be/pdeuxUjIRq0 youtube], [https://vk.com/video-227011779_456239045?list=ln-KbECgxuIHy3mKZ88SM vk]), [https://drive.google.com/file/d/1pauqAJ0svtehuphviDYcFyct17WZ_fds/view Презентация]
|-
| style="background:#eaecf0;" | '''2''' || Практика в Git
|| 21.09.24 || Запись занятия ([https://youtu.be/8-FTVZzAWZ0 youtube], [https://vk.com/video-227011779_456239061?list=ln-TVuC33rigvfLpuBczd vk])
|-
| style="background:#eaecf0;" | '''3''' || Практика в Git
|| 28.09.24 || Запись занятия ([https://youtu.be/KQlZw2Dypto youtube], [https://vk.com/video-227011779_456239075?list=ln-6vNhJTfimvahldXmqh vk]), [https://drive.google.com/file/d/1B10unT46NDSKk7CA4TqNajaJuHUa2yNG/view Презентация]
|-
| style="background:#eaecf0;" | '''4''' || Работа с API
|| 05.10.24 || Запись занятия ([https://youtu.be/2BleVnXHMTA youtube], [https://vk.com/video-227011779_456239090?list=ln-cx2rkC5tjhBHwguInj vk]), [https://drive.google.com/file/d/1r4DdUzVZjtRRNj_NAqgEdwdKYccXbVMg/view Презентация]
|-
| style="background:#eaecf0;" | '''5''' || Регулярные выражения
|| 12.10.24 || Запись занятия ([https://youtu.be/pb1YWbmw1Fg youtube], [https://vk.com/video-227011779_456239113?list=ln-bhlvZWj9Gvwa9THuRu vk]), [https://colab.research.google.com/drive/16yhbtS3xcEQcdTMAWJpP2ihvwY2gGRYN Ноутбук]
|-
| style="background:#eaecf0;" | '''6''' || Библиотека Pydantic
|| 19.10.24 || Запись занятия ([https://youtu.be/h8XBmjO4CCU youtube], [https://vk.com/video-227011779_456239131?list=ln-z3lN3RZLr88VmZyflJ vk]), [https://colab.research.google.com/drive/1xgtUfDBrIOY3yvNefOAcBRH-gG0fDmP- Ноутбук]
|-
| style="background:#eaecf0;" | '''7''' || Работа с API. Фреймворк FastAPI
|| TBD ||
|-
| style="background:#eaecf0;" | '''8''' || Хранилища данных. Понятие DWH
|| TBD ||
|-
| style="background:#eaecf0;" | '''9''' || Основы Docker
|| TBD ||
|-
| style="background:#eaecf0;" | '''10''' || Telegram bot
|| TBD ||
|-
| style="background:#eaecf0;" | '''11''' || Web-service
|| TBD ||
|-
| style="background:#eaecf0;" | '''12''' || ML-разработка в облаке. Yandex DataSphere
|| TBD ||
|}

==Материалы курса: продвинутая группа (PRO)==
[https://www.youtube.com/playlist?list=PLmA-1xX7IuzAUVEEPyrde6Rozy9Ob1vXK Ссылка на плейлист курса на YouTube]

Ссылка на GitHub с материалами курса: TBD

{| class="wikitable"
|-
! Занятие !! Тема !! Дата !! Ссылки
|-
| style="background:#eaecf0;" | '''1''' || Модели в ML production. Серилизация моделей
|| 18.09.24 || Запись занятия ([https://youtu.be/uzHQUFZNNd4 youtube] [https://vk.com/video-227011779_456239052?list=ln-LAVj1PwWEiCXGrfUZK vk]), [https://drive.google.com/file/d/1YKCIBH1orxoOmleTVRN4-mNVUp-nwGyy/view Презентация], [https://colab.research.google.com/drive/1DvKRrJdyWmlhWEza-xAcsZ-Bh0-7FiOS Ноутбук]
|-
| style="background:#eaecf0;" | '''2''' || RECAP: Git
|| 29.09.24 || Запись занятия ([https://youtu.be/JZouuS96kuY youtube] [https://vk.com/video-227011779_456239076?list=ln-52nwVJZR8hiBnXsta9 vk]), [https://drive.google.com/file/d/1kuurD9lxiD4qsELYRzQ4MOxDQ4MdJuAx/view Презентация], [https://colab.research.google.com/drive/1jWtQUy1k0p2dLqdmXqhd2P8rukuY9ke4 Ноутбук]
|-
| style="background:#eaecf0;" | '''3''' || Память в Питоне
|| 09.10.24 || Запись занятия ([https://youtu.be/KNRKv8Sypkc youtube] [https://vk.com/video-227011779_456239102?list=ln-0yZxT3vy4DjdvYHIGx vk]), [https://colab.research.google.com/drive/1C9Y_p4pYlcr_acMN_GWHnj4XIjTvYKJJ Ноутбук]
|-
| style="background:#eaecf0;" | '''4''' || Ускорение Python
|| 16.10.24 || Запись занятия ([https://youtu.be/D-WK_dXpRj8 youtube] [https://vk.com/video-227011779_456239118?list=ln-1jzJNZYeqBzKPrMalW vk]), [https://colab.research.google.com/drive/1B4legra3iu6XvEClnzojM2I2GopM3e2w Ноутбук]
|-
| style="background:#eaecf0;" | '''5''' || Сбор данных
|| TBD ||
|-
| style="background:#eaecf0;" | '''6''' || Фреймворки для создания сервисов (Django, Flask, FastAPI)
|| TBD ||
|-
| style="background:#eaecf0;" | '''7''' || Хранилища данных
|| TBD ||
|-
| style="background:#eaecf0;" | '''8''' || RECAP: Docker
|| TBD ||
|-
| style="background:#eaecf0;" | '''9''' || Telegram bot
|| TBD ||
|-
| style="background:#eaecf0;" | '''10''' || Docker Compose и сеть
|| TBD ||
|-
| style="background:#eaecf0;" | '''11''' || MVP в Data Science. Фреймворк Streamlit
|| TBD ||
|-
| style="background:#eaecf0;" | '''12''' || ML-разработка в облаке. Yandex DataSphere
|| TBD ||
|}

=== Записи консультаций ===

==Формула оценивания==

Оценка = 0.1 * ОПрактика Git + 0.05 * ОТест: Git + 0.05 * ОТест: Regex и API
+ 0.1 * ОПрактика: FastApi + 0.1 * ОПрактика: BASH + 0.1 * ОПрактика: SQL + 0.1 * ОПрактика: Docker+
0.3 * ОПрактика: Инференс ML-модели + 0.05 * ОТест: Docker + 0.05 * ОТест: General 

== Распределительный тест ==

[https://forms.gle/2cZz1b5AjKgdpjjD7 Распределительный тест] - Дедлайн: '''05.09, 19:00'''

== Домашние задания ==
* Тест1: Системы контроля версий. Работа в Git ([https://forms.gle/RmPcXGZj8XguS95R9 BASE], [https://forms.gle/TVtyDJaLJ1XtMGSn7 MIDDLE], [https://forms.gle/u66TQCJzjxSoiY568 PRO]) - Дедлайн: '''12 октября, 23:59 (GMT+3)''';
* Тест2: Регулярные выражения + API ([https://forms.gle/Fqzfr3b5oW18cRPDA BASE], [https://forms.gle/k12UiH7RKYN9MR2L6 MIDDLE], [https://forms.gle/gSpqDVUUharun99P9 PRO]) - Дедлайн: '''28 октября, 23:59 (GMT+3)''';
* Тест3: Принципы работы современных ОС. Основы Linux - Дедлайн: TBA;
* Тест4: Команды Docker - Дедлайн: TBA;

* ДЗ1: [https://drive.google.com/file/d/1c4DUPXh196N6I9YHxOjqrDJafzzRBQWY/view?usp=sharing Практика в Git] - Дедлайн: '''5 октября, 23:59 (GMT+3)''';
* ДЗ2: Скриптинг в Linux - Дедлайн: TBA;
* ДЗ3: Базы данных. SQL - Дедлайн: TBA;
* ДЗ4: Практика с FastAPI - Дедлайн: TBA;
* ДЗ5: Оборачивание приложения в Docker-контейнер - Дедлайн: TBA;
* ДЗ6: Telegram-бот - Дедлайн: TBA;

== Литература ==

ИИ Инструменты разработки (ИИ24, 1-2 модули)

2024-11-06T10:47:14Z

Saprokhorov 1: /* Материалы курса: начальная группа (BASE) */

==О курсе==

Курс читается для студентов 1 курса магистратуры "Искусственный интеллект" в 1-2 модулях 2024/2025 учебного года.

В данном курсе затрагиваются темы, которые редко освещаются в стандартной программе, и вместо этого студенты сами его проходят: владение своими инструментами разработки. Курс предназначен для освоения работы с командной строкой, использования мощного текстового редактора, использования необычных функций систем контроля версий и многого другого. Мы рассмотрим дизайн и внутренности этих инструментов, чтобы студенты в будущем свободно владели и понимали остальных разработчиков, а также думали в рамках этих инструментов наиболее гибко. Люди проводят сотни часов, используя эти инструменты в процессе обучения (и тысячи часов в течение своей карьеры), поэтому имеет смысл сделать процесс обучения максимально плавным и простым. Овладение ими не только позволяет вам тратить меньше времени на выяснение того, как подчинить ваши инструменты своей воле, но также позволяет решать проблемы, которые раньше казались невероятно сложными.

==Контакты==

Чат курса в TG: TBD

Преподаватель: Паточенко Евгений Анатольевич (https://www.hse.ru/org/persons/344864076/)

{| class="wikitable"
|-
! Ассистент !! Telegram
|-
| style="background:#eaecf0;" | Марк Блуменау || [https://t.me/markblumenau @markblumenau]
|-
| style="background:#eaecf0;" | Дмитрий Качкин || [https://t.me/KachkinDmitrii @KachkinDmitrii]
|-
| style="background:#eaecf0;" | Сергей Кривошеев || [https://t.me/FlameInBrain @FlameInBrain]
|-
| style="background:#eaecf0;" | Олег Афанасьев || [https://t.me/afanasevo @afanasevo]
|-
| style="background:#eaecf0;" | Милана Кучумова || [https://t.me/milana_kma @milana_kma]
|-
| style="background:#eaecf0;" | Лука Марков || [https://t.me/lulu_fw01 @lulu_fw01]
|-
| style="background:#eaecf0;" | Денис Сапожников || [https://t.me/I_1ove_myse1f @I_1ove_myse1f]
|-
|}

==Материалы курса: начальная группа (BASE)==
[https://www.youtube.com/playlist?list=PLmA-1xX7IuzAUVEEPyrde6Rozy9Ob1vXK Ссылка на плейлист курса на YouTube]

Ссылка на GitHub с материалами курса: TBD

{| class="wikitable"
|-
! Занятие !! Тема !! Дата !! Ссылки
|-
| style="background:#eaecf0;" | '''1''' || Понятие ОС. Знакомство с Linux
|| 14.09.24 || Запись занятия ([https://www.youtube.com/watch?v=aajK-QZmIms youtube], [https://vk.com/video-227011779_456239044?list=ln-ldVAHpmtXqbsIZMZCM vk]), [https://drive.google.com/file/d/107r4XLvlvPdQIoVrdbXqhvW-vh0ST8b4/view Презентация]
|-
| style="background:#eaecf0;" | '''2''' || Git и GitHub
|| 21.09.24 || Запись занятия ([https://youtu.be/WWMNNJcWObc youtube], [https://vk.com/video-227011779_456239060?list=ln-HyvrtATwub1vM5Ahse vk]), [https://drive.google.com/file/d/1ZBjJ3SE5SbBxIdYp4p8RdJ_aCyTmfuS-/view Презентация]
|-
| style="background:#eaecf0;" | '''3''' || Практика в Git
|| 28.09.24 || Запись занятия ([https://youtu.be/F-n_J1e-7fk youtube], [https://vk.com/video-227011779_456239074?list=ln-rTAQo9hcn3GQfDq8Ii vk]), [https://drive.google.com/file/d/1Y7ooyJIjfe4pb1Hs_acJgD0PlzVFsjia/view Презентация]
|-
| style="background:#eaecf0;" | '''4''' || Сбор данных (BS4, регулярные выражения)
|| 05.10.24 || Запись занятия ([https://youtu.be/42gjwaCGdTU youtube], [https://vk.com/video-227011779_456239089?list=ln-9JQ7eX6rdNBQTFGlXE vk]), [https://colab.research.google.com/drive/1FgiYgJ2mmOXBa7RQ6byaMQ2m2rV01JFy Ноутбук]
|-
| style="background:#eaecf0;" | '''5''' || Введение в регулярные выражения
|| 12.10.24 || Запись занятия ([https://youtu.be/ZNjwzK4Pd_8 youtube], [https://vk.com/video-227011779_456239103?list=ln-xAcssmeLhiaoi1JrU3 vk]), [https://colab.research.google.com/drive/15KvcVNUN6uqiVLAnUJx3f-53K9wdnwUw Ноутбук]
|-
| style="background:#eaecf0;" | '''6''' || Аннотации типов в Python
|| 19.10.24 || Запись занятия ([https://youtu.be/ig-w-0vrAnw youtube], [https://vk.com/video-227011779_456239125?list=ln-AkaVx9yJhS3BUCu4Xq vk]), [https://colab.research.google.com/drive/1cQ6VZ4SHFxxa-CCNXtimKTo7-2srdrWe Ноутбук]
|-
| style="background:#eaecf0;" | '''7''' || Знакомство с FastAPI
|| 02.11.24 || Запись занятия ([https://youtu.be/JFvyF4hhJus youtube], [https://vk.com/video-227011779_456239132?list=ln-jya9m5zSF5Pt7iZPTs vk]), [https://colab.research.google.com/drive/1KcYYmdGHtDf-FSucKXYASjOKfjaveXNb Ноутбук]
|-
| style="background:#eaecf0;" | '''8''' || Хранилища данных
|| TBD ||
|-
| style="background:#eaecf0;" | '''9''' || Основы Docker
|| TBD ||
|-
| style="background:#eaecf0;" | '''10''' || Telegram bot
|| TBD ||
|-
| style="background:#eaecf0;" | '''11''' || Web-service
|| TBD ||
|-
| style="background:#eaecf0;" | '''12''' || Yandex DataSphere
|| TBD ||
|}

==Материалы курса: базовая группа (MIDDLE)==
[https://www.youtube.com/playlist?list=PLmA-1xX7IuzAUVEEPyrde6Rozy9Ob1vXK Ссылка на плейлист курса на YouTube]

Ссылка на GitHub с материалами курса: TBD

{| class="wikitable"
|-
! Занятие !! Тема !! Дата !! Ссылки
|-
| style="background:#eaecf0;" | '''1''' || Знакомство с Linux
|| 14.09.24 || Запись занятия ([https://youtu.be/pdeuxUjIRq0 youtube], [https://vk.com/video-227011779_456239045?list=ln-KbECgxuIHy3mKZ88SM vk]), [https://drive.google.com/file/d/1pauqAJ0svtehuphviDYcFyct17WZ_fds/view Презентация]
|-
| style="background:#eaecf0;" | '''2''' || Практика в Git
|| 21.09.24 || Запись занятия ([https://youtu.be/8-FTVZzAWZ0 youtube], [https://vk.com/video-227011779_456239061?list=ln-TVuC33rigvfLpuBczd vk])
|-
| style="background:#eaecf0;" | '''3''' || Практика в Git
|| 28.09.24 || Запись занятия ([https://youtu.be/KQlZw2Dypto youtube], [https://vk.com/video-227011779_456239075?list=ln-6vNhJTfimvahldXmqh vk]), [https://drive.google.com/file/d/1B10unT46NDSKk7CA4TqNajaJuHUa2yNG/view Презентация]
|-
| style="background:#eaecf0;" | '''4''' || Работа с API
|| 05.10.24 || Запись занятия ([https://youtu.be/2BleVnXHMTA youtube], [https://vk.com/video-227011779_456239090?list=ln-cx2rkC5tjhBHwguInj vk]), [https://drive.google.com/file/d/1r4DdUzVZjtRRNj_NAqgEdwdKYccXbVMg/view Презентация]
|-
| style="background:#eaecf0;" | '''5''' || Регулярные выражения
|| 12.10.24 || Запись занятия ([https://youtu.be/pb1YWbmw1Fg youtube], [https://vk.com/video-227011779_456239113?list=ln-bhlvZWj9Gvwa9THuRu vk]), [https://colab.research.google.com/drive/16yhbtS3xcEQcdTMAWJpP2ihvwY2gGRYN Ноутбук]
|-
| style="background:#eaecf0;" | '''6''' || Библиотека Pydantic
|| 19.10.24 || Запись занятия ([https://youtu.be/h8XBmjO4CCU youtube], [https://vk.com/video-227011779_456239131?list=ln-z3lN3RZLr88VmZyflJ vk]), [https://colab.research.google.com/drive/1xgtUfDBrIOY3yvNefOAcBRH-gG0fDmP- Ноутбук]
|-
| style="background:#eaecf0;" | '''7''' || Работа с API. Фреймворк FastAPI
|| TBD ||
|-
| style="background:#eaecf0;" | '''8''' || Хранилища данных. Понятие DWH
|| TBD ||
|-
| style="background:#eaecf0;" | '''9''' || Основы Docker
|| TBD ||
|-
| style="background:#eaecf0;" | '''10''' || Telegram bot
|| TBD ||
|-
| style="background:#eaecf0;" | '''11''' || Web-service
|| TBD ||
|-
| style="background:#eaecf0;" | '''12''' || ML-разработка в облаке. Yandex DataSphere
|| TBD ||
|}

==Материалы курса: продвинутая группа (PRO)==
[https://www.youtube.com/playlist?list=PLmA-1xX7IuzAUVEEPyrde6Rozy9Ob1vXK Ссылка на плейлист курса на YouTube]

Ссылка на GitHub с материалами курса: TBD

{| class="wikitable"
|-
! Занятие !! Тема !! Дата !! Ссылки
|-
| style="background:#eaecf0;" | '''1''' || Модели в ML production. Серилизация моделей
|| 18.09.24 || Запись занятия ([https://youtu.be/uzHQUFZNNd4 youtube] [https://vk.com/video-227011779_456239052?list=ln-LAVj1PwWEiCXGrfUZK vk]), [https://drive.google.com/file/d/1YKCIBH1orxoOmleTVRN4-mNVUp-nwGyy/view Презентация], [https://colab.research.google.com/drive/1DvKRrJdyWmlhWEza-xAcsZ-Bh0-7FiOS Ноутбук]
|-
| style="background:#eaecf0;" | '''2''' || RECAP: Git
|| 29.09.24 || Запись занятия ([https://youtu.be/JZouuS96kuY youtube] [https://vk.com/video-227011779_456239076?list=ln-52nwVJZR8hiBnXsta9 vk]), [https://drive.google.com/file/d/1kuurD9lxiD4qsELYRzQ4MOxDQ4MdJuAx/view Презентация], [https://colab.research.google.com/drive/1jWtQUy1k0p2dLqdmXqhd2P8rukuY9ke4 Ноутбук]
|-
| style="background:#eaecf0;" | '''3''' || Память в Питоне
|| 09.10.24 || Запись занятия ([https://youtu.be/KNRKv8Sypkc youtube] [https://vk.com/video-227011779_456239102?list=ln-0yZxT3vy4DjdvYHIGx vk]), [https://colab.research.google.com/drive/1C9Y_p4pYlcr_acMN_GWHnj4XIjTvYKJJ Ноутбук]
|-
| style="background:#eaecf0;" | '''4''' || Bash. Написание скриптов
|| TBD ||
|-
| style="background:#eaecf0;" | '''5''' || Сбор данных
|| TBD ||
|-
| style="background:#eaecf0;" | '''6''' || Фреймворки для создания сервисов (Django, Flask, FastAPI)
|| TBD ||
|-
| style="background:#eaecf0;" | '''7''' || Хранилища данных
|| TBD ||
|-
| style="background:#eaecf0;" | '''8''' || RECAP: Docker
|| TBD ||
|-
| style="background:#eaecf0;" | '''9''' || Telegram bot
|| TBD ||
|-
| style="background:#eaecf0;" | '''10''' || Docker Compose и сеть
|| TBD ||
|-
| style="background:#eaecf0;" | '''11''' || MVP в Data Science. Фреймворк Streamlit
|| TBD ||
|-
| style="background:#eaecf0;" | '''12''' || ML-разработка в облаке. Yandex DataSphere
|| TBD ||
|}

=== Записи консультаций ===

==Формула оценивания==

Оценка = 0.1 * ОПрактика Git + 0.05 * ОТест: Git + 0.05 * ОТест: Regex и API
+ 0.1 * ОПрактика: FastApi + 0.1 * ОПрактика: BASH + 0.1 * ОПрактика: SQL + 0.1 * ОПрактика: Docker+
0.3 * ОПрактика: Инференс ML-модели + 0.05 * ОТест: Docker + 0.05 * ОТест: General 

== Распределительный тест ==

[https://forms.gle/2cZz1b5AjKgdpjjD7 Распределительный тест] - Дедлайн: '''05.09, 19:00'''

== Домашние задания ==
* Тест1: Системы контроля версий. Работа в Git ([https://forms.gle/RmPcXGZj8XguS95R9 BASE], [https://forms.gle/TVtyDJaLJ1XtMGSn7 MIDDLE], [https://forms.gle/u66TQCJzjxSoiY568 PRO]) - Дедлайн: '''12 октября, 23:59 (GMT+3)''';
* Тест2: Регулярные выражения + API ([https://forms.gle/Fqzfr3b5oW18cRPDA BASE], [https://forms.gle/k12UiH7RKYN9MR2L6 MIDDLE], [https://forms.gle/gSpqDVUUharun99P9 PRO]) - Дедлайн: '''28 октября, 23:59 (GMT+3)''';
* Тест3: Принципы работы современных ОС. Основы Linux - Дедлайн: TBA;
* Тест4: Команды Docker - Дедлайн: TBA;

* ДЗ1: [https://drive.google.com/file/d/1c4DUPXh196N6I9YHxOjqrDJafzzRBQWY/view?usp=sharing Практика в Git] - Дедлайн: '''5 октября, 23:59 (GMT+3)''';
* ДЗ2: Скриптинг в Linux - Дедлайн: TBA;
* ДЗ3: Базы данных. SQL - Дедлайн: TBA;
* ДЗ4: Практика с FastAPI - Дедлайн: TBA;
* ДЗ5: Оборачивание приложения в Docker-контейнер - Дедлайн: TBA;
* ДЗ6: Telegram-бот - Дедлайн: TBA;

== Литература ==

ИИ Инструменты разработки (ИИ24, 1-2 модули)

2024-11-06T10:44:38Z

Saprokhorov 1: /* Материалы курса: базовая группа (MIDDLE) */

ИИ Инструменты разработки (ИИ24, 1-2 модули)

2024-11-06T10:33:37Z

Saprokhorov 1: /* Материалы курса: базовая группа (MIDDLE) */

ИИ Инструменты разработки (ИИ24, 1-2 модули)

2024-11-06T10:33:17Z

Saprokhorov 1: /* Материалы курса: начальная группа (BASE) */

Генеративные модели в машинном обучении (ИИ 2024)

2024-11-04T04:20:23Z

Saprokhorov 1: final UPD

==О курсе ==
Курс читается на первом модуле студентам магистерской образовательной программы [https://www.hse.ru/ma/mlds/ "Искусственный интеллект"].

Канал и чат курса в ТГ: [https://t.me/+7ZPeMW1hhwkzNjcy Чат]

{| class="wikitable"
|-
! Группа !! Преподаватели !! Zoom !! Время
|-
| Базовая || [https://t.me/GLBHLB Ершов Глеб] || [https://us06web.zoom.us/j/89645002272?pwd=RuaaVGGOUyY8nbGc7Zk4N2SRG2U6Hf.1 Zoom] || суббота 13:00 + вторник 17.09 18:10
|-
| Продвинутая || [https://t.me/mikhail_h91 Гущин Михаил] || [https://us06web.zoom.us/j/82024709724?pwd=qf2esH8cmRAGsXIg4a1hfbot7atBX7.1 Zoom] || четверг 18:10 + среда 25.09 18:10
|}

{| class="wikitable"
|-
! Ассистенты
|-
| [https://t.me/Savely_Prokhorov Прохоров Савелий]
|-
| [https://t.me/danokil Охотин Даниил]
|-
| [https://t.me/sonya_leaf Никифорова Соня-Аня]
|}

{| class="wikitable"
|-
! Кураторы
|-
| [https://t.me/roman_zalesinskii Залесинский Роман]
|-
| [https://t.me/WhiteShape Зуев Гордей]
|}

==Материалы курса ==
Ссылка на плейлист курса на VK: [https://vk.com/video/playlist/-227011779_10 VK-playlist]

Ссылка на GitHub с материалами курса: [https://github.com/hushchyn-mikhail/gen_models_ai_hse GitHub]

Ссылка на stepik: [https://stepik.org/course/179805/promo#toc Stepik]

{| class="wikitable"
|-
! Занятие !! Тема !! Материалы для самоподготовки к семинарам !! Материалы семинаров !! Дополнительные материалы
|-

| style="background:#eaecf0;" | '''1''' || Трансформеры || [https://stepik.org/lesson/1260768 Модули 10 и 11 на Stepik] || [https://github.com/hushchyn-mikhail/gen_models_ai_hse/blob/main/2024/seminars/Seminar-1.ipynb Тетрадка], [https://colab.research.google.com/github/hushchyn-mikhail/gen_models_ai_hse/blob/main/2024/seminars/Seminar-1.ipynb Colab], [https://vk.com/video-227011779_456239029?list=ln-KuJSQ7BZx27m3TtGP2 Запись_продвинутая] || [https://www.youtube.com/watch?v=KCEEfH1RQuA Запись лекции про Attention и трансформеры на ИАДе], [https://github.com/hse-ds/iad-deep-learning/blob/master/2022/lectures/lecture11-sequences.pdf Слайды к ней]; [https://arxiv.org/abs/1706.03762 Attention is All You Need]; [https://jalammar.github.io/illustrated-transformer/ The Illustrated Transformer]; [https://youtu.be/eMlx5fFNoYc Visualizing Attention, a Transformer's Heart];
|-

| style="background:#eaecf0;" | '''2''' || Архитектуры трансформеров || [https://stepik.org/lesson/1322959 Модули 10, 11 и 12 на Stepik] || [https://github.com/hushchyn-mikhail/gen_models_ai_hse/blob/main/2024/seminars/Seminar-2.ipynb Тетрадка], [https://colab.research.google.com/drive/1QoNg4aUmyEVkzoIWF6pFg3nJk9liIiGi?usp=sharing#scrollTo=JJbWPWj94LOP Colab], [https://vk.com/video-227011779_456239041 Запись продвинутая] || [https://d2l.ai/chapter_attention-mechanisms-and-transformers/large-pretraining-transformers.html Кратко про BERT, GPT и T5 модели]; [https://jalammar.github.io/illustrated-bert/ The Illustrated BERT, ELMo, and co.];
|-

| style="background:#eaecf0;" | '''3''' || Генеративно-состязательные сети (GANs) || [https://stepik.org/lesson/1366010 Модули 14.1 и 15.1 на Stepik] || [https://github.com/hushchyn-mikhail/gen_models_ai_hse/blob/main/2024/lectures/lecture03-gan.pdf Слайды], [https://vk.com/video-227011779_456239057 Лекция], [https://vk.com/video-227011779_456239059 Семинар], [https://github.com/hushchyn-mikhail/gen_models_ai_hse/blob/main/2024/seminars/Seminar-3-gans.ipynb Ноутбук]|| [https://www.youtube.com/watch?v=XvnC9B_hNt0 Лекция ПЗАД по GAN] и [https://github.com/hse-ds/iad-applied-ds/blob/master/2023/lectures/lecture01-gan.pdf слайды]; [https://pytorch.org/tutorials/beginner/dcgan_faces_tutorial.html туториал по DCGAN] от torch; [https://proceedings.neurips.cc/paper_files/paper/2014/file/5ca3e9b122f61f8f06494c97b1afccf3-Paper.pdf оригинальная статья Яна Гудфеллоу]; [https://neerc.ifmo.ru/wiki/index.php?title=Generative_Adversarial_Nets_(GAN) Wiki ИТМО]; [https://education.yandex.ru/handbook/ml/article/generativno-sostyazatelnye-seti-(gan) глава из учебника Яндекса]
|-
| style="background:#eaecf0;" | '''4''' || Вариационные автокодировщики (VAEs) и нормализующие потоки (Normalizing Flows) || [https://stepik.org/lesson/1366006 Модули 14 и 15.3 на Stepik] || [https://github.com/hushchyn-mikhail/gen_models_ai_hse/blob/main/2024/lectures/lecture04-nf.pdf Слайды], [https://vk.com/video-227011779_456239066 Запись лекции], [https://github.com/hushchyn-mikhail/gen_models_ai_hse/blob/main/2024/seminars/Seminar-4-autoencoders.ipynb Семинарский ноутбук], [https://vk.com/video-227011779_456239072 Запись семинара] || [https://www.youtube.com/watch?v=aj1U36E_RZE&list=PLEwK9wdS5g0rLIiFuHwUuDuWKupHQrVJf&index=3 Лекция ПЗАД по NF] и [https://github.com/hse-ds/iad-applied-ds/blob/master/2023/lectures/lecture02-nf.pdf слайды]; [https://education.yandex.ru/handbook/ml/article/variational-autoencoder-(vae) глава учебника Яндекса про VAE], [https://www.youtube.com/watch?v=x6T1zMSE4Ts обзор] NVAE, [https://github.com/NVlabs/NVAE реализация] NVAE, [https://github.com/NVlabs/NVAE реализация] VAE на Habr; [https://education.yandex.ru/handbook/ml/article/normalizuyushie-potoki глава учебника Яндекса по NF], [https://lilianweng.github.io/posts/2018-10-13-flow-models/ заметки] о различных архитектурах NF, [https://github.com/VincentStimper/normalizing-flows репозиторий] с реализациями архитектур NF
|-
| style="background:#eaecf0;" | '''5''' || Диффузионные модели || [https://stepik.org/lesson/1366010 Модуль 15 на Stepik] || [https://vk.com/video-227011779_456239070 Запись лекции], [https://github.com/hushchyn-mikhail/gen_models_ai_hse/blob/main/2024/lectures/lecture05-diff.pdf Слайды], [https://github.com/hushchyn-mikhail/gen_models_ai_hse/blob/main/2024/seminars/Seminar-5.ipynb Тетрадка с семинара], [https://vk.com/video-227011779_456239088 Запись семинара] || [https://www.youtube.com/watch?v=z7QH-WWHmfE&list=PLEwK9wdS5g0rLIiFuHwUuDuWKupHQrVJf&index=4 Лекция ПЗАД по диффузиям] и [https://github.com/hse-ds/iad-applied-ds/blob/master/2023/lectures/lecture03-diffusion.pdf слайды]; [https://education.yandex.ru/handbook/ml/article/diffuzionnye-modeli глава в учебнике Яндекса], [https://huggingface.co/learn/diffusion-course/unit0/1 курс] HuggingFace, [https://lilianweng.github.io/posts/2024-04-12-diffusion-video/ заметки] о генерации видео, [https://habr.com/ru/companies/yandex/articles/839580/ описание] создания e2e модели генерации видео от Яндекса, [https://github.com/diff-usion/Awesome-Diffusion-Models репозиторий] с материалами по диффузиям
|-
| style="background:#eaecf0;" | '''6''' || Мультимодальные модели || [https://stepik.org/lesson/1366010 Модуль 15 на Stepik] || [https://vk.com/video-227011779_456239085 Запись лекции], [https://github.com/hushchyn-mikhail/gen_models_ai_hse/blob/main/2024/lectures/lecture06-multi.pdf Слайды], [https://github.com/hushchyn-mikhail/gen_models_ai_hse/blob/main/2024/seminars/Seminar-6.ipynb Семинарский ноутбук], [https://vk.com/video-227011779_456239100 Запись семинара] || [https://www.youtube.com/watch?v=hH8dcl62XsY&t=2860s&ab_channel=siberai семинар от Сбера] про различные мультимодальные архитектуры, [https://openai.com/index/clip/ статья про CLIP] от OpenAI, [https://huggingface.co/docs/transformers/model_doc/vit туториал по ViT] на HuggingFace
|-
| style="background:#eaecf0;" | '''7''' || Синтез речи (Text-to-Speech) || - || [https://vk.com/video-227011779_456239098 Запись лекции], [https://github.com/hushchyn-mikhail/gen_models_ai_hse/blob/main/2024/lectures/lecture07-tts.pdf Слайды], [https://github.com/hushchyn-mikhail/gen_models_ai_hse/blob/main/2024/seminars/Seminar_7.ipynb Семинарский ноутбук], [https://vk.com/video-227011779_456239129 Запись семинара] || [https://neerc.ifmo.ru/wiki/index.php?title=%D0%A1%D0%B8%D0%BD%D1%82%D0%B5%D0%B7_%D1%80%D0%B5%D1%87%D0%B8 Wiki ИТМО], [https://huggingface.co/learn/audio-course/ru/chapter6/pre-trained_models туториал HuggingFace], [https://developers.sber.ru/help/salutespeech/creating-audio-from-text верхнеуровневый обзор] технологий синтеза речи от Sber, [https://github.com/markovka17/dla/tree/2023 репозиторий курса DLA]
|-
| style="background:#eaecf0;" | '''8''' || Оптимизация моделей || [https://stepik.org/lesson/1366014 Модуль 16 на Stepik] || [https://vk.com/video-227011779_456239111 Запись лекции], [https://github.com/hushchyn-mikhail/gen_models_ai_hse/blob/main/2024/lectures/lecture08-opt.pdf Слайды], [https://github.com/hushchyn-mikhail/gen_models_ai_hse/blob/main/2024/seminars/Seminar_8.ipynb Семинарский ноутбук], [https://vk.com/video-227011779_456239129 Запись семинара] || [https://education.yandex.ru/handbook/ml/article/distillyaciya-znanij Про дистилляцию знаний], [https://habr.com/ru/companies/yandex/articles/800945/ Про квантизацию] (Хабр), [https://pytorch.org/tutorials/intermediate/pruning_tutorial.html Про pruning] (pytorch) и [https://education.yandex.ru/handbook/ml/article/kak-ocenivat-veroyatnosti калибровку]
|}

====Конусльтации====
1. ДЗ-1 (Глеб Ершов): https://vk.com/video-227011779_456239083

==Формула оценивания ==
Общая оценка: <code>0.5*ДЗ + 0.15*Тесты + 0.25*Экз. + 0.1*Stepik</code>

Экзамен, как и все прочие формы контроля, не блокирующий. Сколько накопили до экзамена, столько (после математического округления) можем ставить в итог за курс.

==Stepik ==
В оценку за Stepik идут только следующие модули:

* [https://stepik.org/lesson/1260768 Модуль 10 Attention]

* [https://stepik.org/lesson/1260773 Модуль 11 Трансформеры: теория]

* [https://stepik.org/lesson/1322959 Модуль 12 Трансформеры: практика]

* [https://stepik.org/lesson/1366006 Модуль 14 Классические генеративные модели]

* [https://stepik.org/lesson/1366010 Модуль 15 Современные генеративные модели]

* [https://stepik.org/lesson/1366014 Модуль 16 Методы оптимизации нейронных сетей]

'''Важно:''' Части степика с домашними заданиями делать не нужно (15.4, например). Но нужно ответить на квизы в других его частях (15.1, например).

== Домашние задания ==
Инвайт в Anytask: <code>uupDuUn</code>

За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются.

===Задание 1. Трансформеры ===
В этой домашней работе вам предстоит добавить к BERT'у декодерную часть и решить задачу генерации суммаризаций для текстов новостей на русском языке.

'''Мягкий дедлайн''': 01 октября 2024 года 23:59

'''Дедлайн''': 05 октября 2024 года 23:59

'''Ссылка''': https://github.com/hushchyn-mikhail/gen_models_ai_hse/blob/main/2024/homeworks/homework_1.ipynb

===Задание 2. Генерация параметров кластеров на изображениях для частиц: cWGAN, cVAE===
Ваша задача заключается в том, чтобы с помощью генеративно-состязательных сетей научиться генерировать параметры кластеров на изображениях телескопа для каждого типа частиц (фотона или адрона)

'''Мягкий дедлайн''': <strike>09 октября (Ср.)</strike> 11 октября (Пт.) 2024 года, 23:59

'''Дедлайн''': <strike>13 октября (Вс.)</strike> 15 октября (Вт.) 2024 года, 23:59

'''Ссылка''': https://github.com/hushchyn-mikhail/gen_models_ai_hse/tree/main/2024/homeworks/hw2

===Задание 3. Генерация параметров кластеров на изображениях для частиц: диффузия, нормпотоки===
Ваша задача заключается в том, чтобы с помощью диффузии и нормпотоков научиться генерировать параметры кластеров на изображениях телескопа для каждого типа частиц (фотона или адрона)

'''Мягкий дедлайн''': 19 октября (Сб.) 2024 года, 23:59

'''Дедлайн''': 22 октября (Вт.) 2024 года, 23:59

'''Ссылка''': https://github.com/hushchyn-mikhail/gen_models_ai_hse/tree/main/2024/homeworks/hw3

== Тесты ==

# "Attention, Transformers": [https://forms.gle/4HU7qXwKqq4HY2y87 ссылка], '''дедлайн''' -- 25.09 (Ср.), 23:59 МСК
# "Классические генеративные модели: GAN, (V)AE, Normalizing Flows, Diffusion": [https://docs.google.com/forms/d/e/1FAIpQLScDNMeJYjoAoSuJqsusfYWhIagK6pHKOEt13A0A0QiaYiQvEw/viewform?usp=sf_link ссылка], '''дедлайн''' -- 07.10.24 (Пн.), 23:59
# "Мультимодальность, TTS, оптимизация инференса": [https://docs.google.com/forms/d/e/1FAIpQLSe3_NoKCdSrT1wMrG-wK2QN09c_gpSN_tAOCuD-rsRTRUJLow/viewform?usp=sf_link ссылка], '''дедлайн''' -- 21.10.24 (Пн.), 23:59

===Тренировочные тесты (неоцениваемые)===

* [https://docs.google.com/forms/d/e/1FAIpQLSc84GpwbKnl9PHsk8fKKPzmvP72VUJ3MskcmL_hf2y4_PDuUQ/viewform?usp=sf_link "Transformers, GANs, VAEs, NFs, Diffusion"]

== Экзамен ==
Вопросы к экзамену: [https://docs.google.com/document/d/1eEiKyTDuHl-skvNfr-TGyryiMCA7ru9b4jwK0EV97OQ/edit?usp=sharing Google Doc]

Пробный вариант: [https://t.me/c/2219793815/4/2131 ссылка на сообщение с pdf в чате курса]

 
Пройдет 23.10 (Ср.) в 19:00
 
На написание 80 мин. (одна пара), 10 мин. на загрузку заданий в Энитаск
 
В Зуме нужно будет включить веб-камеру, выключить микрофон и запустить демонстрацию экрана.
 
За написанием будут следить преподаватели и ассистенты
 
От 4-х до 6-ти задач на разное количество баллов (в сумме -- 10)

== Литература ==

===Курсы по машинному обучению и анализу данных===
* [https://github.com/yandexdataschool/nlp_course Курс NLP в ШАД]
* [https://github.com/mryab/dl-hse-ami Глубинное обучение, ВШЭ ]
* [https://stepik.org/course/124069/promo, Глубинное обучение 1, МФТИ]
* [https://stepik.org/course/111171/promo, Глубинное обучение 2, МФТИ]
* [http://www.machinelearning.ru/wiki/index.php?title=Машинное_обучение_%28курс_лекций%2C_К.В.Воронцов%29 Курс по машинному обучению К.В. Воронцова]

===Книги===
* [https://d2l.ai/ Dive into Deep Learning]
* [https://www.deeplearningbook.org/ Goodfellow I., Bengio Y. and Courville A., Deep Learning]

ИИ Инструменты разработки (ИИ24, 1-2 модули)

2024-10-27T13:36:56Z

Saprokhorov 1: /* Домашние задания */

Генеративные модели в машинном обучении (ИИ 2024)

2024-10-24T10:28:34Z

Saprokhorov 1: upd Anytask invite

==О курсе ==
Курс читается на первом модуле студентам магистерской образовательной программы [https://www.hse.ru/ma/mlds/ "Искусственный интеллект"].

Канал и чат курса в ТГ: [https://t.me/+7ZPeMW1hhwkzNjcy Чат]

{| class="wikitable"
|-
! Группа !! Преподаватели !! Zoom !! Время
|-
| Базовая || [https://t.me/GLBHLB Ершов Глеб] || [https://us06web.zoom.us/j/89645002272?pwd=RuaaVGGOUyY8nbGc7Zk4N2SRG2U6Hf.1 Zoom] || суббота 13:00 + вторник 17.09 18:10
|-
| Продвинутая || [https://t.me/mikhail_h91 Гущин Михаил] || [https://us06web.zoom.us/j/82024709724?pwd=qf2esH8cmRAGsXIg4a1hfbot7atBX7.1 Zoom] || четверг 18:10 + среда 25.09 18:10
|}

{| class="wikitable"
|-
! Ассистенты
|-
| [https://t.me/Savely_Prokhorov Прохоров Савелий]
|-
| [https://t.me/danokil Охотин Даниил]
|-
| [https://t.me/sonya_leaf Никифорова Соня-Аня]
|}

{| class="wikitable"
|-
! Кураторы
|-
| [https://t.me/roman_zalesinskii Залесинский Роман]
|-
| [https://t.me/WhiteShape Зуев Гордей]
|}

==Материалы курса ==
Ссылка на плейлист курса на VK: [https://vk.com/video/playlist/-227011779_10 VK-playlist]

Ссылка на GitHub с материалами курса: [https://github.com/hushchyn-mikhail/gen_models_ai_hse GitHub]

Ссылка на stepik: [https://stepik.org/course/179805/promo#toc Stepik]

{| class="wikitable"
|-
! Занятие !! Тема !! Материалы для самоподготовки к семинарам !! Материалы семинаров !! Дополнительные материалы
|-

| style="background:#eaecf0;" | '''1''' || Трансформеры || [https://stepik.org/lesson/1260768 Модули 10 и 11 на Stepik] || [https://github.com/hushchyn-mikhail/gen_models_ai_hse/blob/main/2024/seminars/Seminar-1.ipynb Тетрадка], [https://colab.research.google.com/github/hushchyn-mikhail/gen_models_ai_hse/blob/main/2024/seminars/Seminar-1.ipynb Colab], [https://vk.com/video-227011779_456239029?list=ln-KuJSQ7BZx27m3TtGP2 Запись_продвинутая] || [https://www.youtube.com/watch?v=KCEEfH1RQuA Запись лекции про Attention и трансформеры на ИАДе], [https://github.com/hse-ds/iad-deep-learning/blob/master/2022/lectures/lecture11-sequences.pdf Слайды к ней]; [https://arxiv.org/abs/1706.03762 Attention is All You Need]; [https://jalammar.github.io/illustrated-transformer/ The Illustrated Transformer]; [https://youtu.be/eMlx5fFNoYc Visualizing Attention, a Transformer's Heart];
|-

| style="background:#eaecf0;" | '''2''' || Архитектуры трансформеров || [https://stepik.org/lesson/1322959 Модули 10, 11 и 12 на Stepik] || [https://github.com/hushchyn-mikhail/gen_models_ai_hse/blob/main/2024/seminars/Seminar-2.ipynb Тетрадка], [https://colab.research.google.com/drive/1QoNg4aUmyEVkzoIWF6pFg3nJk9liIiGi?usp=sharing#scrollTo=JJbWPWj94LOP Colab], [https://vk.com/video-227011779_456239041 Запись продвинутая] || [https://d2l.ai/chapter_attention-mechanisms-and-transformers/large-pretraining-transformers.html Кратко про BERT, GPT и T5 модели]; [https://jalammar.github.io/illustrated-bert/ The Illustrated BERT, ELMo, and co.];
|-

| style="background:#eaecf0;" | '''3''' || Генеративно-состязательные сети (GANs) || [https://stepik.org/lesson/1366010 Модули 14.1 и 15.1 на Stepik] || [https://github.com/hushchyn-mikhail/gen_models_ai_hse/blob/main/2024/lectures/lecture03-gan.pdf Слайды], [https://vk.com/video-227011779_456239057 Лекция], [https://vk.com/video-227011779_456239059 Семинар], [https://github.com/hushchyn-mikhail/gen_models_ai_hse/blob/main/2024/seminars/Seminar-3-gans.ipynb Ноутбук]|| [https://www.youtube.com/watch?v=XvnC9B_hNt0 Лекция ПЗАД по GAN] и [https://github.com/hse-ds/iad-applied-ds/blob/master/2023/lectures/lecture01-gan.pdf слайды]; [https://pytorch.org/tutorials/beginner/dcgan_faces_tutorial.html туториал по DCGAN] от torch; [https://proceedings.neurips.cc/paper_files/paper/2014/file/5ca3e9b122f61f8f06494c97b1afccf3-Paper.pdf оригинальная статья Яна Гудфеллоу]; [https://neerc.ifmo.ru/wiki/index.php?title=Generative_Adversarial_Nets_(GAN) Wiki ИТМО]; [https://education.yandex.ru/handbook/ml/article/generativno-sostyazatelnye-seti-(gan) глава из учебника Яндекса]
|-
| style="background:#eaecf0;" | '''4''' || Вариационные автокодировщики (VAEs) и нормализующие потоки (Normalizing Flows) || [https://stepik.org/lesson/1366006 Модули 14 и 15.3 на Stepik] || [https://github.com/hushchyn-mikhail/gen_models_ai_hse/blob/main/2024/lectures/lecture04-nf.pdf Слайды], [https://vk.com/video-227011779_456239066 Запись лекции], [https://github.com/hushchyn-mikhail/gen_models_ai_hse/blob/main/2024/seminars/Seminar-4-autoencoders.ipynb Семинарский ноутбук], [https://vk.com/video-227011779_456239072 Запись семинара] || [https://www.youtube.com/watch?v=aj1U36E_RZE&list=PLEwK9wdS5g0rLIiFuHwUuDuWKupHQrVJf&index=3 Лекция ПЗАД по NF] и [https://github.com/hse-ds/iad-applied-ds/blob/master/2023/lectures/lecture02-nf.pdf слайды]; [https://education.yandex.ru/handbook/ml/article/variational-autoencoder-(vae) глава учебника Яндекса про VAE], [https://www.youtube.com/watch?v=x6T1zMSE4Ts обзор] NVAE, [https://github.com/NVlabs/NVAE реализация] NVAE, [https://github.com/NVlabs/NVAE реализация] VAE на Habr; [https://education.yandex.ru/handbook/ml/article/normalizuyushie-potoki глава учебника Яндекса по NF], [https://lilianweng.github.io/posts/2018-10-13-flow-models/ заметки] о различных архитектурах NF, [https://github.com/VincentStimper/normalizing-flows репозиторий] с реализациями архитектур NF
|-
| style="background:#eaecf0;" | '''5''' || Диффузионные модели || [https://stepik.org/lesson/1366010 Модуль 15 на Stepik] || [https://vk.com/video-227011779_456239070 Запись лекции], [https://github.com/hushchyn-mikhail/gen_models_ai_hse/blob/main/2024/lectures/lecture05-diff.pdf Слайды], [https://github.com/hushchyn-mikhail/gen_models_ai_hse/blob/main/2024/seminars/Seminar-5.ipynb Тетрадка с семинара], [https://vk.com/video-227011779_456239088 Запись семинара] || [https://www.youtube.com/watch?v=z7QH-WWHmfE&list=PLEwK9wdS5g0rLIiFuHwUuDuWKupHQrVJf&index=4 Лекция ПЗАД по диффузиям] и [https://github.com/hse-ds/iad-applied-ds/blob/master/2023/lectures/lecture03-diffusion.pdf слайды]; [https://education.yandex.ru/handbook/ml/article/diffuzionnye-modeli глава в учебнике Яндекса], [https://huggingface.co/learn/diffusion-course/unit0/1 курс] HuggingFace, [https://lilianweng.github.io/posts/2024-04-12-diffusion-video/ заметки] о генерации видео, [https://habr.com/ru/companies/yandex/articles/839580/ описание] создания e2e модели генерации видео от Яндекса, [https://github.com/diff-usion/Awesome-Diffusion-Models репозиторий] с материалами по диффузиям
|-
| style="background:#eaecf0;" | '''6''' || Мультимодальные модели || [https://stepik.org/lesson/1366010 Модуль 15 на Stepik] || [https://vk.com/video-227011779_456239085 Запись лекции], [https://github.com/hushchyn-mikhail/gen_models_ai_hse/blob/main/2024/lectures/lecture06-multi.pdf Слайды], [https://github.com/hushchyn-mikhail/gen_models_ai_hse/blob/main/2024/seminars/Seminar-6.ipynb Семинарский ноутбук], [[ Запись семинара]] || [https://www.youtube.com/watch?v=hH8dcl62XsY&t=2860s&ab_channel=siberai семинар от Сбера] про различные мультимодальные архитектуры, [https://openai.com/index/clip/ статья про CLIP] от OpenAI, [https://huggingface.co/docs/transformers/model_doc/vit туториал по ViT] на HuggingFace
|-
| style="background:#eaecf0;" | '''7''' || Синтез речи (Text-to-Speech) || - || [https://vk.com/video-227011779_456239098 Запись лекции], [https://github.com/hushchyn-mikhail/gen_models_ai_hse/blob/main/2024/lectures/lecture07-tts.pdf Слайды], [[ Семинарский ноутбук]], [[ Запись семинара]] || [https://neerc.ifmo.ru/wiki/index.php?title=%D0%A1%D0%B8%D0%BD%D1%82%D0%B5%D0%B7_%D1%80%D0%B5%D1%87%D0%B8 Wiki ИТМО], [https://huggingface.co/learn/audio-course/ru/chapter6/pre-trained_models туториал HuggingFace], [https://developers.sber.ru/help/salutespeech/creating-audio-from-text верхнеуровневый обзор] технологий синтеза речи от Sber, [https://github.com/markovka17/dla/tree/2023 репозиторий курса DLA]
|-
| style="background:#eaecf0;" | '''8''' || Оптимизация моделей || [https://stepik.org/lesson/1366014 Модуль 16 на Stepik] || [[ Запись лекции]], [https://github.com/hushchyn-mikhail/gen_models_ai_hse/blob/main/2024/lectures/lecture08-opt.pdf Слайды], [[Семинарский ноутбук]], [[ Запись семинара]] || [https://education.yandex.ru/handbook/ml/article/distillyaciya-znanij Про дистилляцию знаний], [https://habr.com/ru/companies/yandex/articles/800945/ Про квантизацию] (Хабр), [https://pytorch.org/tutorials/intermediate/pruning_tutorial.html Про pruning] (pytorch) и [https://education.yandex.ru/handbook/ml/article/kak-ocenivat-veroyatnosti калибровку]
|}

====Конусльтации====
1. ДЗ-1 (Глеб Ершов): https://vk.com/video-227011779_456239083

==Формула оценивания ==
Общая оценка: <code>0.5*ДЗ + 0.15*Тесты + 0.25*Экз. + 0.1*Stepik</code>

Экзамен, как и все прочие формы контроля, не блокирующий. Сколько накопили до экзамена, столько (после математического округления) можем ставить в итог за курс.

==Stepik ==
В оценку за Stepik идут только следующие модули:

* [https://stepik.org/lesson/1260768 Модуль 10 Attention]

* [https://stepik.org/lesson/1260773 Модуль 11 Трансформеры: теория]

* [https://stepik.org/lesson/1322959 Модуль 12 Трансформеры: практика]

* [https://stepik.org/lesson/1366006 Модуль 14 Классические генеративные модели]

* [https://stepik.org/lesson/1366010 Модуль 15 Современные генеративные модели]

* [https://stepik.org/lesson/1366014 Модуль 16 Методы оптимизации нейронных сетей]

'''Важно:''' Части степика с домашними заданиями делать не нужно (15.4, например). Но нужно ответить на квизы в других его частях (15.1, например).

== Домашние задания ==
Инвайт в Anytask: <code>uupDuUn</code>

За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются.

===Задание 1. Трансформеры ===
В этой домашней работе вам предстоит добавить к BERT'у декодерную часть и решить задачу генерации суммаризаций для текстов новостей на русском языке.

'''Мягкий дедлайн''': 01 октября 2024 года 23:59

'''Дедлайн''': 05 октября 2024 года 23:59

'''Ссылка''': https://github.com/hushchyn-mikhail/gen_models_ai_hse/blob/main/2024/homeworks/homework_1.ipynb

===Задание 2. Генерация параметров кластеров на изображениях для частиц: cWGAN, cVAE===
Ваша задача заключается в том, чтобы с помощью генеративно-состязательных сетей научиться генерировать параметры кластеров на изображениях телескопа для каждого типа частиц (фотона или адрона)

'''Мягкий дедлайн''': <strike>09 октября (Ср.)</strike> 11 октября (Пт.) 2024 года, 23:59

'''Дедлайн''': <strike>13 октября (Вс.)</strike> 15 октября (Вт.) 2024 года, 23:59

'''Ссылка''': https://github.com/hushchyn-mikhail/gen_models_ai_hse/tree/main/2024/homeworks/hw2

===Задание 3. Генерация параметров кластеров на изображениях для частиц: диффузия, нормпотоки===
Ваша задача заключается в том, чтобы с помощью диффузии и нормпотоков научиться генерировать параметры кластеров на изображениях телескопа для каждого типа частиц (фотона или адрона)

'''Мягкий дедлайн''': 19 октября (Сб.) 2024 года, 23:59

'''Дедлайн''': 22 октября (Вт.) 2024 года, 23:59

'''Ссылка''': https://github.com/hushchyn-mikhail/gen_models_ai_hse/tree/main/2024/homeworks/hw3

== Тесты ==

# "Attention, Transformers": [https://forms.gle/4HU7qXwKqq4HY2y87 ссылка], '''дедлайн''' -- 25.09 (Ср.), 23:59 МСК
# "Классические генеративные модели: GAN, (V)AE, Normalizing Flows, Diffusion": [https://docs.google.com/forms/d/e/1FAIpQLScDNMeJYjoAoSuJqsusfYWhIagK6pHKOEt13A0A0QiaYiQvEw/viewform?usp=sf_link ссылка], '''дедлайн''' -- 07.10.24 (Пн.), 23:59
# "Мультимодальность, TTS, оптимизация инференса": [https://docs.google.com/forms/d/e/1FAIpQLSe3_NoKCdSrT1wMrG-wK2QN09c_gpSN_tAOCuD-rsRTRUJLow/viewform?usp=sf_link ссылка], '''дедлайн''' -- 21.10.24 (Пн.), 23:59

===Тренировочные тесты (неоцениваемые)===

* [https://docs.google.com/forms/d/e/1FAIpQLSc84GpwbKnl9PHsk8fKKPzmvP72VUJ3MskcmL_hf2y4_PDuUQ/viewform?usp=sf_link "Transformers, GANs, VAEs, NFs, Diffusion"]

== Экзамен ==
Вопросы к экзамену: [https://docs.google.com/document/d/1eEiKyTDuHl-skvNfr-TGyryiMCA7ru9b4jwK0EV97OQ/edit?usp=sharing Google Doc]

Пробный вариант: [https://t.me/c/2219793815/4/2131 ссылка на сообщение с pdf в чате курса]

 
Пройдет 23.10 (Ср.) в 19:00
 
На написание 80 мин. (одна пара), 10 мин. на загрузку заданий в Энитаск
 
В Зуме нужно будет включить веб-камеру, выключить микрофон и запустить демонстрацию экрана.
 
За написанием будут следить преподаватели и ассистенты
 
От 4-х до 6-ти задач на разное количество баллов (в сумме -- 10)

== Литература ==

===Курсы по машинному обучению и анализу данных===
* [https://github.com/yandexdataschool/nlp_course Курс NLP в ШАД]
* [https://github.com/mryab/dl-hse-ami Глубинное обучение, ВШЭ ]
* [https://stepik.org/course/124069/promo, Глубинное обучение 1, МФТИ]
* [https://stepik.org/course/111171/promo, Глубинное обучение 2, МФТИ]
* [http://www.machinelearning.ru/wiki/index.php?title=Машинное_обучение_%28курс_лекций%2C_К.В.Воронцов%29 Курс по машинному обучению К.В. Воронцова]

===Книги===
* [https://d2l.ai/ Dive into Deep Learning]
* [https://www.deeplearningbook.org/ Goodfellow I., Bengio Y. and Courville A., Deep Learning]