Wiki - Факультет компьютерных наук - Вклад [ru]

Глубинное обучение для текстовых данных 24/25

2024-12-18T12:57:51Z

Amshabalin:

== О курсе ==

NLP (Natural Language Processing) — это область машинного обучения, которая пытается научить компьютер понимать и обрабатывать текстовые данные. NLP лежит в основе множества технологий, таких как системы перевода и генерации текстов, голосовые помощники, суммаризаторы текстов, спам детекторы и так далее. В настоящее время такие технологии не только облегчают жизнь людям, решая несложные задачи быстрее них. Часто модели машинного обучения позволяют достигать более высокого качества и оказываются “умнее” многих людей. Примером такой модели может стать нашумевшая ChatGPT, способная корректно отвечать на вопросы по самым различным темам. В курсе мы пройдем весь путь развития подходов NLP от классического машинного обучения до современных больших языковых моделей и узнаем, какие задачи встречаются в NLP и как правильно подходить к их решению. Особое внимание мы уделим Трансформерным моделям и обсудим, как обучать их наиболее эффективно, а так же какими свойствами обладают предобученные модели.
Каждая тема будет сопровождаться домашним заданием, при решении которого студенты смогут лучше разобраться в тонкостях реализаций обсуждаемых подходов на практике.

== Расписание ==

'''Лекция:''' Вторник 16:20. Ссылка на [https://us06web.zoom.us/j/82583958930?pwd=ZuJXR3T1oo2SepCVtOFeOdWlgCGaF8.1 zoom].

'''Семинары:'''

* Группа 1 (Биршерт): Четверг 18:10. Ссылка на [https://us06web.zoom.us/j/83582653324?pwd=Q3o2FyGfRWOgZ5TNSBsvn5GjvyFjlC.1 zoom].
* Группа 2 (Панков): Вторник 18:10. Ссылка на [https://us06web.zoom.us/j/88476820471?pwd=EUglqWPrsLotvvWEFcNbWoUhOJBGDb.1 zoom].

== Полезные ссылки ==

* Общий чат курса в telegram: https://t.me/+y3lpNwqty_9iYjYy

* Github курса: https://github.com/ashaba1in/hse-nlp/tree/main/2024

* Таблица с оценками: https://docs.google.com/spreadsheets/d/1G8joZP-WQmrdbW1P6lpjdxceBPvuRQw_Q8RIROq8OBg/edit?usp=sharing

* anytask для сдачи домашних заданий: https://anytask.org/course/1141.

Инвайты:
* Первая группа: 4j9MpiI
* Вторая группа: DH8HCdZ

== Темы курса ==

1. Классификация текста. Записи: [https://disk.yandex.ru/i/VZBjWbskRzyDWg лекция], [https://disk.yandex.ru/i/NeZPJoCaLyfXTQ семинар]

2. Генерация текста. Методы токенизации. Записи: [https://disk.yandex.ru/i/QFKbGoLQaPgdQQ лекция], [https://disk.yandex.ru/i/FFTIFnsKRk9mnw семинар]

3. Рекуррентные нейронные сети. Трансформер. Записи: [https://disk.yandex.ru/i/EwiRHrE5k2tKKw лекция], [https://disk.yandex.ru/i/k6GLXCDISAPWyA семинар]

4. Декодирование текста. BERT. GPT. Записи: [https://disk.yandex.ru/d/UzOvSJo3wzwRfg лекция], [https://disk.yandex.ru/i/ESJGALwhHmpeFw семинар]

5. Современные языковые модели. Записи: [https://disk.yandex.ru/d/XxifHojvPcc11Q лекция], [https://disk.yandex.ru/i/uBlwwxeRLHm5pA семинар]

6. Transfer learning. Parameter-Efficient Fine-tuning. Записи: [https://disk.yandex.ru/i/Uu8kcbw-ylEX8Q лекция]

7. Уменьшение размера моделей. Записи: [https://disk.yandex.ru/i/_JAcNx3GDxFJ-Q лекция], [https://disk.yandex.ru/i/WvX6CeJV7NUp5g семинар]

8. Лекция от Тимофей Смирнова про Яндекс Нейро. Записи: [https://disk.yandex.ru/i/c8e73nUETfYhEg лекция]

9. Retrieval-augmented generation (RAG). Записи: [https://disk.yandex.ru/d/BQtK6z1vTYsD8w лекция]

10. Текстовые диффузионные модели. Записи: [https://disk.yandex.ru/i/Twt3WSxRODrxaA лекция]

11. Active Learning. Записи: [https://disk.yandex.ru/i/2M9SvLhYNn86KA лекция]

== Домашние задания ==

1. Text Suggestion: [https://github.com/ashaba1in/hse-nlp/blob/main/2024/week2_generation/homework/hw1.ipynb условие]

2. Рекуррентные нейронные сети: [https://github.com/ashaba1in/hse-nlp/blob/main/2024/week3_rnn_transformer/homework/hw2.ipynb условие]

3. LLaMA: [https://github.com/ashaba1in/hse-nlp/tree/main/2024/week5_modern_llms/homework условие]

4. Уменьшение размеров модели: [https://github.com/ashaba1in/hse-nlp/blob/main/2024/week7_size_reduction/homework/hw4.ipynb условие]

5. Retrieval-Augmented Generation: [https://github.com/ashaba1in/hse-nlp/blob/main/2024/week9_rag/homework/hw5.ipynb условие]

== Преподаватели и ассистенты ==

{| class="wikitable"
|-
! Преподаватели !! Ассистенты
|-
| [https://t.me/amshabalin Александр Шабалин] || [https://t.me/aishutin Андрей Ишутин]
|-
| [https://t.me/Birshert Алексей Биршерт] || [https://t.me/neyudin Николай Юдин]
|-
| [https://t.me/leksious Алексей Панков] || [https://t.me/kemmeritocracy Анастасия Кеммер]
|-
|}

== Контрольная работа ==

Контрольная работа пройдет 05.11.2024 на лекции в R207 в формате письменной работы на 80 минут. [https://docs.google.com/document/d/15jkjm8w-TaTSzztuOCLjOeIh2SaABh6a4t2J0Aho31I/edit?usp=sharing Вопросы для подготовки].

== Формула оценок ==

Определим накопленную оценку как ''Накоп'' = (0.4 * ДЗ + 0.3 * КР) / 0.7.

''Итог'' = ''Округление''(0.7 * Накоп + 0.3 * Э). Округление арифметическое.

* ДЗ — средняя оценка за домашние задания
* КР — оценка за контрольную работу
* Э — оценка за экзамен

Если ''Накоп'' >= 8, то студент может получить ''Округление''(''Накоп'') в качестве итоговой оценки, не приходя на экзамен.

'''Формат экзамена''': устный.

Глубинное обучение для текстовых данных 24/25

2024-12-16T11:52:09Z

Amshabalin:

== О курсе ==

NLP (Natural Language Processing) — это область машинного обучения, которая пытается научить компьютер понимать и обрабатывать текстовые данные. NLP лежит в основе множества технологий, таких как системы перевода и генерации текстов, голосовые помощники, суммаризаторы текстов, спам детекторы и так далее. В настоящее время такие технологии не только облегчают жизнь людям, решая несложные задачи быстрее них. Часто модели машинного обучения позволяют достигать более высокого качества и оказываются “умнее” многих людей. Примером такой модели может стать нашумевшая ChatGPT, способная корректно отвечать на вопросы по самым различным темам. В курсе мы пройдем весь путь развития подходов NLP от классического машинного обучения до современных больших языковых моделей и узнаем, какие задачи встречаются в NLP и как правильно подходить к их решению. Особое внимание мы уделим Трансформерным моделям и обсудим, как обучать их наиболее эффективно, а так же какими свойствами обладают предобученные модели.
Каждая тема будет сопровождаться домашним заданием, при решении которого студенты смогут лучше разобраться в тонкостях реализаций обсуждаемых подходов на практике.

== Расписание ==

'''Лекция:''' Вторник 16:20. Ссылка на [https://us06web.zoom.us/j/82583958930?pwd=ZuJXR3T1oo2SepCVtOFeOdWlgCGaF8.1 zoom].

'''Семинары:'''

* Группа 1 (Биршерт): Четверг 18:10. Ссылка на [https://us06web.zoom.us/j/83582653324?pwd=Q3o2FyGfRWOgZ5TNSBsvn5GjvyFjlC.1 zoom].
* Группа 2 (Панков): Вторник 18:10. Ссылка на [https://us06web.zoom.us/j/88476820471?pwd=EUglqWPrsLotvvWEFcNbWoUhOJBGDb.1 zoom].

== Полезные ссылки ==

* Общий чат курса в telegram: https://t.me/+y3lpNwqty_9iYjYy

* Github курса: https://github.com/ashaba1in/hse-nlp/tree/main/2024

* anytask для сдачи домашних заданий: https://anytask.org/course/1141.

Инвайты:
* Первая группа: 4j9MpiI
* Вторая группа: DH8HCdZ

== Темы курса ==

1. Классификация текста. Записи: [https://disk.yandex.ru/i/VZBjWbskRzyDWg лекция], [https://disk.yandex.ru/i/NeZPJoCaLyfXTQ семинар]

2. Генерация текста. Методы токенизации. Записи: [https://disk.yandex.ru/i/QFKbGoLQaPgdQQ лекция], [https://disk.yandex.ru/i/FFTIFnsKRk9mnw семинар]

3. Рекуррентные нейронные сети. Трансформер. Записи: [https://disk.yandex.ru/i/EwiRHrE5k2tKKw лекция], [https://disk.yandex.ru/i/k6GLXCDISAPWyA семинар]

4. Декодирование текста. BERT. GPT. Записи: [https://disk.yandex.ru/d/UzOvSJo3wzwRfg лекция], [https://disk.yandex.ru/i/ESJGALwhHmpeFw семинар]

5. Современные языковые модели. Записи: [https://disk.yandex.ru/d/XxifHojvPcc11Q лекция], [https://disk.yandex.ru/i/uBlwwxeRLHm5pA семинар]

6. Transfer learning. Parameter-Efficient Fine-tuning. Записи: [https://disk.yandex.ru/i/Uu8kcbw-ylEX8Q лекция]

7. Уменьшение размера моделей. Записи: [https://disk.yandex.ru/i/_JAcNx3GDxFJ-Q лекция], [https://disk.yandex.ru/i/WvX6CeJV7NUp5g семинар]

8. Лекция от Тимофей Смирнова про Яндекс Нейро. Записи: [https://disk.yandex.ru/i/c8e73nUETfYhEg лекция]

9. Retrieval-augmented generation (RAG). Записи: [https://disk.yandex.ru/d/BQtK6z1vTYsD8w лекция]

10. Текстовые диффузионные модели. Записи: [https://disk.yandex.ru/i/Twt3WSxRODrxaA лекция]

11. Active Learning. Записи: [https://disk.yandex.ru/i/2M9SvLhYNn86KA лекция]

== Домашние задания ==

1. Text Suggestion: [https://github.com/ashaba1in/hse-nlp/blob/main/2024/week2_generation/homework/hw1.ipynb условие]

2. Рекуррентные нейронные сети: [https://github.com/ashaba1in/hse-nlp/blob/main/2024/week3_rnn_transformer/homework/hw2.ipynb условие]

3. LLaMA: [https://github.com/ashaba1in/hse-nlp/tree/main/2024/week5_modern_llms/homework условие]

4. Уменьшение размеров модели: [https://github.com/ashaba1in/hse-nlp/blob/main/2024/week7_size_reduction/homework/hw4.ipynb условие]

5. Retrieval-Augmented Generation: [https://github.com/ashaba1in/hse-nlp/blob/main/2024/week9_rag/homework/hw5.ipynb условие]

== Преподаватели и ассистенты ==

{| class="wikitable"
|-
! Преподаватели !! Ассистенты
|-
| [https://t.me/amshabalin Александр Шабалин] || [https://t.me/aishutin Андрей Ишутин]
|-
| [https://t.me/Birshert Алексей Биршерт] || [https://t.me/neyudin Николай Юдин]
|-
| [https://t.me/leksious Алексей Панков] || [https://t.me/kemmeritocracy Анастасия Кеммер]
|-
|}

== Контрольная работа ==

Контрольная работа пройдет 05.11.2024 на лекции в R207 в формате письменной работы на 80 минут. [https://docs.google.com/document/d/15jkjm8w-TaTSzztuOCLjOeIh2SaABh6a4t2J0Aho31I/edit?usp=sharing Вопросы для подготовки].

== Формула оценок ==

Определим накопленную оценку как ''Накоп'' = (0.4 * ДЗ + 0.3 * КР) / 0.7.

''Итог'' = ''Округление''(0.7 * Накоп + 0.3 * Э). Округление арифметическое.

* ДЗ — средняя оценка за домашние задания
* КР — оценка за контрольную работу
* Э — оценка за экзамен

Если ''Накоп'' >= 8, то студент может получить ''Округление''(''Накоп'') в качестве итоговой оценки, не приходя на экзамен.

'''Формат экзамена''': устный.

Глубинное обучение для текстовых данных 24/25

2024-12-16T11:50:51Z

Amshabalin:

== О курсе ==

NLP (Natural Language Processing) — это область машинного обучения, которая пытается научить компьютер понимать и обрабатывать текстовые данные. NLP лежит в основе множества технологий, таких как системы перевода и генерации текстов, голосовые помощники, суммаризаторы текстов, спам детекторы и так далее. В настоящее время такие технологии не только облегчают жизнь людям, решая несложные задачи быстрее них. Часто модели машинного обучения позволяют достигать более высокого качества и оказываются “умнее” многих людей. Примером такой модели может стать нашумевшая ChatGPT, способная корректно отвечать на вопросы по самым различным темам. В курсе мы пройдем весь путь развития подходов NLP от классического машинного обучения до современных больших языковых моделей и узнаем, какие задачи встречаются в NLP и как правильно подходить к их решению. Особое внимание мы уделим Трансформерным моделям и обсудим, как обучать их наиболее эффективно, а так же какими свойствами обладают предобученные модели.
Каждая тема будет сопровождаться домашним заданием, при решении которого студенты смогут лучше разобраться в тонкостях реализаций обсуждаемых подходов на практике.

== Расписание ==

'''Лекция:''' Вторник 16:20. Ссылка на [https://us06web.zoom.us/j/82583958930?pwd=ZuJXR3T1oo2SepCVtOFeOdWlgCGaF8.1 zoom].

'''Семинары:'''

* Группа 1 (Биршерт): Четверг 18:10. Ссылка на [https://us06web.zoom.us/j/83582653324?pwd=Q3o2FyGfRWOgZ5TNSBsvn5GjvyFjlC.1 zoom].
* Группа 2 (Панков): Вторник 18:10. Ссылка на [https://us06web.zoom.us/j/88476820471?pwd=EUglqWPrsLotvvWEFcNbWoUhOJBGDb.1 zoom].

== Полезные ссылки ==

* Общий чат курса в telegram: https://t.me/+y3lpNwqty_9iYjYy

* Github курса: https://github.com/ashaba1in/hse-nlp/tree/main/2024

* anytask для сдачи домашних заданий: https://anytask.org/course/1141.

Инвайты:
* Первая группа: 4j9MpiI
* Вторая группа: DH8HCdZ

== Темы курса ==

1. Классификация текста. Записи: [https://disk.yandex.ru/i/VZBjWbskRzyDWg лекция], [https://disk.yandex.ru/i/NeZPJoCaLyfXTQ семинар]

2. Генерация текста. Методы токенизации. Записи: [https://disk.yandex.ru/i/QFKbGoLQaPgdQQ лекция], [https://disk.yandex.ru/i/FFTIFnsKRk9mnw семинар]

3. Рекуррентные нейронные сети. Трансформер. Записи: [https://disk.yandex.ru/i/EwiRHrE5k2tKKw лекция], [https://disk.yandex.ru/i/k6GLXCDISAPWyA семинар]

4. Декодирование текста. BERT. GPT. Записи: [https://disk.yandex.ru/d/UzOvSJo3wzwRfg лекция], [https://disk.yandex.ru/i/ESJGALwhHmpeFw семинар]

5. Современные языковые модели. Записи: [https://disk.yandex.ru/d/XxifHojvPcc11Q лекция], [https://disk.yandex.ru/i/uBlwwxeRLHm5pA семинар]

6. Transfer learning. Parameter-Efficient Fine-tuning. Записи: [https://disk.yandex.ru/i/Uu8kcbw-ylEX8Q лекция]

7. Уменьшение размера моделей. Записи: [https://disk.yandex.ru/i/_JAcNx3GDxFJ-Q лекция], [https://disk.yandex.ru/i/WvX6CeJV7NUp5g семинар]

8. Лекция от Тимофей Смирнова про Яндекс Нейро. Записи: [https://disk.yandex.ru/i/c8e73nUETfYhEg лекция]

9. Retrieval-augmented generation (RAG). Записи: [https://disk.yandex.ru/d/BQtK6z1vTYsD8w лекция]

10. Текстовые диффузионные модели. Записи: [https://disk.yandex.ru/i/Twt3WSxRODrxaA лекция]

11. Active Learning. Записи: [https://disk.yandex.ru/i/2M9SvLhYNn86KA лекция]

== Домашние задания ==

1. Text Suggestion: [https://github.com/ashaba1in/hse-nlp/blob/main/2024/week2_generation/homework/hw1.ipynb условие]

2. Рекуррентные нейронные сети: [https://github.com/ashaba1in/hse-nlp/blob/main/2024/week3_rnn_transformer/homework/hw2.ipynb условие]

3. LLaMA: [https://github.com/ashaba1in/hse-nlp/tree/main/2024/week5_modern_llms/homework условие]

4. Уменьшение размеров модели: [https://github.com/ashaba1in/hse-nlp/blob/main/2024/week7_size_reduction/homework/hw4.ipynb условие]

== Преподаватели и ассистенты ==

{| class="wikitable"
|-
! Преподаватели !! Ассистенты
|-
| [https://t.me/amshabalin Александр Шабалин] || [https://t.me/aishutin Андрей Ишутин]
|-
| [https://t.me/Birshert Алексей Биршерт] || [https://t.me/neyudin Николай Юдин]
|-
| [https://t.me/leksious Алексей Панков] || [https://t.me/kemmeritocracy Анастасия Кеммер]
|-
|}

== Контрольная работа ==

Контрольная работа пройдет 05.11.2024 на лекции в R207 в формате письменной работы на 80 минут. [https://docs.google.com/document/d/15jkjm8w-TaTSzztuOCLjOeIh2SaABh6a4t2J0Aho31I/edit?usp=sharing Вопросы для подготовки].

== Формула оценок ==

Определим накопленную оценку как ''Накоп'' = (0.4 * ДЗ + 0.3 * КР) / 0.7.

''Итог'' = ''Округление''(0.7 * Накоп + 0.3 * Э). Округление арифметическое.

* ДЗ — средняя оценка за домашние задания
* КР — оценка за контрольную работу
* Э — оценка за экзамен

Если ''Накоп'' >= 8, то студент может получить ''Округление''(''Накоп'') в качестве итоговой оценки, не приходя на экзамен.

'''Формат экзамена''': устный.

Глубинное обучение для текстовых данных 24/25

2024-11-26T14:31:03Z

Amshabalin:

== О курсе ==

NLP (Natural Language Processing) — это область машинного обучения, которая пытается научить компьютер понимать и обрабатывать текстовые данные. NLP лежит в основе множества технологий, таких как системы перевода и генерации текстов, голосовые помощники, суммаризаторы текстов, спам детекторы и так далее. В настоящее время такие технологии не только облегчают жизнь людям, решая несложные задачи быстрее них. Часто модели машинного обучения позволяют достигать более высокого качества и оказываются “умнее” многих людей. Примером такой модели может стать нашумевшая ChatGPT, способная корректно отвечать на вопросы по самым различным темам. В курсе мы пройдем весь путь развития подходов NLP от классического машинного обучения до современных больших языковых моделей и узнаем, какие задачи встречаются в NLP и как правильно подходить к их решению. Особое внимание мы уделим Трансформерным моделям и обсудим, как обучать их наиболее эффективно, а так же какими свойствами обладают предобученные модели.
Каждая тема будет сопровождаться домашним заданием, при решении которого студенты смогут лучше разобраться в тонкостях реализаций обсуждаемых подходов на практике.

== Расписание ==

'''Лекция:''' Вторник 16:20. Ссылка на [https://us06web.zoom.us/j/82583958930?pwd=ZuJXR3T1oo2SepCVtOFeOdWlgCGaF8.1 zoom].

'''Семинары:'''

* Группа 1 (Биршерт): Четверг 18:10. Ссылка на [https://us06web.zoom.us/j/83582653324?pwd=Q3o2FyGfRWOgZ5TNSBsvn5GjvyFjlC.1 zoom].
* Группа 2 (Панков): Вторник 18:10. Ссылка на [https://us06web.zoom.us/j/88476820471?pwd=EUglqWPrsLotvvWEFcNbWoUhOJBGDb.1 zoom].

== Полезные ссылки ==

* Общий чат курса в telegram: https://t.me/+y3lpNwqty_9iYjYy

* Github курса: https://github.com/ashaba1in/hse-nlp/tree/main/2024

* anytask для сдачи домашних заданий: https://anytask.org/course/1141.

Инвайты:
* Первая группа: 4j9MpiI
* Вторая группа: DH8HCdZ

== Темы курса ==

1. Классификация текста. Записи: [https://disk.yandex.ru/i/VZBjWbskRzyDWg лекция], [https://disk.yandex.ru/i/NeZPJoCaLyfXTQ семинар]

2. Генерация текста. Методы токенизации. Записи: [https://disk.yandex.ru/i/QFKbGoLQaPgdQQ лекция], [https://disk.yandex.ru/i/FFTIFnsKRk9mnw семинар]

3. Рекуррентные нейронные сети. Трансформер. Записи: [https://disk.yandex.ru/i/EwiRHrE5k2tKKw лекция], [https://disk.yandex.ru/i/k6GLXCDISAPWyA семинар]

4. Декодирование текста. BERT. GPT. Записи: [https://disk.yandex.ru/d/UzOvSJo3wzwRfg лекция], [https://disk.yandex.ru/i/ESJGALwhHmpeFw семинар]

5. Современные языковые модели. Записи: [https://disk.yandex.ru/d/XxifHojvPcc11Q лекция], [https://disk.yandex.ru/i/uBlwwxeRLHm5pA семинар]

6. Transfer learning. Parameter-Efficient Fine-tuning. Записи: [https://disk.yandex.ru/i/Uu8kcbw-ylEX8Q лекция]

7. Уменьшение размера моделей. Записи: [https://disk.yandex.ru/i/_JAcNx3GDxFJ-Q лекция], [https://disk.yandex.ru/i/WvX6CeJV7NUp5g семинар]

8. Лекция от Тимофей Смирнова про Яндекс Нейро. Записи: [https://disk.yandex.ru/i/c8e73nUETfYhEg лекция]

9. Retrieval-augmented generation (RAG). Записи: [https://disk.yandex.ru/d/BQtK6z1vTYsD8w лекция]

== Домашние задания ==

1. Text Suggestion: [https://github.com/ashaba1in/hse-nlp/blob/main/2024/week2_generation/homework/hw1.ipynb условие]

2. Рекуррентные нейронные сети: [https://github.com/ashaba1in/hse-nlp/blob/main/2024/week3_rnn_transformer/homework/hw2.ipynb условие]

3. LLaMA: [https://github.com/ashaba1in/hse-nlp/tree/main/2024/week5_modern_llms/homework условие]

4. Уменьшение размеров модели: [https://github.com/ashaba1in/hse-nlp/blob/main/2024/week7_size_reduction/homework/hw4.ipynb условие]

== Преподаватели и ассистенты ==

{| class="wikitable"
|-
! Преподаватели !! Ассистенты
|-
| [https://t.me/amshabalin Александр Шабалин] || [https://t.me/aishutin Андрей Ишутин]
|-
| [https://t.me/Birshert Алексей Биршерт] || [https://t.me/neyudin Николай Юдин]
|-
| [https://t.me/leksious Алексей Панков] || [https://t.me/kemmeritocracy Анастасия Кеммер]
|-
|}

== Контрольная работа ==

Контрольная работа пройдет 05.11.2024 на лекции в R207 в формате письменной работы на 80 минут. [https://docs.google.com/document/d/15jkjm8w-TaTSzztuOCLjOeIh2SaABh6a4t2J0Aho31I/edit?usp=sharing Вопросы для подготовки].

== Формула оценок ==

Определим накопленную оценку как ''Накоп'' = (0.4 * ДЗ + 0.3 * КР) / 0.7.

''Итог'' = ''Округление''(0.7 * Накоп + 0.3 * Э). Округление арифметическое.

* ДЗ — средняя оценка за домашние задания
* КР — оценка за контрольную работу
* Э — оценка за экзамен

Если ''Накоп'' >= 8, то студент может получить ''Округление''(''Накоп'') в качестве итоговой оценки, не приходя на экзамен.

'''Формат экзамена''': устный.

Глубинное обучение для текстовых данных 24/25

2024-11-14T16:24:38Z

Amshabalin:

== О курсе ==

NLP (Natural Language Processing) — это область машинного обучения, которая пытается научить компьютер понимать и обрабатывать текстовые данные. NLP лежит в основе множества технологий, таких как системы перевода и генерации текстов, голосовые помощники, суммаризаторы текстов, спам детекторы и так далее. В настоящее время такие технологии не только облегчают жизнь людям, решая несложные задачи быстрее них. Часто модели машинного обучения позволяют достигать более высокого качества и оказываются “умнее” многих людей. Примером такой модели может стать нашумевшая ChatGPT, способная корректно отвечать на вопросы по самым различным темам. В курсе мы пройдем весь путь развития подходов NLP от классического машинного обучения до современных больших языковых моделей и узнаем, какие задачи встречаются в NLP и как правильно подходить к их решению. Особое внимание мы уделим Трансформерным моделям и обсудим, как обучать их наиболее эффективно, а так же какими свойствами обладают предобученные модели.
Каждая тема будет сопровождаться домашним заданием, при решении которого студенты смогут лучше разобраться в тонкостях реализаций обсуждаемых подходов на практике.

== Расписание ==

'''Лекция:''' Вторник 16:20. Ссылка на [https://us06web.zoom.us/j/82583958930?pwd=ZuJXR3T1oo2SepCVtOFeOdWlgCGaF8.1 zoom].

'''Семинары:'''

* Группа 1 (Биршерт): Четверг 18:10. Ссылка на [https://us06web.zoom.us/j/83582653324?pwd=Q3o2FyGfRWOgZ5TNSBsvn5GjvyFjlC.1 zoom].
* Группа 2 (Панков): Вторник 18:10. Ссылка на [https://us06web.zoom.us/j/88476820471?pwd=EUglqWPrsLotvvWEFcNbWoUhOJBGDb.1 zoom].

== Полезные ссылки ==

* Общий чат курса в telegram: https://t.me/+y3lpNwqty_9iYjYy

* Github курса: https://github.com/ashaba1in/hse-nlp/tree/main/2024

* anytask для сдачи домашних заданий: https://anytask.org/course/1141.

Инвайты:
* Первая группа: 4j9MpiI
* Вторая группа: DH8HCdZ

== Темы курса ==

1. Классификация текста. Записи: [https://disk.yandex.ru/i/VZBjWbskRzyDWg лекция], [https://disk.yandex.ru/i/NeZPJoCaLyfXTQ семинар]

2. Генерация текста. Методы токенизации. Записи: [https://disk.yandex.ru/i/QFKbGoLQaPgdQQ лекция], [https://disk.yandex.ru/i/FFTIFnsKRk9mnw семинар]

3. Рекуррентные нейронные сети. Трансформер. Записи: [https://disk.yandex.ru/i/EwiRHrE5k2tKKw лекция], [https://disk.yandex.ru/i/k6GLXCDISAPWyA семинар]

4. Декодирование текста. BERT. GPT. Записи: [https://disk.yandex.ru/d/UzOvSJo3wzwRfg лекция], [https://disk.yandex.ru/i/ESJGALwhHmpeFw семинар]

5. Современные языковые модели. Записи: [https://disk.yandex.ru/d/XxifHojvPcc11Q лекция], [https://disk.yandex.ru/i/uBlwwxeRLHm5pA семинар]

6. Transfer learning. Parameter-Efficient Fine-tuning. Записи: [https://disk.yandex.ru/i/Uu8kcbw-ylEX8Q лекция]

7. Уменьшение размера моделей. Записи: [https://disk.yandex.ru/i/_JAcNx3GDxFJ-Q лекция], [https://disk.yandex.ru/i/WvX6CeJV7NUp5g семинар]

== Домашние задания ==

1. Text Suggestion: [https://github.com/ashaba1in/hse-nlp/blob/main/2024/week2_generation/homework/hw1.ipynb условие]

2. Рекуррентные нейронные сети: [https://github.com/ashaba1in/hse-nlp/blob/main/2024/week3_rnn_transformer/homework/hw2.ipynb условие]

3. LLaMA: [https://github.com/ashaba1in/hse-nlp/tree/main/2024/week5_modern_llms/homework условие]

4. Уменьшение размеров модели: [https://github.com/ashaba1in/hse-nlp/blob/main/2024/week7_size_reduction/homework/hw4.ipynb условие]

== Преподаватели и ассистенты ==

{| class="wikitable"
|-
! Преподаватели !! Ассистенты
|-
| [https://t.me/amshabalin Александр Шабалин] || [https://t.me/aishutin Андрей Ишутин]
|-
| [https://t.me/Birshert Алексей Биршерт] || [https://t.me/neyudin Николай Юдин]
|-
| [https://t.me/leksious Алексей Панков] || [https://t.me/kemmeritocracy Анастасия Кеммер]
|-
|}

== Контрольная работа ==

Контрольная работа пройдет 05.11.2024 на лекции в R207 в формате письменной работы на 80 минут. [https://docs.google.com/document/d/15jkjm8w-TaTSzztuOCLjOeIh2SaABh6a4t2J0Aho31I/edit?usp=sharing Вопросы для подготовки].

== Формула оценок ==

Определим накопленную оценку как ''Накоп'' = (0.4 * ДЗ + 0.3 * КР) / 0.7.

''Итог'' = ''Округление''(0.7 * Накоп + 0.3 * Э). Округление арифметическое.

* ДЗ — средняя оценка за домашние задания
* КР — оценка за контрольную работу
* Э — оценка за экзамен

Если ''Накоп'' >= 8, то студент может получить ''Округление''(''Накоп'') в качестве итоговой оценки, не приходя на экзамен.

'''Формат экзамена''': устный.

Глубинное обучение для текстовых данных 24/25

2024-11-14T16:23:57Z

Amshabalin:

== О курсе ==

NLP (Natural Language Processing) — это область машинного обучения, которая пытается научить компьютер понимать и обрабатывать текстовые данные. NLP лежит в основе множества технологий, таких как системы перевода и генерации текстов, голосовые помощники, суммаризаторы текстов, спам детекторы и так далее. В настоящее время такие технологии не только облегчают жизнь людям, решая несложные задачи быстрее них. Часто модели машинного обучения позволяют достигать более высокого качества и оказываются “умнее” многих людей. Примером такой модели может стать нашумевшая ChatGPT, способная корректно отвечать на вопросы по самым различным темам. В курсе мы пройдем весь путь развития подходов NLP от классического машинного обучения до современных больших языковых моделей и узнаем, какие задачи встречаются в NLP и как правильно подходить к их решению. Особое внимание мы уделим Трансформерным моделям и обсудим, как обучать их наиболее эффективно, а так же какими свойствами обладают предобученные модели.
Каждая тема будет сопровождаться домашним заданием, при решении которого студенты смогут лучше разобраться в тонкостях реализаций обсуждаемых подходов на практике.

== Расписание ==

'''Лекция:''' Вторник 16:20. Ссылка на [https://us06web.zoom.us/j/82583958930?pwd=ZuJXR3T1oo2SepCVtOFeOdWlgCGaF8.1 zoom].

'''Семинары:'''

* Группа 1 (Биршерт): Четверг 18:10. Ссылка на [https://us06web.zoom.us/j/83582653324?pwd=Q3o2FyGfRWOgZ5TNSBsvn5GjvyFjlC.1 zoom].
* Группа 2 (Панков): Вторник 18:10. Ссылка на [https://us06web.zoom.us/j/88476820471?pwd=EUglqWPrsLotvvWEFcNbWoUhOJBGDb.1 zoom].

== Полезные ссылки ==

* Общий чат курса в telegram: https://t.me/+y3lpNwqty_9iYjYy

* Github курса: https://github.com/ashaba1in/hse-nlp/tree/main/2024

* anytask для сдачи домашних заданий: https://anytask.org/course/1141.

Инвайты:
* Первая группа: 4j9MpiI
* Вторая группа: DH8HCdZ

== Темы курса ==

1. Классификация текста. Записи: [https://disk.yandex.ru/i/VZBjWbskRzyDWg лекция], [https://disk.yandex.ru/i/NeZPJoCaLyfXTQ семинар]

2. Генерация текста. Методы токенизации. Записи: [https://disk.yandex.ru/i/QFKbGoLQaPgdQQ лекция], [https://disk.yandex.ru/i/FFTIFnsKRk9mnw семинар]

3. Рекуррентные нейронные сети. Трансформер. Записи: [https://disk.yandex.ru/i/EwiRHrE5k2tKKw лекция], [https://disk.yandex.ru/i/k6GLXCDISAPWyA семинар]

4. Декодирование текста. BERT. GPT. Записи: [https://disk.yandex.ru/d/UzOvSJo3wzwRfg лекция], [https://disk.yandex.ru/i/ESJGALwhHmpeFw семинар]

5. Современные языковые модели. Записи: [https://disk.yandex.ru/d/XxifHojvPcc11Q лекция], [https://disk.yandex.ru/i/uBlwwxeRLHm5pA семинар]

6. Transfer learning. Parameter-Efficient Fine-tuning. Записи: [https://disk.yandex.ru/i/Uu8kcbw-ylEX8Q лекция]

7. Уменьшение размера моделей. Записи: [https://disk.yandex.ru/i/_JAcNx3GDxFJ-Q лекция], [https://disk.yandex.ru/i/WvX6CeJV7NUp5g семинар]

== Домашние задания ==

1. Text Suggestion: [https://github.com/ashaba1in/hse-nlp/blob/main/2024/week2_generation/homework/hw1.ipynb условие]

2. Рекуррентные нейронные сети: [https://github.com/ashaba1in/hse-nlp/blob/main/2024/week3_rnn_transformer/homework/hw2.ipynb условие]

3. LLaMA: [https://github.com/ashaba1in/hse-nlp/tree/main/2024/week5_modern_llms/homework условие]

== Преподаватели и ассистенты ==

{| class="wikitable"
|-
! Преподаватели !! Ассистенты
|-
| [https://t.me/amshabalin Александр Шабалин] || [https://t.me/aishutin Андрей Ишутин]
|-
| [https://t.me/Birshert Алексей Биршерт] || [https://t.me/neyudin Николай Юдин]
|-
| [https://t.me/leksious Алексей Панков] || [https://t.me/kemmeritocracy Анастасия Кеммер]
|-
|}

== Контрольная работа ==

Контрольная работа пройдет 05.11.2024 на лекции в R207 в формате письменной работы на 80 минут. [https://docs.google.com/document/d/15jkjm8w-TaTSzztuOCLjOeIh2SaABh6a4t2J0Aho31I/edit?usp=sharing Вопросы для подготовки].

== Формула оценок ==

Определим накопленную оценку как ''Накоп'' = (0.4 * ДЗ + 0.3 * КР) / 0.7.

''Итог'' = ''Округление''(0.7 * Накоп + 0.3 * Э). Округление арифметическое.

* ДЗ — средняя оценка за домашние задания
* КР — оценка за контрольную работу
* Э — оценка за экзамен

Если ''Накоп'' >= 8, то студент может получить ''Округление''(''Накоп'') в качестве итоговой оценки, не приходя на экзамен.

'''Формат экзамена''': устный.

Глубинное обучение для текстовых данных 24/25

2024-10-29T12:43:38Z

Amshabalin:

== О курсе ==

NLP (Natural Language Processing) — это область машинного обучения, которая пытается научить компьютер понимать и обрабатывать текстовые данные. NLP лежит в основе множества технологий, таких как системы перевода и генерации текстов, голосовые помощники, суммаризаторы текстов, спам детекторы и так далее. В настоящее время такие технологии не только облегчают жизнь людям, решая несложные задачи быстрее них. Часто модели машинного обучения позволяют достигать более высокого качества и оказываются “умнее” многих людей. Примером такой модели может стать нашумевшая ChatGPT, способная корректно отвечать на вопросы по самым различным темам. В курсе мы пройдем весь путь развития подходов NLP от классического машинного обучения до современных больших языковых моделей и узнаем, какие задачи встречаются в NLP и как правильно подходить к их решению. Особое внимание мы уделим Трансформерным моделям и обсудим, как обучать их наиболее эффективно, а так же какими свойствами обладают предобученные модели.
Каждая тема будет сопровождаться домашним заданием, при решении которого студенты смогут лучше разобраться в тонкостях реализаций обсуждаемых подходов на практике.

== Расписание ==

'''Лекция:''' Вторник 16:20. Ссылка на [https://us06web.zoom.us/j/82583958930?pwd=ZuJXR3T1oo2SepCVtOFeOdWlgCGaF8.1 zoom].

'''Семинары:'''

* Группа 1 (Биршерт): Четверг 18:10. Ссылка на [https://us06web.zoom.us/j/83582653324?pwd=Q3o2FyGfRWOgZ5TNSBsvn5GjvyFjlC.1 zoom].
* Группа 2 (Панков): Вторник 18:10. Ссылка на [https://us06web.zoom.us/j/88476820471?pwd=EUglqWPrsLotvvWEFcNbWoUhOJBGDb.1 zoom].

== Полезные ссылки ==

* Общий чат курса в telegram: https://t.me/+y3lpNwqty_9iYjYy

* Github курса: https://github.com/ashaba1in/hse-nlp/tree/main/2024

* anytask для сдачи домашних заданий: https://anytask.org/course/1141.

Инвайты:
* Первая группа: 4j9MpiI
* Вторая группа: DH8HCdZ

== Темы курса ==

1. Классификация текста. Записи: [https://disk.yandex.ru/i/VZBjWbskRzyDWg лекция], [https://disk.yandex.ru/i/NeZPJoCaLyfXTQ семинар]

2. Генерация текста. Методы токенизации. Записи: [https://disk.yandex.ru/i/QFKbGoLQaPgdQQ лекция], [https://disk.yandex.ru/i/FFTIFnsKRk9mnw семинар]

3. Рекуррентные нейронные сети. Трансформер. Записи: [https://disk.yandex.ru/i/EwiRHrE5k2tKKw лекция], [https://disk.yandex.ru/i/k6GLXCDISAPWyA семинар]

4. Декодирование текста. BERT. GPT. Записи: [https://disk.yandex.ru/d/UzOvSJo3wzwRfg лекция], [https://disk.yandex.ru/i/ESJGALwhHmpeFw семинар]

5. Современные языковые модели. Записи: [https://disk.yandex.ru/d/XxifHojvPcc11Q лекция], [https://disk.yandex.ru/i/uBlwwxeRLHm5pA семинар]

6. Transfer learning. Parameter-Efficient Fine-tuning. Записи: [https://disk.yandex.ru/i/Uu8kcbw-ylEX8Q лекция]

== Домашние задания ==

1. Text Suggestion: [https://github.com/ashaba1in/hse-nlp/blob/main/2024/week2_generation/homework/hw1.ipynb условие]

2. Рекуррентные нейронные сети: [https://github.com/ashaba1in/hse-nlp/blob/main/2024/week3_rnn_transformer/homework/hw2.ipynb условие]

3. LLaMA: [https://github.com/ashaba1in/hse-nlp/tree/main/2024/week5_modern_llms/homework условие]

== Преподаватели и ассистенты ==

{| class="wikitable"
|-
! Преподаватели !! Ассистенты
|-
| [https://t.me/amshabalin Александр Шабалин] || [https://t.me/aishutin Андрей Ишутин]
|-
| [https://t.me/Birshert Алексей Биршерт] || [https://t.me/neyudin Николай Юдин]
|-
| [https://t.me/leksious Алексей Панков] || [https://t.me/kemmeritocracy Анастасия Кеммер]
|-
|}

== Контрольная работа ==

Контрольная работа пройдет 05.11.2024 на лекции в R207 в формате письменной работы на 80 минут. [https://docs.google.com/document/d/15jkjm8w-TaTSzztuOCLjOeIh2SaABh6a4t2J0Aho31I/edit?usp=sharing Вопросы для подготовки].

== Формула оценок ==

Определим накопленную оценку как ''Накоп'' = (0.4 * ДЗ + 0.3 * КР) / 0.7.

''Итог'' = ''Округление''(0.7 * Накоп + 0.3 * Э). Округление арифметическое.

* ДЗ — средняя оценка за домашние задания
* КР — оценка за контрольную работу
* Э — оценка за экзамен

Если ''Накоп'' >= 8, то студент может получить ''Округление''(''Накоп'') в качестве итоговой оценки, не приходя на экзамен.

'''Формат экзамена''': устный.

Глубинное обучение для текстовых данных 24/25

2024-10-29T12:43:27Z

Amshabalin:

== О курсе ==

NLP (Natural Language Processing) — это область машинного обучения, которая пытается научить компьютер понимать и обрабатывать текстовые данные. NLP лежит в основе множества технологий, таких как системы перевода и генерации текстов, голосовые помощники, суммаризаторы текстов, спам детекторы и так далее. В настоящее время такие технологии не только облегчают жизнь людям, решая несложные задачи быстрее них. Часто модели машинного обучения позволяют достигать более высокого качества и оказываются “умнее” многих людей. Примером такой модели может стать нашумевшая ChatGPT, способная корректно отвечать на вопросы по самым различным темам. В курсе мы пройдем весь путь развития подходов NLP от классического машинного обучения до современных больших языковых моделей и узнаем, какие задачи встречаются в NLP и как правильно подходить к их решению. Особое внимание мы уделим Трансформерным моделям и обсудим, как обучать их наиболее эффективно, а так же какими свойствами обладают предобученные модели.
Каждая тема будет сопровождаться домашним заданием, при решении которого студенты смогут лучше разобраться в тонкостях реализаций обсуждаемых подходов на практике.

== Расписание ==

'''Лекция:''' Вторник 16:20. Ссылка на [https://us06web.zoom.us/j/82583958930?pwd=ZuJXR3T1oo2SepCVtOFeOdWlgCGaF8.1 zoom].

'''Семинары:'''

* Группа 1 (Биршерт): Четверг 18:10. Ссылка на [https://us06web.zoom.us/j/83582653324?pwd=Q3o2FyGfRWOgZ5TNSBsvn5GjvyFjlC.1 zoom].
* Группа 2 (Панков): Вторник 18:10. Ссылка на [https://us06web.zoom.us/j/88476820471?pwd=EUglqWPrsLotvvWEFcNbWoUhOJBGDb.1 zoom].

== Полезные ссылки ==

* Общий чат курса в telegram: https://t.me/+y3lpNwqty_9iYjYy

* Github курса: https://github.com/ashaba1in/hse-nlp/tree/main/2024

* anytask для сдачи домашних заданий: https://anytask.org/course/1141.

Инвайты:
* Первая группа: 4j9MpiI
* Вторая группа: DH8HCdZ

== Темы курса ==

1. Классификация текста. Записи: [https://disk.yandex.ru/i/VZBjWbskRzyDWg лекция], [https://disk.yandex.ru/i/NeZPJoCaLyfXTQ семинар]

2. Генерация текста. Методы токенизации. Записи: [https://disk.yandex.ru/i/QFKbGoLQaPgdQQ лекция], [https://disk.yandex.ru/i/FFTIFnsKRk9mnw семинар]

3. Рекуррентные нейронные сети. Трансформер. Записи: [https://disk.yandex.ru/i/EwiRHrE5k2tKKw лекция], [https://disk.yandex.ru/i/k6GLXCDISAPWyA семинар]

4. Декодирование текста. BERT. GPT. Записи: [https://disk.yandex.ru/d/UzOvSJo3wzwRfg лекция], [https://disk.yandex.ru/i/ESJGALwhHmpeFw семинар]

5. Современные языковые модели. Записи: [https://disk.yandex.ru/d/XxifHojvPcc11Q лекция], [https://disk.yandex.ru/i/uBlwwxeRLHm5pA семинар]

6. Transfer learning. Parameter-Efficient Fine-tuning. Записи: [https://disk.yandex.ru/i/Uu8kcbw-ylEX8Q лекция]

== Домашние задания ==

1. Text Suggestion: [https://github.com/ashaba1in/hse-nlp/blob/main/2024/week2_generation/homework/hw1.ipynb условие]

2. Рекуррентные нейронные сети: [https://github.com/ashaba1in/hse-nlp/blob/main/2024/week3_rnn_transformer/homework/hw2.ipynb условие]

3. LLaMA: [https://github.com/ashaba1in/hse-nlp/tree/main/2024/week5_modern_llms/homework условие]

== Преподаватели и ассистенты ==

{| class="wikitable"
|-
! Преподаватели !! Ассистенты
|-
| [https://t.me/amshabalin Александр Шабалин] || [https://t.me/aishutin Андрей Ишутин]
|-
| [https://t.me/Birshert Алексей Биршерт] || [https://t.me/neyudin Николай Юдин]
|-
| [https://t.me/leksious Алексей Панков] || [https://t.me/kemmeritocracy Анастасия Кеммер]
|-
|}

== Контрольная работа ==

Контрольная работа пройдет 05.11.2024 на лекции в R207 в формате письменной работы на 80 минут. [https://docs.google.com/document/d/15jkjm8w-TaTSzztuOCLjOeIh2SaABh6a4t2J0Aho31I/edit?usp=sharing Вопросы для подготовки].

== Формула оценок ==

Определим накопленную оценку как ''Накоп'' = (0.4 * ДЗ + 0.3 * КР) / 0.7.

''Итог'' = ''Округление''(0.7 * Накоп + 0.3 * Э). Округление арифметическое.

* ДЗ — средняя оценка за домашние задания
* КР — оценка за контрольную работу
* Э — оценка за экзамен

Если ''Накоп'' >= 8, то студент может получить ''Округление''(''Накоп'') в качестве итоговой оценки, не приходя на экзамен.

'''Формат экзамена''': устный.

Глубинное обучение для текстовых данных 24/25

2024-10-29T12:42:44Z

Amshabalin:

== О курсе ==

NLP (Natural Language Processing) — это область машинного обучения, которая пытается научить компьютер понимать и обрабатывать текстовые данные. NLP лежит в основе множества технологий, таких как системы перевода и генерации текстов, голосовые помощники, суммаризаторы текстов, спам детекторы и так далее. В настоящее время такие технологии не только облегчают жизнь людям, решая несложные задачи быстрее них. Часто модели машинного обучения позволяют достигать более высокого качества и оказываются “умнее” многих людей. Примером такой модели может стать нашумевшая ChatGPT, способная корректно отвечать на вопросы по самым различным темам. В курсе мы пройдем весь путь развития подходов NLP от классического машинного обучения до современных больших языковых моделей и узнаем, какие задачи встречаются в NLP и как правильно подходить к их решению. Особое внимание мы уделим Трансформерным моделям и обсудим, как обучать их наиболее эффективно, а так же какими свойствами обладают предобученные модели.
Каждая тема будет сопровождаться домашним заданием, при решении которого студенты смогут лучше разобраться в тонкостях реализаций обсуждаемых подходов на практике.

== Расписание ==

'''Лекция:''' Вторник 16:20. Ссылка на [https://us06web.zoom.us/j/82583958930?pwd=ZuJXR3T1oo2SepCVtOFeOdWlgCGaF8.1 zoom].

'''Семинары:'''

* Группа 1 (Биршерт): Четверг 18:10. Ссылка на [https://us06web.zoom.us/j/83582653324?pwd=Q3o2FyGfRWOgZ5TNSBsvn5GjvyFjlC.1 zoom].
* Группа 2 (Панков): Вторник 18:10. Ссылка на [https://us06web.zoom.us/j/88476820471?pwd=EUglqWPrsLotvvWEFcNbWoUhOJBGDb.1 zoom].

== Полезные ссылки ==

* Общий чат курса в telegram: https://t.me/+y3lpNwqty_9iYjYy

* Github курса: https://github.com/ashaba1in/hse-nlp/tree/main/2024

* anytask для сдачи домашних заданий: https://anytask.org/course/1141.

Инвайты:
* Первая группа: 4j9MpiI
* Вторая группа: DH8HCdZ

== Темы курса ==

1. Классификация текста. Записи: [https://disk.yandex.ru/i/VZBjWbskRzyDWg лекция], [https://disk.yandex.ru/i/NeZPJoCaLyfXTQ семинар]

2. Генерация текста. Методы токенизации. Записи: [https://disk.yandex.ru/i/QFKbGoLQaPgdQQ лекция], [https://disk.yandex.ru/i/FFTIFnsKRk9mnw семинар]

3. Рекуррентные нейронные сети. Трансформер. Записи: [https://disk.yandex.ru/i/EwiRHrE5k2tKKw лекция], [https://disk.yandex.ru/i/k6GLXCDISAPWyA семинар]

4. Декодирование текста. BERT. GPT. Записи: [https://disk.yandex.ru/d/UzOvSJo3wzwRfg лекция], [https://disk.yandex.ru/i/ESJGALwhHmpeFw семинар]

5. Современные языковые модели. Записи: [https://disk.yandex.ru/d/XxifHojvPcc11Q лекция], [https://disk.yandex.ru/i/uBlwwxeRLHm5pA семинар]

6. Transfer learning. Parameter-Efficient Fine-tuning. Записи: [https://disk.yandex.ru/i/Uu8kcbw-ylEX8Q лекция]

== Преподаватели и ассистенты ==

{| class="wikitable"
|-
! Преподаватели !! Ассистенты
|-
| [https://t.me/amshabalin Александр Шабалин] || [https://t.me/aishutin Андрей Ишутин]
|-
| [https://t.me/Birshert Алексей Биршерт] || [https://t.me/neyudin Николай Юдин]
|-
| [https://t.me/leksious Алексей Панков] || [https://t.me/kemmeritocracy Анастасия Кеммер]
|-
|}

== Домашние задания ==

1. Text Suggestion: [https://github.com/ashaba1in/hse-nlp/blob/main/2024/week2_generation/homework/hw1.ipynb условие]

2. Рекуррентные нейронные сети: [https://github.com/ashaba1in/hse-nlp/blob/main/2024/week3_rnn_transformer/homework/hw2.ipynb условие]

3. LLaMA: [https://github.com/ashaba1in/hse-nlp/tree/main/2024/week5_modern_llms/homework условие]

== Контрольная работа ==

Контрольная работа пройдет 05.11.2024 на лекции в R207 в формате письменной работы на 80 минут. [https://docs.google.com/document/d/15jkjm8w-TaTSzztuOCLjOeIh2SaABh6a4t2J0Aho31I/edit?usp=sharing Вопросы для подготовки].

== Формула оценок ==

Определим накопленную оценку как ''Накоп'' = (0.4 * ДЗ + 0.3 * КР) / 0.7.

''Итог'' = ''Округление''(0.7 * Накоп + 0.3 * Э). Округление арифметическое.

* ДЗ — средняя оценка за домашние задания
* КР — оценка за контрольную работу
* Э — оценка за экзамен

Если ''Накоп'' >= 8, то студент может получить ''Округление''(''Накоп'') в качестве итоговой оценки, не приходя на экзамен.

'''Формат экзамена''': устный.

Глубинное обучение для текстовых данных 24/25

2024-10-29T12:41:06Z

Amshabalin:

Глубинное обучение для текстовых данных 24/25

2024-10-29T12:19:09Z

Amshabalin:

Глубинное обучение для текстовых данных 24/25

2024-10-29T12:13:55Z

Amshabalin: /* Полезные ссылки */

Глубинное обучение для текстовых данных 24/25

2024-10-15T15:45:25Z

Amshabalin: /* Темы курса */

Глубинное обучение для текстовых данных 24/25

2024-10-12T15:02:02Z

Amshabalin:

Глубинное обучение для текстовых данных 24/25

2024-10-09T16:57:15Z

Amshabalin:

Глубинное обучение для текстовых данных 24/25

2024-10-06T13:20:26Z

Amshabalin:

Глубинное обучение для текстовых данных 24/25

2024-10-01T17:19:56Z

Amshabalin:

Глубинное обучение для текстовых данных 24/25

2024-09-18T19:21:33Z

Amshabalin:

Глубинное обучение для текстовых данных 24/25

2024-09-16T14:10:53Z

Amshabalin:

Глубинное обучение для текстовых данных 24/25

2024-09-16T10:01:13Z

Amshabalin:

Глубинное обучение для текстовых данных 24/25

2024-09-12T10:16:12Z

Amshabalin: Новая страница: «== О курсе == NLP (Natural Language Processing) — это область машинного обучения, которая пытается научит…»

Глубинное обучение для текстовых данных 23/24

2023-12-06T21:55:31Z

Amshabalin:

== О курсе ==

NLP (Natural Language Processing) — это область машинного обучения, которая пытается научить компьютер понимать и обрабатывать текстовые данные. NLP лежит в основе множества технологий, таких как системы перевода и генерации текстов, голосовые помощники, суммаризаторы текстов, спам детекторы и так далее. В настоящее время такие технологии не только облегчают жизнь людям, решая несложные задачи быстрее них. Часто модели машинного обучения позволяют достигать более высокого качества и оказываются “умнее” многих людей. Примером такой модели может стать нашумевшая ChatGPT, способная корректно отвечать на вопросы по самым различным темам.

В курсе мы постараемся дать вам понять и прочувствовать, что происходит в мире естественной обработки языка. Какие задачи бывают, какие проблемы встречаются в ходе их решения. Мы покажем, что NLP — это не набор пар (задача, решение), а общие идеи, которые применимы для решения множества задач и отражают некоторую общую концепцию.

== Расписание ==

Лекции: каждый четверг в 13:00. [https://us06web.zoom.us/j/82787261695?pwd=NMn5vbXnRMZyYUwWUupRt3fuku9dEI.1 Ссылка на зум.]

Семинары: каждый четверг в 14:40. [https://us06web.zoom.us/j/87691588564?pwd=sjjlq6PGnfytOblOabfCenyj3HeoHA.1 Сашин зум], [https://us06web.zoom.us/j/89472421221?pwd=KJSmLyd4tRD1EMkTTGOWYdBGSNDtvv.1 Славин зум].

== Полезные ссылки ==

Общий чат курса в telegram: https://t.me/+Nc5s_kMhUE44MWM6

Репозиторий курса на github: https://github.com/ashaba1in/hse-nlp

Плейлист с записями лекций: https://www.youtube.com/playlist?list=PLEwK9wdS5g0pc4NeOQqGLPcxmBHGUjnWB

Ссылка на anytask: https://anytask.org/course/1053

Инвайты: Сашина группа - '''Vai3xuK''', Славина группа - '''Kutq97v'''

[https://docs.google.com/spreadsheets/d/1J7zVSrdglNnnVgoTmrgC1YlPBlY1M8LViqjRlLdC0MY/edit?usp=sharing Табличка] с оценками.

== Преподаватели и ассистенты ==

{| class="wikitable"
|-
! Преподаватели !! Ассистенты
|-
| [https://t.me/amshabalin Александр Шабалин] || [https://t.me/leksious Алексей Панков]
|-
| [https://t.me/meshchaninov01 Вячеслав Мещанинов] ||
|-
|}

== Темы курса ==

1. Методы получения эмбеддингов слов: Счетные методы, Word2vec, GLOVE. Записи: [https://www.youtube.com/watch?v=Ji68egxAWgw лекция], [https://www.youtube.com/watch?v=My80O5Vx6fs&list=PLEwK9wdS5g0pc4NeOQqGLPcxmBHGUjnWB&index=2 семинар]

2. Классификация текста. Записи: [https://www.youtube.com/watch?v=mNs0_icYp4I лекция], [https://www.youtube.com/watch?v=FFmsejByamQ&list=PLEwK9wdS5g0pc4NeOQqGLPcxmBHGUjnWB&index=4 семинар]

3. Токенизация, языковые модели. Записи: [https://www.youtube.com/watch?v=_WPXfEAsbTE лекция], [https://www.youtube.com/watch?v=RrdYiCs2-zI&list=PLEwK9wdS5g0pc4NeOQqGLPcxmBHGUjnWB&index=6 семинар]

4. Рекуррентные нейронные сети. Записи: [https://www.youtube.com/watch?v=9BBGEMI50O8&list=PLEwK9wdS5g0pc4NeOQqGLPcxmBHGUjnWB&index=7 лекция], [https://www.youtube.com/watch?v=6ojpRmCea0M&list=PLEwK9wdS5g0pc4NeOQqGLPcxmBHGUjnWB&index=8 семинар]

5. Seq2seq задача, механизм внимания, трансформер. Записи: [https://www.youtube.com/watch?v=0_t0-uvihJ0&list=PLEwK9wdS5g0pc4NeOQqGLPcxmBHGUjnWB&index=10 лекция], [https://www.youtube.com/watch?v=E1btQgjPt2o&list=PLEwK9wdS5g0pc4NeOQqGLPcxmBHGUjnWB&index=9 семинар]

6. Трансформерные модели: GPT, BERT. Записи: [https://www.youtube.com/watch?v=rZFu1UoOejo&list=PLEwK9wdS5g0pc4NeOQqGLPcxmBHGUjnWB&index=11 лекция], [https://www.youtube.com/watch?v=iMuqGlDyxLQ&list=PLEwK9wdS5g0pc4NeOQqGLPcxmBHGUjnWB&index=12 семинар]

7. Как дообучать предобученные модели? Почему дообучать модель целиком не всегда хорошо? Parameter-Efficient Fine-Tunning (PEFT). Записи: [https://www.youtube.com/watch?v=Ylj9M_Ufy64&list=PLEwK9wdS5g0pc4NeOQqGLPcxmBHGUjnWB&index=14 лекция], [https://www.youtube.com/watch?v=qlyTrdLMrKs&list=PLEwK9wdS5g0pc4NeOQqGLPcxmBHGUjnWB&index=15 семинар]

8. Ускорение и сжатие модели. Дистилляция знаний, Квантизация. Записи: [https://www.youtube.com/watch?v=dUMZvLLtKPI&list=PLEwK9wdS5g0pc4NeOQqGLPcxmBHGUjnWB&index=17 лекция], [https://www.youtube.com/watch?v=32IrfjUlp3U&list=PLEwK9wdS5g0pc4NeOQqGLPcxmBHGUjnWB&index=17 семинар]

9. Трюки для обучения трансформеров, работа с длинным контекстом. Записи: [https://www.youtube.com/watch?v=gIya8SHsX2s&list=PLEwK9wdS5g0pc4NeOQqGLPcxmBHGUjnWB&index=18 лекция], [https://www.youtube.com/watch?v=C8Rw99tdqqc&list=PLEwK9wdS5g0pc4NeOQqGLPcxmBHGUjnWB&index=19 семинар]

10. Text style transfer. Записи: лекция (будет), семинар не проводился.

== Домашние задания ==

'''Домашнее задание 1''': Задание посвящено обучению векторных представлений слов.

Ссылка на [https://github.com/ashaba1in/hse-nlp/blob/main/homeworks/hw1/hw1.ipynb ноутбук] с заданием.

'''Домашнее задание 2''': Задание посвящено обучению сверточных и рекуррентных нейронных сетей для задачи бинарной классификации.

Ссылка на [https://github.com/ashaba1in/hse-nlp/blob/main/homeworks/hw2/hw2.ipynb ноутбук] с заданием.

'''Домашнее задание 3''': Задание посвящено обучению моделей на основе архитектуры Трансформер для задачи генерации текста, а так же методам семплирования токенов.

Ссылка на [https://github.com/ashaba1in/hse-nlp/blob/main/homeworks/hw3/hw3.ipynb ноутбук] с заданием.

'''Домашнее задание 4''': Задание посвящено уменьшению размеров предобученной модели при дообучении на downstream задачу.

Ссылка на [https://github.com/ashaba1in/hse-nlp/blob/main/homeworks/hw4/hw4.ipynb ноутбук] с заданием.

== Контрольная работа ==
Контрольная работа пройдет 02.11.2023 на лекции в формате письменной работы на 80 минут. [https://docs.google.com/document/d/15jkjm8w-TaTSzztuOCLjOeIh2SaABh6a4t2J0Aho31I/edit?usp=sharing Вопросы для подготовки].

== Формула оценок ==

Определим накопленную оценку как ''Накоп'' = (0.4 * ДЗ + 0.3 * КР) / 0.7.

''Итог'' = ''Округление''(0.7 * Накоп + 0.3 * Э). Округление арифметическое.

* ДЗ — средняя оценка за домашние задания
* КР — оценка за контрольную работу
* Э — оценка за экзамен

Если ''Накоп'' >= 8, то студент может получить ''Округление''(''Накоп'') в качестве итоговой оценки, не приходя на экзамен.

'''Формат экзамена''': устный.

Глубинное обучение для текстовых данных 23/24

2023-12-06T21:54:46Z

Amshabalin:

== О курсе ==

NLP (Natural Language Processing) — это область машинного обучения, которая пытается научить компьютер понимать и обрабатывать текстовые данные. NLP лежит в основе множества технологий, таких как системы перевода и генерации текстов, голосовые помощники, суммаризаторы текстов, спам детекторы и так далее. В настоящее время такие технологии не только облегчают жизнь людям, решая несложные задачи быстрее них. Часто модели машинного обучения позволяют достигать более высокого качества и оказываются “умнее” многих людей. Примером такой модели может стать нашумевшая ChatGPT, способная корректно отвечать на вопросы по самым различным темам.

В курсе мы постараемся дать вам понять и прочувствовать, что происходит в мире естественной обработки языка. Какие задачи бывают, какие проблемы встречаются в ходе их решения. Мы покажем, что NLP — это не набор пар (задача, решение), а общие идеи, которые применимы для решения множества задач и отражают некоторую общую концепцию.

== Расписание ==

Лекции: каждый четверг в 13:00. [https://us06web.zoom.us/j/82787261695?pwd=NMn5vbXnRMZyYUwWUupRt3fuku9dEI.1 Ссылка на зум.]

Семинары: каждый четверг в 14:40. [https://us06web.zoom.us/j/87691588564?pwd=sjjlq6PGnfytOblOabfCenyj3HeoHA.1 Сашин зум], [https://us06web.zoom.us/j/89472421221?pwd=KJSmLyd4tRD1EMkTTGOWYdBGSNDtvv.1 Славин зум].

== Полезные ссылки ==

Общий чат курса в telegram: https://t.me/+Nc5s_kMhUE44MWM6

Репозиторий курса на github: https://github.com/ashaba1in/hse-nlp

Плейлист с записями лекций: https://www.youtube.com/playlist?list=PLEwK9wdS5g0pc4NeOQqGLPcxmBHGUjnWB

Ссылка на anytask: https://anytask.org/course/1053

Инвайты: Сашина группа - '''Vai3xuK''', Славина группа - '''Kutq97v'''

[https://docs.google.com/spreadsheets/d/1J7zVSrdglNnnVgoTmrgC1YlPBlY1M8LViqjRlLdC0MY/edit?usp=sharing Табличка] с оценками.

== Преподаватели и ассистенты ==

{| class="wikitable"
|-
! Преподаватели !! Ассистенты
|-
| [https://t.me/amshabalin Александр Шабалин] || [https://t.me/leksious Алексей Панков]
|-
| [https://t.me/meshchaninov01 Вячеслав Мещанинов] ||
|-
|}

== Темы курса ==

1. Методы получения эмбеддингов слов: Счетные методы, Word2vec, GLOVE. Записи: [https://www.youtube.com/watch?v=Ji68egxAWgw лекция], [https://www.youtube.com/watch?v=My80O5Vx6fs&list=PLEwK9wdS5g0pc4NeOQqGLPcxmBHGUjnWB&index=2 семинар]

2. Классификация текста. Записи: [https://www.youtube.com/watch?v=mNs0_icYp4I лекция], [https://www.youtube.com/watch?v=FFmsejByamQ&list=PLEwK9wdS5g0pc4NeOQqGLPcxmBHGUjnWB&index=4 семинар]

3. Токенизация, языковые модели. Записи: [https://www.youtube.com/watch?v=_WPXfEAsbTE лекция], [https://www.youtube.com/watch?v=RrdYiCs2-zI&list=PLEwK9wdS5g0pc4NeOQqGLPcxmBHGUjnWB&index=6 семинар]

4. Рекуррентные нейронные сети. Записи: [https://www.youtube.com/watch?v=9BBGEMI50O8&list=PLEwK9wdS5g0pc4NeOQqGLPcxmBHGUjnWB&index=7 лекция], [https://www.youtube.com/watch?v=6ojpRmCea0M&list=PLEwK9wdS5g0pc4NeOQqGLPcxmBHGUjnWB&index=8 семинар]

5. Seq2seq задача, механизм внимания, трансформер. Записи: [https://www.youtube.com/watch?v=0_t0-uvihJ0&list=PLEwK9wdS5g0pc4NeOQqGLPcxmBHGUjnWB&index=10 лекция], [https://www.youtube.com/watch?v=E1btQgjPt2o&list=PLEwK9wdS5g0pc4NeOQqGLPcxmBHGUjnWB&index=9 семинар]

6. Трансформерные модели: GPT, BERT. Записи: [https://www.youtube.com/watch?v=rZFu1UoOejo&list=PLEwK9wdS5g0pc4NeOQqGLPcxmBHGUjnWB&index=11 лекция], [https://www.youtube.com/watch?v=iMuqGlDyxLQ&list=PLEwK9wdS5g0pc4NeOQqGLPcxmBHGUjnWB&index=12 семинар]

7. Как дообучать предобученные модели? Почему дообучать модель целиком не всегда хорошо? Parameter-Efficient Fine-Tunning (PEFT). Записи: [https://www.youtube.com/watch?v=Ylj9M_Ufy64&list=PLEwK9wdS5g0pc4NeOQqGLPcxmBHGUjnWB&index=14 лекция], [https://www.youtube.com/watch?v=qlyTrdLMrKs&list=PLEwK9wdS5g0pc4NeOQqGLPcxmBHGUjnWB&index=15 семинар]

8. Ускорение и сжатие модели. Дистилляция знаний, Квантизация. Записи: [https://www.youtube.com/watch?v=dUMZvLLtKPI&list=PLEwK9wdS5g0pc4NeOQqGLPcxmBHGUjnWB&index=17 лекция], [https://www.youtube.com/watch?v=32IrfjUlp3U&list=PLEwK9wdS5g0pc4NeOQqGLPcxmBHGUjnWB&index=17 семинар]

9. Трюки для обучения трансформеров, работа с длинным контекстом. Записи: [https://www.youtube.com/watch?v=gIya8SHsX2s&list=PLEwK9wdS5g0pc4NeOQqGLPcxmBHGUjnWB&index=18 лекция], [https://www.youtube.com/watch?v=C8Rw99tdqqc&list=PLEwK9wdS5g0pc4NeOQqGLPcxmBHGUjnWB&index=19 семинар]

10. Text style transfer. Записи: лекция (будет), семинар не проводился.

== Домашние задания ==

'''Домашнее задание 1''': Задание посвящено обучению векторных представлений слов.

Ссылка на [https://github.com/ashaba1in/hse-nlp/blob/main/homeworks/hw1/hw1.ipynb%20 ноутбук] с заданием.

'''Домашнее задание 2''': Задание посвящено обучению сверточных и рекуррентных нейронных сетей для задачи бинарной классификации.

Ссылка на [https://github.com/ashaba1in/hse-nlp/blob/main/homeworks/hw2/hw2.ipynb%20 ноутбук] с заданием.

'''Домашнее задание 3''': Задание посвящено обучению моделей на основе архитектуры Трансформер для задачи генерации текста, а так же методам семплирования токенов.

Ссылка на [https://github.com/ashaba1in/hse-nlp/blob/main/homeworks/hw3/hw3.ipynb%20 ноутбук] с заданием.

'''Домашнее задание 4''': Задание посвящено уменьшению размеров предобученной модели при дообучении на downstream задачу.

Ссылка на [https://github.com/ashaba1in/hse-nlp/blob/main/homeworks/hw4/hw4.ipynb%20 ноутбук] с заданием.

== Контрольная работа ==
Контрольная работа пройдет 02.11.2023 на лекции в формате письменной работы на 80 минут. [https://docs.google.com/document/d/15jkjm8w-TaTSzztuOCLjOeIh2SaABh6a4t2J0Aho31I/edit?usp=sharing Вопросы для подготовки].

== Формула оценок ==

Определим накопленную оценку как ''Накоп'' = (0.4 * ДЗ + 0.3 * КР) / 0.7.

''Итог'' = ''Округление''(0.7 * Накоп + 0.3 * Э). Округление арифметическое.

* ДЗ — средняя оценка за домашние задания
* КР — оценка за контрольную работу
* Э — оценка за экзамен

Если ''Накоп'' >= 8, то студент может получить ''Округление''(''Накоп'') в качестве итоговой оценки, не приходя на экзамен.

'''Формат экзамена''': устный.

Глубинное обучение для текстовых данных 23/24

2023-12-06T21:51:06Z

Amshabalin:

== О курсе ==

NLP (Natural Language Processing) — это область машинного обучения, которая пытается научить компьютер понимать и обрабатывать текстовые данные. NLP лежит в основе множества технологий, таких как системы перевода и генерации текстов, голосовые помощники, суммаризаторы текстов, спам детекторы и так далее. В настоящее время такие технологии не только облегчают жизнь людям, решая несложные задачи быстрее них. Часто модели машинного обучения позволяют достигать более высокого качества и оказываются “умнее” многих людей. Примером такой модели может стать нашумевшая ChatGPT, способная корректно отвечать на вопросы по самым различным темам.

В курсе мы постараемся дать вам понять и прочувствовать, что происходит в мире естественной обработки языка. Какие задачи бывают, какие проблемы встречаются в ходе их решения. Мы покажем, что NLP — это не набор пар (задача, решение), а общие идеи, которые применимы для решения множества задач и отражают некоторую общую концепцию.

== Расписание ==

Лекции: каждый четверг в 13:00. [https://us06web.zoom.us/j/82787261695?pwd=NMn5vbXnRMZyYUwWUupRt3fuku9dEI.1 Ссылка на зум.]

Семинары: каждый четверг в 14:40. [https://us06web.zoom.us/j/87691588564?pwd=sjjlq6PGnfytOblOabfCenyj3HeoHA.1 Сашин зум], [https://us06web.zoom.us/j/89472421221?pwd=KJSmLyd4tRD1EMkTTGOWYdBGSNDtvv.1 Славин зум].

== Полезные ссылки ==

Общий чат курса в telegram: https://t.me/+Nc5s_kMhUE44MWM6

Репозиторий курса на github: https://github.com/ashaba1in/hse-nlp

Плейлист с записями лекций: https://www.youtube.com/playlist?list=PLEwK9wdS5g0pc4NeOQqGLPcxmBHGUjnWB

Ссылка на anytask: https://anytask.org/course/1053

Инвайты: Сашина группа - '''Vai3xuK''', Славина группа - '''Kutq97v'''

[https://docs.google.com/spreadsheets/d/1J7zVSrdglNnnVgoTmrgC1YlPBlY1M8LViqjRlLdC0MY/edit?usp=sharing Табличка] с оценками.

== Преподаватели и ассистенты ==

{| class="wikitable"
|-
! Преподаватели !! Ассистенты
|-
| [https://t.me/amshabalin Александр Шабалин] || [https://t.me/leksious Алексей Панков]
|-
| [https://t.me/meshchaninov01 Вячеслав Мещанинов] ||
|-
|}

== Темы курса ==

1. Методы получения эмбеддингов слов: Счетные методы, Word2vec, GLOVE. Записи: [https://www.youtube.com/watch?v=Ji68egxAWgw лекция], [https://www.youtube.com/watch?v=My80O5Vx6fs&list=PLEwK9wdS5g0pc4NeOQqGLPcxmBHGUjnWB&index=2 семинар]

2. Классификация текста. Записи: [https://www.youtube.com/watch?v=mNs0_icYp4I лекция], [https://www.youtube.com/watch?v=FFmsejByamQ&list=PLEwK9wdS5g0pc4NeOQqGLPcxmBHGUjnWB&index=4 семинар]

3. Токенизация, языковые модели. Записи: [https://www.youtube.com/watch?v=_WPXfEAsbTE лекция], [https://www.youtube.com/watch?v=RrdYiCs2-zI&list=PLEwK9wdS5g0pc4NeOQqGLPcxmBHGUjnWB&index=6 семинар]

4. Рекуррентные нейронные сети. Записи: [https://www.youtube.com/watch?v=9BBGEMI50O8&list=PLEwK9wdS5g0pc4NeOQqGLPcxmBHGUjnWB&index=7 лекция], [https://www.youtube.com/watch?v=6ojpRmCea0M&list=PLEwK9wdS5g0pc4NeOQqGLPcxmBHGUjnWB&index=8 семинар]

5. Seq2seq задача, механизм внимания, трансформер. Записи: [https://www.youtube.com/watch?v=0_t0-uvihJ0&list=PLEwK9wdS5g0pc4NeOQqGLPcxmBHGUjnWB&index=10 лекция], [https://www.youtube.com/watch?v=E1btQgjPt2o&list=PLEwK9wdS5g0pc4NeOQqGLPcxmBHGUjnWB&index=9 семинар]

6. Трансформерные модели: GPT, BERT. Записи: [https://www.youtube.com/watch?v=rZFu1UoOejo&list=PLEwK9wdS5g0pc4NeOQqGLPcxmBHGUjnWB&index=11 лекция], [https://www.youtube.com/watch?v=iMuqGlDyxLQ&list=PLEwK9wdS5g0pc4NeOQqGLPcxmBHGUjnWB&index=12 семинар]

7. Как дообучать предобученные модели? Почему дообучать модель целиком не всегда хорошо? Parameter-Efficient Fine-Tunning (PEFT). Записи: [https://www.youtube.com/watch?v=Ylj9M_Ufy64&list=PLEwK9wdS5g0pc4NeOQqGLPcxmBHGUjnWB&index=14 лекция], [https://www.youtube.com/watch?v=qlyTrdLMrKs&list=PLEwK9wdS5g0pc4NeOQqGLPcxmBHGUjnWB&index=15 семинар]

8. Ускорение и сжатие модели. Дистилляция знаний, Квантизация. Записи: [https://www.youtube.com/watch?v=dUMZvLLtKPI&list=PLEwK9wdS5g0pc4NeOQqGLPcxmBHGUjnWB&index=17 лекция], [https://www.youtube.com/watch?v=32IrfjUlp3U&list=PLEwK9wdS5g0pc4NeOQqGLPcxmBHGUjnWB&index=17 семинар]

9. Трюки для обучения трансформеров, работа с длинным контекстом. Записи: [https://www.youtube.com/watch?v=gIya8SHsX2s&list=PLEwK9wdS5g0pc4NeOQqGLPcxmBHGUjnWB&index=18 лекция], [https://www.youtube.com/watch?v=C8Rw99tdqqc&list=PLEwK9wdS5g0pc4NeOQqGLPcxmBHGUjnWB&index=19 семинар]

10. Text style transfer. Записи: лекция (будет), семинар не проводился.

== Домашние задания ==

'''Домашнее задание 1''': Задание посвящено обучению векторных представлений слов.

Ссылка на [https://github.com/ashaba1in/hse-nlp/blob/main/homeworks/hw1/hw1.ipynb%20 ноутбук] с заданием.

== Контрольная работа ==
Контрольная работа пройдет 02.11.2023 на лекции в формате письменной работы на 80 минут. [https://docs.google.com/document/d/15jkjm8w-TaTSzztuOCLjOeIh2SaABh6a4t2J0Aho31I/edit?usp=sharing Вопросы для подготовки].

== Формула оценок ==

Определим накопленную оценку как ''Накоп'' = (0.4 * ДЗ + 0.3 * КР) / 0.7.

''Итог'' = ''Округление''(0.7 * Накоп + 0.3 * Э). Округление арифметическое.

* ДЗ — средняя оценка за домашние задания
* КР — оценка за контрольную работу
* Э — оценка за экзамен

Если ''Накоп'' >= 8, то студент может получить ''Округление''(''Накоп'') в качестве итоговой оценки, не приходя на экзамен.

'''Формат экзамена''': устный.

Глубинное обучение для текстовых данных 23/24

2023-11-17T19:15:03Z

Amshabalin:

Глубинное обучение для текстовых данных 23/24

2023-10-31T10:45:59Z

Amshabalin:

Глубинное обучение для текстовых данных 23/24

2023-10-13T15:00:36Z

Amshabalin:

Глубинное обучение для текстовых данных 23/24

2023-09-25T17:21:04Z

Amshabalin:

Глубинное обучение для текстовых данных 23/24

2023-09-23T20:35:56Z

Amshabalin:

Глубинное обучение для текстовых данных 23/24

2023-09-23T20:35:32Z

Amshabalin:

Глубинное обучение для текстовых данных 23/24

2023-09-23T20:35:21Z

Amshabalin:

Глубинное обучение для текстовых данных 23/24

2023-09-20T11:20:28Z

Amshabalin:

Глубинное обучение для текстовых данных 23/24

2023-09-20T11:19:20Z

Amshabalin:

Глубинное обучение для текстовых данных 23/24

2023-09-14T19:04:28Z

Amshabalin:

Глубинное обучение для текстовых данных 23/24

2023-09-05T11:27:48Z

Amshabalin: добавлена ссылка на чат

Глубинное обучение для текстовых данных 23/24

2023-09-04T14:28:55Z

Amshabalin: создана страница

Wiki ФКН

2023-09-04T14:22:44Z

Amshabalin: добавлена ссылка на страницу курса Глубинное обучение для текстовых данных

__NOTOC__

= Учебные курсы факультета компьютерных наук =

== Курсы за 2023/24 учебный год ==

{| class="wikitable courses"
|-

! width="21%" | 1 курс !! width="21%" | 2 курс !! width="21%" | 3 курс !! width="21%" | 4 курс !! rowspan="2" | майноры и факультативы
|-
| colspan="4" style="text-align: center;" | '''ПМИ'''
|-
|
'''М+'''

[[Линейная_алгебра_и_геометрия_на_ПМИ_2023/2024_(пилотный_поток) | Линейная алгебра и геометрия (пилотный поток)]]

[[Математический_анализ_1_2023/24_(пилотный_поток) | Математический анализ-1 (пилотный поток)]]

[[Дискретная математика на ПМИ 2023/24 (пилотный поток) | Дискретная математика (пилотный поток)]]

[[Алгебра_на_ПМИ_2023/2024_(пилотный_поток) | Алгебра (пилотный поток)]]

[[Теория чисел (пилотный поток) 2023/24 | Теория чисел (пилотный поток)]]

'''М'''

[[Линейная_алгебра_и_геометрия_на_ПМИ_2023/2024_(основной_поток) | Линейная алгебра и геометрия (основной поток)]]

[[Математический_анализ_1_2023/24_(основной_поток) | Математический анализ-1 (основной поток)]]

[[DM1PMIbase-2023-24 | Дискретная математика (ПМИ основной поток)]]

[[DM1EAD-2023-24 | Дискретная математика (ЭАД)]]

[[Алгебра_на_ПМИ_2023/2024_(основной_поток) | Алгебра (основной поток)]]

[[Теория чисел (основной поток) 2023/24 | Теория чисел (основной поток)]]

'''П+'''

[[Алгоритмы_и_структуры_данных_пилотный_поток_2023/24 | Алгоритмы и структуры данных (пилотный поток)]]

'''П'''

[[Язык программирования Python 2023/24 (основной поток) ]]

[[Алгоритмы и структуры данных 1 (основной поток) (4 модуль) 2023/2024]]

||
'''М+'''

[[Математическая_статистика_2023/24_(пилотный_поток)| Математическая статистика (пилотный поток)]]

[[Теория_вероятностей_2023/24_(пилотный_поток)| Теория вероятностей (пилотный поток)]]

[http://wiki.cs.hse.ru/%D0%9C%D0%B0%D1%82%D0%B5%D0%BC%D0%B0%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D0%B9_%D0%90%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_2_%D0%BD%D0%B0_%D0%9F%D0%9C%D0%98_2023/24_(%D0%BF%D0%B8%D0%BB%D0%BE%D1%82%D0%BD%D1%8B%D0%B9_%D0%BF%D0%BE%D1%82%D0%BE%D0%BA) Математический анализ - 2 (пилотный поток)]

'''М'''

[[Математическая_статистика_2023/24_(основной_поток)| Математическая статистика (основной поток)]]

[[Теория_вероятностей_2023/24_(основной_поток)| Теория вероятностей (основной поток)]]

[[Математический_анализ_-_2_(2023/24) | Математический анализ - 2 (основной поток)]]

'''П+ и П'''

[[CAOS-2023/24 | Архитектура компьютеров и операционные системы]]

[[Алгоритмы_и_структуры_данных_2_2023/24 | Алгоритмы и структуры данных - 2 ]]

[[Инструменты_промышленной_разработки_2023/24 | Инструменты промышленной разработки 2022/2023 ]]

'''1 из 3:'''

[[Язык_программирования_C%2B%2B_(углубленный_курс)_2023/24 | Язык программирования C++ (углубленный курс)]]

[[Продвинутый_Python_2023/24 | Продвинутый Python ]]

[[Язык программирования Rust 2023/24]]

'''2 из 5:'''

[[Дискретная математика - 2 (ПМИ) 2023/24]]

[[Дифференциальные уравнения (ПМИ) 2023/24]]

[[Основы матричных вычислений 2023/24]]

[[Комплексный анализ 2023/24]]

[[Функциональный анализ 2023/24]]

||

[[Машинное_обучение_1 | Машинное обучение 1]] 

[[Компьютерные сети 2023/24]]

[[Operation Research and Game Theory]]

[[ Statistical learning theory 2023/24 | Statistical Learning Theory]]

[[ Функциональное_программирование_23-24 | Функциональное программирование ]]

[[ Основы_тензорных_вычислений_(2023/24) | Основы тензорных вычислений ]]

[[Глубинное обучение 1 23/24 | Введение в глубинное обучение 23/24]]

[[Математическое моделирование 2023/24]]

[[Моделирование временных рядов 2023/24]]

[[Теория_чисел_и_криптография 2023/24 | Теория чисел и криптография]]

[[Методы_оптимизации_23/24 | Методы оптимизации]]

[[Уравнения с частными производными (2023-2024)]]

'''ПМИ / МОП'''

[[Машинное_обучение_2 | Машинное обучение 2]] 

[[Прикладная_статистика_в_машинном_обучении_23/24 | Прикладная статистика в машинном обучении 23/24]]

[[НИС_Машинное_обучение_и_приложения_3_курс_2023/2024 | НИС Машинное обучение и приложения 3 курс]]

[[Глубинное обучение 1 23/24]]

[[Методы оптимизации в машинном обучении 2023/24]]

'''ПМИ / РС'''

[[Distributed_Systems_2023 | Распределенные системы]]

[ НИС Распределенные системы]

[[Database Systems 2023/24]]

'''ПМИ / ТИ'''

[[Theory of Computation 2023 | Theory of Computation]]

[[ NIS-TCS-23-24 | НИС Теоретическая информатика ]]

[[KKTI-23-24 | Комбинаторные конструкции в теоретической информатике]]

||

[ ВКР]

[[ Случайные_процессы_(зима_2024) | Случайные процессы (зима 2023)]]

[[ Функциональное_программирование_23-24 | Функциональное программирование ]]

[[ Haskell_23/24 | Промышленное программирование на Haskell ]]

[[ Основы_тензорных_вычислений_(2023/2024) | Основы тензорных вычислений ]]

[[ Глубинное_обучение_в_обработке_звука_23/24 | Глубинное обучение в обработке звука ]]

[[ Глубинное обучение для текстовых данных 23/24 | Глубинное обучение для текстовых данных ]]

[[ Методы_предобучения_без_учителя_23/24 | Методы предобучения без учителя ]]

[[ Символьные_вычисления_23/24 | Символьные вычисления ]]

[[Эффективные системы глубинного обучения 23/24|Эффективные системы глубинного обучения]]

[[Теория_и_практика_онлайн-экспериментов_23/24 | Теория и практика онлайн-экспериментов]]

[[Децентрализованные_системы 2023/24| Децентрализованные системы ]]

[[Введение_в_дифференциальную_геометрию_23/24 | Введение в дифференциальную геометрию ]]

'''ПМИ / МОП'''

[[НИС_Машинное_обучение_и_приложения_4_курс_2023/24 | НИС Машинное обучение и приложения 4 курс]]

[[Глубинное_обучение_2023/24 | Глубинное обучение]]

[[Глубинное_обучение_в_анализе_графовых_данных_23/24 | Глубинное обучение в анализе графовых данных]]

[[LSML_2023/2024 | Машинное обучение для больших данных]]

'''ПМИ / РС'''

[ НИС Распределенные системы]

'''ПМИ / ТИ'''

[[A_Theorist's_Toolkit_2023_2024 | A Theorist's Toolkit, AMI]]

[[OWF2023 | Односторонние функции и их применения]]

[[InfTheory2023 | Теория информации]]

[[ NIS-TCS-23-24 | НИС Теоретическая информатика ]]

| rowspan="7" |

?

|-
| colspan="4" style="text-align: center;" | '''ПИ'''
|-
|

[[Дискретная математика 2023-2024 | Дискретная математика ]]

[[Алгебра ПИ 2023-2024 | Алгебра]]

[[Математический анализ 2023-2024 | Математический анализ]]

||

[[Алгоритмы_и_структуры_данных_на_ПИ_2023/2024 | Алгоритмы и структуры данных на ПИ]]

[[Теория вероятностей и математическая статистика 2023-2024 | Теория вероятностей и математическая статистика]]

[[НИС_Методы_и_алгоритмы_защиты_информации_2023/2024 | НИС Методы и алгоритмы защиты информации ]]

||

[[ SPA_2023/24 |Принципы статического анализа исходного кода ]]

|-
| colspan="4" style="text-align: center;" | '''ПАД'''
|-
|

[[DSBA_Algebra_2023_2024 | Algebra (DSBA)]]

[[Calculus DSBA 2023/2024 | Calculus (DSBA)]]

[[English_DSBA_2023/2024 | English (DSBA)]]

[[LAaG DSBA 2023/2024 | LAaG (DSBA)]]

[[Discrete Mathematics DSBA 2023/2024 | Discrete Mathematics (DSBA)]]

[[Python Programming DSBA 2023/24 | Python Programming (DSBA)]]

[[C++ Programming Language DSBA 2023/24 | C++ Programming Language (DSBA)]]

[[Foundations_of_Law_DSBA_2023/24 | Foundations of Law (DSBA)]]

[[Introduction to Economics DSBA 2023/24]]

||

[[Discrete Mathematics 2 DSBA 2023/24 | Discrete Mathematics 2 (DSBA)]]

[[Business and Management in Global Context 23/24]]

[[Calculus-2 2023/24]]

[[Algorithms and Data Structures DSBA 2023/24 | Algorithms and Data Structures]]

[[Probability and Statistics (DSBA) 2023/24]]

[[Introduction to Micro and Macroeconomics DSBA 2022/2023]]

[[Differential Equations 2023/24]]

[[ACOS_DSBA_2023/24 | Computer Architecture and Operating Systems]]

||

[[tssp-2023-24 | Time series and stochastic processes 2023-24]]

[ Elements of Econometrics]

[[BAFE-2023-24 | Business Analytics and Financial Engineering 2023-2024]]

[[Machine learning 1 DSBA 2023/2024]]

[[Databases 2023/24]]

[[Optimisation methods 2023/24]]

[[ MACE1_DSBA_23-24 | Research Seminar "Mathematical and Computational Engineering in Science and Business 1"]]

[[ DAF1_DSBA_23-24 | Research Seminar "Data Analysis in Finance 1"]]

||

[[ Statistics4MR-2023-24 | Statistics for Market Research 2023-24]]

[[ Strategy_23-24_DSBA | Decision Making Strategy 2023-2024]]

[[ APFM_23-24 | Asset Pricing and Financial Markets 2023-2024]]

[[ CMC_DSBA_23-24 | Core management concepts ]]

[[Machine learning 2 DSBA 2023/2024]]

[[ MACE2_DSBA_23-24 | Research Seminar "Mathematical and Computational Engineering in Science and Business 2"]]

[[ DAF2_DSBA_23-24 | Research Seminar "Data Analysis in Finance 2"]]

[[ DANS_DSBA_23-24 | Research Seminar "Data Analysis in the Natural Sciences" ]]

[[Risk-Management_DSBA_23-24 | Research Seminar "Risk-Management" ]]

[[Quantitative finance DSBA 2023/24]]

|-
| colspan="4" style="text-align: center;" | '''КНАД'''
|-
|

[[Дискретная математика КНАД 23/24]]

[[Математический анализ КНАД 23/24]]

[[Линейная алгебра КНАД 23/24]]

[[Программирование на Python КНАД 23/24]]

[[Алгоритмы и структуры данных - 1 2023/2024 2 модуль (ЭАД КНАД ВСН)]]

[[Алгоритмы и структуры данных - 1 2023/2024 4 модуль (ЭАД КНАД ВСН)]]

[[Python для сбора и анализа данных КНАД 23/24]]

[[Программирование на С++ КНАД 23/24]]

[[ИПР_КНАД_23/24 | Инструменты промышленной разработки]]

||

[[Алгебра КНАД 2023/2024 | Алгебра]]

[[Математический_анализ -- 2 (2023/24) | Математический анализ -- 2]]

[[Алгоритмы_и_структуры_данных_2_КНАД 23/24 | Алгоритмы и структуры данных 2]]

[[Теория_вероятностей_КНАД 23/24 | Теория вероятностей ]]

[[ACOS_COMPDS_2023/2024 | Архитектура Компьютера и Операционные Системы]]

[[Математическая_статистика_КНАД_23/24 | Математическая статистика]]

[[Численные_методы_КНАД_23/24 | Численные методы]]

||

||

|}

== Курсы в рамках проекта [https://www.hse.ru/dataculture/ Data Culture]==

{| class="wikitable"
|-
! Осенний семестр !! Весенний семестр
|-
|
[[Основы Python для юристов 2023-24|Основы Python для юристов 23/24]] (2 курс, 1 модуль)
|
|}

== Курсы магистратуры ФКН ==
{| class="wikitable"
|-
|}

== Курсы других факультетов ==

{| class="wikitable"
|-
! Дисциплина !! Курс !! Период
|-
| [[econ_metrics_2023-24|Эконометрика ип 2023-24]] || фэн, 3 курс || 1-4 модуль
|-
| [[Econ_probability_2023-24|Теория вероятностей и математическая статистика 2023-24]] || фэн, 2 курс || 1-4 модуль
|-
| [[dse_2023-24|Data Science for Economists, fall 2023]] || icef, 3-4 year || 1-2 modules
|-
|
|}

= Архив =

== Курсы за 2022/23 учебный год ==

{| class="wikitable courses"
|-

! width="21%" | 1 курс !! width="21%" | 2 курс !! width="21%" | 3 курс !! width="21%" | 4 курс !! rowspan="2" | майноры и факультативы
|-
| colspan="4" style="text-align: center;" | '''ПМИ'''
|-
|
[[Линейная_алгебра_и_геометрия_на_ПМИ_2022/2023_(пилотный_поток) | Линейная алгебра и геометрия (пилотный поток)]]

[[Линейная_алгебра_и_геометрия_на_ПМИ_2022/2023_(основной_поток) | Линейная алгебра и геометрия (основной поток)]]

[[Алгебра_на_ПМИ_2022/2023_(пилотный_поток) | Алгебра (пилотный поток)]]

[[Алгебра_на_ПМИ_2022/2023_(основной_поток) | Алгебра (основной поток)]]

[[Математический_анализ_1_2022/2023_(основной_поток) | Математический анализ-1 (основной поток)]]

[[Математический_анализ_1_2022/2023_(пилотный_поток) | Математический анализ-1 (пилотный поток)]]

[[DM1base-2022-23 | Дискретная математика (ПМИ основной поток + ЭАД)]]

[[Дискретная математика на ПМИ 2022/23 (пилотный поток)]]

[[Язык программирования Python 2022/2023 (основной поток) ]]

[[Алгоритмы_и_структуры_данных_пилотный_поток_2022/2023 | Алгоритмы и структуры данных (пилотный поток)]]

[[Теория чисел (пилотный поток) 2022/23 | Теория чисел (пилотный поток)]]

[[Теория чисел (основной поток) 2022/23 | Теория чисел (основной поток)]]

[[Алгоритмы_и_структуры_данных_1_(основной_поток)_(4_модуль) | Алгоритмы и структуры данных 1 (основной поток) (4 модуль) 2022/2023]]

||

[[Математическая_статистика_2022/2023_(пилотный_поток)| Математическая статистика (пилотный поток)]]

[[Математическая_статистика_2022/2023_(основной_поток)| Математическая статистика (основной поток)]]

[[Теория_вероятностей_2022/2023_(пилотный_поток)| Теория вероятностей (пилотный поток)]]

[[Теория_вероятностей_2022/2023_(основной_поток)| Теория вероятностей (основной поток)]]

[[Математический_Анализ_2_на_ПМИ_2022/2023_(пилотный_поток) | Математический анализ - 2 (пилотный поток)]]

[[Математический_анализ_-_2_(2022/23) | Математический анализ - 2 (основной поток)]]

[[Язык_программирования_C%2B%2B_(углубленный_курс)_2022 | Язык программирования C++ (углубленный курс)]]

[[Математическая_логика_ПМИ_22/23 | Математическая логика ]]

[[Продвинутый_Python_2022/2023 | Продвинутый Python ]]

[[Алгоритмы_и_структуры_данных_2_2022/2023 | Алгоритмы и структуры данных - 2 ]]

[[Инструменты_промышленной_разработки_2022/2023 | Инструменты промышленной разработки 2022/2023 ]]

[[CAOS-2022 | Архитектура компьютеров и операционные системы]]

[[Дифференциальные уравнения (ПМИ) 2022/23]]

[[Основы_матричных_вычислений_2022/2023 | Основы матричных вычислений ]]

||

[[Машинное_обучение_1 | Машинное обучение 1]]

[[Компьютерные_сети_2022/2023 | Компьютерные сети 2022/2023]]

[[ Operation Research and Game Theory | Operation Research and Game Theory]]

[[ Statistical learning theory 2022 | Statistical Learning Theory]]

[[ Функциональное_программирование_22-23 | Функциональное программирование ]]

[[ Основы_тензорных_вычислений_(2022/2023) | Основы тензорных вычислений ]]

[[Глубинное обучение 1 22/23 | Введение в глубинное обучение 22/23]]

[[Математическое_моделирование_2022 | Математическое моделирование 2022]]

[[time_series_modelling_22_23 | Моделирование временных рядов 22/23]]

[[Теория_чисел_и_криптография | Теория чисел и криптография]]

[[Методы_оптимизации_22/23 | Методы оптимизации]]

[[Уравнения с частными производными (2022-2023)|Уравнения с частными производными (2022-2023)]]

'''ПМИ / МОП'''

[[Машинное_обучение_2 | Машинное обучение 2]]

[[Прикладная_статистика_в_машинном_обучении_22/23 | Прикладная статистика в машинном обучении 22/23]]

[[НИС_Машинное_обучение_и_приложения_3_курс_2022/2023 | НИС Машинное обучение и приложения 3 курс]]

[[Глубинное обучение 1 22/23 | Глубинное обучение 1 22/23]]

[[Методы оптимизации в машинном обучении 2023]]

'''ПМИ / РС'''

[https://osukhoroslov-hse.notion.site/a35a6a40088b44a7a9e374727a0f2548 Распределенные системы]

[https://osukhoroslov-hse.notion.site/dbce4f5101ed47dca0b363122f139aac НИС Распределенные системы]

[[Database Systems 2023]]

'''ПМИ / ТИ'''

[[Theory of Computation 2022 | Theory of Computation]]

[[ NIS-TCS-22-23 | НИС Теоретическая информатика ]]

[[KKTI-22-23 | Комбинаторные конструкции в теоретической информатике]]

||

[https://www.notion.so/2022-2023-12475421ada6400c8bd5bf24a2a30c01 ВКР]

[[ Случайные_процессы_(зима_2023) | Случайные процессы (зима 2023)]]

[[ Функциональное_программирование_22-23 | Функциональное программирование ]]

[[ Haskell_23 | Промышленное программирование на Haskell ]]

[[ Основы_тензорных_вычислений_(2022/2023) | Основы тензорных вычислений ]]

[[ Глубинное_обучение_в_обработке_звука_22/23 | Глубинное обучение в обработке звука ]]

[[ Методы_предобучения_без_учителя_22/23 | Методы предобучения без учителя ]]

[[ Символьные_вычисления_22/23 | Символьные вычисления ]]

[[Эффективные системы глубинного обучения 22/23|Эффективные системы глубинного обучения]]

[[Теория_и_практика_онлайн-экспериментов_22/23 | Теория и практика онлайн-экспериментов]]

[[Децентрализованные_системы | Децентрализованные системы ]]

[[Введение_в_дифференциальную_геометрию_22/23 | Введение в дифференциальную геометрию ]]

'''ПМИ / МОП'''

[[НИС_Машинное_обучение_и_приложения_4_курс_2022/2023 | НИС Машинное обучение и приложения 4 курс]]

[[Глубинное_обучение_2022 | Глубинное обучение]]

[[Глубинное_обучение_в_анализе_графовых_данных_22/23 | Глубинное обучение в анализе графовых данных]]

[[LSML_2022/2023 | Машинное обучение для больших данных]]

'''ПМИ / РС'''

[https://osukhoroslov-hse.notion.site/2-b1c2d4487ac8478f89cd4fa427da3e27 НИС Распределенные системы]

'''ПМИ / ТИ'''

[[A_Theorist's_Toolkit_2022_2023 | A Theorist's Toolkit, AMI]]

[[OWF2022 | Односторонние функции и их применения]]

[[InfTheory2022 | Теория информации]]

[[ NIS-TCS-22-23 | НИС Теоретическая информатика ]]

| rowspan="7" |

[[Дополнительные_главы_теории_чисел|Дополнительные главы теории чисел]]

[[Дополнительные_главы_теории_вероятностей_2023|ДГТВ]]

[[Теория_вычислений_2023|Теория вычислений]]

[[Случайные_графы_2022 | Случайные графы]]

[[Майнор_Биоинформатика_1_год_2022/23 | Биоинформатика 1 год 2022/23]]

[[Майнор Биоинформатика 2 год 2022/23 | Биоинформатика 2 год]]

[[Основы_машинного_обучения | Основы машинного обучения (майнор ИАД)]]

[[Основы_глубинного_обучения | Основы глубинного обучения (майнор ИАД)]]

[[Прикладные_задачи_анализа_данных | Прикладные задачи анализа данных (майнор ИАД)]]

[[Введение_в_программирование_22/23_(майнор_ИАД) | Введение в программирование 22/23 (майнор ИАД)]]

[[Базы данных 22/23 (майнор ИАД)| Базы данных 22/23 (майнор ИАД)]]

[[Adaptation course in Discrete Math (факультатив)]]

[[Уравнения с частными производными (2022-2023)|Уравнения с частными производными (2022-2023)]]

|-
| colspan="4" style="text-align: center;" | '''ПИ'''
|-
|

[[Дискретная математика 2022-2023 | Дискретная математика ]]

[[Алгебра ПИ 2022-2023 | Алгебра]]

[[Математический анализ 2022-2023 | Математический анализ]]

||

[[Алгоритмы_и_структуры_данных_на_ПИ_2022/2023 | Алгоритмы и структуры данных на ПИ]]

[[Теория вероятностей и математическая статистика 2022-2023 | Теория вероятностей и математическая статистика]]

[[НИС_Методы_и_алгоритмы_защиты_информации_2022/2023 | НИС Методы и алгоритмы защиты информации ]]

||

[[ SPA_2022 |Принципы статического анализа исходного кода ]]

|-
| colspan="4" style="text-align: center;" | '''ПАД'''
|-
|

[[DSBA_Algebra_2022_2023 | Algebra (DSBA)]]

[[Calculus DSBA 2022/2023 | Calculus (DSBA)]]

[[English_DSBA_2022/2023 | English DSBA (DSBA)]]

[[LAaG DSBA 2022/2023 | LAaG (DSBA)]]

[[Discrete Mathematics DSBA 2022/2023 | Discrete Mathematics (DSBA)]]

[[Introduction to Programming DSBA 2022/2023 | Introduction to Programming on Python (DSBA)]]

[[Introduction to Programming 2 DSBA 2022/2023 | Introduction to Programming on C++ (DSBA)]]

[[Foundations_of_Law_DSBA_2022/2023 | Foundations of Law (DSBA)]]

[[Introduction to Economics DSBA 2022/2023]]

||

[[Discrete Mathematics 2 DSBA 2022/2023 | Discrete Mathematics 2 (DSBA)]]

[[Business_and_Management_in_Global_Context_22/23 | Business and Management in Global Context 22/23]]

[[Calculus-2]]

[[Algorithms and Data Structures DSBA 2022/2023 | Algorithms and Data Structures]]

[[Probability and Statistics (DSBA)]]

[[Introduction to Micro and Macroeconomics DSBA 2022/2023]]

[[Differential_Equations_2023 | Differential Equations ]]

[[ACOS_DSBA_2022/2023 | Computer Architecture and Operating Systems]]

||

[[tssp-2022-23 | Time series and stochastic processes 2022-23]]

[https://github.com/xenakas/dsba_ecm_2022 Elements of Econometrics]

[[BAFE-2022-23 | Business Analytics and Financial Engineering 2022-2023]]

[[Machine learning 1 DSBA 2022/2023]]

[[Databases]]

[[Optimisation methods]]

[[ MACE1_DSBA_22-23 | Research Seminar "Mathematical and Computational Engineering in Science and Business 1"]]

[[ DAF1_DSBA_22-23 | Research Seminar "Data Analysis in Finance 1"]]

||

[[ Statistics4MR-2022-23 | Statistics for Market Research 2022-23]]

[[ Strategy_22-23_DSBA | Decision Making Strategy 2022-2023]]

[[ APFM_22-23 | Asset Pricing and Financial Markets 2022-2023]]

[[ CMC_DSBA_22-23 | Core management concepts ]]

[[Machine learning 2 DSBA 2022/2023]]

[[ MACE2_DSBA_22-23 | Research Seminar "Mathematical and Computational Engineering in Science and Business 2"]]

[[ DAF2_DSBA_22-23 | Research Seminar "Data Analysis in Finance 2"]]

[[ DANS_DSBA_22-23 | Research Seminar "Data Analysis in the Natural Sciences" ]]

[[Risk-Management_DSBA_22-23 | Research Seminar "Risk-Management" ]]

[[Quantitative finance DSBA]]

|-
| colspan="4" style="text-align: center;" | '''КНАД'''
|-
|

[[Дискретная_математика_КНАД 22/23| Дискретная математика (КНАД) ]]

[[Математический_анализ_КНАД 22/23| Математический анализ (КНАД) ]]

[[Линейная_алгебра_КНАД 22/23| Линейная алгебра (КНАД) ]]

[[Программирование_на_Python_КНАД 22/23| Программирование на Python (КНАД) ]]

[[Алгоритмы и структуры данных - 1 2022/2023 2 модуль (ЭАД КНАД ВСН) | Алгоритмы и структуры данных 2022/2023 2 модуль (ЭАД КНАД ВСН)]]

[[Алгоритмы и структуры данных - 1 2022/2023 4 модуль (ЭАД КНАД ВСН) | Алгоритмы и структуры данных 2022/2023 4 модуль (ЭАД КНАД ВСН)]]

[[Python_для_сбора_и_анализа_данных_КНАД_22/23 | Python для сбора и анализа данных (КНАД)]]

[[Программирование_на_С++_КНАД_22/23 | Программирование на С++]]

[[ИПР_КНАД_23 | Инструменты промышленной разработки]]

||

[[Алгебра КНАД 2022/2023 | Алгебра]]

[[Математический_анализ -- 2 (2022/23) | Математический анализ -- 2]]

[[Алгоритмы_и_структуры_данных_2_КНАД 22/23 | Алгоритмы и структуры данных 2]]

[[Теория_вероятностей_КНАД 22/23 | Теория вероятностей ]]

[[ACOS_COMPDS_2022/2023 | Архитектура Компьютера и Операционные Системы]]

[[Математическая_статистика_КНАД_22/23 | Математическая статистика]]

[[Численные_методы_КНАД_22/23 | Численные методы]]

||

||

|}

== Курсы в рамках проекта [https://www.hse.ru/dataculture/ Data Culture]==

{| class="wikitable"
|-
! Осенний семестр !! Весенний семестр

|-
|
[[Цифровая грамотность для международных отношений 22/23]] (1 курс, 1-2 модуль)

[[Основы анализа данных в международных отношениях 22/23]] (2 курс, 1-2 модуль)

[[Основы программирования на Python осень 2022 матфак]] (2-4 курс бакалавриата или 1-2 курс магистратуры, 1-2 модуль)

[[Анализ данных 2022 (ОП "Журналистика" и "Медиакоммуникации") | Анализ данных]] (2 курс, 1-2 модуль)

[[Машинное обучение (ФЭН) - 2022-2023]] (3,4 курс, 1-2 модули)
|
[[Прикладное программное обеспечение (основы Python) для социологии 2022/23]] (1 курс, 3 модуль)

[[Программирование на языке Python для ГосМунУпр 2022/23 | Программирование на языке Python для гос. и муницип. управления 2022/23]] (1 курс, 3-4 модуль)

[[Основы программирования в Python для политологии 2022/23]] (2 курс, 3-4 модули)

[[Основы программирования в Python для школы дизайна 2022/23]] (2 курс, 3-4 модули)

[[Основы программирования в Python для ВШБ 2022/23]] (2 курс, 3 модуль)

[[Программирование на Python для МО 22/23]] (1 курс, 3 модуль)

[[Машинное обучение 22/23 Матфак]] (3 курс, 3-4 модули)

[[Анализ Данных 22/23 Политологи]] (3 курс, 3-4 модули)

[[Введение в Data Science для ВШБ 2022/23]] (2 курс, 4 модуль)
|}

== Курсы магистратуры ФКН ==
{| class="wikitable"
|-
| [[Ликбез_разработчика_(2022) | Ликбез разработчика]] || Машинное обучение и высоконагруженные системы|| 1 year
|-
| [[RecSys_2022_2023 | Рекомендательные системы]] || ФТИАД || 2 year
|-
| [[Linear_Algebra_for_Data_Science_(2022) | Linear Algebra for Data Science]] || Data Science || 1 year
|-
| [[Ordered_Sets_in_Data_Analysis_(2022) | Ordered Sets in Data Analysis]] || Data Science || 1 year
|-
| [[ NIS-TCS-22-23 | НИС Теоретическая информатика ]] || Науки о данных, специализация ТИ ||
|-
| [[Mathematical Foundations of Probability theory | Mathematical foundations of probability theory]] || Math of Machine Learning || 1 year
|-
| [[Markov Chains | Markov Chains]] || Math of Machine Learning || 1 year
|-
| [[Reinforcement_learning_2022_2023 | Математические основы обучения с подкреплением ]] || Math of Machine Learning || 2 year
|-
| [[Theoretical computer science spring 2023 | Theoretical computer science spring 2023]] || PhD || 1 year
|}

== Курсы других факультетов ==

{| class="wikitable"
|-
! Дисциплина !! Курс !! Период
|-
| [[econ_probability_2022-23|Теория вероятностей и математическая статистика]] || фэн, 2 курс || 1-4 модуль
|-
| [[econ_metrics_2022-23|Эконометрика ип 2022-23]] || фэн, 3 курс || 1-4 модуль
|-
| [[econ_dynamic_opt_2022-23|Динамическая оптимизация в экономике и финансах]] || фэн, 3-4 курс || 1-2 модуль
|-
| [[icef-dse-2022-23|Data Science for Economics 2022-23]] ||icef, 3-4 year || 1-2 module
|-
| [[Лицей ВШЭ. Практикум по программированию 10 класс 2022-23 | Лицей ВШЭ. Практикум по программированию 10 класс]] || Лицей ВШЭ || 10 класс
|-
| [[icef-scalc-2022-fall|Stochastic Calculus Fall 2022]] ||icef, master 1 year || 2 module
|-
| [[econ_metrics_smfe_2022-23|Эконометрика (продвинутый уровень) 2022-23]] || фэн, магистратура, 1 курс || 3-4 модуль
|}

= Архив до 2021/22 учебного года включительно =
[[Wiki ФКН/Архив]]

Методы предобучения без учителя 22/23

2023-05-24T09:32:46Z

Amshabalin:

== О курсе ==

С развитием глубинного обучения стало появляться все больше новых задач и наборов данных, с помощью которых можно учить модели. Однако, в то время как собрать данные можно алгоритмически без особого труда, их разметка является очень трудоемкой и дорогостоящей задачей. В связи с этим появилась потребность обучать модели на данных без разметки. Именно так зародилась парадигма self-supervised learning, о которой и пойдет речь в данном курсе. Слушатели курса познакомятся как со старыми, так и с самыми современными подходами для предобучения на неразмеченных данных и поработают с различными доменами: от изображений и текстов до аудио и графов.

== Расписание ==

Занятия проводятся оффлайн по вторникам.

Лекция: 11:10 - 12:30

Семинары: 13:00 - 14:20

== Полезные ссылки ==

Чат курса в telegram: https://t.me/+D4_1rqQttEwwODhi

Канал с объявлениями в telegram: https://t.me/+ADIqh4XT1qNkMDEy

Плейлист с записями лекций: https://www.youtube.com/playlist?list=PLEwK9wdS5g0rg9Cf9Tsfeuesv5H6XDdeY.

github курса: https://github.com/ashaba1in/hse-ssl

Anytask: https://anytask.org/course/1001, инвайт: K3cHMRT

== Преподаватели и ассистенты ==

{| class="wikitable"
|-
! Преподаватели !! Ассистенты
|-
| [https://t.me/isadrtdinov Ильдус Садртдинов] || [https://t.me/Birshert Алексей Биршерт]
|-
| [https://t.me/amshabalin Александр Шабалин] ||
|-
|}

== Домашние задания ==

'''Домашнее задание №1:''' Задание посвящено реализации классических методов предобучения.

Ссылка на [https://docs.google.com/document/d/1EbD5fTB3uMYdqxhRj-_CLYpMuEQSJmBcEhFhoRPB9cY/edit?usp=sharing условие], ссылка на [https://docs.google.com/document/d/1EbD5fTB3uMYdqxhRj-_CLYpMuEQSJmBcEhFhoRPB9cY/edit?usp=sharing соревнование] в kaggle.

'''Домашнее задание №2:''' Задание посвящено контрастным методам для изображений.

Ссылка на [https://github.com/ashaba1in/hse-ssl/blob/main/homeworks/homework2_contrastive.ipynb ноутбук] с заданием.

'''Домашнее задание №3:''' Задание посвящено предобучению языковых моделей.

Ссылка на [https://github.com/ashaba1in/hse-ssl/blob/main/homeworks/homework3_lms/homework3_lms.ipynb ноутбук] с заданием.

== Формула оценок ==

Определим накопленную оценку как ''Накоп'' = 1/4 * [ДЗ1 + ДЗ2 + ДЗ3 + (МДЗ1 + МДЗ2) / 2].

''Итог'' = ''Округление''(0.7 * Накоп + 0.3 * Э). Округление арифметическое.

* ДЗ — оценка за домашнее задание
* МДЗ — оценка за мини домашнее задание
* Э — оценка за экзамен

Если ''Накоп'' >= 8, то студент может получить ''Округление''(''Накоп'') в качестве итоговой оценки, не приходя на экзамен.

'''Формат экзамена''': устный.

Методы предобучения без учителя 22/23

2023-03-02T10:05:55Z

Amshabalin: добавлено дз №3

== О курсе ==

С развитием глубинного обучения стало появляться все больше новых задач и наборов данных, с помощью которых можно учить модели. Однако, в то время как собрать данные можно алгоритмически без особого труда, их разметка является очень трудоемкой и дорогостоящей задачей. В связи с этим появилась потребность обучать модели на данных без разметки. Именно так зародилась парадигма self-supervised learning, о которой и пойдет речь в данном курсе. Слушатели курса познакомятся как со старыми, так и с самыми современными подходами для предобучения на неразмеченных данных и поработают с различными доменами: от изображений и текстов до аудио и графов.

== Расписание ==

Занятия проводятся оффлайн по вторникам.

Лекция: 11:10 - 12:30

Семинары: 13:00 - 14:20

== Полезные ссылки ==

Чат курса в telegram: https://t.me/+D4_1rqQttEwwODhi

Канал с объявлениями в telegram: https://t.me/+ADIqh4XT1qNkMDEy

Плейлист с записями лекций: https://www.youtube.com/playlist?list=PLEwK9wdS5g0rg9Cf9Tsfeuesv5H6XDdeY.

Anytask: https://anytask.org/course/1001, инвайт: K3cHMRT

== Преподаватели и ассистенты ==

{| class="wikitable"
|-
! Преподаватели !! Ассистенты
|-
| [https://t.me/isadrtdinov Ильдус Садртдинов] || [https://t.me/Birshert Алексей Биршерт]
|-
| [https://t.me/amshabalin Александр Шабалин] ||
|-
|}

== Домашние задания ==

'''Домашнее задание №1:''' Задание посвящено реализации классических методов предобучения.

Ссылка на [https://docs.google.com/document/d/1EbD5fTB3uMYdqxhRj-_CLYpMuEQSJmBcEhFhoRPB9cY/edit?usp=sharing условие], ссылка на [https://docs.google.com/document/d/1EbD5fTB3uMYdqxhRj-_CLYpMuEQSJmBcEhFhoRPB9cY/edit?usp=sharing соревнование] в kaggle.

'''Домашнее задание №2:''' Задание посвящено контрастным методам для изображений.

Ссылка на [https://github.com/ashaba1in/hse-ssl/blob/main/homeworks/homework2_contrastive.ipynb ноутбук] с заданием.

'''Домашнее задание №3:''' Задание посвящено предобучению языковых моделей.

Ссылка на [https://github.com/ashaba1in/hse-ssl/blob/main/homeworks/homework3_lms/homework3_lms.ipynb ноутбук] с заданием.

== Формула оценок ==

Определим накопленную оценку как ''Накоп'' = 1/4 * [ДЗ1 + ДЗ2 + ДЗ3 + (МДЗ1 + МДЗ2) / 2].

''Итог'' = ''Округление''(0.7 * Накоп + 0.3 * Э). Округление арифметическое.

* ДЗ — оценка за домашнее задание
* МДЗ — оценка за мини домашнее задание
* Э — оценка за экзамен

Если ''Накоп'' >= 8, то студент может получить ''Округление''(''Накоп'') в качестве итоговой оценки, не приходя на экзамен.

'''Формат экзамена''': устный.

Методы предобучения без учителя 22/23

2023-01-23T11:58:28Z

Amshabalin:

== О курсе ==

С развитием глубинного обучения стало появляться все больше новых задач и наборов данных, с помощью которых можно учить модели. Однако, в то время как собрать данные можно алгоритмически без особого труда, их разметка является очень трудоемкой и дорогостоящей задачей. В связи с этим появилась потребность обучать модели на данных без разметки. Именно так зародилась парадигма self-supervised learning, о которой и пойдет речь в данном курсе. Слушатели курса познакомятся как со старыми, так и с самыми современными подходами для предобучения на неразмеченных данных и поработают с различными доменами: от изображений и текстов до аудио и графов.

== Расписание ==

Занятия проводятся оффлайн по вторникам.

Лекция: 11:10 - 12:30

Семинары: 13:00 - 14:20

== Полезные ссылки ==

Чат курса в telegram: https://t.me/+D4_1rqQttEwwODhi

Канал с объявлениями в telegram: https://t.me/+ADIqh4XT1qNkMDEy

Плейлист с записями лекций: https://www.youtube.com/playlist?list=PLEwK9wdS5g0rg9Cf9Tsfeuesv5H6XDdeY.

Anytask: https://anytask.org/course/1001, инвайт: K3cHMRT

== Преподаватели и ассистенты ==

{| class="wikitable"
|-
! Преподаватели !! Ассистенты
|-
| [https://t.me/isadrtdinov Ильдус Садртдинов] || [https://t.me/Birshert Алексей Биршерт]
|-
| [https://t.me/amshabalin Александр Шабалин] ||
|-
|}

== Домашние задания ==

'''Домашнее задание №1:''' Задание посвящено реализации классических методов предобучения.

Ссылка на [https://docs.google.com/document/d/1EbD5fTB3uMYdqxhRj-_CLYpMuEQSJmBcEhFhoRPB9cY/edit?usp=sharing условие], ссылка на [https://docs.google.com/document/d/1EbD5fTB3uMYdqxhRj-_CLYpMuEQSJmBcEhFhoRPB9cY/edit?usp=sharing соревнование] в kaggle.

== Формула оценок ==

Определим накопленную оценку как ''Накоп'' = 1/4 * [ДЗ1 + ДЗ2 + ДЗ3 + (МДЗ1 + МДЗ2) / 2].

''Итог'' = ''Округление''(0.7 * Накоп + 0.3 * Э). Округление арифметическое.

* ДЗ — оценка за домашнее задание
* МДЗ — оценка за мини домашнее задание
* Э — оценка за экзамен

Если ''Накоп'' >= 8, то студент может получить ''Округление''(''Накоп'') в качестве итоговой оценки, не приходя на экзамен.

'''Формат экзамена''': устный.

Методы предобучения без учителя 22/23

2023-01-19T12:52:20Z

Amshabalin:

== О курсе ==

С развитием глубинного обучения стало появляться все больше новых задач и наборов данных, с помощью которых можно учить модели. Однако, в то время как собрать данные можно алгоритмически без особого труда, их разметка является очень трудоемкой и дорогостоящей задачей. В связи с этим появилась потребность обучать модели на данных без разметки. Именно так зародилась парадигма self-supervised learning, о которой и пойдет речь в данном курсе. Слушатели курса познакомятся как со старыми, так и с самыми современными подходами для предобучения на неразмеченных данных и поработают с различными доменами: от изображений и текстов до аудио и графов.

== Расписание ==

Занятия проводятся оффлайн по вторникам.

Лекция: 11:10 - 12:30

Семинары: 13:00 - 14:20

== Полезные ссылки ==

Чат курса в telegram: https://t.me/+D4_1rqQttEwwODhi

Канал с объявлениями в telegram: https://t.me/+ADIqh4XT1qNkMDEy

Плейлист с записями лекций: https://www.youtube.com/playlist?list=PLEwK9wdS5g0rg9Cf9Tsfeuesv5H6XDdeY.

== Преподаватели и ассистенты ==

{| class="wikitable"
|-
! Преподаватели !! Ассистенты
|-
| [https://t.me/isadrtdinov Ильдус Садртдинов] || [https://t.me/Birshert Алексей Биршерт]
|-
| [https://t.me/amshabalin Александр Шабалин] ||
|-
|}

== Домашние задания ==

'''Домашнее задание №1:''' Задание посвящено реализации классических методов предобучения.

Ссылка на [https://docs.google.com/document/d/1EbD5fTB3uMYdqxhRj-_CLYpMuEQSJmBcEhFhoRPB9cY/edit?usp=sharing условие], ссылка на [https://docs.google.com/document/d/1EbD5fTB3uMYdqxhRj-_CLYpMuEQSJmBcEhFhoRPB9cY/edit?usp=sharing соревнование] в kaggle.

== Формула оценок ==

Определим накопленную оценку как ''Накоп'' = 1/4 * [ДЗ1 + ДЗ2 + ДЗ3 + (МДЗ1 + МДЗ2) / 2].

''Итог'' = ''Округление''(0.7 * Накоп + 0.3 * Э). Округление арифметическое.

* ДЗ — оценка за домашнее задание
* МДЗ — оценка за мини домашнее задание
* Э — оценка за экзамен

Если ''Накоп'' >= 8, то студент может получить ''Округление''(''Накоп'') в качестве итоговой оценки, не приходя на экзамен.

'''Формат экзамена''': устный.

Методы предобучения без учителя 22/23

2023-01-11T13:26:02Z

Amshabalin:

Методы предобучения без учителя 22/23

2023-01-11T13:00:14Z

Amshabalin:

Методы предобучения без учителя 22/23

2023-01-11T12:59:02Z

Amshabalin:

Методы предобучения без учителя 22/23

2023-01-11T12:51:51Z

Amshabalin:

Методы предобучения без учителя 22/23

2023-01-11T12:47:48Z

Amshabalin:

Методы предобучения без учителя 22/23

2023-01-11T12:47:41Z

Amshabalin:

Методы предобучения без учителя 22/23

2023-01-11T12:39:10Z

Amshabalin:

Методы предобучения без учителя 22/23

2023-01-11T12:38:00Z

Amshabalin: Добавлена вся информация о курсе

Методы предобучения без учителя 22/23

2023-01-11T12:24:00Z

Amshabalin: Новая страница: «Методы предобучения без учителя 22/23»

Методы предобучения без учителя 22/23