Форма обучения: очная с применением дистанционных технологий
Объем программы: 8 ак.ч.
Продолжительность обучения: 2 дня (4 ак.ч. в день)
Дни занятий: 12, 13 сентября
Выдаваемый документ: Сертификат о повышении квалификации
Старт обучения: 12 сентября 2022
Стоимость обучения: 15000 рублей
Краткое описание программы:Вы научитесь дообучать Трансформеры для типичных задач НЛП, узнаете как устроена архитектура изнутри и какие современные тренды её развития.
Содержание программы:
Модуль 1.
Устройство трансформеров и его дообучение (4 ак.часа)Теория: - Универсальность: почему стоит изучить что такое трансформер
- Постановка решаемых задач: translation, next token prediction, mlm
- Seq2seq: что было до трансформера кратко
- Общий вид архитектуры encoder-decoder
- Формирование словаря и кодирование текста
- Позиционное кодирование
- Attention: encoder-decoder, self, multi-head (scaled dot product)
- Transformer encoder: Multihead & skip connection & layer norm & feed forward
- Transformer decoder: masking & encoder-decoder attention
- Линейный выходной слой и функция потерь
- Gpt
- Bert
Практика: - Дообучение предобученной модели для задачи классификации
- Использование предобученной модели для задачи кластеризации текста и тематического моделирования
Модуль 2.
Трансформерные архитектуры (4 ак.часа)Теория: - Интерпретация качества трансформера (контекстуализация текста)
- Модификации для NLP: albert, roberta, electra, t5
- Тренды и направления трансформерологии
- Модификации для CV: патчинг + Vit, Swin, Coca
- Модификации для звука: Wav2Vec 1&2
- Модификации для Rl: decision transformer
Практика:Дообучение трансформера для задачи распознавания именованных сущностей
Целевая аудитория курса:- Дата-сайентисты
- Инженеры машинного обучения
- Разработчики
На курсе вы: - Познакомитесь с основными трендами Natural Language Processing (NLP) 2018-2021 годов (все модели из интенсива доступны для дообучения и свободного использования на практике, часть из них предобучена для русского языка).
- Будете разбираться, как устроена архитектура (в теории и на практике) в ее реализации с нуля.
- Научитесь дообучать Трансформеры для типичных задач НЛП.