Форма обучения: очная с применением дистанционных технологий
Объем программы: 8 ак.ч.
Продолжительность обучения: 2 дня (4 ак.ч. в день)
Дни занятий: 12, 13 сентября
Выдаваемый документ: Сертификат о повышении квалификации
Старт обучения: 12 сентября 2022
Стоимость обучения: 15000 рублей

Краткое описание программы:
Вы научитесь дообучать Трансформеры для типичных задач НЛП, узнаете как устроена архитектура изнутри и какие современные тренды её развития.

Содержание программы:
Модуль 1. Устройство трансформеров и его дообучение (4 ак.часа)
Теория:

• Универсальность: почему стоит изучить что такое трансформер
• Постановка решаемых задач: translation, next token prediction, mlm
• Seq2seq: что было до трансформера кратко
• Общий вид архитектуры encoder-decoder
• Формирование словаря и кодирование текста
• Позиционное кодирование
• Attention: encoder-decoder, self, multi-head (scaled dot product)
• Transformer encoder: Multihead & skip connection & layer norm & feed forward
• Transformer decoder: masking & encoder-decoder attention
• Линейный выходной слой и функция потерь
• Gpt
• Bert

Практика:

• Дообучение предобученной модели для задачи классификации
• Использование предобученной модели для задачи кластеризации текста и тематического моделирования

Модуль 2. Трансформерные архитектуры (4 ак.часа)
Теория:

• Интерпретация качества трансформера (контекстуализация текста)
• Модификации для NLP: albert, roberta, electra, t5
• Тренды и направления трансформерологии
• Модификации для CV: патчинг + Vit, Swin, Coca
• Модификации для звука: Wav2Vec 1&2
• Модификации для Rl: decision transformer

Практика:
Дообучение трансформера для задачи распознавания именованных сущностей

Целевая аудитория курса:

• Дата-сайентисты
• Инженеры машинного обучения
• Разработчики

На курсе вы:

1. Познакомитесь с основными трендами Natural Language Processing (NLP) 2018-2021 годов (все модели из интенсива доступны для дообучения и свободного использования на практике, часть из них предобучена для русского языка).
2. Будете разбираться, как устроена архитектура (в теории и на практике) в ее реализации с нуля.
3. Научитесь дообучать Трансформеры для типичных задач НЛП.