Transformer: работа с текстом

Интенсив

Transformer:
работа с текстом

Вы научитесь дообучать Трансформеры для типичных задач НЛП, узнаете как устроена архитектура изнутри и современные тренды её развития.

15 000 руб

ноябрь 2022

Предзапись

Дата-сайентисты

Для тех, кто уже знаком с устройством и принципом работы нейросетей и хочет расширить свои знания и навыки в работе с Transformer с помощью практических заданий, основанных на реальных примерах

Для кого этот интенсив:

Инженеры машинного обучения

Разработчики

Длительность
2 дня, 8 ак.ч

Формат
ZOOM

Время занятий
19.00-22.00

Сертификат о повышении квалификации

Текст

для таких задач, как классификация текста, извлечение информации, ответы на вопросы, обобщение, перевод, создание текста на более чем 100 языках.

Изображения

для таких задач, как классификация изображений, обнаружение объектов и сегментация.

Аудио

для таких задач, как распознавание речи и классификация аудио.

Трансформеры - это самая продвинутая архитектура в области обработки естественной речи (NLP) на сегодняшний день, и представляют собой тысячи предварительно обученных моделей для выполнения задач в различных модальностях, таких как текст, зрение и звук.

Эти модели могут применяться на:

Видео

для таких задач, как классификация видео и визуальные ответы на вопросы.

Необходимый уровень навыков и знаний (входные требования):

Python (основные библиотеки: numpy, pandas) и умение на нем программировать

Machine Learning и Deep Learning - нужно обладать опытом построения моделей

Статистика и линейная алгебра - матрицы, логистическая регрессия, теория вероятностей

Основы Pytorch

Презентация интенсива от преподавателя

В результате вы:

Познакомитесь с основными трендами Natural Language Processing (NLP) 2018-2021 годов (все модели из интенсива доступны для дообучения и свободного использования на практике, часть из них предобучена для русского языка)

Будете разбираться, как устроена архитектура (в теории и на практике) в ее реализации с нуля

Научитесь дообучать Трансформеры для типичных задач НЛП

Программа интенсива

Теория:

Универсальность: почему стоит изучить что такое трансформер
Постановка решаемых задач: translation, next token prediction, mlm
Seq2seq: что было до трансформера кратко
Общий вид архитектуры encoder-decoder
Формирование словаря и кодирование текста
Позиционное кодирование
Attention: encoder-decoder, self, multi-head (scaled dot product)
Transformer encoder: Multihead & skip connection & layer norm & feed forward
Transformer decoder: masking & encoder-decoder attention
Линейный выходной слой и функция потерь
Gpt
Bert

Практика:

Дообучение предобученной модели для задачи классификации
Использование предобученной модели для задачи кластеризации текста и тематического моделирования

Теория:

Интерпретация качества трансформера (контекстуализация текста)
Модификации для NLP: albert, roberta, electra, t5
Тренды и направления трансформерологии
Модификации для CV: патчинг + Vit, Swin, Coca
Модификации для звука: Wav2Vec 1&2
Модификации для Rl: decision transformer

Практика:
Дообучение трансформера для задачи распознавания именованных сущностей

Recap: seq2seq
Высокоуровневое понимание работы трансформера
Self-attention
Multi-head attention
Positional encoding
Skip connection & layer norm
Decoder и masking
Elmo
OpenAI transformer
Bert
Токенизаторы

Анализ контекстуальности и на что смотрим attention
Архитектуры

Наш преподаватель

Илья Тихонов

Аспирант кафедры ЭВМ МФТИ
Выпускник факультета радиотехники и кибернетики, МФТИ Занимается разработкой аналитических продуктовых и систем с применением алгоритмов машинного обучения для задач тематического моделирования и кластеризации для компаний на заказ и в рамках работы в Лаборатории Инноватики МФТИ.

Тема диссертации «Формальный вывод знаний для адаптивных систем технического зрения»

Андрей Михайлович Райгородский о ФПМИ МФТИ

“Физтех-школа прикладной математики и информатики (ФПМИ) МФТИ – безусловно ведущий мировой центр науки и образования в области математики и информатики. Особенность нашей школы заключается в том, что она сочетает в себе активную научную деятельность и тесную связь с индустрией. На сегодняшний день школа включает в себя 28 кафедр и 22 лаборатории от ключевых академических институтов и ключевых представителей IT-индустрии: Яндекс, Тинькофф, Сбербанк, VK, Abbyy, 1C, Huawei и другие.

Наша школа и МФТИ в целом гордимся своими выпускниками, например, мы занимаем первое место в рейтинге вузов России по уровню зарплат занятых в IT-отрасли специалистов "

Доктор физико-математических наук, профессор, директор Физтех-школы прикладной математики и информатики (ФПМИ)

4 факт

3 факт

2 факт

В общих рейтингах лучших университетов мира Times Higher Education и Quacquarelli Symonds МФТИ занимает первое место среди технических вузов России

Десять выпускников МФТИ вошли в список Forbes

Среди молодых IT-специалистов, окончивших вузы в 2014-2019 годах, самые высокие зарплаты - 180 тыс. рублей в месяц - у выпускников Московского физико-технического института. Таковы результаты ежегодного исследования, проведенного порталом Superjob

Факты о МФТИ - нам есть, чем гордиться!

1 факт

МФТИ вошел в 50 лучших вузов мира по физике и в 100 лучших по математике по результатам рейтинга QS World University Rankings by Subject 2021

5 факт

2 выпускника МФТИ стали Нобелевскими лауреатами по физике в 2010 году

Стоимость обучения -

Подать заявку на интенсив

Нажимая кнопку «Отправить», вы соглашаетесь с условиями обработки персональных данных

15 000 ₽