Интенсив
Transformer:
работа с текстом
работа с текстом
Вы научитесь дообучать Трансформеры для типичных задач НЛП, узнаете как устроена архитектура изнутри и современные тренды её развития.
15 000 руб
Заочный курс
Дата-сайентисты
Для тех, кто уже знаком с устройством и принципом работы нейросетей и хочет расширить свои знания и навыки в работе с Transformer с помощью практических заданий, основанных на реальных примерах
Для кого этот интенсив:
Инженеры машинного обучения
Разработчики
Длительность
5 часов
Формат
Заочный
Сертификат о прохождении курса
5 часов
Формат
Заочный
Сертификат о прохождении курса
Предзапись на курс
Вы в числе первых получите полную программу курса и узнаете о дате его старта
Нажимая кнопку «Отправить», вы соглашаетесь с условиями обработки персональных данных
Текст
для таких задач, как классификация текста, извлечение информации, ответы на вопросы, обобщение, перевод, создание текста на более чем 100 языках.
Изображения
для таких задач, как классификация изображений, обнаружение объектов и сегментация.
Аудио
для таких задач, как распознавание речи и классификация аудио.
Трансформеры - это самая продвинутая архитектура в области обработки естественной речи (NLP) на сегодняшний день, и представляют собой тысячи предварительно обученных моделей для выполнения задач в различных модальностях, таких как текст, зрение и звук.
Эти модели могут применяться на:
Видео
для таких задач, как классификация видео и визуальные ответы на вопросы.
Необходимый уровень навыков и знаний (входные требования):
Python (основные библиотеки: numpy, pandas) и умение на нем программировать
Machine Learning и Deep Learning - нужно обладать опытом построения моделей
Статистика и линейная алгебра - матрицы, логистическая регрессия, теория вероятностей
Основы Pytorch
Презентация интенсива от преподавателя
В результате вы:
Познакомитесь с основными трендами Natural Language Processing (NLP) 2018-2021 годов (все модели из интенсива доступны для дообучения и свободного использования на практике, часть из них предобучена для русского языка)
Будете разбираться, как устроена архитектура (в теории и на практике) в ее реализации с нуля
Научитесь дообучать Трансформеры для типичных задач НЛП
Как мы учим:
Закрепление пройденных материалов
Условием успешного окончания курса является выполнение проверочных заданий. Команда курса проверит задание и даст обратную связь.
Записи занятий
Вы сможете всегда посмотреть все занятия в записи, чтобы лучше усвоить пройденную тему.
Общение и поддержка 24/7
Вы будете добавлены в чат, где сможете общаться со своими сокурсниками, куратором школы и преподавателем: задавать вопросы, делиться опытом.
Акцент на навыках
Вас ждёт много практической работы, разбор кейсов
Программа интенсива
1. Вступление к интенсиву
2. План занятия и повторение
3. Высокоуровневое представление о работе модели
4. Self Attention
5. Multi head attention
6. Позиционное кодирование
7. Skip Connection. Decoder. FFN
8. Трансформер в реализации
9. Токенизация и итоги
2. План занятия и повторение
3. Высокоуровневое представление о работе модели
4. Self Attention
5. Multi head attention
6. Позиционное кодирование
7. Skip Connection. Decoder. FFN
8. Трансформер в реализации
9. Токенизация и итоги
1. Вступление. План занятия
2. Данные BERT. GPT
3. Классификация
4. Общие тренды
5. Архитектура 2017 - сейчас
6. Ner практика
7. Подведение итогов
2. Данные BERT. GPT
3. Классификация
4. Общие тренды
5. Архитектура 2017 - сейчас
6. Ner практика
7. Подведение итогов
Наш преподаватель
Илья Тихонов
Аспирант кафедры ЭВМ МФТИ
Выпускник факультета радиотехники и кибернетики, МФТИ Занимается разработкой аналитических продуктовых и систем с применением алгоритмов машинного обучения для задач тематического моделирования и кластеризации для компаний на заказ и в рамках работы в Лаборатории Инноватики МФТИ.
Тема диссертации «Формальный вывод знаний для адаптивных систем технического зрения»
Выпускник факультета радиотехники и кибернетики, МФТИ Занимается разработкой аналитических продуктовых и систем с применением алгоритмов машинного обучения для задач тематического моделирования и кластеризации для компаний на заказ и в рамках работы в Лаборатории Инноватики МФТИ.
Тема диссертации «Формальный вывод знаний для адаптивных систем технического зрения»
Андрей Михайлович Райгородский о ФПМИ МФТИ
“Физтех-школа прикладной математики и информатики (ФПМИ) МФТИ – безусловно ведущий мировой центр науки и образования в области математики и информатики. Особенность нашей школы заключается в том, что она сочетает в себе активную научную деятельность и тесную связь с индустрией. На сегодняшний день школа включает в себя 28 кафедр и 22 лаборатории от ключевых академических институтов и ключевых представителей IT-индустрии: Яндекс, Тинькофф, Сбербанк, VK, Abbyy, 1C, Huawei и другие.
Наша школа и МФТИ в целом гордимся своими выпускниками, например, мы занимаем первое место в рейтинге вузов России по уровню зарплат занятых в IT-отрасли специалистов "
Наша школа и МФТИ в целом гордимся своими выпускниками, например, мы занимаем первое место в рейтинге вузов России по уровню зарплат занятых в IT-отрасли специалистов "
Доктор физико-математических наук, профессор, директор Физтех-школы прикладной математики и информатики (ФПМИ)
Стоимость обучения -
Подать заявку на интенсив
Нажимая кнопку «Отправить», вы соглашаетесь с условиями обработки персональных данных
15 000 ₽