Старт в
Data Engineering
КУРС
от ФПМИ МФТИ
72 000
  • Автоматизируете процессы сбора, очистки и анализа реальных данных (ETL)
  • Освоите инструменты: SQL, Git, базовый Python
  • Научитесь работать с хранилищами данных (DWH)
Реальный проект
Онлайн в Zoom
18 вебинаров
Старт 14 сентября 2022
Подписка на рассылку новостей ФПМИ МФТИ
Хотите быть в курсе предстоящих событий и новых программ?
Тогда подпишитесь на нашу рассылку.
Подписка на новости
Для кого курс?
Аналитики
  • Получите навыки работы с хранилищами данных.
  • Сможете автоматизировать сбор, трансформацию и очистку данных с помощью SQL и Python.
  • Повысите компетенции для перехода в роль data engineer или data scientist.
Начинающие
IT-специалисты
  • Получите навыки работы с хранилищами данных, SQL, базовым Python и репозиторием Git.
  • Набьете руку в сборе, очистке и хранении данных.
  • Сможете дальше развиваться как data engineer или аналитик.
Начинающие разработчики
  • Научитесь проектировать и реализовывать процессы сбора, очистки, хранения и анализа данных.
  • Получите навыки работы с хранилищами данных, SQL, Python и Git.
  • Повысите компетенции для перехода в роль data engineer или data scientist.
Кто может получить дополнительное профессиональное образование
Курсы повышения квалификации или профессиональной переподготовки могут проходить две категории слушателей:

  • те, у кого уже есть среднее или высшее профессиональное образование;
  • те, кто еще учится в колледжах или вузах и не получил диплом.
Студенты колледжей и вузов могут параллельно учиться по программам ДПО, но удостоверения о повышении квалификации или дипломы о профессиональной переподготовке им выдадут только после того, как будет окончен курс основного образования и на руках у выпускника будет диплом вуза или колледжа.

Описание курса
На курсе мы научимся настраивать и автоматизировать процессы сбора, трансформации, очистки, хранения и первичного анализа данных с помощью SQL и базового Python на примерах реальных задач (примеры задач можно посмотреть в программе ниже).

Во втором блоке курса начинается работа над выпускным проектом, для которого есть два варианта выполнения:

  • взять задачу, заранее подготовленную преподавателями;
  • согласовать собственную тему, например, связанную с работой слушателя.
На проекте, который подготовили преподаватели, слушателей ждет работа с реальными транзакционными банковскими данными. C помощью Python и SQL слушатели реализуют:

  • собственное хранилище данных – DWH;
  • процесс сбора, очистки, трансформации и хранения данных;
  • систему автоматического поиска мошеннических операций (AntiFraud-система).
Почему Data Engineering?
1
Спрос
- любая компания, работающая с данными, нуждается в таком специалисте
2
Data Engineering
– фундамент любой data-driven компании
3
Низкий порог входа
- не требуется специальных IT навыков и высоких математических знаний
4
Зарплаты
- одна из высокооплачиваемых должностей в IT, поэтому курс окупится в первый месяц работы по данной специальности
14 сентября 2022 года
среда 19:00-22:00
суббота 10:00-13:00
13 недель,
8 ак.ч. в неделю
Старт
Дни занятий
Длительность
Как проходит обучение?
Онлайн вебинары
с преподавателем
Формат
Какие преимущества?
Живые вебинары с преподавателем МФТИ в Zoom
Вебинары записываются и доступны всегда
Материалы (запись занятия, презентация и конспект) навсегда доступны в личном кабинете
Домашнее задание раз в неделю (~3 часа)
Обратная связь на домашние задания
Постоянная поддержка от преподавателей в чате курса
В конце курса выпускной прикладной проект
Удостоверение государственного образца о повышении квалификации
"Физтех-школа прикладной математики и информатики (ФПМИ) МФТИ – безусловно ведущий мировой центр науки и образования в области математики и информатики. Особенность нашей школы заключается в том, что она сочетает в себе активную научную деятельность и тесную связь с индустрией. На сегодняшний день школа включает в себя 28 кафедр и 22 лаборатории от ключевых академических институтов и ключевых представителей IT-индустрии: Яндекс, Тинькофф, Сбербанк, VK, Abbyy, 1C, Huawei и другие.

Наша школа и МФТИ в целом гордимся своими выпускниками, например, мы занимаем первое место в рейтинге вузов России по уровню зарплат занятых в IT-отрасли специалистов "

Доктор физико-математических наук, профессор, директор Физтех-школы прикладной математики и информатики (ФПМИ).
Андрей Райгородский о ФПМИ МФТИ

Московский физико-технический институт — ведущий технический вуз страны, который входит в престижные рейтинги лучших университетов мира.

Здесь обучают фундаментальной и прикладной физике, математике, информатике, химии, биологии, компьютерным технологиям и другим естественным и точным наукам.

Сегодня Физтех - это передовой научный центр. В МФТИ организована научная деятельность, посвященная в том числе проблемам старения и возрастных заболеваний, прикладной и фундаментальной физике, двумерным материалам, квантовым технологиям, искусственному интеллекту, геномной инженерии, арктическим и космическим исследованиям.

Расписание курсов ФПМИ МФТИ 2021/2022
Преподаватели
Антон Поляков
Кандидат физико-математических наук. Тимлид в GlowByte Аналитические решения – ведущем интеграторе решений DWH, BI и Big data в России. Преподаватель на курсах МФТИ.
Программа курса
БЛОК I
Неделя 1.
Создание и заполнение таблиц, базовый синтаксис запросов SQL

Научимся строить таблицы, задавать в них форматы полей и ограничения, заполнять таблицы данными. Будем практиковаться писать обращения к таблицам и получать из них данные по простым условиям.

Мы вместе выполним следующее задание:
  • создадим ER-модель процесса покупки-продажи акций компании пользователем;
  • создадим таблицы по спроектированной модели;
  • сформируем таблицы с данными определенных групп пользователей:
    • пользователи из Москвы;
    • акции компаний, выставленные на торги менее недели назад;
    • данные об акциях определенной ценовой категории;
    • данные об акциях определенных компаний.
Неделя 2.
Объединение и агрегация данных
Научимся объединять данные из разных таблиц и формировать более сложные запросы, обращаясь сразу к нескольким таблицам. Попрактикуемся в агрегации данных, что позволит нам строить запросы для получения простейшей статистики из данных.

Мы загрузим таблицу о клиентах интернет-магазина, таблицу с их заказами и таблицу с описанием этих заказов. После чего ответим на вопросы:
  • Сколько клиенты всего потратили денег за год?
  • Какое соотношение онлайн и оффлайн заказов среди клиентов?
  • Каких товаров продали больше всего?
  • Какие товары принесли наибольшую выручку за последний год?
Неделя 3.
Регулярные выражения и очистка данных
Разберем продвинутые методы работы с строками, изучим регулярные выражения. Это позволит делать более сложную и тонкую обработку строк и поиск по строкам. Кроме того, начнем практиковаться в очистке данных.

Мы реализуем процесс по очистке, валидации и приведению к единому виду данных, оставленных пользователями при регистрации в wifi-сети банковского отделения.
БЛОК II
Неделя 4.
Старт выпускного проекта. Основы UNIX (Linux) систем. Git. Python для создания процессов обработки данных
Начнем готовиться к выпускному проекту и выбирать тему. Слушатель может выполнять заранее подготовленный преподавателем проект, либо согласовать собственную задачу. На этой неделе мы научимся выстраивать полноценный процесс обработки данных с использованием нескольких самописных Python приложений.

Кроме того, на этой неделе будет краткий экскурс в *nix системы, узнаем, как подключаться по ssh к *nix серверу, как выполнять пакеты и как планировать задачи с помощью crontab.
Неделя 5.
Оконные функции в SQL. Библиотека SQLite
Научимся создавать CRUD приложения на python, которое будет сохранять данные в базе данных SQLite.

После этого мы перейдем к довольно сложной, но очень полезной теме – оконным функциям. С их помощью мы научимся решать сложные аналитические задачи.

Научимся создавать локальные базы данных (без подключения к стороннему серверу) и обрабатывать данные – очень полезно, например, если служба безопасности не дает подключаться к сторонним сервисам.
Неделя 6.
Оконные функции и паттерны хранения данных
Разберемся, какие существуют шаблоны (паттерны) хранения данных и продолжим практиковаться в написании сложных оконных функций. Изучим, какие шаблоны хранения используются в современных DWH, научимся хранить историю изменения данных.
Неделя 7.
Инкрементальная загрузка. Оптимизация запросов
Мы изучим подход инкрементальной загрузки, что позволяет снимать с системы актуальное состояние и записывать данные в историческую таблицу. Кроме того, мы будем практиковаться в анализе запросов и их оптимизации.

Мы создадим ETL-процесс ежедневной загрузки транзакционных данных телекома и с помощью индексов ускорим работу некоторых запросов.
Неделя 8.
Разбор задач с собеседований и повторение материала
Будем практиковаться в решении наиболее часто встречающихся задач с собеседований на начинающих Data Engineer, аналитиков и другие близких data-специальностей. Вспомним и еще раз систематизируем все, что изучили на курсе.
Неделя 9-10.
Доработка выпускного проекта. Консультации с преподавателями
В эти две недели дорабатываем выпускные проекты, консультируемся с преподавателями.
Слушатели приходят к преподавателю на консультации с своими вопросами
Неделя 11.
Защита проектов. Подведение итогов курса.
Наша рекомендация
После завершения курса "Cтарт в Data Engineering" Вы можете продолжить свое обучение на нашем курсe:


и получить Диплом о профессиональной
переподготовке МФТИ по программе:
Отзывы
Партнеры ФПМИ
Оставить заявку или
проконсультироваться
с менеджером
Я ранее проходил обучение на курсах/программах МФТИ / Я являюсь сотрудником МФТИ
У меня уже есть или я в данный момент получаю высшее/среднее профессиональное образование:
Мне удобно следующее количество платежей равными суммами:
Нажимая на кнопку, я соглашаюсь на обработку персональных данных ( Политика обработки персональных данных МФТИ)
Предлагаем нашим слушателям рассрочку на оплату обучения
(только для физических лиц)