Мы свяжемся с вами в ближайший рабочий день с 9:00
до 18:00 и расскажем подробнее о курсе.
Нажимая кнопку " Оставить заявку", вы даете согласие на получение информационных писем от ФПМИ по e-mail и в мессенджерах.
Мы свяжемся с вами в ближайший рабочий день с 9:00
до 18:00 и расскажем подробнее о курсе.
Нажимая кнопку " Оставить заявку", вы даете согласие на получение информационных писем от ФПМИ по e-mail и в мессенджерах.
Мы свяжемся с вами в ближайший рабочий день с 9:00
до 18:00 и расскажем подробнее о курсе.
Нажимая кнопку " Оставить заявку", вы даете согласие на получение информационных писем от ФПМИ по e-mail и в мессенджерах.
Старт в
Data Engineering
КУРС
СО СКИДКОЙ 20%
от ФПМИ МФТИ
57000
45500₽
  • Автоматизируете процессы сбора, очистки и анализа реальных данных без разработчиков (ETL)
  • Освоите инструменты: Git, SQL, базовый Python
  • Научитесь работать с хранилищами данных (DWH)
Реальный проект
Онлайн в Zoom
18 вебинаров
Старт 09.12.20
Для кого курс?
Аналитики
  • Получите навыки работы с хранилищами данных.
  • Сможете автоматизировать сбор, трансформацию и очистку данных с помощью SQL и Python без разработчиков.
  • Повысите компетенции для перехода в роль data engineer или data scientist.
Начинающие
IT-специалисты
  • Получите навыки работы с хранилищами данных, SQL, базовым Python и репозиторием GitHub.
  • Набьете руку в сборе, очистке и хранении данных.
  • Сможете дальше развиваться как data engineer или аналитик.
Маркетологи
  • Научитесь быстро извлекать нужные данные без помощи разработчиков.
  • Научитесь считать статистику по извлеченным данным без привлечения аналитиков.
  • Научитесь работать с одними из самых востребованных в ИТ инструментами: SQL, Python, GitHub.
Менеджеры, владельцы бизнесов
  • Узнаете, как устроены процессы сбора, очистки, хранения и анализа данных в современных компаниях.
  • Поймете, зачем нужны хранилища данных (DWH) и как их использовать.
  • Научитесь быстро извлекать нужные данные без помощи разработчиков.
Начинающие разработчики
  • Научитесь проектировать и реализовывать процессы сбора, очистки, хранения и анализа данных.
  • Получите навыки работы с хранилищами данных, SQL, Python и GitHub.
  • Повысите компетенции для перехода в роль data engineer или data scientist.
Описание курса
На курсе мы научимся настраивать и автоматизировать процессы сбора, трансформации, очистки, хранения и первичного анализа данных с помощью SQL и базового Python на примерах реальных задач (примеры задач можно посмотреть в программе ниже).

Во втором блоке курса начинается работа над выпускным проектом, для которого есть два варианта выполнения:

  • взять задачу, заранее подготовленную преподавателями;
  • согласовать собственную тему, например, связанную с работой слушателя.
На проекте, который подготовили преподаватели, слушателей ждет работа с реальными транзакционными банковскими данными. C помощью Python и SQL слушатели реализуют:

  • собственное хранилище данных – DWH;
  • процесс сбора, очистки, трансформации и хранения данных;
  • систему автоматического поиска мошеннических операций (AntiFraud-система).
Почему Data Engineering?
1
Спрос
Спрос на data engineers уже больше, чем на data scientists в зарубежных компаниях
2
Математический барьер
Сильно ниже, чем в data science
3
Зарплаты
Разброс зарплат у data engineers такой же, как у data scientists
4
Data engineering
– фундамент любой data-driven компании
9 декабря
Среда и Суббота
18:30-21:30
11 недель,
8 ак.ч. в неделю
Старт
Дни занятий
Длительность
Как проходит обучение?
Онлайн вебинары
с преподавателем
Формат
Какие преимущества?
Живые вебинары с преподавателем МФТИ в Zoom
Удостоверение государственного образца о повышении квалификации
Материалы навсегда доступны в личном кабинете
Постоянная поддержка от преподавателей в чате курса
Домашнее задание раз в неделю (~3 часа)
Обратная связь на домашние задания
В конце курса выпускной прикладной проект
Вебинары записываются и доступны всегда
"Физтех-школа прикладной математики и информатики (ФПМИ) МФТИ – безусловно ведущий мировой центр науки и образования в области математики и информатики. Особенность нашей школы заключается в том, что она сочетает в себе активную научную деятельность и тесную связь с индустрией. На сегодняшний день школа включает в себя 28 кафедр и 22 лаборатории от ключевых академических институтов и ключевых представителей IT-индустрии: Яндекс, Тинькофф, Сбербанк, VK, Abbyy, 1C, Huawei и другие.

Наша школа и МФТИ в целом гордимся своими выпускниками, например, мы занимаем первое место в рейтинге вузов России по уровню зарплат занятых в IT-отрасли специалистов "

Доктор физико-математических наук, профессор, директор Физтех-школы прикладной математики и информатики (ФПМИ).
Андрей Райгородский о ФПМИ МФТИ

Московский физико-технический институт — ведущий технический вуз страны, который входит в престижные рейтинги лучших университетов мира.

Здесь обучают фундаментальной и прикладной физике, математике, информатике, химии, биологии, компьютерным технологиям и другим естественным и точным наукам.

Сегодня Физтех - это передовой научный центр. В МФТИ организована научная деятельность, посвященная в том числе проблемам старения и возрастных заболеваний, прикладной и фундаментальной физике, двумерным материалам, квантовым технологиям, искусственному интеллекту, геномной инженерии, арктическим и космическим исследованиям.

Преподаватели
Антон Поляков
Преподаватель блока II
Кандидат физико-математических наук. Тимлид в GlowByte Аналитические решения – ведущем интеграторе решений DWH, BI и Big data в России. Преподаватель на курсах МФТИ.
Гайк Инанц
Преподаватель блоков I и II
Профессиональный опыт Data Engineer – 7 лет. Преподавание: МФТИ, Сбер, МТС (SQL), HackerU (Big data), IThub (Machine Learning).
Программа курса
БЛОК I
Неделя 1.
Создание и заполнение таблиц, базовый синтаксис запросов SQL

Научимся строить таблицы, задавать в них форматы полей и ограничения, заполнять таблицы данными. Будем практиковаться писать обращения к таблицам и получать из них данные по простым условиям.

Мы вместе выполним следующее задание:
  • создадим ER-модель процесса покупки-продажи акций компании пользователем;
  • создадим таблицы по спроектированной модели;
  • сформируем таблицы с данными определенных групп пользователей:
    • пользователи из Москвы;
    • акции компаний, выставленные на торги менее недели назад;
    • данные об акциях определенной ценовой категории;
    • данные об акциях определенных компаний.
Неделя 2.
Объединение и агрегация данных
Научимся объединять данные из разных таблиц и формировать более сложные запросы, обращаясь сразу к нескольким таблицам. Попрактикуемся в агрегации данных, что позволит нам строить запросы для получения простейшей статистики из данных.

Мы загрузим таблицу о клиентах интернет-магазина, таблицу с их заказами и таблицу с описанием этих заказов. После чего ответим на вопросы:
  • Сколько клиенты всего потратили денег за год?
  • Какое соотношение онлайн и оффлайн заказов среди клиентов?
  • Каких товаров продали больше всего?
  • Какие товары принесли наибольшую выручку за последний год?
Неделя 3.
Регулярные выражения и очистка данных
Разберем продвинутые методы работы с строками, изучим регулярные выражения. Это позволит делать более сложную и тонкую обработку строк и поиск по строкам. Кроме того, начнем практиковаться в очистке данных.

Мы реализуем процесс по очистке, валидации и приведению к единому виду данных, оставленных пользователями при регистрации в wifi-сети банковского отделения.
БЛОК II
Неделя 4.
Старт выпускного проекта. Основы UNIX (Linux) систем. Python для создания процессов обработки данных
Начнем готовиться к выпускному проекту и выбирать тему. Слушатель может выполнять заранее подготовленный преподавателем проект, либо согласовать собственную задачу. На этой неделе мы научимся выстраивать полноценный процесс обработки данных с использованием нескольких самописных Python приложений.

Кроме того, на этой неделе будет краткий экскурс в *nix системы, узнаем, как подключаться по ssh к *nix серверу, как выполнять пакеты и как планировать задачи с помощью crontab.
Неделя 5.
Оконные функции в SQL. Библиотека SQLite
Научимся создавать CRUD приложения на python, которое будет сохранять данные в базе данных SQLite.

После этого мы перейдем к довольно сложной, но очень полезной теме – оконным функциям. С их помощью мы научимся решать сложные аналитические задачи.

Научимся создавать локальные базы данных (без подключения к стороннему серверу) и обрабатывать данные – очень полезно, например, если служба безопасности не дает подключаться к сторонним сервисам.
Неделя 6.
Оконные функции и паттерны хранения данных
Разберемся, какие существуют шаблоны (паттерны) хранения данных и продолжим практиковаться в написании сложных оконных функций. Изучим, какие шаблоны хранения используются в современных DWH, научимся хранить историю изменения данных.
Неделя 7.
Инкрементальная загрузка. Оптимизация запросов
Мы изучим подход инкрементальной загрузки, что позволяет снимать с системы актуальное состояние и записывать данные в историческую таблицу. Кроме того, мы будем практиковаться в анализе запросов и их оптимизации.

Мы создадим ETL-процесс ежедневной загрузки транзакционных данных телекома и с помощью индексов ускорим работу некоторых запросов.
Неделя 8.
Разбор задач с собеседований и повторение материала
Будем практиковаться в решении наиболее часто встречающихся задач с собеседований на начинающих Data Engineer, аналитиков и другие близких data-специальностей. Вспомним и еще раз систематизируем все, что изучили на курсе.
Неделя 9-10.
Доработка выпускного проекта. Консультации с преподавателями
В эти две недели дорабатываем выпускные проекты, консультируемся с преподавателями.
Слушатели приходят к преподавателю на консультации с своими вопросами
Неделя 11.
Защита проектов. Подведение итогов курса.
Отзывы
Наши партнеры
Успей купить до подорожания!
со скидкой 20% до 9 декабря
Блок I
09.12.2020 - 19.01.2020

6 занятий

19 500
15 000 рублей
ЗАПИСАТЬСЯ
Блок II
19.01.2020 - 14.03.2020

10 занятий

42 500
35 000 рублей
ЗАПИСАТЬСЯ