РАЗРАБОТЧИК BIGDATA
Старт нового потока – сентябрь 2022
Стоимость обучения –
136 000 руб.
Программа профессиональной переподготовки
Регистрация на программу
Нажимая кнопку «Отправить», вы соглашаетесь с условиями обработки персональных данных
Дополнительное профессиональное образование в магистратуре ФПМИ МФТИ — это возможность повысить знания и навыки в ведущем вузе страны, входящим в рейтинг лучших университетов мира.

Программа профессиональной переподготовки Разработчик Big Data соответствует запросам рынка. Мы обновляем материалы и развиваемся вместе с индустрией.
Преподаватели магистратуры ФПМИ МФТИ эксперты практического применения технологий Big Data в реальном бизнесе.
Формат
Поддержка
Учим онлайн из любой точки мира
Записи занятий
Диплом
Чат поддержки студентов 24 в сутки
Смотрите запись занятия в удобное время
Пройдите 4 курса и получите диплом о профессиональной переподготовке
Программа профессиональной переподготовки Разработчик Big Data состоит из трех курсов. Длительность каждого - 4 месяца.
После успешного прохождения курсов слушатели получают диплом о профессиональной переподготовке МФТИ.
КУРС ТЕХНОЛОГИИ ПРОГРАММИРОВАНИЯ И ОПЕРАЦИОННЫЕ СИСТЕМЫ
Старт: сентябрь
Длительность: 4 месяца
Занятия 1 раз в неделю
Семейство ОС Unix. Современные инструменты для работы в консоли
Семейство ОС Unix, основные дистрибутивы и их отличия. Основные командные интерпретаторы, их отличия. Утилита sed, язык awk. Использование Python как заменителя shell. Jupyter и TmpNb как его модификация. Терминальные мультиплексоры, автоматизация работы с ними.
Системы контроля версий
Системы контроля версий в современных проектах. CVS – первая система контроля версий. SVN. Современные VCS – Git, Mercurial и работа с ними. Работа над проектами в команде. Автоматизация работы с Git.
Виртуализация
Виртуализация. Её виды (контейнерная, на уровне ОС). Современные платформы виртуализации и работа с ними. Автоматизация работы с виртуальными окружениями.
Непрерывная интеграция
Непрерывная интеграция (continuous integration) и её этапы. Основные инструменты CI и их связь с VCS.
Оркестрация контейнеров. Kubernetes
Компьютерные сети, модель OSI, её уровни. Сетевые протоколы обмена информацией.
КУРС ХРАНЕНИЕ И ОБРАБОТКА БОЛЬШИХ ОБЪЁМОВ ДАННЫХ
Старт: февраль
Длительность: 4 месяца
Занятия 1 раз в неделю
Распределённые файловые системы (GFS, HDFS)
Распределённые файловые системы (GFS, HDFS). Её составляющие. Их достоинства, недостатки и сфера применения. Чтение и запись в HDFS. HDFS APIs: Web, shell, Java.
Парадигма MapReduce
Парадигма MapReduce. Основная идея, формальное описание. Обзор реализаций. Виды и классификация многопроцессорных вычислительных систем. Hadoop. Схема его работы, роли серверов в Hadoop-кластере. API для работы с Hadoop (Native Java API vs. Streaming), примеры. MapReduce, продолжение. Типы Join'ов и их реализации в парадигме MR. Паттерны проектирования MR (pairs, stripes, составные ключи).
Управление ресурсами Hadoop-кластера. YARN
Hadoop MRv1 vs. YARN. Нововведения в последних версиях Hadoop. Планировщик задач в YARN. Apache Slide.
SQL over BigData: Apache Drill, Cloudera Impala, Presto, Hive
SQL over BigData: Apache Drill, Cloudera Impala, Presto, Hive. Повторение SQL. HiveQL vs. SQL. Виды таблиц в Hive, типы данных, трансляция Hive-запросов в MapReduce-задачи. Аналитические функции в Hive. Расширения Hive: Streaming, User defined functions. Оптимизация запросов в Hive.
Технологии обработки данных в распределенной оперативной памяти. Apache Spark
Spark RDD vs Spark Dataframes
Spark SQL
Spark GraphFrames
Обработка данных в реальном времени. Kafka, Spark Streaming
Обработка данных в реальном времени. Spark Streaming. Распределённая очередь Apache Kafka. Kafka streams.
BigData NoSQL, Key-value базы данных
HBase. NoSQL подходы к реализации распределенных баз данных, key-value хранилища. Основные компоненты BigTable-подобных систем и их назначение, отличие от реляционных БД. Чтение, запись и хранение данных в HBase. Minor- и major-компактификация. Надёжность и отказоустойчивость в HBase. Cassandra. Основные особенности. Чтение и запись данных. Отказоустойчивость.
Примеры применения HBase и Cassandra.
Отличие архитектуры HBase от Сassandra.
КУРС МАШИННОЕ ОБУЧЕНИЕ НА БОЛЬШИХ ОБЪЁМАХ ДАННЫХ
Старт: сентябрь
Длительность: 4 месяца
Занятия 1 раз в неделю
Методы оптимизации и линейные модели
Машинное обучение с учителем на больших данных. Закон Ципфа. Тематическое моделирование.
Метод стохастического градиента. Постановка задачи. Оптимизации обучения на больших данных: градиентный спуск, стохастический градиент.
Признаки. Пространства признаков, веса признаков, нормализация признаков. Генерация и хеширование признаков.
Онлайн обучение линейных моделей. Метод стохастического градиента: выбор функции потерь. Оценка качества метода стохастического градиента. Алгоритм Бутстрап.
Хеширование, чувствительное к расстоянию (LSH). Меры сходства: расстояние Жаккара, Хемминга, косинусное расстояние, Евклидово расстояние.
Оптимизация и тестирование гиперпараметров. Симплекс-метод.
Алгоритмы работы с графами большого размера
Графы, их виды. Стохастический граф.
Представление графа: матрицы смежности, инцидентности, достижимости. Списки смежности. Алгоритмы перевода из одного представления в другое.
Социальный граф. Задача поиска общих друзей в социальном графе. Язык DSL.
Граф пользовательских предпочтений.
Использование подхода BigData в анализе графов
Информационный поиск
Постановка ранжирования. Основные подходы к решению задачи ранжирования
Метрики измерения точности ранжирования. Кликовые модели.
Тематическое моделирование и его связь с ранжированием.
Проблемы тематического моделирования при больших данных. AD-LDA, его недостатки, Y!LDA, Mr. LDA. ARTM. Архитектура библиотеки BigARTM. Online LDA и его применение в Vowpal Wabbit.
Рекомендательные системы
Рекомендательные системы, постановка задачи предсказания / рекомендации. Классификация рекомендательных систем. Неперсонализированные рекомендательные системы, content-based рекомендательные системы.
Задачи коллаборативной фильтрации, транзакционные данные и матрица субъекты—объекты. Корреляционные методы, методы сходства (neighbourhood) - user-based, item-based.
Латентные методы на основе матричных разложений. Методы ALS и iALS.
Современные рекомендательные системы: рекомендательные системы, основанные на учете контекста (context aware); аспектные рекомендательные системы (aspect-aware), рекомендательные системы на основе тензорных разложений.

Руководители программы

Как проходит обучение

Лекции и семинары в Zoom
Запись занятия и доступ на время обучения
Контрольные работы в качестве промежуточной проверки знаний
Обратная связь на домашние задания
КОМУ ПОДОЙДЕТ ПРОФЕССИЯ РАЗРАБОТЧИК BIGDATA
Разработчик
сможете совершенствовать навыки программирования, расширить и получить новые знания в desktop, web разработки, а также в работе с большими данными.
Аналитик
сможете проводить аналитику с помощью SQL и NoSQL инструментов, визуализировать данные и отчеты на основе больших массивов информации.
Data engineer
курсы помогут увеличить свой рабочий арсенал прикладных знаний в работе с данными.
Data scientist
получите знания по современным инструментам и подходам, необходимым для сбора, хранения и обработки данных. Изучите модели машинного обучения в применении к большим данным.
Для успешного прохождения курса нужно владеть базовыми знаниями Python, Linux, SQL. Желателен минимальный опыт в Java.
Не уверены, что готовы к успешному прохождению программы? Пройдите тест и проверьте свои знания
Необходимый уровень знаний

ЧАСТО ЗАДАВАЕМЫЕ ВОПРОСЫ

Как и когда я буду учиться?
Занятия проходят 1-2 раза в неделю по 2-4 академических часа, по предварительно составленному расписанию. Преподаватель проводит практические занятия дистанционно, в форме вебинаров с использованием платформы ZOOM или аналогичной. Самостоятельная работа выполняется слушателем в удобном для слушателя режиме. Параллельно с обучением Вы будете добавлены в чат, где сможете общаться со своими сокурсниками, куратором школы и преподавателем: задавать вопросы, делиться опытом
Смогу ли я посмотреть занятие в записи?
Вы сможете пересмотреть занятие в записи, если не смогли присоединиться или хотите повторить пройденную тему. Запись будет доступна на следующий день после занятия и далее на весь срок обучения.
Что делать если я не справлюсь с нагрузкой?
Если почувствуете, что нагрузка слишком велика, то вы можете:

Перенести сроки обучения на следующий поток.
Перейти на другой курс обучения.
Вы сможете сделать возврат средств за ту часть обучения, которую не прошли.
К примеру, вы оплатили обучение целиком, но отучились только два месяца — мы вернём деньги за оставшиеся месяцы обучения.
Смогу ли я получить диплом?
Закончив успешно (с удостоверением) курсы входящие в профессию и защитив финальный проект вы получите диплом о профессиональной переподготовке МФТИ. Закончив один курс в профессии, Вы получаете удостоверение о повышении квалификации.
Как можно оплатить?
Вы можете оплатить всю стоимость обучения сразу, а также оплатить обучение в рассрочку. Первый платеж должен быть осуществлен до начала обучения.

После подтверждения участия в программе, мы высылаем оферту с графиком платежей и ссылку на оплату. Оплатить можно банковской картой.
После оплаты Вам придут:
1. Письмо с ссылками на подключения в чат и страница с актуальной информацией о курсе.
2. Письмо с формой Регистрационной анкеты (необходимо загрузить копии паспорта и диплома о высшем или среднем профессиональном образовании).
3. За три дня до старта курса придет письмо с расписанием лекций.
Кто будет меня учить?
Мы подбираем преподавателей в соответствии с задачами, опытом и уровнем участников программы.
Каким требованиям нужно соответствовать чтобы начать обучение?
Для того чтобы начать обучение Вы должны иметь диплом о высшем или среднем профессиональном образовании или справку о том, что обучаетесь сейчас. Возможность уделять время учебе не менее 8 часов в неделю. Иметь базовые знания по содержанию курса.
Как и когда я буду учиться?
Занятия проходят 1-2 раза в неделю по 2-4 академических часа, по предварительно составленному расписанию. Преподаватель проводит практические занятия дистанционно, в форме вебинаров с использованием платформы ZOOM или аналогичной. Самостоятельная работа выполняется слушателем в удобном для слушателя режиме. Параллельно с обучением Вы будете добавлены в чат, где сможете общаться со своими сокурсниками, куратором школы и преподавателем: задавать вопросы, делиться опытом
Смогу ли я посмотреть занятие в записи?
Вы сможете пересмотреть занятие в записи, если не смогли присоединиться или хотите повторить пройденную тему. Запись будет доступна на следующий день после занятия и далее на весь срок обучения.
Что делать если я не справлюсь с нагрузкой?
Если почувствуете, что нагрузка слишком велика, то вы можете:

Перенести сроки обучения на следующий поток.
Перейти на другой курс обучения.
Вы сможете сделать возврат средств за ту часть обучения, которую не прошли.
К примеру, вы оплатили обучение целиком, но отучились только два месяца — мы вернём деньги за оставшиеся месяцы обучения.
Смогу ли я получить диплом?
Закончив успешно (с удостоверением) курсы входящие в профессию и защитив финальный проект вы получите диплом о профессиональной переподготовке МФТИ. Закончив один курс в профессии, Вы получаете удостоверение о повышении квалификации.
Как можно оплатить?
Вы можете оплатить всю стоимость обучения сразу, а также оплатить обучение в рассрочку. Первый платеж должен быть осуществлен до начала обучения.

После подтверждения участия в программе, мы высылаем оферту с графиком платежей и ссылку на оплату. Оплатить можно банковской картой.
После оплаты Вам придут:
1. Письмо с ссылками на подключения в чат и страница с актуальной информацией о курсе.
2. Письмо с формой Регистрационной анкеты (необходимо загрузить копии паспорта и диплома о высшем или среднем профессиональном образовании).
3. За три дня до старта курса придет письмо с расписанием лекций.
Кто будет меня учить?
Мы подбираем преподавателей в соответствии с задачами, опытом и уровнем участников программы. Вы получите актуальные знания и навыки на рынке.
Каким требованиям нужно соответствовать чтобы начать обучение?
Для того чтобы начать обучение Вы должны иметь диплом о высшем или среднем профессиональном образовании или справку о том, что обучаетесь сейчас. Возможность уделять время учебе не менее 8 часов в неделю. Иметь базовые знания по содержанию курса.
Почему стоит выбрать МФТИ
1 место
в рейтинге Superjob в сфере
ТОП 3
в рейтинге Forbes
лучших вузов России
10 нобелевских лауреатов
среди выпускников и преподавателей
Более 80
академиков и членов-корреспондентов РАН
Почему Вам стоит выбрать МФТИ
1 место
в рейтинге Superjob в сфере
ТОП 3
в рейтинге Forbes
лучших вузов России
10 нобелевских лауреатов
среди выпускников и преподавателей
Более 80
академиков и членов-корреспондентов РАН
Андрей Райгородский о ФПМИ МФТИ
Доктор физико-математических наук, профессор, директор Физтех-школы прикладной математики и информатики (ФПМИ)
“Физтех-школа прикладной математики и информатики (ФПМИ) МФТИ – безусловно ведущий мировой центр науки и образования в области математики и информатики. Особенность нашей школы заключается в том, что она сочетает в себе активную научную деятельность и тесную связь с индустрией. На сегодняшний день школа включает в себя 28 кафедр и 22 лаборатории от ключевых академических институтов и ключевых представителей IT-индустрии: Яндекс, Тинькофф, Сбербанк, VK, Abbyy, 1C, Huawei и другие.

Наша школа и МФТИ в целом гордимся своими выпускниками, например, мы занимаем первое место в рейтинге вузов России по уровню зарплат занятых в IT-отрасли специалистов "
Подать заявку и получить консультацию
Нажимая кнопку «Отправить», вы соглашаетесь с условиями обработки персональных данных
Оплата обучения возможна в рассрочку
(только для физических лиц)
Оплата обучения возможна в рассрочку
(только для физических лиц)
Рассрочка на оплату обучения для физических лиц
По каждой из предлагаемых программ/курсов, имеется возможность оплаты обучения в рассрочку.

Условия рассрочки:

Полная стоимость обучения при использовании рассрочки не изменяется. Рассрочка беспроцентна, оформление рассрочки бесплатно.

Детали рассрочки описаны в оферте на каждую соответствующую программу/курс, в Приложении № 1 – График платежей.

В Графике платежей указаны контрольные даты, на которые слушателем суммарно за всё предшествующее такой дате время должна быть перечислена указанная в графике платежей соответствующая сумма, или превышающая её сумма (но не более полной стоимости обучения). Например:

  • Оплата через равные промежутки времени платежами одинакового размера
  • Оплата одним платежом в размере стоимости всего обучения
Все описанные варианты допустимы, если на каждую из обозначенных в графике платежей дат внесено платежей на сумму не меньше указанной.