РАЗРАБОТЧИК BIGDATA
Старт нового потока – февраль 2023
Стоимость обучения –
136 000 руб.
Программа профессиональной переподготовки
Стоимость
Рассрочка
Скидки %
15 300 руб/мес.
15 % на программу и 35% на курс для слушателей ранее проходивших курсы и программы Лаборатории инноватики
Частями без переплат подробнее
136 000 р.
професии из 3 курсов
Дополнительное профессиональное образование Физтех-школа прикладной математики и информатики МФТИ приглашает пройти обучение на программе Разработчик BigData.

Обучение проводится совместно с основной магистратурой Алгоритмы и технологии программирования.


- среда обучения приближенная к реальной работе

- преподаватели и студенты занимают топовые позиции в крупных IT-компаниях

Вас ждут сложные задачи, интенсивная самостоятельная работа.
Выбрав профессию, Вы присоединяетесь к группе и проходите программу профессиональной переподготовки вместе с основной магистратурой.
Формат
Поддержка
Учим онлайн из любой точки мира
Записи занятий
Диплом
Чат поддержки студентов 24 в сутки
Смотрите запись занятия в удобное время
Пройдите программу и получите диплом о профессиональной переподготовке
Для успешного прохождения курса нужно владеть базовыми знаниями Python, Linux, SQL, Spark, Hadoop, Docker. Желателен минимальный опыт в Java.
Не уверены, что готовы к успешному прохождению программы? Пройдите тест и проверьте свои знания
Необходимый уровень знаний
КУРС ТЕХНОЛОГИИ ПРОГРАММИРОВАНИЯ И ОПЕРАЦИОННЫЕ СИСТЕМЫ
Старт: сентябрь
Длительность: 4 месяца
Занятия 1 раз в неделю
  • Семейство ОС Unix. Современные инструменты для работы в консоли
    Семейство ОС Unix, основные дистрибутивы и их отличия. Основные командные интерпретаторы, их отличия. Утилита sed, язык awk. Использование Python как заменителя shell. Jupyter и TmpNb как его модификация. Терминальные мультиплексоры, автоматизация работы с ними.
  • Системы контроля версий
    Системы контроля версий в современных проектах. CVS – первая система контроля версий. SVN. Современные VCS – Git, Mercurial и работа с ними. Работа над проектами в команде. Автоматизация работы с Git.
  • Виртуализация
    Виртуализация. Её виды (контейнерная, на уровне ОС). Современные платформы виртуализации и работа с ними. Автоматизация работы с виртуальными окружениями.
  • Непрерывная интеграция
    Непрерывная интеграция (continuous integration) и её этапы. Основные инструменты CI и их связь с VCS.
  • Оркестрация контейнеров. Kubernetes
    Компьютерные сети, модель OSI, её уровни. Сетевые протоколы обмена информацией.
КУРС ХРАНЕНИЕ И ОБРАБОТКА БОЛЬШИХ ОБЪЁМОВ ДАННЫХ
Старт: февраль
Длительность: 4 месяца
Занятия 1 раз в неделю
  • Распределённые файловые системы (GFS, HDFS)
    Распределённые файловые системы (GFS, HDFS). Её составляющие. Их достоинства, недостатки и сфера применения. Чтение и запись в HDFS. HDFS APIs: Web, shell, Java.
  • Парадигма MapReduce
    Парадигма MapReduce. Основная идея, формальное описание. Обзор реализаций. Виды и классификация многопроцессорных вычислительных систем. Hadoop. Схема его работы, роли серверов в Hadoop-кластере. API для работы с Hadoop (Native Java API vs. Streaming), примеры. MapReduce, продолжение. Типы Join'ов и их реализации в парадигме MR. Паттерны проектирования MR (pairs, stripes, составные ключи).
  • Управление ресурсами Hadoop-кластера. YARN
    Hadoop MRv1 vs. YARN. Нововведения в последних версиях Hadoop. Планировщик задач в YARN. Apache Slide.
  • SQL over BigData: Apache Drill, Cloudera Impala, Presto, Hive
    SQL over BigData: Apache Drill, Cloudera Impala, Presto, Hive. Повторение SQL. HiveQL vs. SQL. Виды таблиц в Hive, типы данных, трансляция Hive-запросов в MapReduce-задачи. Аналитические функции в Hive. Расширения Hive: Streaming, User defined functions. Оптимизация запросов в Hive.
  • Технологии обработки данных в распределенной оперативной памяти. Apache Spark
    Spark RDD vs Spark Dataframes
    Spark SQL
    Spark GraphFrames
  • Обработка данных в реальном времени. Kafka, Spark Streaming
    Обработка данных в реальном времени. Spark Streaming. Распределённая очередь Apache Kafka. Kafka streams.
  • BigData NoSQL, Key-value базы данных
    HBase. NoSQL подходы к реализации распределенных баз данных, key-value хранилища. Основные компоненты BigTable-подобных систем и их назначение, отличие от реляционных БД. Чтение, запись и хранение данных в HBase. Minor- и major-компактификация. Надёжность и отказоустойчивость в HBase. Cassandra. Основные особенности. Чтение и запись данных. Отказоустойчивость.
    Примеры применения HBase и Cassandra.
    Отличие архитектуры HBase от Сassandra.
КУРС МАШИННОЕ ОБУЧЕНИЕ НА БОЛЬШИХ ОБЪЁМАХ ДАННЫХ
Старт: сентябрь
Длительность: 4 месяца
Занятия 1 раз в неделю
  • Рекомендательные системы
    Рекомендательные системы, постановка задачи предсказания / рекомендации. Классификация рекомендательных систем. Неперсонализированные рекомендательные системы, content-based рекомендательные системы.
    Задачи коллаборативной фильтрации, транзакционные данные и матрица субъекты—объекты. Корреляционные методы, методы сходства (neighbourhood) - user-based, item-based.
    Латентные методы на основе матричных разложений. Методы ALS и iALS.
    Современные рекомендательные системы: рекомендательные системы, основанные на учете контекста (context aware); аспектные рекомендательные системы (aspect-aware), рекомендательные системы на основе тензорных разложений.
  • Алгоритмы работы с графами большого размера
    Графы, их виды. Стохастический граф.
    Представление графа: матрицы смежности, инцидентности, достижимости. Списки смежности. Алгоритмы перевода из одного представления в другое.
    Социальный граф. Задача поиска общих друзей в социальном графе. Язык DSL.
    Граф пользовательских предпочтений.
    Использование подхода BigData в анализе графов
  • Информационный поиск
    Постановка ранжирования. Основные подходы к решению задачи ранжирования
    Метрики измерения точности ранжирования. Кликовые модели.
    Тематическое моделирование и его связь с ранжированием.
    Проблемы тематического моделирования при больших данных. AD-LDA, его недостатки, Y!LDA, Mr. LDA. ARTM. Архитектура библиотеки BigARTM. Online LDA и его применение в Vowpal Wabbit.

Руководитель программы

Как проходит обучение

Лекции и семинары в Zoom
Запись занятия и доступ на время обучения
Контрольные работы в качестве промежуточной проверки знаний
Обратная связь на домашние задания
КОМУ ПОДОЙДЕТ ПРОФЕССИЯ РАЗРАБОТЧИК BIGDATA
Разработчик
сможете совершенствовать навыки программирования, расширить и получить новые знания в desktop, web разработки, а также в работе с большими данными.
Аналитик
сможете проводить аналитику с помощью SQL и NoSQL инструментов, визуализировать данные и отчеты на основе больших массивов информации.
Data engineer
курсы помогут увеличить свой рабочий арсенал прикладных знаний в работе с данными.
Data scientist
получите знания по современным инструментам и подходам, необходимым для сбора, хранения и обработки данных. Изучите модели машинного обучения в применении к большим данным.
ОТЗЫВЫ О ПРОГРАММЕ
Галимов Раис
Курс «Хранение и обработка больших объемов данных», 1 поток
Курс «Хранение и обработка больших объемов данных» является блоком программы профессиональной переподготовки «Разработчик BigData», также входит в учебный план образовательных программ магистратуры, занятия проводятся совместно с основной магистратурой.

Данный курс, по-моему мнению, охватывает основные инструменты работы с большими данными, построен на технологиях и фреймворках с открытым исходным кодом, которые наиболее активно используются и продвигаются практически во всех компаниях.

На занятия приглашаются ведущие специалисты из крупнейших компаний IT-компаний, банковской сферы, телекома и т.д. Насыщенная теоретическая часть, на семинарских занятиях и в домашках прокачивается навык написания кода.

Результаты оцениваются по итогам прохождения тестовых заданий по теоретической части, а также выполнения практических кейсов в домашних заданиях.

Кейсы непростые, для выполнения домашних заданий, чтобы набрать необходимое количество баллов, мне потребовалось не менее 15 часов в неделю. Для прохождения курса точно потребуется знания python, sql, linux, опыт работы с репозиториями git,gitlab (домашки сдаются через репозиторий). Необязательно, но желательно зание java, работа с docker.

Отличные преподаватели, мощная поддержка кураторов. Рекомендую.

ЧАСТО ЗАДАВАЕМЫЕ ВОПРОСЫ

Почему стоит выбрать МФТИ
  • 1 место
    в рейтинге Superjob в сфере
  • ТОП 3
    в рейтинге Forbes
    лучших вузов России
  • 10 нобелевских лауреатов
    среди выпускников и преподавателей
  • Более 80
    академиков и членов-корреспондентов РАН
Почему Вам стоит выбрать МФТИ
  • 1 место
    в рейтинге Superjob в сфере
  • ТОП 3
    в рейтинге Forbes
    лучших вузов России
  • 10 нобелевских лауреатов
    среди выпускников и преподавателей
  • Более 80
    академиков и членов-корреспондентов РАН
Андрей Райгородский о ФПМИ МФТИ
Доктор физико-математических наук, профессор, директор Физтех-школы прикладной математики и информатики (ФПМИ)
“Физтех-школа прикладной математики и информатики (ФПМИ) МФТИ – безусловно ведущий мировой центр науки и образования в области математики и информатики. Особенность нашей школы заключается в том, что она сочетает в себе активную научную деятельность и тесную связь с индустрией. На сегодняшний день школа включает в себя 28 кафедр и 22 лаборатории от ключевых академических институтов и ключевых представителей IT-индустрии: Яндекс, Тинькофф, Сбербанк, VK, Abbyy, 1C, Huawei и другие.

Наша школа и МФТИ в целом гордимся своими выпускниками, например, мы занимаем первое место в рейтинге вузов России по уровню зарплат занятых в IT-отрасли специалистов "
Подать заявку и получить консультацию
Я ранее проходил обучение на курсах/программах МФТИ / Я являюсь сотрудником МФТИ
Нажимая кнопку «Отправить», вы соглашаетесь с условиями обработки персональных данных
Оплата обучения возможна в рассрочку
(только для физических лиц)
Оплата обучения возможна в рассрочку
(только для физических лиц)