РАЗРАБОТЧИК BIGDATA
Старт нового потока – сентябрь 2023
Стоимость обучения –
136 000 руб.
136 000 руб.
Программа профессиональной переподготовки
Регистрация на программу
Нажимая кнопку «Отправить», вы соглашаетесь с условиями обработки персональных данных
Стоимость
Рассрочка
Скидки %
15 300 руб/мес.
15 % на программу и 35% на курс для слушателей ранее проходивших курсы и программы Лаборатории инноватики
Частями без переплат подробнее
136 000 р.
професии из 3 курсов
Дополнительное профессиональное образование Физтех-школа прикладной математики и информатики МФТИ приглашает пройти обучение на программе Разработчик BigData.
Обучение проводится совместно с основной магистратурой Алгоритмы и технологии программирования.
- среда обучения приближенная к реальной работе
- преподаватели и студенты занимают топовые позиции в крупных IT-компаниях
Вас ждут сложные задачи, интенсивная самостоятельная работа.
Выбрав профессию, Вы присоединяетесь к группе и проходите программу профессиональной переподготовки вместе с основной магистратурой.
Обучение проводится совместно с основной магистратурой Алгоритмы и технологии программирования.
- среда обучения приближенная к реальной работе
- преподаватели и студенты занимают топовые позиции в крупных IT-компаниях
Вас ждут сложные задачи, интенсивная самостоятельная работа.
Выбрав профессию, Вы присоединяетесь к группе и проходите программу профессиональной переподготовки вместе с основной магистратурой.
Формат
Поддержка
Учим онлайн из любой точки мира
Записи занятий
Диплом
Чат поддержки студентов 24 в сутки
Смотрите запись занятия в удобное время
Пройдите программу и получите диплом о профессиональной переподготовке
Для успешного прохождения курса нужно владеть базовыми знаниями Python, Linux, SQL, Spark, Hadoop, Docker. Желателен минимальный опыт в Java.
Не уверены, что готовы к успешному прохождению программы? Пройдите тест и проверьте свои знания
Необходимый уровень знаний
КУРС ТЕХНОЛОГИИ ПРОГРАММИРОВАНИЯ И ОПЕРАЦИОННЫЕ СИСТЕМЫ
Старт: сентябрь
Длительность: 4 месяца
Занятия 1 раз в неделю
Длительность: 4 месяца
Занятия 1 раз в неделю
- Семейство ОС Unix. Современные инструменты для работы в консолиСемейство ОС Unix, основные дистрибутивы и их отличия. Основные командные интерпретаторы, их отличия. Утилита sed, язык awk. Использование Python как заменителя shell. Jupyter и TmpNb как его модификация. Терминальные мультиплексоры, автоматизация работы с ними.
- Системы контроля версийСистемы контроля версий в современных проектах. CVS – первая система контроля версий. SVN. Современные VCS – Git, Mercurial и работа с ними. Работа над проектами в команде. Автоматизация работы с Git.
- ВиртуализацияВиртуализация. Её виды (контейнерная, на уровне ОС). Современные платформы виртуализации и работа с ними. Автоматизация работы с виртуальными окружениями.
- Непрерывная интеграцияНепрерывная интеграция (continuous integration) и её этапы. Основные инструменты CI и их связь с VCS.
- Оркестрация контейнеров. KubernetesКомпьютерные сети, модель OSI, её уровни. Сетевые протоколы обмена информацией.
КУРС ХРАНЕНИЕ И ОБРАБОТКА БОЛЬШИХ ОБЪЁМОВ ДАННЫХ
Старт: февраль
Длительность: 4 месяца
Занятия 1 раз в неделю
Длительность: 4 месяца
Занятия 1 раз в неделю
- Распределённые файловые системы (GFS, HDFS)Распределённые файловые системы (GFS, HDFS). Её составляющие. Их достоинства, недостатки и сфера применения. Чтение и запись в HDFS. HDFS APIs: Web, shell, Java.
- Парадигма MapReduceПарадигма MapReduce. Основная идея, формальное описание. Обзор реализаций. Виды и классификация многопроцессорных вычислительных систем. Hadoop. Схема его работы, роли серверов в Hadoop-кластере. API для работы с Hadoop (Native Java API vs. Streaming), примеры. MapReduce, продолжение. Типы Join'ов и их реализации в парадигме MR. Паттерны проектирования MR (pairs, stripes, составные ключи).
- Управление ресурсами Hadoop-кластера. YARNHadoop MRv1 vs. YARN. Нововведения в последних версиях Hadoop. Планировщик задач в YARN. Apache Slide.
- SQL over BigData: Apache Drill, Cloudera Impala, Presto, HiveSQL over BigData: Apache Drill, Cloudera Impala, Presto, Hive. Повторение SQL. HiveQL vs. SQL. Виды таблиц в Hive, типы данных, трансляция Hive-запросов в MapReduce-задачи. Аналитические функции в Hive. Расширения Hive: Streaming, User defined functions. Оптимизация запросов в Hive.
- Технологии обработки данных в распределенной оперативной памяти. Apache SparkSpark RDD vs Spark Dataframes
Spark SQL
Spark GraphFrames - Обработка данных в реальном времени. Kafka, Spark StreamingОбработка данных в реальном времени. Spark Streaming. Распределённая очередь Apache Kafka. Kafka streams.
- BigData NoSQL, Key-value базы данныхHBase. NoSQL подходы к реализации распределенных баз данных, key-value хранилища. Основные компоненты BigTable-подобных систем и их назначение, отличие от реляционных БД. Чтение, запись и хранение данных в HBase. Minor- и major-компактификация. Надёжность и отказоустойчивость в HBase. Cassandra. Основные особенности. Чтение и запись данных. Отказоустойчивость.
Примеры применения HBase и Cassandra.
Отличие архитектуры HBase от Сassandra.
КУРС МАШИННОЕ ОБУЧЕНИЕ НА БОЛЬШИХ ОБЪЁМАХ ДАННЫХ
Старт: сентябрь
Длительность: 4 месяца
Занятия 1 раз в неделю
Длительность: 4 месяца
Занятия 1 раз в неделю
- Рекомендательные системы● Рекомендательные системы, постановка задачи предсказания / рекомендации. Классификация рекомендательных систем. Неперсонализированные рекомендательные системы, content-based рекомендательные системы.
● Задачи коллаборативной фильтрации, транзакционные данные и матрица субъекты—объекты. Корреляционные методы, методы сходства (neighbourhood) - user-based, item-based.
● Латентные методы на основе матричных разложений. Методы ALS и iALS.
● Современные рекомендательные системы: рекомендательные системы, основанные на учете контекста (context aware); аспектные рекомендательные системы (aspect-aware), рекомендательные системы на основе тензорных разложений. - Алгоритмы работы с графами большого размера● Графы, их виды. Стохастический граф.
● Представление графа: матрицы смежности, инцидентности, достижимости. Списки смежности. Алгоритмы перевода из одного представления в другое.
● Социальный граф. Задача поиска общих друзей в социальном графе. Язык DSL.
● Граф пользовательских предпочтений.
● Использование подхода BigData в анализе графов - Информационный поиск● Постановка ранжирования. Основные подходы к решению задачи ранжирования
● Метрики измерения точности ранжирования. Кликовые модели.
● Тематическое моделирование и его связь с ранжированием.
● Проблемы тематического моделирования при больших данных. AD-LDA, его недостатки, Y!LDA, Mr. LDA. ARTM. Архитектура библиотеки BigARTM. Online LDA и его применение в Vowpal Wabbit.
Руководитель программы
Как проходит обучение
Лекции и семинары в Zoom
Запись занятия и доступ на время обучения
Контрольные работы в качестве промежуточной проверки знаний
Обратная связь на домашние задания
КОМУ ПОДОЙДЕТ ПРОФЕССИЯ РАЗРАБОТЧИК BIGDATA
Разработчик
сможете совершенствовать навыки программирования, расширить и получить новые знания в desktop, web разработки, а также в работе с большими данными.
Аналитик
сможете проводить аналитику с помощью SQL и NoSQL инструментов, визуализировать данные и отчеты на основе больших массивов информации.
Data engineer
курсы помогут увеличить свой рабочий арсенал прикладных знаний в работе с данными.
Data scientist
получите знания по современным инструментам и подходам, необходимым для сбора, хранения и обработки данных. Изучите модели машинного обучения в применении к большим данным.
ОТЗЫВЫ О ПРОГРАММЕ
Курс «Хранение и обработка больших объемов данных» является блоком программы профессиональной переподготовки «Разработчик BigData», также входит в учебный план образовательных программ магистратуры, занятия проводятся совместно с основной магистратурой.
Данный курс, по-моему мнению, охватывает основные инструменты работы с большими данными, построен на технологиях и фреймворках с открытым исходным кодом, которые наиболее активно используются и продвигаются практически во всех компаниях.
На занятия приглашаются ведущие специалисты из крупнейших компаний IT-компаний, банковской сферы, телекома и т.д. Насыщенная теоретическая часть, на семинарских занятиях и в домашках прокачивается навык написания кода.
Результаты оцениваются по итогам прохождения тестовых заданий по теоретической части, а также выполнения практических кейсов в домашних заданиях.
Кейсы непростые, для выполнения домашних заданий, чтобы набрать необходимое количество баллов, мне потребовалось не менее 15 часов в неделю. Для прохождения курса точно потребуется знания python, sql, linux, опыт работы с репозиториями git,gitlab (домашки сдаются через репозиторий). Необязательно, но желательно зание java, работа с docker.
Отличные преподаватели, мощная поддержка кураторов. Рекомендую.
Данный курс, по-моему мнению, охватывает основные инструменты работы с большими данными, построен на технологиях и фреймворках с открытым исходным кодом, которые наиболее активно используются и продвигаются практически во всех компаниях.
На занятия приглашаются ведущие специалисты из крупнейших компаний IT-компаний, банковской сферы, телекома и т.д. Насыщенная теоретическая часть, на семинарских занятиях и в домашках прокачивается навык написания кода.
Результаты оцениваются по итогам прохождения тестовых заданий по теоретической части, а также выполнения практических кейсов в домашних заданиях.
Кейсы непростые, для выполнения домашних заданий, чтобы набрать необходимое количество баллов, мне потребовалось не менее 15 часов в неделю. Для прохождения курса точно потребуется знания python, sql, linux, опыт работы с репозиториями git,gitlab (домашки сдаются через репозиторий). Необязательно, но желательно зание java, работа с docker.
Отличные преподаватели, мощная поддержка кураторов. Рекомендую.
ЧАСТО ЗАДАВАЕМЫЕ ВОПРОСЫ
Занятия проходят 1-2 раза в неделю по 2-4 академических часа, по предварительно составленному расписанию. Преподаватель проводит практические занятия дистанционно, в форме вебинаров с использованием платформы ZOOM или аналогичной. Самостоятельная работа выполняется слушателем в удобном для слушателя режиме. Параллельно с обучением Вы будете добавлены в чат, где сможете общаться со своими сокурсниками, куратором школы и преподавателем: задавать вопросы, делиться опытом
Вы сможете пересмотреть занятие в записи, если не смогли присоединиться или хотите повторить пройденную тему. Запись будет доступна на следующий день после занятия и далее на весь срок обучения.
Если почувствуете, что нагрузка слишком велика, то вы можете:
Перенести сроки обучения на следующий поток.
Перейти на другой курс обучения.
Вы сможете сделать возврат средств за ту часть обучения, которую не прошли.
К примеру, вы оплатили обучение целиком, но отучились только два месяца — мы вернём деньги за оставшиеся месяцы обучения.
Перенести сроки обучения на следующий поток.
Перейти на другой курс обучения.
Вы сможете сделать возврат средств за ту часть обучения, которую не прошли.
К примеру, вы оплатили обучение целиком, но отучились только два месяца — мы вернём деньги за оставшиеся месяцы обучения.
Закончив успешно курсы входящие в профессию вы получите диплом о профессиональной переподготовке МФТИ.
Вы можете оплатить всю стоимость обучения сразу, а также оплатить обучение в рассрочку. Первый платеж должен быть осуществлен до начала обучения.
После подтверждения участия в программе, мы высылаем оферту с графиком платежей и ссылку на оплату. Оплатить можно банковской картой.
После оплаты Вам придут:
1. Письмо с ссылками на подключения в чат и страница с актуальной информацией о курсе.
2. Письмо с формой Регистрационной анкеты (необходимо загрузить копии паспорта и диплома о высшем или среднем профессиональном образовании).
3. За три дня до старта курса придет письмо с расписанием лекций.
После подтверждения участия в программе, мы высылаем оферту с графиком платежей и ссылку на оплату. Оплатить можно банковской картой.
После оплаты Вам придут:
1. Письмо с ссылками на подключения в чат и страница с актуальной информацией о курсе.
2. Письмо с формой Регистрационной анкеты (необходимо загрузить копии паспорта и диплома о высшем или среднем профессиональном образовании).
3. За три дня до старта курса придет письмо с расписанием лекций.
Мы подбираем преподавателей в соответствии с задачами, опытом и уровнем участников программы.
Для того чтобы начать обучение Вы должны иметь диплом о высшем или среднем профессиональном образовании или справку о том, что обучаетесь сейчас. Возможность уделять время учебе не менее 8 часов в неделю. Иметь базовые знания по содержанию курса.
Занятия проходят 1-2 раза в неделю по 2-4 академических часа, по предварительно составленному расписанию. Преподаватель проводит практические занятия дистанционно, в форме вебинаров с использованием платформы ZOOM или аналогичной. Самостоятельная работа выполняется слушателем в удобном для слушателя режиме. Параллельно с обучением Вы будете добавлены в чат, где сможете общаться со своими сокурсниками, куратором школы и преподавателем: задавать вопросы, делиться опытом
Вы сможете пересмотреть занятие в записи, если не смогли присоединиться или хотите повторить пройденную тему. Запись будет доступна на следующий день после занятия и далее на весь срок обучения.
Если почувствуете, что нагрузка слишком велика, то вы можете:
Перенести сроки обучения на следующий поток.
Перейти на другой курс обучения.
Вы сможете сделать возврат средств за ту часть обучения, которую не прошли.
К примеру, вы оплатили обучение целиком, но отучились только два месяца — мы вернём деньги за оставшиеся месяцы обучения.
Перенести сроки обучения на следующий поток.
Перейти на другой курс обучения.
Вы сможете сделать возврат средств за ту часть обучения, которую не прошли.
К примеру, вы оплатили обучение целиком, но отучились только два месяца — мы вернём деньги за оставшиеся месяцы обучения.
Закончив успешно курсы входящие в профессию вы получите диплом о профессиональной переподготовке МФТИ.
Вы можете оплатить всю стоимость обучения сразу, а также оплатить обучение в рассрочку. Первый платеж должен быть осуществлен до начала обучения.
После подтверждения участия в программе, мы высылаем оферту с графиком платежей и ссылку на оплату. Оплатить можно банковской картой.
После оплаты Вам придут:
1. Письмо с ссылками на подключения в чат и страница с актуальной информацией о курсе.
2. Письмо с формой Регистрационной анкеты (необходимо загрузить копии паспорта и диплома о высшем или среднем профессиональном образовании).
3. За три дня до старта курса придет письмо с расписанием лекций.
После подтверждения участия в программе, мы высылаем оферту с графиком платежей и ссылку на оплату. Оплатить можно банковской картой.
После оплаты Вам придут:
1. Письмо с ссылками на подключения в чат и страница с актуальной информацией о курсе.
2. Письмо с формой Регистрационной анкеты (необходимо загрузить копии паспорта и диплома о высшем или среднем профессиональном образовании).
3. За три дня до старта курса придет письмо с расписанием лекций.
Мы подбираем преподавателей в соответствии с задачами, опытом и уровнем участников программы. Вы получите актуальные знания и навыки на рынке.
Для того чтобы начать обучение Вы должны иметь диплом о высшем или среднем профессиональном образовании или справку о том, что обучаетесь сейчас. Возможность уделять время учебе не менее 8 часов в неделю. Иметь базовые знания по содержанию курса.
Почему стоит выбрать МФТИ
1 местов рейтинге Superjob в сфере
ТОП 3в рейтинге Forbes
лучших вузов России
10 нобелевских лауреатовсреди выпускников и преподавателей
Более 80академиков и членов-корреспондентов РАН
Почему Вам стоит выбрать МФТИ
- 1 местов рейтинге Superjob в сфере
- ТОП 3в рейтинге Forbes
лучших вузов России - 10 нобелевских лауреатовсреди выпускников и преподавателей
- Более 80академиков и членов-корреспондентов РАН
Андрей Райгородский о ФПМИ МФТИ
Доктор физико-математических наук, профессор, директор Физтех-школы прикладной математики и информатики (ФПМИ)
“Физтех-школа прикладной математики и информатики (ФПМИ) МФТИ – безусловно ведущий мировой центр науки и образования в области математики и информатики. Особенность нашей школы заключается в том, что она сочетает в себе активную научную деятельность и тесную связь с индустрией. На сегодняшний день школа включает в себя 28 кафедр и 22 лаборатории от ключевых академических институтов и ключевых представителей IT-индустрии: Яндекс, Тинькофф, Сбербанк, VK, Abbyy, 1C, Huawei и другие.
Наша школа и МФТИ в целом гордимся своими выпускниками, например, мы занимаем первое место в рейтинге вузов России по уровню зарплат занятых в IT-отрасли специалистов "
Наша школа и МФТИ в целом гордимся своими выпускниками, например, мы занимаем первое место в рейтинге вузов России по уровню зарплат занятых в IT-отрасли специалистов "
Подать заявку и получить консультацию
Нажимая кнопку «Отправить», вы соглашаетесь с условиями обработки персональных данных
Оплата обучения возможна в рассрочку
(только для физических лиц)
(только для физических лиц)
Оплата обучения возможна в рассрочку
(только для физических лиц)
(только для физических лиц)
Рассрочка на оплату обучения для физических лиц
По каждой из предлагаемых программ/курсов, имеется возможность оплаты обучения в рассрочку.
Условия рассрочки:
Полная стоимость обучения при использовании рассрочки не изменяется. Рассрочка беспроцентна, оформление рассрочки бесплатно.
Детали рассрочки описаны в оферте на каждую соответствующую программу/курс, в Приложении № 1 – График платежей.
В Графике платежей указаны контрольные даты, на которые слушателем суммарно за всё предшествующее такой дате время должна быть перечислена указанная в графике платежей соответствующая сумма, или превышающая её сумма (но не более полной стоимости обучения). Например:
Условия рассрочки:
Полная стоимость обучения при использовании рассрочки не изменяется. Рассрочка беспроцентна, оформление рассрочки бесплатно.
Детали рассрочки описаны в оферте на каждую соответствующую программу/курс, в Приложении № 1 – График платежей.
В Графике платежей указаны контрольные даты, на которые слушателем суммарно за всё предшествующее такой дате время должна быть перечислена указанная в графике платежей соответствующая сумма, или превышающая её сумма (но не более полной стоимости обучения). Например:
- Оплата через равные промежутки времени платежами одинакового размера
- Оплата одним платежом в размере стоимости всего обучения