Хранение и обработка больших объемов данных
Освоите алгоритмы, парадигмамы и инструменты для пакетной и потоковой обработки больших объёмов данных
Курс // Старт февраль 2025
Длительность
Формат
Документ
4 месяца,
4 ак.ч. в неделю
4 ак.ч. в неделю
Живое общение с преподавателем на онлайн-вебинарах
Удостоверение о повышении квалификации МФТИ
Рассрочка
Обучение проводится совместно с основной магистратурой МФТИ ФПМИ Алгоритмы и технологии программирования.
Технологии хранения и обработки больших данных включают в себя различные подходы и инструменты, которые позволяют эффективно управлять и анализировать огромные объемы информации.
Обработка больших данных с помощью соответствующих инструментов предоставляет компаниям более глубокое понимание потребностей клиентов, рыночных трендов и операционной деятельности, что в свою очередь может привести к улучшению принятия решений.
Обработка больших данных с помощью соответствующих инструментов предоставляет компаниям более глубокое понимание потребностей клиентов, рыночных трендов и операционной деятельности, что в свою очередь может привести к улучшению принятия решений.
Кому подойдет курс
Разработчики
Аналитики
Data Scientists
расширите свои профессиональные возможности и получите новые навыки работы с большими данными
освоите работу с большими данными и сможете решать более сложные и интересные аналитические задачи
получите базу по современным инструментам и подходам к сбору, хранению и обработке данных, чтобы улучшить качество ML- модели
Junior Data Engineers
научитесь грамотно использовать современные технологии работы с Big Data и понимать, какую технологию в каких случаях лучше применять
Программа курса
7 модулей
4 месяца
4 ак.ч. в неделю
- Распределённые файловые системы (GFS, HDFS)Распределённые файловые системы (GFS, HDFS). Её составляющие. Их достоинства, недостатки и сфера применения. Чтение и запись в HDFS. HDFS APIs: Web, shell, Java.
- Парадигма MapReduceПарадигма MapReduce. Основная идея, формальное описание. Обзор реализаций. Виды и классификация многопроцессорных вычислительных систем. Hadoop. Схема его работы, роли серверов в Hadoop-кластере. API для работы с Hadoop (Native Java API vs. Streaming), примеры. MapReduce, продолжение. Типы Join'ов и их реализации в парадигме MR. Паттерны проектирования MR (pairs, stripes, составные ключи).
- Управление ресурсами Hadoop-кластера. YARNHadoop MRv1 vs. YARN. Нововведения в последних версиях Hadoop. Планировщик задач в YARN. Apache Slide.
- SQL over BigData: Apache Drill, Cloudera Impala, Presto, HiveSQL over BigData: Apache Drill, Cloudera Impala, Presto, Hive. Повторение SQL. HiveQL vs. SQL. Виды таблиц в Hive, типы данных, трансляция Hive-запросов в MapReduce-задачи. Аналитические функции в Hive. Расширения Hive: Streaming, User defined functions. Оптимизация запросов в Hive.
- Технологии обработки данных в распределенной оперативной памяти. Apache SparkSpark RDD vs Spark Dataframes
Spark SQL
Spark GraphFrames - Обработка данных в реальном времени. Kafka, Spark StreamingОбработка данных в реальном времени. Spark Streaming. Распределённая очередь Apache Kafka. Kafka streams.
- BigData NoSQL, Key-value базы данныхHBase. NoSQL подходы к реализации распределенных баз данных, key-value хранилища. Основные компоненты BigTable-подобных систем и их назначение, отличие от реляционных БД. Чтение, запись и хранение данных в HBase. Minor- и major-компактификация. Надёжность и отказоустойчивость в HBase. Cassandra. Основные особенности. Чтение и запись данных. Отказоустойчивость.
Примеры применения HBase и Cassandra.
Отличие архитектуры HBase от Сassandra.
Необходимый уровень знаний
Для успешного прохождения курса нужно владеть базовыми знаниями Python, Linux. Желателен минимальный опыт в Java, SQL. Основы Hadoop, Docker приветствуются, но не являются обязательными, так как их Вы будете изучать на курсе.
Как проходит обучение
Качественная теоретическая подготовка
Все преподаватели — признанные профессионалы в своей области. Вы получите те знания и навыки, которые востребованы сейчас на рынке
Живое общение с преподавателем
Онлайн-занятия с преподавателем – живые встречи по установленному расписанию. Занятия совмещают теорию и практику. Вы видите экран преподавателя, задаете вопросы, получаете обратную связь
Домашние задания
Материалы занятий нужно обязательно закреплять, выполняя домашние задания. Команда курса проверяет задания и дает обратную связь. Условием успешного окончания курса является выполнение всех домашних заданий
Записи занятий
Вы сможете всегда пересмотреть занятие в записи, чтобы лучше усвоить пройденную тему, или же если не смогли по какой-то причине присоединиться к занятию
Общение и поддержка 24/7
Вы будете добавлены в чат, где сможете общаться со своими сокурсниками, куратором школы и преподавателем: задавать вопросы, делиться опытом
Акцент на навыках
Вас ждёт много практической работы, разбор кейсов, а благодаря выполнению финального проекта под руководством преподавателя вы получите свой первый выполненный проект
Доступ к электронной библиотеке МФТИ
Электронная библиотека создана для того, чтобы информационно помогать нашим слушателям. Вы получаете удаленный доступ к электронным учебникам
Не прощаемся после курсов
На связи с вами и после курса. Поможем при необходимости составить и проверить ваше резюме, делимся информацией о тематических конференциях, вебинарах, вакансиях и стажировках
Преподаватель курса
Кто может получить дополнительное профессиональное образование
те, кто еще учится в колледжах или вузах и не получил диплом. методы обработки текста, а именно - решения задач классификации, тегирования и генерации
Студенты колледжей и вузов могут параллельно учиться по программам ДПО, но удостоверения о повышении квалификации или дипломы о профессиональной переподготовке им выдадут только после того, как будет окончен курс основного образования и на руках у выпускника будет диплом вуза или колледжа
те, у кого уже есть среднее или высшее профессиональное образование;
Курсы повышения квалификации или профессиональной переподготовки могут проходить две категории слушателей:
ФПМИ МФТИ
25
218
26
научных лабораторий, в которых рождается прогресс
преподавателей с учёными степенями
крупных компаний-партнёров, интегрированных с университетом
"Физтех-школа прикладной математики и информатики (ФПМИ) МФТИ – безусловно ведущий мировой центр науки и образования в области математики и информатики.
Особенность нашей школы заключается в том, что она сочетает в себе активную научную деятельность и тесную связь с индустрией.
На сегодняшний день школа включает в себя 28 кафедр и 22 лаборатории от ключевых академических институтов и ключевых представителей IT-индустрии: Яндекс, Тинькофф, Сбербанк, VK, Abbyy, 1C, Huawei и другие.
Наша школа и МФТИ в целом гордимся своими выпускниками, например, мы занимаем первое место в рейтинге вузов России по уровню зарплат занятых в IT-отрасли специалистов "
Особенность нашей школы заключается в том, что она сочетает в себе активную научную деятельность и тесную связь с индустрией.
На сегодняшний день школа включает в себя 28 кафедр и 22 лаборатории от ключевых академических институтов и ключевых представителей IT-индустрии: Яндекс, Тинькофф, Сбербанк, VK, Abbyy, 1C, Huawei и другие.
Наша школа и МФТИ в целом гордимся своими выпускниками, например, мы занимаем первое место в рейтинге вузов России по уровню зарплат занятых в IT-отрасли специалистов "
Доктор физико-математических наук, профессор, директор Физтех-школы прикладной математики и информатики (ФПМИ)
Андрей Райгородский о ФПМИ МФТИ
МФТИ №1 среди технических вузов России
Нам есть, чем гордиться
2 выпускника МФТИ стали Нобелевскими лауреатами по физике в 2010 году
В общих рейтингах лучших университетов мира Times Higher Education и Quacquarelli Symonds МФТИ занимает первое место среди технических вузов России
МФТИ вошел в 50 лучших вузов мира по физике и в 100 лучших по математике по результатам рейтинга QS World University Rankings by Subject 2021
12 выпускников МФТИ вошли в список Forbes
Исследование Superjob показало, что самые высокие зарплаты среди молодых IT-специалистов - 230 000 рублей в месяц - окончивших вузы в 2014-2019 годах, у выпускников Московского Физико-технического института
Хотите быть в курсе предстоящих событий и новых программ? Тогда подпишитесь на нашу рассылку
Подписка на рассылку новостей ФПМИ МФТИ
Вы можете получить налоговый вычет за обучение и сэкономить до 13% от стоимости программы
Институт напрямую, без посредничества банка, предоставляет рассрочку
За 14 дней вы посетите 4 занятия, и если вы решите прекратить обучение, вернём деньги в полном объёме
Возврат 13% от государства
Рассрочка 0%
Гарантия возврата 14 дней
Что еще важно
Нажимая кнопку «Отправить», вы соглашаетесь с условиями обработки персональных данных
продолжительность курса 4 месяца
64 000 ₽
Чтобы подать заявку, получить бесплатную консультацию или подробную программу обучения, пожалуйста, заполните форму
Стоимость обучения
Вернем деньги, если обучение не подойдет
Скидка 35%, если это ваш 2й курс
FAQ
Часто задаваемые вопросы
Во-первых, наши курсы проходят в формате живых вебинаров . Это означает, что вы сможете еженедельно в течении обучения общаться с преподавателями, получать поддержку ассистентов и одногруппников, это поможет сохранять мотивацию.
Во-вторых, МФТИ - ведущий ВУЗ России в области Computer Science. Наши преподаватели отслеживают тенденции в науке и технологиях, сотрудничают с топовыми технологическими компаниями, поэтому вы учитесь только тому, что актуально. Мы обновляем программы с учетом современных требований работодателей, поэтому вы получаете необходимую базу знаний и навыков, чтобы войти в профессию или перейти на новый уровень на вашей текущей работе
В-третьих, у нас есть лицензия на образовательную деятельность, поэтому по результатам обучения мы выдаем удостоверения о повышении квалификации и дипломы о профессиональной переподготовке МФТИ
Во-вторых, МФТИ - ведущий ВУЗ России в области Computer Science. Наши преподаватели отслеживают тенденции в науке и технологиях, сотрудничают с топовыми технологическими компаниями, поэтому вы учитесь только тому, что актуально. Мы обновляем программы с учетом современных требований работодателей, поэтому вы получаете необходимую базу знаний и навыков, чтобы войти в профессию или перейти на новый уровень на вашей текущей работе
В-третьих, у нас есть лицензия на образовательную деятельность, поэтому по результатам обучения мы выдаем удостоверения о повышении квалификации и дипломы о профессиональной переподготовке МФТИ
До осени 2021 мы проводили обучение на базе ЦДПО МФТИ. Выделение в отдельную образовательную структуру в рамках ФПМИ МФТИ позволило стать нам более гибкими, быстрыми в принятии решений, клиентоориентированными, у нас появилась более удобная для слушателей с расширенными возможностями обучающая платформа. Все программы утверждаются на Ученом Совете МФТИ, что своего рода - "знак качества".
После успешного окончания курсов слушатели получают Удостоверение о повышении квалификации МФТИ.
После прохождения всех курсов, включенных в программу, слушатели получают Диплом о профессиональной переподготовке МФТИ
Под успешным прохождением курсов понимается сдача всех домашних заданий и финального проекта (где это предусмотрено программой) на оценку не ниже "удовлетворительно".
После прохождения всех курсов, включенных в программу, слушатели получают Диплом о профессиональной переподготовке МФТИ
Под успешным прохождением курсов понимается сдача всех домашних заданий и финального проекта (где это предусмотрено программой) на оценку не ниже "удовлетворительно".
Мы проводим обучение слушателей на курсах повышения квалификации и программах профессиональной переподготовки.
- Курсы направлены на получение определенных знаний и навыков для профессиональной деятельности (например: Python, SQL).
- Программы состоят из нескольких курсов и направлены на получение совокупности знаний и навыков, необходимых для работы в определенной сфере (например: Data Engineer, Data Scientist).
- Курсы направлены на получение определенных знаний и навыков для профессиональной деятельности (например: Python, SQL).
- Программы состоят из нескольких курсов и направлены на получение совокупности знаний и навыков, необходимых для работы в определенной сфере (например: Data Engineer, Data Scientist).
У нас есть курсы как для начинающих специалистов, так и для тех, кто осваивает профессию с нуля. Все зависит от вашей мотивации и ваших soft skills. У нас достаточно слушателей-"гуманитариев", которые успешно прошли обучение и нашли работу.
Все занятия проходят в формате живых вебинаров 2 раза в неделю в Zoom: вы задаёте вопросы преподавателю, получаете ответы и общаетесь с однокурсниками.
Каждое занятие состоит из теоретической и практической части . Преподаватель сначала объясняет теорию, затем слушатели выполняют практические задания под руководством преподавателя.
Также преподаватели выдают домашние задания, которые помогают закреплять навыки. По результатам домашних заданий вы получаете фидбек от преподавателя или ассистента.
Каждое занятие состоит из теоретической и практической части . Преподаватель сначала объясняет теорию, затем слушатели выполняют практические задания под руководством преподавателя.
Также преподаватели выдают домашние задания, которые помогают закреплять навыки. По результатам домашних заданий вы получаете фидбек от преподавателя или ассистента.
Конечно, все занятия записываются, и на следующий день после занятия запись, а также материалы занятия, доступны на обучающей платформе. Вы всегда можете посмотреть урок в удобное для вас время. Доступ ко всем материалам курса -1 год.
Мы всегда входим в положение слушателей и можем предложить продолжить обучение со следующим потоком (1 раз) или продлить срок аттестации, в течении которого слушатель сможет пройти весь материал и успешно сдать контрольные задания.
Вы можете оплатить курс /программу банковской картой.
У нас предусмотрены скидки студентам и выпускникам основных образовательных программ МФТИ, слушателям и выпускникам программ дополнительного профессионального образования МФТИ, а также сотрудникам МФТИ:
- на программы профессиональной переподготовки - 15%
- на курсы повышения квалификации - 35%
- на программы профессиональной переподготовки - 15%
- на курсы повышения квалификации - 35%
Мы на 100% уверены в качестве наших образовательных курсов и гарантируем, что вы в любой момент сможете вернуть деньги.
Мы вернем всю сумму за ту часть обучения, которую вы не успели пройти, если программа вам не подойдет.
Мы вернем всю сумму за ту часть обучения, которую вы не успели пройти, если программа вам не подойдет.
Да, мы можем предоставить рассрочку. График платежей прописан в оферте. Просто оставьте заявку на участие на лендинге соответсвующего курса/программы, и вы сможете обсудить все детали с менеджером.
.Да, мы имеем лицензию на образовательную деятельность, поэтому, если вы официально трудоустроены, то можете вернуть 13% от стоимости обучения. Подробнее >>
Условия рассрочки
По каждой из предлагаемых программ/курсов, имеется возможность оплаты обучения в рассрочку.
Условия рассрочки:
Полная стоимость обучения при использовании рассрочки не изменяется. Рассрочка беспроцентна, оформление рассрочки бесплатно.
Детали рассрочки описаны в оферте на каждую соответствующую программу/курс, в Приложении № 1 – График платежей.
В Графике платежей указаны контрольные даты, на которые слушателем суммарно за всё предшествующее такой дате время должна быть перечислена указанная в графике платежей соответствующая сумма, или превышающая её сумма (но не более полной стоимости обучения). Например:
Все описанные варианты допустимы, если на каждую из обозначенных в графике платежей дат внесено платежей на сумму не меньше указанной.
Условия рассрочки:
Полная стоимость обучения при использовании рассрочки не изменяется. Рассрочка беспроцентна, оформление рассрочки бесплатно.
Детали рассрочки описаны в оферте на каждую соответствующую программу/курс, в Приложении № 1 – График платежей.
В Графике платежей указаны контрольные даты, на которые слушателем суммарно за всё предшествующее такой дате время должна быть перечислена указанная в графике платежей соответствующая сумма, или превышающая её сумма (но не более полной стоимости обучения). Например:
- Оплата через равные промежутки времени платежами одинакового размера
- Оплата одним платежом в размере стоимости всего обучения
Все описанные варианты допустимы, если на каждую из обозначенных в графике платежей дат внесено платежей на сумму не меньше указанной.
Получить консультацию
Нажимая на кнопку "Отправить", вы соглашаетесь с условиями обработки персональных данных
Кто может получить дополнительное образование
Кто может получить Удостоверение о профессиональной переподготовке МФТИ?
Получить Удостоверение о повышении квалификации могут получить две категории слушателей:
• те, у кого уже есть среднее или высшее профессиональное образование;
• те, кто еще учится в колледжах или вузах и не получил диплом.
Студенты колледжей и вузов могут параллельно учиться по программам ДПО, но удостоверения о повышении квалификации им выдадут только после того, как будет окончен курс основного образования и на руках у выпускника будет диплом вуза или колледжа.
Могут ли учиться слушатели без высшего или среднего профессионального образования?
Слушатели без оконченного высшего или среднего профессионального образования могут проходить курсы повышения квалификации или программы профессиональной переподготовки. По окончании обучения они получат Сертификат об окончании программы
Получить Удостоверение о повышении квалификации могут получить две категории слушателей:
• те, у кого уже есть среднее или высшее профессиональное образование;
• те, кто еще учится в колледжах или вузах и не получил диплом.
Студенты колледжей и вузов могут параллельно учиться по программам ДПО, но удостоверения о повышении квалификации им выдадут только после того, как будет окончен курс основного образования и на руках у выпускника будет диплом вуза или колледжа.
Могут ли учиться слушатели без высшего или среднего профессионального образования?
Слушатели без оконченного высшего или среднего профессионального образования могут проходить курсы повышения квалификации или программы профессиональной переподготовки. По окончании обучения они получат Сертификат об окончании программы