[МФТИ] Разработчик Big Data (Олег Ивченко, Николай Анохин)

​

Станьте специалистом, который проектирует системы сбора и обработки больших массивов данных. Получите диплом о профессиональной переподготовке МФТИ

Обучение проводится совместно с основной магистратурой Алгоритмы и технологии программирования.
- среда обучения приближенная к реальной работе
- преподаватели и студенты занимают топовые позиции в крупных IT-компаниях
Вас ждут сложные задачи, интенсивная самостоятельная работа.
Выбрав программу профессиональной переподготовки, Вы присоединяетесь к группе и проходите обучение вместе с основной магистратурой.

Кому подойдет профессия разработчик Big Data

• Разработчик
  сможете совершенствовать навыки программирования, расширить и получить новые знания в desktop, web разработки, а также в работе с большими данными.
• Аналитик
  сможете проводить аналитику с помощью SQL и NoSQL инструментов, визуализировать данные и отчеты на основе больших массивов информации.
• Data engineer
  курсы помогут увеличить свой рабочий арсенал прикладных знаний в работе с данными.
• Data scientist
  получите знания по современным инструментам и подходам, необходимым для сбора, хранения и обработки данных. Изучите модели машинного обучения в применении к большим данным.

Программа Разработчик Big Data
Чтобы получить Профессию Разработчик Big Data, подтвержденную Дипломом о профессиональной переподготовке МФТИ установленного образца, необходимо пройти обучение на трех самостоятельных курсах

Курс Хранение и обработка больших объёмов данных
Старт: февраль 2026 года

Распределённые файловые системы (GFS, HDFS)
Её составляющие. Их достоинства, недостатки и сфера применения. Чтение и запись в HDFS. HDFS APIs: Web, shell, Java.

Парадигма MapReduce
Основная идея, формальное описание. Обзор реализаций. Виды и классификация многопроцессорных вычислительных систем. Hadoop. Схема его работы, роли серверов в Hadoop-кластере. API для работы с Hadoop (Native Java API vs. Streaming), примеры. MapReduce, продолжение. Типы Join'ов и их реализации в парадигме MR. Паттерны проектирования MR (pairs, stripes, составные ключи).

Управление ресурсами Hadoop-кластера. YARN
Hadoop MRv1 vs. YARN. Нововведения в последних версиях Hadoop. Планировщик задач в YARN. Apache Slide.
SQL over BigData: Apache Drill, Cloudera Impala, Presto, Hive
SQL over BigData: Apache Drill, Cloudera Impala, Presto, Hive. Повторение SQL. HiveQL vs. SQL. Виды таблиц в Hive, типы данных, трансляция Hive-запросов в MapReduce-задачи. Аналитические функции в Hive. Расширения Hive: Streaming, User defined functions. Оптимизация запросов в Hive.

Технологии обработки данных в распределенной оперативной памяти. Apache Spark
Spark RDD vs Spark Dataframes
Spark SQL
Spark GraphFrames

Обработка данных в реальном времени. Kafka, Spark Streaming
Распределённая очередь Apache Kafka. Kafka streams.

BigData NoSQL, Key-value базы данных
HBase. NoSQL подходы к реализации распределенных баз данных, key-value хранилища. Основные компоненты BigTable-подобных систем и их назначение, отличие от реляционных БД. Чтение, запись и хранение данных в HBase. Minor- и major-компактификация. Надёжность и отказоустойчивость в HBase. Cassandra. Основные особенности. Чтение и запись данных. Отказоустойчивость.
Примеры применения HBase и Cassandra.
Отличие архитектуры HBase от Сassandra.

Курс технологии программирования и операционные системы
Старт: сентябрь 2026 года

Семейство ОС Unix. Современные инструменты для работы в консоли
Семейство ОС Unix, основные дистрибутивы и их отличия. Основные командные интерпретаторы, их отличия. Утилита sed, язык awk. Использование Python как заменителя shell. Jupyter Notebook. Терминальные мультиплексоры, автоматизация работы с ними.

Системы контроля версий
Системы контроля версий в современных проектах. Разновидности VСS. Git и работа с ним. Работа над проектами в команде. Автоматизация работы с Git.

Контейнеризация и виртуализация
Что это такое? Чем отличаются? Современные платформы и работа с ними. Автоматизация работы с виртуальными окружениями.

Непрерывная интеграция
Методология гибкой разработки. Непрерывная интеграция (continuous integration) и её этапы. Основные инструменты CI и их связь с VCS.

Оркестрация контейнеров. Kubernetes
Основные задачи и концепции. Модель безопасности и контроллеры задач. Архитектура, компоненты. Хранение данных. Взаимодействие по сети. CI/CD в Kubernetes.

Курс Машинное обучение на больших объёмах данных
Старт: сентябрь 2026 | сентябрь 2027 года

Рекомендательные системы
Рекомендательные сервисы в продакшене.
Метрики и базовые подходы
Классические алгоритмы.
Нейросетевые рекомендеры.
Нерешенные проблемы и новые направлени.
Рекомендации и Reinforcement Learning.

Анализ эпидемиологических графов
Foundations & Preliminaries
Characterization of common graph types
Notable results
Advanced topics

Большие языковые модели
Обучение LLM
Длинный контекст + позиционное кодирование. Архитектурные модификации Transformer

Преподаватели программы
- Олег Николаевич Ивченко
Разработчик системы HJudge - системы автоматизированного тестирования Hadoop-приложений, системный администратор инфраструктуры больших данных в группе Яндекс-CERN, преподаватель курсов по обработке больших данных в МФТИ, ВШЭ, ШАД, Harbour.Space
- Николай Анохин
Программист-исследователь VK, специалист в области машинного обучения и обработки больших данных
- Мурат Апишев
Руководитель направления RnD в сфере NLU/NLP компании Just AI, старший преподаватель МФТИ, лектор онлайн-курсов "Нетология"
- Никита Честнов
Аспирант. Преподаватель курсов Практикум Python и Технологии программирования и операционных систем,
Deep learning исследователь

Скрытый текст. Доступен только зарегистрированным пользователям.Нажмите, чтобы раскрыть...