Курсы по нейросетям со скидкой до 30%
Курсы по нейросетям со скидкой до 30%
Выбрать курс
Data Science
Spark Developer

Spark Developer

Углубленный курс по самым мощным инструментам обработки больших данных.

29 апреля

4 месяца

Онлайн

Пн/Ср 20:00 Мск

Для кого этот курс?

  • Для Data-инженеров: курс поможет углубить знания в распределённых вычислениях, оптимизации ETL-процессов и работе с большими данными в реальном времени. Spark — ключевой инструмент в пайплайнах обработки данных, и его освоение повысит эффективность работы.
  • Для Backend-разработчиков, которые хотят работать с большими объёмами данных, масштабируемыми сервисами и распределёнными системами. Spark позволит эффективно обрабатывать данные в высоконагруженных приложениях.
  • Для специалистов по Data Science: Spark ускоряет обработку и анализ больших датасетов, что критично для ML-моделей. Курс научит работать с PySpark, SQL-запросами и распределёнными вычислениями, что расширит возможности анализа.
  • Для ML-инженеров: Spark MLlib позволяет обучать модели на больших данных. Курс поможет эффективнее готовить данные и развертывать ML-решения в продакшене.
 

Необходимые знания

  • Базовое знание Scala и Java
  • Знание SQL
 

Подходит ли эта программа именно вам?

Пройдите тест, чтобы определить свой уровень знаний

Что даст вам этот курс?

Вы получите глубовое понимание инструментов и возможностей Spark, оркестрацию, тестирование и мониторинг приложений.

Научитесь интегрировать Spark с различными источниками данных: SparkML, работу с графами, Spark в Hadoop, Spark в Kubernetes, Hive.

И изучите разработку собственных коннекторов и потоковую обработку данных: Scala, Spark API (RDD, DataFrame, Dataset), Apache Arrow и Pandas API, форматы данных. 


После прохождения курса вы сможете:

  • Разрабатывать приложения Spark
  • Разрабатывать модели ML на Spark и выводить их в Production
  • Запускать Spark в Hadoop и Kubernetes
  • Писать тесты для Spark-приложений
  • Использовать Spark для обработки табличных, потоковых, гео-данных и графов
  • Настраивать мониторинг Spark-приложений
Примеры тем итоговых проектов студентов 2024:
 
  • Обнаружение сближения судов на основе данных АИС (Автоматическая идентификационная система);
  • Построение архитектуры аналитики на Azure Databricks; 
  • Анализ временных рядов на криптовалютной бирже; 
  • Создание витрины по анализу воронки продаж на маркетплейсе; 
  • Матчинг клиентских профилей банка с профилями клиентов экосистемы для дальнейшей маркетинговой коммуникации.

Авторская программа

Программу составлял Вадим Заигрин - автор курсов Data Engineer, Apache Kafka. Все материалы актуализируются исходя из тенденций рынка труда и обратной связи от студентов.

Что нового в запуске 2025?
 
  • Обновили лекции и практику о функциях API Pandas
  • Первые шаги в Scala
  • Дальнейшие шаги в Scala

Процесс обучения

Обучение проходит онлайн: вебинары, общение с преподавателями и вашей группой в Telegram, сдача домашних работ и получение обратной связи от преподавателя.

Вебинары проводятся 2 раза в неделю по 2 ак. часа и сохраняются в записи в личном кабинете. Вы можете посмотреть их в любое удобное для вас время.

В ходе обучения вы будете выполнять домашние задания. Каждое из них посвящено одному из компонентов вашего выпускного проекта.

После выполнения всех домашних заданий вы получите готовый выпускной проект.

Портфолио

Индивидуальная разработка проектной работы.

Оптимальная нагрузка

Возможность совмещать учебу с работой.

Перспективы

Получите знания, которые помогут повысить вашу востребованность и доход.

Партнеры

Многие студенты еще во время прохождения первой части программы находят или меняют работу, а к концу обучения могут претендовать на повышение в должности.
  • Карьерные мероприятия в сообществе
    Публичный разбор резюме
    Публичное прохождение собеседования и воркшопы
  • Разместите свое резюме в базе OTUS и сможете получать приглашения на собеседования от партнеров

Data Engineer

Перспективы направления
Средний уровень зарплат:
70 000 ₽Junior+ специалист
170 000 ₽Middle+ специалист
350 000 ₽Senior специалист
15649
актуальных вакансий

Работодатели курса

Формат обучения

Интерактивные вебинары

2 занятия по 2 ак.часа в неделю.
Доступ к записям и материалам остается навсегда.

Обратная связь

Домашние задания с поддержкой и обратной связью наших преподавателей помогут освоить изучаемые технологии.

Активное комьюнити

Общайтесь с преподавателями голосом на вебинарах и в закрытой Telegram группе.

Программа

Введение

Вводный модуль, в котором мы познакомимся со Spark, рассмотрим архитектуру Spark-приложений и научимся писать код на Scala.

Тема 1: Что такое Spark

Тема 2: Первые шаги в Scala

Тема 3: Дальнейшие шаги в Scala

Тема 4: Практика работы со Scala

Большие данные

В этом модуле мы познакомимся с Большими Данными. Изучим Hadoop, рассмотрим, как запускать в Hadoop приложения Spark, изучим Hive и узнаем особенности HiveQL, узнаем, как запускать Spark в Kubernetes.

Тема 1: Основы Hadoop

Тема 2: Обзор Hive

Тема 3: Распределенные файловые системы

Тема 4: Spark в Hadoop, YARN

Тема 5: Spark в Kubernetes

API

В этом модуле изучим Spark API: RDD, DataFrame, Dataset и Spark SQL, узнаем, как использовать Arrow и Pandas API, сможем выбирать правильный API для реализации своей задачи и узнаем, как разрабатывать UDF и UDAF.

Тема 1: RDD

Тема 2: DataFrame

Тема 3: Dataset, SparkSQL

Тема 4: UDF и UDAF

Тема 5: Spark Connect

Тема 6: Pandas API

Источники данных

В этом модуле изучим взаимодействие Spark с различными источниками данных: файлы в различных форматах, подключение к различным СУБД, как разработать свой коннектор и как обрабатывать потоковые данные.

Тема 1: Файлы и их форматы

Тема 2: Базы данных, Hive

Тема 3: Kafka

Тема 4: Structured Streaming

Дополнительные возможности

Этот модуль посвящён дополнительным возможностям Spark, которые иногда напрасно игнорируются. Узнаем, как разрабатывать модели ML на Spark, как работать с графами и как тестировать приложения Spark.

Тема 1: Spark ML

Тема 2: Работа с графами

Тема 3: Геопространственная обработка данных в Apache Spark

Тема 4: Тестирование приложений Spark

Тема 5: Консультация по домашним заданиям

Промышленное использование

Этот модуль посвящён промышленному использованию Spark: как запускать задания Spark по расписанию, как осуществлять мониторинг приложений Spark и как оптимизировать приложения Spark.

Тема 1: Оркестрация процессов обработки данных

Тема 2: Мониторинг Spark приложений

Тема 3: Методы оптимизации приложений Spark

Проектная работа

По результатам модуля вы у вас будет готовый проект, который позволит применить полученные в ходе курса знания на практике и в дальнейшем может быть включен в резюме при собеседовании на вакансии Data Engineer или Spark Developer.

Тема 1: Выбор темы и организация проектной работы

Тема 2: Консультация по проектам и домашним заданиям

Тема 3: Защита проектных работ

Также вы можете получить полную программу, чтобы убедиться, что обучение вам подходит

Выпускной проект

 

Курс завершается финальным проектом, который предстоит защитить перед преподавателями и командой. Вам будет, что обсудить на собеседовании! Вы можете выбрать одну из предложенных преподавателем тем или реализовать свою идею.

 

В качестве выпускного проекта будет построена ETL-система на основе Hadoop, включающая в себя:
 
  • Загрузку данных из источников
  • Простой Data Lake на основе этих данных с использованием Hive
  • Лямбда-архитектуру для реалтайм-аналитики на основе Spark

Преподаватели

Руководитель курса

Вадим Заигрин

Ведущий консультант

IBS

Валентин Шилин

Старший программист/аналитик данных

Deutsche Telekom IT GmbH

Алексей Любшин

Data Engineer

Эксперты-практики делятся опытом, разбирают кейсы студентов и дают развернутый фидбэк на домашние задания

Ближайшие мероприятия

Открытый вебинар — это настоящее занятие в режиме он-лайн с преподавателем курса, которое позволяет посмотреть, как проходит процесс обучения. В ходе занятия слушатели имеют возможность задать вопросы и получить знания по реальным практическим кейсам.

Чтение CSV — вход в Spark
Валентин Шилин
CSV - Процесс загрузки данных из плоского файла формата CSV (Comma-Separated Values) в распределенную коллекцию данных Spark — DataFrame. Это первый шаг в знакомстве с API Spark и основой для любой последующей обработки

CSV — это «лингва франка» в мире данных. В этом формате хранятся выгрузки из баз данных, логи работы приложений и сервисов, отчеты за произвольные периоды и данные для обмена между системами. Умение быстро и правильно загрузить CSV — критический навык для любого специалиста, работающего с данными

📍 Программа урока:
1. Spark DataFrame 101: Почему это не просто таблица?
2. Анатомия чтения CSV: От файла до DataFrame
3. Настройка парсинга: Работа с «грязными» данными
4. Практический пример: Загрузка логов веб-сервера
5. Подводные камни и советы эксперта

👥 Кому будет полезен урок:
- Начинающие дата-инженеры: Получат фундаментальное понимание первого и важнейшего этапа ETL-процесса
- Аналитики данных: Научатся самостоятельно загружать большие объемы данных (Big Data), которые не влезают в Excel или pandas, и строить на их основе отчеты в Spark
- Разработчики, переходящие в Big Data: Увидят, как привычные операции с файлами масштабируются на распределенные системы

✅ Что слушатели узнают и смогут делать по итогам урока:
- Понимать процесс: Как именно Spark взаимодействует с файловой системой и почему скорость чтения растет с добавлением ресурсов
- Писать код: Смогут самостоятельно написать и выполнить код для загрузки любого CSV-файла в PySpark или Scala
- Контролировать схему: Перестанут полагаться на "магию" автоопределения типов и научатся объявлять схему данных вручную, предотвращая ошибки в продакшене
- Побеждать сложные форматы: Будут готовы к нестандартным CSV (с разделителями-табами, кавычками внутри данных и битыми строками)
- Видеть разницу: Поймут, когда достаточно pandas, а когда нужно подключать тяжелую артиллерию в виде Spark...
30 марта в 17:00
Открытый вебинар
DataFrame = таблица с оптимизатором
Валентин Шилин
DataFrame в Apache Spark — это не просто распределенная таблица с данными, а прежде всего план вычислений (logical plan). Вы оперируете данными через высокоуровневые операции (фильтры, группировки, джойны), но сам Spark не выполняет их немедленно. Вместо этого он строит граф преобразований, который затем передается оптимизатору

Такой подход нужен, чтобы отделить намерение аналитика (что мы хотим получить) от исполнения движком (как это вычислить). Благодаря этому Spark может заглянуть за горизонт: увидеть всю цепочку операций, переставить их местами, совместить или отбросить ненужное, чтобы найти самый быстрый способ обработки данных. Это превращает Spark из исполнителя в стратега

📍 Программа урока
1. От императивности к декларативности. В чем разница: «Как считать» vs «Что получить». Аналогия с SQL
2. Ленивость — двигатель прогресса. Трансформации (ленивые) vs Действия (момент истины). Почему Spark не спешит считать данные.
3. Внутренности Catalyst Optimizer. Логический vs физический план. Ключевые правила оптимизации: проталкивание фильтров, отбрасывание лишних колонок
4. Практический пример: Учимся читать планы. Разбор медленного и быстрого кода. Использование df.explain() для диагностики
5. Выводы: Как писать код под оптимизатор. Простые правила: фильтруй раньше, бери только нужные колонки, не ломай lineage

👥 Для кого будет актуален урок:
- Аналитики данных: Чтобы перестать бояться больших данных и понять, почему один и тот же код на Spark может летать или тормозить, и как на это влиять
- Инженеры данных: Для системного понимания того, как строить эффективные ETL-процессы и избегать "узких горлышек" на этапе проектирования
- Разработчики Spark-приложений: Которые хотят писать код, который масштабируется автоматически, без ручной возни с партициями и аккумуляторами
- Технические лиды: Чтобы принимать архитектурные решения, основанные на понимании внутренностей движка

✅ Что слушатели узнают и чему научатся по итогам урока:
- Поймут ключевое отличие Spark от классических инструментов — работу с планом, а не с данными
- Научатся читать вывод df.explain() и видеть, эффективно ли выполняется их запрос
- Применение оптимизатора: Узнают, какие правила оптимизатора работают «по умолчанию» и как убедиться, что они сработали
- Написание эффективного кода: Смогут писать пайплайны, которые автоматически ускоряются на больших объемах данных без микроменеджмента
- Диагностика проблем: Поймут, почему даже простой df.filter() может вызвать полное чтение таблицы, если не учесть нюансы партиционирования...
9 апреля в 17:00
Открытый вебинар
Что нового в Spark 4.0
Вадим Заигрин
Apache Spark — один из ключевых инструментов для обработки больших данных, и его новые версии приносят значительные улучшения в производительность, удобство использования и функциональность. Spark 4.0 обещает важные изменения, которые повлияют на работу дата-инженеров, аналитиков и разработчиков Big Data. На вебинаре разберём ключевые нововведения и их практическое применение

📍 Программа вебинара
- Обзор Spark 4.0: главные изменения и улучшения
- Производительность и оптимизации: что ускорилось и как этим пользоваться
- Новые API и функции: какие возможности появились для разработчиков
- Интеграция с другими технологиями: совместимость с Kubernetes, облачными платформами и инструментами Data Science
- Практические кейсы: разбор примеров использования нововведений

👥 Для кого будет актуален?
- Дата-инженеры и архитекторы Big Data
- Аналитики данных, работающие с большими объемами информации
- Разработчики, использующие Spark в своих проектах
- Технические руководители и DevOps-специалисты

✅ Что слушатели узнают по итогам вебинара?
- Ключевые нововведения в Spark 4.0 и их преимущества
- Как новые функции улучшают производительность и упрощают разработку
- Какие изменения потребуют адаптации в существующих проектах
- Примеры использования обновленного Spark в реальных задачах
- Направления развития экосистемы Spark в ближайшем будущем...
23 апреля в 17:00
Открытый вебинар

Прошедшие
мероприятия

Валентин Шилин
Открытый вебинар
Как ускорить обработку данных в Apache Spark: проверенные техники и лайфхаки
Валентин Шилин
Открытый вебинар
Практическое введение в Apache Spark: первые шаги в обработке больших данных
Оставьте заявку, чтобы получить доступ ко всем записям прошедших мероприятий. Записи всех мероприятий появятся в этом блоке

Этот курс может оплатить ваш работодатель

Обучайтесь за счёт работодателя или разделите оплату 50/50
  • Подробно расскажем об интересующем вас курсе
  • Объясним, как договориться с работодателем
  • Сообщим стоимость обучения и варианты оплаты
  • Ответим на вопросы
  • Предоставим шаблон договора и счёт на оплату

Отзывы

Игорь Кутявин

30.09.2025
Чтобы понять язык, надо пообщаться с носителем языка. Этот курс помог войти в язык scala и более осознанно применять его на практике. В github много практических задач, можно посмотреть "как это работает". Преподаватели были всегда на связи.

Диана Исаева

13.11.2024
Курс мне достаточно понравился. Вся информация актуальная и преподносят ее корректно. Курс помог мне укрепить свои знания в Spark и приобрести некоторые новые знания)

Ярослав Руссу

23.10.2024
Курс хороший, позволяет систематизировать знания, дает хорошую базу для создания своего окружения, позволяет погружаться в некоторые практические проблемы работы DataFrame API. Одна из самых полезных тем на курсе - Оптимизация Спарк приложений. Понравился формат - мало кто сохранил живые вебинары. Больше всего понравилась практика Андреем Чучаловым. Он рассказывал техники с которыми часто сталкиваемся по работе, знания полученные на курсе актуальны и полезны в моей профессиональной сфере. Курс будет интересен профессионалам с опытом работы полгода-год или опытным разработчикам, желающим перейти на Spark Scala. Большинство моих коллег уже прошли этот курс.

Максим Ботюк

03.10.2024
До обучения в OTUS я работал в Сбере в в позиции middle Java developer. Решил пройти обучение на курсе Spark Developer так, как понравилась программа и данный фреймворк планируем использовать в своих рабочих проектах. Хочу выделить удобный личный кабинет на сайте, понравился формат сдачи ДЗ. В личном кабинете предусмотрен отдельный чат с преподавателем для сдачи каждого задания. На курсе хорошая подача материала. Обучение дает возможность показывать лучшие результаты на работе и тем самым расти в должностях и зп.

Евгений Морозов

07.06.2024
Остался весьма доволен курсом Spark Developer. Наличие некоторого опыта работы со Spark сделало прохождение курса ещё более полезным, так как позволило шире трактовать материал. Преподаватели проявили себя как истинные профессионалы в своей области и дали несколько пригодившихся на практике советов прямо по ходу занятий. Особенно полезным показалось выполнение дипломной работы, которую я настоятельно рекомендую защищать всем. Это отличная отработка как технических навыков, так и системного мышления, превосходящая по сложности домашние задания. Хочу дополнительно отметить, что домашние задания проверялись тщательно, снисходительно и с обратной связью, несмотря на то, что их выполнение вовсе не было обязательным. Непосредственно программа курса предлагает широкий спектр тем, охватывая все API фреймворка, но из-за этого некоторые модули получают меньше внимания. Основное внимание уделяется общему пониманию Spark, вместо углубленного изучения узких областей, таких как SparkML или GraphX. В разделе стриминга было бы полезно уделить больше внимания работе с Kafka, чтобы избежать пробелов в знаниях из-за необходимости освоения ещё одного инструмента без хорошего понимания сферы его применения. Гибкость программы относительно выбора языка заслуживает отдельного упоминания: преподаватели не настаивают на использовании только Scala, за исключением тем, посвященных исключительно этому языку программирования, что позволяет студентам выбирать инструменты в соответствии с их предпочтениями. В целом, курс был очень информативным и полезным, я благодарен за полученные знания.

Анна Губанова

05.06.2024
Курс помог понять, что такое Big Data, как с ней работать, изучили основы функционального языка программирования Scala, сравнили различные структуры данных, такие как RDD, DataFrame, DataSet, разобрали популярные в Big Data форматы хранения файлов, познакомились с брокером сообщений Kafka. Понравились компетентные преподаватели, обратная связь и поддержка при возникновении вопросов.

Александр Логвинов

13.03.2023
Курс для меня был полезен, хоть у меня есть опыт работы со Spark и Flink, мне удалось погрузиться более детально в тонкости работы этих платформ, особенно с точки зрения оптимизации. Преподаватели старались дать углубленные знания, особенно хочу особую благодарность передать Вадиму Ополькому за углубленное понимание предмета, важные уточнения именно в продуктовой обработке Spark и очень мощное введение в оптимизацию Flink. Очень понравилось по использовать Spark ML и создать модель, хотелось бы расширить этот раздел, так как сходу было сложно включиться в эту тему. Впечатлили разделы по hive, что это важная часть больших данных, которые я избегал. В целом курс удался для применения в продуктовой разработке и систематизирования знаний. Спасибо!

Елена Попова

09.10.2021
Положительные моменты. Спасибо преподавателям за лекции, презентации и общение во время занятий. Отдельно хочу выделить прекрасную подготовку к занятиям Монастырева Виталия и Матешук Егора. Понравились домашние задания, удобно, что достаточно поднять контейнер в докере и все окружение готово. Немного критики) Преподаватели не отвечают на сообщения в Slack. Для меня это огромный минус, за который курс не могу порекомендовать коллегам. В начале каждой лекции говорится, что все вопросы задавайте в Slack, по факту, они оставались там без ответа. Обратной связи после лекции не было. По поводу проектной работы. Предложение - либо давать заготовденный список тем, для студентов, у которых отсутствует вдохновение в данные период, либо объявлять гораздо раньше "начинайте думать над темой". Долго времени потратила именно на выбор темы. И на написание самой работы осталось меньше, чем планировала. В целом обстановка была продуктивная. С преподавателями общаться приятно. Организаторы реагировали быстро. Всем спасибо!

Дмитрий Габидуллин

12.02.2021
Записался на данный курс после прохождения Data Engineer с целью закрепить теорию, узнать про новые веяния в направлении. В целом, полностью удовлетворен, несмотря на мелкие шероховатости (переносы лекций и, как мне показалось, не всегда соответствие пройденной темы на лекции и д/з). Хотел бы отметить преподавателя Егора Матешука - всегда отличные, проработанные лекции и интересные домашние работы!

Максим Боровинский

11.02.2021
Курсом на данный момент доволен. Были небольшие заминки с задержкой ДЗ, переносом занятий, но это всё незначительно и никак не повлияло на качество обучения.

Подтверждение знаний и навыков

OTUS осуществляет лицензированную образовательную деятельность. В конце прохождения курса вы получите сертификат OTUS.

После обучения вы:

  • заберете с собой полный комплект обучающих материалов: видеозаписи всех вебинаров, презентации к занятиям и другие дополнительные материалы
  • получите сертификат о прохождении курса
  • пополните свое портфолио новыми работами для будущего работодателя
  • получите все необходимые навыки для работы с Spark.

Частые вопросы

Что, если в середине курса я не смогу продолжать обучение?
У вас есть право одного бесплатного трансфера в другую группу
Обязательно ли защищать выпускной проект?
Для получения сертификата OTUS необходимо сдать проект. Кроме того, проект необязательно защищать перед аудиторией, а можно сдать в чате с преподавателем.
Я могу вернуть деньги?
Да, вы можете сделать возврат средств пропорционально оставшимся месяцам обучения.