OTUS Logo

UserPartName

Data Science
Spark Developer

Рассрочка

Spark Developer

Углубленный курс по самым мощным инструментам обработки больших данных.

16 марта 2025

4 месяца

Онлайн

Вт/Чт 20:00 Мск

Для кого этот курс?

  • Для Инженеров данных, желающих глубже изучить Spark, которые хотят научиться применять Spark на практике и закрепить с помощью интересных и сложных домашних заданий и выпускного проекта
  • Также курс будет полезен специалистам DataOps и Data Scientist'ам. Первые познакомятся с промышленным  использованием Spark, а вторые с применением Spark в машинном обучении.

Необходимые знания

  • Базовое знание Java и Scala
  • Знание SQL

Подходит ли эта программа именно вам?

Пройдите тест, чтобы определить свой уровень знаний

Что даст вам этот курс?

Вы получите глубовое понимание инструментов и возможностей Spark, оркестрацию, тестирование и мониторинг приложений.

Научитесь интегрировать Spark с различными источниками данных: SparkML, работу с графами, Spark в Hadoop, Spark в Kubernetes, Hive.

И изучите разработку собственных коннекторов и потоковую обработку данных: Scala, Spark API (RDD, DataFrame, Dataset), Apache Arrow и Pandas API, форматы данных. 


После прохождения курса вы сможете:

  • Разрабатывать приложения Spark
  • Разрабатывать модели ML на Spark и выводить их в Production
  • Запускать Spark в Hadoop и Kubernetes
  • Писать тесты для Spark-приложений
  • Использовать Spark для обработки табличных, потоковых, гео-данных и графов
  • Настраивать мониторинг Spark-приложений
Примеры тем итоговых проектов студентов 2023: Обнаружение сближения судов на основе данных АИС (Автоматическая идентификационная система); Построение архитектуры аналитики на Azure Databricks;  Анализ временных рядов на криптовалютной бирже; Создание витрины по анализу воронки продаж на маркетплейсе;  Матчинг клиентских профилей банка с профилями клиентов экосистемы для дальнейшей маркетинговой коммуникации

Авторская программа

Программу составлял Вадим Заигрин - автор курсов Data Engineer, Apache Kafka. Все материалы актуализируются исходя из тенденций рынка труда и обратной связи от студентов.

Что нового в запуске Spark-2023-12? Обновили лекции и практику о тестировании, оптимизации, мониторинге Spark и собственных источниках данных.

Процесс обучения

Обучение проходит онлайн: вебинары, общение с преподавателями и вашей группой в Telegram, сдача домашних работ и получение обратной связи от преподавателя.

Вебинары проводятся 2 раза в неделю по 2 ак. часа и сохраняются в записи в личном кабинете. Вы можете посмотреть их в любое удобное для вас время.

В ходе обучения вы будете выполнять домашние задания. Каждое из них посвящено одному из компонентов вашего выпускного проекта.

После выполнения всех домашних заданий вы получите готовый выпускной проект.

Портфолио

Индивидуальная разработка проектной работы.

Оптимальная нагрузка

Возможность совмещать учебу с работой.

Перспективы

Получите знания, которые помогут повысить вашу востребованность и доход.

Партнеры

Многие студенты еще во время прохождения первой части программы находят или меняют работу, а к концу обучения могут претендовать на повышение в должности.
  • Получите помощь с оформлением резюме, портфолио и сопроводительного письма
  • Получите рекомендации, как искать работу, и советы по прохождению собеседования

Data Engineer

Перспективы направления
Средний уровень зарплат:
70 000 ₽Junior+ специалист
170 000 ₽Middle+ специалист
350 000 ₽Senior специалист
15649
актуальных вакансий

Работодатели курса

Формат обучения

Интерактивные вебинары

2 занятия по 2 ак.часа в неделю.
Доступ к записям и материалам остается навсегда.

Обратная связь

Домашние задания с поддержкой и обратной связью наших преподавателей помогут освоить изучаемые технологии.

Активное комьюнити

Общайтесь с преподавателями голосом на вебинарах и в закрытой Telegram группе.

Программа

Введение

Вводный модуль, в котором мы познакомимся со Spark, рассмотрим архитектуру Spark-приложений и научимся писать код на Scala.

Тема 1: Что такое Spark

Тема 2: Первые шаги в Scala

Тема 3: Дальнейшие шаги в Scala

Тема 4: Hadoop, HDFS

Тема 5: Практика работы со Scala

Большие данные

В этом модуле мы познакомимся с Большими Данными. Изучим Hadoop, рассмотрим, как запускать в Hadoop приложения Spark, изучим Hive и узнаем особенности HiveQL, узнаем, как запускать Spark в Kubernetes.

Тема 1: Обзор Hive

Тема 2: HiveQL

Тема 3: Spark в Hadoop, YARN

Тема 4: Spark в Kubernetes

API

В этом модуле изучим Spark API: RDD, DataFrame, Dataset и Spark SQL, узнаем, как использовать Arrow и Pandas API, сможем выбирать правильный API для реализации своей задачи и узнаем, как разрабатывать UDF и UDAF.

Тема 1: RDD

Тема 2: DataFrame

Тема 3: Dataset, SparkSQL

Тема 4: UDF и UDAF

Тема 5: Apache Arrow в PySpark

Тема 6: Pandas API

Источники данных

В этом модуле изучим взаимодействие Spark с различными источниками данных: файлы в различных форматах, подключение к различным СУБД, как разработать свой коннектор и как обрабатывать потоковые данные.

Тема 1: Файлы и их форматы

Тема 2: Базы данных, Hive

Тема 3: Собственный источник данных

Тема 4: Kafka

Тема 5: Structured Streaming

Дополнительные возможности

Этот модуль посвящён дополнительным возможностям Spark, которые иногда напрасно игнорируются. Узнаем, как разрабатывать модели ML на Spark, как работать с графами и как тестировать приложения Spark.

Тема 1: Spark ML

Тема 2: Работа с графами

Тема 3: Тестирование приложений Spark

Тема 4: Консультация по домашним заданиям

Промышленное использование

Этот модуль посвящён промышленному использованию Spark: как запускать задания Spark по расписанию, как осуществлять мониторинг приложений Spark и как оптимизировать приложения Spark.

Тема 1: Оркестрация процессов обработки данных

Тема 2: Мониторинг Spark приложений

Тема 3: Методы оптимизации приложений Spark

Проектная работа

По результатам модуля вы у вас будет готовый проект, который позволит применить полученные в ходе курса знания на практике и в дальнейшем может быть включен в резюме при собеседовании на вакансии Data Engineer или Spark Developer.

Тема 1: Выбор темы и организация проектной работы

Тема 2: Консультация по проектам и домашним заданиям

Тема 3: Защита проектных работ

Также вы можете получить полную программу, чтобы убедиться, что обучение вам подходит

Выпускной проект

В качестве выпускного проекта будет построена ETL-система на основе Hadoop, включающая в себя:
  • Загрузку данных из источников
  • Простой Data Lake на основе этих данных с использованием Hive
  • Лямбда-архитектуру для реалтайм-аналитики на основе Spark

Преподаватели

Вадим Заигрин

Ведущий консультант

IBS

Алексей Бедринцев

Разработчик

ООО "Почтовые технологии"

Валентин Шилин

Старший программист/аналитик данных

Deutsche Telekom IT GmbH

Андрей Чучалов

Старший разработчик службы больших данных

"Вымпелком - информационные технологии"

Алексей Железной

Senior Data Engineer

FinTech

Эксперты-практики делятся опытом, разбирают кейсы студентов и дают развернутый фидбэк на домашние задания

Прошедшие
мероприятия

Вадим Заигрин
Открытый вебинар
Обзор Spark API
Вадим Заигрин
Открытый вебинар
Spark ML
Оставьте заявку, чтобы получить доступ ко всем записям прошедших мероприятий. Записи всех мероприятий появятся в этом блоке

Корпоративное обучение для ваших сотрудников

OTUS помогает развивать высокотехнологичные команды. Почему нам удаётся это делать успешно:
  • Курсы OTUS верифицированы крупными игроками ИТ-рынка и предлагают инструменты и практики, актуальные на данный момент
  • Студенты работают в группах, могут получить консультации не только преподавателей, но и профессионального сообщества
  • OTUS проверяет знания студентов перед стартом обучения и после его завершения
  • Простой и удобный личный кабинет компании, в котором можно видеть статистику по обучению сотрудников
  • Сертификат нашего выпускника за 5 лет стал гарантом качества знаний в обществе
  • OTUS создал в IT более 120 курсов по 7 направлениям, линейка которых расширяется по 40-50 курсов в год

Отзывы

Диана Исаева

13.11.2024
Курс мне достаточно понравился. Вся информация актуальная и преподносят ее корректно. Курс помог мне укрепить свои знания в Spark и приобрести некоторые новые знания)

Ярослав Руссу

23.10.2024
Курс хороший, позволяет систематизировать знания, дает хорошую базу для создания своего окружения, позволяет погружаться в некоторые практические проблемы работы DataFrame API. Одна из самых полезных тем на курсе - Оптимизация Спарк приложений. Понравился формат - мало кто сохранил живые вебинары. Больше всего понравилась практика Андреем Чучаловым. Он рассказывал техники с которыми часто сталкиваемся по работе, знания полученные на курсе актуальны и полезны в моей профессиональной сфере. Курс будет интересен профессионалам с опытом работы полгода-год или опытным разработчикам, желающим перейти на Spark Scala. Большинство моих коллег уже прошли этот курс.

Максим Ботюк

03.10.2024
До обучения в OTUS я работал в Сбере в в позиции middle Java developer. Решил пройти обучение на курсе Spark Developer так, как понравилась программа и данный фреймворк планируем использовать в своих рабочих проектах. Хочу выделить удобный личный кабинет на сайте, понравился формат сдачи ДЗ. В личном кабинете предусмотрен отдельный чат с преподавателем для сдачи каждого задания. На курсе хорошая подача материала. Обучение дает возможность показывать лучшие результаты на работе и тем самым расти в должностях и зп.

Евгений Морозов

07.06.2024
Остался весьма доволен курсом Spark Developer. Наличие некоторого опыта работы со Spark сделало прохождение курса ещё более полезным, так как позволило шире трактовать материал. Преподаватели проявили себя как истинные профессионалы в своей области и дали несколько пригодившихся на практике советов прямо по ходу занятий. Особенно полезным показалось выполнение дипломной работы, которую я настоятельно рекомендую защищать всем. Это отличная отработка как технических навыков, так и системного мышления, превосходящая по сложности домашние задания. Хочу дополнительно отметить, что домашние задания проверялись тщательно, снисходительно и с обратной связью, несмотря на то, что их выполнение вовсе не было обязательным. Непосредственно программа курса предлагает широкий спектр тем, охватывая все API фреймворка, но из-за этого некоторые модули получают меньше внимания. Основное внимание уделяется общему пониманию Spark, вместо углубленного изучения узких областей, таких как SparkML или GraphX. В разделе стриминга было бы полезно уделить больше внимания работе с Kafka, чтобы избежать пробелов в знаниях из-за необходимости освоения ещё одного инструмента без хорошего понимания сферы его применения. Гибкость программы относительно выбора языка заслуживает отдельного упоминания: преподаватели не настаивают на использовании только Scala, за исключением тем, посвященных исключительно этому языку программирования, что позволяет студентам выбирать инструменты в соответствии с их предпочтениями. В целом, курс был очень информативным и полезным, я благодарен за полученные знания.

Анна Губанова

05.06.2024
Курс помог понять, что такое Big Data, как с ней работать, изучили основы функционального языка программирования Scala, сравнили различные структуры данных, такие как RDD, DataFrame, DataSet, разобрали популярные в Big Data форматы хранения файлов, познакомились с брокером сообщений Kafka. Понравились компетентные преподаватели, обратная связь и поддержка при возникновении вопросов.

Александр Логвинов

13.03.2023
Курс для меня был полезен, хоть у меня есть опыт работы со Spark и Flink, мне удалось погрузиться более детально в тонкости работы этих платформ, особенно с точки зрения оптимизации. Преподаватели старались дать углубленные знания, особенно хочу особую благодарность передать Вадиму Ополькому за углубленное понимание предмета, важные уточнения именно в продуктовой обработке Spark и очень мощное введение в оптимизацию Flink. Очень понравилось по использовать Spark ML и создать модель, хотелось бы расширить этот раздел, так как сходу было сложно включиться в эту тему. Впечатлили разделы по hive, что это важная часть больших данных, которые я избегал. В целом курс удался для применения в продуктовой разработке и систематизирования знаний. Спасибо!

Елена Попова

09.10.2021
Положительные моменты. Спасибо преподавателям за лекции, презентации и общение во время занятий. Отдельно хочу выделить прекрасную подготовку к занятиям Монастырева Виталия и Матешук Егора. Понравились домашние задания, удобно, что достаточно поднять контейнер в докере и все окружение готово. Немного критики) Преподаватели не отвечают на сообщения в Slack. Для меня это огромный минус, за который курс не могу порекомендовать коллегам. В начале каждой лекции говорится, что все вопросы задавайте в Slack, по факту, они оставались там без ответа. Обратной связи после лекции не было. По поводу проектной работы. Предложение - либо давать заготовденный список тем, для студентов, у которых отсутствует вдохновение в данные период, либо объявлять гораздо раньше "начинайте думать над темой". Долго времени потратила именно на выбор темы. И на написание самой работы осталось меньше, чем планировала. В целом обстановка была продуктивная. С преподавателями общаться приятно. Организаторы реагировали быстро. Всем спасибо!

Дмитрий Габидуллин

12.02.2021
Записался на данный курс после прохождения Data Engineer с целью закрепить теорию, узнать про новые веяния в направлении. В целом, полностью удовлетворен, несмотря на мелкие шероховатости (переносы лекций и, как мне показалось, не всегда соответствие пройденной темы на лекции и д/з). Хотел бы отметить преподавателя Егора Матешука - всегда отличные, проработанные лекции и интересные домашние работы!

Максим Боровинский

11.02.2021
Курсом на данный момент доволен. Были небольшие заминки с задержкой ДЗ, переносом занятий, но это всё незначительно и никак не повлияло на качество обучения.

Сертификат о прохождении курса

OTUS осуществляет лицензированную образовательную деятельность. В конце прохождения курса вы получите сертификат OTUS.

После обучения вы:

  • заберете с собой полный комплект обучающих материалов: видеозаписи всех вебинаров, презентации к занятиям и другие дополнительные материалы
  • получите сертификат о прохождении курса
  • пополните свое портфолио новыми работами для будущего работодателя
  • получите все необходимые навыки для работы с Spark.

Частые вопросы

Что, если в середине курса я не смогу продолжать обучение?
У вас есть право одного бесплатного трансфера в другую группу
Обязательно ли защищать выпускной проект?
Для получения сертификата OTUS необходимо сдать проект. Кроме того, проект необязательно защищать перед аудиторией, а можно сдать в чате с преподавателем.
С какого момента я смогу заниматься трудоустройством?
Получить карьерную консультацию вы сможете уже в начале обучения. Остальные опции: помощь с резюме, добавление резюме в нашу базу специалистов и т.д. будут доступны после окончания обучения.
Я могу вернуть деньги?
Да, вы можете сделать возврат средств пропорционально оставшимся месяцам обучения.