OTUS Logo

UserPartName

Data Science
Spark Developer

Курс переработан

Рассрочка

Spark Developer

Углубленный курс по самым мощным инструментам обработки больших данных.

27 декабря

4 месяца

Онлайн

Пн/Ср 20:00 Мск

Для кого этот курс?

  • Для Инженеров данных, желающих глубже изучить Spark, которые хотят научиться применять Spark на практике и закрепить с помощью интересных и сложных домашних заданий и выпускного проекта
  • Также курс будет полезен специалистам DataOps и Data Scientist'ам. Первые познакомятся с промышленным  использованием Spark, а вторые с применением Spark в машинном обучении.

Необходимые знания

  • Базовое знание Java и Scala
  • Знание SQL

Подходит ли эта программа именно вам?

Пройдите тест, чтобы определить свой уровень знаний

Что даст вам этот курс?

Вы получите глубовое понимание инструментов и возможностей Spark, оркестрацию, тестирование и мониторинг приложений.

Научитесь интегрировать Spark с различными источниками данных: SparkML, работу с графами, Spark в Hadoop, Spark в Kubernetes, Hive.

И изучите разработку собственных коннекторов и потоковую обработку данных: Scala, Spark API (RDD, DataFrame, Dataset), Apache Arrow и Pandas API, форматы данных. 


После прохождения курса вы сможете:

  • Разрабатывать приложения Spark
  • Разрабатывать модели ML на Spark и выводить их в Production
  • Запускать Spark в Hadoop и Kubernetes
  • Писать тесты для Spark-приложений
  • Использовать Spark для обработки табличных, потоковых, гео-данных и графов
  • Настраивать мониторинг Spark-приложений

Real Case Studies


Примеры внедрений, использования инструментов, оптимизации производительности, проблемы, ошибки и прикладные результаты

Процесс обучения

Обучение проходит онлайн: вебинары, общение с преподавателями и вашей группой в Telegram, сдача домашних работ и получение обратной связи от преподавателя.

Вебинары проводятся 2 раза в неделю по 2 ак. часа и сохраняются в записи в личном кабинете. Вы можете посмотреть их в любое удобное для вас время.

В ходе обучения вы будете выполнять домашние задания. Каждое из них посвящено одному из компонентов вашего выпускного проекта.

После выполнения всех домашних заданий вы получите готовый выпускной проект.

Портфолио

Индивидуальная разработка проектной работы.

Оптимальная нагрузка

Возможность совмещать учебу с работой.

Перспективы

Получите знания, которые помогут повысить вашу востребованность и доход.

Трудоустройство

Многие студенты еще во время прохождения первой части программы находят или меняют работу, а к концу обучения могут претендовать на повышение в должности.
  • Получите помощь с оформлением резюме, портфолио и сопроводительного письма
  • Получите рекомендации, как искать работу, и советы по прохождению собеседования

Data Engineer

Перспективы направления
Средний уровень зарплат в Москве:
70 000 ₽Junior+ специалист
170 000 ₽Middle+ специалист
350 000 ₽Senior специалист
15649
актуальных вакансий

Работодатели курса

Формат обучения

Интерактивные вебинары

2 занятия по 2 ак.часа в неделю.
Доступ к записям и материалам остается навсегда.

Обратная связь

Домашние задания с поддержкой и обратной связью наших преподавателей помогут освоить изучаемые технологии.

Активное комьюнити

Общайтесь с преподавателями голосом на вебинарах и в закрытой Telegram группе.

Программа

Введение

По результатам модуля вы будете уметь: - объяснять архитектуру Spark; - писать код на Scala.

Тема 1: Что такое Spark

Тема 2: Первые шаги в Scala

Тема 3: Дальнейшие шаги в Scala

Тема 4: Практика работы со Scala

Большие данные

По результатам модуля вы будете уметь: - запускать Spark в Hadoop; - запускать Spark в Kubernetes; - организовать оркестрацию запуска приложений Spark; - настроить мониторинг приложений Spark.

Тема 1: Hadoop, HDFS

Тема 2: Spark в Hadoop, YARN

Тема 3: Spark в Kubernetes

Тема 4: Обзор Hive

Тема 5: HiveQL

API

По результатам модуля вы будете уметь: - использовать RDD, DataFrame, Dataset, Spark SQL; - использовать Arrow и Pandas API; - выбирать правильный API для реализации своей задачи; - разрабатывать UDF и UDAF.

Тема 1: DataFrame

Тема 2: Dataset, SparkSQL

Тема 3: RDD

Тема 4: UDF и UDAF

Тема 5: Apache Arrow в PySpark

Тема 6: Pandas API

Источники данных

По результатам модуля вы будете уметь: - работать с файлами в различных форматах; - подключать приложения Spark к различным СУБД; - разрабатывать свои коннекторы; - обрабатывать потоковые данные. - оптимизировать приложения Spark; - писать тесты для приложений Spark.

Тема 1: Файлы и их форматы

Тема 2: Базы данных, Hive

Тема 3: Собственный источник данных

Тема 4: Structured Streaming

Тема 5: Консультация по домашним заданиям

Дополнительные возможности

По результатам модуля вы будете уметь: - разрабатывать модели ML на Spark; - работать с графами; - объяснять архитектуру Hive; - писать запросы, используя HiveQL; - использовать Hive для работы с данными, хранящимися в HDFS.

Тема 1: Spark ML

Тема 2: Работа с графами

Тема 3: Тестирование приложений Spark

Промышленное использование

Тема 1: Оркестрация процессов обработки данных

Тема 2: Мониторинг Spark приложений

Тема 3: Методы оптимизации приложений Spark

Проектная работа

По результатам модуля вы у вас будет готовый проект, который позволит применить полученные в ходе курса знания на практике и в дальнейшем может быть включен в резюме при собеседовании на вакансии Data Engineer или Spark Developer

Тема 1: Выбор темы и организация проектной работы

Тема 2: Консультация по проектам и домашним заданиям

Тема 3: Защита проектных работ

Также вы можете получить полную программу, чтобы убедиться, что обучение вам подходит

Выпускной проект

В качестве выпускного проекта будет построена ETL-система на основе Hadoop, включающая в себя:
  • Загрузку данных из источников
  • Простой Data Lake на основе этих данных с использованием Hive
  • Лямбда-архитектуру для реалтайм-аналитики на основе Spark

Преподаватели

Руководитель курса

Вадим Заигрин

Ведущий консультант

IBS

Алексей Бедринцев

Разработчик

ООО "Почтовые технологии"

Валентин Шилин

Старший программист/аналитик данных

Deutsche Telekom IT GmbH

Андрей Чучалов

Старший разработчик службы больших данных

"Вымпелком - информационные технологии"

Эксперты-практики делятся опытом, разбирают кейсы студентов и дают развернутый фидбэк на домашние задания

Ближайшие мероприятия

Открытый вебинар — это настоящее занятие в режиме он-лайн с преподавателем курса, которое позволяет посмотреть, как проходит процесс обучения. В ходе занятия слушатели имеют возможность задать вопросы и получить знания по реальным практическим кейсам.

Как на Spark Structured Streaming работать с данными в HDFS и Kafka?
Андрей Чучалов
Этапом, следующим за пониманием принципов батч-обработки в Spark, является изучение концепций streaming API, позволяющим в режиме, приближенном к реальному времени, обрабатывать данные из разных источников.

В ходе вебинара Вы узнаете:
⁃ Какие источники данных могут быть обработаны стриминговым API Spark (Рассмотрим кокретные примеры с данными на HDFS и Kafka).
⁃ Как осуществить подключение к таким источникам
⁃ Как группировать данные...
4 декабря в 17:00
Открытый вебинар
Мок-интервью на позицию Data Engineer / Spark developer
Андрей Чучалов
14 декабря в 17:00
Открытый вебинар

Прошедшие
мероприятия

Вадим Заигрин
Открытый вебинар
Оптимизация Spark
Андрей Чучалов
Открытый вебинар
Оптимизация параметров запуска приложения Spark
Оставьте заявку, чтобы получить доступ ко всем записям прошедших мероприятий. Записи всех мероприятий появятся в этом блоке

Корпоративное обучение для ваших сотрудников

Отус помогает развивать высокотехнологичные Команды. Почему нам удаётся это делать успешно:
  • Курсы OTUS верифицированы крупными игроками ИТ-рынка и предлагают инструменты и практики, актуальные на данный момент
  • Студенты работают в группах, могут получить консультации не только преподавателей, но и профессионального сообщества
  • OTUS проверяет знания студентов перед стартом обучения и после его завершения
  • Простой и удобный личный кабинет компании, в котором можно видеть статистику по обучению сотрудников
  • Сертификат нашего выпускника за 5 лет стал гарантом качества знаний в обществе
  • OTUS создал в IT более 120 курсов по 7 направлениям, линейка которых расширяется по 40-50 курсов в год

Отзывы

Максим Боровинский

11.02.2021
Курсом на данный момент доволен. Были небольшие заминки с задержкой ДЗ, переносом занятий, но это всё незначительно и никак не повлияло на качество обучения.

Дмитрий Габидуллин

12.02.2021
Записался на данный курс после прохождения Data Engineer с целью закрепить теорию, узнать про новые веяния в направлении. В целом, полностью удовлетворен, несмотря на мелкие шероховатости (переносы лекций и, как мне показалось, не всегда соответствие пройденной темы на лекции и д/з). Хотел бы отметить преподавателя Егора Матешука - всегда отличные, проработанные лекции и интересные домашние работы!

Елена Попова

09.10.2021
Положительные моменты. Спасибо преподавателям за лекции, презентации и общение во время занятий. Отдельно хочу выделить прекрасную подготовку к занятиям Монастырева Виталия и Матешук Егора. Понравились домашние задания, удобно, что достаточно поднять контейнер в докере и все окружение готово. Немного критики) Преподаватели не отвечают на сообщения в Slack. Для меня это огромный минус, за который курс не могу порекомендовать коллегам. В начале каждой лекции говорится, что все вопросы задавайте в Slack, по факту, они оставались там без ответа. Обратной связи после лекции не было. По поводу проектной работы. Предложение - либо давать заготовденный список тем, для студентов, у которых отсутствует вдохновение в данные период, либо объявлять гораздо раньше "начинайте думать над темой". Долго времени потратила именно на выбор темы. И на написание самой работы осталось меньше, чем планировала. В целом обстановка была продуктивная. С преподавателями общаться приятно. Организаторы реагировали быстро. Всем спасибо!

Александр Логвинов

13.03.2023
Курс для меня был полезен, хоть у меня есть опыт работы со Spark и Flink, мне удалось погрузиться более детально в тонкости работы этих платформ, особенно с точки зрения оптимизации. Преподаватели старались дать углубленные знания, особенно хочу особую благодарность передать Вадиму Ополькому за углубленное понимание предмета, важные уточнения именно в продуктовой обработке Spark и очень мощное введение в оптимизацию Flink. Очень понравилось по использовать Spark ML и создать модель, хотелось бы расширить этот раздел, так как сходу было сложно включиться в эту тему. Впечатлили разделы по hive, что это важная часть больших данных, которые я избегал. В целом курс удался для применения в продуктовой разработке и систематизирования знаний. Спасибо!

Сертификат о прохождении курса

OTUS осуществляет лицензированную образовательную деятельность. В конце прохождения курса вы получите сертификат OTUS.

После обучения вы:

  • заберете с собой полный комплект обучающих материалов: видеозаписи всех вебинаров, презентации к занятиям и другие дополнительные материалы
  • получите сертификат о прохождении курса
  • пополните свое портфолио новыми работами для будущего работодателя
  • получите все необходимые навыки для работы с Spark.

Частые вопросы

Что, если в середине курса я не смогу продолжать обучение?
У вас есть право одного бесплатного трансфера в другую группу
Обязательно ли защищать выпускной проект?
Для получения сертификата OTUS необходимо сдать проект. Кроме того, проект необязательно защищать перед аудиторией, а можно сдать в чате с преподавателем.
С какого момента я смогу заниматься трудоустройством?
Получить карьерную консультацию вы сможете уже в начале обучения. Остальные опции: помощь с резюме, добавление резюме в нашу базу специалистов и т.д. будут доступны после окончания обучения.
Я могу вернуть деньги?
Да, вы можете сделать возврат средств пропорционально оставшимся месяцам обучения.