Рассрочка

Spark Developer

Углубленный курс по самым мощным инструментам обработки больших данных.

26 июля

4 месяца

Онлайн

Пн/Пт 20:00 Мск

Для кого этот курс?

  • Для Инженеров данных, желающих глубже изучить Spark, которые хотят научиться применять Spark на практике и закрепить с помощью интересных и сложных домашних заданий и выпускного проекта
  • Также курс будет полезен специалистам DataOps и Data Scientist'ам. Первые познакомятся с промышленным  использованием Spark, а вторые с применением Spark в машинном обучении.

Необходимые знания

  • Базовое знание Java и Scala
  • Знание SQL

Подходит ли эта программа именно вам?

Пройдите тест, чтобы определить свой уровень знаний

Что даст вам этот курс?

Вы получите глубовое понимание инструментов и возможностей Spark, оркестрацию, тестирование и мониторинг приложений.

Научитесь интегрировать Spark с различными источниками данных: SparkML, работу с графами, Spark в Hadoop, Spark в Kubernetes, Hive.

И изучите разработку собственных коннекторов и потоковую обработку данных: Scala, Spark API (RDD, DataFrame, Dataset), Apache Arrow и Pandas API, форматы данных


После прохождения курса вы сможете:

  • Разрабатывать приложения Spark
  • Разрабатывать модели ML на Spark и выводить их в Production
  • Запускать Spark в Hadoop и Kubernetes
  • Писать тесты для Spark-приложений
  • Использовать Spark для обработки табличных, потоковых, гео-данных и графов
  • Настраивать мониторинг Spark-приложений
Примеры тем итоговых проектов студентов 2023: Обнаружение сближения судов на основе данных АИС (Автоматическая идентификационная система); Построение архитектуры аналитики на Azure Databricks;  Анализ временных рядов на криптовалютной бирже; Создание витрины по анализу воронки продаж на маркетплейсе;  Матчинг клиентских профилей банка с профилями клиентов экосистемы для дальнейшей маркетинговой коммуникации

Авторская программа

Программу составлял Вадим Заигрин - автор курсов Data Engineer, Apache Kafka. Все материалы актуализируются исходя из тенденций рынка труда и обратной связи от студентов.

Что нового в запуске Spark-2023-12? Обновили лекции и практику о тестировании, оптимизации, мониторинге Spark и собственных источниках данных.

Процесс обучения

Обучение проходит онлайн: вебинары, общение с преподавателями и вашей группой в Telegram, сдача домашних работ и получение обратной связи от преподавателя.

Вебинары проводятся 2 раза в неделю по 2 ак. часа и сохраняются в записи в личном кабинете. Вы можете посмотреть их в любое удобное для вас время.

В ходе обучения вы будете выполнять домашние задания. Каждое из них посвящено одному из компонентов вашего выпускного проекта.

После выполнения всех домашних заданий вы получите готовый выпускной проект.

Портфолио

Индивидуальная разработка проектной работы.

Оптимальная нагрузка

Возможность совмещать учебу с работой.

Перспективы

Получите знания, которые помогут повысить вашу востребованность и доход.

Трудоустройство

Многие студенты еще во время прохождения первой части программы находят или меняют работу, а к концу обучения могут претендовать на повышение в должности.
  • Получите помощь с оформлением резюме, портфолио и сопроводительного письма
  • Получите рекомендации, как искать работу, и советы по прохождению собеседования

Data Engineer

Перспективы направления
Средний уровень зарплат в Москве:
70 000Junior+ специалист
170 000Middle+ специалист
350 000Senior специалист
15649
актуальных вакансий

Работодатели курса

Формат обучения

Интерактивные вебинары

2 занятия по 2 ак.часа в неделю.
Доступ к записям и материалам остается навсегда.

Обратная связь

Домашние задания с поддержкой и обратной связью наших преподавателей помогут освоить изучаемые технологии.

Активное комьюнити

Общайтесь с преподавателями голосом на вебинарах и в закрытой Telegram группе.

Программа

Введение

По результатам модуля вы будете уметь: - объяснять архитектуру Spark; - писать код на Scala.

Тема 1: Что такое Spark

Тема 2: Первые шаги в Scala

Тема 3: Дальнейшие шаги в Scala

Тема 4: Практика работы со Scala

Большие данные

По результатам модуля вы будете уметь: - запускать Spark в Hadoop; - запускать Spark в Kubernetes; - организовать оркестрацию запуска приложений Spark; - настроить мониторинг приложений Spark.

Тема 1: Hadoop, HDFS

Тема 2: Обзор Hive

Тема 3: HiveQL

Тема 4: Spark в Hadoop, YARN

Тема 5: Spark в Kubernetes

API

По результатам модуля вы будете уметь: - использовать RDD, DataFrame, Dataset, Spark SQL; - использовать Arrow и Pandas API; - выбирать правильный API для реализации своей задачи; - разрабатывать UDF и UDAF.

Тема 1: DataFrame

Тема 2: Dataset, SparkSQL

Тема 3: RDD

Тема 4: UDF и UDAF

Тема 5: Apache Arrow в PySpark

Тема 6: Pandas API

Источники данных

По результатам модуля вы будете уметь: - работать с файлами в различных форматах; - подключать приложения Spark к различным СУБД; - разрабатывать свои коннекторы; - обрабатывать потоковые данные. - оптимизировать приложения Spark; - писать тесты для приложений Spark.

Тема 1: Файлы и их форматы

Тема 2: Базы данных, Hive

Тема 3: Собственный источник данных

Тема 4: Kafka

Тема 5: Structured Streaming

Дополнительные возможности

По результатам модуля вы будете уметь: - разрабатывать модели ML на Spark; - работать с графами; - тестировать приложения Spark.

Тема 1: Spark ML

Тема 2: Работа с графами

Тема 3: Тестирование приложений Spark

Тема 4: Консультация по домашним заданиям

Промышленное использование

По результатам модуля вы будете уметь: - запускать задания Spark по расписанию; - осуществлять мониторинг приложений Spark; - оптимизировать приложения Spark.

Тема 1: Оркестрация процессов обработки данных

Тема 2: Мониторинг Spark приложений

Тема 3: Методы оптимизации приложений Spark

Проектная работа

По результатам модуля вы у вас будет готовый проект, который позволит применить полученные в ходе курса знания на практике и в дальнейшем может быть включен в резюме при собеседовании на вакансии Data Engineer или Spark Developer

Тема 1: Выбор темы и организация проектной работы

Тема 2: Консультация по проектам и домашним заданиям

Тема 3: Защита проектных работ

Также вы можете получить полную программу, чтобы убедиться, что обучение вам подходит

Выпускной проект

В качестве выпускного проекта будет построена ETL-система на основе Hadoop, включающая в себя:
  • Загрузку данных из источников
  • Простой Data Lake на основе этих данных с использованием Hive
  • Лямбда-архитектуру для реалтайм-аналитики на основе Spark

Преподаватели

Руководитель курса

Вадим Заигрин

Ведущий консультант

IBS

Алексей Бедринцев

Разработчик

ООО "Почтовые технологии"

Валентин Шилин

Старший программист/аналитик данных

Deutsche Telekom IT GmbH

Андрей Чучалов

Старший разработчик службы больших данных

"Вымпелком - информационные технологии"

Эксперты-практики делятся опытом, разбирают кейсы студентов и дают развернутый фидбэк на домашние задания

Ближайшие мероприятия

Открытый вебинар — это настоящее занятие в режиме он-лайн с преподавателем курса, которое позволяет посмотреть, как проходит процесс обучения. В ходе занятия слушатели имеют возможность задать вопросы и получить знания по реальным практическим кейсам.

Spark, знакомство с структурным стримингом
Валентин Шилин
Рассмотрим структурный стриминг и перенаправление потоков спарка в кафку.

Кому подходит этот урок
⁃ Начинающим и специалистам в области Аналитики данных, Data Engineering
⁃ Руководителям и менеджерам команд разработки
...
27 июня в 17:00
Открытый вебинар
Как на Spark Structured Streaming работать с данными в HDFS и Kafka?
Андрей Чучалов
Этапом, следующим за пониманием принципов батч-обработки в Spark, является изучение концепций streaming API, позволяющим в режиме, приближенном к реальному времени, обрабатывать данные из разных источников.

В ходе вебинара Вы узнаете:
⁃ Какие источники данных могут быть обработаны стриминговым API Spark (Рассмотрим кокретные примеры с данными на HDFS и Kafka).
⁃ Как осуществить подключение к таким источникам
⁃ Как группировать данные

Кому подходит урок:
⁃ Начинающим и специалистам в области аналитики данных, Data Engeneering

Результат урока:
⁃ Понимание концепции возможностей Streaming API Spark
⁃ Умение подключаться к источникам данных и работа в режиме, приближенном к реальному времени.
...
10 июля в 17:00
Открытый вебинар
Spark UDAF: разрабатываем свой агрегатор
Вадим Заигрин
Описание: Урок предназначен для разработчиков Spark, которые хотят выйти за рамки стандартных функций и узнать как создавать собственные агрератные функции.
На уроке будет рассмотрено агрегирование данных в Spark, стандартные агрегатные функции и создание собственных агрегатные функции (UDAF).
В результате слушатели научатся создавать собственные агрегатные функции.

Кому подходит этот урок
⁃ Начинающим и специалистам в области Аналитики данных, Data Engineering
⁃ Руководителям и менеджерам команд разработки
...
17 июля в 17:00
Открытый вебинар

Прошедшие
мероприятия

Андрей Чучалов
Открытый вебинар
Мониторинг и управление производительностью: Стратегии и инструменты для эффективного наблюдения за приложениями Spark
Вадим Заигрин
Открытый вебинар
Spark Connect - что это такое и зачем оно нужно
Для доступа ко всем прошедшим мероприятиям необходимо пройти входное тестирование
Возможность пройти вступительное тестирование повторно появится только через 3 дня
Результаты тестирования будут отправлены вам на email, указанный при регистрации.
Тест рассчитан на 30 минут, после начала тестирования отложить тестирование не получится!

Корпоративное обучение для ваших сотрудников

Отус помогает развивать высокотехнологичные Команды. Почему нам удаётся это делать успешно:
  • Курсы OTUS верифицированы крупными игроками ИТ-рынка и предлагают инструменты и практики, актуальные на данный момент
  • Студенты работают в группах, могут получить консультации не только преподавателей, но и профессионального сообщества
  • OTUS проверяет знания студентов перед стартом обучения и после его завершения
  • Простой и удобный личный кабинет компании, в котором можно видеть статистику по обучению сотрудников
  • Сертификат нашего выпускника за 5 лет стал гарантом качества знаний в обществе
  • OTUS создал в IT более 120 курсов по 7 направлениям, линейка которых расширяется по 40-50 курсов в год

Отзывы

Евгений Морозов

07.06.2024
Остался весьма доволен курсом Spark Developer. Наличие некоторого опыта работы со Spark сделало прохождение курса ещё более полезным, так как позволило шире трактовать материал. Преподаватели проявили себя как истинные профессионалы в своей области и дали несколько пригодившихся на практике советов прямо по ходу занятий. Особенно полезным показалось выполнение дипломной работы, которую я настоятельно рекомендую защищать всем. Это отличная отработка как технических навыков, так и системного мышления, превосходящая по сложности домашние задания. Хочу дополнительно отметить, что домашние задания проверялись тщательно, снисходительно и с обратной связью, несмотря на то, что их выполнение вовсе не было обязательным. Непосредственно программа курса предлагает широкий спектр тем, охватывая все API фреймворка, но из-за этого некоторые модули получают меньше внимания. Основное внимание уделяется общему пониманию Spark, вместо углубленного изучения узких областей, таких как SparkML или GraphX. В разделе стриминга было бы полезно уделить больше внимания работе с Kafka, чтобы избежать пробелов в знаниях из-за необходимости освоения ещё одного инструмента без хорошего понимания сферы его применения. Гибкость программы относительно выбора языка заслуживает отдельного упоминания: преподаватели не настаивают на использовании только Scala, за исключением тем, посвященных исключительно этому языку программирования, что позволяет студентам выбирать инструменты в соответствии с их предпочтениями. В целом, курс был очень информативным и полезным, я благодарен за полученные знания.

Анна Губанова

05.06.2024
Курс помог понять, что такое Big Data, как с ней работать, изучили основы функционального языка программирования Scala, сравнили различные структуры данных, такие как RDD, DataFrame, DataSet, разобрали популярные в Big Data форматы хранения файлов, познакомились с брокером сообщений Kafka. Понравились компетентные преподаватели, обратная связь и поддержка при возникновении вопросов.

Александр Логвинов

13.03.2023
Курс для меня был полезен, хоть у меня есть опыт работы со Spark и Flink, мне удалось погрузиться более детально в тонкости работы этих платформ, особенно с точки зрения оптимизации. Преподаватели старались дать углубленные знания, особенно хочу особую благодарность передать Вадиму Ополькому за углубленное понимание предмета, важные уточнения именно в продуктовой обработке Spark и очень мощное введение в оптимизацию Flink. Очень понравилось по использовать Spark ML и создать модель, хотелось бы расширить этот раздел, так как сходу было сложно включиться в эту тему. Впечатлили разделы по hive, что это важная часть больших данных, которые я избегал. В целом курс удался для применения в продуктовой разработке и систематизирования знаний. Спасибо!

Елена Попова

09.10.2021
Положительные моменты. Спасибо преподавателям за лекции, презентации и общение во время занятий. Отдельно хочу выделить прекрасную подготовку к занятиям Монастырева Виталия и Матешук Егора. Понравились домашние задания, удобно, что достаточно поднять контейнер в докере и все окружение готово. Немного критики) Преподаватели не отвечают на сообщения в Slack. Для меня это огромный минус, за который курс не могу порекомендовать коллегам. В начале каждой лекции говорится, что все вопросы задавайте в Slack, по факту, они оставались там без ответа. Обратной связи после лекции не было. По поводу проектной работы. Предложение - либо давать заготовденный список тем, для студентов, у которых отсутствует вдохновение в данные период, либо объявлять гораздо раньше "начинайте думать над темой". Долго времени потратила именно на выбор темы. И на написание самой работы осталось меньше, чем планировала. В целом обстановка была продуктивная. С преподавателями общаться приятно. Организаторы реагировали быстро. Всем спасибо!

Дмитрий Габидуллин

12.02.2021
Записался на данный курс после прохождения Data Engineer с целью закрепить теорию, узнать про новые веяния в направлении. В целом, полностью удовлетворен, несмотря на мелкие шероховатости (переносы лекций и, как мне показалось, не всегда соответствие пройденной темы на лекции и д/з). Хотел бы отметить преподавателя Егора Матешука - всегда отличные, проработанные лекции и интересные домашние работы!

Максим Боровинский

11.02.2021
Курсом на данный момент доволен. Были небольшие заминки с задержкой ДЗ, переносом занятий, но это всё незначительно и никак не повлияло на качество обучения.

Сертификат о прохождении курса

OTUS осуществляет лицензированную образовательную деятельность. В конце прохождения курса вы получите сертификат OTUS.

После обучения вы:

  • заберете с собой полный комплект обучающих материалов: видеозаписи всех вебинаров, презентации к занятиям и другие дополнительные материалы
  • получите сертификат о прохождении курса
  • пополните свое портфолио новыми работами для будущего работодателя
  • получите все необходимые навыки для работы с Spark.

Частые вопросы

Что, если в середине курса я не смогу продолжать обучение?
У вас есть право одного бесплатного трансфера в другую группу
Обязательно ли защищать выпускной проект?
Для получения сертификата OTUS необходимо сдать проект. Кроме того, проект необязательно защищать перед аудиторией, а можно сдать в чате с преподавателем.
С какого момента я смогу заниматься трудоустройством?
Получить карьерную консультацию вы сможете уже в начале обучения. Остальные опции: помощь с резюме, добавление резюме в нашу базу специалистов и т.д. будут доступны после окончания обучения.
Я могу вернуть деньги?
Да, вы можете сделать возврат средств пропорционально оставшимся месяцам обучения.