Рассрочка

Spark Developer

Углубленный курс по самым мощным инструментам обработки больших данных.

25 апреля

4 месяца

Онлайн

Вт/Чт 20:00 Мск

Для кого этот курс?

  • Для Инженеров данных, желающих глубже изучить Spark, которые хотят научиться применять Spark на практике и закрепить с помощью интересных и сложных домашних заданий и выпускного проекта
  • Также курс будет полезен специалистам DataOps и Data Scientist'ам. Первые познакомятся с промышленным  использованием Spark, а вторые с применением Spark в машинном обучении.

Необходимые знания

  • Базовое знание Java и Scala
  • Знание SQL

Подходит ли эта программа именно вам?

Пройдите тест, чтобы определить свой уровень знаний

Что даст вам этот курс?

Вы получите глубовое понимание инструментов и возможностей Spark, оркестрацию, тестирование и мониторинг приложений.

Научитесь интегрировать Spark с различными источниками данных: SparkML, работу с графами, Spark в Hadoop, Spark в Kubernetes, Hive.

И изучите разработку собственных коннекторов и потоковую обработку данных: Scala, Spark API (RDD, DataFrame, Dataset), Apache Arrow и Pandas API, форматы данных


После прохождения курса вы сможете:

  • Разрабатывать приложения Spark
  • Разрабатывать модели ML на Spark и выводить их в Production
  • Запускать Spark в Hadoop и Kubernetes
  • Писать тесты для Spark-приложений
  • Использовать Spark для обработки табличных, потоковых, гео-данных и графов
  • Настраивать мониторинг Spark-приложений
Примеры тем итоговых проектов студентов 2023: Обнаружение сближения судов на основе данных АИС (Автоматическая идентификационная система); Построение архитектуры аналитики на Azure Databricks;  Анализ временных рядов на криптовалютной бирже; Создание витрины по анализу воронки продаж на маркетплейсе;  Матчинг клиентских профилей банка с профилями клиентов экосистемы для дальнейшей маркетинговой коммуникации

Авторская программа

Программу составлял Вадим Заигрин - автор курсов Data Engineer, Apache Kafka. Все материалы актуализируются исходя из тенденций рынка труда и обратной связи от студентов.

Что нового в запуске Spark-2023-12? Обновили лекции и практику о тестировании, оптимизации, мониторинге Spark и собственных источниках данных.

Процесс обучения

Обучение проходит онлайн: вебинары, общение с преподавателями и вашей группой в Telegram, сдача домашних работ и получение обратной связи от преподавателя.

Вебинары проводятся 2 раза в неделю по 2 ак. часа и сохраняются в записи в личном кабинете. Вы можете посмотреть их в любое удобное для вас время.

В ходе обучения вы будете выполнять домашние задания. Каждое из них посвящено одному из компонентов вашего выпускного проекта.

После выполнения всех домашних заданий вы получите готовый выпускной проект.

Портфолио

Индивидуальная разработка проектной работы.

Оптимальная нагрузка

Возможность совмещать учебу с работой.

Перспективы

Получите знания, которые помогут повысить вашу востребованность и доход.

Трудоустройство

Многие студенты еще во время прохождения первой части программы находят или меняют работу, а к концу обучения могут претендовать на повышение в должности.
  • Получите помощь с оформлением резюме, портфолио и сопроводительного письма
  • Получите рекомендации, как искать работу, и советы по прохождению собеседования

Data Engineer

Перспективы направления
Средний уровень зарплат в Москве:
70 000Junior+ специалист
170 000Middle+ специалист
350 000Senior специалист
15649
актуальных вакансий

Работодатели курса

Формат обучения

Интерактивные вебинары

2 занятия по 2 ак.часа в неделю.
Доступ к записям и материалам остается навсегда.

Обратная связь

Домашние задания с поддержкой и обратной связью наших преподавателей помогут освоить изучаемые технологии.

Активное комьюнити

Общайтесь с преподавателями голосом на вебинарах и в закрытой Telegram группе.

Программа

Введение

По результатам модуля вы будете уметь: - объяснять архитектуру Spark; - писать код на Scala.

Тема 1: Что такое Spark

Тема 2: Первые шаги в Scala

Тема 3: Дальнейшие шаги в Scala

Тема 4: Практика работы со Scala

Большие данные

По результатам модуля вы будете уметь: - запускать Spark в Hadoop; - запускать Spark в Kubernetes; - организовать оркестрацию запуска приложений Spark; - настроить мониторинг приложений Spark.

Тема 1: Hadoop, HDFS

Тема 2: Spark в Hadoop, YARN

Тема 3: Spark в Kubernetes

Тема 4: Обзор Hive

Тема 5: HiveQL

API

По результатам модуля вы будете уметь: - использовать RDD, DataFrame, Dataset, Spark SQL; - использовать Arrow и Pandas API; - выбирать правильный API для реализации своей задачи; - разрабатывать UDF и UDAF.

Тема 1: DataFrame

Тема 2: Dataset, SparkSQL

Тема 3: RDD

Тема 4: UDF и UDAF

Тема 5: Apache Arrow в PySpark

Тема 6: Pandas API

Источники данных

По результатам модуля вы будете уметь: - работать с файлами в различных форматах; - подключать приложения Spark к различным СУБД; - разрабатывать свои коннекторы; - обрабатывать потоковые данные. - оптимизировать приложения Spark; - писать тесты для приложений Spark.

Тема 1: Файлы и их форматы

Тема 2: Базы данных, Hive

Тема 3: Собственный источник данных

Тема 4: Structured Streaming

Тема 5: Консультация по домашним заданиям

Дополнительные возможности

По результатам модуля вы будете уметь: - разрабатывать модели ML на Spark; - работать с графами; - тестировать приложения Spark.

Тема 1: Spark ML

Тема 2: Работа с графами

Тема 3: Тестирование приложений Spark

Промышленное использование

По результатам модуля вы будете уметь: - запускать задания Spark по расписанию; - осуществлять мониторинг приложений Spark; - оптимизировать приложения Spark.

Тема 1: Оркестрация процессов обработки данных

Тема 2: Мониторинг Spark приложений

Тема 3: Методы оптимизации приложений Spark

Проектная работа

По результатам модуля вы у вас будет готовый проект, который позволит применить полученные в ходе курса знания на практике и в дальнейшем может быть включен в резюме при собеседовании на вакансии Data Engineer или Spark Developer

Тема 1: Выбор темы и организация проектной работы

Тема 2: Консультация по проектам и домашним заданиям

Тема 3: Защита проектных работ

Также вы можете получить полную программу, чтобы убедиться, что обучение вам подходит

Выпускной проект

В качестве выпускного проекта будет построена ETL-система на основе Hadoop, включающая в себя:
  • Загрузку данных из источников
  • Простой Data Lake на основе этих данных с использованием Hive
  • Лямбда-архитектуру для реалтайм-аналитики на основе Spark

Преподаватели

Руководитель курса

Вадим Заигрин

Ведущий консультант

IBS

Алексей Бедринцев

Разработчик

ООО "Почтовые технологии"

Валентин Шилин

Старший программист/аналитик данных

Deutsche Telekom IT GmbH

Андрей Чучалов

Старший разработчик службы больших данных

"Вымпелком - информационные технологии"

Эксперты-практики делятся опытом, разбирают кейсы студентов и дают развернутый фидбэк на домашние задания

Ближайшие мероприятия

Открытый вебинар — это настоящее занятие в режиме он-лайн с преподавателем курса, которое позволяет посмотреть, как проходит процесс обучения. В ходе занятия слушатели имеют возможность задать вопросы и получить знания по реальным практическим кейсам.

Раскрытие мощности Apache Spark: Погружение в оптимизатор запросов Catalyst
Андрей Чучалов
На вебинаре рассмотрим следующие вопросы:

- Как работает оптимизатор Catalyst?
- Каким образом Catalyst способствует повышению производительности Spark?
- Какие основные компоненты включает архитектура Catalyst?
- Каким образом Catalyst обеспечивает расширяемость и настройку?
- Какие вызовы и ограничения существуют при работе с Catalyst?

Тема для знакомства с методолгией оптимизации запросов внутри Spark подойдет для специалистов начального и среднего уровня подготовки.
...
28 марта в 17:00
Открытый вебинар
Spark Connect - что это такое и зачем оно нужно
Вадим Заигрин
В Spark 3.4.0 появился Spark Connect. Посмотрим что это такое, какие задачи решает и как его использовать....
4 апреля в 17:00
Открытый вебинар
Мониторинг и управление производительностью: Стратегии и инструменты для эффективного наблюдения за приложениями Spark
Андрей Чучалов
Вопросы:

- Какие ключевые показатели производительности (KPIs) следует отслеживать для приложений Spark и почему они важны для оценки эффективности работы?

- Какие существуют подходы и лучшие практики для настройки мониторинга в реальном времени в кластерах Spark, и как они могут помочь при выявлении узких мест и проблем производительности?

- Какие инструменты и платформы предоставляются в экосистеме Spark для мониторинга и логирования (например, Spark UI, Prometheus, ELK stack), и как их можно интегрировать в вашу систему мониторинга?

- Какие стратегии можно применить для сбора, анализа и визуализации метрик и логов в приложениях Spark для облегчения диагностики и профилирования приложений?

- Как осуществляется мониторинг и управление производительностью в масштабируемых и распределенных средах Spark, и какие есть специфические вызовы и решения для работы с большими данными?

Тема также подойдет для специалистов начального и среднего уровня подготовки.
...
18 апреля в 17:00
Открытый вебинар

Прошедшие
мероприятия

Андрей Чучалов
Открытый вебинар
Как успешно пройти интервью на позицию Data Engineer с уклоном на Spark?
Андрей Чучалов
Открытый вебинар
Как на Spark Structured Streaming работать с данными в HDFS и Kafka?
Для доступа ко всем прошедшим мероприятиям необходимо пройти входное тестирование
Возможность пройти вступительное тестирование повторно появится только через 3 дня
Результаты тестирования будут отправлены вам на email, указанный при регистрации.
Тест рассчитан на 30 минут, после начала тестирования отложить тестирование не получится!

Корпоративное обучение для ваших сотрудников

Отус помогает развивать высокотехнологичные Команды. Почему нам удаётся это делать успешно:
  • Курсы OTUS верифицированы крупными игроками ИТ-рынка и предлагают инструменты и практики, актуальные на данный момент
  • Студенты работают в группах, могут получить консультации не только преподавателей, но и профессионального сообщества
  • OTUS проверяет знания студентов перед стартом обучения и после его завершения
  • Простой и удобный личный кабинет компании, в котором можно видеть статистику по обучению сотрудников
  • Сертификат нашего выпускника за 5 лет стал гарантом качества знаний в обществе
  • OTUS создал в IT более 120 курсов по 7 направлениям, линейка которых расширяется по 40-50 курсов в год

Отзывы

Александр Логвинов

13.03.2023
Курс для меня был полезен, хоть у меня есть опыт работы со Spark и Flink, мне удалось погрузиться более детально в тонкости работы этих платформ, особенно с точки зрения оптимизации. Преподаватели старались дать углубленные знания, особенно хочу особую благодарность передать Вадиму Ополькому за углубленное понимание предмета, важные уточнения именно в продуктовой обработке Spark и очень мощное введение в оптимизацию Flink. Очень понравилось по использовать Spark ML и создать модель, хотелось бы расширить этот раздел, так как сходу было сложно включиться в эту тему. Впечатлили разделы по hive, что это важная часть больших данных, которые я избегал. В целом курс удался для применения в продуктовой разработке и систематизирования знаний. Спасибо!

Елена Попова

09.10.2021
Положительные моменты. Спасибо преподавателям за лекции, презентации и общение во время занятий. Отдельно хочу выделить прекрасную подготовку к занятиям Монастырева Виталия и Матешук Егора. Понравились домашние задания, удобно, что достаточно поднять контейнер в докере и все окружение готово. Немного критики) Преподаватели не отвечают на сообщения в Slack. Для меня это огромный минус, за который курс не могу порекомендовать коллегам. В начале каждой лекции говорится, что все вопросы задавайте в Slack, по факту, они оставались там без ответа. Обратной связи после лекции не было. По поводу проектной работы. Предложение - либо давать заготовденный список тем, для студентов, у которых отсутствует вдохновение в данные период, либо объявлять гораздо раньше "начинайте думать над темой". Долго времени потратила именно на выбор темы. И на написание самой работы осталось меньше, чем планировала. В целом обстановка была продуктивная. С преподавателями общаться приятно. Организаторы реагировали быстро. Всем спасибо!

Дмитрий Габидуллин

12.02.2021
Записался на данный курс после прохождения Data Engineer с целью закрепить теорию, узнать про новые веяния в направлении. В целом, полностью удовлетворен, несмотря на мелкие шероховатости (переносы лекций и, как мне показалось, не всегда соответствие пройденной темы на лекции и д/з). Хотел бы отметить преподавателя Егора Матешука - всегда отличные, проработанные лекции и интересные домашние работы!

Максим Боровинский

11.02.2021
Курсом на данный момент доволен. Были небольшие заминки с задержкой ДЗ, переносом занятий, но это всё незначительно и никак не повлияло на качество обучения.

Сертификат о прохождении курса

OTUS осуществляет лицензированную образовательную деятельность. В конце прохождения курса вы получите сертификат OTUS.

После обучения вы:

  • заберете с собой полный комплект обучающих материалов: видеозаписи всех вебинаров, презентации к занятиям и другие дополнительные материалы
  • получите сертификат о прохождении курса
  • пополните свое портфолио новыми работами для будущего работодателя
  • получите все необходимые навыки для работы с Spark.

Частые вопросы

Что, если в середине курса я не смогу продолжать обучение?
У вас есть право одного бесплатного трансфера в другую группу
Обязательно ли защищать выпускной проект?
Для получения сертификата OTUS необходимо сдать проект. Кроме того, проект необязательно защищать перед аудиторией, а можно сдать в чате с преподавателем.
С какого момента я смогу заниматься трудоустройством?
Получить карьерную консультацию вы сможете уже в начале обучения. Остальные опции: помощь с резюме, добавление резюме в нашу базу специалистов и т.д. будут доступны после окончания обучения.
Я могу вернуть деньги?
Да, вы можете сделать возврат средств пропорционально оставшимся месяцам обучения.