Курс переработан
Рассрочка
Spark Developer
27 декабря
4 месяца
Онлайн
Пн/Ср 20:00 Мск
Для кого этот курс?
- Для Инженеров данных, желающих глубже изучить Spark, которые хотят научиться применять Spark на практике и закрепить с помощью интересных и сложных домашних заданий и выпускного проекта
- Также курс будет полезен специалистам DataOps и Data Scientist'ам. Первые познакомятся с промышленным использованием Spark, а вторые с применением Spark в машинном обучении.
Необходимые знания
- Базовое знание Java и Scala
- Знание SQL
Подходит ли эта программа именно вам?
Пройдите тест, чтобы определить свой уровень знанийЧто даст вам этот курс?
Научитесь интегрировать Spark с различными источниками данных: SparkML, работу с графами, Spark в Hadoop, Spark в Kubernetes, Hive.
И изучите разработку собственных коннекторов и потоковую обработку данных: Scala, Spark API (RDD, DataFrame, Dataset), Apache Arrow и Pandas API, форматы данных.
После прохождения курса вы сможете:
- Разрабатывать приложения Spark
- Разрабатывать модели ML на Spark и выводить их в Production
- Запускать Spark в Hadoop и Kubernetes
- Писать тесты для Spark-приложений
- Использовать Spark для обработки табличных, потоковых, гео-данных и графов
- Настраивать мониторинг Spark-приложений
Real Case Studies
Примеры внедрений, использования инструментов, оптимизации производительности, проблемы, ошибки и прикладные результаты
Процесс обучения
Вебинары проводятся 2 раза в неделю по 2 ак. часа и сохраняются в записи в личном кабинете. Вы можете посмотреть их в любое удобное для вас время.
В ходе обучения вы будете выполнять домашние задания. Каждое из них посвящено одному из компонентов вашего выпускного проекта.
После выполнения всех домашних заданий вы получите готовый выпускной проект.
Портфолио
Индивидуальная разработка проектной работы.Оптимальная нагрузка
Возможность совмещать учебу с работой.Перспективы
Получите знания, которые помогут повысить вашу востребованность и доход.Трудоустройство
- Получите помощь с оформлением резюме, портфолио и сопроводительного письма
- Получите рекомендации, как искать работу, и советы по прохождению собеседования
Data Engineer
Работодатели курса
Формат обучения
Интерактивные вебинары
2 занятия по 2 ак.часа в неделю.
Доступ к записям и материалам остается навсегда.
Обратная связь
Домашние задания с поддержкой и обратной связью наших преподавателей помогут освоить изучаемые технологии.
Активное комьюнити
Общайтесь с преподавателями голосом на вебинарах и в закрытой Telegram группе.
Программа
Введение
По результатам модуля вы будете уметь: - объяснять архитектуру Spark; - писать код на Scala.
Тема 1: Что такое Spark
Тема 2: Первые шаги в Scala
Тема 3: Дальнейшие шаги в Scala
Тема 4: Практика работы со Scala
Большие данные
По результатам модуля вы будете уметь: - запускать Spark в Hadoop; - запускать Spark в Kubernetes; - организовать оркестрацию запуска приложений Spark; - настроить мониторинг приложений Spark.
Тема 1: Hadoop, HDFS
Тема 2: Spark в Hadoop, YARN
Тема 3: Spark в Kubernetes
Тема 4: Обзор Hive
Тема 5: HiveQL
API
По результатам модуля вы будете уметь: - использовать RDD, DataFrame, Dataset, Spark SQL; - использовать Arrow и Pandas API; - выбирать правильный API для реализации своей задачи; - разрабатывать UDF и UDAF.
Тема 1: DataFrame
Тема 2: Dataset, SparkSQL
Тема 3: RDD
Тема 4: UDF и UDAF
Тема 5: Apache Arrow в PySpark
Тема 6: Pandas API
Источники данных
По результатам модуля вы будете уметь: - работать с файлами в различных форматах; - подключать приложения Spark к различным СУБД; - разрабатывать свои коннекторы; - обрабатывать потоковые данные. - оптимизировать приложения Spark; - писать тесты для приложений Spark.
Тема 1: Файлы и их форматы
Тема 2: Базы данных, Hive
Тема 3: Собственный источник данных
Тема 4: Structured Streaming
Тема 5: Консультация по домашним заданиям
Дополнительные возможности
По результатам модуля вы будете уметь: - разрабатывать модели ML на Spark; - работать с графами; - объяснять архитектуру Hive; - писать запросы, используя HiveQL; - использовать Hive для работы с данными, хранящимися в HDFS.
Тема 1: Spark ML
Тема 2: Работа с графами
Тема 3: Тестирование приложений Spark
Промышленное использование
Тема 1: Оркестрация процессов обработки данных
Тема 2: Мониторинг Spark приложений
Тема 3: Методы оптимизации приложений Spark
Проектная работа
По результатам модуля вы у вас будет готовый проект, который позволит применить полученные в ходе курса знания на практике и в дальнейшем может быть включен в резюме при собеседовании на вакансии Data Engineer или Spark Developer
Тема 1: Выбор темы и организация проектной работы
Тема 2: Консультация по проектам и домашним заданиям
Тема 3: Защита проектных работ
Также вы можете получить полную программу, чтобы убедиться, что обучение вам подходит
Выпускной проект
В качестве выпускного проекта будет построена ETL-система на основе Hadoop, включающая в себя:- Загрузку данных из источников
- Простой Data Lake на основе этих данных с использованием Hive
- Лямбда-архитектуру для реалтайм-аналитики на основе Spark
Преподаватели
Эксперты-практики делятся опытом, разбирают кейсы студентов и дают развернутый фидбэк на домашние задания
Ближайшие мероприятия
Открытый вебинар — это настоящее занятие в режиме он-лайн с преподавателем курса, которое позволяет посмотреть, как проходит процесс обучения. В ходе занятия слушатели имеют возможность задать вопросы и получить знания по реальным практическим кейсам.
В ходе вебинара Вы узнаете:
⁃ Какие источники данных могут быть обработаны стриминговым API Spark (Рассмотрим кокретные примеры с данными на HDFS и Kafka).
⁃ Как осуществить подключение к таким источникам
⁃ Как группировать данные
Прошедшие
мероприятия
Корпоративное обучение для ваших сотрудников
- Курсы OTUS верифицированы крупными игроками ИТ-рынка и предлагают инструменты и практики, актуальные на данный момент
- Студенты работают в группах, могут получить консультации не только преподавателей, но и профессионального сообщества
- OTUS проверяет знания студентов перед стартом обучения и после его завершения
- Простой и удобный личный кабинет компании, в котором можно видеть статистику по обучению сотрудников
- Сертификат нашего выпускника за 5 лет стал гарантом качества знаний в обществе
- OTUS создал в IT более 120 курсов по 7 направлениям, линейка которых расширяется по 40-50 курсов в год
Отзывы
Сертификат о прохождении курса
OTUS осуществляет лицензированную образовательную деятельность. В конце прохождения курса вы получите сертификат OTUS.

После обучения вы:
- заберете с собой полный комплект обучающих материалов: видеозаписи всех вебинаров, презентации к занятиям и другие дополнительные материалы
- получите сертификат о прохождении курса
- пополните свое портфолио новыми работами для будущего работодателя
- получите все необходимые навыки для работы с Spark.
Spark Developer
Стоимость в рассрочку со скидкой
Стоимость указана для оплаты физическими лицами
вычета до 13% стоимости обучения. Пройдите тестирование и менеджер вас проконсультирует
+7 499 938-92-02 бесплатно