Рассрочка
Spark Developer
27 декабря
4 месяца
Онлайн
Вт/Чт 20:00 Мск
Для кого этот курс?
Курс рассчитан на Инженеров данных, желающих глубже изучить Spark, которые хотят научиться применять Spark на практике и закрепить с помощью интересных и сложных домашних заданий и выпускного проектаНеобходимые знания
- Базовое знание Java или Scala
- Опыт работы с Docker
Что даст вам этот курс?
- SparkML
- Работу с графами
- Spark в Hadoop
- Spark в Kubernetes
- Hive
- Scala
- Spark API (RDD, DataFrame, Dataset)
- Apache Arrow и Pandas API
- Форматы данных
После прохождения курса вы сможете:
- Разрабатывать приложения Spark
- Разрабатывать модели ML на Spark и выводить их в Production
- Запускать Spark в Hadoop и Kubernetes
- Писать тесты для Spark-приложений
- Использовать Spark для обработки табличных, потоковых, гео-данных и графов
- Настраивать мониторинг Spark-приложений
Особенности курса
Особенностью курса является его фокус на практических примерах и проектной работе даже для тех студентов. Вы научитесь искать "узкие" места приложений и оптимизировать их.Процесс обучения
Трудоустройство
- Получите помощь с оформлением резюме, портфолио и сопроводительного письма
- Получите рекомендации, как искать работу, и советы по прохождению собеседования
Работодатели курса
Формат обучения
Интерактивные вебинары
2 занятия по 2 ак.часа в неделю
Доступ к записям и материалам остается навсегда
Обратная связь
Развернутый фидбэк по домашним заданиям от преподавателей
Активное комьюнити
Общайтесь с преподавателями голосом на вебинарах и в закрытой Telegram группе.
Программа
Введение
По результатам модуля вы будете уметь: - объяснять архитектуру Spark; - писать код на Scala.
Тема 1: Что такое Spark
Тема 2: Первые шаги в Scala
Тема 3: Дальнейшие шаги в Scala
Тема 4: Практика работы со Scala
API
По результатам модуля вы будете уметь: - использовать RDD, DataFrame, Dataset, Spark SQL; - использовать Arrow и Pandas API; - выбирать правильный API для реализации своей задачи; - разрабатывать UDF и UDAF."
Тема 1: RDD
Тема 2: DataFrame
Тема 3: UDF и UDAF
Тема 4: Dataset, SparkSQL
Тема 5: Apache Arrow в PySpark
Тема 6: Pandas API
Источники данных
По результатам модуля вы будете уметь: - работать с файлами в различных форматах; - подключать приложения Spark к различным СУБД; - разрабатывать свои коннекторы; - обрабатывать потоковые данные.
Тема 1: Файлы и их форматы
Тема 2: Базы данных, Hive
Тема 3: Собственный источник данных
Тема 4: Structured Streaming
Промышленное использование
По результатам модуля вы будете уметь: - запускать Spark в Hadoop; - запускать Spark в Kubernetes; - организовать оркестрацию запуска приложений Spark; - настроить мониторинг приложений Spark; - оптимизировать приложения Spark; - писать тесты для приложений Spark.
Тема 1: Hadoop, HDFS
Тема 2: Spark в Hadoop, YARN
Тема 3: Spark в Kubernetes
Тема 4: Оркестрация процессов обработки данных
Тема 5: Мониторинг Spark приложений
Тема 6: Методы оптимизации приложений Spark
Тема 7: Тестирование приложений Spark
Дополнительные возможности
По результатам модуля вы будете уметь: - разрабатывать модели ML на Spark; - работать с графами; - объяснять архитектуру Hive; - писать запросы, используя HiveQL; - использовать Hive для работы с данными, хранящимися в HDFS.
Тема 1: Spark ML
Тема 2: Работа с графами
Тема 3: Обзор Hive
Тема 4: HiveQL
Проектная работа
По результатам модуля вы у вас будет готовый проект, который позволит применить полученные в ходе курса знания на практике и в дальнейшем может быть включен в резюме при собеседовании на вакансии Data Engineer или Spark Developer
Тема 1: Выбор темы и организация проектной работы
Тема 2: Консультация по проектам и домашним заданиям
Тема 3: Защита проектных работ
Также вы можете получить полную программу, чтобы убедиться, что обучение вам подходит
- Загрузку данных из источников
- Простой Data Lake на основе этих данных с использованием Hive
- Лямбда-архитектуру для реалтайм-аналитики на основе Spark
Преподаватели
Эксперты-практики делятся опытом, разбирают кейсы студентов и дают развернутый фидбэк на домашние задания
Прошедшие
мероприятия
Возможность пройти вступительное тестирование повторно появится только через 2 недели
Результаты тестирования будут отправлены вам на email, указанный при регистрации.
Тест рассчитан на 30 минут, после начала тестирования отложить тестирование не получится!
Корпоративное обучение для ваших сотрудников
- Курсы OTUS верифицированы крупными игроками ИТ-рынка и предлагают инструменты и практики, актуальные на данный момент
- Студенты работают в группах, могут получить консультации не только преподавателей, но и профессионального сообщества
- OTUS проверяет знания студентов перед стартом обучения и после его завершения
- Простой и удобный личный кабинет компании, в котором можно видеть статистику по обучению сотрудников
- Сертификат нашего выпускника за 5 лет стал гарантом качества знаний в обществе
- OTUS создал в IT более 120 курсов по 7 направлениям, линейка которых расширяется по 40-50 курсов в год
Отзывы
Сертификат о прохождении курса
OTUS осуществляет лицензированную образовательную деятельность.
В конце прохождения специализации вы получите сертификат OTUS и официальный диплом о получении новой специальности
После обучения вы:
- заберете с собой полный комплект обучающих материалов: видеозаписи всех вебинаров, презентации к занятиям и другие дополнительные материалы;
- получите сертификат о прохождении курса;
- пополните свое портфолио новыми работами для будущего работодателя;
- получите все необходимые навыки для работы с алгоритмами обучения с подкреплением;
Spark Developer
Стоимость в рассрочку
Стоимость указана для оплаты физическими лицами
вычета до 13% стоимости обучения. Пройдите тестирование и менеджер вас проконсультирует
+7 499 938-92-02 бесплатно