⚡ Открываем подписку на курсы!
Проходите параллельно 3 онлайн-курса в месяц по цене одного.

Подробнее

help@otus.ru +7 499 938-92-02

Рекрутерам Отзывы FAQ Блог Контакты

+7 499 938-92-02

Специальная цена

Экосистема Hadoop, Spark, Hive

Углубленный курс по самым мощным инструментам обработки больших данных.

Длительность обучения:

Формат:

Начало занятий:

3 месяца

4 ак. часа в нед.

Online

27 ноября

Что даст вам этот курс

Для кого этот курс:
Курс рассчитан на Data инженеров, желающих глубже изучить Spark, Hadoop, Hive

На курсе вы изучите следующие основные темы:

- Hadoop (основные компоненты, дистрибутивы вендоров)
- Архитектура HDFS (HDFS, ZooKeeper)
- Архитектура YARN (YARN, MapReduce)
- Форматы данных (Parquet, Orc, Avro)
- Scala
- Spark
- Spark Streaming
- RDD/Dataframe/Dataset
- GraphX, GeoSpark
- Hive
- Мониторинг и CI/CD

Научитесь применять все это на практике и закрепите с помощью интересных и сложных домашних заданий и выпускного проекта.

После прохождения курса вы сможете:

- Писать распределенные приложения на Apache Spark
- Работать с данными в HDFS и потоками данных в Kafka
- Обрабатывать большие объемы данных
- Оптимизировать приложения на Apache Spark

Преподаватели

Егор Матешук

CDO AdTech-компании Квант

Последние 6 лет работает с большими данными: строит системы для обработки данных, консультирует по вопросам построения аналитических решений.

До 2018 года руководил отделом инфраструктуры данных в Ostrovok.ru. Затем занимал аналогичную позицию в MaximaTelecom (один из проектов компании - публичная сеть Wi-Fi в метро Москвы). На данный момент является CDO AdTech-компании Квант.
Большой опыт работы с сервисами Hadoop (HDFS, Hive, Impala), оркестраторами (Airflow, Oozie), MPP-базами (Vertica, Kudu, Greenplum) и различными фреймворками для обработки данных (Spark, Flink).

Образование: МФТИ, факультет инноваций и высоких технологий по специальности прикладная математика и физика.

Егор
Матешук

Артемий
Козырь

Преподаватели

Егор Матешук

CDO AdTech-компании Квант

Артемий Козырь

Senior Data Engineer, Wheely

Более 5-ти лет опыта работы с Хранилищами Данных, построении ETL/ELT, Аналитике данных и Визуализации.
Опыт работы над продуктами в компаниях PwC, Московская Биржа, Сбербанк, СИБУР, Wheely.
Сферы интересов: KPIs and Scorecards / Budgeting and Planning / Retail Scoring / Next Best Offer / Reporting.

Верю в то, что данные – это ключевой элемент в принятии обоснованных и разумных бизнес-решений. Люблю находить простые решения для сложных задач. Не люблю повторять одни и те же ошибки, но с удовольствием приветствую новый опыт.

Образование: НИУ ВШЭ, факультет бизнес-информатики.

Программа обучения

В процессе обучения вы получите комплексные знания и навыки.

Модуль 1 Экосистема Hadoop

Тема 1. Hadoop (основные компоненты, дистрибутивы вендоров)

Тема 2. Архитектура HDFS (HDFS, ZooKeeper)

Тема 3. Архитектура YARN (YARN, MapReduce)

Тема 4. Форматы данных (Parquet, Orc, Avro)

Модуль 2 Scala

Тема 5. Базовый синтаксис

Тема 6. Инструменты разработки и сборки (практика)

Тема 7. ООП

Тема 8. Элементы ФП

Модуль 3 Apache Spark

Тема 9. Первый проект на Apache Spark

Тема 10. Архитектура приложения Spark

Тема 11. RDD/Dataframe/Dataset

Тема 12. Методы оптимизации

Тема 13. Spark Streaming 1

Тема 14. Spark Streaming 2

Тема 15. GraphX

Тема 16. GeoSpark

Тема 17. SparkML/XGBoost

Модуль 4 Apache Hive

Тема 18. Обзор Hive, класса инструментов, возможностей

Тема 19. Oперации, форматы, детали, демо

Модуль 5 Обслуживающие системы

Тема 20. Оркестрация процессов обработки данных

Тема 21. Мониторинг Spark-приложений

Тема 22. CI/CD для Spark и Hive

Скачать подробную программу

Получить консультацию

Наш специалист свяжется с вами в ближайшее время. Если у вас возникли трудности в выборе курса или проблемы технического плана, то мы с радостью поможем вам.

Дата выдачи сертификата: 20 марта 2021 года

Ваш сертификат

Сертификат №0001

Константин Константинопольский

Успешно закончил курс «Экосистема Hadoop, Spark, Hive»
Выполнено практических заданий: 16 из 16

Общество с ограниченной ответственностью “Отус Онлайн-Образование”

Город:
Москва

Генеральный директор ООО “Отус Онлайн-Образование”
Виталий Чибриков

Лицензия на осуществление образовательной деятельности
№ 039825 от 28 декабря 2018 года.

Сертификат №0001

Константин Константинопольский

Успешно закончил курс «Экосистема Hadoop, Spark, Hive»
Выполнено практических заданий: 16 из 16

Общество с ограниченной ответственностью “Отус Онлайн-Образование”

Город:
Москва

Генеральный директор ООО “Отус Онлайн-Образование”
Виталий Чибриков

Лицензия на осуществление образовательной деятельности
№ 039825 от 28 декабря 2018 года.

Прошедшие открытые вебинары по курсу

Открытый вебинар — это настоящее занятие в режиме он-лайн с преподавателем курса, которое позволяет посмотреть, как проходит процесс обучения. В ходе занятия слушатели имеют возможность задать вопросы и получить знания по реальным практическим кейсам.

Егор Матешук

Для доступа к прошедшим мероприятиям необходимо пройти входное тестирование

Возможность пройти вступительное тестирование повторно появится только через 2 недели

Результаты тестирования будут отправлены вам на e-mail, указанный при регистрации.

Тест рассчитан на 30 минут, после начала тестирования отложить тестирование не получится!

Пройти вступительное тестирование

Партнеры ждут выпускников этого курса