Для кого этот курс:
Курс рассчитан на Data инженеров, желающих глубже изучить Spark, Hadoop, Hive

На курсе вы изучите следующие основные темы:

- Hadoop (основные компоненты, дистрибутивы вендоров)
- Архитектура HDFS
- Архитектура YARN
- Форматы данных
- Spark
- Spark Streaming и Flink
- Hive
- Оркестрация, Мониторинг и CI/CD
и т.д.

Научитесь применять все это на практике и закрепите с помощью интересных и сложных домашних заданий и выпускного проекта.

После прохождения курса вы сможете:

- Использовать Hadoop для обработки данных
- Взаимодействовать с его компонентами через консольные клиенты и API
- Работать со слабоструктурированными данными в Hive
- Писать и оптимизировать приложения на Spark
- Писать тесты для Spark-приложений
- Использовать Spark для обработки табличных, потоковых, гео-данных и даже графов
- Настраивать CI и мониторинг Spark-приложений

Spark Streaming, 4 февраля в 20:00

На открытом уроке мы познакомимся со Spark Streaming и Structured Streaming. Изучим их особенности и напишем простое приложение обработки потоков.

Ведет

Вадим
Заигрин

Предыдущий открытый вебинар

Demo Day курса "Экосистема Hadoop, Spark, Hive", 8 февраля в 20:00

Demo Day — отличная возможность задать все вопросы по курсу, узнать подробнее о программе курса, особенностях онлайн-формата, навыках, компетенциях и перспективах, которые ждут выпускников после обучения.

Преподаватель-практик расскажет о себе, своём опыте, поделится лайфхаками по выгодной оплате курса.

Егор
Матешук

Предыдущий день открытых дверей

Преподаватели

Егор Матешук

CDO AdTech-компании Квант

Михаил Юрченков

АО "Максимателеком", Lead Data Engineer

Артемий Козырь

Senior Data Engineer, Wheely

Вадим Заигрин

Software Engineering Team Lead, Teradata

Последние 6 лет работает с большими данными: строит системы для обработки данных, консультирует по вопросам построения аналитических решений.

До 2018 года руководил отделом инфраструктуры данных в Ostrovok.ru. Затем занимал аналогичную позицию в MaximaTelecom (один из проектов компании - публичная сеть Wi-Fi в метро Москвы). На данный момент является CDO AdTech-компании Квант.
Большой опыт работы с сервисами Hadoop (HDFS, Hive, Impala), оркестраторами (Airflow, Oozie), MPP-базами (Vertica, Kudu, Greenplum) и различными фреймворками для обработки данных (Spark, Flink).

Образование: МФТИ, факультет инноваций и высоких технологий по специальности прикладная математика и физика.

Окончил Факультет Компьютерных Наук НИУ ВШЭ. Занимается разработкой ПО с 2015 года.
Начинал в качестве разработчика Веб-сервисов на Ruby on Rails, позже занялся разработкой микросервисов на Scala (Spray, Akka). Сейчас занимается разработкой систем телеметрических больших данных в режиме реального времени.

Интересы: Scala, Haskell, высоконагруженные сервисы, обработка больших объемов данных.

Более 5-ти лет опыта работы с Хранилищами Данных, построении ETL/ELT, Аналитике данных и Визуализации.
Опыт работы над продуктами в компаниях PwC, Московская Биржа, Сбербанк, СИБУР, Wheely.
Сферы интересов: KPIs and Scorecards / Budgeting and Planning / Retail Scoring / Next Best Offer / Reporting.

Верю в то, что данные – это ключевой элемент в принятии обоснованных и разумных бизнес-решений. Люблю находить простые решения для сложных задач. Не люблю повторять одни и те же ошибки, но с удовольствием приветствую новый опыт.

Образование: НИУ ВШЭ, факультет бизнес-информатики.

Последние несколько лет работаю с большими данными как разработчик, Data Engineer и Data Scientist. Проекты в банках, телеком и розничных компаниях. Опыт работы с Hadoop (Cloudera, Hortonworks), MPP-системами (Teradata, Vertica), фреймворком Spark и Google Cloud Platform. Большой опыт в IT-инфраструктуре. Поработав и как Data Scientist, и как Data Engineer, понимаю, что без Data Engineer'а Data Scientist'у делать нечего.
Образование: МИЭМ, специальность: прикладная математика.

Otus Certified Educator

Егор
Матешук

Михаил
Юрченков

Артемий
Козырь

Вадим
Заигрин

Преподаватели

Егор Матешук

CDO AdTech-компании Квант

Михаил Юрченков

АО "Максимателеком", Lead Data Engineer

Артемий Козырь

Senior Data Engineer, Wheely

Вадим Заигрин

Software Engineering Team Lead, Teradata

Необходимые знания

Опыт написания кода хотя бы на одном из следующих языков: Python, Java, Scala
Базовое знание SQL и опыт работы с любой реляционной базой данных
Компьютер или виртуальная машина на Linux с ОЗУ не менее 8 Гб

Корпоративное обучение для ваших сотрудников

Поможем вашей компании развивать команду! Этот и еще 60+ курсов для IT-специалистов таких направлений, как: программирование, тестирование, администрирование, информационная безопасность, управление и Data Science. 300 компаний уже обучают у нас сотрудников.

Подробнее

Получить план обучения для сотрудников

Нажимая кнопку, я принимаю условия Политики конфидециальности

Мы обещаем не присылать вам спам

Спасибо!

Мы получили Вашу заявку, в ближайшее время с Вами свяжется наш менеджер.

Программа обучения

В процессе обучения вы получите комплексные знания и навыки.

Модуль 1 Scala

Тема 1. Основы Scala

Тема 2. Сборка проектов на Scala

Модуль 2 Hadoop

Тема 3. Hadoop

Тема 4. HDFS

Тема 5. YARN

Тема 6. Форматы данных

Тема 7. Kafka

Модуль 3 Spark

Тема 8. Архитектура приложения Spark

Тема 9. RDD/Dataframe/Dataset

Тема 10. Методы оптимизации приложений Spark

Тема 11. Написание коннекторов для Spark

Тема 12. Тестирование приложений Spark

Тема 13. GraphX, GeoSpark

Тема 14. Spark ML

Модуль 4 Streaming

C 5 февраля

Тема 15. Spark Streaming

Тема 16. Structured Streaming

Тема 17. Flink - часть 1

Тема 18. Flink - часть 2

Модуль 5 Apache Hive

C 19 февраля

Тема 19. Обзор Hive

Тема 20. HiveQL

Модуль 6 Обслуживающие системы

C 26 февраля

Тема 21. Оркестрация процессов обработки данных

Тема 22. Мониторинг и логирование для Spark-приложений

Тема 23. CI/CD для Spark и Hive

Модуль 7 Проектная работа

C 10 марта

Тема 24. Выбор темы и организация проектной работы

Тема 25. Консультация по проектам и домашним заданиям

Тема 26. Защита проектных работ

Тема 27. Подведение итогов курса

Скачать подробную программу

Получить подробную программу обучения

Нажимая кнопку, я принимаю условия Политики конфидециальности

Мы обещаем не присылать вам спам

Получить подробную программу обучения

Скачать подробную программу

Выпускной проект

В качестве выпускного проекта будет построена ETL-система на основе Hadoop, включающая в себя:
- Загрузку данных из источников
- Простой Data Lake на основе этих данных с использованием Hive
- Лямбда-архитектуру для реалтайм-аналитики на основе Spark

Процесс обучения

Образовательный процесс происходит ONLINE в формате вебинаров (язык преподавания — русский). В рамках курса слушателям предлагаются к выполнению домашние задания, которые позволяют применить на практике знания, полученные на занятиях. По каждому домашнему заданию преподаватель дает развернутый фидбек. В течение всего учебного процесса преподаватель находится в едином коммуникационном пространстве с группой - Slack, т.е. при обучении слушатель может задавать преподавателю уточняющие вопросы по учебным материалам.

Получить консультацию

Наш специалист свяжется с вами в ближайшее время. Если у вас возникли трудности в выборе курса или проблемы технического плана, то мы с радостью поможем вам.

Я принимаю условия Политики конфиденциальности и Пользовательского соглашения

Спасибо!

Мы получили Вашу заявку, в ближайшее время с Вами свяжется наш менеджер.

заберете с собой полный комплект обучающих материалов: видеозаписи всех вебинаров, презентации к занятиям, а также решение задач и проектов в виде кода на github и другие дополнительные материалы;

получите сертификат о прохождении курса;

получите приглашение пройти собеседование в компаниях-партнерах (эту возможность получают самые успешные студенты).

Дата выдачи сертификата: 23 июля 2021 года

Ваш сертификат

онлайн-образование

Сертификат №0001

Константин Константинопольский

Успешно закончил курс «Экосистема Hadoop, Spark, Hive»
Выполнено практических заданий: 16 из 16

Общество с ограниченной ответственностью “Отус Онлайн-Образование”

Город:
Москва

Генеральный директор ООО “Отус Онлайн-Образование”
Виталий Чибриков

Лицензия на осуществление образовательной деятельности
№ 039825 от 28 декабря 2018 года.

онлайн-образование

Сертификат №0001

Константин Константинопольский

Успешно закончил курс «Экосистема Hadoop, Spark, Hive»
Выполнено практических заданий: 16 из 16

Общество с ограниченной ответственностью “Отус Онлайн-Образование”

Город:
Москва

Генеральный директор ООО “Отус Онлайн-Образование”
Виталий Чибриков

Лицензия на осуществление образовательной деятельности
№ 039825 от 28 декабря 2018 года.

Прошедшие открытые вебинары

Открытый вебинар — это настоящее занятие в режиме он-лайн с преподавателем курса, которое позволяет посмотреть, как проходит процесс обучения. В ходе занятия слушатели имеют возможность задать вопросы и получить знания по реальным практическим кейсам.

Spark 3.0: что нового?

Егор Матешук

День открытых дверей

6 ноября 2020 года в 20:00

Для доступа к прошедшим мероприятиям необходимо пройти входное тестирование

Возможность пройти вступительное тестирование повторно появится только через 2 недели

Результаты тестирования будут отправлены вам на e-mail, указанный при регистрации.

Тест рассчитан на 30 минут, после начала тестирования отложить тестирование не получится!

Напомнить пройти тест

Партнеры ждут выпускников этого курса

Datana

IBS