Супер-интенсив «Data Engineer» | OTUS
💥 Пока ты ждешь — другие качаются!
Мы создали лучшие условия, чтобы ты начал учиться прямо сейчас. Пиши в чат и получи скидку ➞
Написать в чат

Курсы

Программирование
Web-разработчик на Python
-20%
Разработчик Python
-20%
Разработчик на Spring Framework Разработчик Golang
-20%
iOS Разработчик. Продвинутый курс v 2.0.
-20%
C# ASP.NET Core разработчик
-20%
Vue.js разработчик Архитектор программного обеспечения Разработчик C++ MS SQL Server разработчик Android-разработчик. Базовый курс Архитектор высоких нагрузок Backend-разработчик на PHP Алгоритмы для разработчиков Программист 1С VOIP инженер Разработчик Java Enterprise AWS для разработчиков PostgreSQL Cloud Solution Architecture CI/CD Интенсив «Оптимизация в Java»
Специализации Курсы в разработке Подготовительные курсы
+7 499 938-92-02

Супер-интенсив «Data Engineer»

Лучшие практики для анализа и обработки больших данных!

Длительность

0 месяцев

Продолжительность
0 месяцев, 12 академ. часов в неделю
Что даст вам этот курс

Проведите неделю с пользой!

3-дневный интенсив по лучшим практикам приготовления данных!

12 академических часов профессиональной практики для разработчиков, администраторов СУБД и всех, кто хочет повысить свой уровень и освоить новые инструменты для решения задач в сфере работы с данными

За 3 дня интенсива вы научитесь:

1. использовать в работе ключевые способы интеграции, обработки, хранения больших данных;
2. разрабатывать распределенные приложения на Apache Spark;
3. работать с аналитическими базами данных и разбираться в подходах к построению DWH.

Дополнительно вы получите возможность пообщаться с экспертами из сферы Data Science и задать им все интересующие вас вопросы!

ВНИМАНИЕ: количество мест в группе ограничено! Оставьте заявку и с вами свяжется менеджер, чтобы обсудить выгодные условия обучения.
Преподаватели
Егор Матешук
Senior Data Engineer, MaximaTelecom
Артемий Козырь
Senior Data Engineer, Wheely
Последние 4 года работает с большими данными: строит системы для обработки больших данных, консультирует по вопросам построения инфраструктуры для аналитики. В основном проекты связаны с решениями на базе Hadoop и Vertica. В последнее время активно исследует облачные хранилища данных. Ранее также проводил исследования потребительской активности для банков и сетевых магазинов.

До 2018 года руководил отделом инфраструктуры данных в Ostrovok.ru. Сейчас занимает аналогичную позицию в MaximaTelecom (один из проектов компании - публичная сеть Wi-Fi в метро Москвы).

Образование: МФТИ, факультет инноваций и высоких технологий по специальности прикладная математика и физика.

Более 5-ти лет опыта работы с Хранилищами Данных, построении ETL/ELT, Аналитике данных и Визуализации.
Опыт работы над продуктами в компаниях PwC, Московская Биржа, Сбербанк, СИБУР, Wheely.
Сферы интересов: KPIs and Scorecards / Budgeting and Planning / Retail Scoring / Next Best Offer / Reporting.

Верю в то, что данные – это ключевой элемент в принятии обоснованных и разумных бизнес-решений. Люблю находить простые решения для сложных задач. Не люблю повторять одни и те же ошибки, но с удовольствием приветствую новый опыт.

Образование: НИУ ВШЭ, факультет бизнес-информатики.

Егор
Матешук
Артемий
Козырь
Преподаватели
Егор Матешук
Senior Data Engineer, MaximaTelecom
Последние 4 года работает с большими данными: строит системы для обработки больших данных, консультирует по вопросам построения инфраструктуры для аналитики. В основном проекты связаны с решениями на базе Hadoop и Vertica. В последнее время активно исследует облачные хранилища данных. Ранее также проводил исследования потребительской активности для банков и сетевых магазинов.

До 2018 года руководил отделом инфраструктуры данных в Ostrovok.ru. Сейчас занимает аналогичную позицию в MaximaTelecom (один из проектов компании - публичная сеть Wi-Fi в метро Москвы).

Образование: МФТИ, факультет инноваций и высоких технологий по специальности прикладная математика и физика.

Артемий Козырь
Senior Data Engineer, Wheely
Более 5-ти лет опыта работы с Хранилищами Данных, построении ETL/ELT, Аналитике данных и Визуализации.
Опыт работы над продуктами в компаниях PwC, Московская Биржа, Сбербанк, СИБУР, Wheely.
Сферы интересов: KPIs and Scorecards / Budgeting and Planning / Retail Scoring / Next Best Offer / Reporting.

Верю в то, что данные – это ключевой элемент в принятии обоснованных и разумных бизнес-решений. Люблю находить простые решения для сложных задач. Не люблю повторять одни и те же ошибки, но с удовольствием приветствую новый опыт.

Образование: НИУ ВШЭ, факультет бизнес-информатики.

Отзывы
Юрий
Савченко
Очень полезный интенсив для тех, кто хочет получить представление о Data Engineering.
За несколько занятий доступно объясняется архитектура систем обработки данных, хранилища, инструменты.
На практике можно поработать с инструментами, обсудить возможности использования в своих проектах.
Спасибо преподавателям за время и ответы на вопросы!
Читать целиком
Юрий
Савченко
Очень полезный интенсив для тех, кто хочет получить представление о Data Engineering.
За несколько занятий доступно объясняется архитектура систем обработки данных, хранилища, инструменты.
На практике можно поработать с инструментами, обсудить возможности использования в своих проектах.
Спасибо преподавателям за время и ответы на вопросы!
Читать целиком
Необходимые знания
Желательно иметь опыт разработки на Java/Python и знать основы работы с БД. Также необходимо заранее установить на ваш компьютер: - IntelliJ IDEA CE; - SBT (scala buld tool); - Docker; - DBeaver.
Процесс обучения
Обучение проходит в формате онлайн-вебинаров и самостоятельной работы. Все материалы и записи прошедших вебинаров хранятся в личном кабинете студента. По всем практическим заданиям команда преподавателей даёт развёрнутый фидбек. Преподаватель — опытный инженер, который находится в едином коммуникационном пространстве с группой в течение всего образовательного процесса, т. е. во время обучения слушатель может задавать уточняющие вопросы по материалам лекций, взаимодействовать с преподавателями.

После каждого дня интенсива предусмотрено задание, чтобы вы на практике применили полученные знания. Выполняются они на личном компьютере (докер, либо в рамках бесплатной квоты в любом облаке). Обратную связь по всем вопросам, возникшим во время выполнения заданий, вы получите в чате группы.
Что вас ждет:
- построить пайплайн загрузки (день 1);
- реализовать небольшой проект на DBT (день 2);
- написать 1-2 джобы на Спарк (день 3).
Программа обучения
Модуль 1
9 апреля. Архитектура, инструменты, элементы систем
Модуль 2
10 апреля. DWH
Модуль 3
11 апреля. Спарк и всё что с ним связано
9 апреля. Архитектура, инструменты, элементы систем
Тема 1: Архитектура приложений по работе с данными
- Подходы к построению архитектуры;
- Обзор классов инструментов и их назначение
Тема 2: Выгрузки из систем-источников
⁃ Change Data Capture
⁃ Инструменты Data Ingestion
⁃ Особенности и классификация источников
10 апреля. DWH
Тема 1: DWH. Хранилища данных. Часть 1
- Семейство MPP баз - назначение и особенности
- Логический и физический дизайн
⁃ Data Build Tool. Построение моделей и зависимостей
Тема 2: DWH. Хранилища данных. Часть 2
⁃ Инкрементальный расчет
- Макросы и шаблоны Jinja
- Оптимизация под Amazon Redshift
- Data Quality - тестирование моделей данных
11 апреля. Спарк и всё что с ним связано
Тема 1: Apache Spark
- Spark - что это и зачем он нужен
- API - RDD, Dataset, Dataframe, операции над распределенными коллекциями
- Процесс вычисления в Spark - task, stage, оптимизатор запросов
Тема 2: Spark Streaming
- Micro-batch обработка данных
- DStreams
- Structured Streaming
После обучения вы

  • заберёте с собой полный комплект обучающих материалов: видеозаписи всех вебинаров, презентации к занятиям;

  • получите сертификат о прохождении курса;

  • Изучите нюансы работы специалиста по анализу больших данных;

  • сможете применить полученные знания в своей работе.

Ваш сертификат

онлайн-образование

Сертификат №0001

Константин Константинопольский

Успешно закончил курс «Супер-интенсив «Data Engineer»»
Выполнено практических заданий: 16 из 16

Общество с ограниченной ответственностью “Отус Онлайн-Образование”

Город:
Москва

Генеральный директор ООО “Отус Онлайн-Образование”
Виталий Чибриков

Лицензия на осуществление образовательной деятельности
№ 039825 от 28 декабря 2018 года.

онлайн-образование

Сертификат №0001

Константин Константинопольский

Успешно закончил курс «Супер-интенсив «Data Engineer»»
Выполнено практических заданий: 16 из 16

Общество с ограниченной ответственностью “Отус Онлайн-Образование”

Город:
Москва

Генеральный директор ООО “Отус Онлайн-Образование”
Виталий Чибриков

Лицензия на осуществление образовательной деятельности
№ 039825 от 28 декабря 2018 года.
🎁 Дарим сертификаты на скидку!
Запишитесь на июньскую трансляцию интересного вам дня открытых дверей и получите скидочный сертификат ➞