OTUS Logo

UserPartName

Data Science
Data Engineer

Лучший базовый курс

Data Engineer

Получите структурированные знания о подходах и инструментах. Курс проходит с практикой в Yandex Cloud!

11 декабря

Basic

5 месяцев

Онлайн

Ср/Пт 20:00 Мск

Для кого этот курс?

Для разработчиков. Сможете выполнять специфические задачи, с которыми справится только дата-инженер.

Для системных администраторов. Научитесь работать с Hadoop, Greenplum, Сlickhouse; познакомитесь с новыми системами данных.

Для архитекторов. Узнаете о продвинутых системах больших данных, изучите лямбда-архитектуру, каппа-архитектуру, подход Data Lakehouse.

Необходимые знания

  • Опыт разработки на Java/Python
  • Основы работы с БД: SQL, индексы, агрегирующие функции
  • Базовые знания ОС: работа с командной строкой, доступ по SSH

Будет плюсом

  • Навыки работы с Docker
  • Знакомство с компонентами экосистемы Hadoop
  • Понимание основ машинного обучения с позиции Data Scienist-а или аналитика
При поддержке
логотип партнера
Бесплатно предоставит необходимое количество ресурсов, чтобы вы могли выполнять практические задания на протяжении всего периода обучения.

Что даст вам этот курс?

  • Понимание ценности данных для бизнеса и архитектуры
  • Узнаете, как организовать хранение данных, познакомитесь с методами проектирования хранилищ
  • Сможете разрабатывать ETL процессы для выгрузки данных из внешних источников
  • Научитесь преобразовывать данные в пакетном и потоковом режимах
  • Узнаете что такое качество данных и как работать с метаданными
  • Изучите современные BI инструменты и научитесь создавать витрины данных

После обучения вы сможете

  • Разворачивать, налаживать и оптимизировать инструменты обработки данных
  • Адаптировать датасеты для дальнейшей работы и аналитики
  • Создадите сервисы, которые используют результаты обработки больших объемов данных
  • Принимать участие в разработке архитектуры данных в компании
Рекомендуем Вам также изучить программу курса
Data Warehouse Analyst

Курс Python в подарок!

Бесплатно получите доступ к подготовительному курсу по Python, на котором сможете изучить основные возможности языка

Процесс обучения

Образовательный процесс происходит ONLINE в формате вебинаров (язык преподавания — русский). Стиль диалога позволит не только изучить материал через призму полученных ранее компетенций, но и объединит опыт слушателей с экспертной оценкой преподавателя. В рамках курса слушателям предлагаются к выполнению домашние задания, которые позволяют применить на практике знания, полученные на занятиях. В течение всего учебного процесса преподаватель находится в едином коммуникационном пространстве с группой, т.е. при обучении слушатель может задавать преподавателю уточняющие вопросы по учебным материалам.

Эффективные навыки


Целостная картина вызовов и задач современного бизнеса, и роли Инженера Данных в их решении

Эксперты

Программу ведут практикующие Инженеры Данных из разных сфер бизнеса

Практический опыт

В течение курса будем инкрементально создавать работающий продукт, решая прикладные задачи

Партнеры

Многие студенты еще во время прохождения первой части программы находят или меняют работу, а к концу обучения могут претендовать на повышение в должности. 

  • Карьерные мероприятия в сообществе
    Публичный разбор резюме
    Публичное прохождение собеседования и воркшопы
  • Разместите свое резюме в базе OTUS и сможете получать приглашения на собеседования от партнеров

Data Engineer

Перспективы направления
Средний уровень зарплат:
100 000 ₽Junior+ специалист
250 000 ₽Middle+ специалист
350 000 ₽Senior специалист
578
актуальных вакансий

Работодатели курса

Формат обучения

Интерактивные вебинары


2 онлайн-трансляции по 2 ак. часа в неделю. Доступ к записям и материалам остается навсегда

Практика

Домашние задания с поддержкой и обратной связью наших преподавателей помогут освоить изучаемые технологии

Активное комьюнити

Общение с преподавателями голосом на вебинарах и в закрытой Telegram группе

Программа

Введение

Введение в профессию. Кто такой Инженер Данных. Какие задачи он решает. Архитектура систем.

Тема 1: Инженер данных. Задачи, навыки, инструменты, потребность на рынке

Тема 2: Архитектура систем обработки данных

Тема 3: Выбор технологий. Облачные технологии

Тема 4: Docker

DWH

Что это такое Хранилища Данных. Для чего используются. Как их проектировать и как с ними работать.

Тема 1: Что такое DWH

Тема 2: Проектирование DWH

Тема 3: Модели данных в DWH

Тема 4: Greenplum

Тема 5: ClickHouse

Тема 6: Разбор ДЗ по 2 модулю

Хранение данных

Озёра Данных. Распределённые файловые системы. Что это такое. Для чего используются. Как с ними работать.

Тема 1: Основы Hadoop

Тема 2: Знакомство с Data Lake

Тема 3: Распределенные файловые системы

Тема 4: NoSQL. Key-Value

Тема 5: NoSQL. Wide-column

Тема 6: ELK

Тема 7: ELK (практика)

Загрузка данных

Изучаем загрузку и обработку данных. Организация конвейеров обработки.

Тема 1: Загрузка данных

Тема 2: Apache Kafka

Тема 3: Apache Ni-Fi. Выгрузка данных из внешних систем

Тема 4: Apache Airflow. Введение в автоматизацию пайплайнов и оркестрацию

Тема 5: Apache Airflow. Сложные пайплайны

Запросы к данным и трансформация

Изучаем как формулировать запросу к данным, как проводить трансформации.

Тема 1: Аналитические запросы

Тема 2: Apache Hive. SQL доступ к Hadoop

Тема 3: Apache Spark. Архитектура приложения

Тема 4: Apache Spark. API

Тема 5: Обработка потоковых данных

Предоставление данных для аналитики и машинного обучения

Управление данными. Качество данных. BI

Тема 1: Предоставление данных

Тема 2: Data Quality. Управление качеством данных

Тема 3: Управление метаданными

Тема 4: Основы Business Intelligence

Тема 5: Развертывание BI-решения

DataOps

Data + DevOps = DataOps

Тема 1: DevOps практики. CI + CD

Тема 2: Мониторинг

Тема 3: Разбор ДЗ по 3 и 4 модулю

Выпускной проект

Заключительный месяц курса посвящен проектной работе. Свой проект — это то, что интересно писать слушателю. То, что можно создать на основе знаний, полученных на курсе. При этом не обязательно закончить его за месяц. В процессе написания по проекту можно получить консультации преподавателей.

Тема 1: Выбор темы и организация проектной работы

Тема 2: Консультация по проектам и домашним заданиям

Тема 3: Защита проектных работ

Также вы можете получить полную программу, чтобы убедиться, что обучение вам подходит

Проектная работа


Реализация задачи по интересующей теме с применением комплекса знаний, полученных в рамках курса. В рамках подготовки проекта будут даны вводные и проведены консультации. Несколько примеров проектных работ студентов прошлых запусков

Преподаватели

Руководитель курса

Вадим Заигрин

Ведущий консультант

IBS

Андрей Чучалов

Старший разработчик службы больших данных

"Вымпелком - информационные технологии"

Алексей Железной

Senior Data Engineer

FinTech

Кирилл Дикалин

Руководитель направления аналитической инфраструктуры

Альфа-банк

Андрей Поляков

Старший разработчик

Unlimint

Василий Сушко

Эксперты-практики делятся опытом, разбирают кейсы студентов и дают развернутый фидбэк на домашние задания

Прошедшие
мероприятия

Алексей Железной
Открытый вебинар
Инструменты для выгрузки данных
Вадим Заигрин
Открытый вебинар
DWH, Data Lake, Data Lakehouse. Что это такое и в чём разница
Для доступа ко всем прошедшим мероприятиям необходимо пройти входное тестирование
Возможность пройти вступительное тестирование повторно появится только через 3 дня
Результаты тестирования будут отправлены вам на email, указанный при регистрации.
Тест рассчитан на 30 минут, после начала тестирования отложить тестирование не получится!

Корпоративное обучение для ваших сотрудников

OTUS помогает развивать высокотехнологичные команды. Почему нам удаётся это делать успешно:
  • Курсы OTUS верифицированы крупными игроками ИТ-рынка и предлагают инструменты и практики, актуальные на данный момент
  • Студенты работают в группах, могут получить консультации не только преподавателей, но и профессионального сообщества
  • OTUS проверяет знания студентов перед стартом обучения и после его завершения
  • Простой и удобный личный кабинет компании, в котором можно видеть статистику по обучению сотрудников
  • Сертификат нашего выпускника за 5 лет стал гарантом качества знаний в обществе
  • OTUS создал в IT более 120 курсов по 7 направлениям, линейка которых расширяется по 40-50 курсов в год

Отзывы

Denys Bez

20.09.2024
Курс мне очень понравился. На курсе был обзор технологий, которые очень полезны для общего понимания предмета. Учебный материал подавался доступно и понятно. В целом я доволен полученными знаниями и они уже помогли мне в моей профессиональной сфере. Это не первый и не единственный мой курс в OTUS, обучением я доволен. Я бы смело стал рекомендовать курс коллегам и друзьям.

Вера

25.04.2024
В целом курс понравился. Преподаватели на курсе опытные и грамотные. Особенно хочу отметить преподавателей - Андрея Чучалова, Алексея Железного и руководителя курса Вадима Заигрина. Андрею Чучалову благодарна за информативную и конструктивную обратную связь по ДЗ. Все преподаватели понравились. Курс структурный, каждому модулю предшествует обобщающая лекция, представляемая руководителем курса. При подготовке проекта удобно было пользоваться материалами занятий, а так же практическими наработками преподавателей. Огромным плюсом является предоставленная студентам возможность реализовать практические задания в Yandex Cloud. До прихода на курс у меня не было опыта в DE. Учиться было сложно, но во всем можно было разобраться. Очень понравились занятия по Spark; Airflow; DWH; Hadoop; Hive; Kafka, Elk. В одной лекции мне было не просто разобраться в связи с отсутствием практического опыта в данной сфере: DevOps практики. CI + CD. Могу сказать, что курс доступен и информативен для тех, у кого опыта совсем не много, но есть желание учиться.

Михаил Кириченко

22.04.2024
Я работаю архитектором DWH. Материал на курсе хороший, удобно, что есть помощь в телеграмм канале и от преподавателей, и от студентов. Достаточно сбалансирована теория и практика, что можно совмещать с работой. У курса конечно есть точки роста, хотелось больше групповых обсуждений.

Данил Мусин

22.04.2024
Я работаю в Ростелеком в R&D отделе системным инженером. Курс был для меня полезен, важно, что рассмотрели ETL Open Source решений, прошлись по Spark, и работали в YC. Очень понравилась подача по ClickHouse, слоям и Data Vault. Но надо понимать, что курс обзорный и погружений в некоторые инструменты не хватило. В целом я доволен.

Дмитрий Морозов

19.04.2024
Курс помог мне ознакомиться с профессией дата инженера, ознакомиться со стеком технологий для работы с Big Data. Сейчас я работаю Backend-разработчиком и на моём текущем месте работы это, конечно, не применимо, но в будущем я уверен, что полученные знания мне обязательно пригодятся. На курсе было очень интересно. Все преподаватели отлично преподнесли учебный материал. Конечно, для более углублённого изучения нужно ещё много самостоятельно работать, но все мои ожидания от курса полностью оправдались. Практических заданий было в меру и их было интересно выполнять. Интересно так же было работать и над курсовым проектом. Мне удалось сложить в целостную картину все те знания, которые я получил в процессе обучения и построить полноценный data pipeline, что и является обязанностями дата инженера.

Георгий Кустов

19.04.2024
В целом курс славный. Сердечная Благодарность Вадиму Заигрину и Алексею Желязнову. Остальные тренеры тоже очень достойные. Серьезных моментов что следует скорректировать я не скажу мне все понравилось. Мне было не удобно начало занятий в 22:00 по уфимском времени. Я стараюсь спать ложится рано. Но понятно что это подвинуть достаточно сложно, т.к. часть группы москвичи и это для них оптимальное время. Вы большие молодцы что добросовестно работаете на свое имя. Такие люди как Ваша команда тихой сапой создают лицо российского ИТ. Ещё раз спасибо, то что Вы делаете важно для многих людей.

Игорь Громов

27.10.2022
Довольно хороший курс, чтобы понять, что, как и с использованием каких инструментов делает дата-инженер. К сожалению, данный курс не сделает из вас сразу же готового дата-инженера, но в целом становится понятно, какие технологии необходимо изучать. Если умеешь анализировать свои ошибки, начинаешь понимать свои точки роста.

Евгений Евдокимов

08.02.2022
Интересный, актуальный курс, помог разобраться с актуальным стэком сервисов, войти в отрасль и ознакомиться практически с обработкой больших данных Из тяжёлых моментов задания с примерами машинного обучения, с нуля заходить - большой объём данных проработать пришлось, но дело очень инетерсное Из пожеланий (не знаю реально такое или нет) вести курс от какого-то запоминающегося проекта, чтобы не приходилось каждое занятие заново вникать в структуру типов данных (если это конечно не является особенностью квалификации инженера) Спасибо за знания!

Виктор Кузнетсов

21.07.2021
Хороший курс по Дата инженерии естественно если с нуля нужно много постараться изучить. Но он того стоит. Всем советую.

Анастасия Шемет

22.04.2021
В конечном итоге получилось не просто разобраться в инструментах дата инженера, но и сделать в них целый проект. Считаю, что инструменты, которые отписывались в курсе очень органично собраны все вместе и понятно объяснены Конечно, это было своего рода челленджем для меня - пройти этот курс, т к навыки в этой области у меня были практические нулевые. Но оно того стоило Из пожеланий (уже высказывала это в ранних фидбеках (может быть устно, не помню)): делитесь материалами к лекциям заранее. Мне было бы гораздо проще понимать лекции в режиме онлайн, если бы у меня была возможность заранее к ним подготовиться: прочитать слайды, дополнительные материалы, разобраться с инструментами, которые используются в демо на уроках. Без этого я ничего не понимала и не могла задать внятные вопросы преподавателю в прямом эфире, разбиралась уже офлайн. Это тоже ок, но терялся смысл вебинаров Но в общем впечатления положительные, курс стоил своих денег и уже принёс плоды Спасибо!

Юлия Кузнецова

19.04.2021
Курс замечательный. Преподаватели - профессионалы своего дела. Если вы хотите заметно повысить свой уровень за несколько месяцев, то пройдя этот курс, вы достигните этой цели - все необходимые знания вам для этого дадут. Вам же останется отработать теорию на практике.

Федор Песяк

06.04.2021
До обучения в OTUS я занимался в основном нативной разработкой на Python. Как таковой дата инженерией я не занимался. Курс привлек внимание тем, что он плавно вводит в тему. На презентации рассказали, что он больше подходит для новичков в Data Engineering, что мне подходило. В целом, курс добротный. Рассказывают и про теорию, и про практику. После прохождения у меня более-менее сложилась картинка, что из себя представляет профессия дата инженера. Понравилось, что достаточно подробно разбирали некоторые инструменты типа Spark или Airflow (лекции и презентации можно использовать в качестве базового туториала). Домашние работы были достаточно прикладными - научили, как запускать машины в облаке, как собирать докеры, как писать на Scala. Плюс проектная работа, тему к которой я выбрал самостоятельно, исходя из задач на текущей работе. Не понравились отдельные лекторы, не очень хорошо рассказывали об отдельных темах. Некоторые инструкции к домашним заданиям можно было бы оформить и получше. Очень хотелось бы добавить в курс обработку изображений и видео, разбор инструментов, которые позволяют быстро работать с картинками. В основном все разобранные решения касались только текстовых или бинарных данных. По окончании обучения мне удалось реализовать проект на текущем месте работы и получить должность дата инженера. Знания, полученные на курсе, пришлись к месту. Я доволен тем, что прошел курс до конца. Это был полезный опыт.

Руслан Ксалов

12.01.2021
Курс полностью оправдал возложенные на него надежды. Я получил достаточно знаний и практического опыта, чтобы начать самостоятельный путь в профессии Data Engineer. Большое спасибо всем преподавателям, но особенно хочу отметить Артемия Козыря, Егора Матешука и Дмитрия Музалевского.

Алексей Чуб

02.11.2020
Безусловно, полезный курс. Надо, однако, понимать, что это не курс общего назначения, как я думал до его прохождения. Это курс именно по этой специальности - инженер данных. В старой терминологии это близко к разработчикам баз данных, так называемым "ораклистам" и т.п. Для бэкенд-разработчиков (java и др.) он может быть полезен для общего развития, но это в общем-то другая специальность. Что понравилось - ширина охвата, крутые преподаватели, особенно Егор Матешук. Что не понравилось - некоторое отсутствие общей идеи, общего плана курса. Каждый преподаватель ведет свои темы как бы независимо от других. От этого общий результат, думаю, получается хуже, чем он мог бы быть, если бы изначально лекции и домашние задания как бы продолжали друг друга в разных темах. Например, все домашки были бы в однородном окружении. Полезно также было бы больше времени на лекциях уделять объяснению того, что надо сделать в д/з. Еще не особенно понравилось качество проверки домашек, сложилось впечатление, что преподаватель засчитывает их, почти не глядя.

Сергей Грибков

15.08.2020
Целью моего обучения на курсе было освоить технологии Big Data в целом и экосистему Hadoop в частности, и с уверенностью могу сказать что мне это удалось. Курс очень разнообразный, разбирается множество используемых в Big Data инструментов и технологий, а также вопросы архитектуры, дается комплексное представление о предметной области. Конечно, отдельные темы освещаются довольно бегло, но это мотивирует разобраться самому. Для обучения желателен определенный опыт, но понимая принципы работы БД, ООП и общие требования к обработке данных, можно в довольно сжатые сроки освоить технологии Big Data и применять их на практике. Также хочу отметить, что занятия проводятся в "прямом эфире", что сейчас встречается все реже. Это способствует более быстрому усвоению материала и обеспечивает планомерное его изучение. По самой структуре курса могу предложить заменить отдельные "проходные" темы, например, Jupyter Notebook на Docker.

Михаил Сеткин

21.07.2020
На момент начала курса я уже в течение примерно трех лет развивал решение Data Lake в своей компании в качестве владельца платформы. О курсе я узнал из контекстной рекламы, наверное это не случайно, т. к. в поисковых движках я часто ищу информацию, пересекающуюся с тематикой курса. Обычно я сохраняю понравившиеся аналогичные ссылки, чтобы в будущем рекомендовать их коллегам, но в этом случае тема курса настолько тесно пересекалась с тем, чем я занимаюсь, что мне захотелось, во-первых, прежде чем рекомендовать это кому-то, составить личное мнение о курсе, во-вторых, почерпнуть новые идеи для развития нашей платформы, и в третьих, расширить личный кругозор по отдельным инструментам. По итогам курса могу сказать, что мне понравилась практическая направленность занятий, т. к. после большинства тем даются домашние задания, которые имеют множество возможных решений, и чтобы успешно их сдать, надо включать голову и вспоминать, что проходили на уроках, что способствует запоминанию материала. Сдача «домашек» также реализует канал быстрой обратной связи, благодаря которой улучшается кругозор по пройденной теме. Также хочу отметить преподавательский состав, приглашенные эксперты выложились в моем понимании на отлично. По итогам обучения я получил подтверждение о правильности некоторых гипотез по используемому в компании стеку технологий, а также углубил знания по отдельным инструментам обработки данных. Отдельные презентации разобрал на слайды и обсуждал их с коллегами, конвертируя полученные знания в бэклог команды. С уверенностью могу сказать, что мои ожидания относительно курса оправдались, за что хочу сказать авторам курса большое спасибо.

Дмитрий Габидуллин

20.07.2020
Хороший курс, понравился. До обучения ранее работал с экосистемой hadoop, но хотелось систематизировать знания, подходы, инструменты в области DE. Выбор пал на этот курс и не прогадал. Что понравилось: - состав и уровень преподавателей. Не скучные лекции, очень доходчиво доносят материал. - общение в slack чате, обсуждение практических заданий. Можно было даже обсудить вопросы не относящиеся к материалам курса, а возникающие в ходе повседневной работы. - уровень домашних заданий и выпускного проекта позволяет сформировать портфолио для указания в резюме. Из доработок по курсу, было бы здорово: - больше практической части от devOps тем на курсе - продвинутых тем в Apache Spark

Мария Морозова

19.07.2020
До обучения в Otus на курсе дата-инженер я более 10 лет работала разработчиком различных систем, в основном специализируясь на реляционных БД, анализе данных и обеспечении качества данных. Имея за плечами сданный экзамен по Big Data (openedu.ru), успешно законченный mlcourse, появилось осознание, что хочется расширить список инструментов для работы с данными, а также добиться некоей "структурированности" знаний в инженерии данных, т.к. инструментов появилось довольно много, и не всегда понятно, когда и какой лучше использовать. Посетив ознакомительный вебинар на OTUS, было принято решение поучаствовать в данном мероприятии. На курсе есть возможность на учебных примерах запустить стримминг данных через kafka, поюзать in-memory бд, написать какой-нибудь сервис, запустить RDD на Spark, сравнить инструменты мониторинга, выбирать тип DWH, рассмотреть реальные кейсы использования инструментов, получить дельные советы от преподавателей. В обучении на OTUS мне понравилось, что программа курса современная, преподаватели актуализируют программу, а также подстраиваются под пожелания учеников "на ходу". Например, в моем запуске было выражено пожелание, чтобы показали, как деплоить ML-модели в production "по-правильному" и это пожелание было удовлетворено. От этого курса я получила все, что хотела: практические навыки использования современных инструментов работы с данными, понимание, когда и какие инструменты лучше применять, как деплоить, оркестрировать, мониторить, а самое главное, наверное - это как разрабатывать архитектурные решения. Думаю, что спрос на дата-инженеров будет расти, т.к. данных становится все больше, также как и инструментов для работы с ними.

Сертификат о прохождении курса

OTUS осуществляет лицензированную образовательную деятельность.
В конце обучения вы получите сертификат OTUS о прохождении курса.

После обучения вы:

  • заберёте с собой полный комплект обучающих материалов: видеозаписи всех вебинаров, презентации к занятиям и получите сертификат о прохождении курса
  • создадите своё портфолио проектов, которое поможет при прохождении собеседований
  • получите приглашение пройти собеседование в компаниях-партнерах OTUS (в случае успешного обучения на курсе)

Частые вопросы

Почему OTUS?
Мы обучаем IT-сотрудников уже 6 лет, через OTUS прошли 20000 студентов. Специализируемся на программах для людей с опытом, а ещё – быстро переформатируем учебные программы под изменения в сфере информационных технологий.
Что является наиболее ценным по мнению выпускников?
На курсе «Data Engineer» вы получите знания, которые можно сразу же применить в работе. Наши преподаватели развёрнуто анализируют домашние задания, активно общаются со студентами в телеграм-чатах и на вебинарах, помогают с выпускными проектами.
Обязательно ли выполнять и защищать выпускной проект?
Для получения сертификата OTUS и УПК (удостоверение повышения квалификации государственного образца) необходимо сдать проект. Кроме того, проект необязательно защищать перед аудиторией, а можно сдать в чате с преподавателем. Для получения УПК также понадобится предъявить документ об образовании.
Обязательно ли выполнять все домашние задания?
Да, если хотите хорошо отточить навыки. На курсе будут практические домашние задания, их выполнение занимает примерно 2-3 часа.
Помогаете ли вы с поиском работы?
Наши преподаватели могут принимать решения о трудоустройстве в своих компаниях. Выполните выпускной проект хорошо, и ваши шансы пройти собеседование значительно возрастут. Ещё OTUS Club проводит карьерные мероприятия: там вы узнаете, например, как проходить интервью и как составлять резюме.
Смогу ли я совмещать учёбу с работой?
Да. Программа рассчитана на студентов, у которых мало времени. Раз в модуль мы даём домашние задания, а лекции проводим дважды в неделю.
Что если в середине курса я не смогу продолжать обучение?
Вы можете бесплатно перейти в другую группу. Но только один раз.
Я могу вернуть деньги?
Да, мы можем вернуть деньги за то время, которое вы ещё не успели отучиться. Например, если курс длится пять месяцев, а вы отучились один, мы вернём деньги за оставшиеся четыре месяца.
Может ли мой работодатель оплатить курс?
Да. Когда свяжетесь с нашим менеджером, уточните, что оплачивать курс будет ваш работодатель.
Остались вопросы?
Оставляйте заявку и задавайте вопросы менеджеру, команда курса с ним на связи и постарается дать вам дать исчерпывающую информацию.