Курс по Data Engineering. Запишитесь на курс по организации и предобработке данных
⚡ Открываем подписку на курсы!
Проходите параллельно 3 онлайн-курса в месяц по цене одного.
Подробнее

Курсы

Программирование
Программист 1С Реверс-инжиниринг. Продвинутый курс
-16%
Java Developer. Professional
-17%
JavaScript Developer. Professional
-18%
Flutter Mobile Developer
-15%
JavaScript Developer. Basic
-16%
Highload Architect
-10%
Нереляционные базы данных
-17%
Подготовка к сертификации Oracle Java Programmer (OCAJP)
-8%
Алгоритмы и структуры данных
-12%
Архитектура и шаблоны проектирования
-14%
Framework Laravel
-13%
IoT-разработчик
-12%
Team Lead
-15%
Android-разработчик. Базовый курс Разработчик Python. Продвинутый курс iOS Разработчик. Продвинутый курс Разработчик Golang Разработчик программных роботов (RPA) на базе UiPath и PIX Разработчик голосовых ассистентов и чат-ботов Backend-разработка на Kotlin C# ASP.NET Core разработчик Scala-разработчик Супер - интенсив по Kubernetes Symfony Framework Advanced Fullstack JavaScript developer
Специализации Курсы в разработке Подготовительные курсы
+7 499 938-92-02

Data Engineer

Длительность обучения:

4 месяца

4 ак. часа в нед.

В ноябре

Что даст вам этот курс

  • понимание ключевых способов интеграции, обработки, хранения больших данных

  • умение работать с компонентами экосистемы Hadoop, распределенными хранилищами и платформами

  • практические навыки разработки дата-сервисов, витрин и приложений

  • знание принципов организации мониторинга, оркестрации, тестирования


  • Курс адресован разработчикам, администраторам СУБД и всем, кто стремится повысить профессиональный уровень, освоить новые инструменты и заниматься интересными задачами в сфере работы с данными.


    После обучения Data Engineering вы станете востребованным специалистом, который:

    • разворачивает, налаживает и оптимизирует инструменты обработки данных

    • адаптирует датасеты для дальнейшей работы и аналитики

    • создает сервисы, которые используют результаты обработки больших объемов данных

    • отвечает за архитектуру данных в компании



    • Real Case Studies: примеры внедрений, использования инструментов, оптимизации производительности, проблемы, ошибки и прикладные результаты

      Высокая практическая направленность:


      В течение курса будем инкрементально создавать работающий продукт, решая прикладные задачи

      Целостная картина вызовов и задач современного бизнеса, и роли Инженера


      Данных в их решении

      Востребованность у работодателей


      38 работодателей уже готовы позвать на собеседование выпускников курса






        Инженер данных - почему это актуально и интересно:



      • Прежде чем попасть на стол CEO в виде квартального отчета или индивидуальной подборкой книг в email-рассылке, данные проделывают длительный и сложный, полный преобразований и трансформаций, путь, требующий непрерывного мониторинга и оркестрации.

      • В этом ключе команда инженеров, которая готова обеспечить непрерывную поставку достоверной информации для всех бизнес-потребителей и функций играет важнейшую роль в принятии тактических и стратегических решений всей компании.

      • Работа инженеров данных, внешне незаметная, удивительно сложна и интересна по своей специфике. Невероятное количество закономерностей и связей, инструментов и подходов, параметров и настроек не оставят равнодушным ни один пытливый ум в поисках оптимальных и элегантных решений.


      Карта курсов направления Data Science в OTUS

Преподаватели

Егор Матешук
CDO AdTech-компании Квант
Василий Сушко
ПАО Сбербанк
Артемий Козырь
Senior Data Engineer, Wheely
Владимир Дроздецкий
Разработчик инфраструктуры exposcan.ru, crispmessenger.com
Дмитрий Музалевский
Lead Data Scientist, Берлин
Последние 6 лет работает с большими данными: строит системы для обработки данных, консультирует по вопросам построения аналитических решений.

До 2018 года руководил отделом инфраструктуры данных в Ostrovok.ru. Затем занимал аналогичную позицию в MaximaTelecom (один из проектов компании - публичная сеть Wi-Fi в метро Москвы). На данный момент является CDO AdTech-компании Квант.
Большой опыт работы с сервисами Hadoop (HDFS, Hive, Impala), оркестраторами (Airflow, Oozie), MPP-базами (Vertica, Kudu, Greenplum) и различными фреймворками для обработки данных (Spark, Flink).

Образование: МФТИ, факультет инноваций и высоких технологий по специальности прикладная математика и физика.

Главный инженер, Сбербанк

7 лет опыта промышленной разработки, в том числе создания и поддержания веб-приложений как в крупных компаниях так и в стартапах. 3 года разработки распределенных систем для крупных государственных заказчиков. Реализовал три проекта с “чистого листа”, от прототипа до готового к промышленной эксплуатации.

В данное время занимается full-stack разработкой для внутренних заказчиков в банке, решает задачи связанные с анализом и инженерией данных.

Опыт программирования на Java, Scala, Python, Javascript.

Широкий круг профессиональных интересов, начиная от построения распределенных систем, заканчивая предиктивной аналитикой и анализом намерений.

Образование: бакалавриат УрФУ им. Б.Н. Ельцина “Информационные технологии”.

Более 5-ти лет опыта работы с Хранилищами Данных, построении ETL/ELT, Аналитике данных и Визуализации.
Опыт работы над продуктами в компаниях PwC, Московская Биржа, Сбербанк, СИБУР, Wheely.
Сферы интересов: KPIs and Scorecards / Budgeting and Planning / Retail Scoring / Next Best Offer / Reporting.

Верю в то, что данные – это ключевой элемент в принятии обоснованных и разумных бизнес-решений. Люблю находить простые решения для сложных задач. Не люблю повторять одни и те же ошибки, но с удовольствием приветствую новый опыт.

Образование: НИУ ВШЭ, факультет бизнес-информатики.

Занимается поддержкой и траблшутингом серверов MySQL, приложений, написанных на PHP, etc. Активно внедряет и использует докер со всей его инфраструктурой. Придерживается мнения, что всё должно быть декларативно описано, поэтому использует Ansible.

Разрабатывает и настраивает инфраструктуру для таких стартапов, как exposcan.ru, crispmessenger.com. Занимается мониторингом при помощи Zabbix и Prometheus, создаёт графики в Grafana.

Чтобы легко подстраиваться под требования бизнеса, деплоит и описывает процессы в Gitlab, собирает и обрабатывает логи в ELK и Graylog2. Любит и умеет пользоваться активным сетевым оборудованием вендора MikroTik.

Более 8 лет опыта в области анализа данных и машинного обучения в различных индустриях: телеком, онлайн-ритейл, банковская сфера, финтех и медтех.

В настоящий момент работает в медицинской сфере, занимаясь проблемами обработки звуковых сигналов и улучшением слуховых аппаратов. На позиции Lead Data Scientist ведет работу команды по аналитике больших объемов данных, машинным и глубоким обучением полного цикла.

Образование: бакалавриат МГТУ им.Баумана «Компьютерный анализ и интерпретация данных»; магистратура НИУ МАИ «Математические методы в экономике и маркетинге».

Егор
Матешук
Василий
Сушко
Артемий
Козырь
Владимир
Дроздецкий
Дмитрий
Музалевский

Преподаватели

Егор Матешук
CDO AdTech-компании Квант
Последние 6 лет работает с большими данными: строит системы для обработки данных, консультирует по вопросам построения аналитических решений.

До 2018 года руководил отделом инфраструктуры данных в Ostrovok.ru. Затем занимал аналогичную позицию в MaximaTelecom (один из проектов компании - публичная сеть Wi-Fi в метро Москвы). На данный момент является CDO AdTech-компании Квант.
Большой опыт работы с сервисами Hadoop (HDFS, Hive, Impala), оркестраторами (Airflow, Oozie), MPP-базами (Vertica, Kudu, Greenplum) и различными фреймворками для обработки данных (Spark, Flink).

Образование: МФТИ, факультет инноваций и высоких технологий по специальности прикладная математика и физика.

Василий Сушко
ПАО Сбербанк
Главный инженер, Сбербанк

7 лет опыта промышленной разработки, в том числе создания и поддержания веб-приложений как в крупных компаниях так и в стартапах. 3 года разработки распределенных систем для крупных государственных заказчиков. Реализовал три проекта с “чистого листа”, от прототипа до готового к промышленной эксплуатации.

В данное время занимается full-stack разработкой для внутренних заказчиков в банке, решает задачи связанные с анализом и инженерией данных.

Опыт программирования на Java, Scala, Python, Javascript.

Широкий круг профессиональных интересов, начиная от построения распределенных систем, заканчивая предиктивной аналитикой и анализом намерений.

Образование: бакалавриат УрФУ им. Б.Н. Ельцина “Информационные технологии”.

Артемий Козырь
Senior Data Engineer, Wheely
Более 5-ти лет опыта работы с Хранилищами Данных, построении ETL/ELT, Аналитике данных и Визуализации.
Опыт работы над продуктами в компаниях PwC, Московская Биржа, Сбербанк, СИБУР, Wheely.
Сферы интересов: KPIs and Scorecards / Budgeting and Planning / Retail Scoring / Next Best Offer / Reporting.

Верю в то, что данные – это ключевой элемент в принятии обоснованных и разумных бизнес-решений. Люблю находить простые решения для сложных задач. Не люблю повторять одни и те же ошибки, но с удовольствием приветствую новый опыт.

Образование: НИУ ВШЭ, факультет бизнес-информатики.

Владимир Дроздецкий
Разработчик инфраструктуры exposcan.ru, crispmessenger.com
Занимается поддержкой и траблшутингом серверов MySQL, приложений, написанных на PHP, etc. Активно внедряет и использует докер со всей его инфраструктурой. Придерживается мнения, что всё должно быть декларативно описано, поэтому использует Ansible.

Разрабатывает и настраивает инфраструктуру для таких стартапов, как exposcan.ru, crispmessenger.com. Занимается мониторингом при помощи Zabbix и Prometheus, создаёт графики в Grafana.

Чтобы легко подстраиваться под требования бизнеса, деплоит и описывает процессы в Gitlab, собирает и обрабатывает логи в ELK и Graylog2. Любит и умеет пользоваться активным сетевым оборудованием вендора MikroTik.

Дмитрий Музалевский
Lead Data Scientist, Берлин
Более 8 лет опыта в области анализа данных и машинного обучения в различных индустриях: телеком, онлайн-ритейл, банковская сфера, финтех и медтех.

В настоящий момент работает в медицинской сфере, занимаясь проблемами обработки звуковых сигналов и улучшением слуховых аппаратов. На позиции Lead Data Scientist ведет работу команды по аналитике больших объемов данных, машинным и глубоким обучением полного цикла.

Образование: бакалавриат МГТУ им.Баумана «Компьютерный анализ и интерпретация данных»; магистратура НИУ МАИ «Математические методы в экономике и маркетинге».

Отзывы
15
Сергей
Баранов
Курс более, чем понравился и удачно оказался "стопроцентно в руку".

- Курс значительно отодвинул наметившиеся ограничения в области архитектурных решений по работе с данными для нашей компании.
- Практически каждый (ровно каждый) вебинар курса дал мне варианты решений различных реальных проблем в реальных кейзах по работе.
- Корпус приобретённых практических навыков позволил реализовать эти решения как минимум на уровне работающих прототипов.
- Хочу отметить также серьёзный уровень владения и подачи теории, и погружённости в реальную практику преподавателей курса.

Рекомендую всем как для расширения архитектурного горизонта, так и для приобретения практических навыков работы с заявленным в программе инструментарием.
Читать целиком
Вадим
Заигрин
Очень полезный курс для инженеров данных. Широкий охват тем, глубокая проработка материала. Даже по темам, с которыми ты работаешь пару лет, узнаешь что-то новое.
Из недостатков можно отметить некоторую несогласованность между преподавателями. Например, один говорит, что системы визуального проектирования неудобны, а второй, что с их помощью можно делать то, что нужно.
Ещё хорошо бы оптимизировать последовательность тем. Теорию потоковой обработки лучше давать до практической работы со Spark Streaming.
Читать целиком
Андрей
Гореликов
1 До обучения я работал веб разработчиком джава и до поступления на курс поступил на должность разработчика хранилища, но на работе была маленькая команда и чтоб лучше освоить профессию поступил на курсы дата инженера в Отус.
2 Выбрал курс Дата инженера так как интересна эта специализация
3 В обучении понравлся актуальный материал и как преподователи вели обучение- много рабочих кейсов, быстрая проверка домашних работ и рекомендации как улучшить и тд. У меня как и многих были сложности с докером.
4 Обучение мне дало более широкие и глубокие знания по специальности с которыми я нашел новую работу, на собеседованиях уже мог обсуждать детали специальности, используемые технологии и тд. Касаемо работы я получил несколько оферов и одним из них воспользовался, можно сказать в ведущий банк и офис мечты ))
Понравился выпускной проект, было много консультаций и после во время защиты было много рекомендаций!!
Читать целиком
Юрий
Шилин
Всем привет!
Очень крутой курс,  но входной уровень знаний (linux, db, sql) нужно уже иметь.
А лучше с этим ежедневно работать, тогда данный курс будет не просто курсом, а открытие новых возможностей в профессиональной деятельности.
Читать целиком
Анатолий
Клюса
Хороший курс, несмотря на то, что молодой)
Хорошо подобран материал и домашние задания, хорошие преподаватели, нормально все организовано.
Самое главное, что, как я понял, и курс и Отус постоянно развиваются и усовершенствуются.
Мне лично было очень интересно учиться в Отусе на этом курсе, узнать много новых для меня инструментов и технологий, которые сейчас на потоке и в тренде, и попробовать их в деле.
Однозначно курс рекомендую тем, кто любит работать с данными и хочет приобщиться к современной цифровой нефти - к большим данным.
Читать целиком
Игорь
Бричко
Курс достаточно обширный по изучаемым технологиям, много практической части и реальных примеров. Хочу отметить высокую квалификацию преподавателей и уровень владения и преподавания метериалов.

Что можно улучшить.
- скорость отклика на личные сообщения и проверку ДЗ
- добавить разбор ДЗ на примере лучшей работы
- больше внимания уделить streaming процессам( этотлично мое пожелание ?)
- больше ссылок на мануалы и кейсы по технологиям

Спасибо большое за курс, продолжайте в том же направлении!
Читать целиком
Алексей
Стариков
Хороший курс.

Дает общее представление об инструментах и подходах, которые используются в работе с данными.

Курс будет очень полезен начинающим инженерам данных и тем, кто хочет начать работать по данной специальности. Те, кто уже имеет некоторый опыт, смогут сконцентрироваться на интересных для них кейсах в рамках дз и финального проекта и получить более широкое представление о сфере деятельности.

Что получилось хорошо:
- отличные преподаватели
- полезные интересные лекции

Что можно улучшить:
- лекции по devops получились слишком обзорными без конкретных кейсов и практики (стоит добавить конкретные примеры и дз)
- долгий фидбек по домашкам и быстрая их приемка в конце курса (стоит ускорить проверку дз и делать, ревью более требовательным с учетом предоставление времени на исправление замечаний, конечно)
Читать целиком
Сергей
Бордя
До обучения в Otus я закончил мастерат по Data Science и год проработал как Junior Data Engineer.
Я хотел расширить свои знания в сфере Data Engineering.
Мне нравится большое количество технологий, обсуждаемых в курсе. Некоторые уроки показались сложными, в домашних заданиях выскакивали ошибки. Без определённого бэкграунда тяжело разобраться с проблемами и качественно сделать домашнее задание. Было бы хорошо иметь какой-то майндмэп, где было бы показано какую технологию стоит выбрать в зависимости от определённых задач с плюсами и минусами.
Обучение расширило мои теоретические знания в данной области и понимания, какие технологии больше подходят для решения определённых задач.
Читать целиком
Владимир
Крокодилов
Понравилось количество обозримых инструментов (может даже перебор). Сами преподаватели были прекрасны. Возможно Андрею стоит чуть больше показывать что-то руками (обычно на его лекциях были слайды с рассказами, без "тыкания" в приложения), но даже там всё, что было сказано, было по делу. Возможно стоит добавить блок по работе с докером (как делать docker-compose), т.к. это предлагается делать в проектной работе, но подразумевается, что мы умеем или научимся самостоятельно. В блоке devops тоже хотелось бы больше материала (там было больше обсуждения концепций, чем конкретных инструментов и как с ними работать).
Проверка домашек была очень долгая. Нет, я не говорю о самих ответах (почти все комментарии были по делу). Но сроки, за которые делались проверки не лезут не в какие рамки. Люди платят деньги, а ответа можно ждать неделями. По-моему, это неуважительно по отношению к заказчику. Если говорить о самих домашках, то всё было довольно интересно. Часть сам тыкаешь, пересматриваешь лекции, часть в инструкциях. Прикольно
Это не первый мой курс и я понимал, что меня ждёт качественный продукт. Ожидания оправдались. Спасибо!
Читать целиком
Дмитрий
Андреев
На курс Data Engineering пошёл уже после прохождения курса Data Science (тоже в ОТУСе) т.к. в момент прохождения DS поймал себя на мысли, что какие бы модели ты ни выбрал и как бы ни тюнил модель - очень многое зависит от правильного сбора и предобработки данных. Курс DE дал мне всю необходимую базу по современным программам и подходам, необходимым для сбора, обработки и хранения данных. В общем и целом курс оставил крайне положительные впечатления! Было интересно и слушать лекции, и выполнять ДЗ. Они были вполне по силам, но при этом не возникало частых мыслей, что всё дается слишком легко - на мой взгляд идеальный баланс. А благодаря выполненному последнему ДЗ так и вовсе получилось сменить работу на +40% к ЗП. Работа правда не связана напрямую с DE, но эта ситуация для меня в очередной раз доказала, что под лежачий камень водичка не течёт и учиться в нашей сфере необходимо всегда, хуже от этого ещё никому не становилось!

Из минусов могу отметить периодические задержки с проверкой ДЗ и ответами в слаке. Не сказать, что эти моменты сильно помешали, просто это могло бы быть чуточку лучше ;)

Коллеги писали или говорили, что по DevOps'у мало информации - не могу с эти согласиться т.к. DevOps - это отдельная песня, по ней даже курс на несколько месяцев имеется. А вот добавить в самое начало курса занятие по Docker, вокруг которого крутится половина ДЗ и примеров, было бы абсолютно не лишним.

По итогу могу с полной уверенностью сказать, что курс стоит и своих денег, и затраченного времени!
Читать целиком
Юрий
Недилько
Этот курс уже второй который я проходил в Отусе. Первым был отличный курс "Разработчик на Spring Framework" и мне есть с чем сравнивать. В целом материала много, есть ДЗ которые помогают углубится в тему. Но конечно и недостатки присутствуют. Для начинающих самая большая проблема онлайн-курсов в том что когда Вы например впервые садитесь на велосипед максимум что Вы можете спросить это в какую сторону крутить педали. Вопросы которые появляются по ходу погружения в тему уже задавать некому потому-что никто не отвечает кроме самих студентов в чате. А там гляди и курс закончился. Преподаватели которые читают лекции очень квалифицированные, жаль что не отвечают на вопросы в слаке. По материалам курса также недостаточно раскрыта тема запуска spark приложения на кластере Hadoop. В целом конечно курс был полезен, следует признать - на сегодняшний день конкурентов у Отуса нет.
Читать целиком
Мария
Морозова
До обучения в Otus на курсе дата-инженер я более 10 лет работала разработчиком различных систем, в основном специализируясь на реляционных БД, анализе данных и обеспечении качества данных.
Имея за плечами сданный экзамен по Big Data (openedu.ru), успешно законченный mlcourse, появилось осознание, что хочется расширить список инструментов для работы с данными,
а также добиться некоей "структурированности" знаний в инженерии данных, т.к. инструментов появилось довольно много, и не всегда понятно, когда и какой лучше использовать.

Посетив ознакомительный вебинар на OTUS, было принято решение поучаствовать в данном мероприятии.
На курсе есть возможность на учебных примерах запустить стримминг данных через kafka, поюзать in-memory бд, написать какой-нибудь сервис, запустить RDD на Spark, сравнить инструменты мониторинга, выбирать тип DWH, рассмотреть реальные кейсы использования инструментов, получить дельные советы от преподавателей.

В обучении на OTUS мне понравилось, что программа курса современная, преподаватели актуализируют программу, а также подстраиваются под пожелания учеников "на ходу". Например, в моем запуске было выражено пожелание, чтобы показали, как деплоить ML-модели в production "по-правильному" и это пожелание было удовлетворено.

От этого курса я получила все, что хотела: практические навыки использования современных инструментов работы с данными, понимание, когда и какие инструменты лучше применять, как деплоить, оркестрировать, мониторить, а самое главное, наверное - это как разрабатывать архитектурные решения.

Думаю, что спрос на дата-инженеров будет расти, т.к. данных становится все больше, также как и инструментов для работы с ними.
Читать целиком
Дмитрий
Габидуллин
Хороший курс, понравился.
До обучения ранее работал с экосистемой hadoop, но хотелось систематизировать знания, подходы, инструменты в области DE. Выбор пал на этот курс и не прогадал.
Что понравилось:
- состав и уровень преподавателей. Не скучные лекции, очень доходчиво доносят материал.
- общение в slack чате, обсуждение практических заданий. Можно было даже обсудить вопросы не относящиеся к материалам курса, а возникающие в ходе повседневной работы.
- уровень домашних заданий и выпускного проекта позволяет сформировать портфолио для указания в резюме.
Из доработок по курсу, было бы здорово:
- больше практической части от devOps тем на курсе
- продвинутых тем в Apache Spark
Читать целиком
Михаил
Сеткин
На момент начала курса я уже в течение примерно трех лет развивал решение Data Lake в своей компании в качестве владельца платформы. О курсе я узнал из контекстной рекламы, наверное это не случайно, т. к. в поисковых движках я часто ищу информацию, пересекающуюся с тематикой курса. Обычно я сохраняю понравившиеся аналогичные ссылки, чтобы в будущем рекомендовать их коллегам, но в этом случае тема курса настолько тесно пересекалась с тем, чем я занимаюсь, что мне захотелось, во-первых, прежде чем рекомендовать это кому-то, составить личное мнение о курсе, во-вторых, почерпнуть новые идеи для развития нашей платформы, и в третьих, расширить личный кругозор по отдельным инструментам.
По итогам курса могу сказать, что мне понравилась практическая направленность занятий, т. к. после большинства тем даются домашние задания, которые имеют множество возможных решений, и чтобы успешно их сдать, надо включать голову и вспоминать, что проходили на уроках, что способствует запоминанию материала. Сдача «домашек» также реализует канал быстрой обратной связи, благодаря которой улучшается кругозор по пройденной теме. Также хочу отметить преподавательский состав, приглашенные эксперты выложились в моем понимании на отлично.
По итогам обучения я получил подтверждение о правильности некоторых гипотез по используемому в компании стеку технологий, а также углубил знания по отдельным инструментам обработки данных. Отдельные презентации разобрал на слайды и обсуждал их с коллегами, конвертируя полученные знания в бэклог команды.
С уверенностью могу сказать, что мои ожидания относительно курса оправдались, за что хочу сказать авторам курса большое спасибо.
Читать целиком
Сергей
Грибков
Целью моего обучения на курсе было освоить технологии Big Data в целом и экосистему Hadoop в частности, и с уверенностью могу сказать что мне это удалось. Курс очень разнообразный, разбирается множество используемых в Big Data инструментов и технологий, а также вопросы архитектуры, дается комплексное представление о предметной области. Конечно, отдельные темы освещаются довольно бегло, но это мотивирует разобраться самому. Для обучения желателен определенный опыт, но понимая принципы работы БД, ООП и общие требования к обработке данных, можно в довольно сжатые сроки освоить технологии Big Data и применять их на практике.
Также хочу отметить, что занятия проводятся в "прямом эфире", что сейчас встречается все реже. Это способствует более быстрому усвоению материала и обеспечивает планомерное его изучение.
По самой структуре курса могу предложить заменить отдельные "проходные" темы, например, Jupyter Notebook на Docker.
Читать целиком
Сергей
Баранов
Курс более, чем понравился и удачно оказался "стопроцентно в руку".

- Курс значительно отодвинул наметившиеся ограничения в области архитектурных решений по работе с данными для нашей компании.
- Практически каждый (ровно каждый) вебинар курса дал мне варианты решений различных реальных проблем в реальных кейзах по работе.
- Корпус приобретённых практических навыков позволил реализовать эти решения как минимум на уровне работающих прототипов.
- Хочу отметить также серьёзный уровень владения и подачи теории, и погружённости в реальную практику преподавателей курса.

Рекомендую всем как для расширения архитектурного горизонта, так и для приобретения практических навыков работы с заявленным в программе инструментарием.
Читать целиком
Вадим
Заигрин
Очень полезный курс для инженеров данных. Широкий охват тем, глубокая проработка материала. Даже по темам, с которыми ты работаешь пару лет, узнаешь что-то новое.
Из недостатков можно отметить некоторую несогласованность между преподавателями. Например, один говорит, что системы визуального проектирования неудобны, а второй, что с их помощью можно делать то, что нужно.
Ещё хорошо бы оптимизировать последовательность тем. Теорию потоковой обработки лучше давать до практической работы со Spark Streaming.
Читать целиком
Андрей
Гореликов
1 До обучения я работал веб разработчиком джава и до поступления на курс поступил на должность разработчика хранилища, но на работе была маленькая команда и чтоб лучше освоить профессию поступил на курсы дата инженера в Отус.
2 Выбрал курс Дата инженера так как интересна эта специализация
3 В обучении понравлся актуальный материал и как преподователи вели обучение- много рабочих кейсов, быстрая проверка домашних работ и рекомендации как улучшить и тд. У меня как и многих были сложности с докером.
4 Обучение мне дало более широкие и глубокие знания по специальности с которыми я нашел новую работу, на собеседованиях уже мог обсуждать детали специальности, используемые технологии и тд. Касаемо работы я получил несколько оферов и одним из них воспользовался, можно сказать в ведущий банк и офис мечты ))
Понравился выпускной проект, было много консультаций и после во время защиты было много рекомендаций!!
Читать целиком
Юрий
Шилин
Всем привет!
Очень крутой курс,  но входной уровень знаний (linux, db, sql) нужно уже иметь.
А лучше с этим ежедневно работать, тогда данный курс будет не просто курсом, а открытие новых возможностей в профессиональной деятельности.
Читать целиком
Анатолий
Клюса
Хороший курс, несмотря на то, что молодой)
Хорошо подобран материал и домашние задания, хорошие преподаватели, нормально все организовано.
Самое главное, что, как я понял, и курс и Отус постоянно развиваются и усовершенствуются.
Мне лично было очень интересно учиться в Отусе на этом курсе, узнать много новых для меня инструментов и технологий, которые сейчас на потоке и в тренде, и попробовать их в деле.
Однозначно курс рекомендую тем, кто любит работать с данными и хочет приобщиться к современной цифровой нефти - к большим данным.
Читать целиком
Игорь
Бричко
Курс достаточно обширный по изучаемым технологиям, много практической части и реальных примеров. Хочу отметить высокую квалификацию преподавателей и уровень владения и преподавания метериалов.

Что можно улучшить.
- скорость отклика на личные сообщения и проверку ДЗ
- добавить разбор ДЗ на примере лучшей работы
- больше внимания уделить streaming процессам( этотлично мое пожелание ?)
- больше ссылок на мануалы и кейсы по технологиям

Спасибо большое за курс, продолжайте в том же направлении!
Читать целиком
Алексей
Стариков
Хороший курс.

Дает общее представление об инструментах и подходах, которые используются в работе с данными.

Курс будет очень полезен начинающим инженерам данных и тем, кто хочет начать работать по данной специальности. Те, кто уже имеет некоторый опыт, смогут сконцентрироваться на интересных для них кейсах в рамках дз и финального проекта и получить более широкое представление о сфере деятельности.

Что получилось хорошо:
- отличные преподаватели
- полезные интересные лекции

Что можно улучшить:
- лекции по devops получились слишком обзорными без конкретных кейсов и практики (стоит добавить конкретные примеры и дз)
- долгий фидбек по домашкам и быстрая их приемка в конце курса (стоит ускорить проверку дз и делать, ревью более требовательным с учетом предоставление времени на исправление замечаний, конечно)
Читать целиком
Сергей
Бордя
До обучения в Otus я закончил мастерат по Data Science и год проработал как Junior Data Engineer.
Я хотел расширить свои знания в сфере Data Engineering.
Мне нравится большое количество технологий, обсуждаемых в курсе. Некоторые уроки показались сложными, в домашних заданиях выскакивали ошибки. Без определённого бэкграунда тяжело разобраться с проблемами и качественно сделать домашнее задание. Было бы хорошо иметь какой-то майндмэп, где было бы показано какую технологию стоит выбрать в зависимости от определённых задач с плюсами и минусами.
Обучение расширило мои теоретические знания в данной области и понимания, какие технологии больше подходят для решения определённых задач.
Читать целиком
Владимир
Крокодилов
Понравилось количество обозримых инструментов (может даже перебор). Сами преподаватели были прекрасны. Возможно Андрею стоит чуть больше показывать что-то руками (обычно на его лекциях были слайды с рассказами, без "тыкания" в приложения), но даже там всё, что было сказано, было по делу. Возможно стоит добавить блок по работе с докером (как делать docker-compose), т.к. это предлагается делать в проектной работе, но подразумевается, что мы умеем или научимся самостоятельно. В блоке devops тоже хотелось бы больше материала (там было больше обсуждения концепций, чем конкретных инструментов и как с ними работать).
Проверка домашек была очень долгая. Нет, я не говорю о самих ответах (почти все комментарии были по делу). Но сроки, за которые делались проверки не лезут не в какие рамки. Люди платят деньги, а ответа можно ждать неделями. По-моему, это неуважительно по отношению к заказчику. Если говорить о самих домашках, то всё было довольно интересно. Часть сам тыкаешь, пересматриваешь лекции, часть в инструкциях. Прикольно
Это не первый мой курс и я понимал, что меня ждёт качественный продукт. Ожидания оправдались. Спасибо!
Читать целиком
Дмитрий
Андреев
На курс Data Engineering пошёл уже после прохождения курса Data Science (тоже в ОТУСе) т.к. в момент прохождения DS поймал себя на мысли, что какие бы модели ты ни выбрал и как бы ни тюнил модель - очень многое зависит от правильного сбора и предобработки данных. Курс DE дал мне всю необходимую базу по современным программам и подходам, необходимым для сбора, обработки и хранения данных. В общем и целом курс оставил крайне положительные впечатления! Было интересно и слушать лекции, и выполнять ДЗ. Они были вполне по силам, но при этом не возникало частых мыслей, что всё дается слишком легко - на мой взгляд идеальный баланс. А благодаря выполненному последнему ДЗ так и вовсе получилось сменить работу на +40% к ЗП. Работа правда не связана напрямую с DE, но эта ситуация для меня в очередной раз доказала, что под лежачий камень водичка не течёт и учиться в нашей сфере необходимо всегда, хуже от этого ещё никому не становилось!

Из минусов могу отметить периодические задержки с проверкой ДЗ и ответами в слаке. Не сказать, что эти моменты сильно помешали, просто это могло бы быть чуточку лучше ;)

Коллеги писали или говорили, что по DevOps'у мало информации - не могу с эти согласиться т.к. DevOps - это отдельная песня, по ней даже курс на несколько месяцев имеется. А вот добавить в самое начало курса занятие по Docker, вокруг которого крутится половина ДЗ и примеров, было бы абсолютно не лишним.

По итогу могу с полной уверенностью сказать, что курс стоит и своих денег, и затраченного времени!
Читать целиком
Юрий
Недилько
Этот курс уже второй который я проходил в Отусе. Первым был отличный курс "Разработчик на Spring Framework" и мне есть с чем сравнивать. В целом материала много, есть ДЗ которые помогают углубится в тему. Но конечно и недостатки присутствуют. Для начинающих самая большая проблема онлайн-курсов в том что когда Вы например впервые садитесь на велосипед максимум что Вы можете спросить это в какую сторону крутить педали. Вопросы которые появляются по ходу погружения в тему уже задавать некому потому-что никто не отвечает кроме самих студентов в чате. А там гляди и курс закончился. Преподаватели которые читают лекции очень квалифицированные, жаль что не отвечают на вопросы в слаке. По материалам курса также недостаточно раскрыта тема запуска spark приложения на кластере Hadoop. В целом конечно курс был полезен, следует признать - на сегодняшний день конкурентов у Отуса нет.
Читать целиком
Мария
Морозова
До обучения в Otus на курсе дата-инженер я более 10 лет работала разработчиком различных систем, в основном специализируясь на реляционных БД, анализе данных и обеспечении качества данных.
Имея за плечами сданный экзамен по Big Data (openedu.ru), успешно законченный mlcourse, появилось осознание, что хочется расширить список инструментов для работы с данными,
а также добиться некоей "структурированности" знаний в инженерии данных, т.к. инструментов появилось довольно много, и не всегда понятно, когда и какой лучше использовать.

Посетив ознакомительный вебинар на OTUS, было принято решение поучаствовать в данном мероприятии.
На курсе есть возможность на учебных примерах запустить стримминг данных через kafka, поюзать in-memory бд, написать какой-нибудь сервис, запустить RDD на Spark, сравнить инструменты мониторинга, выбирать тип DWH, рассмотреть реальные кейсы использования инструментов, получить дельные советы от преподавателей.

В обучении на OTUS мне понравилось, что программа курса современная, преподаватели актуализируют программу, а также подстраиваются под пожелания учеников "на ходу". Например, в моем запуске было выражено пожелание, чтобы показали, как деплоить ML-модели в production "по-правильному" и это пожелание было удовлетворено.

От этого курса я получила все, что хотела: практические навыки использования современных инструментов работы с данными, понимание, когда и какие инструменты лучше применять, как деплоить, оркестрировать, мониторить, а самое главное, наверное - это как разрабатывать архитектурные решения.

Думаю, что спрос на дата-инженеров будет расти, т.к. данных становится все больше, также как и инструментов для работы с ними.
Читать целиком
Дмитрий
Габидуллин
Хороший курс, понравился.
До обучения ранее работал с экосистемой hadoop, но хотелось систематизировать знания, подходы, инструменты в области DE. Выбор пал на этот курс и не прогадал.
Что понравилось:
- состав и уровень преподавателей. Не скучные лекции, очень доходчиво доносят материал.
- общение в slack чате, обсуждение практических заданий. Можно было даже обсудить вопросы не относящиеся к материалам курса, а возникающие в ходе повседневной работы.
- уровень домашних заданий и выпускного проекта позволяет сформировать портфолио для указания в резюме.
Из доработок по курсу, было бы здорово:
- больше практической части от devOps тем на курсе
- продвинутых тем в Apache Spark
Читать целиком
Михаил
Сеткин
На момент начала курса я уже в течение примерно трех лет развивал решение Data Lake в своей компании в качестве владельца платформы. О курсе я узнал из контекстной рекламы, наверное это не случайно, т. к. в поисковых движках я часто ищу информацию, пересекающуюся с тематикой курса. Обычно я сохраняю понравившиеся аналогичные ссылки, чтобы в будущем рекомендовать их коллегам, но в этом случае тема курса настолько тесно пересекалась с тем, чем я занимаюсь, что мне захотелось, во-первых, прежде чем рекомендовать это кому-то, составить личное мнение о курсе, во-вторых, почерпнуть новые идеи для развития нашей платформы, и в третьих, расширить личный кругозор по отдельным инструментам.
По итогам курса могу сказать, что мне понравилась практическая направленность занятий, т. к. после большинства тем даются домашние задания, которые имеют множество возможных решений, и чтобы успешно их сдать, надо включать голову и вспоминать, что проходили на уроках, что способствует запоминанию материала. Сдача «домашек» также реализует канал быстрой обратной связи, благодаря которой улучшается кругозор по пройденной теме. Также хочу отметить преподавательский состав, приглашенные эксперты выложились в моем понимании на отлично.
По итогам обучения я получил подтверждение о правильности некоторых гипотез по используемому в компании стеку технологий, а также углубил знания по отдельным инструментам обработки данных. Отдельные презентации разобрал на слайды и обсуждал их с коллегами, конвертируя полученные знания в бэклог команды.
С уверенностью могу сказать, что мои ожидания относительно курса оправдались, за что хочу сказать авторам курса большое спасибо.
Читать целиком
Сергей
Грибков
Целью моего обучения на курсе было освоить технологии Big Data в целом и экосистему Hadoop в частности, и с уверенностью могу сказать что мне это удалось. Курс очень разнообразный, разбирается множество используемых в Big Data инструментов и технологий, а также вопросы архитектуры, дается комплексное представление о предметной области. Конечно, отдельные темы освещаются довольно бегло, но это мотивирует разобраться самому. Для обучения желателен определенный опыт, но понимая принципы работы БД, ООП и общие требования к обработке данных, можно в довольно сжатые сроки освоить технологии Big Data и применять их на практике.
Также хочу отметить, что занятия проводятся в "прямом эфире", что сейчас встречается все реже. Это способствует более быстрому усвоению материала и обеспечивает планомерное его изучение.
По самой структуре курса могу предложить заменить отдельные "проходные" темы, например, Jupyter Notebook на Docker.
Читать целиком
Необходимые знания
Необходимое:

  • Опыт разработки на Java/Python
  • Основы работы с БД: SQL, индексы, агрегирующие функции
  • Базовые знания ОС: работа с командной строкой, доступ по SSH
  • Будет плюсом:

  • Навыки программирования на Scala
  • Знакомство с компонентами экосистемы Hadoop
  • Понимание основ машинного обучения с позиции Data Scienist-а или аналитика
Подготовительный курс
Курс рассчитан для программистов и администраторов, которые хотят освоить ОС Linux с нуля.

На курсе мы:

  • детально разберем основные команды в Linux и научимся работать в консоли

  • познакомимся с зомби, сиротами и демонами

  • выясним, что такое ядро операционной системы и системные вызовы

  • научимся работать со стандартными потоками ввода/вывода

  • разберем некоторые особенности файловой системы ext4

Записаться
Программа обучения
В процессе обучения вы получите комплексные знания и навыки.
Тема 1. Инженер Данных. Задачи, навыки, инструменты, потребности на рынке
Тема 2. Эволюция подходов работы с данными. Базовые принципы и понятия
Тема 3. Форматы данных и их особенности
Тема 4. Облачные платформы. Дистрибутивы Cloudera и Hortonworks
Тема 5. Введение в Scala
Тема 6. Apache Spark - 1 часть
Тема 7. Apache Spark - 2 часть
Тема 8. Очереди сообщений, Kafka, Confluent platform
Тема 9. Spark Streaming
Тема 10. Доступ к данным, ноутбуки. Explore and visualize
C 6 октября
Тема 11. Production Code на Python. Организация и Packaging кода
Тема 12. Docker и REST-архитектура
Тема 13. Деплоймент моделей в Sagemaker
C 23 октября
Тема 14. Распределенные файловые системы
Тема 15. Инструменты выгрузки данных из сторонних систем
Тема 16. DWH. Хранилища данных - 1 часть
Тема 17. DWH. Хранилища данных - 2 часть
Тема 18. Хранилища NoSQL. Назначение и особенности
Тема 19. SQL-доступ к данным. Apache Hive
Тема 20. ElasticSearch
C 17 ноября
Тема 21. Интеграция, тестирование, развертывание. CI / CD в ML
Тема 22. Оркестрация
Тема 23. Мониторинг
Тема 24. Data Quality. Контроль качества данных, мастер-данные, Troubleshooting
Тема 25. Case studies. Кейсы компаний
Тема 26. Дальнейшее развитие навыков
C 8 декабря
Тема 27. Выбор темы и организация проектной работы
Тема 28. Консультация по проектам и домашним заданиям
Тема 29. Защита проектных работ
Скачать подробную программу
Выпускной проект
Выпускной проект: реализация задачи по выбранной тематике в реальном времени с применением парадигмы Map-Reduce кластере в виде pipeline (Kafka, Spark, Hadoop экосистема) и визуализация результатов.

Список возможных тем проектов будет предложен. Также можно взять задачу "с работы" или близкого себе проекта.
Процесс обучения
Обучение проходит в формате онлайн-вебинаров на русском языке.
Регулярность занятий: 2 раза в неделю по 2 академических часа (1.5 астрономических часа).

Каждые 2 недели предполагается выполнение 1 домашнего задания (время на выполнение: 2-4 академических часа). По всем практическим заданиям команда преподавателей дает развернутый фидбек.

Для прохождения курса потребуется компьютер с доступом в интернет и аккаунт на облаке (Google Cloud) с неиспользованной Free Trial версией.
Получить консультацию
Наш специалист свяжется с вами в ближайшее время. Если у вас возникли трудности в выборе курса или проблемы технического плана, то мы с радостью поможем вам.
Спасибо!
Мы получили Вашу заявку, в ближайшее время с Вами свяжется наш менеджер.
После обучения вы
Заберете с собой:
  • основные и дополнительные материалы, и видеозаписи занятий;

  • образцы кода;

  • собственный проект, который можно будет показывать при трудоустройстве;

  • сертификат о прохождении обучения.

  • В результате обучения вы:
  • будете иметь представление об основных классах задач Инженера Данных, инструментах, предназначенных для их решения, а также их преимуществах и особенностях;

  • научитесь выстраивать пайплайны пакетной и потоковой обработки данных;

  • сможете проектировать хранилища данных и организовывать оптимальный доступ для потребителей;

  • получите ряд полезных навыков: умение грамотно составлять CV, проходить интервью, выстраивать совместную работу с коллегами
Дата выдачи сертификата: 13 апреля 2021 года
Ваш сертификат

онлайн-образование

Сертификат №0001

Константин Константинопольский

Успешно закончил курс «Data Engineer»
Выполнено практических заданий: 16 из 16

Общество с ограниченной ответственностью “Отус Онлайн-Образование”

Город:
Москва

Генеральный директор ООО “Отус Онлайн-Образование”
Виталий Чибриков

Лицензия на осуществление образовательной деятельности
№ 039825 от 28 декабря 2018 года.

онлайн-образование

Сертификат №0001

Константин Константинопольский

Успешно закончил курс «Data Engineer»
Выполнено практических заданий: 16 из 16

Общество с ограниченной ответственностью “Отус Онлайн-Образование”

Город:
Москва

Генеральный директор ООО “Отус Онлайн-Образование”
Виталий Чибриков

Лицензия на осуществление образовательной деятельности
№ 039825 от 28 декабря 2018 года.
Прошедшие открытые вебинары по курсу
Открытый вебинар — это настоящее занятие в режиме он-лайн с преподавателем курса, которое позволяет посмотреть, как проходит процесс обучения. В ходе занятия слушатели имеют возможность задать вопросы и получить знания по реальным практическим кейсам.
Качество данных в DWH - консистентность хранилища данных
Артемий Козырь
Знакомство с Greenplum
Егор Матешук