Курс по Data Engineering. Запишитесь на курс по организации и предобработке данных
При поддержке
логотип партнера
При поддержке
логотип партнера

Data Engineer

Освойте работу с Architecture, Data Lake, DWH, MLOps с практикой в Yandex Cloud!

Длительность обучения:

4 месяца

4 ак. часа в нед.

Формат:

Online

Начало занятий:

28 ноября

Дни занятий:

Пн 20:00, Чт 20:00

Что даст вам этот курс
  • Понимание ключевых способов интеграции, обработки, хранения больших данных
  • Умение работать с компонентами экосистемы Hadoop, распределенными хранилищами и облачными решениями
  • Практические навыки разработки дата-сервисов, витрин и приложений
  • Знание принципов организации мониторинга, оркестрации, тестирования


Курс адресован разработчикам, администраторам СУБД и всем, кто стремится повысить профессиональный уровень, освоить новые инструменты и заниматься интересными задачами в сфере работы с данными.


После обучения Data Engineering вы станете востребованным специалистом, который:

  • разворачивает, налаживает и оптимизирует инструменты обработки данных
  • адаптирует датасеты для дальнейшей работы и аналитики
  • создает сервисы, которые используют результаты обработки больших объемов данных
  • отвечает за архитектуру данных в компании

Real Case Studies: примеры внедрений, использования инструментов, оптимизации производительности, проблемы, ошибки и прикладные результаты

Высокая практическая направленность:

 

В течение курса будем инкрементально создавать работающий продукт, решая прикладные задачи

Целостная картина вызовов и задач современного бизнеса, и роли Инженера Данных в их решении

Практика в Yandex Cloud

 

Вы отработаете практические навыки на виртуальных стендах и освоите работу с одной из популярных российских облачных платформ



Востребованность у работодателей

 

34 работодателя уже готовы позвать на собеседование выпускников курса

 

Инженер данных - почему это актуально и интересно:

  • Прежде чем попасть на стол CEO в виде квартального отчета или индивидуальной подборкой книг в email-рассылке, данные проделывают длительный и сложный, полный преобразований и трансформаций, путь, требующий непрерывного мониторинга и оркестрации.
  • В этом ключе команда инженеров, которая готова обеспечить непрерывную поставку достоверной информации для всех бизнес-потребителей и функций играет важнейшую роль в принятии тактических и стратегических решений всей компании.
  • Работа инженеров данных, внешне незаметная, удивительно сложна и интересна по своей специфике. Невероятное количество закономерностей и связей, инструментов и подходов, параметров и настроек не оставят равнодушным ни один пытливый ум в поисках оптимальных и элегантных решений.

 

Карта курсов направления Data Science в OTUS

Преподаватели

Вадим Заигрин
Ведущий эксперт по технологиям, Сбербанк
Александра Чащина
Алексей Железной
Data Engineer, Wildberries
Максим Пантелеев
Василий Сушко
ПАО Сбербанк
Владимир Дроздецкий
Разработчик инфраструктуры exposcan.ru, crispmessenger.com
Андрей Поляков
Старший разработчик в Unlimint
Роман Богатов
Руководитель аналитической разработки, Emerging Travel Group
Последние несколько лет работаю с большими данными как разработчик, Data Engineer и Data Scientist. Проекты в банках, телеком и розничных компаниях. Опыт работы с Hadoop (Cloudera, Hortonworks), MPP-системами (Teradata, Vertica), фреймворком Spark и Google Cloud Platform. Большой опыт в IT-инфраструктуре. Поработав и как Data Scientist, и как Data Engineer, понимаю, что без Data Engineer'а Data Scientist'у делать нечего.

Место работы: Сбербанк. Управление развития Корпоративной аналитической платформы. Ведущий эксперт по технологиям.

Образование: МИЭМ, специальность: прикладная математика.

Otus Certified Educator

Руководитель программы
Выпускница магистерской программы “Informatique pour la Science de Données (Big Data)” университета Париж-Сакле.

С 2018 года специализируется на больших данных. Участвует в проектах разработки аналитических платформ данных, а также платформ обработки данных в режиме реального времени на 10000+ пользователей. Имеет сертификаты Databricks Spark&Scala и RedHat DevOps. В настоящее время работает со стриминговой обработкой (Kafka), а также внедряет практики DataOps (Gitlab CI/CD, Kubernetes, Liquibase, Airflow).

Преподаватель
Более 3 лет коммерческого опыта в качестве Data Engineer, Data Analyst в банковской и sales&marketing сферах, более 7 лет вовлечен в IT-сферу. Работаю с задачами в области Data Ingestion, ELT/ETL pipelines, анализа и визуализации данных, а также написания различных сервисов и скриптов на ЯП Python.

На данный момент - Middle+ Data Engineer в компании Wildberries, преподаватель в ОТУС на курсах DWH Analyst и Data Engineer.

Образование: магистратура - ВШЭ направления "Системная и программная инженерия" факультета Компьютерных Наук; бакалавриат - ВГУ, кафедра обработки информации и машинного обучения факультета Компьютерных Наук

Преподаватель
Специалист по машинному обучению и разработке (BigData). Работал в таких компаниях как Mail.Ru Group, Wamba, NVidia, Sber, Megafon, Техносерв Консалтинг, где реализовывал практические кейсы применения машинного обучения полного цикла - прогнозирование временных рядов, детектирование аномалий, системы анализа соц. медиа поля (NLP), рекомендательные системы в ритейле и тд, так и HighLoad практическая реализация этих кейсов в продуктивном окружении - Hadoop, Spark, Flink, Kafka и тд

Долгое время занимался преподаванием курсов по машинному обучению и технологиям BigData в таких организациях как тренинговый Центр Люксофт, ВШЭ

Преподаватель
Руководитель направления, Сбербанк

8 лет опыта промышленной разработки, в том числе создания и поддержания веб-приложений как в крупных компаниях так и в стартапах. 3 года разработки распределенных систем для крупных государственных заказчиков. Реализовал три проекта с “чистого листа”, от прототипа до готового к промышленной эксплуатации.

В данное время занимается full-stack разработкой для внутренних заказчиков в банке, решает задачи связанные с анализом и инженерией данных.

Опыт программирования на Java, Scala, Python, Javascript.

Широкий круг профессиональных интересов, начиная от построения распределенных систем, заканчивая предиктивной аналитикой и анализом намерений.

Образование: бакалавриат УрФУ им. Б.Н. Ельцина “Информационные технологии”.

Преподаватель
Занимается поддержкой и траблшутингом серверов MySQL, приложений, написанных на PHP, etc. Активно внедряет и использует докер со всей его инфраструктурой. Придерживается мнения, что всё должно быть декларативно описано, поэтому использует Ansible.

Разрабатывает и настраивает инфраструктуру для таких стартапов, как exposcan.ru, crispmessenger.com. Занимается мониторингом при помощи Zabbix и Prometheus, создаёт графики в Grafana.

Чтобы легко подстраиваться под требования бизнеса, деплоит и описывает процессы в Gitlab, собирает и обрабатывает логи в ELK и Graylog2. Любит и умеет пользоваться активным сетевым оборудованием вендора MikroTik.

Преподаватель
В отрасли бэкенд-разработки на Java более 6 лет. Занимался fullstack-разработкой приложений, разработкой высоконагруженных compute-grid систем, а также микросервисов и etl-пайплайнов. Сейчас в роли старшего разработчика работаю над сервисами платежных систем в Unlimint.

Есть опыт работы с сервисами Hadoop (HDFS, HBase), оркестраторами (Airflow, Spring Cloud Data Flow), MPP-базами (Cassandra, Greenplum, Clickhouse).

Интересы: BigData, Blockchain, NFT

Образование: Master Degree in Computer Science and IT, ЮУрГУ, факультет ВШЭКН.

Преподаватель
Более 10 лет развивает аналитику в компании. Среди достижений:
- Построение собственной системы сквозной вебаналитики;
- Построение аналитического хранилища на базе MPP Vertica;
- Организация процессинга данных на базе Spark, Kafka, HDFS;
- Выстраивание процессов работы с данными, включая data quality;
- Создание нескольких внутренних инстументов по работе и структурированию метаданных (Data Catalog);
- Построение системы корпоративной отчетности, в том числе realtime;
- Более 5 лет повышает Data Literacy внутри компании, проводя различные тренинги по работе с данными, инструментами, SQL;
Также вырастил несколько руководителей аналитики, которые теперь работают в крупных компаниях.

Основной фокус на понимании проблем бизнеса при работе с данными и их решение.

Вадим
Заигрин
Александра
Чащина
Алексей
Железной
Максим
Пантелеев
Василий
Сушко
Владимир
Дроздецкий
Андрей
Поляков
Роман
Богатов

Преподаватели

Вадим Заигрин
Ведущий эксперт по технологиям, Сбербанк
Последние несколько лет работаю с большими данными как разработчик, Data Engineer и Data Scientist. Проекты в банках, телеком и розничных компаниях. Опыт работы с Hadoop (Cloudera, Hortonworks), MPP-системами (Teradata, Vertica), фреймворком Spark и Google Cloud Platform. Большой опыт в IT-инфраструктуре. Поработав и как Data Scientist, и как Data Engineer, понимаю, что без Data Engineer'а Data Scientist'у делать нечего.

Место работы: Сбербанк. Управление развития Корпоративной аналитической платформы. Ведущий эксперт по технологиям.

Образование: МИЭМ, специальность: прикладная математика.

Otus Certified Educator

Руководитель программы
Александра Чащина
Выпускница магистерской программы “Informatique pour la Science de Données (Big Data)” университета Париж-Сакле.

С 2018 года специализируется на больших данных. Участвует в проектах разработки аналитических платформ данных, а также платформ обработки данных в режиме реального времени на 10000+ пользователей. Имеет сертификаты Databricks Spark&Scala и RedHat DevOps. В настоящее время работает со стриминговой обработкой (Kafka), а также внедряет практики DataOps (Gitlab CI/CD, Kubernetes, Liquibase, Airflow).

Преподаватель
Алексей Железной
Data Engineer, Wildberries
Более 3 лет коммерческого опыта в качестве Data Engineer, Data Analyst в банковской и sales&marketing сферах, более 7 лет вовлечен в IT-сферу. Работаю с задачами в области Data Ingestion, ELT/ETL pipelines, анализа и визуализации данных, а также написания различных сервисов и скриптов на ЯП Python.

На данный момент - Middle+ Data Engineer в компании Wildberries, преподаватель в ОТУС на курсах DWH Analyst и Data Engineer.

Образование: магистратура - ВШЭ направления "Системная и программная инженерия" факультета Компьютерных Наук; бакалавриат - ВГУ, кафедра обработки информации и машинного обучения факультета Компьютерных Наук

Преподаватель
Максим Пантелеев
Специалист по машинному обучению и разработке (BigData). Работал в таких компаниях как Mail.Ru Group, Wamba, NVidia, Sber, Megafon, Техносерв Консалтинг, где реализовывал практические кейсы применения машинного обучения полного цикла - прогнозирование временных рядов, детектирование аномалий, системы анализа соц. медиа поля (NLP), рекомендательные системы в ритейле и тд, так и HighLoad практическая реализация этих кейсов в продуктивном окружении - Hadoop, Spark, Flink, Kafka и тд

Долгое время занимался преподаванием курсов по машинному обучению и технологиям BigData в таких организациях как тренинговый Центр Люксофт, ВШЭ

Преподаватель
Василий Сушко
ПАО Сбербанк
Руководитель направления, Сбербанк

8 лет опыта промышленной разработки, в том числе создания и поддержания веб-приложений как в крупных компаниях так и в стартапах. 3 года разработки распределенных систем для крупных государственных заказчиков. Реализовал три проекта с “чистого листа”, от прототипа до готового к промышленной эксплуатации.

В данное время занимается full-stack разработкой для внутренних заказчиков в банке, решает задачи связанные с анализом и инженерией данных.

Опыт программирования на Java, Scala, Python, Javascript.

Широкий круг профессиональных интересов, начиная от построения распределенных систем, заканчивая предиктивной аналитикой и анализом намерений.

Образование: бакалавриат УрФУ им. Б.Н. Ельцина “Информационные технологии”.

Преподаватель
Владимир Дроздецкий
Разработчик инфраструктуры exposcan.ru, crispmessenger.com
Занимается поддержкой и траблшутингом серверов MySQL, приложений, написанных на PHP, etc. Активно внедряет и использует докер со всей его инфраструктурой. Придерживается мнения, что всё должно быть декларативно описано, поэтому использует Ansible.

Разрабатывает и настраивает инфраструктуру для таких стартапов, как exposcan.ru, crispmessenger.com. Занимается мониторингом при помощи Zabbix и Prometheus, создаёт графики в Grafana.

Чтобы легко подстраиваться под требования бизнеса, деплоит и описывает процессы в Gitlab, собирает и обрабатывает логи в ELK и Graylog2. Любит и умеет пользоваться активным сетевым оборудованием вендора MikroTik.

Преподаватель
Андрей Поляков
Старший разработчик в Unlimint
В отрасли бэкенд-разработки на Java более 6 лет. Занимался fullstack-разработкой приложений, разработкой высоконагруженных compute-grid систем, а также микросервисов и etl-пайплайнов. Сейчас в роли старшего разработчика работаю над сервисами платежных систем в Unlimint.

Есть опыт работы с сервисами Hadoop (HDFS, HBase), оркестраторами (Airflow, Spring Cloud Data Flow), MPP-базами (Cassandra, Greenplum, Clickhouse).

Интересы: BigData, Blockchain, NFT

Образование: Master Degree in Computer Science and IT, ЮУрГУ, факультет ВШЭКН.

Преподаватель
Роман Богатов
Руководитель аналитической разработки, Emerging Travel Group
Более 10 лет развивает аналитику в компании. Среди достижений:
- Построение собственной системы сквозной вебаналитики;
- Построение аналитического хранилища на базе MPP Vertica;
- Организация процессинга данных на базе Spark, Kafka, HDFS;
- Выстраивание процессов работы с данными, включая data quality;
- Создание нескольких внутренних инстументов по работе и структурированию метаданных (Data Catalog);
- Построение системы корпоративной отчетности, в том числе realtime;
- Более 5 лет повышает Data Literacy внутри компании, проводя различные тренинги по работе с данными, инструментами, SQL;
Также вырастил несколько руководителей аналитики, которые теперь работают в крупных компаниях.

Основной фокус на понимании проблем бизнеса при работе с данными и их решение.

Отзывы

22
Сергей
Баранов
Курс более, чем понравился и удачно оказался "стопроцентно в руку".

- Курс значительно отодвинул наметившиеся ограничения в области архитектурных решений по работе с данными для нашей компании.
- Практически каждый (ровно каждый) вебинар курса дал мне варианты решений различных реальных проблем в реальных кейзах по работе.
- Корпус приобретённых практических навыков позволил реализовать эти решения как минимум на уровне работающих прототипов.
- Хочу отметить также серьёзный уровень владения и подачи теории, и погружённости в реальную практику преподавателей курса.

Рекомендую всем как для расширения архитектурного горизонта, так и для приобретения практических навыков работы с заявленным в программе инструментарием.
Читать целиком
Андрей
Гореликов
1 До обучения я работал веб разработчиком джава и до поступления на курс поступил на должность разработчика хранилища, но на работе была маленькая команда и чтоб лучше освоить профессию поступил на курсы дата инженера в Отус.
2 Выбрал курс Дата инженера так как интересна эта специализация
3 В обучении понравлся актуальный материал и как преподователи вели обучение- много рабочих кейсов, быстрая проверка домашних работ и рекомендации как улучшить и тд. У меня как и многих были сложности с докером.
4 Обучение мне дало более широкие и глубокие знания по специальности с которыми я нашел новую работу, на собеседованиях уже мог обсуждать детали специальности, используемые технологии и тд. Касаемо работы я получил несколько оферов и одним из них воспользовался, можно сказать в ведущий банк и офис мечты ))
Понравился выпускной проект, было много консультаций и после во время защиты было много рекомендаций!!
Читать целиком
Юрий
Шилин
Всем привет!
Очень крутой курс,  но входной уровень знаний (linux, db, sql) нужно уже иметь.
А лучше с этим ежедневно работать, тогда данный курс будет не просто курсом, а открытие новых возможностей в профессиональной деятельности.
Читать целиком
Анатолий
Клюса
Хороший курс, несмотря на то, что молодой)
Хорошо подобран материал и домашние задания, хорошие преподаватели, нормально все организовано.
Самое главное, что, как я понял, и курс и Отус постоянно развиваются и усовершенствуются.
Мне лично было очень интересно учиться в Отусе на этом курсе, узнать много новых для меня инструментов и технологий, которые сейчас на потоке и в тренде, и попробовать их в деле.
Однозначно курс рекомендую тем, кто любит работать с данными и хочет приобщиться к современной цифровой нефти - к большим данным.
Читать целиком
Игорь
Бричко
Курс достаточно обширный по изучаемым технологиям, много практической части и реальных примеров. Хочу отметить высокую квалификацию преподавателей и уровень владения и преподавания метериалов.

Что можно улучшить.
- скорость отклика на личные сообщения и проверку ДЗ
- добавить разбор ДЗ на примере лучшей работы
- больше внимания уделить streaming процессам( этотлично мое пожелание ?)
- больше ссылок на мануалы и кейсы по технологиям

Спасибо большое за курс, продолжайте в том же направлении!
Читать целиком
Алексей
Стариков
Хороший курс.

Дает общее представление об инструментах и подходах, которые используются в работе с данными.

Курс будет очень полезен начинающим инженерам данных и тем, кто хочет начать работать по данной специальности. Те, кто уже имеет некоторый опыт, смогут сконцентрироваться на интересных для них кейсах в рамках дз и финального проекта и получить более широкое представление о сфере деятельности.

Что получилось хорошо:
- отличные преподаватели
- полезные интересные лекции

Что можно улучшить:
- лекции по devops получились слишком обзорными без конкретных кейсов и практики (стоит добавить конкретные примеры и дз)
- долгий фидбек по домашкам и быстрая их приемка в конце курса (стоит ускорить проверку дз и делать, ревью более требовательным с учетом предоставление времени на исправление замечаний, конечно)
Читать целиком
Сергей
Бордя
До обучения в Otus я закончил мастерат по Data Science и год проработал как Junior Data Engineer.
Я хотел расширить свои знания в сфере Data Engineering.
Мне нравится большое количество технологий, обсуждаемых в курсе. Некоторые уроки показались сложными, в домашних заданиях выскакивали ошибки. Без определённого бэкграунда тяжело разобраться с проблемами и качественно сделать домашнее задание. Было бы хорошо иметь какой-то майндмэп, где было бы показано какую технологию стоит выбрать в зависимости от определённых задач с плюсами и минусами.
Обучение расширило мои теоретические знания в данной области и понимания, какие технологии больше подходят для решения определённых задач.
Читать целиком
Владимир
Крокодилов
Понравилось количество обозримых инструментов (может даже перебор). Сами преподаватели были прекрасны. Возможно Андрею стоит чуть больше показывать что-то руками (обычно на его лекциях были слайды с рассказами, без "тыкания" в приложения), но даже там всё, что было сказано, было по делу. Возможно стоит добавить блок по работе с докером (как делать docker-compose), т.к. это предлагается делать в проектной работе, но подразумевается, что мы умеем или научимся самостоятельно. В блоке devops тоже хотелось бы больше материала (там было больше обсуждения концепций, чем конкретных инструментов и как с ними работать).
Проверка домашек была очень долгая. Нет, я не говорю о самих ответах (почти все комментарии были по делу). Но сроки, за которые делались проверки не лезут не в какие рамки. Люди платят деньги, а ответа можно ждать неделями. По-моему, это неуважительно по отношению к заказчику. Если говорить о самих домашках, то всё было довольно интересно. Часть сам тыкаешь, пересматриваешь лекции, часть в инструкциях. Прикольно
Это не первый мой курс и я понимал, что меня ждёт качественный продукт. Ожидания оправдались. Спасибо!
Читать целиком
Дмитрий
Андреев
На курс Data Engineering пошёл уже после прохождения курса Data Science (тоже в ОТУСе) т.к. в момент прохождения DS поймал себя на мысли, что какие бы модели ты ни выбрал и как бы ни тюнил модель - очень многое зависит от правильного сбора и предобработки данных. Курс DE дал мне всю необходимую базу по современным программам и подходам, необходимым для сбора, обработки и хранения данных. В общем и целом курс оставил крайне положительные впечатления! Было интересно и слушать лекции, и выполнять ДЗ. Они были вполне по силам, но при этом не возникало частых мыслей, что всё дается слишком легко - на мой взгляд идеальный баланс. А благодаря выполненному последнему ДЗ так и вовсе получилось сменить работу на +40% к ЗП. Работа правда не связана напрямую с DE, но эта ситуация для меня в очередной раз доказала, что под лежачий камень водичка не течёт и учиться в нашей сфере необходимо всегда, хуже от этого ещё никому не становилось!

Из минусов могу отметить периодические задержки с проверкой ДЗ и ответами в слаке. Не сказать, что эти моменты сильно помешали, просто это могло бы быть чуточку лучше ;)

Коллеги писали или говорили, что по DevOps'у мало информации - не могу с эти согласиться т.к. DevOps - это отдельная песня, по ней даже курс на несколько месяцев имеется. А вот добавить в самое начало курса занятие по Docker, вокруг которого крутится половина ДЗ и примеров, было бы абсолютно не лишним.

По итогу могу с полной уверенностью сказать, что курс стоит и своих денег, и затраченного времени!
Читать целиком
Юрий
Недилько
Этот курс уже второй который я проходил в Отусе. Первым был отличный курс "Разработчик на Spring Framework" и мне есть с чем сравнивать. В целом материала много, есть ДЗ которые помогают углубится в тему. Но конечно и недостатки присутствуют. Для начинающих самая большая проблема онлайн-курсов в том что когда Вы например впервые садитесь на велосипед максимум что Вы можете спросить это в какую сторону крутить педали. Вопросы которые появляются по ходу погружения в тему уже задавать некому потому-что никто не отвечает кроме самих студентов в чате. А там гляди и курс закончился. Преподаватели которые читают лекции очень квалифицированные, жаль что не отвечают на вопросы в слаке. По материалам курса также недостаточно раскрыта тема запуска spark приложения на кластере Hadoop. В целом конечно курс был полезен, следует признать - на сегодняшний день конкурентов у Отуса нет.
Читать целиком
Мария
Морозова
До обучения в Otus на курсе дата-инженер я более 10 лет работала разработчиком различных систем, в основном специализируясь на реляционных БД, анализе данных и обеспечении качества данных.
Имея за плечами сданный экзамен по Big Data (openedu.ru), успешно законченный mlcourse, появилось осознание, что хочется расширить список инструментов для работы с данными,
а также добиться некоей "структурированности" знаний в инженерии данных, т.к. инструментов появилось довольно много, и не всегда понятно, когда и какой лучше использовать.

Посетив ознакомительный вебинар на OTUS, было принято решение поучаствовать в данном мероприятии.
На курсе есть возможность на учебных примерах запустить стримминг данных через kafka, поюзать in-memory бд, написать какой-нибудь сервис, запустить RDD на Spark, сравнить инструменты мониторинга, выбирать тип DWH, рассмотреть реальные кейсы использования инструментов, получить дельные советы от преподавателей.

В обучении на OTUS мне понравилось, что программа курса современная, преподаватели актуализируют программу, а также подстраиваются под пожелания учеников "на ходу". Например, в моем запуске было выражено пожелание, чтобы показали, как деплоить ML-модели в production "по-правильному" и это пожелание было удовлетворено.

От этого курса я получила все, что хотела: практические навыки использования современных инструментов работы с данными, понимание, когда и какие инструменты лучше применять, как деплоить, оркестрировать, мониторить, а самое главное, наверное - это как разрабатывать архитектурные решения.

Думаю, что спрос на дата-инженеров будет расти, т.к. данных становится все больше, также как и инструментов для работы с ними.
Читать целиком
Дмитрий
Габидуллин
Хороший курс, понравился.
До обучения ранее работал с экосистемой hadoop, но хотелось систематизировать знания, подходы, инструменты в области DE. Выбор пал на этот курс и не прогадал.
Что понравилось:
- состав и уровень преподавателей. Не скучные лекции, очень доходчиво доносят материал.
- общение в slack чате, обсуждение практических заданий. Можно было даже обсудить вопросы не относящиеся к материалам курса, а возникающие в ходе повседневной работы.
- уровень домашних заданий и выпускного проекта позволяет сформировать портфолио для указания в резюме.
Из доработок по курсу, было бы здорово:
- больше практической части от devOps тем на курсе
- продвинутых тем в Apache Spark
Читать целиком
Михаил
Сеткин
На момент начала курса я уже в течение примерно трех лет развивал решение Data Lake в своей компании в качестве владельца платформы. О курсе я узнал из контекстной рекламы, наверное это не случайно, т. к. в поисковых движках я часто ищу информацию, пересекающуюся с тематикой курса. Обычно я сохраняю понравившиеся аналогичные ссылки, чтобы в будущем рекомендовать их коллегам, но в этом случае тема курса настолько тесно пересекалась с тем, чем я занимаюсь, что мне захотелось, во-первых, прежде чем рекомендовать это кому-то, составить личное мнение о курсе, во-вторых, почерпнуть новые идеи для развития нашей платформы, и в третьих, расширить личный кругозор по отдельным инструментам.
По итогам курса могу сказать, что мне понравилась практическая направленность занятий, т. к. после большинства тем даются домашние задания, которые имеют множество возможных решений, и чтобы успешно их сдать, надо включать голову и вспоминать, что проходили на уроках, что способствует запоминанию материала. Сдача «домашек» также реализует канал быстрой обратной связи, благодаря которой улучшается кругозор по пройденной теме. Также хочу отметить преподавательский состав, приглашенные эксперты выложились в моем понимании на отлично.
По итогам обучения я получил подтверждение о правильности некоторых гипотез по используемому в компании стеку технологий, а также углубил знания по отдельным инструментам обработки данных. Отдельные презентации разобрал на слайды и обсуждал их с коллегами, конвертируя полученные знания в бэклог команды.
С уверенностью могу сказать, что мои ожидания относительно курса оправдались, за что хочу сказать авторам курса большое спасибо.
Читать целиком
Сергей
Грибков
Целью моего обучения на курсе было освоить технологии Big Data в целом и экосистему Hadoop в частности, и с уверенностью могу сказать что мне это удалось. Курс очень разнообразный, разбирается множество используемых в Big Data инструментов и технологий, а также вопросы архитектуры, дается комплексное представление о предметной области. Конечно, отдельные темы освещаются довольно бегло, но это мотивирует разобраться самому. Для обучения желателен определенный опыт, но понимая принципы работы БД, ООП и общие требования к обработке данных, можно в довольно сжатые сроки освоить технологии Big Data и применять их на практике.
Также хочу отметить, что занятия проводятся в "прямом эфире", что сейчас встречается все реже. Это способствует более быстрому усвоению материала и обеспечивает планомерное его изучение.
По самой структуре курса могу предложить заменить отдельные "проходные" темы, например, Jupyter Notebook на Docker.
Читать целиком
Алексей
Чуб
Безусловно, полезный курс. Надо, однако, понимать, что это не курс общего назначения, как я думал до его прохождения. Это курс именно по этой специальности - инженер данных. В старой терминологии это близко к разработчикам баз данных, так называемым "ораклистам" и т.п. Для бэкенд-разработчиков (java и др.) он может быть полезен для общего развития, но это в общем-то другая специальность. Что понравилось - ширина охвата, крутые преподаватели, особенно Егор Матешук. Что не понравилось - некоторое отсутствие общей идеи, общего плана курса. Каждый преподаватель ведет свои темы как бы независимо от других. От этого общий результат, думаю, получается хуже, чем он мог бы быть, если бы изначально лекции и домашние задания как бы продолжали друг друга в разных темах. Например, все домашки были бы в однородном окружении. Полезно также было бы больше времени на лекциях уделять объяснению того, что надо сделать в д/з. Еще не особенно понравилось качество проверки домашек, сложилось впечатление, что преподаватель засчитывает их, почти не глядя.
Читать целиком
Руслан
Ксалов
Курс полностью оправдал возложенные на него надежды. Я получил достаточно знаний и практического опыта, чтобы начать самостоятельный путь в профессии Data Engineer. Большое спасибо всем преподавателям, но особенно хочу отметить Артемия Козыря, Егора Матешука и Дмитрия Музалевского.
Читать целиком
Федор
Песяк
До обучения в OTUS я занимался в основном нативной разработкой на Python. Как таковой дата инженерией я не занимался.

Курс привлек внимание тем, что он плавно вводит в тему. На презентации рассказали, что он больше подходит для новичков в Data Engineering, что мне подходило.

В целом, курс добротный. Рассказывают и про теорию, и про практику. После прохождения у меня более-менее сложилась картинка, что из себя представляет профессия дата инженера.

Понравилось, что достаточно подробно разбирали некоторые инструменты типа Spark или Airflow (лекции и презентации можно использовать в качестве базового туториала). Домашние работы были достаточно прикладными - научили, как запускать машины в облаке, как собирать докеры, как писать на Scala. Плюс проектная работа, тему к которой я выбрал самостоятельно, исходя из задач на текущей работе.

Не понравились отдельные лекторы, не очень хорошо рассказывали об отдельных темах. Некоторые инструкции к домашним заданиям можно было бы оформить и получше.

Очень хотелось бы добавить в курс обработку изображений и видео, разбор инструментов, которые позволяют быстро работать с картинками. В основном все разобранные решения касались только текстовых или бинарных данных.

По окончании обучения мне удалось реализовать проект на текущем месте работы и получить должность дата инженера. Знания, полученные на курсе, пришлись к месту.

Я доволен тем, что прошел курс до конца. Это был полезный опыт.
Читать целиком
Юлия
Шутова
Курс замечательный. Преподаватели - профессионалы своего дела. Если вы хотите заметно повысить свой уровень за несколько месяцев, то пройдя этот курс, вы достигните этой цели - все необходимые знания вам для этого дадут. Вам же останется отработать теорию на практике.
Читать целиком
Анастасия
Шемет
В конечном итоге получилось не просто разобраться в инструментах дата инженера, но и сделать в них целый проект. Считаю, что инструменты, которые отписывались в курсе очень органично собраны все вместе и понятно объяснены
Конечно, это было своего рода челленджем для меня - пройти этот курс, т к навыки в этой области у меня были практические нулевые. Но оно того стоило
Из пожеланий (уже высказывала это в ранних фидбеках (может быть устно, не помню)): делитесь материалами к лекциям заранее. Мне было бы гораздо проще понимать лекции в режиме онлайн, если бы у меня была возможность заранее к ним подготовиться: прочитать слайды, дополнительные материалы, разобраться с инструментами, которые используются в демо на уроках. Без этого я ничего не понимала и не могла задать внятные вопросы преподавателю в прямом эфире, разбиралась уже офлайн. Это тоже ок, но терялся смысл вебинаров
Но в общем впечатления положительные, курс стоил своих денег и уже принёс плоды
Спасибо!
Читать целиком
Виктор
Кузнетсов
Хороший курс по Дата инженерии естественно если с нуля нужно много постараться изучить. Но он того стоит. Всем советую.
Читать целиком
Евген
Интересный, актуальный курс, помог разобраться с актуальным стэком сервисов,
войти в отрасль и ознакомиться практически с обработкой больших данных

Из тяжёлых моментов задания с примерами машинного обучения, с нуля заходить - большой объём данных проработать пришлось, но дело очень инетерсное

Из пожеланий (не знаю реально такое или нет) вести курс от какого-то запоминающегося проекта, чтобы не приходилось каждое занятие заново вникать в структуру типов данных (если это конечно не является особенностью квалификации инженера)

Спасибо за знания!
Читать целиком
Игорь
Довольно хороший курс, чтобы понять, что, как и с использованием каких инструментов делает дата-инженер. К сожалению, данный курс не сделает из вас сразу же готового дата-инженера, но в целом становится понятно, какие технологии необходимо изучать. Если умеешь анализировать свои ошибки, начинаешь понимать свои точки роста.
Читать целиком
Сергей
Баранов
Курс более, чем понравился и удачно оказался "стопроцентно в руку".

- Курс значительно отодвинул наметившиеся ограничения в области архитектурных решений по работе с данными для нашей компании.
- Практически каждый (ровно каждый) вебинар курса дал мне варианты решений различных реальных проблем в реальных кейзах по работе.
- Корпус приобретённых практических навыков позволил реализовать эти решения как минимум на уровне работающих прототипов.
- Хочу отметить также серьёзный уровень владения и подачи теории, и погружённости в реальную практику преподавателей курса.

Рекомендую всем как для расширения архитектурного горизонта, так и для приобретения практических навыков работы с заявленным в программе инструментарием.
Читать целиком
Андрей
Гореликов
1 До обучения я работал веб разработчиком джава и до поступления на курс поступил на должность разработчика хранилища, но на работе была маленькая команда и чтоб лучше освоить профессию поступил на курсы дата инженера в Отус.
2 Выбрал курс Дата инженера так как интересна эта специализация
3 В обучении понравлся актуальный материал и как преподователи вели обучение- много рабочих кейсов, быстрая проверка домашних работ и рекомендации как улучшить и тд. У меня как и многих были сложности с докером.
4 Обучение мне дало более широкие и глубокие знания по специальности с которыми я нашел новую работу, на собеседованиях уже мог обсуждать детали специальности, используемые технологии и тд. Касаемо работы я получил несколько оферов и одним из них воспользовался, можно сказать в ведущий банк и офис мечты ))
Понравился выпускной проект, было много консультаций и после во время защиты было много рекомендаций!!
Читать целиком
Юрий
Шилин
Всем привет!
Очень крутой курс,  но входной уровень знаний (linux, db, sql) нужно уже иметь.
А лучше с этим ежедневно работать, тогда данный курс будет не просто курсом, а открытие новых возможностей в профессиональной деятельности.
Читать целиком
Анатолий
Клюса
Хороший курс, несмотря на то, что молодой)
Хорошо подобран материал и домашние задания, хорошие преподаватели, нормально все организовано.
Самое главное, что, как я понял, и курс и Отус постоянно развиваются и усовершенствуются.
Мне лично было очень интересно учиться в Отусе на этом курсе, узнать много новых для меня инструментов и технологий, которые сейчас на потоке и в тренде, и попробовать их в деле.
Однозначно курс рекомендую тем, кто любит работать с данными и хочет приобщиться к современной цифровой нефти - к большим данным.
Читать целиком
Игорь
Бричко
Курс достаточно обширный по изучаемым технологиям, много практической части и реальных примеров. Хочу отметить высокую квалификацию преподавателей и уровень владения и преподавания метериалов.

Что можно улучшить.
- скорость отклика на личные сообщения и проверку ДЗ
- добавить разбор ДЗ на примере лучшей работы
- больше внимания уделить streaming процессам( этотлично мое пожелание ?)
- больше ссылок на мануалы и кейсы по технологиям

Спасибо большое за курс, продолжайте в том же направлении!
Читать целиком
Алексей
Стариков
Хороший курс.

Дает общее представление об инструментах и подходах, которые используются в работе с данными.

Курс будет очень полезен начинающим инженерам данных и тем, кто хочет начать работать по данной специальности. Те, кто уже имеет некоторый опыт, смогут сконцентрироваться на интересных для них кейсах в рамках дз и финального проекта и получить более широкое представление о сфере деятельности.

Что получилось хорошо:
- отличные преподаватели
- полезные интересные лекции

Что можно улучшить:
- лекции по devops получились слишком обзорными без конкретных кейсов и практики (стоит добавить конкретные примеры и дз)
- долгий фидбек по домашкам и быстрая их приемка в конце курса (стоит ускорить проверку дз и делать, ревью более требовательным с учетом предоставление времени на исправление замечаний, конечно)
Читать целиком
Сергей
Бордя
До обучения в Otus я закончил мастерат по Data Science и год проработал как Junior Data Engineer.
Я хотел расширить свои знания в сфере Data Engineering.
Мне нравится большое количество технологий, обсуждаемых в курсе. Некоторые уроки показались сложными, в домашних заданиях выскакивали ошибки. Без определённого бэкграунда тяжело разобраться с проблемами и качественно сделать домашнее задание. Было бы хорошо иметь какой-то майндмэп, где было бы показано какую технологию стоит выбрать в зависимости от определённых задач с плюсами и минусами.
Обучение расширило мои теоретические знания в данной области и понимания, какие технологии больше подходят для решения определённых задач.
Читать целиком
Владимир
Крокодилов
Понравилось количество обозримых инструментов (может даже перебор). Сами преподаватели были прекрасны. Возможно Андрею стоит чуть больше показывать что-то руками (обычно на его лекциях были слайды с рассказами, без "тыкания" в приложения), но даже там всё, что было сказано, было по делу. Возможно стоит добавить блок по работе с докером (как делать docker-compose), т.к. это предлагается делать в проектной работе, но подразумевается, что мы умеем или научимся самостоятельно. В блоке devops тоже хотелось бы больше материала (там было больше обсуждения концепций, чем конкретных инструментов и как с ними работать).
Проверка домашек была очень долгая. Нет, я не говорю о самих ответах (почти все комментарии были по делу). Но сроки, за которые делались проверки не лезут не в какие рамки. Люди платят деньги, а ответа можно ждать неделями. По-моему, это неуважительно по отношению к заказчику. Если говорить о самих домашках, то всё было довольно интересно. Часть сам тыкаешь, пересматриваешь лекции, часть в инструкциях. Прикольно
Это не первый мой курс и я понимал, что меня ждёт качественный продукт. Ожидания оправдались. Спасибо!
Читать целиком
Дмитрий
Андреев
На курс Data Engineering пошёл уже после прохождения курса Data Science (тоже в ОТУСе) т.к. в момент прохождения DS поймал себя на мысли, что какие бы модели ты ни выбрал и как бы ни тюнил модель - очень многое зависит от правильного сбора и предобработки данных. Курс DE дал мне всю необходимую базу по современным программам и подходам, необходимым для сбора, обработки и хранения данных. В общем и целом курс оставил крайне положительные впечатления! Было интересно и слушать лекции, и выполнять ДЗ. Они были вполне по силам, но при этом не возникало частых мыслей, что всё дается слишком легко - на мой взгляд идеальный баланс. А благодаря выполненному последнему ДЗ так и вовсе получилось сменить работу на +40% к ЗП. Работа правда не связана напрямую с DE, но эта ситуация для меня в очередной раз доказала, что под лежачий камень водичка не течёт и учиться в нашей сфере необходимо всегда, хуже от этого ещё никому не становилось!

Из минусов могу отметить периодические задержки с проверкой ДЗ и ответами в слаке. Не сказать, что эти моменты сильно помешали, просто это могло бы быть чуточку лучше ;)

Коллеги писали или говорили, что по DevOps'у мало информации - не могу с эти согласиться т.к. DevOps - это отдельная песня, по ней даже курс на несколько месяцев имеется. А вот добавить в самое начало курса занятие по Docker, вокруг которого крутится половина ДЗ и примеров, было бы абсолютно не лишним.

По итогу могу с полной уверенностью сказать, что курс стоит и своих денег, и затраченного времени!
Читать целиком
Юрий
Недилько
Этот курс уже второй который я проходил в Отусе. Первым был отличный курс "Разработчик на Spring Framework" и мне есть с чем сравнивать. В целом материала много, есть ДЗ которые помогают углубится в тему. Но конечно и недостатки присутствуют. Для начинающих самая большая проблема онлайн-курсов в том что когда Вы например впервые садитесь на велосипед максимум что Вы можете спросить это в какую сторону крутить педали. Вопросы которые появляются по ходу погружения в тему уже задавать некому потому-что никто не отвечает кроме самих студентов в чате. А там гляди и курс закончился. Преподаватели которые читают лекции очень квалифицированные, жаль что не отвечают на вопросы в слаке. По материалам курса также недостаточно раскрыта тема запуска spark приложения на кластере Hadoop. В целом конечно курс был полезен, следует признать - на сегодняшний день конкурентов у Отуса нет.
Читать целиком
Мария
Морозова
До обучения в Otus на курсе дата-инженер я более 10 лет работала разработчиком различных систем, в основном специализируясь на реляционных БД, анализе данных и обеспечении качества данных.
Имея за плечами сданный экзамен по Big Data (openedu.ru), успешно законченный mlcourse, появилось осознание, что хочется расширить список инструментов для работы с данными,
а также добиться некоей "структурированности" знаний в инженерии данных, т.к. инструментов появилось довольно много, и не всегда понятно, когда и какой лучше использовать.

Посетив ознакомительный вебинар на OTUS, было принято решение поучаствовать в данном мероприятии.
На курсе есть возможность на учебных примерах запустить стримминг данных через kafka, поюзать in-memory бд, написать какой-нибудь сервис, запустить RDD на Spark, сравнить инструменты мониторинга, выбирать тип DWH, рассмотреть реальные кейсы использования инструментов, получить дельные советы от преподавателей.

В обучении на OTUS мне понравилось, что программа курса современная, преподаватели актуализируют программу, а также подстраиваются под пожелания учеников "на ходу". Например, в моем запуске было выражено пожелание, чтобы показали, как деплоить ML-модели в production "по-правильному" и это пожелание было удовлетворено.

От этого курса я получила все, что хотела: практические навыки использования современных инструментов работы с данными, понимание, когда и какие инструменты лучше применять, как деплоить, оркестрировать, мониторить, а самое главное, наверное - это как разрабатывать архитектурные решения.

Думаю, что спрос на дата-инженеров будет расти, т.к. данных становится все больше, также как и инструментов для работы с ними.
Читать целиком
Дмитрий
Габидуллин
Хороший курс, понравился.
До обучения ранее работал с экосистемой hadoop, но хотелось систематизировать знания, подходы, инструменты в области DE. Выбор пал на этот курс и не прогадал.
Что понравилось:
- состав и уровень преподавателей. Не скучные лекции, очень доходчиво доносят материал.
- общение в slack чате, обсуждение практических заданий. Можно было даже обсудить вопросы не относящиеся к материалам курса, а возникающие в ходе повседневной работы.
- уровень домашних заданий и выпускного проекта позволяет сформировать портфолио для указания в резюме.
Из доработок по курсу, было бы здорово:
- больше практической части от devOps тем на курсе
- продвинутых тем в Apache Spark
Читать целиком
Михаил
Сеткин
На момент начала курса я уже в течение примерно трех лет развивал решение Data Lake в своей компании в качестве владельца платформы. О курсе я узнал из контекстной рекламы, наверное это не случайно, т. к. в поисковых движках я часто ищу информацию, пересекающуюся с тематикой курса. Обычно я сохраняю понравившиеся аналогичные ссылки, чтобы в будущем рекомендовать их коллегам, но в этом случае тема курса настолько тесно пересекалась с тем, чем я занимаюсь, что мне захотелось, во-первых, прежде чем рекомендовать это кому-то, составить личное мнение о курсе, во-вторых, почерпнуть новые идеи для развития нашей платформы, и в третьих, расширить личный кругозор по отдельным инструментам.
По итогам курса могу сказать, что мне понравилась практическая направленность занятий, т. к. после большинства тем даются домашние задания, которые имеют множество возможных решений, и чтобы успешно их сдать, надо включать голову и вспоминать, что проходили на уроках, что способствует запоминанию материала. Сдача «домашек» также реализует канал быстрой обратной связи, благодаря которой улучшается кругозор по пройденной теме. Также хочу отметить преподавательский состав, приглашенные эксперты выложились в моем понимании на отлично.
По итогам обучения я получил подтверждение о правильности некоторых гипотез по используемому в компании стеку технологий, а также углубил знания по отдельным инструментам обработки данных. Отдельные презентации разобрал на слайды и обсуждал их с коллегами, конвертируя полученные знания в бэклог команды.
С уверенностью могу сказать, что мои ожидания относительно курса оправдались, за что хочу сказать авторам курса большое спасибо.
Читать целиком
Сергей
Грибков
Целью моего обучения на курсе было освоить технологии Big Data в целом и экосистему Hadoop в частности, и с уверенностью могу сказать что мне это удалось. Курс очень разнообразный, разбирается множество используемых в Big Data инструментов и технологий, а также вопросы архитектуры, дается комплексное представление о предметной области. Конечно, отдельные темы освещаются довольно бегло, но это мотивирует разобраться самому. Для обучения желателен определенный опыт, но понимая принципы работы БД, ООП и общие требования к обработке данных, можно в довольно сжатые сроки освоить технологии Big Data и применять их на практике.
Также хочу отметить, что занятия проводятся в "прямом эфире", что сейчас встречается все реже. Это способствует более быстрому усвоению материала и обеспечивает планомерное его изучение.
По самой структуре курса могу предложить заменить отдельные "проходные" темы, например, Jupyter Notebook на Docker.
Читать целиком
Алексей
Чуб
Безусловно, полезный курс. Надо, однако, понимать, что это не курс общего назначения, как я думал до его прохождения. Это курс именно по этой специальности - инженер данных. В старой терминологии это близко к разработчикам баз данных, так называемым "ораклистам" и т.п. Для бэкенд-разработчиков (java и др.) он может быть полезен для общего развития, но это в общем-то другая специальность. Что понравилось - ширина охвата, крутые преподаватели, особенно Егор Матешук. Что не понравилось - некоторое отсутствие общей идеи, общего плана курса. Каждый преподаватель ведет свои темы как бы независимо от других. От этого общий результат, думаю, получается хуже, чем он мог бы быть, если бы изначально лекции и домашние задания как бы продолжали друг друга в разных темах. Например, все домашки были бы в однородном окружении. Полезно также было бы больше времени на лекциях уделять объяснению того, что надо сделать в д/з. Еще не особенно понравилось качество проверки домашек, сложилось впечатление, что преподаватель засчитывает их, почти не глядя.
Читать целиком
Руслан
Ксалов
Курс полностью оправдал возложенные на него надежды. Я получил достаточно знаний и практического опыта, чтобы начать самостоятельный путь в профессии Data Engineer. Большое спасибо всем преподавателям, но особенно хочу отметить Артемия Козыря, Егора Матешука и Дмитрия Музалевского.
Читать целиком
Федор
Песяк
До обучения в OTUS я занимался в основном нативной разработкой на Python. Как таковой дата инженерией я не занимался.

Курс привлек внимание тем, что он плавно вводит в тему. На презентации рассказали, что он больше подходит для новичков в Data Engineering, что мне подходило.

В целом, курс добротный. Рассказывают и про теорию, и про практику. После прохождения у меня более-менее сложилась картинка, что из себя представляет профессия дата инженера.

Понравилось, что достаточно подробно разбирали некоторые инструменты типа Spark или Airflow (лекции и презентации можно использовать в качестве базового туториала). Домашние работы были достаточно прикладными - научили, как запускать машины в облаке, как собирать докеры, как писать на Scala. Плюс проектная работа, тему к которой я выбрал самостоятельно, исходя из задач на текущей работе.

Не понравились отдельные лекторы, не очень хорошо рассказывали об отдельных темах. Некоторые инструкции к домашним заданиям можно было бы оформить и получше.

Очень хотелось бы добавить в курс обработку изображений и видео, разбор инструментов, которые позволяют быстро работать с картинками. В основном все разобранные решения касались только текстовых или бинарных данных.

По окончании обучения мне удалось реализовать проект на текущем месте работы и получить должность дата инженера. Знания, полученные на курсе, пришлись к месту.

Я доволен тем, что прошел курс до конца. Это был полезный опыт.
Читать целиком
Юлия
Шутова
Курс замечательный. Преподаватели - профессионалы своего дела. Если вы хотите заметно повысить свой уровень за несколько месяцев, то пройдя этот курс, вы достигните этой цели - все необходимые знания вам для этого дадут. Вам же останется отработать теорию на практике.
Читать целиком
Анастасия
Шемет
В конечном итоге получилось не просто разобраться в инструментах дата инженера, но и сделать в них целый проект. Считаю, что инструменты, которые отписывались в курсе очень органично собраны все вместе и понятно объяснены
Конечно, это было своего рода челленджем для меня - пройти этот курс, т к навыки в этой области у меня были практические нулевые. Но оно того стоило
Из пожеланий (уже высказывала это в ранних фидбеках (может быть устно, не помню)): делитесь материалами к лекциям заранее. Мне было бы гораздо проще понимать лекции в режиме онлайн, если бы у меня была возможность заранее к ним подготовиться: прочитать слайды, дополнительные материалы, разобраться с инструментами, которые используются в демо на уроках. Без этого я ничего не понимала и не могла задать внятные вопросы преподавателю в прямом эфире, разбиралась уже офлайн. Это тоже ок, но терялся смысл вебинаров
Но в общем впечатления положительные, курс стоил своих денег и уже принёс плоды
Спасибо!
Читать целиком
Виктор
Кузнетсов
Хороший курс по Дата инженерии естественно если с нуля нужно много постараться изучить. Но он того стоит. Всем советую.
Читать целиком
Евген
Интересный, актуальный курс, помог разобраться с актуальным стэком сервисов,
войти в отрасль и ознакомиться практически с обработкой больших данных

Из тяжёлых моментов задания с примерами машинного обучения, с нуля заходить - большой объём данных проработать пришлось, но дело очень инетерсное

Из пожеланий (не знаю реально такое или нет) вести курс от какого-то запоминающегося проекта, чтобы не приходилось каждое занятие заново вникать в структуру типов данных (если это конечно не является особенностью квалификации инженера)

Спасибо за знания!
Читать целиком
Игорь
Довольно хороший курс, чтобы понять, что, как и с использованием каких инструментов делает дата-инженер. К сожалению, данный курс не сделает из вас сразу же готового дата-инженера, но в целом становится понятно, какие технологии необходимо изучать. Если умеешь анализировать свои ошибки, начинаешь понимать свои точки роста.
Читать целиком

Необходимые знания

Необходимое:
    • Опыт разработки на Java/Python
    • Основы работы с БД: SQL, индексы, агрегирующие функции
    • Базовые знания ОС: работа с командной строкой, доступ по SSH

Будет плюсом:
  • Навыки работы с Docker
  • Знакомство с компонентами экосистемы Hadoop
  • Понимание основ машинного обучения с позиции Data Scienist-а или аналитика

 

Подготовительный курс
Курс рассчитан для программистов и администраторов, которые хотят освоить ОС Linux с нуля.

На курсе мы:

  • детально разберем основные команды в Linux и научимся работать в консоли

  • познакомимся с зомби, сиротами и демонами

  • выясним, что такое ядро операционной системы и системные вызовы

  • научимся работать со стандартными потоками ввода/вывода

  • разберем некоторые особенности файловой системы ext4

Записаться
Корпоративное обучение для ваших сотрудников
>
Программа обучения
В процессе обучения вы получите комплексные знания и навыки.
Тема 1. Инженер данных. Задачи, навыки, инструменты, потребность на рынке
Тема 2. Архитектура систем обработки данных
Тема 3. On-premise и облака
Тема 4. Docker
C 19 декабря
Тема 5. Что такое Data Lake
Тема 6. Форматы данных и их особенности
Тема 7. Распределенные файловые системы.
Тема 8. SQL-доступ к Hadoop
Тема 9. Apache Spark. Архитектура приложения
Тема 10. Apache Spark. API, Оптимизация
Тема 11. Потоковая обработка данных
C 19 января
Тема 12. Что такое DWH
Тема 13. Проектирование DWH
Тема 14. Greenplum
Тема 15. ClickHouse
Тема 16. Развертывание BI-решения
Тема 17. Разбор ДЗ по 1 и 2 модулю
C 9 февраля
Тема 18. NoSQL. Key-Value
Тема 19. NoSQL. Wide-column
Тема 20. NoSQL. Document-oriented
Тема 21. ELK
Тема 22. Разбор ДЗ по 3 модулю
C 2 марта
Тема 23. Выгрузка данных из внешних систем
Тема 24. Автоматизация пайплайнов и оркестрация – 1
Тема 25. Автоматизация пайплайнов и оркестрация – 2
Тема 26. Data Quality. Управление качеством данных
Тема 27. Управление метаданными
Тема 28. DevOps практики. CI + CD
Тема 29. Мониторинг
Тема 30. Разбор ДЗ по 4 и 5 модулю
C 30 марта
Тема 31. Выбор темы и организация проектной работы
Тема 32. Консультация по проектам и домашним заданиям
Тема 33. Защита проектных работ
Скачать подробную программу
Выпускной проект
Выпускной проект: реализация задачи по интересующей теме с применением комплекса знаний, полученных в рамках курса.

В рамках подготовки проекта будут даны вводные и проведены консультации.

Несколько примеров проектных работ студентов прошлых запусков:


- Serverless решение для сбора статистики эффективности рекламных кампаний на GCP;
- Сбор и анализ скорости отдачи статики различными CDN на web страницах;
- Система хранения и автоматического тестирования CV нейросетей;
- Загрузка данных о полетах из API аэропорта Schiphol в БД Elasticsearch.

Вы можете выбрать тему проектной работы предложенную партнёром курса SberAutoTech
- Поиск слепых зон в лидарных данных
- Витрина беспилотного пробега и перехватов управления

Процесс обучения

Обучение проходит в формате онлайн-вебинаров на русском языке. Регулярность занятий: 2 раза в неделю по 2 академических часа (1.5 астрономических часа). Каждые 2 недели предполагается выполнение 1 домашнего задания (время на выполнение: 2-4 академических часа). По всем практическим заданиям команда преподавателей дает развернутый фидбек. Для прохождения курса потребуется компьютер с доступом в интернет и аккаунт на облаке (Google Cloud) с неиспользованной Free Trial версией.
Получить консультацию
Наш специалист свяжется с вами в ближайшее время. Если у вас возникли трудности в выборе курса или проблемы технического плана, то мы с радостью поможем вам.
Спасибо!
Мы получили Вашу заявку, в ближайшее время с Вами свяжется наш менеджер.

После обучения вы

Заберете с собой:
  • основные и дополнительные материалы, и видеозаписи занятий;

  • образцы кода;

  • собственный проект, который можно будет показывать при трудоустройстве;

  • сертификат о прохождении обучения.

  • В результате обучения вы:
  • будете иметь представление об основных классах задач Инженера Данных, инструментах, предназначенных для их решения, а также их преимуществах и особенностях;

  • научитесь выстраивать пайплайны пакетной и потоковой обработки данных;

  • сможете проектировать хранилища данных и организовывать оптимальный доступ для потребителей;
Дата выдачи сертификата: 25 апреля 2023 года
Ваш сертификат

онлайн-образование

Сертификат №0001

Константин Константинопольский

Успешно закончил курс «Data Engineer»
Выполнено практических заданий: 16 из 16

Общество с ограниченной ответственностью “Отус Онлайн-Образование”

Город:
Москва

Директор департамента образования
ООО “Отус Онлайн-Образование”
Анна Фирсова

Лицензия на осуществление образовательной деятельности
№ 039825 от 28 декабря 2018 года.

онлайн-образование

Сертификат №0001

Константин Константинопольский

Успешно закончил курс «Data Engineer»
Выполнено практических заданий: 16 из 16

Общество с ограниченной ответственностью “Отус Онлайн-Образование”

Город:
Москва

Директор департамента образования
ООО “Отус Онлайн-Образование”
Анна Фирсова

Лицензия на осуществление образовательной деятельности
№ 039825 от 28 декабря 2018 года.
Прошедшие открытые вебинары
Открытый вебинар — это настоящее занятие в режиме он-лайн с преподавателем курса, которое позволяет посмотреть, как проходит процесс обучения. В ходе занятия слушатели имеют возможность задать вопросы и получить знания по реальным практическим кейсам.
Выгрузка данных из внешних систем
Алексей Железной
День открытых дверей
3 ноября 2021 года в 20:00
Для доступа к прошедшим мероприятиям необходимо пройти входное тестирование
Возможность пройти вступительное тестирование повторно появится только через 2 недели
Результаты тестирования будут отправлены вам на e-mail, указанный при регистрации.
Тест рассчитан на 30 минут, после начала тестирования отложить тестирование не получится!
Стоимость обучения
Cтоимость указана для оплаты физическими лицами
69 500 ₽
Продолжительность
4 месяца
Начало занятий
28 ноября