👋 Канал OTUS в Telegram!
Посты от приглашенных гостей из IT-тусовки, полезные статьи, подборки вакансий от партнеров ➞
Подробнее

Курсы

Программирование
Архитектор программного обеспечения Архитектура и шаблоны проектирования Архитектор высоких нагрузок Backend-разработчик на PHP
-30%
Scala-разработчик
-30%
Алгоритмы и структуры данных
-30%
Разработчик на Spring Framework
-20%
Разработчик Golang
-25%
C# ASP.NET Core разработчик
-25%
iOS-разработчик. Базовый курс
-25%
Android-разработчик. Базовый курс PostgreSQL Framework Laravel Разработчик Java Fullstack разработчик JavaScript Android-разработчик. Продвинутый курс Разработчик программных роботов (RPA) на базе UiPath и PIX Разработчик игр на Unity Vue.js разработчик Agile Project Manager в IT Интенсив «Оптимизация в Java» Супер - практикум по использованию и настройке GIT
Специализации Курсы в разработке Подготовительные курсы
+7 499 938-92-02
Специальная цена

Data Engineer

Длительность обучения:

Формат:

Начало занятий:

Дни занятий:

4 месяца

4 ак. часа в нед.

Online

28 августа

Пт 20:00, Вт 20:00

Что даст вам этот курс

  • понимание ключевых способов интеграции, обработки, хранения больших данных

  • умение работать с компонентами экосистемы Hadoop, распределенными хранилищами и платформами

  • практические навыки разработки дата-сервисов, витрин и приложений

  • знание принципов организации мониторинга, оркестрации, тестирования


  • Курс адресован разработчикам, администраторам СУБД и всем, кто стремится повысить профессиональный уровень, освоить новые инструменты и заниматься интересными задачами в сфере работы с данными.


    После обучения Data Engineering вы станете востребованным специалистом, который:

    • разворачивает, налаживает и оптимизирует инструменты обработки данных

    • адаптирует датасеты для дальнейшей работы и аналитики

    • создает сервисы, которые используют результаты обработки больших объемов данных

    • отвечает за архитектуру данных в компании



    • Real Case Studies: примеры внедрений, использования инструментов, оптимизации производительности, проблемы, ошибки и прикладные результаты

      Высокая практическая направленность:


      В течение курса будем инкрементально создавать работающий продукт, решая прикладные задачи

      Целостная картина вызовов и задач современного бизнеса, и роли Инженера


      Данных в их решении

      Востребованность у работодателей


      36 работодателей уже готовы позвать на собеседование выпускников курса






        Инженер данных - почему это актуально и интересно:



      • Прежде чем попасть на стол CEO в виде квартального отчета или индивидуальной подборкой книг в email-рассылке, данные проделывают длительный и сложный, полный преобразований и трансформаций, путь, требующий непрерывного мониторинга и оркестрации.

      • В этом ключе команда инженеров, которая готова обеспечить непрерывную поставку достоверной информации для всех бизнес-потребителей и функций играет важнейшую роль в принятии тактических и стратегических решений всей компании.

      • Работа инженеров данных, внешне незаметная, удивительно сложна и интересна по своей специфике. Невероятное количество закономерностей и связей, инструментов и подходов, параметров и настроек не оставят равнодушным ни один пытливый ум в поисках оптимальных и элегантных решений.

Преподаватели

Егор Матешук
Senior Data Engineer, MaximaTelecom
Василий Сушко
ПАО Сбербанк
Артемий Козырь
Senior Data Engineer, Wheely
Владимир Дроздецкий
Разработчик инфраструктуры exposcan.ru, crispmessenger.com
Дмитрий Музалевский
Lead Data Scientist в Koerber Digital
Последние 6 лет работает с большими данными: строит системы для обработки данных, консультирует по вопросам построения аналитических решений.

До 2018 года руководил отделом инфраструктуры данных в Ostrovok.ru. Затем занимал аналогичную позицию в MaximaTelecom (один из проектов компании - публичная сеть Wi-Fi в метро Москвы). На данный момент является CDO AdTech-компании Квант.
Большой опыт работы с сервисами Hadoop (HDFS, Hive, Impala), оркестраторами (Airflow, Oozie), MPP-базами (Vertica, Kudu, Greenplum) и различными фреймворками для обработки данных (Spark, Flink).

Образование: МФТИ, факультет инноваций и высоких технологий по специальности прикладная математика и физика.

Преподаватель
Главный инженер, Сбербанк

7 лет опыта промышленной разработки, в том числе создания и поддержания веб-приложений как в крупных компаниях так и в стартапах. 3 года разработки распределенных систем для крупных государственных заказчиков. Реализовал три проекта с “чистого листа”, от прототипа до готового к промышленной эксплуатации.

В данное время занимается full-stack разработкой для внутренних заказчиков в банке, решает задачи связанные с анализом и инженерией данных.

Опыт программирования на Java, Scala, Python, Javascript.

Широкий круг профессиональных интересов, начиная от построения распределенных систем, заканчивая предиктивной аналитикой и анализом намерений.

Образование: бакалавриат УрФУ им. Б.Н. Ельцина “Информационные технологии”.

Преподаватель
Более 5-ти лет опыта работы с Хранилищами Данных, построении ETL/ELT, Аналитике данных и Визуализации.
Опыт работы над продуктами в компаниях PwC, Московская Биржа, Сбербанк, СИБУР, Wheely.
Сферы интересов: KPIs and Scorecards / Budgeting and Planning / Retail Scoring / Next Best Offer / Reporting.

Верю в то, что данные – это ключевой элемент в принятии обоснованных и разумных бизнес-решений. Люблю находить простые решения для сложных задач. Не люблю повторять одни и те же ошибки, но с удовольствием приветствую новый опыт.

Образование: НИУ ВШЭ, факультет бизнес-информатики.

Преподаватель
Занимается поддержкой и траблшутингом серверов MySQL, приложений, написанных на PHP, etc. Активно внедряет и использует докер со всей его инфраструктурой. Придерживается мнения, что всё должно быть декларативно описано, поэтому использует Ansible.

Разрабатывает и настраивает инфраструктуру для таких стартапов, как exposcan.ru, crispmessenger.com. Занимается мониторингом при помощи Zabbix и Prometheus, создаёт графики в Grafana.

Чтобы легко подстраиваться под требования бизнеса, деплоит и описывает процессы в Gitlab, собирает и обрабатывает логи в ELK и Graylog2. Любит и умеет пользоваться активным сетевым оборудованием вендора MikroTik.

Более 7 лет опыта в области анализа данных и машинного обучения. Опыт работы и проектов в различных индустриях: телеком, онлайн-ритейл, банковская сфера, финтех и медтех.

В настоящий момент работает в компании Koerber Digital GmbH, Берлин. Занимает позицию Lead Data Scientist и ведет работу команды, занимающейся аналитикой больших объемов данных и машинным обучением для производственных предприятий и B2B-компаний.

Образование: бакалавриат МГТУ им.Баумана "Компьютерный анализ и интерпретация данных"; магистратура НИУ МАИ "Математические методы в экономике и маркетинге".

Преподаватель
Егор
Матешук
Василий
Сушко
Артемий
Козырь
Владимир
Дроздецкий
Дмитрий
Музалевский

Преподаватели

Егор Матешук
Senior Data Engineer, MaximaTelecom
Последние 6 лет работает с большими данными: строит системы для обработки данных, консультирует по вопросам построения аналитических решений.

До 2018 года руководил отделом инфраструктуры данных в Ostrovok.ru. Затем занимал аналогичную позицию в MaximaTelecom (один из проектов компании - публичная сеть Wi-Fi в метро Москвы). На данный момент является CDO AdTech-компании Квант.
Большой опыт работы с сервисами Hadoop (HDFS, Hive, Impala), оркестраторами (Airflow, Oozie), MPP-базами (Vertica, Kudu, Greenplum) и различными фреймворками для обработки данных (Spark, Flink).

Образование: МФТИ, факультет инноваций и высоких технологий по специальности прикладная математика и физика.

Преподаватель
Василий Сушко
ПАО Сбербанк
Главный инженер, Сбербанк

7 лет опыта промышленной разработки, в том числе создания и поддержания веб-приложений как в крупных компаниях так и в стартапах. 3 года разработки распределенных систем для крупных государственных заказчиков. Реализовал три проекта с “чистого листа”, от прототипа до готового к промышленной эксплуатации.

В данное время занимается full-stack разработкой для внутренних заказчиков в банке, решает задачи связанные с анализом и инженерией данных.

Опыт программирования на Java, Scala, Python, Javascript.

Широкий круг профессиональных интересов, начиная от построения распределенных систем, заканчивая предиктивной аналитикой и анализом намерений.

Образование: бакалавриат УрФУ им. Б.Н. Ельцина “Информационные технологии”.

Преподаватель
Артемий Козырь
Senior Data Engineer, Wheely
Более 5-ти лет опыта работы с Хранилищами Данных, построении ETL/ELT, Аналитике данных и Визуализации.
Опыт работы над продуктами в компаниях PwC, Московская Биржа, Сбербанк, СИБУР, Wheely.
Сферы интересов: KPIs and Scorecards / Budgeting and Planning / Retail Scoring / Next Best Offer / Reporting.

Верю в то, что данные – это ключевой элемент в принятии обоснованных и разумных бизнес-решений. Люблю находить простые решения для сложных задач. Не люблю повторять одни и те же ошибки, но с удовольствием приветствую новый опыт.

Образование: НИУ ВШЭ, факультет бизнес-информатики.

Преподаватель
Владимир Дроздецкий
Разработчик инфраструктуры exposcan.ru, crispmessenger.com
Занимается поддержкой и траблшутингом серверов MySQL, приложений, написанных на PHP, etc. Активно внедряет и использует докер со всей его инфраструктурой. Придерживается мнения, что всё должно быть декларативно описано, поэтому использует Ansible.

Разрабатывает и настраивает инфраструктуру для таких стартапов, как exposcan.ru, crispmessenger.com. Занимается мониторингом при помощи Zabbix и Prometheus, создаёт графики в Grafana.

Чтобы легко подстраиваться под требования бизнеса, деплоит и описывает процессы в Gitlab, собирает и обрабатывает логи в ELK и Graylog2. Любит и умеет пользоваться активным сетевым оборудованием вендора MikroTik.

Дмитрий Музалевский
Lead Data Scientist в Koerber Digital
Более 7 лет опыта в области анализа данных и машинного обучения. Опыт работы и проектов в различных индустриях: телеком, онлайн-ритейл, банковская сфера, финтех и медтех.

В настоящий момент работает в компании Koerber Digital GmbH, Берлин. Занимает позицию Lead Data Scientist и ведет работу команды, занимающейся аналитикой больших объемов данных и машинным обучением для производственных предприятий и B2B-компаний.

Образование: бакалавриат МГТУ им.Баумана "Компьютерный анализ и интерпретация данных"; магистратура НИУ МАИ "Математические методы в экономике и маркетинге".

Преподаватель
Отзывы
11
Сергей
Баранов
Курс более, чем понравился и удачно оказался "стопроцентно в руку".

- Курс значительно отодвинул наметившиеся ограничения в области архитектурных решений по работе с данными для нашей компании.
- Практически каждый (ровно каждый) вебинар курса дал мне варианты решений различных реальных проблем в реальных кейзах по работе.
- Корпус приобретённых практических навыков позволил реализовать эти решения как минимум на уровне работающих прототипов.
- Хочу отметить также серьёзный уровень владения и подачи теории, и погружённости в реальную практику преподавателей курса.

Рекомендую всем как для расширения архитектурного горизонта, так и для приобретения практических навыков работы с заявленным в программе инструментарием.
Читать целиком
Вадим
Заигрин
Очень полезный курс для инженеров данных. Широкий охват тем, глубокая проработка материала. Даже по темам, с которыми ты работаешь пару лет, узнаешь что-то новое.
Из недостатков можно отметить некоторую несогласованность между преподавателями. Например, один говорит, что системы визуального проектирования неудобны, а второй, что с их помощью можно делать то, что нужно.
Ещё хорошо бы оптимизировать последовательность тем. Теорию потоковой обработки лучше давать до практической работы со Spark Streaming.
Читать целиком
Андрей
Гореликов
1 До обучения я работал веб разработчиком джава и до поступления на курс поступил на должность разработчика хранилища, но на работе была маленькая команда и чтоб лучше освоить профессию поступил на курсы дата инженера в Отус.
2 Выбрал курс Дата инженера так как интересна эта специализация
3 В обучении понравлся актуальный материал и как преподователи вели обучение- много рабочих кейсов, быстрая проверка домашних работ и рекомендации как улучшить и тд. У меня как и многих были сложности с докером.
4 Обучение мне дало более широкие и глубокие знания по специальности с которыми я нашел новую работу, на собеседованиях уже мог обсуждать детали специальности, используемые технологии и тд. Касаемо работы я получил несколько оферов и одним из них воспользовался, можно сказать в ведущий банк и офис мечты ))
Понравился выпускной проект, было много консультаций и после во время защиты было много рекомендаций!!
Читать целиком
Юрий
Шилин
Всем привет!
Очень крутой курс,  но входной уровень знаний (linux, db, sql) нужно уже иметь.
А лучше с этим ежедневно работать, тогда данный курс будет не просто курсом, а открытие новых возможностей в профессиональной деятельности.
Читать целиком
Анатолий
Клюса
Хороший курс, несмотря на то, что молодой)
Хорошо подобран материал и домашние задания, хорошие преподаватели, нормально все организовано.
Самое главное, что, как я понял, и курс и Отус постоянно развиваются и усовершенствуются.
Мне лично было очень интересно учиться в Отусе на этом курсе, узнать много новых для меня инструментов и технологий, которые сейчас на потоке и в тренде, и попробовать их в деле.
Однозначно курс рекомендую тем, кто любит работать с данными и хочет приобщиться к современной цифровой нефти - к большим данным.
Читать целиком
Игорь
Бричко
Курс достаточно обширный по изучаемым технологиям, много практической части и реальных примеров. Хочу отметить высокую квалификацию преподавателей и уровень владения и преподавания метериалов.

Что можно улучшить.
- скорость отклика на личные сообщения и проверку ДЗ
- добавить разбор ДЗ на примере лучшей работы
- больше внимания уделить streaming процессам( этотлично мое пожелание ?)
- больше ссылок на мануалы и кейсы по технологиям

Спасибо большое за курс, продолжайте в том же направлении!
Читать целиком
Алексей
Стариков
Хороший курс.

Дает общее представление об инструментах и подходах, которые используются в работе с данными.

Курс будет очень полезен начинающим инженерам данных и тем, кто хочет начать работать по данной специальности. Те, кто уже имеет некоторый опыт, смогут сконцентрироваться на интересных для них кейсах в рамках дз и финального проекта и получить более широкое представление о сфере деятельности.

Что получилось хорошо:
- отличные преподаватели
- полезные интересные лекции

Что можно улучшить:
- лекции по devops получились слишком обзорными без конкретных кейсов и практики (стоит добавить конкретные примеры и дз)
- долгий фидбек по домашкам и быстрая их приемка в конце курса (стоит ускорить проверку дз и делать, ревью более требовательным с учетом предоставление времени на исправление замечаний, конечно)
Читать целиком
Сергей
Бордя
До обучения в Otus я закончил мастерат по Data Science и год проработал как Junior Data Engineer.
Я хотел расширить свои знания в сфере Data Engineering.
Мне нравится большое количество технологий, обсуждаемых в курсе. Некоторые уроки показались сложными, в домашних заданиях выскакивали ошибки. Без определённого бэкграунда тяжело разобраться с проблемами и качественно сделать домашнее задание. Было бы хорошо иметь какой-то майндмэп, где было бы показано какую технологию стоит выбрать в зависимости от определённых задач с плюсами и минусами.
Обучение расширило мои теоретические знания в данной области и понимания, какие технологии больше подходят для решения определённых задач.
Читать целиком
Владимир
Крокодилов
Понравилось количество обозримых инструментов (может даже перебор). Сами преподаватели были прекрасны. Возможно Андрею стоит чуть больше показывать что-то руками (обычно на его лекциях были слайды с рассказами, без "тыкания" в приложения), но даже там всё, что было сказано, было по делу. Возможно стоит добавить блок по работе с докером (как делать docker-compose), т.к. это предлагается делать в проектной работе, но подразумевается, что мы умеем или научимся самостоятельно. В блоке devops тоже хотелось бы больше материала (там было больше обсуждения концепций, чем конкретных инструментов и как с ними работать).
Проверка домашек была очень долгая. Нет, я не говорю о самих ответах (почти все комментарии были по делу). Но сроки, за которые делались проверки не лезут не в какие рамки. Люди платят деньги, а ответа можно ждать неделями. По-моему, это неуважительно по отношению к заказчику. Если говорить о самих домашках, то всё было довольно интересно. Часть сам тыкаешь, пересматриваешь лекции, часть в инструкциях. Прикольно
Это не первый мой курс и я понимал, что меня ждёт качественный продукт. Ожидания оправдались. Спасибо!
Читать целиком
Дмитрий
Андреев
На курс Data Engineering пошёл уже после прохождения курса Data Science (тоже в ОТУСе) т.к. в момент прохождения DS поймал себя на мысли, что какие бы модели ты ни выбрал и как бы ни тюнил модель - очень многое зависит от правильного сбора и предобработки данных. Курс DE дал мне всю необходимую базу по современным программам и подходам, необходимым для сбора, обработки и хранения данных. В общем и целом курс оставил крайне положительные впечатления! Было интересно и слушать лекции, и выполнять ДЗ. Они были вполне по силам, но при этом не возникало частых мыслей, что всё дается слишком легко - на мой взгляд идеальный баланс. А благодаря выполненному последнему ДЗ так и вовсе получилось сменить работу на +40% к ЗП. Работа правда не связана напрямую с DE, но эта ситуация для меня в очередной раз доказала, что под лежачий камень водичка не течёт и учиться в нашей сфере необходимо всегда, хуже от этого ещё никому не становилось!

Из минусов могу отметить периодические задержки с проверкой ДЗ и ответами в слаке. Не сказать, что эти моменты сильно помешали, просто это могло бы быть чуточку лучше ;)

Коллеги писали или говорили, что по DevOps'у мало информации - не могу с эти согласиться т.к. DevOps - это отдельная песня, по ней даже курс на несколько месяцев имеется. А вот добавить в самое начало курса занятие по Docker, вокруг которого крутится половина ДЗ и примеров, было бы абсолютно не лишним.

По итогу могу с полной уверенностью сказать, что курс стоит и своих денег, и затраченного времени!
Читать целиком
Юрий
Недилько
Этот курс уже второй который я проходил в Отусе. Первым был отличный курс "Разработчик на Spring Framework" и мне есть с чем сравнивать. В целом материала много, есть ДЗ которые помогают углубится в тему. Но конечно и недостатки присутствуют. Для начинающих самая большая проблема онлайн-курсов в том что когда Вы например впервые садитесь на велосипед максимум что Вы можете спросить это в какую сторону крутить педали. Вопросы которые появляются по ходу погружения в тему уже задавать некому потому-что никто не отвечает кроме самих студентов в чате. А там гляди и курс закончился. Преподаватели которые читают лекции очень квалифицированные, жаль что не отвечают на вопросы в слаке. По материалам курса также недостаточно раскрыта тема запуска spark приложения на кластере Hadoop. В целом конечно курс был полезен, следует признать - на сегодняшний день конкурентов у Отуса нет.
Читать целиком
Сергей
Баранов
Курс более, чем понравился и удачно оказался "стопроцентно в руку".

- Курс значительно отодвинул наметившиеся ограничения в области архитектурных решений по работе с данными для нашей компании.
- Практически каждый (ровно каждый) вебинар курса дал мне варианты решений различных реальных проблем в реальных кейзах по работе.
- Корпус приобретённых практических навыков позволил реализовать эти решения как минимум на уровне работающих прототипов.
- Хочу отметить также серьёзный уровень владения и подачи теории, и погружённости в реальную практику преподавателей курса.

Рекомендую всем как для расширения архитектурного горизонта, так и для приобретения практических навыков работы с заявленным в программе инструментарием.
Читать целиком
Вадим
Заигрин
Очень полезный курс для инженеров данных. Широкий охват тем, глубокая проработка материала. Даже по темам, с которыми ты работаешь пару лет, узнаешь что-то новое.
Из недостатков можно отметить некоторую несогласованность между преподавателями. Например, один говорит, что системы визуального проектирования неудобны, а второй, что с их помощью можно делать то, что нужно.
Ещё хорошо бы оптимизировать последовательность тем. Теорию потоковой обработки лучше давать до практической работы со Spark Streaming.
Читать целиком
Андрей
Гореликов
1 До обучения я работал веб разработчиком джава и до поступления на курс поступил на должность разработчика хранилища, но на работе была маленькая команда и чтоб лучше освоить профессию поступил на курсы дата инженера в Отус.
2 Выбрал курс Дата инженера так как интересна эта специализация
3 В обучении понравлся актуальный материал и как преподователи вели обучение- много рабочих кейсов, быстрая проверка домашних работ и рекомендации как улучшить и тд. У меня как и многих были сложности с докером.
4 Обучение мне дало более широкие и глубокие знания по специальности с которыми я нашел новую работу, на собеседованиях уже мог обсуждать детали специальности, используемые технологии и тд. Касаемо работы я получил несколько оферов и одним из них воспользовался, можно сказать в ведущий банк и офис мечты ))
Понравился выпускной проект, было много консультаций и после во время защиты было много рекомендаций!!
Читать целиком
Юрий
Шилин
Всем привет!
Очень крутой курс,  но входной уровень знаний (linux, db, sql) нужно уже иметь.
А лучше с этим ежедневно работать, тогда данный курс будет не просто курсом, а открытие новых возможностей в профессиональной деятельности.
Читать целиком
Анатолий
Клюса
Хороший курс, несмотря на то, что молодой)
Хорошо подобран материал и домашние задания, хорошие преподаватели, нормально все организовано.
Самое главное, что, как я понял, и курс и Отус постоянно развиваются и усовершенствуются.
Мне лично было очень интересно учиться в Отусе на этом курсе, узнать много новых для меня инструментов и технологий, которые сейчас на потоке и в тренде, и попробовать их в деле.
Однозначно курс рекомендую тем, кто любит работать с данными и хочет приобщиться к современной цифровой нефти - к большим данным.
Читать целиком
Игорь
Бричко
Курс достаточно обширный по изучаемым технологиям, много практической части и реальных примеров. Хочу отметить высокую квалификацию преподавателей и уровень владения и преподавания метериалов.

Что можно улучшить.
- скорость отклика на личные сообщения и проверку ДЗ
- добавить разбор ДЗ на примере лучшей работы
- больше внимания уделить streaming процессам( этотлично мое пожелание ?)
- больше ссылок на мануалы и кейсы по технологиям

Спасибо большое за курс, продолжайте в том же направлении!
Читать целиком
Алексей
Стариков
Хороший курс.

Дает общее представление об инструментах и подходах, которые используются в работе с данными.

Курс будет очень полезен начинающим инженерам данных и тем, кто хочет начать работать по данной специальности. Те, кто уже имеет некоторый опыт, смогут сконцентрироваться на интересных для них кейсах в рамках дз и финального проекта и получить более широкое представление о сфере деятельности.

Что получилось хорошо:
- отличные преподаватели
- полезные интересные лекции

Что можно улучшить:
- лекции по devops получились слишком обзорными без конкретных кейсов и практики (стоит добавить конкретные примеры и дз)
- долгий фидбек по домашкам и быстрая их приемка в конце курса (стоит ускорить проверку дз и делать, ревью более требовательным с учетом предоставление времени на исправление замечаний, конечно)
Читать целиком
Сергей
Бордя
До обучения в Otus я закончил мастерат по Data Science и год проработал как Junior Data Engineer.
Я хотел расширить свои знания в сфере Data Engineering.
Мне нравится большое количество технологий, обсуждаемых в курсе. Некоторые уроки показались сложными, в домашних заданиях выскакивали ошибки. Без определённого бэкграунда тяжело разобраться с проблемами и качественно сделать домашнее задание. Было бы хорошо иметь какой-то майндмэп, где было бы показано какую технологию стоит выбрать в зависимости от определённых задач с плюсами и минусами.
Обучение расширило мои теоретические знания в данной области и понимания, какие технологии больше подходят для решения определённых задач.
Читать целиком
Владимир
Крокодилов
Понравилось количество обозримых инструментов (может даже перебор). Сами преподаватели были прекрасны. Возможно Андрею стоит чуть больше показывать что-то руками (обычно на его лекциях были слайды с рассказами, без "тыкания" в приложения), но даже там всё, что было сказано, было по делу. Возможно стоит добавить блок по работе с докером (как делать docker-compose), т.к. это предлагается делать в проектной работе, но подразумевается, что мы умеем или научимся самостоятельно. В блоке devops тоже хотелось бы больше материала (там было больше обсуждения концепций, чем конкретных инструментов и как с ними работать).
Проверка домашек была очень долгая. Нет, я не говорю о самих ответах (почти все комментарии были по делу). Но сроки, за которые делались проверки не лезут не в какие рамки. Люди платят деньги, а ответа можно ждать неделями. По-моему, это неуважительно по отношению к заказчику. Если говорить о самих домашках, то всё было довольно интересно. Часть сам тыкаешь, пересматриваешь лекции, часть в инструкциях. Прикольно
Это не первый мой курс и я понимал, что меня ждёт качественный продукт. Ожидания оправдались. Спасибо!
Читать целиком
Дмитрий
Андреев
На курс Data Engineering пошёл уже после прохождения курса Data Science (тоже в ОТУСе) т.к. в момент прохождения DS поймал себя на мысли, что какие бы модели ты ни выбрал и как бы ни тюнил модель - очень многое зависит от правильного сбора и предобработки данных. Курс DE дал мне всю необходимую базу по современным программам и подходам, необходимым для сбора, обработки и хранения данных. В общем и целом курс оставил крайне положительные впечатления! Было интересно и слушать лекции, и выполнять ДЗ. Они были вполне по силам, но при этом не возникало частых мыслей, что всё дается слишком легко - на мой взгляд идеальный баланс. А благодаря выполненному последнему ДЗ так и вовсе получилось сменить работу на +40% к ЗП. Работа правда не связана напрямую с DE, но эта ситуация для меня в очередной раз доказала, что под лежачий камень водичка не течёт и учиться в нашей сфере необходимо всегда, хуже от этого ещё никому не становилось!

Из минусов могу отметить периодические задержки с проверкой ДЗ и ответами в слаке. Не сказать, что эти моменты сильно помешали, просто это могло бы быть чуточку лучше ;)

Коллеги писали или говорили, что по DevOps'у мало информации - не могу с эти согласиться т.к. DevOps - это отдельная песня, по ней даже курс на несколько месяцев имеется. А вот добавить в самое начало курса занятие по Docker, вокруг которого крутится половина ДЗ и примеров, было бы абсолютно не лишним.

По итогу могу с полной уверенностью сказать, что курс стоит и своих денег, и затраченного времени!
Читать целиком
Юрий
Недилько
Этот курс уже второй который я проходил в Отусе. Первым был отличный курс "Разработчик на Spring Framework" и мне есть с чем сравнивать. В целом материала много, есть ДЗ которые помогают углубится в тему. Но конечно и недостатки присутствуют. Для начинающих самая большая проблема онлайн-курсов в том что когда Вы например впервые садитесь на велосипед максимум что Вы можете спросить это в какую сторону крутить педали. Вопросы которые появляются по ходу погружения в тему уже задавать некому потому-что никто не отвечает кроме самих студентов в чате. А там гляди и курс закончился. Преподаватели которые читают лекции очень квалифицированные, жаль что не отвечают на вопросы в слаке. По материалам курса также недостаточно раскрыта тема запуска spark приложения на кластере Hadoop. В целом конечно курс был полезен, следует признать - на сегодняшний день конкурентов у Отуса нет.
Читать целиком
Необходимые знания
Необходимое:

  • Опыт разработки на Java/Python
  • Основы работы с БД: SQL, индексы, агрегирующие функции
  • Базовые знания ОС: работа с командной строкой, доступ по SSH
  • Будет плюсом:

  • Навыки программирования на Scala
  • Знакомство с компонентами экосистемы Hadoop
  • Понимание основ машинного обучения с позиции Data Scienist-а или аналитика
Подготовительный курс
Курс рассчитан для программистов и администраторов, которые хотят освоить ОС Linux с нуля.

На курсе мы:

  • детально разберем основные команды в Linux и научимся работать в консоли

  • познакомимся с зомби, сиротами и демонами

  • выясним, что такое ядро операционной системы и системные вызовы

  • научимся работать со стандартными потоками ввода/вывода

  • разберем некоторые особенности файловой системы ext4

Записаться
Программа обучения
В процессе обучения вы получите комплексные знания и навыки.
C 28 августа
Тема 1. Инженер Данных. Задачи, навыки, инструменты, потребности на рынке
Тема 2. Эволюция подходов работы с данными. Базовые принципы и понятия
Тема 3. Облачные платформы. Дистрибутивы Cloudera и Hortonworks
Тема 4. Форматы данных и их особенности
C 11 сентября
Тема 5. Введение в Scala
Тема 6. Apache Spark - 1 часть
Тема 7. Apache Spark - 2 часть
Тема 8. Очереди сообщений, Kafka, Confluent platform
Тема 9. Spark Streaming
Тема 10. Доступ к данным, ноутбуки. Explore and visualize
C 2 октября
Тема 11. Production Code на Python. Организация и Packaging кода
Тема 12. Docker и REST-архитектура
Тема 13. Деплоймент моделей в Sagemaker
C 13 октября
Тема 14. Распределенные файловые системы
Тема 15. Инструменты выгрузки данных из сторонних систем
Тема 16. DWH. Хранилища данных - 1 часть
Тема 17. DWH. Хранилища данных - 2 часть
Тема 18. Хранилища NoSQL. Назначение и особенности
Тема 19. SQL-доступ к данным. Apache Hive.
Тема 20. ElasticSearch
C 6 ноября
Тема 21. Оркестрация
Тема 22. Интеграция, тестирование, развертывание. CI / CD. DevOps
Тема 23. Мониторинг
Тема 24. Data Quality. Контроль качества данных, мастер-данные, Troubleshooting
Тема 25. Case studies. Кейсы компаний.
Тема 26. Бонус. Дальнейшее развитие Hard skills + Soft skills
C 27 ноября
Тема 27. Выбор темы и организация проектной работы
Тема 28. Консультация по проектам и домашним заданиям
Тема 29. Защита проектных работ
Скачать подробную программу
Выпускной проект
Выпускной проект: реализация задачи по выбранной тематике в реальном времени с применением парадигмы Map-Reduce кластере в виде pipeline (Kafka, Spark, Hadoop экосистема) и визуализация результатов.

Список возможных тем проектов будет предложен. Также можно взять задачу "с работы" или близкого себе проекта.
Процесс обучения
Обучение проходит в формате онлайн-вебинаров на русском языке.
Регулярность занятий: 2 раза в неделю по 2 академических часа (1.5 астрономических часа).

Каждые 2 недели предполагается выполнение 1 домашнего задания (время на выполнение: 2-4 академических часа). По всем практическим заданиям команда преподавателей дает развернутый фидбек.

Для прохождения курса потребуется компьютер с доступом в интернет и аккаунт на облаке (Google Cloud) с неиспользованной Free Trial версией.
Получить консультацию
Наш специалист свяжется с вами в ближайшее время. Если у вас возникли трудности в выборе курса или проблемы технического плана, то мы с радостью поможем вам.
Спасибо!
Мы получили Вашу заявку, в ближайшее время с Вами свяжется наш менеджер.
После обучения вы
Заберете с собой:
  • основные и дополнительные материалы, и видеозаписи занятий;

  • образцы кода;

  • собственный проект, который можно будет показывать при трудоустройстве;

  • сертификат о прохождении обучения.

  • В результате обучения вы:
  • будете иметь представление об основных классах задач Инженера Данных, инструментах, предназначенных для их решения, а также их преимуществах и особенностях;

  • научитесь выстраивать пайплайны пакетной и потоковой обработки данных;

  • сможете проектировать хранилища данных и организовывать оптимальный доступ для потребителей;

  • получите ряд полезных навыков: умение грамотно составлять CV, проходить интервью, выстраивать совместную работу с коллегами
Дата выдачи сертификата: 25 января 2021 года
Ваш сертификат

онлайн-образование

Сертификат №0001

Константин Константинопольский

Успешно закончил курс «Data Engineer»
Выполнено практических заданий: 16 из 16

Общество с ограниченной ответственностью “Отус Онлайн-Образование”

Город:
Москва

Генеральный директор ООО “Отус Онлайн-Образование”
Виталий Чибриков

Лицензия на осуществление образовательной деятельности
№ 039825 от 28 декабря 2018 года.

онлайн-образование

Сертификат №0001

Константин Константинопольский

Успешно закончил курс «Data Engineer»
Выполнено практических заданий: 16 из 16

Общество с ограниченной ответственностью “Отус Онлайн-Образование”

Город:
Москва

Генеральный директор ООО “Отус Онлайн-Образование”
Виталий Чибриков

Лицензия на осуществление образовательной деятельности
№ 039825 от 28 декабря 2018 года.
Прошедшие открытые вебинары по курсу
Открытый вебинар — это настоящее занятие в режиме он-лайн с преподавателем курса, которое позволяет посмотреть, как проходит процесс обучения. В ходе занятия слушатели имеют возможность задать вопросы и получить знания по реальным практическим кейсам.
Знакомство с Greenplum
Егор Матешук
День открытых дверей
21 мая в 20:00
Для доступа к прошедшим мероприятиям необходимо пройти входное тестирование
Возможность пройти вступительное тестирование повторно появится только через 2 недели
Результаты тестирования будут отправлены вам на e-mail, указанный при регистрации.
Тест рассчитан на 30 минут, после начала тестирования отложить тестирование не получится!
Пройти вступительное тестирование
Общая стоимость
80 000 ₽ 65 000 ₽
В месяц: 22 500 ₽
Продолжительность
4 месяца
Начало занятий
28 августа