DataOps Engineer | OTUS
⚡ Подписка на курсы OTUS!
Интенсивная прокачка навыков для IT-специалистов!
Подробнее

Курсы

Программирование
PHP Developer. Professional Web-разработчик на Python PHP Developer. Basic Специализация PHP Developer
-25%
Алгоритмы и структуры данных Flutter Mobile Developer Golang Developer. Professional Разработчик на Spring Framework Специализация Python Developer
-25%
iOS Developer. Professional Scala-разработчик Highload Architect Kotlin Backend Developer Microservice Architecture Unity Game Developer. Basic JavaScript Developer. Professional Java Developer. Professional Node.js Developer Специализация Java-разработчик
-25%
NoSQL Framework Laravel Разработчик программных роботов (RPA) на базе UiPath и PIX Team Lead Специализация Java и Архитектор ПО Symfony Framework Программист С HTML/CSS C++ Developer. Basic
Специализации Курсы в разработке Подготовительные курсы Подписка
+7 499 938-92-02

DataOps Engineer

Длительность обучения:

4 месяца

4 ак. часа в нед.

Что даст вам этот курс
DataOps Engineer - это профессия будущего, на которую уже есть огромный спрос и нехватка специалистов.

Кроме стандартных тем (Hadoop, MLOps, оркестрация) мы рассмотрим полный набор инструментов и практик Data Governance (управления данными) - metadata management, data quality, data integration, data discovery, data linage, BI

Этот курс подходит вам, если вы:

- уже умеете работать с данными, но хотите развить знания в инфраструктуре, на которой они работают;

- либо умеете работать с инфраструктурой, но хотите получить специфические знания именно в области работы с данными.

Что разберем на курсе:

  • Вопросы администрирования Hadoop-кластеров (включая вопросы безопасности!;
  • Особенности деплоя ETL-процессов, Spark-джоб, приложений обработки данных в реальном времени;
  • Архитектуру нескольких MPP-баз (Vertica, Greenplum, ClickHouse, ...);
  • Сервисы и практики Data Governance (BI, data catalog, data linage, CDC, data injestion, data quality, notebooks);
  • Практики MLOps (деплой моделей, мониторинг экспериментов, оркестрация).

Преподаватели

Егор Матешук
CDO AdTech-компании Квант
Александра Чащина
Дарья Абдуллина
TeamLead отдела BigData, DeltaSolutions
Артем Токачев
Последние 6 лет работает с большими данными: строит системы для обработки данных, консультирует по вопросам построения аналитических решений.

До 2018 года руководил отделом инфраструктуры данных в Ostrovok.ru. Затем занимал аналогичную позицию в MaximaTelecom (один из проектов компании - публичная сеть Wi-Fi в метро Москвы). На данный момент является CDO AdTech-компании Квант.
Большой опыт работы с сервисами Hadoop (HDFS, Hive, Impala), оркестраторами (Airflow, Oozie), MPP-базами (Vertica, Kudu, Greenplum) и различными фреймворками для обработки данных (Spark, Flink).

Образование: МФТИ, факультет инноваций и высоких технологий по специальности прикладная математика и физика.

Выпускница магистерской программы “Informatique pour la Science de Données (Big Data)” университета Париж-Сакле.
Профессиональный опыт: 7 лет программирования на Python и Java. Последние 3 года специализируется на Scala и распределенной обработке больших данных. Участвует в проектах Big Data на 1000+ пользователей в крупных французских компаниях (Enedis, Groupama).
Участница Google Summer of Code 2016. Прошла сертификацию “Databricks Associate Developer for Apache Spark 2.4 with Scala 2.11”.

Закончила магистратуру в МГТУ им. Баумана в 2013 году, по специальности Программное обеспечение ЭВМ и информационные технологии, кафедра ИУ-7. Стаж работы более 10 лет. Успела поработать на разных языках программирования - C#, Java, Python, Scala. Большими данными занимаюсь с 2014.

Учавствовала в запуске множества проектов различной сложности - от небольших проектов с парной разработкой сервисов на Java, до больших сложных систем на базе Cloudera и Hortonworks для обратки петабайтов данных. Участвовала в проектах для операторов связи на территории России и СНГ. Разрабатывала внутренний инструментарий для решения задач в стеке Hadoop. Есть опыт работы практически со всем "зоопарком" Hadoop - hbase, hive, spark, oozie, impala, MapReduce, Kafka, YARN, Solr.

Закончил БГУИР по специальности "Программист. Бизнес-аналитик". Опыт промышленной разработки - 4.5 года. Программировал на Ruby, Elixir, JavaScript, Python. Начинал как веб-разработчик, потом перешёл в работу с данными. Занимался инжинирингом данных в сфере страхования и гэмблинга.

Егор
Матешук
Александра
Чащина
Дарья
Абдуллина
Артем
Токачев

Преподаватели

Егор Матешук
CDO AdTech-компании Квант
Последние 6 лет работает с большими данными: строит системы для обработки данных, консультирует по вопросам построения аналитических решений.

До 2018 года руководил отделом инфраструктуры данных в Ostrovok.ru. Затем занимал аналогичную позицию в MaximaTelecom (один из проектов компании - публичная сеть Wi-Fi в метро Москвы). На данный момент является CDO AdTech-компании Квант.
Большой опыт работы с сервисами Hadoop (HDFS, Hive, Impala), оркестраторами (Airflow, Oozie), MPP-базами (Vertica, Kudu, Greenplum) и различными фреймворками для обработки данных (Spark, Flink).

Образование: МФТИ, факультет инноваций и высоких технологий по специальности прикладная математика и физика.

Александра Чащина
Выпускница магистерской программы “Informatique pour la Science de Données (Big Data)” университета Париж-Сакле.
Профессиональный опыт: 7 лет программирования на Python и Java. Последние 3 года специализируется на Scala и распределенной обработке больших данных. Участвует в проектах Big Data на 1000+ пользователей в крупных французских компаниях (Enedis, Groupama).
Участница Google Summer of Code 2016. Прошла сертификацию “Databricks Associate Developer for Apache Spark 2.4 with Scala 2.11”.

Дарья Абдуллина
TeamLead отдела BigData, DeltaSolutions
Закончила магистратуру в МГТУ им. Баумана в 2013 году, по специальности Программное обеспечение ЭВМ и информационные технологии, кафедра ИУ-7. Стаж работы более 10 лет. Успела поработать на разных языках программирования - C#, Java, Python, Scala. Большими данными занимаюсь с 2014.

Учавствовала в запуске множества проектов различной сложности - от небольших проектов с парной разработкой сервисов на Java, до больших сложных систем на базе Cloudera и Hortonworks для обратки петабайтов данных. Участвовала в проектах для операторов связи на территории России и СНГ. Разрабатывала внутренний инструментарий для решения задач в стеке Hadoop. Есть опыт работы практически со всем "зоопарком" Hadoop - hbase, hive, spark, oozie, impala, MapReduce, Kafka, YARN, Solr.

Артем Токачев
Закончил БГУИР по специальности "Программист. Бизнес-аналитик". Опыт промышленной разработки - 4.5 года. Программировал на Ruby, Elixir, JavaScript, Python. Начинал как веб-разработчик, потом перешёл в работу с данными. Занимался инжинирингом данных в сфере страхования и гэмблинга.

Необходимые знания

- Базовые знания SQL
- Отличное знание Linux
- Умения работы с Docker
Корпоративное обучение для ваших сотрудников
>
Программа обучения
В процессе обучения вы получите комплексные знания и навыки.
Тема 1. Вводное занятие
Тема 2. Архитектуры систем обработки данных (1 часть)
Тема 3. Архитектуры систем обработки данных (2 часть)
Тема 4. Облака и on-premise
Тема 5. Terraform
Тема 6. Ansible
Тема 7. Docker
Тема 8. Q&A
C 3 ноября
Тема 9. Data Storage
Тема 10. Дизайн ETL
Тема 11. Оркестрация
Тема 12. Фреймворки для обработки данных
Тема 13. CI, мониторинг и логирование для фреймворков обработки данных
C 22 ноября
Тема 14. Архитектура аналитических БД
Тема 15. SQL-движки Hive, Presto, Impala
Тема 16. Vertica
Тема 17. GreenPlum
Тема 18. ClickHouse
Тема 19. Q&A
C 13 декабря
Тема 20. Hadoop
Тема 21. Развертывание Hadoop
Тема 22. Мониторинг Hadoop
Тема 23. Безопасность Hadoop
C 27 декабря
Тема 24. Практики Data Governance
Тема 25. Управление метаданными
Тема 26. Контроль качества данных
Тема 27. Управление мастер-данными и НСИ
Тема 28. Организация песочницы
C 24 января
Тема 29. Практики MLOps
Тема 30. Инфраструктура для исследований
Тема 31. Контроль качества моделей
Тема 32. Версионирование данных
Тема 33. Варианты деплоя моделей - REST
Тема 34. Варианты деплоя моделей - Spark
C 14 февраля
Тема 35. Выбор темы и организация проектной работы
Тема 36. Консультация по проектам и домашним заданиям
Тема 37. Защита проектных работ
Тема 38. Подведение итогов курса
Скачать подробную программу
Выпускной проект
Выпускной проект — возможность закрепить навыки, наработанные в процессе обучения. Это отдельная работа, на выполнение которой отводится последний месяц обучения.

На данном курсе в качестве выпускного проекта будет построение data инфраструктуры для различных применений:
1. Решение для интеграции данных
2. ML-платформа
3. CI/CD для процессов обработки данных
4. Решение по управлению мета-информацией о данных
5. Аналитическая песочница

Процесс обучения

Образовательный процесс происходит ONLINE в формате вебинаров (язык преподавания — русский). В рамках курса слушателям предлагаются к выполнению домашние задания, которые позволяют применить на практике знания, полученные на занятиях. По каждому домашнему заданию преподаватель дает развернутый фидбек. В течение всего учебного процесса преподаватель находится в едином коммуникационном пространстве с группой - Slack, т.е. при обучении слушатель может задавать преподавателю уточняющие вопросы по учебным материалам.
Получить консультацию
Наш специалист свяжется с вами в ближайшее время. Если у вас возникли трудности в выборе курса или проблемы технического плана, то мы с радостью поможем вам.
Спасибо!
Мы получили Вашу заявку, в ближайшее время с Вами свяжется наш менеджер.

  • заберете с собой полный комплект обучающих материалов: видеозаписи всех вебинаров, презентации к занятиям, а также решение задач и проектов в виде кода на github и другие дополнительные материалы;

  • получите сертификат о прохождении курса;

  • получите приглашение пройти собеседование в компаниях-партнерах (эту возможность получают самые успешные студенты).

Ваш сертификат

онлайн-образование

Сертификат №0001

Константин Константинопольский

Успешно закончил курс «DataOps Engineer»
Выполнено практических заданий: 16 из 16

Общество с ограниченной ответственностью “Отус Онлайн-Образование”

Город:
Москва

Директор департамента образования
ООО “Отус Онлайн-Образование”
Анна Фирсова

Лицензия на осуществление образовательной деятельности
№ 039825 от 28 декабря 2018 года.

онлайн-образование

Сертификат №0001

Константин Константинопольский

Успешно закончил курс «DataOps Engineer»
Выполнено практических заданий: 16 из 16

Общество с ограниченной ответственностью “Отус Онлайн-Образование”

Город:
Москва

Директор департамента образования
ООО “Отус Онлайн-Образование”
Анна Фирсова

Лицензия на осуществление образовательной деятельности
№ 039825 от 28 декабря 2018 года.
Прошедшие открытые вебинары
Открытый вебинар — это настоящее занятие в режиме он-лайн с преподавателем курса, которое позволяет посмотреть, как проходит процесс обучения. В ходе занятия слушатели имеют возможность задать вопросы и получить знания по реальным практическим кейсам.
ETL. Что это такое и инструменты создания.
Артем Токачев
День открытых дверей
18 августа в 20:00
Оставьте заявку, чтобы получить доступ к записям прошедших мероприятий. Записи всех мероприятий появятся в этом блоке