DataOps Engineer | OTUS
Прямо сейчас идет открытый вебинар «Импортозамещение RPA платформ» . Присоединяйтесь!

Курсы

Программирование
Разработчик на Spring Framework C# ASP.NET Core разработчик iOS Developer. Basic Специализация iOS iOS Developer. Professional Архитектура и шаблоны проектирования Разработчик программных роботов (RPA) на базе UiPath и PIX Разработчик IoT Node.js Developer Java Developer. Professional
-19%
Microservice Architecture Unreal Engine Game Developer Scala-разработчик Java Developer. Basic HTML/CSS Специализация C++ Developer C++ Developer. Professional Android Developer. Professional
-20%
PostgreSQL для администраторов баз данных и разработчиков
-20%
C# Developer. Basic Cloud Solution Architecture Software Architect Web-разработчик на Python MS SQL Server Developer Team Lead NoSQL Symfony Framework Unity Game Developer. Professional Специализация PHP Developer Буткемп Java Groovy Developer
Специализации Курсы в разработке Подготовительные курсы Подписка
+7 499 938-92-02
ПРИ ПОДДЕРЖКЕ
логотип партнера
ПРИ ПОДДЕРЖКЕ
логотип партнера

DataOps Engineer

Рассмотрим полный набор инструментов и практик Data Governance (управления данными).

Длительность обучения:

4 месяца

4 ак. часа в нед.

Начало занятий:

16 августа

Что даст вам этот курс
DataOps Engineer - это профессия будущего, на которую уже есть огромный спрос и нехватка специалистов.

Кроме стандартных тем (Hadoop, MLOps, оркестрация) мы рассмотрим полный набор инструментов и практик Data Governance (управления данными) - metadata management, data quality, data integration, data discovery, data linage, BI

Этот курс подходит вам, если вы:

- уже умеете работать с данными, но хотите развить знания в инфраструктуре, на которой они работают;

- либо умеете работать с инфраструктурой, но хотите получить специфические знания именно в области работы с данными.

Что разберем на курсе:

  • Вопросы администрирования Hadoop-кластеров (включая вопросы безопасности!;
  • Особенности деплоя ETL-процессов, Spark-джоб, приложений обработки данных в реальном времени;
  • Архитектуру нескольких MPP-баз (Vertica, Greenplum, ClickHouse, ...);
  • Сервисы и практики Data Governance (BI, data catalog, data linage, CDC, data injestion, data quality, notebooks);
  • Практики MLOps (деплой моделей, мониторинг экспериментов, оркестрация).

Карта курсов направления Data Science в OTUS

Преподаватели

Егор Матешук
CDO AdTech-компании Квант
Роман Богатов
Руководитель аналитической разработки, Emerging Travel Group
Александра Чащина
Дарья Абдуллина
TeamLead отдела BigData, DeltaSolutions
Рустем Галиев
Senior DevOps инженер в компании IBM
Артем Токачев
Максим Пантелеев
Последние 6 лет работает с большими данными: строит системы для обработки данных, консультирует по вопросам построения аналитических решений.

До 2018 года руководил отделом инфраструктуры данных в Ostrovok.ru. Затем занимал аналогичную позицию в MaximaTelecom (один из проектов компании - публичная сеть Wi-Fi в метро Москвы). На данный момент является CDO AdTech-компании Квант.
Большой опыт работы с сервисами Hadoop (HDFS, Hive, Impala), оркестраторами (Airflow, Oozie), MPP-базами (Vertica, Kudu, Greenplum) и различными фреймворками для обработки данных (Spark, Flink).

Образование: МФТИ, факультет инноваций и высоких технологий по специальности прикладная математика и физика.

Более 10 лет развивает аналитику в компании. Среди достижений:
- Построение собственной системы сквозной вебаналитики;
- Построение аналитического хранилища на базе MPP Vertica;
- Организация процессинга данных на базе Spark, Kafka, HDFS;
- Выстраивание процессов работы с данными, включая data quality;
- Создание нескольких внутренних инстументов по работе и структурированию метаданных (Data Catalog);
- Построение системы корпоративной отчетности, в том числе realtime;
- Более 5 лет повышает Data Literacy внутри компании, проводя различные тренинги по работе с данными, инструментами, SQL;
Также вырастил несколько руководителей аналитики, которые теперь работают в крупных компаниях.

Основной фокус на понимании проблем бизнеса при работе с данными и их решение.

Выпускница магистерской программы “Informatique pour la Science de Données (Big Data)” университета Париж-Сакле.
Профессиональный опыт: 7 лет программирования на Python и Java. Последние 3 года специализируется на Scala и распределенной обработке больших данных. Участвует в проектах Big Data на 1000+ пользователей в крупных французских компаниях (Enedis, Groupama).
Участница Google Summer of Code 2016. Прошла сертификацию “Databricks Associate Developer for Apache Spark 2.4 with Scala 2.11”.

Закончила магистратуру в МГТУ им. Баумана в 2013 году, по специальности Программное обеспечение ЭВМ и информационные технологии, кафедра ИУ-7. Стаж работы более 10 лет. Успела поработать на разных языках программирования - C#, Java, Python, Scala. Большими данными занимаюсь с 2014.

Учавствовала в запуске множества проектов различной сложности - от небольших проектов с парной разработкой сервисов на Java, до больших сложных систем на базе Cloudera и Hortonworks для обратки петабайтов данных. Участвовала в проектах для операторов связи на территории России и СНГ. Разрабатывала внутренний инструментарий для решения задач в стеке Hadoop. Есть опыт работы практически со всем "зоопарком" Hadoop - hbase, hive, spark, oozie, impala, MapReduce, Kafka, YARN, Solr.

Опыт работы более 5 лет. Имею опыт работы в крупных компаниях, банковской сфере и стартапах. Начинал свой путь как разработчик и из разработки ушел в эксплуатацию и инженерию.
23 сертификата от IBM и 3 сертификата от Google
В работе предпочитаю использовать подход Source to Code и Infrastructure to Code, автоматизирую большую часть процессов и этапов при разработке и эксплуатации программного обеспечения

Закончил Bialystok University of Technology по направлению Computer Science - Bioinformatics

Веду IT-блог в instagram на странице devoopser.

Стэк технологий:
Cloud: IBM Cloud, AWS, Openstack
CI/CD: TeamCity+Octopus, Jenkins, Gitlab CI/CD
Containers: Docker, Openshift
Orchestration: Docker swarm, Kubernetes
OS: CentOS 7, Ubuntu, Alpine
Software provisioning: Ansible, Terraform
Scripts: bash, python
Monitoring: Prometheus+Alertmanager, LogDNA
Automated code review: Sonarqube

Закончил БГУИР по специальности "Программист. Бизнес-аналитик". Опыт промышленной разработки - 4.5 года. Программировал на Ruby, Elixir, JavaScript, Python. Начинал как веб-разработчик, потом перешёл в работу с данными. Занимался инжинирингом данных в сфере страхования и гэмблинга.

Специалист по машинному обучению и разработке (BigData). Работал в таких компаниях как Mail.Ru Group, Wamba, NVidia, Sber, Megafon, Техносерв Консалтинг, где реализовывал практические кейсы применения машинного обучения полного цикла - прогнозирование временных рядов, детектирование аномалий, системы анализа соц. медиа поля (NLP), рекомендательные системы в ритейле и тд, так и HighLoad практическая реализация этих кейсов в продуктивном окружении - Hadoop, Spark, Flink, Kafka и тд

Долгое время занимался преподаванием курсов по машинному обучению и технологиям BigData в таких организациях как тренинговый Центр Люксофт, ВШЭ

Егор
Матешук
Роман
Богатов
Александра
Чащина
Дарья
Абдуллина
Рустем
Галиев
Артем
Токачев
Максим
Пантелеев

Преподаватели

Егор Матешук
CDO AdTech-компании Квант
Последние 6 лет работает с большими данными: строит системы для обработки данных, консультирует по вопросам построения аналитических решений.

До 2018 года руководил отделом инфраструктуры данных в Ostrovok.ru. Затем занимал аналогичную позицию в MaximaTelecom (один из проектов компании - публичная сеть Wi-Fi в метро Москвы). На данный момент является CDO AdTech-компании Квант.
Большой опыт работы с сервисами Hadoop (HDFS, Hive, Impala), оркестраторами (Airflow, Oozie), MPP-базами (Vertica, Kudu, Greenplum) и различными фреймворками для обработки данных (Spark, Flink).

Образование: МФТИ, факультет инноваций и высоких технологий по специальности прикладная математика и физика.

Роман Богатов
Руководитель аналитической разработки, Emerging Travel Group
Более 10 лет развивает аналитику в компании. Среди достижений:
- Построение собственной системы сквозной вебаналитики;
- Построение аналитического хранилища на базе MPP Vertica;
- Организация процессинга данных на базе Spark, Kafka, HDFS;
- Выстраивание процессов работы с данными, включая data quality;
- Создание нескольких внутренних инстументов по работе и структурированию метаданных (Data Catalog);
- Построение системы корпоративной отчетности, в том числе realtime;
- Более 5 лет повышает Data Literacy внутри компании, проводя различные тренинги по работе с данными, инструментами, SQL;
Также вырастил несколько руководителей аналитики, которые теперь работают в крупных компаниях.

Основной фокус на понимании проблем бизнеса при работе с данными и их решение.

Александра Чащина
Выпускница магистерской программы “Informatique pour la Science de Données (Big Data)” университета Париж-Сакле.
Профессиональный опыт: 7 лет программирования на Python и Java. Последние 3 года специализируется на Scala и распределенной обработке больших данных. Участвует в проектах Big Data на 1000+ пользователей в крупных французских компаниях (Enedis, Groupama).
Участница Google Summer of Code 2016. Прошла сертификацию “Databricks Associate Developer for Apache Spark 2.4 with Scala 2.11”.

Дарья Абдуллина
TeamLead отдела BigData, DeltaSolutions
Закончила магистратуру в МГТУ им. Баумана в 2013 году, по специальности Программное обеспечение ЭВМ и информационные технологии, кафедра ИУ-7. Стаж работы более 10 лет. Успела поработать на разных языках программирования - C#, Java, Python, Scala. Большими данными занимаюсь с 2014.

Учавствовала в запуске множества проектов различной сложности - от небольших проектов с парной разработкой сервисов на Java, до больших сложных систем на базе Cloudera и Hortonworks для обратки петабайтов данных. Участвовала в проектах для операторов связи на территории России и СНГ. Разрабатывала внутренний инструментарий для решения задач в стеке Hadoop. Есть опыт работы практически со всем "зоопарком" Hadoop - hbase, hive, spark, oozie, impala, MapReduce, Kafka, YARN, Solr.

Рустем Галиев
Senior DevOps инженер в компании IBM
Опыт работы более 5 лет. Имею опыт работы в крупных компаниях, банковской сфере и стартапах. Начинал свой путь как разработчик и из разработки ушел в эксплуатацию и инженерию.
23 сертификата от IBM и 3 сертификата от Google
В работе предпочитаю использовать подход Source to Code и Infrastructure to Code, автоматизирую большую часть процессов и этапов при разработке и эксплуатации программного обеспечения

Закончил Bialystok University of Technology по направлению Computer Science - Bioinformatics

Веду IT-блог в instagram на странице devoopser.

Стэк технологий:
Cloud: IBM Cloud, AWS, Openstack
CI/CD: TeamCity+Octopus, Jenkins, Gitlab CI/CD
Containers: Docker, Openshift
Orchestration: Docker swarm, Kubernetes
OS: CentOS 7, Ubuntu, Alpine
Software provisioning: Ansible, Terraform
Scripts: bash, python
Monitoring: Prometheus+Alertmanager, LogDNA
Automated code review: Sonarqube

Артем Токачев
Закончил БГУИР по специальности "Программист. Бизнес-аналитик". Опыт промышленной разработки - 4.5 года. Программировал на Ruby, Elixir, JavaScript, Python. Начинал как веб-разработчик, потом перешёл в работу с данными. Занимался инжинирингом данных в сфере страхования и гэмблинга.

Максим Пантелеев
Специалист по машинному обучению и разработке (BigData). Работал в таких компаниях как Mail.Ru Group, Wamba, NVidia, Sber, Megafon, Техносерв Консалтинг, где реализовывал практические кейсы применения машинного обучения полного цикла - прогнозирование временных рядов, детектирование аномалий, системы анализа соц. медиа поля (NLP), рекомендательные системы в ритейле и тд, так и HighLoad практическая реализация этих кейсов в продуктивном окружении - Hadoop, Spark, Flink, Kafka и тд

Долгое время занимался преподаванием курсов по машинному обучению и технологиям BigData в таких организациях как тренинговый Центр Люксофт, ВШЭ

Необходимые знания

- Базовые знания SQL
- Отличное знание Linux
- Умения работы с Docker
Корпоративное обучение для ваших сотрудников
>
Программа обучения
В процессе обучения вы получите комплексные знания и навыки.
Тема 1. Вводное занятие
Тема 2. Архитектуры систем обработки данных (1 часть)
Тема 3. Архитектуры систем обработки данных (2 часть)
Тема 4. Облака и on-premise
Тема 5. Terraform
Тема 6. Ansible
Тема 7. Docker
Тема 8. Q&A
Тема 9. Data Storage
Тема 10. Дизайн ETL
Тема 11. Data Ingestion
Тема 12. Фреймворки для обработки данных
Тема 13. CI, мониторинг и логирование для фреймворков обработки данных
Тема 14. Оркестрация
Тема 15. Архитектура аналитических БД
Тема 16. SQL-движки Hive, Presto, Impala
Тема 17. Vertica
Тема 18. GreenPlum
Тема 19. ClickHouse
Тема 20. Q&A
C 25 мая
Тема 21. Hadoop
Тема 22. Развертывание Hadoop
Тема 23. Мониторинг Hadoop
Тема 24. Безопасность Hadoop
C 8 июня
Тема 25. Практики Data Governance
Тема 26. Управление метаданными
Тема 27. Контроль качества данных
Тема 28. Организация песочницы
C 29 июня
Тема 29. Практики MLOps
Тема 30. Инфраструктура для исследований
Тема 31. Контроль качества моделей
Тема 32. Версионирование данных
Тема 33. Варианты деплоя моделей - REST
Тема 34. Варианты деплоя моделей - Spark
C 25 июля
Тема 35. Выбор темы и организация проектной работы
Тема 36. Консультация по проектам и домашним заданиям
Тема 37. Защита проектных работ
Тема 38. Подведение итогов курса
Скачать подробную программу
Выпускной проект
Выпускной проект — возможность закрепить навыки, наработанные в процессе обучения. Это отдельная работа, на выполнение которой отводится последний месяц обучения.

На данном курсе в качестве выпускного проекта будет построение data инфраструктуры для различных применений:
1. Решение для интеграции данных
2. ML-платформа
3. CI/CD для процессов обработки данных
4. Решение по управлению мета-информацией о данных
5. Аналитическая песочница

Процесс обучения

Образовательный процесс происходит ONLINE в формате вебинаров (язык преподавания — русский). В рамках курса слушателям предлагаются к выполнению домашние задания, которые позволяют применить на практике знания, полученные на занятиях. По каждому домашнему заданию преподаватель дает развернутый фидбек. В течение всего учебного процесса преподаватель находится в едином коммуникационном пространстве с группой - Slack, т.е. при обучении слушатель может задавать преподавателю уточняющие вопросы по учебным материалам.
Получить консультацию
Наш специалист свяжется с вами в ближайшее время. Если у вас возникли трудности в выборе курса или проблемы технического плана, то мы с радостью поможем вам.
Спасибо!
Мы получили Вашу заявку, в ближайшее время с Вами свяжется наш менеджер.

  • заберете с собой полный комплект обучающих материалов: видеозаписи всех вебинаров, презентации к занятиям, а также решение задач и проектов в виде кода на github и другие дополнительные материалы;

  • получите сертификат о прохождении курса;

  • получите приглашение пройти собеседование в компаниях-партнерах (эту возможность получают самые успешные студенты).

Дата выдачи сертификата: 13 января 2023 года
Ваш сертификат

онлайн-образование

Сертификат №0001

Константин Константинопольский

Успешно закончил курс «DataOps Engineer»
Выполнено практических заданий: 16 из 16

Общество с ограниченной ответственностью “Отус Онлайн-Образование”

Город:
Москва

Директор департамента образования
ООО “Отус Онлайн-Образование”
Анна Фирсова

Лицензия на осуществление образовательной деятельности
№ 039825 от 28 декабря 2018 года.

онлайн-образование

Сертификат №0001

Константин Константинопольский

Успешно закончил курс «DataOps Engineer»
Выполнено практических заданий: 16 из 16

Общество с ограниченной ответственностью “Отус Онлайн-Образование”

Город:
Москва

Директор департамента образования
ООО “Отус Онлайн-Образование”
Анна Фирсова

Лицензия на осуществление образовательной деятельности
№ 039825 от 28 декабря 2018 года.
Прошедшие открытые вебинары
Открытый вебинар — это настоящее занятие в режиме он-лайн с преподавателем курса, которое позволяет посмотреть, как проходит процесс обучения. В ходе занятия слушатели имеют возможность задать вопросы и получить знания по реальным практическим кейсам.
Открытый урок "Spark. Обзор фреймворка"
Дарья Абдуллина
День открытых дверей
18 августа 2021 года в 20:00
Оставьте заявку, чтобы получить доступ к записям прошедших мероприятий. Записи всех мероприятий появятся в этом блоке