DataOps Engineer | OTUS

Курсы

Программирование
Выбор профессии в IT
-99%
Разработчик на Spring Framework Python Developer. Basic Специализация Python Developer Python Developer. Professional Golang Developer. Professional Scala-разработчик Специализация iOS Angular Developer JavaScript Developer. Professional Java Developer. Professional Microservice Architecture Highload Architect Node.js Developer Kotlin Backend Developer. Professional Java Developer. Basic HTML/CSS Специализация C++ Developer C++ Developer. Professional PHP Developer. Professional Agile Project Manager PostgreSQL для администраторов баз данных и разработчиков MS SQL Server Developer Unreal Engine Game Developer. Professional Web-разработчик на Python Cloud Solution Architecture Flutter Mobile Developer PHP Developer. Basic Специализация PHP Developer Rust Developer Буткемп Java Unity VR/AR Developer
Специализации Курсы в разработке Подготовительные курсы Подписка
+7 499 938-92-02
ПРИ ПОДДЕРЖКЕ
логотип партнера
ПРИ ПОДДЕРЖКЕ
логотип партнера

DataOps Engineer

Рассмотрим полный набор инструментов и практик Data Governance (управления данными).

Длительность обучения:

4 месяца

4 ак. часа в нед.

Что даст вам этот курс
DataOps Engineer - это профессия будущего, на которую уже есть огромный спрос и нехватка специалистов.

Кроме стандартных тем (Hadoop, MLOps, оркестрация) мы рассмотрим полный набор инструментов и практик Data Governance (управления данными) - metadata management, data quality, data integration, data discovery, data linage, BI

Этот курс подходит вам, если вы:

- уже умеете работать с данными, но хотите развить знания в инфраструктуре, на которой они работают;

- либо умеете работать с инфраструктурой, но хотите получить специфические знания именно в области работы с данными.

Что разберем на курсе:

  • Вопросы администрирования Hadoop-кластеров (включая вопросы безопасности!;
  • Особенности деплоя ETL-процессов, Spark-джоб, приложений обработки данных в реальном времени;
  • Архитектуру нескольких MPP-баз (Vertica, Greenplum, ClickHouse, ...);
  • Сервисы и практики Data Governance (BI, data catalog, data linage, CDC, data injestion, data quality, notebooks);
  • Практики MLOps (деплой моделей, мониторинг экспериментов, оркестрация).

Карта курсов направления Data Science в OTUS

Преподаватели

Егор Матешук
CDO AdTech-компании Квант
Роман Богатов
Руководитель аналитической разработки, Emerging Travel Group
Александра Чащина
Дарья Абдуллина
TeamLead отдела BigData, DeltaSolutions
Рустем Галиев
Senior DevOps Engineer & Integration Architect в IBM
Артем Токачев
Максим Пантелеев
Последние 6 лет работает с большими данными: строит системы для обработки данных, консультирует по вопросам построения аналитических решений.

До 2018 года руководил отделом инфраструктуры данных в Ostrovok.ru. Затем занимал аналогичную позицию в MaximaTelecom (один из проектов компании - публичная сеть Wi-Fi в метро Москвы). На данный момент является CDO AdTech-компании Квант.
Большой опыт работы с сервисами Hadoop (HDFS, Hive, Impala), оркестраторами (Airflow, Oozie), MPP-базами (Vertica, Kudu, Greenplum) и различными фреймворками для обработки данных (Spark, Flink).

Образование: МФТИ, факультет инноваций и высоких технологий по специальности прикладная математика и физика.

Более 10 лет развивает аналитику в компании. Среди достижений:
- Построение собственной системы сквозной вебаналитики;
- Построение аналитического хранилища на базе MPP Vertica;
- Организация процессинга данных на базе Spark, Kafka, HDFS;
- Выстраивание процессов работы с данными, включая data quality;
- Создание нескольких внутренних инстументов по работе и структурированию метаданных (Data Catalog);
- Построение системы корпоративной отчетности, в том числе realtime;
- Более 5 лет повышает Data Literacy внутри компании, проводя различные тренинги по работе с данными, инструментами, SQL;
Также вырастил несколько руководителей аналитики, которые теперь работают в крупных компаниях.

Основной фокус на понимании проблем бизнеса при работе с данными и их решение.

Выпускница магистерской программы “Informatique pour la Science de Données (Big Data)” университета Париж-Сакле.

С 2018 года специализируется на больших данных. Участвует в проектах разработки аналитических платформ данных, а также платформ обработки данных в режиме реального времени на 10000+ пользователей. Имеет сертификаты Databricks Spark&Scala и RedHat DevOps. В настоящее время работает со стриминговой обработкой (Kafka), а также внедряет практики DataOps (Gitlab CI/CD, Kubernetes, Liquibase, Airflow).

Закончила магистратуру в МГТУ им. Баумана в 2013 году, по специальности Программное обеспечение ЭВМ и информационные технологии, кафедра ИУ-7. Стаж работы более 10 лет. Успела поработать на разных языках программирования - C#, Java, Python, Scala. Большими данными занимаюсь с 2014.

Учавствовала в запуске множества проектов различной сложности - от небольших проектов с парной разработкой сервисов на Java, до больших сложных систем на базе Cloudera и Hortonworks для обратки петабайтов данных. Участвовала в проектах для операторов связи на территории России и СНГ. Разрабатывала внутренний инструментарий для решения задач в стеке Hadoop. Есть опыт работы практически со всем "зоопарком" Hadoop - hbase, hive, spark, oozie, impala, MapReduce, Kafka, YARN, Solr.

Опыт работы более 5 лет. Имею опыт работы в крупных компаниях, банковской сфере и стартапах. Начинал свой путь как разработчик и из разработки ушел в эксплуатацию и инженерию.
28 сертификатов от IBM, 7 сертификатов от Google и 11 сертификатов от Microsoft
В работе предпочитаю использовать подход Source to Code и Infrastructure as a Code, автоматизирую большую часть процессов и этапов при разработке и эксплуатации программного обеспечения

Закончил Bialystok University of Technology по направлению Computer Science - Bioinformatics

Веду IT-блог в instagram на странице devoopser.

Стэк технологий:
Cloud: IBM Cloud, AWS, Openstack
CI/CD: TeamCity+Octopus, Jenkins, Gitlab CI/CD
Containers: Docker, Openshift
Orchestration: Docker swarm, Kubernetes
OS: CentOS 7, Ubuntu, Alpine
Software provisioning: Ansible, Terraform
Scripts: bash, python
Monitoring: Prometheus+Alertmanager, LogDNA
Automated code review: Sonarqube

Закончил БГУИР по специальности "Программист. Бизнес-аналитик". Опыт промышленной разработки - 4.5 года. Программировал на Ruby, Elixir, JavaScript, Python. Начинал как веб-разработчик, потом перешёл в работу с данными. Занимался инжинирингом данных в сфере страхования и гэмблинга.

Специалист по машинному обучению и разработке (BigData). Работал в таких компаниях как Mail.Ru Group, Wamba, NVidia, Sber, Megafon, Техносерв Консалтинг, где реализовывал практические кейсы применения машинного обучения полного цикла - прогнозирование временных рядов, детектирование аномалий, системы анализа соц. медиа поля (NLP), рекомендательные системы в ритейле и тд, так и HighLoad практическая реализация этих кейсов в продуктивном окружении - Hadoop, Spark, Flink, Kafka и тд

Долгое время занимался преподаванием курсов по машинному обучению и технологиям BigData в таких организациях как тренинговый Центр Люксофт, ВШЭ

Егор
Матешук
Роман
Богатов
Александра
Чащина
Дарья
Абдуллина
Рустем
Галиев
Артем
Токачев
Максим
Пантелеев

Преподаватели

Егор Матешук
CDO AdTech-компании Квант
Последние 6 лет работает с большими данными: строит системы для обработки данных, консультирует по вопросам построения аналитических решений.

До 2018 года руководил отделом инфраструктуры данных в Ostrovok.ru. Затем занимал аналогичную позицию в MaximaTelecom (один из проектов компании - публичная сеть Wi-Fi в метро Москвы). На данный момент является CDO AdTech-компании Квант.
Большой опыт работы с сервисами Hadoop (HDFS, Hive, Impala), оркестраторами (Airflow, Oozie), MPP-базами (Vertica, Kudu, Greenplum) и различными фреймворками для обработки данных (Spark, Flink).

Образование: МФТИ, факультет инноваций и высоких технологий по специальности прикладная математика и физика.

Роман Богатов
Руководитель аналитической разработки, Emerging Travel Group
Более 10 лет развивает аналитику в компании. Среди достижений:
- Построение собственной системы сквозной вебаналитики;
- Построение аналитического хранилища на базе MPP Vertica;
- Организация процессинга данных на базе Spark, Kafka, HDFS;
- Выстраивание процессов работы с данными, включая data quality;
- Создание нескольких внутренних инстументов по работе и структурированию метаданных (Data Catalog);
- Построение системы корпоративной отчетности, в том числе realtime;
- Более 5 лет повышает Data Literacy внутри компании, проводя различные тренинги по работе с данными, инструментами, SQL;
Также вырастил несколько руководителей аналитики, которые теперь работают в крупных компаниях.

Основной фокус на понимании проблем бизнеса при работе с данными и их решение.

Александра Чащина
Выпускница магистерской программы “Informatique pour la Science de Données (Big Data)” университета Париж-Сакле.

С 2018 года специализируется на больших данных. Участвует в проектах разработки аналитических платформ данных, а также платформ обработки данных в режиме реального времени на 10000+ пользователей. Имеет сертификаты Databricks Spark&Scala и RedHat DevOps. В настоящее время работает со стриминговой обработкой (Kafka), а также внедряет практики DataOps (Gitlab CI/CD, Kubernetes, Liquibase, Airflow).

Дарья Абдуллина
TeamLead отдела BigData, DeltaSolutions
Закончила магистратуру в МГТУ им. Баумана в 2013 году, по специальности Программное обеспечение ЭВМ и информационные технологии, кафедра ИУ-7. Стаж работы более 10 лет. Успела поработать на разных языках программирования - C#, Java, Python, Scala. Большими данными занимаюсь с 2014.

Учавствовала в запуске множества проектов различной сложности - от небольших проектов с парной разработкой сервисов на Java, до больших сложных систем на базе Cloudera и Hortonworks для обратки петабайтов данных. Участвовала в проектах для операторов связи на территории России и СНГ. Разрабатывала внутренний инструментарий для решения задач в стеке Hadoop. Есть опыт работы практически со всем "зоопарком" Hadoop - hbase, hive, spark, oozie, impala, MapReduce, Kafka, YARN, Solr.

Рустем Галиев
Senior DevOps Engineer & Integration Architect в IBM
Опыт работы более 5 лет. Имею опыт работы в крупных компаниях, банковской сфере и стартапах. Начинал свой путь как разработчик и из разработки ушел в эксплуатацию и инженерию.
28 сертификатов от IBM, 7 сертификатов от Google и 11 сертификатов от Microsoft
В работе предпочитаю использовать подход Source to Code и Infrastructure as a Code, автоматизирую большую часть процессов и этапов при разработке и эксплуатации программного обеспечения

Закончил Bialystok University of Technology по направлению Computer Science - Bioinformatics

Веду IT-блог в instagram на странице devoopser.

Стэк технологий:
Cloud: IBM Cloud, AWS, Openstack
CI/CD: TeamCity+Octopus, Jenkins, Gitlab CI/CD
Containers: Docker, Openshift
Orchestration: Docker swarm, Kubernetes
OS: CentOS 7, Ubuntu, Alpine
Software provisioning: Ansible, Terraform
Scripts: bash, python
Monitoring: Prometheus+Alertmanager, LogDNA
Automated code review: Sonarqube

Артем Токачев
Закончил БГУИР по специальности "Программист. Бизнес-аналитик". Опыт промышленной разработки - 4.5 года. Программировал на Ruby, Elixir, JavaScript, Python. Начинал как веб-разработчик, потом перешёл в работу с данными. Занимался инжинирингом данных в сфере страхования и гэмблинга.

Максим Пантелеев
Специалист по машинному обучению и разработке (BigData). Работал в таких компаниях как Mail.Ru Group, Wamba, NVidia, Sber, Megafon, Техносерв Консалтинг, где реализовывал практические кейсы применения машинного обучения полного цикла - прогнозирование временных рядов, детектирование аномалий, системы анализа соц. медиа поля (NLP), рекомендательные системы в ритейле и тд, так и HighLoad практическая реализация этих кейсов в продуктивном окружении - Hadoop, Spark, Flink, Kafka и тд

Долгое время занимался преподаванием курсов по машинному обучению и технологиям BigData в таких организациях как тренинговый Центр Люксофт, ВШЭ

Необходимые знания

- Базовые знания SQL
- Отличное знание Linux
- Умения работы с Docker
Корпоративное обучение для ваших сотрудников
>
Программа обучения
В процессе обучения вы получите комплексные знания и навыки.
Тема 1. Вводное занятие
Тема 2. Архитектуры систем обработки данных (1 часть)
Тема 3. Архитектуры систем обработки данных (2 часть)
Тема 4. Облака и on-premise
Тема 5. Terraform
Тема 6. Ansible
Тема 7. Docker
Тема 8. Data Storage
Тема 9. Q&A по модулю 2
Тема 10. Дизайн ETL
Тема 11. Data Ingestion
Тема 12. Фреймворки для обработки данных
Тема 13. Архитектура аналитических БД
Тема 14. SQL-движки Hive, Presto, Impala
Тема 15. Vertica
Тема 16. GreenPlum
Тема 17. ClickHouse
Тема 18. Q&A
Тема 19. Hadoop
Тема 20. Развертывание Hadoop
Тема 21. Мониторинг Hadoop
Тема 22. Безопасность Hadoop
Тема 23. Практики Data Governance
Тема 24. Организация песочницы
Тема 25. Управление метаданными
Тема 26. Контроль качества данных
C 14 декабря
Тема 27. Практики MLOps
Тема 28. Инфраструктура для исследований
Тема 29. Контроль качества моделей
Тема 30. Версионирование данных
Тема 31. Варианты деплоя моделей - REST
Тема 32. Варианты деплоя моделей - Spark
Тема 33. Оркестрация
Тема 34. CI, мониторинг и логирование для фреймворков обработки данных
C 16 января
Тема 35. Выбор темы и организация проектной работы + Консультация по проектам и домашним заданиям
Тема 36. Защита проектных работ + Подведение итогов курса
Скачать подробную программу
Выпускной проект
Выпускной проект — возможность закрепить навыки, наработанные в процессе обучения. Это отдельная работа, на выполнение которой отводится последний месяц обучения.

На данном курсе в качестве выпускного проекта будет построение data инфраструктуры для различных применений:
1. Решение для интеграции данных
2. ML-платформа
3. CI/CD для процессов обработки данных
4. Решение по управлению мета-информацией о данных
5. Аналитическая песочница

Процесс обучения

Образовательный процесс происходит ONLINE в формате вебинаров (язык преподавания — русский). В рамках курса слушателям предлагаются к выполнению домашние задания, которые позволяют применить на практике знания, полученные на занятиях. По каждому домашнему заданию преподаватель дает развернутый фидбек. В течение всего учебного процесса преподаватель находится в едином коммуникационном пространстве с группой - Slack, т.е. при обучении слушатель может задавать преподавателю уточняющие вопросы по учебным материалам.
Получить консультацию
Наш специалист свяжется с вами в ближайшее время. Если у вас возникли трудности в выборе курса или проблемы технического плана, то мы с радостью поможем вам.
Спасибо!
Мы получили Вашу заявку, в ближайшее время с Вами свяжется наш менеджер.

  • заберете с собой полный комплект обучающих материалов: видеозаписи всех вебинаров, презентации к занятиям, а также решение задач и проектов в виде кода на github и другие дополнительные материалы;

  • получите сертификат о прохождении курса;

  • получите приглашение пройти собеседование в компаниях-партнерах (эту возможность получают самые успешные студенты).

Ваш сертификат

онлайн-образование

Сертификат №0001

Константин Константинопольский

Успешно закончил курс «DataOps Engineer»
Выполнено практических заданий: 16 из 16

Общество с ограниченной ответственностью “Отус Онлайн-Образование”

Город:
Москва

Директор департамента образования
ООО “Отус Онлайн-Образование”
Анна Фирсова

Лицензия на осуществление образовательной деятельности
№ 039825 от 28 декабря 2018 года.

онлайн-образование

Сертификат №0001

Константин Константинопольский

Успешно закончил курс «DataOps Engineer»
Выполнено практических заданий: 16 из 16

Общество с ограниченной ответственностью “Отус Онлайн-Образование”

Город:
Москва

Директор департамента образования
ООО “Отус Онлайн-Образование”
Анна Фирсова

Лицензия на осуществление образовательной деятельности
№ 039825 от 28 декабря 2018 года.
Прошедшие открытые вебинары
Открытый вебинар — это настоящее занятие в режиме он-лайн с преподавателем курса, которое позволяет посмотреть, как проходит процесс обучения. В ходе занятия слушатели имеют возможность задать вопросы и получить знания по реальным практическим кейсам.
Архитектуры систем обработки данных
Анатолий Бурнашев
День открытых дверей
18 августа 2021 года в 20:00
Оставьте заявку, чтобы получить доступ к записям прошедших мероприятий. Записи всех мероприятий появятся в этом блоке