Промышленное машинное обучение на больших данных
⚡ Подписка на курсы OTUS!
Интенсивная прокачка навыков для IT-специалистов!
Подробнее

Курсы

Программирование
Python Developer. Basic Специализация Python Developer
-25%
iOS Developer. Professional Архитектура и шаблоны проектирования Scala-разработчик Python Developer. Professional JavaScript Developer. Professional
-20%
Программист С
-20%
Специализация Fullstack developer
-25%
Java Developer. Professional
-20%
Специализация Android-разработчик
-25%
Node.js Developer
-20%
Специализация Java-разработчик
-25%
PHP Developer. Basic
-20%
C# Developer. Professional
-20%
Symfony Framework
-20%
PHP Developer. Professional
-20%
Flutter Mobile Developer
-20%
Буткемп Java
-20%
Kotlin Backend Developer
-20%
Web-разработчик на Python NoSQL Разработчик на Spring Framework Базы данных PostgreSQL Vue.js разработчик Специализация Java и Базы данных Подготовка к сертификации Oracle Java Programmer (OCAJP) Unity Game Developer. Professional C++ Developer. Basic Unreal Engine Technical Game Design
Специализации Курсы в разработке Подготовительные курсы Подписка
+7 499 938-92-02
Специальная цена
Партнер курса
логотип партнера
Специальная цена

MLOps

Единственный в России практический курс по инструментам и технологиям работы с большими данными.

Длительность обучения:

5 месяцев

4 ак. часа в нед.

Формат:

Online

Начало занятий:

27 декабря

Дни занятий:

Чт 20:00, Пн 20:00

Что даст вам этот курс

Вы освоите все необходимые навыки машинного обучения для потоковых данных и распределенной среды. В программу включены необходимые знания из областей Data Science и Data Engineering, которые позволят вам обрабатывать большие данные и писать распределенные алгоритмы на Spark.

Каждый модуль вы будете закреплять на практике, выполняя домашнее задание. В конце обучения вас ждет финальный проект, который позволит обобщить все полученные знания и пополнить портфолио. Он может быть выполнен в рамках рабочих задач на вашем датасете или быть учебным проектом, основанным на данных, предоставляемых OTUS.

Для кого этот курс?

 

    • Для специалистов по Машинному обучению или Software инженеров, которые хотят научиться работать с большими данными. Обычно такие задачи имеются в крупных IT-компаниях с масштабным цифровым продуктом.

  • Для Data Scientist, которые хотят усилить свой скиллсет инженерными навыками. Благодаря курсу вы будете уметь обрабатывать данные и самостоятельно выводить результаты ML-решений в продакшн.


Для обучения вам понадобятся базовые навыки работы с данными. Предлагаем посмотреть Карту курсов направления Data Science в OTUS, чтобы сориентироваться в необходимом уровне подготовки.

Вы научитесь:

  • Использовать стандартные инструменты ML-конвейеров в распределенной среде;
  • Разрабатывать собственные блоки для ML-конвейеров;
  • Адаптировать ML-алгоритмы к распределенной среде и инструментам big data;
  • Использовать Spark, SparkML, Spark Streaming;
  • Разрабатывать алгоритмы потоковой подготовки данных для машинного обучения;
  • Обеспечивать контроль качества на всех этапах движения ML-решений в промышленную эксплуатацию.

Востребованность специалистов


Навыки, которые вы освоите, максимально прикладные и перспективные. На рынке появляется все больше цифровых продуктов, для развития которых необходима работа с большими данными и потоковую обработку. Уже сейчас специалисты с таким пулом навыков и некоторым опытом работы могут претендовать на зарплату от 270 тыс. рублей.

Другой тренд — автоматизация процессов обучения и валидации, напротив, в некотором роде обесценивает работу классического Data Scientist. Все движется к тому, что даже неспециалист сможет сделать fit-predict. Поэтому уже сейчас в цене те, кто имеют хотя бы поверхностные инженерные навыки.

Особенности курса

 

Много практики работы с данными

Широкий спектр навыков от распределенного ML и потоковой обработки данных до вывода в продакшн

Актуальные инструменты и технологии: Scala, Spark, Python, Docker

Живое общение с экспертами на вебинарах и в чате Slack
Интенсив "end2end Fraud Detection" День 1, 14 декабря в 15:00
Формулируем бизнес цели и метрика проекта. Загружаем данные в HDFS и проводим разведывательный анализ данных с помощью spark. Выстраиваем каскад метрик, формулируем задачу для ML. Обучаем модель и проверяем гипотезы по улучшению качества. Автоматизируем переобучение на новых данных и сохранение артефактов с помощью Airflow и MLFlow.
Ведет
Павел
Филонов
Предыдущий открытый вебинар
Интенсив "end2end Fraud Detection" День 2, 15 декабря в 15:00
Разрабатываем REST API для модели на python. Настраиваем CI/CD для развертывания в k8s. Подключаем логирование и мониторинг. На основе данных мониторинга проводим A/B тестирование для оценки эффективности внедрения ML.
Павел
Филонов
Предыдущий открытый вебинар

Преподаватели

Дмитрий Бугайченко

Управляющий директор в Сбербанке

Специалист по работе с большими данными и машинному обучению. В течение 8 лет работал в «Одноклассники.ru». Руководил командой OK Data Lab (лаборатория для исследователей в области big data и machine learning).

Анализ больших данных в Одноклассниках стал уникальным шансом совместить теоретическую подготовку и научный фундамент с разработкой реальных, востребованных продуктов. С 2019 года работает в Сбербанке на должности управляющего директора. Выступает в роли лидера кластера разработки платформы рекомендательных систем дивизиона массовой персонализации.

Окончил Санкт-Петербургский государственный университет в 2004 году, там же защитил кандидатскую по формально-логическим методам в 2007. Почти 9 лет проработал в аутсорсинге, не теряя контакта с университетом и научной средой.

Дмитрий Бугайченко

Управляющий директор в Сбербанке

Андрей Кузнецов

Machine Learning Engineer, Mail.ru Group

В настоящий момент работает в компании Mail.ru Group на позиции Machine Learning Engineer, разрабатывает рекомендательные системы. Ранее 7 лет преподавал ИТ, ИБ и статистику. Кандидат технических наук.

Основной стек технологий и фреймворков:
- Programming Languages: Scala, SQL, Bash, Python;
- BigData: Spark, Hadoop.

Андрей Кузнецов

Machine Learning Engineer, Mail.ru Group

Михаил Марюфич

Старший разработчик, OK.ru

Разрабатывает инфраструктуру для машинного обучения.

Имеет опыт реализации систем машинного обучения от формулировки проблемы до выкатки в промышленную эксплуатацию и дальнейшей поддержки системы.

В профессиональной деятельности превыше всего ценит воспроизводимость результатов и хорошие процессы разработки.

Выступает с докладами на конференциях -- HighLoad++, SmartData, DataFest, etc.

Михаил Марюфич

Старший разработчик, OK.ru

Фаррух Кушназаров

Ping'an- iTutorGroup, Sr. Data Scientist

- к.т.н. по направлению Мат.моделирование и комплекс программ;
- 10+ лет опыта работы в сфере ИТ;
- 5+ лет опыта в проектах машинного обучения, глубокого обучения и искусственного интеллекта в различных областях;
- более 2-х лет педагогического опыта;
- 10+ научных публикаций.

Фаррух Кушназаров

Ping'an- iTutorGroup, Sr. Data Scientist

Кирилл Султанов

Технический руководитель / архитектор в области BigData с более чем 11-летним опытом работы в сфере информационных технологий. Имею опыт работы с различными платформами с акцентом на бэкэндах / больших данных / IoT / облаках (в настоящее время специализируюсь на Azure). Непрерывный стаж работы с BigData 9+ лет. Опыт создания традиционных облачных хранилищ данных, Data Lakes, Lake Houses. На предыдущих проектах плотно работал с системами управления контейнерами и ресурсами: Kubernetes, Docker, Yarn.
Основной стек технологий и фреймворков:
- Programming Languages: Java, Scala, SQL, Bash, Python;
- BigData: Spark, Kafka, Hadoop, Yarn, HDFS, MapReduce, Hive, Spark, Tez, Flume, Sqoop, Zookeeper;
- NoSQL: Cassandra, HBase (Phoenix/Tephra, Kylin);
- Streaming and ETL: Spark, Kafka/Streams, Storm, Flume, StreamSets, NiFi;
- Search: Elasticsearch/ELK;
- Frameworks and Libraries: Netty, Play Framework, Akka, KAA, Tensorflow, Mahout, Sparkling Water (H2O), Mondrian;
- RDBMS: MySQL/MariaDB, Infobright, Microsoft SQL.

Кирилл Султанов

Егор Матешук

CDO AdTech-компании Квант

Последние 6 лет работает с большими данными: строит системы для обработки данных, консультирует по вопросам построения аналитических решений.

До 2018 года руководил отделом инфраструктуры данных в Ostrovok.ru. Затем занимал аналогичную позицию в MaximaTelecom (один из проектов компании - публичная сеть Wi-Fi в метро Москвы). На данный момент является CDO AdTech-компании Квант.
Большой опыт работы с сервисами Hadoop (HDFS, Hive, Impala), оркестраторами (Airflow, Oozie), MPP-базами (Vertica, Kudu, Greenplum) и различными фреймворками для обработки данных (Spark, Flink).

Образование: МФТИ, факультет инноваций и высоких технологий по специальности прикладная математика и физика.

Егор Матешук

CDO AdTech-компании Квант

Максим Мигутин

Более 5-ти лет опыта в индустрии Данных & Аналитики в роли внешнего косультанта (IBM) и in-house лидера Data Engineering и Data Science-проектов (Альфа-Банк, Yum! Brands).
Сферы интересов: построение end-to-end аналитических систем, внедрение инструментов Машинного обучения в промышленную эксплуатацию, Рекомендательные системы, MPP-базы данных.
Образование: МГУ им. Ломоносова, математическая кафедра Экономического факультета

Максим Мигутин

Павел Филонов

Ex-Data Science Manager в Kaspersky

Занимается развитием Data Science команды, которая предоставляет для продуктов и сервисов компании функционал на основе машинного обучения.

В роли Data Scientist участвовал в разработке Kaspersky MLAD и MDR AI Analyst.

В роли разработчика C++ участвовал в создании MaxPatrol SIEM.

В течение многих лет преподает computer science дисциплины в МГТУ ГА.

Автор серии докладов про ML, С++, управление DS проектами и развитии команды. Член ПК конференции C++ Russia.

Павел Филонов

Ex-Data Science Manager в Kaspersky

Преподаватели

Дмитрий Бугайченко

Управляющий директор в Сбербанке

Специалист по работе с большими данными и машинному обучению. В течение 8 лет работал в «Одноклассники.ru». Руководил командой OK Data Lab (лаборатория для исследователей в области big data и machine learning).

Анализ больших данных в Одноклассниках стал уникальным шансом совместить теоретическую подготовку и научный фундамент с разработкой реальных, востребованных продуктов. С 2019 года работает в Сбербанке на должности управляющего директора. Выступает в роли лидера кластера разработки платформы рекомендательных систем дивизиона массовой персонализации.

Окончил Санкт-Петербургский государственный университет в 2004 году, там же защитил кандидатскую по формально-логическим методам в 2007. Почти 9 лет проработал в аутсорсинге, не теряя контакта с университетом и научной средой.

Дмитрий Бугайченко

Управляющий директор в Сбербанке

Андрей Кузнецов

Machine Learning Engineer, Mail.ru Group

В настоящий момент работает в компании Mail.ru Group на позиции Machine Learning Engineer, разрабатывает рекомендательные системы. Ранее 7 лет преподавал ИТ, ИБ и статистику. Кандидат технических наук.

Основной стек технологий и фреймворков:
- Programming Languages: Scala, SQL, Bash, Python;
- BigData: Spark, Hadoop.

Андрей Кузнецов

Machine Learning Engineer, Mail.ru Group

Михаил Марюфич

Старший разработчик, OK.ru

Разрабатывает инфраструктуру для машинного обучения.

Имеет опыт реализации систем машинного обучения от формулировки проблемы до выкатки в промышленную эксплуатацию и дальнейшей поддержки системы.

В профессиональной деятельности превыше всего ценит воспроизводимость результатов и хорошие процессы разработки.

Выступает с докладами на конференциях -- HighLoad++, SmartData, DataFest, etc.

Михаил Марюфич

Старший разработчик, OK.ru

Фаррух Кушназаров

Ping'an- iTutorGroup, Sr. Data Scientist

- к.т.н. по направлению Мат.моделирование и комплекс программ;
- 10+ лет опыта работы в сфере ИТ;
- 5+ лет опыта в проектах машинного обучения, глубокого обучения и искусственного интеллекта в различных областях;
- более 2-х лет педагогического опыта;
- 10+ научных публикаций.

Фаррух Кушназаров

Ping'an- iTutorGroup, Sr. Data Scientist

Кирилл Султанов

Технический руководитель / архитектор в области BigData с более чем 11-летним опытом работы в сфере информационных технологий. Имею опыт работы с различными платформами с акцентом на бэкэндах / больших данных / IoT / облаках (в настоящее время специализируюсь на Azure). Непрерывный стаж работы с BigData 9+ лет. Опыт создания традиционных облачных хранилищ данных, Data Lakes, Lake Houses. На предыдущих проектах плотно работал с системами управления контейнерами и ресурсами: Kubernetes, Docker, Yarn.
Основной стек технологий и фреймворков:
- Programming Languages: Java, Scala, SQL, Bash, Python;
- BigData: Spark, Kafka, Hadoop, Yarn, HDFS, MapReduce, Hive, Spark, Tez, Flume, Sqoop, Zookeeper;
- NoSQL: Cassandra, HBase (Phoenix/Tephra, Kylin);
- Streaming and ETL: Spark, Kafka/Streams, Storm, Flume, StreamSets, NiFi;
- Search: Elasticsearch/ELK;
- Frameworks and Libraries: Netty, Play Framework, Akka, KAA, Tensorflow, Mahout, Sparkling Water (H2O), Mondrian;
- RDBMS: MySQL/MariaDB, Infobright, Microsoft SQL.

Кирилл Султанов

Егор Матешук

CDO AdTech-компании Квант

Последние 6 лет работает с большими данными: строит системы для обработки данных, консультирует по вопросам построения аналитических решений.

До 2018 года руководил отделом инфраструктуры данных в Ostrovok.ru. Затем занимал аналогичную позицию в MaximaTelecom (один из проектов компании - публичная сеть Wi-Fi в метро Москвы). На данный момент является CDO AdTech-компании Квант.
Большой опыт работы с сервисами Hadoop (HDFS, Hive, Impala), оркестраторами (Airflow, Oozie), MPP-базами (Vertica, Kudu, Greenplum) и различными фреймворками для обработки данных (Spark, Flink).

Образование: МФТИ, факультет инноваций и высоких технологий по специальности прикладная математика и физика.

Егор Матешук

CDO AdTech-компании Квант

Максим Мигутин

Более 5-ти лет опыта в индустрии Данных & Аналитики в роли внешнего косультанта (IBM) и in-house лидера Data Engineering и Data Science-проектов (Альфа-Банк, Yum! Brands).
Сферы интересов: построение end-to-end аналитических систем, внедрение инструментов Машинного обучения в промышленную эксплуатацию, Рекомендательные системы, MPP-базы данных.
Образование: МГУ им. Ломоносова, математическая кафедра Экономического факультета

Максим Мигутин

Павел Филонов

Ex-Data Science Manager в Kaspersky

Занимается развитием Data Science команды, которая предоставляет для продуктов и сервисов компании функционал на основе машинного обучения.

В роли Data Scientist участвовал в разработке Kaspersky MLAD и MDR AI Analyst.

В роли разработчика C++ участвовал в создании MaxPatrol SIEM.

В течение многих лет преподает computer science дисциплины в МГТУ ГА.

Автор серии докладов про ML, С++, управление DS проектами и развитии команды. Член ПК конференции C++ Russia.

Павел Филонов

Ex-Data Science Manager в Kaspersky

Необходимые знания

Базовые навыки программирования:
  • управляющие конструкции, циклы, рекурсия;
  • основные структуры данных: массивы, списки, словари, деревья;
  • базовые принципы ООП;
  • знакомство с одним из языков: Python, Java, Scala, C++.
Математика:
  • линейная алгебра: вектора, матрицы и их произведения;
  • матан: производная простых и композитных функций;
  • вычметоды: градиентный спуск, Ньютоновские итерации;
  • теория вероятности: случайные события и величины, математическое ожидание, дисперсия.
Технологии:
  • понимание основ работы вычислительной техники в рамках архитектуры фон Неймана (процессор, память, кэш, подключаемое хранилище);
  • понимание общих принципов реляционных СУБД, знание SQL.
Будет плюсом: знакомство с классическими алгоритмами машинного обучения.
Корпоративное обучение для ваших сотрудников
>
Программа обучения
В процессе обучения вы получите комплексные знания и навыки.
C 27 декабря
Тема 1. Градиентный спуск и линейные модели
Тема 2. Обзор основных методов и метрик машинного обучения
Тема 3. Эволюция подходов работы с данными
Тема 4. Основы программирования на Scala
C 20 января
Тема 5. Распределенные файловые системы
Тема 6. Менеджеры ресурсов в распределенных системах
Тема 7. Эволюция фреймворков массивно-параллельного и распределенного вычисления
Тема 8. Основы Apache Spark 1
Тема 9. Основы Apache Spark 2
C 7 февраля
Тема 10. Перенос МЛ-алгоритмов в распределенную среду
Тема 11. ML в Apache Spark
Тема 12. Разработка собственных блоков для SparkML
Тема 13. Оптимизация гиперпараметров и AutoML
C 21 февраля
Тема 14. Потоковая обработка данных
Тема 15. Сторонние библиотеки для использования со Spark
Тема 16. Spark Streaming
Тема 17. Структурный и непрерывный стриминг в Spark
Тема 18. Альтернативные потоковые фреймворки
C 17 марта
Тема 19. Определение цели МЛ-проекта и предварительный анализ
Тема 20. Долгосрочные ML-цели на примере задачи уменьшения оттока
Тема 21. А/Б тестирование
Тема 22. Дополнительные темы
C 31 марта
Тема 23. Подходы к выводу ML-решений в продакшн
Тема 24. Версионирование, воспроизводимость и мониторинг
Тема 25. Онлайн-сервинг моделей
Тема 26. Паттерны асинхронного потокового ML и ETL
Тема 27. Если надо Python
C 18 апреля
Тема 28. Production Code на Python. Организация и Packaging кода
Тема 29. REST-архитектура: Flask API
Тема 30. Docker: Структура, применение, деплой
Тема 31. Kubernetes, контейнерная оркестрация
Тема 32. MLOPS инструменты для Kubernetes: KubeFlow, Seldon Core. Особенности эксплуатации гетерогенных систем в проме.
Тема 33. Amazon Sagemaker
Тема 34. AWS ML Service
C 23 мая
Тема 35. Нейросети
Тема 36. Распределенное обучение и инференс нейросетей
Тема 37. Градиентный бустинг на деревьях
Тема 38. Обучение с подкреплением
C 6 июня
Тема 39. Выбор темы и организация проектной работы
Тема 40. Консультация по проектам и домашним заданиям
Тема 41. Защита проектных работ
Скачать подробную программу
Выпускной проект
Выпускной проект — возможность закрепить навыки, наработанные в процессе обучения. Вам на выбор будет предоставлено 2 варианта:
  • взять свою задачу и свои данные;

  • разработать и развернуть на Spark рекомендательную систему.

Процесс обучения

Всё обучение проходит онлайн: вебинары, общение с преподавателями и вашей группой в Слаке курса, сдача домашних работ и получение обратной связи от преподавателя.

Вебинары идут дважды в неделю по 2 академических часа (то есть астрономических 1,5 часа). Все вебинары сохраняются и в записи в вашем личном кабинете.

Домашнее задание выдается в среднем по 1 на модуль.
Получить консультацию
Наш специалист свяжется с вами в ближайшее время. Если у вас возникли трудности в выборе курса или проблемы технического плана, то мы с радостью поможем вам.
Спасибо!
Мы получили Вашу заявку, в ближайшее время с Вами свяжется наш менеджер.

После обучения вы


  • получите материалы по всем занятиям (видеозаписи занятий, презентации, примеры кодов);

  • научитесь работать с большими данными в продакшне;

  • сможете использовать Spark, SparkML, Spark Streaming;

  • научитесь адаптировать ML-алгоритмы к распределенной среде и инструментам big data;

  • получите сертификат об окончании курса;

  • получите приглашение пройти собеседование в компаниях-партнерах (в случае успешного обучения на курсе).

Дата выдачи сертификата: 1 июля 2022 года
Ваш сертификат

онлайн-образование

Сертификат №0001

Константин Константинопольский

Успешно закончил курс «MLOps»
Выполнено практических заданий: 16 из 16

Общество с ограниченной ответственностью “Отус Онлайн-Образование”

Город:
Москва

Директор департамента образования
ООО “Отус Онлайн-Образование”
Анна Фирсова

Лицензия на осуществление образовательной деятельности
№ 039825 от 28 декабря 2018 года.

онлайн-образование

Сертификат №0001

Константин Константинопольский

Успешно закончил курс «MLOps»
Выполнено практических заданий: 16 из 16

Общество с ограниченной ответственностью “Отус Онлайн-Образование”

Город:
Москва

Директор департамента образования
ООО “Отус Онлайн-Образование”
Анна Фирсова

Лицензия на осуществление образовательной деятельности
№ 039825 от 28 декабря 2018 года.
Прошедшие открытые вебинары
Открытый вебинар — это настоящее занятие в режиме он-лайн с преподавателем курса, которое позволяет посмотреть, как проходит процесс обучения. В ходе занятия слушатели имеют возможность задать вопросы и получить знания по реальным практическим кейсам.
Интенсив. День 2: Как вывести модель в продакшн с помошью AWS? Практика без сложных настроек системы
Фаррух Кушназаров
День открытых дверей
1 декабря в 20:00
Для доступа к прошедшим мероприятиям необходимо пройти входное тестирование
Возможность пройти вступительное тестирование повторно появится только через 2 недели
Результаты тестирования будут отправлены вам на e-mail, указанный при регистрации.
Тест рассчитан на 30 минут, после начала тестирования отложить тестирование не получится!

Партнеры ждут выпускников этого курса

Стоимость обучения
64 000 ₽
80 000 ₽
Продолжительность
5 месяцев
Начало занятий
27 декабря
🎄 Новогодняя распродажа!
Максимальная скидка на курсы в декабре! Количество мест ограничено.