⚡Подписка от OTUS!
Собери свой пул курсов на выгодных условиях. Подробности в чате →
Собери свой пул курсов на выгодных условиях. Подробности в чате →
Специальная цена
Промышленный ML на больших данных
Единственный в России практический курс по инструментам и технологиям работы с большими данными.
Длительность обучения:
Формат:
Начало занятий:
5 месяцев
,
4
ак. часа
в
нед.
Online
В марте
Что даст вам этот курс
Вы освоите все необходимые навыки машинного обучения для потоковых данных и распределенной среды. В программу включены необходимые знания из областей Data Science и Data Engineering, которые позволят вам обрабатывать большие данные и писать распределенные алгоритмы на Spark.
Каждый модуль вы будете закреплять на практике, выполняя домашнее задание. В конце обучения вас ждет финальный проект, который позволит обобщить все полученные знания и пополнить портфолио. Он может быть выполнен в рамках рабочих задач на вашем датасете или быть учебным проектом, основанным на данных, предоставляемых OTUS.
Для кого этот курс?
- Для специалистов по Машинному обучению или Software инженеров, которые хотят научиться работать с большими данными. Обычно такие задачи имеются в крупных IT-компаниях с масштабным цифровым продуктом.
- Для Data Scientist, которые хотят усилить свой скиллсет инженерными навыками. Благодаря курсу вы будете уметь обрабатывать данные и самостоятельно выводить результаты ML-решений в продакшн.
Для обучения вам понадобятся базовые навыки работы с данными. Предлагаем посмотреть Карту курсов направления Data Science в OTUS, чтобы сориентироваться в необходимом уровне подготовки.
Вы научитесь:
- Использовать стандартные инструменты ML-конвейеров в распределенной среде;
- Разрабатывать собственные блоки для ML-конвейеров;
- Адаптировать ML-алгоритмы к распределенной среде и инструментам big data;
- Использовать Spark, SparkML, Spark Streaming;
- Разрабатывать алгоритмы потоковой подготовки данных для машинного обучения;
- Обеспечивать контроль качества на всех этапах движения ML-решений в промышленную эксплуатацию.
Востребованность специалистов
Навыки, которые вы освоите, максимально прикладные и перспективные. На рынке появляется все больше цифровых продуктов, для развития которых необходима работа с большими данными и потоковую обработку. Уже сейчас специалисты с таким пулом навыков и некоторым опытом работы могут претендовать на зарплату от 270 тыс. рублей.
Другой тренд — автоматизация процессов обучения и валидации, напротив, в некотором роде обесценивает работу классического Data Scientist. Все движется к тому, что даже неспециалист сможет сделать fit-predict. Поэтому уже сейчас в цене те, кто имеют хотя бы поверхностные инженерные навыки.
Особенности курса
Много практики работы с данными
Широкий спектр навыков от распределенного ML и потоковой обработки данных до вывода в продакшн
Актуальные инструменты и технологии: Scala, Spark, Python, Docker
Живое общение с экспертами на вебинарах и в чате Slack
Преподаватели
Необходимые знания
Базовые навыки программирования:
- управляющие конструкции, циклы, рекурсия;
- основные структуры данных: массивы, списки, словари, деревья;
- базовые принципы ООП;
- знакомство с одним из языков: Python, Java, Scala, C++.
- линейная алгебра: вектора, матрицы и их произведения;
- матан: производная простых и композитных функций;
- вычметоды: градиентный спуск, Ньютоновские итерации;
- теория вероятности: случайные события и величины, математическое ожидание, дисперсия.
- понимание основ работы вычислительной техники в рамках архитектуры фон Неймана (процессор, память, кэш, подключаемое хранилище);
- понимание общих принципов реляционных СУБД, знание SQL.
Корпоративное обучение для ваших сотрудников
Поможем вашей компании развивать команду! Этот и еще 60+
курсов для IT-специалистов таких направлений, как:
программирование, тестирование, администрирование,
информационная безопасность, управление и Data Science.
300 компаний уже обучают у нас сотрудников.
>
Программа обучения
В процессе обучения вы получите комплексные знания и навыки.
Тема 1.
Градиентный спуск и линейные модели
Тема 2.
Обзор основных методов и метрик машинного обучения
Тема 3.
Основы программирования на Scala
Тема 4.
Распределенные хранилища
Тема 5.
Эволюция параллельных алгоритмов
Тема 6.
Эволюция фреймворков массивно-параллельного и распределенного вычисления
Тема 7.
Менеджеры ресурсов в распределенных системах
Тема 8.
Основы Apache Spark 1
Тема 9.
Основы Apache Spark 2
Тема 10.
Перенос МЛ-алгоритмов в распределенную среду
Тема 11.
ML в Apache Spark
Тема 12.
Разработка собственных блоков для SparkML
Тема 13.
Оптимизация гиперпараметров и AutoML
Тема 14.
Потоковая обработка данных
Тема 15.
Spark Streaming
Тема 16.
Сторонние библиотеки для использования со Spark
Тема 17.
Структурный и непрерывный стриминг в Spark
Тема 18.
Альтернативные потоковые фреймворки
C 22 января
Тема 19.
Определение цели МЛ-проекта и предварительный анализ
Тема 20.
Долгосрочные ML-цели на примере задачи уменьшения оттока
Тема 21.
А/Б тестирование
Тема 22.
Дополнительные темы
C 5 февраля
Тема 23.
Подходы к выводу ML-решений в продакшн
Тема 24.
Версионирование, воспроизводимость и мониторинг
Тема 25.
Онлайн-сервинг моделей
Тема 26.
Паттерны асинхронного потокового ML и ETL
Тема 27.
Если надо Python
Тема 28.
Альтернативные фреймворки с поддержкой Python и область применимости Dask, KubeFlow, Seldon Core, H2O. Особенности эксплуатации гетерогенных систем в проме
C 5 марта
Тема 29.
Production Code на Python. Организация и Packaging кода
Тема 30.
REST-архитектура: Flask API
Тема 31.
Docker: Структура, применение, деплой
Тема 32.
Amazon Sagemaker
Тема 33.
AWS ML Service
C 23 марта
Тема 34.
Нейросети
Тема 35.
Распределенное обучение и инференс нейросетей
Тема 36.
Градиентный бустинг на деревьях
Тема 37.
Обучение с подкреплением
C 6 апреля
Тема 38.
Выбор темы и организация проектной работы
Тема 39.
Консультация по проектам и домашним заданиям
Тема 40.
Защита проектных работ
Скачать подробную программу
Выпускной проект
Выпускной проект — возможность закрепить навыки, наработанные в процессе обучения. Вам на выбор будет предоставлено 2 варианта:
- взять свою задачу и свои данные;
- разработать и развернуть на Spark рекомендательную систему.
Процесс обучения
Всё обучение проходит онлайн: вебинары, общение с преподавателями и вашей группой в Слаке курса, сдача домашних работ и получение обратной связи от преподавателя.
Вебинары идут дважды в неделю по 2 академических часа (то есть астрономических 1,5 часа). Все вебинары сохраняются и в записи в вашем личном кабинете.
Домашнее задание выдается в среднем по 1 на модуль.
Вебинары идут дважды в неделю по 2 академических часа (то есть астрономических 1,5 часа). Все вебинары сохраняются и в записи в вашем личном кабинете.
Домашнее задание выдается в среднем по 1 на модуль.
Получить консультацию
Наш
специалист
свяжется
с вами в ближайшее время. Если у вас возникли трудности в
выборе
курса или проблемы технического плана, то мы с радостью
поможем
вам.
После обучения вы
- получите материалы по всем занятиям (видеозаписи занятий, презентации, примеры кодов);
- научитесь работать с большими данными в продакшне;
- сможете использовать Spark, SparkML, Spark Streaming;
- научитесь адаптировать ML-алгоритмы к распределенной среде и инструментам big data;
- получите сертификат об окончании курса;
- получите приглашение пройти собеседование в компаниях-партнерах (в случае успешного обучения на курсе).
Дата выдачи сертификата: 1 октября 2021 года
Ваш сертификат
онлайн-образование
Сертификат №0001
Константин Константинопольский
Успешно закончил курс «Промышленный ML на больших данных»
Выполнено практических заданий: 16 из 16
Общество с ограниченной ответственностью “Отус Онлайн-Образование”
Город:
Москва
Генеральный директор ООО “Отус Онлайн-Образование”
Виталий Чибриков
Лицензия на осуществление образовательной деятельности
№ 039825 от 28 декабря 2018 года.
№ 039825 от 28 декабря 2018 года.
Прошедшие открытые вебинары
Открытый вебинар — это настоящее занятие в режиме он-лайн с
преподавателем курса, которое позволяет
посмотреть, как проходит процесс обучения. В ходе занятия
слушатели имеют возможность задать вопросы и
получить знания по реальным практическим кейсам.
Вывод ML моделей в промышленную среду на примере онлайн-рекомендаций
Дмитрий Бугайченко
День открытых дверей
1 октября 2020 года в 20:00
Для доступа к прошедшим мероприятиям необходимо
пройти входное тестирование
Возможность пройти вступительное тестирование
повторно появится только через 2 недели
Результаты тестирования будут отправлены вам на
e-mail, указанный при регистрации.
Тест рассчитан на 30 минут, после начала
тестирования отложить тестирование не
получится!
Напомнить пройти тест
