Специальная цена
Reinforcement Learning
Научим внедрять RL-алгоритмы на практике в играх, робототехнике, энергетике и финансах
27 декабря
Advanced
3 месяца
Онлайн
Вт/Пт 20:00 Мск
Для кого этот курс?
Курс предназначен для DS/DL/ML специалистов, которые хотят погрузиться в алгоритмы обучения с подкреплением. После прохождения курса студенты научатся применять алгоритмы RL для решения разнообразных задач в реальном мире, включая игровую индустрию, робототехнику, управление энергетическими системами и управление финансовым портфелем.
Необходимые знания:
- базовое знакомство с Python
- базовые знания линейной алгебры (матрицы, векторы, градиентный спуск)
- базовые навыки работы с ML (pandas, sklearn, линейная регрессия, логистическая регрессия)
Что вам даст этот курс?
- Овладеете основными алгоритмами RL, такими как Q-learning, SARSA, Monte Carlo
- Научитесь строить свои модели среды и обучать агента на своих уникальных условиях
- Изучите Deep RL и алгоритмы с использованием нейросетей, такие как Deep Q-Network (DQN), Policy Gradient (PG), Deep Deterministic Policy Gradient (DDPG), Actor-Critic, и сможете реализовать их в своих проектах
- Познакомитесь с продвинутыми темами в Reinforcement Learning, такими как оптимальное управление, методы обучения со скользящим горизонтом, Model-based RL
- Научитесь применять RL для решения конкретных задач и понимать, как это применение работает на практике
Фокус на практических примерах и проектной работе. Студенты получат необходимые знания для реализации RL алгоритмов в своих собственных проектах и приложениях.
NOTE! По итогу большинства вебинаров вы получаете Jupyter Notebook с разбором практического кейса по материалам занятий.
Почему стоит освоить?
RL находит применение в совершенно разных областях: беспилотниках, автоматизации на производстве, трейдинге и финансах, в здравоохранении, в новостных лентах и для инженерных разработок.
Процесс обучения
Обучение проходит онлайн: вебинары, общение с преподавателями и вашей группой в Telegram, сдача домашних работ и получение обратной связи от преподавателя.
Вебинары проводятся 2 раза в неделю по 2 ак. часа и сохраняются в записи в личном кабинете. Вы можете посмотреть их в любое удобное для вас время.
В ходе обучения вы будете выполнять домашние задания. Каждое из них посвящено одному из компонентов вашего выпускного проекта.
После выполнения всех домашних заданий вы получите готовый выпускной проект.
Оптимальная нагрузка
Возможность совмещать учебу с работой.Эксперты
Преподаватели из разных сфер, каждый со своим уникальным опытом.
Перспективы
Получите знания, которые помогут повысить вашу востребованность и доход.
Партнеры
- Получите помощь с оформлением резюме, портфолио и сопроводительного письма.
- Получите рекомендации, как искать работу, и советы по прохождению собеседования.
Формат обучения
Интерактивные вебинары
2 занятия по 2 ак.часа в неделю.
Доступ к записям и материалам остается навсегда.
Обратная связь
Домашние задания с поддержкой и обратной связью наших преподавателей помогут освоить изучаемые технологии.
Активное комьюнити
Чат в Telegram для общения преподавателей и студентов.
Программа
Введение в Reinforcement Learning
Модуль начинается с общего введения, охватывает ключевые особенности обучения с подкреплением, основные алгоритмы. Вы рассмотрите, как построить модель окружения и агента, и примените свои знания на простых сценариях.
Тема 1: Знакомство с Reinforcement Learning
Тема 2: Ключевые понятия RL: агент, среда, награда, политика. Построение среды
Тема 3: Основные алгоритмы RL: Value based
Тема 4: Основные алгоритмы RL: Policy based
Deep Reinforcement Learning
В этом модуле вы рассмотрите введение в глубокое обучение с подкреплением, которое объясняет значимость глубоких Q-сетей, представляет алгоритмы на основе политик. Затем объединяет методы на основе политик и значений с использованием алгоритма Actor-Critic. И, наконец, охватывает то, как нейронные сети могут использоваться для аппроксимации функций вознаграждения и политик.
Тема 1: Введение в Deep Reinforcement Learning
Тема 2: Deep Q-Network (DQN) алгоритм
Тема 3: Deep Policy Gradient (PG) алгоритм
Тема 4: Actor-Critic алгоритм
Тема 5: TRPO -> PPO
Тема 6: DDPG -> TD3 -> LSTM-TD3
Advanced Reinforcement Learning
Модуль содержит более сложные темы и глубже раскрывает пройденный материал. Здесь рассматривается применение алгоритмов к более сложным ситуациям, например наличие фиксированных правил (model-based) или взаимодействие нескольких агентов между собой для достижения общей темы.
Тема 1: Обучение с использованием модели среды (model-based rl)
Тема 2: Model-based, часть 2
Тема 3: Иерархическое обучение с подкреплением
Тема 4: Выбор темы и организация проектной работы
Тема 5: Многоагентное обучение и кооперация агентов
Тема 6: Трансформеры в RL: decision transformers и action transformers
Применение RL в реальных задачах
Модуль посвящен обзору практических примеров применения RL. Вы познакомитесь с игровой индустрией и рассмотрите какие задачи здесь можно решать с помощью RL. Поговорите о робототехнике, поймете какое применение RL находит в рекомендательных системах и более подробно рассмотрите финансовые модели на примере задачи балансировки портфеля активов и задачи кредитного скоринга.
Тема 1: Применение RL в игровой индустрии
Тема 2: Применение RL в робототехнике
Тема 3: RL в рекомендательных системах
Тема 4: RL в задаче скоринга
Тема 5: Применение RL в управлении финансовым портфелем
Проектная работа
Заключительный месяц курса посвящен проектной работе. Свой проект — это то, над чем интересно поработать слушателю. То, что можно создать на основе знаний, полученных на курсе. При этом не обязательно закончить его за месяц. В процессе написания по проекту можно получить консультации преподавателей.
Тема 1: Консультация по проектам и домашним заданиям
Тема 2: Предзащита
Тема 3: Защита проектных работ. Подведение итогов курса
Также вы можете получить полную программу, чтобы убедиться, что обучение вам подходит
Выпускной проект
Последний месяц отводится для проектной работы. Студенты могут выбрать одну из сфер, где будут реализовывать алгоритмы обучения с подкреплением:
- игровая индустрия
- <робототехника
- управление энергетическими системами
- управление финансовым портфелем
- Построение RecSys на основе алгоритмов машинного обучения с подкреплением (YouTube)
Преподаватели
Эксперты-практики делятся опытом, разбирают кейсы студентов и дают развернутый фидбэк на домашние задания
Ближайшие мероприятия
Открытый вебинар — это настоящее занятие в режиме он-лайн с преподавателем курса, которое позволяет посмотреть, как проходит процесс обучения. В ходе занятия слушатели имеют возможность задать вопросы и получить знания по реальным практическим кейсам.
- Сильные и слабые стороны алгоритмов классического rl и deep rl.
- Постановку задачи о многоруком бандите для классического и deep rl
- Подходы к применению задачи о многоруком бандите для разработки рекомендательных систем.
Вебинар будет полезен: разработчикам рекомендательных систем и всем, кто интересуется обучением с подкреплением
После вебинара вы сможете:
- Понимать ключевые отличия классического от deep rl
- Находить точки применения rl в рекомендательных системах
- декомпозировать продуктовую задачу до пайплайна машинного обучения
- вспомним о теории игр и равновесии Нэша.
- поговорим о том какие алгоритмы обучения с подкреплением применимы к стохастическим играм
- реализуем один из них в коде и обучим наших агентов взаимодействовать друг с другом.
Вебинар будет полезен:
мл инженерам, которые занимаются разработкой игр, игровых сред и сценариев. Так же вебинар будет полезен всем кто интересуется сложными темами многоагентного обучения и сценариев взаимодействия агентов.
После вебинара вы сможете:
- сформулировать условие равновесия Нэша;
- понять какие алгоритмы обучения с подкреплением применимы в той или иной ситуации;
- получите ноутбук с кодом практического примера реализации алгоритма и поймете как запустить его в игровой среде.
Прошедшие
мероприятия
Корпоративное обучение для ваших сотрудников
- Курсы OTUS верифицированы крупными игроками ИТ-рынка и предлагают инструменты и практики, актуальные на данный момент
- Студенты работают в группах, могут получить консультации не только преподавателей, но и профессионального сообщества
- OTUS проверяет знания студентов перед стартом обучения и после его завершения
- Простой и удобный личный кабинет компании, в котором можно видеть статистику по обучению сотрудников
- Сертификат нашего выпускника за 5 лет стал гарантом качества знаний в обществе
- OTUS создал в IT более 120 курсов по 7 направлениям, линейка которых расширяется по 40-50 курсов в год
Отзывы
Сертификат о прохождении курса
OTUS осуществляет лицензированную образовательную деятельность.
В конце обучения вы получите сертификат OTUS о прохождении курса
После обучения вы:
- заберете с собой полный комплект обучающих материалов: видеозаписи всех вебинаров, презентации к занятиям и другие дополнительные материалы
- получите все необходимые навыки для работы с алгоритмами обучения с подкреплением
- пополните свое портфолио новыми работами для будущего работодателя
- получите сертификат о прохождении курса
Reinforcement Learning
Стоимость в рассрочку со скидкой
Стоимость указана для оплаты физическими лицами
вычета до 13% стоимости обучения. Оставьте заявку и менеджер вас проконсультирует
+7 499 938-92-02 бесплатно