Reinforcement Learning

Научим внедрять RL-алгоритмы на практике в играх, робототехнике, энергетике и финансах

28 июня

Advanced

3 месяца

Онлайн

Вт/Пт 20:00 Мск

Для кого этот курс?

Курс предназначен для DS/DL/ML специалистов, которые хотят погрузиться в алгоритмы обучения с подкреплением. После прохождения курса студенты научатся применять алгоритмы RL для решения разнообразных задач в реальном мире, включая игровую индустрию, робототехнику, управление энергетическими системами и управление финансовым портфелем.

Необходимые знания:

  • базовое знакомство с Python
  • базовые знания линейной алгебры (матрицы, векторы, градиентный спуск)
  • базовые навыки работы с ML (pandas, sklearn, линейная регрессия, логистическая регрессия)

Что вам даст этот курс?

  • Овладеете основными алгоритмами RL, такими как Q-learning, SARSA, Monte Carlo
  • Научитесь строить свои модели среды и обучать агента на своих уникальных условиях
  • Изучите Deep RL и алгоритмы с использованием нейросетей, такие как Deep Q-Network (DQN), Policy Gradient (PG), Deep Deterministic Policy Gradient (DDPG), Actor-Critic, и сможете реализовать их в своих проектах
  • Познакомитесь с продвинутыми темами в Reinforcement Learning, такими как оптимальное управление, методы обучения со скользящим горизонтом, Model-based RL
  • Научитесь применять RL для решения конкретных задач и понимать, как это применение работает на практике

Фокус на практических примерах и проектной работе. Студенты получат необходимые знания для реализации RL алгоритмов в своих собственных проектах и приложениях.

NOTE! По итогу большинства вебинаров вы получаете Jupyter Notebook с разбором практического кейса по материалам занятий.

Почему стоит освоить?


RL находит применение в совершенно разных областях: беспилотниках, автоматизации на производстве, трейдинге и финансах, в здравоохранении, в новостных лентах и для инженерных разработок.

Процесс обучения

Обучение проходит онлайн: вебинары, общение с преподавателями и вашей группой в Telegram, сдача домашних работ и получение обратной связи от преподавателя.

Вебинары проводятся 2 раза в неделю по 2 ак. часа и сохраняются в записи в личном кабинете. Вы можете посмотреть их в любое удобное для вас время. 

В ходе обучения вы будете выполнять домашние задания. Каждое из них посвящено одному из компонентов вашего выпускного проекта.

После выполнения всех домашних заданий вы получите готовый выпускной проект.

Оптимальная нагрузка

Возможность совмещать учебу с работой.

Эксперты


Преподаватели из разных сфер, каждый со своим уникальным опытом.

Перспективы


Получите знания, которые помогут повысить вашу востребованность и доход.

Трудоустройство

Многие студенты еще во время прохождения первой части программы находят или меняют работу, а к концу обучения могут претендовать на повышение в должности.
  • Получите помощь с оформлением резюме, портфолио и сопроводительного письма.
  • Получите рекомендации, как искать работу, и советы по прохождению собеседования.
Формат обучения

Интерактивные вебинары


2 занятия по 2 ак.часа в неделю.
Доступ к записям и материалам остается навсегда.

Обратная связь


Домашние задания с поддержкой и обратной связью наших преподавателей помогут освоить изучаемые технологии.

Активное комьюнити


Чат в Telegram для общения преподавателей и студентов.

Программа

Введение в Reinforcement Learning

Модуль начинается с общего введения, охватывает ключевые особенности обучения с подкреплением, основные алгоритмы. Вы рассмотрите, как построить модель окружения и агента, и примените свои знания на простых сценариях.

Тема 1: Знакомство с Reinforcement Learning

Тема 2: Ключевые понятия RL: агент, среда, награда, политика. Построение среды

Тема 3: Основные алгоритмы RL: Value based

Тема 4: Основные алгоритмы RL: Policy based

Deep Reinforcement Learning

В этом модуле вы рассмотрите введение в глубокое обучение с подкреплением, которое объясняет значимость глубоких Q-сетей, представляет алгоритмы на основе политик. Затем объединяет методы на основе политик и значений с использованием алгоритма Actor-Critic. И, наконец, охватывает то, как нейронные сети могут использоваться для аппроксимации функций вознаграждения и политик.

Тема 1: Введение в Deep Reinforcement Learning

Тема 2: Deep Q-Network (DQN) алгоритм

Тема 3: Deep Policy Gradient (PG) алгоритм

Тема 4: Actor-Critic алгоритм

Тема 5: TRPO -> PPO

Тема 6: DDPG -> TD3 -> LSTM-TD3

Advanced Reinforcement Learning

Модуль содержит более сложные темы и глубже раскрывает пройденный материал. Здесь рассматривается применение алгоритмов к более сложным ситуациям, например наличие фиксированных правил (model-based) или взаимодействие нескольких агентов между собой для достижения общей темы.

Тема 1: Обучение с использованием модели среды (model-based rl)

Тема 2: Model-based, часть 2

Тема 3: Иерархическое обучение с подкреплением

Тема 4: Выбор темы и организация проектной работы

Тема 5: Многоагентное обучение и кооперация агентов

Применение RL в реальных задачах

Модуль посвящен обзору практических примеров применения RL. Вы познакомитесь с игровой индустрией и рассмотрите какие задачи здесь можно решать с помощью RL. Поговорите о робототехнике, поймете какое применение RL находит в рекомендательных системах и более подробно рассмотрите финансовые модели на примере задачи балансировки портфеля активов и задачи кредитного скоринга.

Тема 1: Применение RL в игровой индустрии

Тема 2: Применение RL в робототехнике

Тема 3: RL в рекомендательных системах

Тема 4: RL в задаче скоринга

Тема 5: Применение RL в управлении финансовым портфелем

Проектная работа

Заключительный месяц курса посвящен проектной работе. Свой проект — это то, над чем интересно поработать слушателю. То, что можно создать на основе знаний, полученных на курсе. При этом не обязательно закончить его за месяц. В процессе написания по проекту можно получить консультации преподавателей.

Тема 1: Консультация по проектам и домашним заданиям

Тема 2: Предзащита

Тема 3: Защита проектных работ. Подведение итогов курса

Также вы можете получить полную программу, чтобы убедиться, что обучение вам подходит

Выпускной проект


Последний месяц отводится для проектной работы. Студенты могут выбрать одну из сфер, где будут реализовывать алгоритмы обучения с подкреплением:

Преподаватели

Руководитель курса

Игорь Стурейко

(к.ф.-м.н.) Teamlead, главный инженер

FinTech

Анатолий Чудаков

Team Lead

Онлайн-кинотеатр Wink

Артём Голубин

Senior Data Scientist

ПАО "Сбербанк"

Сергей Доронин

Ведущий инженер-программист

ЗАО Астраханские Цифровые Технологии

Андрей Канашов

Senior Data Scientist

Самолет

Андрей Канашов

Senior Data Scientist

Самолет

Эксперты-практики делятся опытом, разбирают кейсы студентов и дают развернутый фидбэк на домашние задания

Ближайшие мероприятия

Открытый вебинар — это настоящее занятие в режиме он-лайн с преподавателем курса, которое позволяет посмотреть, как проходит процесс обучения. В ходе занятия слушатели имеют возможность задать вопросы и получить знания по реальным практическим кейсам.

Применение нейросетевых моделей в обучении с подкреплением
Игорь Стурейко
На занятии вы познакомитесь с тем как применять нейросети для решения задач обучения с подкреплением.

Мы рассмотрим в чем проявляются недостатки классических алгоритмов и как нейросети помогают их решить.

Посмотрим, как реализовать алгоритм Q-learning на базе нейросети и какие возможности перед нами открывает это решение. Поговорим о различных видах функции потерь и сформируем реализацию для алгоритма DQN (Deep Q-learning).

В заключении рассмотрим какие дополнительные условия предъявляются к архитектуре нейросети, моделирующей поведение агента в алгоритме DQN.
...
13 июня в 17:00
Открытый вебинар
Построение торгового агента на базе фремворка FinRL
Игорь Стурейко
Моделировать финансовый рынок задача непростая, а когда мы хотим обучить торгового агента для эффективной работы, она становится непосильной для одного человека. Так что же, удел обычных людей только идти на поводу крупных корпораций, готовых содержать штат высококлассных программистов?

Конечно нет. Мир полон свободных инструментов, помогающих нам использовать опыт и наработки гигантов индустрии. Не надо изобретать велосипед, или быть Генри Фордом, чтобы ездить на автомобиле.

На занятии мы посмотрим на один из свободно распространяемых фреймворков для моделирования финансового рынка.

Этот фреймфорк предлагает реализованные алгоритмы обучения с подкреплением для разработки своего собственного торгового агента. Вам не придется разбираться с тонкостями программирования нейросетей и реализаций сложных математических концепций. Вы сосредоточитесь на финансовой стратегии, а детали реализации алгоритма фреймворк возьмет на себя.

К концу урока вы узнаете, как реализовать модель финансового рынка и построить торгового агента в несколько строк кода с использованием специализированного фрейворка FinRL.

Для кого будет полезен этот урок: инвесторы, финансисты, DS/ML/DL специалисты, IT-специалисты, которые хотят погрузиться в обучение с подкреплением.
...
17 июня в 17:00
Открытый вебинар

Прошедшие
мероприятия

Игорь Стурейко
Открытый вебинар
Применение фреймворка FinRL для моделирования торгового агента
Игорь Стурейко
Открытый вебинар
Применение обучения с подкреплением на финансовых рынках
Оставьте заявку, чтобы получить доступ ко всем записям прошедших мероприятий. Записи всех мероприятий появятся в этом блоке

Корпоративное обучение для ваших сотрудников

Отус помогает развивать высокотехнологичные Команды. Почему нам удаётся это делать успешно:
  • Курсы OTUS верифицированы крупными игроками ИТ-рынка и предлагают инструменты и практики, актуальные на данный момент
  • Студенты работают в группах, могут получить консультации не только преподавателей, но и профессионального сообщества
  • OTUS проверяет знания студентов перед стартом обучения и после его завершения
  • Простой и удобный личный кабинет компании, в котором можно видеть статистику по обучению сотрудников
  • Сертификат нашего выпускника за 5 лет стал гарантом качества знаний в обществе
  • OTUS создал в IT более 120 курсов по 7 направлениям, линейка которых расширяется по 40-50 курсов в год

Отзывы

Татьяна Воронич

27.03.2024
Обучение с подкрепление – это сложно понять, а еще сложнее объяснить. Подход подачи, основанный на прикладном использовании - самый подходящий формат для понимания, особенно такого направления как обучение с подкреплением. Авторы курса попытались собрать направления использования обучения с подкреплением и при этом последовательно и логично погружали в тематику. Для меня большой ценностью оказался модуль Advanced, раскрытие продвинутых методов, хотя практики не хватило. На этот курс лучше приходить немного подготовленным, и иметь представление об обучение с подкреплением в целом, и тогда материал будет легче усваиваться. Авторам и организаторам спасибо за путешествие с Reinforcement Learning!

Денис Успенский

25.03.2024
До курса я уже имел некоторый опыт в данной области (проходил в OTUS «Advanced ML»). Поэтому изначальной целью было именно систематизация и углубление уже имеющихся знаний, а также знакомство с продвинутыми темами RL. Считаю, что задачу по углублению знаний выполнить удалось. Первые три модуля курса, где рассматривается базовый RL, проработаны достаточно полно и всесторонне. Обучение выстроено логично, от базовых понятий и определений к более сложным алгоритмам. Четвертый модуль, по продвинутому RL, хотелось бы существенно расширить, внеся в него больше тем и практических занятий востребованных современной индустрией. Для специалистов, которые незнакомы или малознакомы с данной областью ML, курс можно рекомендовать к прохождению. Преподавательский состав очень хороший, особенно Игорь и Артем, которые всегда находили время что-то прокомментировать и ответить на вопросы. Материал выстроен последовательно и логично. Желаю всем будущим участникам удачи в прохождении!

Роман Скоромный

25.03.2024
Курс был хороший. Ориентированность на практику и активная поддержка в чате — одни из главных плюсов для меня.

Ivan Priz

22.03.2024
Курс выбрал, потому что было интересно узнать, как я могу применить RL для решения задач в играх - цель достиг. Узнал также, какие алгоритмы RL существуют и в каком случае какой применять. Все преподаватели компетентные, но особо запомнились Игорь и Артем. В целом, курсом доволен.

Dennis Piskovatskov

15.03.2024
Много раз я пытался разобраться в обучении с подкреплением, но не мог освоить его. Благодаря преподавателям этого курса я, наконец, преодолел этот барьер непонимания! Было бы замечательно видеть продолжение курса! А также применение машинного обучения на финансовых рынках! Спасибо!

Антон Дорогов

24.11.2023
Курс хороший, преподаватели компетентные. Было бы хорошо, если в курс добавили бы актуальные обертки среды выполнения, версии библиотек, работающие в разных ОС. Прохожу в OTUS уже третью программу, здесь хороший состав преподавателей.

Сергей Ковальчук

02.11.2023
Впечатление от курса в целом хорошие. Узнал очень много нового о возможностях и прикладных применениях RL. Курс помог мне расширить кругозор в этой сфере ML и начать собственные разработки в контексте ML agents для Unity и в области финансового анализа. Считаю, что нужно больше практических занятий на курсе. Возможно что-то вроде парного программирования. Отдельно хочется отметить Андрея Маргерта, видно, что он был очень вовлечен в процесс обучения. Также очень доходчиво объясняли материал Игорь Стурейко и Сергей Доронин.

Сертификат о прохождении курса

OTUS осуществляет лицензированную образовательную деятельность.
В конце обучения вы получите сертификат OTUS о прохождении курса

После обучения вы:

  • заберете с собой полный комплект обучающих материалов: видеозаписи всех вебинаров, презентации к занятиям и другие дополнительные материалы
  • получите все необходимые навыки для работы с алгоритмами обучения с подкреплением
  • пополните свое портфолио новыми работами для будущего работодателя
  • получите сертификат о прохождении курса

Частые вопросы

Почему стоит выбрать именно этот курс среди других?
Программа курса Reinforcement Learning уникальна и разработана была на базе успешно выполненных задач данным методом (разработчиком программы выступили Андрей Маргерт и Игорь Стурейко).
Обязательно ли выполнять и защищать выпускной проект?
Для получения сертификата OTUS и УПК (удостоверение повышения квалификации государственного образца) необходимо сдать проект. Кроме того, проект необязательно защищать перед аудиторией, а можно сдать в чате с преподавателем. Для получения УПК также понадобится предъявить документ об образовании.
Обязательно ли выполнять все домашние задания?
Нет, не обязательно. Но выполнение домашних заданий поможет вам разобраться в материале курса, поэтому хотя бы часть домашних заданий стоит выполнить. При выполнении или сдаче домашнего задания, вы можете задать вопрос преподавателям, если где-то возник вопрос.
Смогу ли я совмещать учебу с работой?
Да, программа курса рассчитана на то, что студент имеет ограниченный временной ресурс. 1 раз в модуль будут выдаваться домашние задания, а лекции 2 раза в неделю, которые вы всегда можете посмотреть в записи.
Что, если в середине курса я не смогу продолжать обучение?
У вас есть право одного бесплатного трансфера в другую группу. И лекции курса в любом случае у вас останутся в личном кабинете навсегда. Также есть отдельные опции по сдаче домашних заданий даже после окончания программы курса.
Может ли мой работодатель оплатить курс?
Конечно, мы работаем с юр. лицами. При общении с менеджером уточните, что оплачивать будет ваш работодатель.
Почему стоит выбрать учебу в Otus?
Образовательная экспертиза Otus доказана более 6 лет успешной специализации на обучении в IT. Наша фишка — продвинутые программы для специалистов с опытом и быстрый запуск курсов по новым набирающим популярность технологиям. Мы уже обучили более 20 000 студентов, и будем рады помочь освоить вам новые навыки.
Остались вопросы?
Оставляйте заявку и задавайте вопросы менеджеру, команда курса с ним на связи и постарается дать вам дать исчерпывающую информацию.