Тематика кажется очень актуальной по двум причинам. Первая причина - общая: вокруг произошло резкое ускорение создания агентов, в обучении которых участвует RL. Они буквально повсюду, и хочется понимать принципы их работы, чтобы не отставать от развития технологий. Вторая причина - это специфика конкретно моей работы. Я занимаюсь созданием роботов, а в рамках этой области RL используется очень широко для самых разных задач. В обучении понравился большой охват и хороший костяк тем, к которым потом можно было бы вернуться один или несколько раз для детальной проработки. Интересные домашние задания, позволяющие планомерно ознакомиться с различными разделами RL. Курс сильно расширил представления как о самой области, так и о специфике применения RL конкретно в моей сфере, когда разбирался с финальным проектом. Не могу сказать, что какие-то конкретно темы понравились сильно больше остальных. Понятно, что мной был сделан акцент на робототехнике, но это не значит, что другие темы не понравились. Материала более чем достаточно для изучения, поэтому не могу сказать, что чего-то не хватило. В целом если рассуждать о том, как было бы идеально усваивать информацию, то приходит на ум то, что устное взаимодействие с оценивающим, когда он задает вопросы на заданную тему, на мой взгляд, позволяет лучше подготовиться к каждой теме и глубже погрузиться. То есть ситуация очень похожа на обучение в университете и сдачу зачета. С другой стороны, не у всех есть время, чтобы уделить силы глубокому погружению в такие временные сроки. Так что сложно сказать, как было бы идеально.

На момент начала курса у меня было 6 лет опыта в области DS и ML. Сейчас работаю лидом команды ML в ride-hailing компании и занимаюсь задачами в разных направлениях: от классического ML и рекомендательных систем до компьютерного зрения и NLP. На курс Reinforcement Learning пришёл для того, чтобы расширить круг профессиональных компетенций и глубже погрузиться в область, которая активно используется в близкой мне сфере: рекомендации, ценообразование, оптимизация маршрутов, матчинг и т.д. Это уже мой третий курс в Otus (до этого проходил MLOps и Data Engineer), и в очередной раз хочу отметить высокий уровень преподавания. Особенно нравится формат живых вебинаров — никаких предзаписанных лекций, все вопросы можно обсудить с преподавателями и сокурсниками в прямом эфире. Домашние задания тщательно проверялись, фидбэк подробный и по делу. Программа курса хорошо структурирована: подробно разбираются фундаментальные вещи и основные RL-алгоритмы как в теории, так и на практике. Много кода, примеров и домашних заданий, которые позволяют закрепить материал. Особенно ценным было то, что в финальном проекте даётся полная свобода — можно выбрать задачу, близкую к своей сфере, и попробовать применить RL на практике. Обучение дало мне чёткое понимание, как формулировать бизнес-задачи на языке RL, проектировать среды и подбирать алгоритмы под конкретные цели. Единственное, чего бы хотелось — больше внимания аспектам эксплуатации RL-систем в продакшене: архитектура, пайплайны, интеграция с другими системами. Также было бы полезно расширить блок с реальными кейсами — особенно в таких областях, как робототехника, где не всегда хватает примеров готовых проектов. Обучение получилось увлекательным, глубоким и практически ориентированным. Спасибо авторам курса и преподавателям за структурный подход, вовлечённость и готовность делиться опытом.

По образованию я историк, кандидат политических наук, машинное обучение изучал в ИТМО (профессиональная переподготовка). Занимаюсь исследованиями и научными разработками в сфере образования и науки. Есть более 45 научных статей и принимал участие в более чем 100 научных и аналитических проектах. Учился в отусе параллельно с курсом NLP. Курс очень тяжелый, с разбором "под капотом" и математики моделей. Курс нужен для освоения навыков моделирования социально-экономических и политических процессов с помощью обучения с подкреплением. Планирую работать над диссертацией доктора политических наук. Разрабатываю тематику "политическая система как модель машинного обучения" Довольно комфортная и приятная среда обучения. Конечно, "непосильная" для хронического гуманитария математика. В разработке есть пара научных статей. Надеюсь присоединиться к действующим исследовательским и проектным коллективам работающим в сфере экономики, финансов, управления и моделирования сложных процессов - от социальных до киберфизических и финансовых. Хотелось бы добавить больше практики. Курс очень насыщенный, но домашних заданий для набивания руки очень мало. Было бы неплохо для студентов арендовать GPU чтобы учить модельки в облаке на мощных графических процессорах.

Образование — инженер-электромеханик. До обучения успел поработать преподавателем в ВУЗе, ИТ, энергетике, проектировании, АСУТП. В магистратуре выпускной проект был некоторым образом связан с применением нейросетей (использовал для классификации изображений в сортировочной линии), после этого появился интерес в использовании ML в управлении оборудованием. RL в этом отношении показался перспективным, принял решение освоить эту область более системно. Курс, в целом, оправдал ожидания. Получил базу для дальнейшего изучения, практические подходы к использованию. Применять планирую в рамках основной работы.

Я более 10 лет работаю в Data Science в финансовой сфере. Я выбрала курс на тему Reinforcement Learning потому, что хотела развить свои навыки в части оптимизации обучения моделей и попробовать новые методы, помимо классического Machine Learning, а также потому, что тематика курса охватывает задачи, родственные тем, которыми я занимаюсь в своей текущей работе. Обучение в OTUS понравилось тем, что сочетается теория и практика, а также тем, что преподаватели всегда на связи, дают развернутые комментарии по домашним заданиям и проектной работе. Также очень удобно, что все материалы, включая видео с уроков, доступны оперативно и неограниченное время, в т.ч. после окончания курса. Обучение мне дало глубокое понимание развития и текущего состояния RL и практику применения метода в задаче, близкой к реальной рабочей. Уверена, что смогу применить полученные значения в своей текущей работе, что даст мне преимущества в качестве решения стоящих передо мной задач.

Коллеги-преподаватели, спасибо за интересный курс, профессионализм, отзывчивость и готовность помогать и раскрывать темы, которые даже непосредственно с предметом курса и не связаны! Было полезно. Полезный курс, под каждую тему выдаются рабочие ноутбуки (не нужно писать полностью с нуля для выполнения дз — можно использовать в качестве заготовок), отзывчивые преподаватели, готовые ответить на любые вопросы по теме и даже не по теме курса (и специально изучают доп.топики). Много полезных советов по подготовке инфраструктуры, среды. Есть как овервью для общего понимания применимости методов RL, так и технические, практические детали.

Работаю в Акбф, создаю алгоритмические портфели. Курс выбрал, потому что RL —интересные методы, которые можно применять в алготрейдинге. Благодаря обучению узнал много нового, получил знания, которые можно применять в трейдинге. И уже успешно применяю их в своей работе

Работаю Data Scientist. Курс “Reinforcement Learning” выбрал из-за его актуальности и потенциальной необходимости на текущей работе. Понравились домашние задания, так как вынуждают студента самостоятельно писать код и копаться в неочевидных мелочах, что помогает разобраться и закрепить материал. Благодаря курсу я вооружился новыми инструментами для ML и расширил кругозор

Обучение с подкрепление – это сложно понять, а еще сложнее объяснить. Подход подачи, основанный на прикладном использовании - самый подходящий формат для понимания, особенно такого направления как обучение с подкреплением. Авторы курса попытались собрать направления использования обучения с подкреплением и при этом последовательно и логично погружали в тематику. Для меня большой ценностью оказался модуль Advanced, раскрытие продвинутых методов, хотя практики не хватило. На этот курс лучше приходить немного подготовленным, и иметь представление об обучение с подкреплением в целом, и тогда материал будет легче усваиваться. Авторам и организаторам спасибо за путешествие с Reinforcement Learning!

До курса я уже имел некоторый опыт в данной области (проходил в OTUS «Advanced ML»). Поэтому изначальной целью было именно систематизация и углубление уже имеющихся знаний, а также знакомство с продвинутыми темами RL. Считаю, что задачу по углублению знаний выполнить удалось. Первые три модуля курса, где рассматривается базовый RL, проработаны достаточно полно и всесторонне. Обучение выстроено логично, от базовых понятий и определений к более сложным алгоритмам. Четвертый модуль, по продвинутому RL, хотелось бы существенно расширить, внеся в него больше тем и практических занятий востребованных современной индустрией. Для специалистов, которые незнакомы или малознакомы с данной областью ML, курс можно рекомендовать к прохождению. Преподавательский состав очень хороший, особенно Игорь и Артем, которые всегда находили время что-то прокомментировать и ответить на вопросы. Материал выстроен последовательно и логично. Желаю всем будущим участникам удачи в прохождении!

Курс был хороший. Ориентированность на практику и активная поддержка в чате — одни из главных плюсов для меня.

Курс выбрал, потому что было интересно узнать, как я могу применить RL для решения задач в играх - цель достиг. Узнал также, какие алгоритмы RL существуют и в каком случае какой применять. Все преподаватели компетентные, но особо запомнились Игорь и Артем. В целом, курсом доволен.

Много раз я пытался разобраться в обучении с подкреплением, но не мог освоить его. Благодаря преподавателям этого курса я, наконец, преодолел этот барьер непонимания! Было бы замечательно видеть продолжение курса! А также применение машинного обучения на финансовых рынках! Спасибо!

Курс хороший, преподаватели компетентные. Было бы хорошо, если в курс добавили бы актуальные обертки среды выполнения, версии библиотек, работающие в разных ОС. Прохожу в OTUS уже третью программу, здесь хороший состав преподавателей.

Впечатление от курса в целом хорошие. Узнал очень много нового о возможностях и прикладных применениях RL. Курс помог мне расширить кругозор в этой сфере ML и начать собственные разработки в контексте ML agents для Unity и в области финансового анализа. Считаю, что нужно больше практических занятий на курсе. Возможно что-то вроде парного программирования. Отдельно хочется отметить Андрея Маргерта, видно, что он был очень вовлечен в процесс обучения. Также очень доходчиво объясняли материал Игорь Стурейко и Сергей Доронин.