Не смотрите на этот баннер
Не смотрите на этот баннер
Если не хотите получить скидку 5% на все курсы. 19 октября акция закончится — выбирайте курс с выгодой уже сейчас
Если не хотите получить скидку 5% на все курсы. 19 октября акция закончится — выбирайте курс с выгодой уже сейчас
Получить скидку 5%

Специальная цена

AgentOps: эксплуатация ИИ-агентов

30 октября

3 месяца

Онлайн

Пн/Ср 20:00 Мск

Для кого этот курс?

  • Для AI / LLM-инженеров и ML-инженеров, которые разрабатывают AI-агентов и хотят научиться контролировать их качество, стабильность и безопасность после выхода в production
  • Для MLOps / DevOps / SRE / Platform-инженеров, которым необходимо развертывать, мониторить и поддерживать AI-агентов и расследовать связанные с ними инциденты
  • Для AI Tech Lead / AI-архитекторов, которые отвечают за эксплуатацию AI-решений 


Необходимые знания

  • Уверенное владение Python и опыт разработки программных систем.
  • Базовое понимание принципов работы LLM и AI-агентов: промпты, вызов инструментов, RAG, контекст и многошаговое выполнение задач.
  • Опыт работы с Git на уровне уверенного пользователя.
  • Базовое понимание принципов развёртывания и эксплуатации приложений: API, клиент-серверная архитектура, логи, мониторинг.
  • Будет плюсом опыт работы с AI/LLM-приложениями или агентами в production.
  • Будет плюсом знакомство с MLOps / DevOps / SRE-практиками, CI/CD, контейнеризацией и системами мониторинга.

Что даст вам этот курс?

Глубокое понимание эксплуатации AI-агентов в production, практическая работа с инструментами мониторинга и оценки качества, разбор реальных сценариев сбоев - вы научитесь не просто запускать AI-агентов, а понимать, как они работают после запуска, почему ошибаются и как обеспечить их стабильность и безопасность.

После обучения вы:

  • Сможете настраивать мониторинг и трассировку AI-агентов, анализировать их действия и находить причины ошибок.
  • Научитесь системно оценивать качество AI-агентов, сравнивать версии и выявлять ухудшения после изменения модели, промпта или логики.
  • Сможете обеспечивать надёжную работу агентов в production: предотвращать зацикливания, обрабатывать сбои и восстанавливать работу системы.
  • Научитесь контролировать безопасность и автономность AI-агентов: управлять доступами, защитными ограничениями и действиями, требующими участия человека.
  • Сможете расследовать инциденты с AI-агентами и выстраивать процесс от обнаружения проблемы до её устранения и предотвращения повторных сбоев.

Дополнительно на курсе вы:

  • Получите практический опыт работы с OpenTelemetry, Langfuse, LangSmith, Arize Phoenix и другими инструментами AgentOps.
  • Выполните итоговый проект по построению AgentOps-контура для AI-агента: от наблюдаемости и оценки качества до диагностики, надёжности и безопасности.
  • Получите обратную связь от практикующих специалистов и сможете разбирать реальные production-кейсы в профессиональном сообществе.

Современный стек AgentOps

OpenTelemetry, OpenInference, Langfuse, LangSmith, Arize Phoenix - инструменты для наблюдаемости, трассировки, оценки качества и диагностики AI-агентов.

 

Процесс обучения

Занятия в OTUS — это не заранее отснятый материал. Вебинары проходят в режиме реального времени, где преподаватели-практики рассказывают об актуальных кейсах и инструментах, которые нужны им в работе сейчас. Вы сможете активно участвовать голосом, практиковаться, задавать вопросы и получать обратную связь. Такой формат дает реальный результат. 

А если вы не смогли посетить занятие в реальном времени, то сможете посмотреть его в записи и задать вопрос преподавателю в закрытом Telegram-чате.

Портфолио

Индивидуальная разработка итоговой проектной работы

Обучайтесь у экспертов


Программу ведут действующие специалисты

Перспективы

 

Получите знания, которые помогут повысить вашу востребованность и доход

Партнеры

  • Разместите резюме в базе OTUS: так наши партнёры смогут пригласить вас на интервью
  • Участвуйте в карьерных мероприятиях: там мы разбираемся, как составить резюме
  •  
* Информация в этом разделе не предназначена для корпоративного обучения
Формат обучения

Интерактивные вебинары


2 онлайн-трансляции по 2 ак.часа в неделю. Доступ к записям и материалам остается навсегда

Программа для профессионалов


Альтернатива популярным программам "с нуля" - для профессионалов, кто хочет поднять свой грейд

Коммьюнити


Модерируемый ТГ-чат для общения преподавателей и студентов

Программа

Наблюдаемость и диагностика AI-агентов

В этом модуле вы превратите работу агента из «чёрного ящика» в контролируемую систему. Научитесь видеть, что агент делает, сколько это стоит и где он ломается.

Тема 1: AgentOps и эксплуатация AI-агентов

Тема 2: Метрики AI-агентов

Тема 3: Логирование и телеметрия

Тема 4: Распределённая трассировка и OpenTelemetry

Тема 5: Инструменты наблюдаемости AI-агентов

Тема 6: Диагностика и анализ сбоев в production // ДЗ

Оценка и контроль качества

В этом модуле вы научитесь измерять качество работы агента, сравнивать версии и ловить ухудшения после изменений модели, промпта или логики.

Тема 1: Оценка качества AI-агентов

Тема 2: Наборы данных для оценки и эталонные выборки

Тема 3: Оценка с помощью LLM (LLM-as-a-Judge)

Тема 4: Оценка инструментов, RAG и траекторий агента

Тема 5: Оценка качества в production и непрерывная оценка

Тема 6: Регрессионное тестирование AI-агентов // ДЗ

Надёжность и управление в production

В этом модуле вы научитесь обеспечивать стабильность агента и восстанавливать его работу при реальном инциденте в production.

Тема 1: Обеспечение надёжности AI-агентов

Тема 2: Паттерны отказоустойчивости

Тема 3: Управление автономностью агента

Тема 4: Состояние, контрольные точки и восстановление

Тема 5: Релизы AI-агентов

Тема 6: Управление инцидентами // ДЗ

Безопасность и управление

В этом модуле вы научитесь ограничивать автономность агентов, контролировать доступ к данным и инструментам и восстанавливать картину действий агента при расследовании.

Тема 1: Моделирование угроз для AI-агентов

Тема 2: Идентификация и управление доступами

Тема 3: Защитные ограничения и контроль действий агента

Тема 4: Тестирование безопасности и имитация атак

Тема 5: Аудит и управление AI-агентами

Тема 6: Эксплуатация мультиагентных систем // ДЗ

Проектная работа

Заключительный месяц курса посвящен проектной работе. Проект – это самая интересная часть обучения. Вы будете разрабатывать его на основе полученных на курсе навыков и компетенций. В процессе работы над проектом можно получить консультацию преподавателей.

Тема 1: Выбор темы и организация проектной работы // Проектная работа

Тема 2: Консультация по проектам и домашним заданиям

Тема 3: Защита проектных работ

Тема 4: Подведение итогов курса

Также вы можете получить полную программу, чтобы убедиться, что обучение вам подходит

Проектная работа


На основе умений и знаний полученных в курсе студент выбирает какой проект будет реализовывать. С нашей стороны будет помощь и наставничество в реализации проекта. Проект станет хорошим пополнением вашего портфолио.

Ближайшие мероприятия

Открытый вебинар — это настоящее занятие в режиме онлайн с преподавателем курса, которое позволяет посмотреть, как проходит процесс обучения. В ходе занятия слушатели имеют возможность задать вопросы и получить знания по реальным практическим кейсам.

Langfuse в AgentOps: наблюдаемость и оценка LLM-агентов
Николай Осипов
Агент поддержки дал неверный ответ о возврате товара. Где возникла ошибка — при поиске по базе знаний или при формировании ответа моделью? Чтобы разобраться, нужно увидеть весь путь запроса клиента и связать действия агента между собой.

26 октября в 18:00 на открытом уроке курса по эксплуатации ИИ-агентов развернёте Langfuse локально и разберёте наблюдаемость и оценку качества на примере агента поддержки интернет-магазина.

Агент использует YandexGPT и отвечает на вопросы о возврате и доставке. Вы подключите сбор данных о его работе и проследите обращения к модели, поиск по базе знаний и задержки. Найдёте проблемный запуск по трассировке и добавите автоматическую оценку ответа.

Разберёте установку Langfuse через Docker Compose и подключение Python-приложения. Узнаете, как собирать связанные трассировки, ответы модели, метаданные клиента и сессии, чтобы восстанавливать ход выполнения задачи.

Урок подойдёт ML-инженерам, разработчикам ИИ-агентов и специалистам платформенных и MLOps-команд. Особенно тем, кому важно быстрее находить причины ошибок и держать данные наблюдаемости на собственной инфраструктуре....
27 октября в 18:00
Открытый вебинар

Прошедшие
мероприятия

Игорь Стурейко
Открытый вебинар
Сколько стоит один ответ вашего AI-агента — и почему он думал 40 секунд?

Этот курс может оплатить ваш работодатель

Обучайтесь за счёт работодателя или разделите оплату 50/50
  • Подробно расскажем об интересующем вас курсе
  • Объясним, как договориться с работодателем
  • Сообщим стоимость обучения и варианты оплаты
  • Ответим на вопросы
  • Предоставим шаблон договора и счёт на оплату

Подтверждение знаний и навыков

OTUS осуществляет лицензированную образовательную деятельность.

Вы получите сертификат о прохождении обучения, а также можете получить удостоверение о повышении квалификации.

После обучения:

  • Удостоверение о повышении квалификации: если вы успешно защитили выпускной проект и готовы предоставить копию документа о высшем или среднем профессиональном образовании

  • Доступ к учебным материалам курса

  • Ваш личный проект, который поможет проходить собеседования

Частые вопросы

Что, если в середине курса я не смогу продолжать обучение?
У вас есть право одного бесплатного трансфера в другую группу
Обязательно ли защищать выпускной проект?
Для получения сертификата OTUS необходимо сдать проект. Кроме того, проект необязательно защищать перед аудиторией, а можно сдать в чате с преподавателем.
Я могу вернуть деньги?
Да, вы можете сделать возврат средств пропорционально оставшимся месяцам обучения.