До 27 сентября забронируйте место на октябрьских курсах со скидкой 10%
До 27 сентября забронируйте место на октябрьских курсах со скидкой 10%
Выбрать курс

Специальная цена

AgentOps: эксплуатация AI-агентов

30 октября

3 месяца

Онлайн

Для кого этот курс?

  • Для AI / LLM-инженеров и ML-инженеров, которые разрабатывают AI-агентов и хотят научиться контролировать их качество, стабильность и безопасность после выхода в production
  • Для MLOps / DevOps / SRE / Platform-инженеров, которым необходимо развертывать, мониторить и поддерживать AI-агентов и расследовать связанные с ними инциденты
  • Для AI Tech Lead / AI-архитекторов, которые отвечают за эксплуатацию AI-решений 


Необходимые знания

  • Уверенное владение Python и опыт разработки программных систем.
  • Базовое понимание принципов работы LLM и AI-агентов: промпты, вызов инструментов, RAG, контекст и многошаговое выполнение задач.
  • Опыт работы с Git на уровне уверенного пользователя.
  • Базовое понимание принципов развёртывания и эксплуатации приложений: API, клиент-серверная архитектура, логи, мониторинг.
  • Будет плюсом опыт работы с AI/LLM-приложениями или агентами в production.
  • Будет плюсом знакомство с MLOps / DevOps / SRE-практиками, CI/CD, контейнеризацией и системами мониторинга.

Что даст вам этот курс?

Глубокое понимание эксплуатации AI-агентов в production, практическая работа с инструментами мониторинга и оценки качества, разбор реальных сценариев сбоев - вы научитесь не просто запускать AI-агентов, а понимать, как они работают после запуска, почему ошибаются и как обеспечить их стабильность и безопасность.

После обучения вы:

  • Сможете настраивать мониторинг и трассировку AI-агентов, анализировать их действия и находить причины ошибок.
  • Научитесь системно оценивать качество AI-агентов, сравнивать версии и выявлять ухудшения после изменения модели, промпта или логики.
  • Сможете обеспечивать надёжную работу агентов в production: предотвращать зацикливания, обрабатывать сбои и восстанавливать работу системы.
  • Научитесь контролировать безопасность и автономность AI-агентов: управлять доступами, защитными ограничениями и действиями, требующими участия человека.
  • Сможете расследовать инциденты с AI-агентами и выстраивать процесс от обнаружения проблемы до её устранения и предотвращения повторных сбоев.

Дополнительно на курсе вы:

  • Получите практический опыт работы с OpenTelemetry, Langfuse, LangSmith, Arize Phoenix и другими инструментами AgentOps.
  • Выполните итоговый проект по построению AgentOps-контура для AI-агента: от наблюдаемости и оценки качества до диагностики, надёжности и безопасности.
  • Получите обратную связь от практикующих специалистов и сможете разбирать реальные production-кейсы в профессиональном сообществе.

Современный стек AgentOps

OpenTelemetry, OpenInference, Langfuse, LangSmith, Arize Phoenix - инструменты для наблюдаемости, трассировки, оценки качества и диагностики AI-агентов.

 

Процесс обучения

Занятия в OTUS — это не заранее отснятый материал. Вебинары проходят в режиме реального времени, где преподаватели-практики рассказывают об актуальных кейсах и инструментах, которые нужны им в работе сейчас. Вы сможете активно участвовать голосом, практиковаться, задавать вопросы и получать обратную связь. Такой формат дает реальный результат. 

А если вы не смогли посетить занятие в реальном времени, то сможете посмотреть его в записи и задать вопрос преподавателю в закрытом Telegram-чате.

Портфолио

Индивидуальная разработка итоговой проектной работы

Обучайтесь у экспертов


Программу ведут действующие специалисты

Перспективы

 

Получите знания, которые помогут повысить вашу востребованность и доход

Партнеры

  • Разместите резюме в базе OTUS: так наши партнёры смогут пригласить вас на интервью
  • Участвуйте в карьерных мероприятиях: там мы разбираемся, как составить резюме
  •  
* Информация в этом разделе не предназначена для корпоративного обучения
Формат обучения

Интерактивные вебинары


2 онлайн-трансляции по 2 ак.часа в неделю. Доступ к записям и материалам остается навсегда

Программа для профессионалов


Альтернатива популярным программам "с нуля" - для профессионалов, кто хочет поднять свой грейд

Коммьюнити


Модерируемый ТГ-чат для общения преподавателей и студентов

Проектная работа


На основе умений и знаний полученных в курсе студент выбирает какой проект будет реализовывать. С нашей стороны будет помощь и наставничество в реализации проекта. Проект станет хорошим пополнением вашего портфолио.

Ближайшие мероприятия

Открытый вебинар — это настоящее занятие в режиме онлайн с преподавателем курса, которое позволяет посмотреть, как проходит процесс обучения. В ходе занятия слушатели имеют возможность задать вопросы и получить знания по реальным практическим кейсам.

Сколько стоит один ответ вашего AI-агента — и почему он думал 40 секунд?
Игорь Стурейко
ИИ-агент отвечает на вопросы и вызывает инструменты, но почему один ответ занимает 40 секунд? И сколько он стоит, если агент несколько раз обращается к модели или зацикливается на одной задаче? Общий счёт за API не покажет, где именно расходуются деньги.

12 октября в 20:00 на открытом уроке курса по эксплуатации ИИ-агентов разберёте, как увидеть каждый шаг агента, измерить задержки и посчитать стоимость отдельного ответа.

На практике возьмёте готового ReAct-агента с инструментами и подключите трассировку через OpenTelemetry. Проследите путь от задачи до вызовов модели и инструментов, найдёте самый дорогой шаг и зацикливание. Посмотрите, как введение одного лимита влияет на стоимость ответа.

Разберёте, какие метрики собирать на уровне сессии, задачи и отдельного шага. Познакомитесь с платформами Arize Phoenix, Langfuse и LangSmith, а трассировки рассмотрите в бесплатном локальном интерфейсе.

Урок подойдёт ML-инженерам и разработчикам, которые уже используют API языковых моделей и хотят понимать поведение агентов после запуска. Вы узнаете, как находить лишние вызовы, причины задержек и точки отказа по данным о выполнении задачи....
12 октября в 20:00
Открытый вебинар
Langfuse в AgentOps: наблюдаемость и оценка LLM-агентов
Николай Осипов
Агент поддержки дал неверный ответ о возврате товара. Где возникла ошибка — при поиске по базе знаний или при формировании ответа моделью? Чтобы разобраться, нужно увидеть весь путь запроса клиента и связать действия агента между собой.

26 октября в 18:00 на открытом уроке курса по эксплуатации ИИ-агентов развернёте Langfuse локально и разберёте наблюдаемость и оценку качества на примере агента поддержки интернет-магазина.

Агент использует YandexGPT и отвечает на вопросы о возврате и доставке. Вы подключите сбор данных о его работе и проследите обращения к модели, поиск по базе знаний и задержки. Найдёте проблемный запуск по трассировке и добавите автоматическую оценку ответа.

Разберёте установку Langfuse через Docker Compose и подключение Python-приложения. Узнаете, как собирать связанные трассировки, ответы модели, метаданные клиента и сессии, чтобы восстанавливать ход выполнения задачи.

Урок подойдёт ML-инженерам, разработчикам ИИ-агентов и специалистам платформенных и MLOps-команд. Особенно тем, кому важно быстрее находить причины ошибок и держать данные наблюдаемости на собственной инфраструктуре....
27 октября в 18:00
Открытый вебинар

Этот курс может оплатить ваш работодатель

Обучайтесь за счёт работодателя или разделите оплату 50/50
  • Подробно расскажем об интересующем вас курсе
  • Объясним, как договориться с работодателем
  • Сообщим стоимость обучения и варианты оплаты
  • Ответим на вопросы
  • Предоставим шаблон договора и счёт на оплату

Подтверждение знаний и навыков

OTUS осуществляет лицензированную образовательную деятельность.

Вы получите сертификат о прохождении обучения, а также можете получить удостоверение о повышении квалификации.

После обучения:

  • Удостоверение о повышении квалификации: если вы успешно защитили выпускной проект и готовы предоставить копию документа о высшем или среднем профессиональном образовании

  • Доступ к учебным материалам курса

  • Ваш личный проект, который поможет проходить собеседования

Частые вопросы

Что, если в середине курса я не смогу продолжать обучение?
У вас есть право одного бесплатного трансфера в другую группу
Обязательно ли защищать выпускной проект?
Для получения сертификата OTUS необходимо сдать проект. Кроме того, проект необязательно защищать перед аудиторией, а можно сдать в чате с преподавателем.
Я могу вернуть деньги?
Да, вы можете сделать возврат средств пропорционально оставшимся месяцам обучения.