1+0=2
1+0=2
Выбирайте курс из спецкаталога, а за покупку — дарим второй курс в записи. Поторопитесь! 26 ноября такая арифметика перестанет работать
Выбирайте курс из спецкаталога, а за покупку — дарим второй курс в записи. Поторопитесь! 26 ноября такая арифметика перестанет работать
Выбрать курс

Безопасность ИИ / MLSecOps

Проверка LLM, защита RAG и ИИ-агентов. Разбор утечек, прав доступа и опасных действий.

24 декабря

3 месяца

Онлайн

Вт/Чт 20:00 Мск

Для кого этот курс?

  • AppSec, DevSecOps, пентестеры и Red Team. Если нужно проверить LLM-приложение, найти пути утечки данных и оценить, что агент может сделать через подключенные инструменты.
  • SOC-аналитики и инженеры обнаружения. Если нужно понять, какие события собирать от ИИ-сервиса и как искать признаки атак в запросах, ответах и действиях агента.
  • ML/MLOps-инженеры и разработчики ИИ-систем. Если вы внедряете RAG или ИИ-агента и отвечаете за доступ к данным, интеграции, модели и безопасную эксплуатацию.

Техническим руководителям и аналитикам ИБ курс поможет обсуждать с командой угрозы, выбирать меры защиты и оценивать риски внедрения ИИ-сервисов.

Необходимые знания

Нужны базовые знания информационной безопасности или опыт разработки и эксплуатации приложений. Для технической части пригодятся понимание HTTP/API, работа с командной строкой и чтение простого кода на Python.

Курс посвящен защите ИИ-систем и не заменяет базовую подготовку по ИБ или разработке.

Чему научится студент на курсе?

  • Составлять модель угроз ИИ-сервиса: выделять данные, компоненты, границы доверия и возможные последствия атак.
  • Планировать проверку LLM-приложения: выбирать сценарии атак, оценивать успешность попыток и учитывать ложные срабатывания защитных механизмов.
  • Разбирать угрозы RAG: отличать внедрение инструкции от подмены данных и раскрытия документов пользователю без прав доступа.
  • Определять ограничения для ИИ-агента: проверять полномочия, доступ к инструментам и условия выполнения критичных операций, включая интеграции через MCP.
  • Выбирать меры защиты моделей и инфраструктуры: учитывать происхождение артефактов, риски загрузки, секреты, API и права доступа.
  • Связывать следы атаки в общую картину: определять нужные события LLM, RAG и инструментов и использовать их для сценариев обнаружения.

От данных к действиям

Разберете, как документ в RAG влияет на ответ модели и вызов инструмента, а ошибка проверки прав приводит к утечке.

По следам запроса определите, дошла ли инструкция до модели и привела ли она к

Процесс обучения

Живые занятия с вопросами преподавателям, записи вебинаров и обсуждение решений в закрытом чате.

В программе - демонстрации, учебные разборы, практические домашние задания и проект. В занятиях по RAG используются трассировки запросов и симуляция расследования утечки.

В проекте вы объедините анализ архитектуры, угроз, сценариев обнаружения и мер защиты ИИ-сервиса.

Следы атаки

Проследите путь документа до ответа модели и действия агента. Отделите попытку атаки от ее последствий.

Проверка защиты

Разберете повторные проверки LLM, оценку успешности атак и ложные срабатывания защитных механизмов.

-height: 26px; font-weight: 700; margin: 0 0 12px;">Обнаружение атак

Определите, какие события LLM, RAG и инструментов нужны для поиска утечек и опасных действий.

Партнеры

Многие студенты еще во время прохождения первой части программы находят или меняют работу, а к концу обучения могут претендовать на повышение в должности.

  • Карьерные мероприятия в сообществе
    Публичный разбор резюме
    Публичное прохождение собеседования и воркшопы
  • Разместите свое резюме в базе OTUS и сможете получать приглашения на собеседования от партнеров
* Информация в этом разделе не предназначена для корпоративного обучения
Формат обучения

Живые занятия

Два онлайн-занятия в неделю. Можно задать вопрос преподавателю в эфире, а затем вернуться к записи и материалам.

Задания и проект

Практические домашние задания с обратной связью и итоговый разбор защищенности ИИ-сервиса.

Обратная связь

Вопросы в закрытом чате, обсуждение решений на занятиях и комментарии преподавателей при проверке домашних заданий.

Программа

ИИ-системы как объект технической защиты

В этом модуле вы разберёте, что представляет собой ИИ-система как объект технической защиты, и рассмотрите её архитектурные особенности с точки зрения безопасности. Также поймёте, какие стандарты, рекомендации и нормативные требования регулируют безопасность ИИ, и научитесь моделировать угрозы: выделять активы, определять границы доверия, разрабатывать сценарии атак и оценивать риски.

Тема 1: Введение в безопасность ИИ-систем

Тема 2: Архитектура ИИ-систем // ДЗ

Тема 3: Стандарты, рекомендации и нормативные требования в области безопасности ИИ

Тема 4: Моделирование угроз для ИИ-систем: активы, границы доверия, сценарии атак и оценка риска // ДЗ

Атаки на LLM и генеративные приложения

В этом модуле вы разберёте основные виды атак на LLM и генеративные приложения, включая prompt injection, извлечение системных инструкций и jailbreak-атаки. Также поймёте, как происходит утечка данных, в чём заключается небезопасная обработка вывода модели и какие риски возникают при интеграции LLM с приложениями. Вы научитесь применять методики практической проверки защищённости LLM-приложений для выявления уязвимостей и оценки их критичности.

Тема 1: Prompt injection и извлечение системных инструкций: прямые и косвенные атаки на LLM-приложения

Тема 2: Jailbreak-атаки, обход ограничений модели и злоупотребление возможностями генеративного ИИ

Тема 3: Утечки данных, небезопасная обработка вывода модели и риски интеграции LLM с приложениями

Тема 4: Методика практической проверки защищенности LLM-приложения // ДЗ

Безопасность RAG и ИИ-агентов

В этом модуле вы разберёте устройство RAG-систем и их поверхность атаки, а также рассмотрите основные векторы атак на RAG-компоненты. Вы поймёте, как устроены ИИ-агенты и автономные системы: их полномочия, подключаемые инструменты и сценарии злоупотребления. Также вы научитесь выявлять и анализировать атаки на ИИ-агентов, включая косвенные инструкции, опасные действия и риски интеграции с внешними сервисами и MCP.

Тема 1: Устройство RAG-систем и их поверхность атаки

Тема 2: Атаки на RAG

Тема 3: ИИ-агенты и автономные действия: полномочия, инструменты, критические операции и сценарии злоупотребления

Тема 4: Угрозы классического машинного обучения

Безопасность моделей, данных и инфраструктуры MLSecOps

В этом модуле вы разберёте угрозы классического машинного обучения и риски, связанные с цепочкой поставок ИИ-систем: сторонние модели, наборы данных, библиотеки, зависимости и репозитории артефактов. Также вы поймёте, как обеспечить безопасность среды исполнения ИИ-сервисов - API, контейнеры, секреты, права доступа, загрузка моделей и небезопасные артефакты. Вы научитесь применять подходы MLSecOps для управления безопасным жизненным циклом ИИ-системы: контролировать изменения, проводить проверки перед выпуском и управлять рисками.

Тема 1: Атаки на ИИ-агентов и подключаемые инструменты: косвенные инструкции, опасные действия, внешние сервисы и MCP // ДЗ

Тема 2: Цепочка поставок ИИ-систем: сторонние модели, наборы данных, библиотеки, зависимости и репозитории артефактов

Тема 3: Безопасность среды исполнения ИИ-сервисов: API, контейнеры, секреты, права доступа, загрузка моделей и небезопасные артефакты // ДЗ

Тема 4: MLSecOps и безопасный жизненный цикл ИИ-системы: контроль изменений, проверки перед выпуском, управление рисками // ДЗ

Обнаружение атак на ИИ-системы

В этом модуле вы разберёте, как организовать сбор телеметрии ИИ-систем - какие события необходимо отслеживать от LLM, RAG-компонентов, агентов, API и внешних инструментов для выявления аномалий и признаков атак. Также вы научитесь применять методы обнаружения атак на ИИ-системы, анализировать инциденты и реагировать на угрозы в реальном времени.

Тема 1: Телеметрия ИИ-систем: какие события собирать от LLM, RAG, агентов, API и внешних инструментов

Тема 2: Обнаружение атак на ИИ-системы

Проектная работа

Заключительный месяц курса посвящен проектной работе. Проект – это самая интересная часть обучения. Вы будете разрабатывать его на основе полученных на курсе навыков и компетенций. В процессе работы над проектом можно получить консультацию преподавателей.

Тема 1: Выбор темы и организация проектной работы // Проектная работа

Тема 2: Консультация по проектам и домашним заданиям

Тема 3: Защита проектных работ

Тема 4: Подведение итогов курса

Также вы можете получить полную программу, чтобы убедиться, что обучение вам подходит

Выпускной проект

 
Тема проектной работы: "Расследование и повышение защищенности ИИ-сервиса"
 
Студент проанализирует архитектуру ИИ-системы, оценит угрозы и риски, разработает сценарии обнаружения атак и рекомендации по повышению защищенности, создавая готовый артефакт для практического применения и своего портфолио.

Преподаватели

Сергей Терешин

Специалист по решениям информационной безопасности

Александр Горячев

Инженер по информационной безопасности инфраструктуры

Иван Понуровский

Специалист по информационной безопасности

ООО "Элкомсофт"

Тимур Джамгарян

Эксперты-практики делятся опытом, разбирают кейсы студентов и дают развернутый фидбэк на домашние задания

Ближайшие мероприятия

Бесплатный открытый вебинар – онлайн-занятие с преподавателем курса. На открытом вебинаре можно посмотреть, как проходит обучение, а ещё – узнать что-то ценное по интересующей теме. На занятии слушатели задают ведущему вопросы и получают обратную связь.

Корпоративный AI-ассистент: где возникают утечки и как спроектировать защиту
Сергей Терешин, Руководитель направления комплексной безопасности
Корпоративный AI-ассистент может раскрыть конфиденциальные данные, даже если сама языковая модель работает корректно. Одна из причин — уязвимости в RAG-системах, которые используют внешние источники знаний. На практическом воркшопе разберём примеры атак на RAG в реальном времени, рассмотрим возможные последствия и основные способы защиты.

О чем поговорим:

— Как устроены RAG-системы и какие риски безопасности возникают при работе с корпоративными данными.
— Чем опасны атаки на RAG и как они могут приводить к раскрытию информации.
— Практические примеры атак: разберём сценарии в реальном времени с возможностью параллельного выполнения заданий.
— Основные подходы к защите RAG-систем и снижению рисков утечки данных.

Кому будет интересно:

Специалистам по информационной безопасности, AppSec- и DevSecOps-инженерам, которые хотят разобраться в угрозах корпоративных ИИ-систем. Также урок будет полезен разработчикам LLM-приложений и ML/MLOps-инженерам, работающим с RAG и AI-ассистентами.

В результате урока:

Познакомитесь с основными сценариями атак на RAG-системы и увидите примеры их реализации. Разберётесь, какие уязвимости могут приводить к утечкам данных и на что обращать внимание при планировании защиты корпоративных AI-ассистентов.
...
24 ноября в 20:00
Открытый вебинар
Можно ли выпускать LLM-сервис в продакшен: риски CI/CD и инструменты MLSecOps
Максим Чащин
Какие проверки безопасности необходимы перед выпуском LLM-сервиса в продакшен? Подходы DevSecOps применимы и к ИИ-системам, но не учитывают все специфические угрозы. На уроке сравним DevSecOps и MLSecOps, разберём особенности инструментов безопасности и риски, возникающие в процессе разработки и выпуска LLM-сервисов.

О чем поговорим:

— DevSecOps и MLSecOps: в чём сходство подходов и какие между ними различия.
— Какие специфические инструменты используются в MLSecOps для обеспечения безопасности ИИ-систем.
— Какие угрозы и риски возникают в CI/CD при разработке и выпуске LLM-сервисов.

Кому будет интересно:

Специалистам по информационной безопасности, AppSec- и DevSecOps-инженерам, которые хотят разобраться в особенностях защиты ИИ-систем. Также урок будет полезен ML/MLOps-инженерам и разработчикам LLM-приложений, знакомым с процессами разработки и CI/CD.

В результате урока:

Узнаете, чем инструменты и подходы MLSecOps отличаются от привычного DevSecOps. Разберётесь в специфических угрозах для сред разработки LLM и поймёте, какие риски безопасности необходимо учитывать при подготовке ИИ-сервисов к выпуску.
...
30 ноября в 20:00
Открытый вебинар
Мониторинг безопасности LLM и AI-агентов: какие события собирать и как их анализировать
Тимур Джамгарян
Как обнаружить атаку на LLM-сервис или AI-агента, если привычных журналов безопасности недостаточно? AI-системы взаимодействуют с внешними API, вызывают инструменты и самостоятельно выполняют действия, создавая новые риски. На уроке разберём, какие события необходимо отслеживать, как организовать мониторинг безопасности AI-систем и выявлять признаки атак по журналам.

О чем поговорим:

— Архитектура мониторинга AI-систем: особенности журналирования LLM, AI-агентов, MCP-серверов, инструментов и внешних API.
— Какие события необходимо собирать: запросы и ответы моделей, вызовы инструментов, действия агентов, ошибки и обращения к внешним ресурсам.
— Как выявлять Prompt Injection и Jailbreak: какие признаки атак можно обнаружить при анализе событий AI-систем.
— Как отслеживать возможные утечки конфиденциальных данных, подозрительные действия агентов и злоупотребление их полномочиями.

Кому будет интересно:

SOC-аналитикам, специалистам по информационной безопасности, системным администраторам и архитекторам AI-систем. Особенно полезно тем, кто отвечает за эксплуатацию, мониторинг и защиту инфраструктуры, в которой используются LLM и AI-агенты.

В результате урока:

Узнаете, какие события необходимо собирать для мониторинга безопасности LLM и AI-агентов и как анализировать журналы их работы. Научитесь распознавать признаки типовых атак и подозрительной активности, а также поймёте, на что обращать внимание при организации мониторинга AI-систем.
...
14 декабря в 20:00
Открытый вебинар

Прошедшие
мероприятия

Сергей Терешин
Открытый вебинар
OWASP Top 10 для LLM-приложений: карта угроз, которую должен знать каждый

Этот курс может оплатить ваш работодатель

Обучайтесь за счёт работодателя или разделите оплату 50/50
  • Подробно расскажем об интересующем вас курсе
  • Объясним, как договориться с работодателем
  • Сообщим стоимость обучения и варианты оплаты
  • Ответим на вопросы
  • Предоставим шаблон договора и счёт на оплату

Подтверждение знаний и навыков

OTUS осуществляет лицензированную образовательную деятельность.

Вы получите сертификат о прохождении обучения, а также можете получить удостоверение о повышении квалификации.

После обучения:

  • Удостоверение о повышении квалификации: если вы успешно защитили выпускной проект и готовы предоставить копию документа о высшем или среднем профессиональном образовании

  • Доступ к учебным материалам курса

  • Ваш личный проект, который поможет проходить собеседования

Частые вопросы

Смогу ли я совмещать учебу с работой?
Да. Программа курса рассчитана на студентов, у которых мало времени. Лекции проводим дважды в неделю, домашние задания — не чаще 1 раза в неделю.
Обязательно ли выполнять и защищать выпускной проект?
Для получения сертификата OTUS и УПК (удостоверение повышения квалификации государственного образца) необходимо сдать проект. Кроме того, проект необязательно защищать перед аудиторией, а можно сдать в чате с преподавателем. Для получения УПК также понадобится предъявить документ об образовании.
Обязательно ли выполнять все домашние задания?
Да, если хотите хорошо отточить навыки. На курсе будут практические домашние задания, их выполнение занимает примерно 2-3 часа.
Что, если в середине курса я не смогу продолжать обучение?
Вы можете бесплатно перейти в другую группу. Но только один раз.
Я могу вернуть деньги?
Да, мы можем вернуть деньги за то время курса, которое вы ещё не успели отучиться. Например, если курс длится пять месяцев, а вы отучились один, мы вернём деньги за оставшиеся четыре месяца за вычетом фактически понесенных расходов.
Может ли мой работодатель оплатить курс?
Да. Когда свяжетесь с нашим менеджером, уточните, что оплачивать курс будет ваш работодатель.
Остались вопросы?
Оставляйте заявку и задавайте вопросы менеджеру, команда курса с ним на связи и постарается дать вам исчерпывающую информацию.