Безопасность ИИ / MLSecOps

От выявления угроз до комплексной защиты ML и ИИ-систем

Для кого этот курс?

  • Практикующие ИБ-специалисты (SOC-аналитики, AppSec, DevSecOps, Red Team, пентестеры), желающие освоить методы защиты ML/ИИ-систем, понять специфические угрозы и меры защиты, а также расширить текущую профессиональную практику
  • ML/MLOps-инженеры и разработчики ИИ-систем, которым необходим системный взгляд на безопасность моделей, данных, цепочки поставок и агентных сценариев, чтобы учитывать риски при проектировании и эксплуатации
  • Руководители и аналитики по ИБ, работающие с AI-сервисами, которым нужно понимать общую поверхность атаки, оценивать риски и внедрять контрольные меры для безопасной эксплуатации ИИ-сервисов в компании

Чему научится студент на курсе?

  • Оценивать поверхность атаки ML/ИИ-систем, включая модели, данные, LLM, RAG и ИИ-агентов.
  • Понимать методы атак и признаки угроз, включая prompt injection, отравление данных, обходы ограничений и уязвимости цепочки поставок.
  • Применять технические меры защиты и мониторинг, разбираться как работает телеметрия, обнаружение атак, безопасная среда исполнения и управление жизненным циклом MLSecOps.
  • Связывать обнаружение угроз с мерами защиты в едином контуре для повышения надежности и устойчивости ИИ-систем.
  • В целом расширит компетенции на стыке ИБ и ИИ, для работы в SOC, AppSec, DevSecOps, пентесте и анализе угроз.

Почему стоит освоить?

 
Прохождение курса закроет разрыв между ML/ИИ-командами и специалистами ИБ, формируя прикладные навыки безопасной эксплуатации ИИ-систем.
 
Вы научитесь видеть угрозы на разных уровнях: модели, данные, LLM, RAG, ИИ-агенты и инфраструктура. Все это позволит применять меры защиты, которые реально работают.

Процесс обучения

Занятия в OTUS — это не заранее отснятый материал. Вебинары проходят в режиме реального времени, где преподаватели-практики рассказывают об актуальных кейсах и инструментах, которые нужны им в работе сейчас. Вы сможете активно участвовать голосом, практиковаться, задавать вопросы и получать обратную связь. Такой формат дает реальный результат. 

А если вы не смогли посетить занятие в реальном времени, то сможете посмотреть его в записи и задать вопрос преподавателю в закрытом чате.

Портфолио

Индивидуальная разработка итоговой проектной работы

Обучайтесь у экспертов


Программу ведут действующие специалисты

Перспективы

 

Получите знания, которые помогут повысить вашу востребованность и доход

Партнеры

Многие студенты еще во время прохождения первой части программы находят или меняют работу, а к концу обучения могут претендовать на повышение в должности.

  • Карьерные мероприятия в сообществе
    Публичный разбор резюме
    Публичное прохождение собеседования и воркшопы
  • Разместите свое резюме в базе OTUS и сможете получать приглашения на собеседования от партнеров
* Информация в этом разделе не предназначена для корпоративного обучения
Формат обучения

Интерактивные вебинары


2 онлайн-трансляции по 2 ак.часа в неделю. Доступ к записям и материалам остается навсегда

Практика

 

Домашние задания + проектная работа, для усиления вашего портфолио и компетенций

Активное комьюнити

Живое общение с преподавателями на вебинарах, переписки в чате и развёрнутые ответы при проверке ДЗ

Программа

ИИ-системы как объект технической защиты

В этом модуле вы разберёте, что представляет собой ИИ-система как объект технической защиты, и рассмотрите её архитектурные особенности с точки зрения безопасности. Также поймёте, какие стандарты, рекомендации и нормативные требования регулируют безопасность ИИ, и научитесь моделировать угрозы: выделять активы, определять границы доверия, разрабатывать сценарии атак и оценивать риски.

Тема 1: Введение в безопасность ИИ-систем

Тема 2: Архитектура ИИ-систем // ДЗ

Тема 3: Стандарты, рекомендации и нормативные требования в области безопасности ИИ

Тема 4: Моделирование угроз для ИИ-систем: активы, границы доверия, сценарии атак и оценка риска // ДЗ

Атаки на LLM и генеративные приложения

В этом модуле вы разберёте основные виды атак на LLM и генеративные приложения, включая prompt injection, извлечение системных инструкций и jailbreak-атаки. Также поймёте, как происходит утечка данных, в чём заключается небезопасная обработка вывода модели и какие риски возникают при интеграции LLM с приложениями. Вы научитесь применять методики практической проверки защищённости LLM-приложений для выявления уязвимостей и оценки их критичности.

Тема 1: Prompt injection и извлечение системных инструкций: прямые и косвенные атаки на LLM-приложения

Тема 2: Jailbreak-атаки, обход ограничений модели и злоупотребление возможностями генеративного ИИ

Тема 3: Утечки данных, небезопасная обработка вывода модели и риски интеграции LLM с приложениями

Тема 4: Методика практической проверки защищенности LLM-приложения // ДЗ

Безопасность RAG и ИИ-агентов

В этом модуле вы разберёте устройство RAG-систем и их поверхность атаки, а также рассмотрите основные векторы атак на RAG-компоненты. Вы поймёте, как устроены ИИ-агенты и автономные системы: их полномочия, подключаемые инструменты и сценарии злоупотребления. Также вы научитесь выявлять и анализировать атаки на ИИ-агентов, включая косвенные инструкции, опасные действия и риски интеграции с внешними сервисами и MCP.

Тема 1: Устройство RAG-систем и их поверхность атаки

Тема 2: Атаки на RAG

Тема 3: ИИ-агенты и автономные действия: полномочия, инструменты, критические операции и сценарии злоупотребления

Тема 4: Атаки на ИИ-агентов и подключаемые инструменты: косвенные инструкции, опасные действия, внешние сервисы и MCP // ДЗ

Безопасность моделей, данных и инфраструктуры MLSecOps

В этом модуле вы разберёте угрозы классического машинного обучения и риски, связанные с цепочкой поставок ИИ-систем: сторонние модели, наборы данных, библиотеки, зависимости и репозитории артефактов. Также вы поймёте, как обеспечить безопасность среды исполнения ИИ-сервисов - API, контейнеры, секреты, права доступа, загрузка моделей и небезопасные артефакты. Вы научитесь применять подходы MLSecOps для управления безопасным жизненным циклом ИИ-системы: контролировать изменения, проводить проверки перед выпуском и управлять рисками.

Тема 1: Угрозы классического машинного обучения

Тема 2: Цепочка поставок ИИ-систем: сторонние модели, наборы данных, библиотеки, зависимости и репозитории артефактов

Тема 3: Безопасность среды исполнения ИИ-сервисов: API, контейнеры, секреты, права доступа, загрузка моделей и небезопасные артефакты // ДЗ

Тема 4: MLSecOps и безопасный жизненный цикл ИИ-системы: контроль изменений, проверки перед выпуском, управление рисками // ДЗ

Обнаружение атак на ИИ-системы

В этом модуле вы разберёте, как организовать сбор телеметрии ИИ-систем - какие события необходимо отслеживать от LLM, RAG-компонентов, агентов, API и внешних инструментов для выявления аномалий и признаков атак. Также вы научитесь применять методы обнаружения атак на ИИ-системы, анализировать инциденты и реагировать на угрозы в реальном времени.

Тема 1: Телеметрия ИИ-систем: какие события собирать от LLM, RAG, агентов, API и внешних инструментов

Тема 2: Обнаружение атак на ИИ-системы

Проектная работа

Заключительный месяц курса посвящен проектной работе. Проект – это самая интересная часть обучения. Вы будете разрабатывать его на основе полученных на курсе навыков и компетенций. В процессе работы над проектом можно получить консультацию преподавателей.

Тема 1: Выбор темы и организация проектной работы // Проектная работа

Тема 2: Консультация по проектам и домашним заданиям

Тема 3: Защита проектных работ

Тема 4: Подведение итогов курса

Также вы можете получить полную программу, чтобы убедиться, что обучение вам подходит

Выпускной проект

 
Тема проектной работы: "Расследование и повышение защищенности ИИ-сервиса"
 
Студент проанализирует архитектуру ИИ-системы, оценит угрозы и риски, разработает сценарии обнаружения атак и рекомендации по повышению защищенности, создавая готовый артефакт для практического применения и своего портфолио.

Преподаватели

Сергей Терешин

Специалист по решениям информационной безопасности

Александр Горячев

Инженер по информационной безопасности инфраструктуры

Иван Понуровский

Специалист по информационной безопасности

ООО "Элкомсофт"

Тимур Джамгарян

Эксперты-практики делятся опытом, разбирают кейсы студентов и дают развернутый фидбэк на домашние задания

Прошедшие
мероприятия

Сергей Терешин
Открытый вебинар
OWASP Top 10 для LLM-приложений: карта угроз, которую должен знать каждый

Этот курс может оплатить ваш работодатель

Обучайтесь за счёт работодателя или разделите оплату 50/50
  • Подробно расскажем об интересующем вас курсе
  • Объясним, как договориться с работодателем
  • Сообщим стоимость обучения и варианты оплаты
  • Ответим на вопросы
  • Предоставим шаблон договора и счёт на оплату

Подтверждение знаний и навыков

OTUS осуществляет лицензированную образовательную деятельность.

Вы получите сертификат о прохождении обучения, а также можете получить удостоверение о повышении квалификации.

После обучения:

  • Удостоверение о повышении квалификации: если вы успешно защитили выпускной проект и готовы предоставить копию документа о высшем или среднем профессиональном образовании

  • Доступ к учебным материалам курса

  • Ваш личный проект, который поможет проходить собеседования

Частые вопросы

Смогу ли я совмещать учебу с работой?
Да. Программа курса рассчитана на студентов, у которых мало времени. Лекции проводим дважды в неделю, домашние задания — не чаще 1 раза в неделю.
Обязательно ли выполнять и защищать выпускной проект?
Для получения сертификата OTUS и УПК (удостоверение повышения квалификации государственного образца) необходимо сдать проект. Кроме того, проект необязательно защищать перед аудиторией, а можно сдать в чате с преподавателем. Для получения УПК также понадобится предъявить документ об образовании.
Обязательно ли выполнять все домашние задания?
Да, если хотите хорошо отточить навыки. На курсе будут практические домашние задания, их выполнение занимает примерно 2-3 часа.
Что, если в середине курса я не смогу продолжать обучение?
Вы можете бесплатно перейти в другую группу. Но только один раз.
Я могу вернуть деньги?
Да, мы можем вернуть деньги за то время курса, которое вы ещё не успели отучиться. Например, если курс длится пять месяцев, а вы отучились один, мы вернём деньги за оставшиеся четыре месяца за вычетом фактически понесенных расходов.
Может ли мой работодатель оплатить курс?
Да. Когда свяжетесь с нашим менеджером, уточните, что оплачивать курс будет ваш работодатель.
Остались вопросы?
Оставляйте заявку и задавайте вопросы менеджеру, команда курса с ним на связи и постарается дать вам исчерпывающую информацию.