Безопасность ИИ / MLSecOps

От выявления угроз до комплексной защиты ML и ИИ-систем

28 июля

3 месяца

Онлайн

Для кого этот курс?

  • Практикующие ИБ-специалисты (SOC-аналитики, AppSec, DevSecOps, Red Team, пентестеры), желающие освоить методы защиты ML/ИИ-систем, понять специфические угрозы и меры защиты, а также расширить текущую профессиональную практику
  • ML/MLOps-инженеры и разработчики ИИ-систем, которым необходим системный взгляд на безопасность моделей, данных, цепочки поставок и агентных сценариев, чтобы учитывать риски при проектировании и эксплуатации
  • Руководители и аналитики по ИБ, работающие с AI-сервисами, которым нужно понимать общую поверхность атаки, оценивать риски и внедрять контрольные меры для безопасной эксплуатации ИИ-сервисов в компании

Чему научится студент на курсе?

  • Оценивать поверхность атаки ML/ИИ-систем, включая модели, данные, LLM, RAG и ИИ-агентов.
  • Понимать методы атак и признаки угроз, включая prompt injection, отравление данных, обходы ограничений и уязвимости цепочки поставок.
  • Применять технические меры защиты и мониторинг, разбираться как работает телеметрия, обнаружение атак, безопасная среда исполнения и управление жизненным циклом MLSecOps.
  • Связывать обнаружение угроз с мерами защиты в едином контуре для повышения надежности и устойчивости ИИ-систем.
  • В целом расширит компетенции на стыке ИБ и ИИ, для работы в SOC, AppSec, DevSecOps, пентесте и анализе угроз.

Почему стоит освоить?

 
Прохождение курса закроет разрыв между ML/ИИ-командами и специалистами ИБ, формируя прикладные навыки безопасной эксплуатации ИИ-систем.
 
Вы научитесь видеть угрозы на разных уровнях: модели, данные, LLM, RAG, ИИ-агенты и инфраструктура. Все это позволит применять меры защиты, которые реально работают.

Процесс обучения

Занятия в OTUS — это не заранее отснятый материал. Вебинары проходят в режиме реального времени, где преподаватели-практики рассказывают об актуальных кейсах и инструментах, которые нужны им в работе сейчас. Вы сможете активно участвовать голосом, практиковаться, задавать вопросы и получать обратную связь. Такой формат дает реальный результат. 

А если вы не смогли посетить занятие в реальном времени, то сможете посмотреть его в записи и задать вопрос преподавателю в закрытом чате.

Портфолио

Индивидуальная разработка итоговой проектной работы

Обучайтесь у экспертов


Программу ведут действующие специалисты

Перспективы

 

Получите знания, которые помогут повысить вашу востребованность и доход

Партнеры

Многие студенты еще во время прохождения первой части программы находят или меняют работу, а к концу обучения могут претендовать на повышение в должности.

  • Карьерные мероприятия в сообществе
    Публичный разбор резюме
    Публичное прохождение собеседования и воркшопы
  • Разместите свое резюме в базе OTUS и сможете получать приглашения на собеседования от партнеров
* Информация в этом разделе не предназначена для корпоративного обучения
Формат обучения

Интерактивные вебинары


2 онлайн-трансляции по 2 ак.часа в неделю. Доступ к записям и материалам остается навсегда

Практика

 

Домашние задания + проектная работа, для усиления вашего портфолио и компетенций

Активное комьюнити

Живое общение с преподавателями на вебинарах, переписки в чате и развёрнутые ответы при проверке ДЗ

Программа

ИИ-системы как объект технической защиты

Тема 1: Введение в безопасность ИИ-систем. Ландшафт угроз, роли специалистов ИБ и сценарии применения ИИ в бизнесе

Тема 2: Архитектура ИИ-систем: модели машинного обучения, LLM, RAG, ИИ-агенты, внешние инструменты и точки атаки

Тема 3: Стандарты, рекомендации и нормативные требования в области безопасности ИИ. Применение требований в технической практике

Тема 4: Моделирование угроз для ИИ-систем: активы, границы доверия, сценарии атак и оценка риска // ДЗ

Атаки на LLM и генеративные приложения

Тема 1: Prompt injection и извлечение системных инструкций: прямые и косвенные атаки на LLM-приложения // ДЗ

Тема 2: Jailbreak-атаки, обход ограничений модели и злоупотребление возможностями генеративного ИИ // ДЗ

Тема 3: Утечки данных, небезопасная обработка вывода модели и риски интеграции LLM с приложениями // ДЗ

Тема 4: Методика практической проверки защищенности LLM-приложения: сценарии тестирования, доказательства эксплуатации и оформление результатов // ДЗ

Безопасность RAG и ИИ-агентов

Тема 1: Устройство RAG-систем и их поверхность атаки: база знаний, векторный поиск, контекст и разграничение доступа

Тема 2: Атаки на RAG: вредоносные документы, отравление базы знаний, утечки контекста и обход контроля доступа // ДЗ

Тема 3: ИИ-агенты и автономные действия: полномочия, инструменты, критические операции и сценарии злоупотребления

Тема 4: Атаки на ИИ-агентов и подключаемые инструменты: косвенные инструкции, опасные действия, внешние сервисы и MCP // ДЗ

Безопасность моделей, данных и инфраструктуры MLSecOps

Тема 1: Угрозы классического машинного обучения: отравление данных, уклонение от распознавания, закладки и извлечение модели

Тема 2: Цепочка поставок ИИ-систем: сторонние модели, наборы данных, библиотеки, зависимости и репозитории артефактов // ДЗ

Тема 3: Безопасность среды исполнения ИИ-сервисов: API, контейнеры, секреты, права доступа, загрузка моделей и небезопасные артефакты // ДЗ

Тема 4: MLSecOps и безопасный жизненный цикл ИИ-системы: контроль изменений, проверки перед выпуском, управление рисками

Обнаружение атак на ИИ-системы

Тема 1: Телеметрия ИИ-систем: какие события собирать от LLM, RAG, агентов, API и внешних инструментов

Тема 2: Обнаружение атак на ИИ-системы: признаки prompt injection, утечек данных, опасных действий агента и злоупотребления сервисом // ДЗ

Проектная работа

Тема 1: Выбор темы и организация проектной работы

Тема 2: Консультация по проектам и домашним заданиям

Тема 3: Защита проектных работ

Тема 4: Подведение итогов курса

Также вы можете получить полную программу, чтобы убедиться, что обучение вам подходит

Выпускной проект

 
Тема проектной работы: "Расследование и повышение защищенности ИИ-сервиса"
 
Студент проанализирует архитектуру ИИ-системы, оценит угрозы и риски, разработает сценарии обнаружения атак и рекомендации по повышению защищенности, создавая готовый артефакт для практического применения и своего портфолио.

Преподаватели

Руководитель курса

Сергей Терешин

Специалист по решениям информационной безопасности

Фото в обработке

Михаил Степанов

Александр Горячев

Инженер по информационной безопасности инфраструктуры

Эксперты-практики делятся опытом, разбирают кейсы студентов и дают развернутый фидбэк на домашние задания

Ближайшие мероприятия

Бесплатный открытый вебинар – онлайн-занятие с преподавателем курса. На открытом вебинаре можно посмотреть, как проходит обучение, а ещё – узнать что-то ценное по интересующей теме. На занятии слушатели задают ведущему вопросы и получают обратную связь.

OWASP Top 10 для LLM-приложений: карта угроз, которую должен знать каждый
Сергей Терешин
На открытом уроке рассмотрим:
- Какие угрозы входят в актуальный OWASP Top 10 for LLM Applications и почему этот стандарт важен для AI-проектов;
- Как проявляются ключевые риски LLM-приложений на практике: prompt injection, утечка чувствительной информации, уязвимости в supply chain, poisoning-атаки;
- Почему запуск LLM-решений без специальных защитных мер создает серьезные риски для безопасности;
- Как проводить threat modeling LLM-приложения с опорой на OWASP-фреймворк и на что обращать внимание в первую очередь;
- Почему RAG, fine-tuning и другие популярные подходы не устраняют корневую проблему prompt injection.

После занятия вы будете знать:
- Какие 10 ключевых угроз необходимо учитывать при разработке и внедрении LLM-приложений;
- Как использовать OWASP Top 10 for LLM Applications для анализа рисков в AI-системах;
- Как выявлять слабые места в архитектуре LLM-приложения еще до вывода решения в продакшн;
- Почему стандартные архитектурные подходы не заменяют полноценные меры защиты;
- Какие вопросы по безопасности нужно задавать себе при проектировании AI-продукта....
7 июля в 17:00
Открытый вебинар

Этот курс может оплатить ваш работодатель

Обучайтесь за счёт работодателя или разделите оплату 50/50
  • Подробно расскажем об интересующем вас курсе
  • Объясним, как договориться с работодателем
  • Сообщим стоимость обучения и варианты оплаты
  • Ответим на вопросы
  • Предоставим шаблон договора и счёт на оплату

Подтверждение знаний и навыков

OTUS осуществляет лицензированную образовательную деятельность.

Вы получите сертификат о прохождении обучения, а также можете получить удостоверение о повышении квалификации.

После обучения:

  • Удостоверение о повышении квалификации: если вы успешно защитили выпускной проект и готовы предоставить копию документа о высшем или среднем профессиональном образовании

  • Доступ к учебным материалам курса

  • Ваш личный проект, который поможет проходить собеседования

Частые вопросы

Смогу ли я совмещать учебу с работой?
Да. Программа курса рассчитана на студентов, у которых мало времени. Лекции проводим дважды в неделю, домашние задания — не чаще 1 раза в неделю.
Обязательно ли выполнять и защищать выпускной проект?
Для получения сертификата OTUS и УПК (удостоверение повышения квалификации государственного образца) необходимо сдать проект. Кроме того, проект необязательно защищать перед аудиторией, а можно сдать в чате с преподавателем. Для получения УПК также понадобится предъявить документ об образовании.
Обязательно ли выполнять все домашние задания?
Да, если хотите хорошо отточить навыки. На курсе будут практические домашние задания, их выполнение занимает примерно 2-3 часа.
Что, если в середине курса я не смогу продолжать обучение?
Вы можете бесплатно перейти в другую группу. Но только один раз.
Я могу вернуть деньги?
Да, мы можем вернуть деньги за то время курса, которое вы ещё не успели отучиться. Например, если курс длится пять месяцев, а вы отучились один, мы вернём деньги за оставшиеся четыре месяца за вычетом фактически понесенных расходов.
Может ли мой работодатель оплатить курс?
Да. Когда свяжетесь с нашим менеджером, уточните, что оплачивать курс будет ваш работодатель.
Остались вопросы?
Оставляйте заявку и задавайте вопросы менеджеру, команда курса с ним на связи и постарается дать вам исчерпывающую информацию.