24 декабря
3 месяца
Онлайн
Вт/Чт 20:00 Мск
Техническим руководителям и аналитикам ИБ курс поможет обсуждать с командой угрозы, выбирать меры защиты и оценивать риски внедрения ИИ-сервисов.
Нужны базовые знания информационной безопасности или опыт разработки и эксплуатации приложений. Для технической части пригодятся понимание HTTP/API, работа с командной строкой и чтение простого кода на Python.
Курс посвящен защите ИИ-систем и не заменяет базовую подготовку по ИБ или разработке.
Разберете, как документ в RAG влияет на ответ модели и вызов инструмента, а ошибка проверки прав приводит к утечке.
По следам запроса определите, дошла ли инструкция до модели и привела ли она к
Живые занятия с вопросами преподавателям, записи вебинаров и обсуждение решений в закрытом чате.
В программе - демонстрации, учебные разборы, практические домашние задания и проект. В занятиях по RAG используются трассировки запросов и симуляция расследования утечки.
В проекте вы объедините анализ архитектуры, угроз, сценариев обнаружения и мер защиты ИИ-сервиса.
Проследите путь документа до ответа модели и действия агента. Отделите попытку атаки от ее последствий.
Разберете повторные проверки LLM, оценку успешности атак и ложные срабатывания защитных механизмов.
Определите, какие события LLM, RAG и инструментов нужны для поиска утечек и опасных действий.
Многие студенты еще во время прохождения первой части программы находят или меняют работу, а к концу обучения могут претендовать на повышение в должности.
Два онлайн-занятия в неделю. Можно задать вопрос преподавателю в эфире, а затем вернуться к записи и материалам.
Практические домашние задания с обратной связью и итоговый разбор защищенности ИИ-сервиса.
Вопросы в закрытом чате, обсуждение решений на занятиях и комментарии преподавателей при проверке домашних заданий.
В этом модуле вы разберёте, что представляет собой ИИ-система как объект технической защиты, и рассмотрите её архитектурные особенности с точки зрения безопасности. Также поймёте, какие стандарты, рекомендации и нормативные требования регулируют безопасность ИИ, и научитесь моделировать угрозы: выделять активы, определять границы доверия, разрабатывать сценарии атак и оценивать риски.
Тема 1: Введение в безопасность ИИ-систем
Тема 2: Архитектура ИИ-систем // ДЗ
Тема 3: Стандарты, рекомендации и нормативные требования в области безопасности ИИ
Тема 4: Моделирование угроз для ИИ-систем: активы, границы доверия, сценарии атак и оценка риска // ДЗ
В этом модуле вы разберёте основные виды атак на LLM и генеративные приложения, включая prompt injection, извлечение системных инструкций и jailbreak-атаки. Также поймёте, как происходит утечка данных, в чём заключается небезопасная обработка вывода модели и какие риски возникают при интеграции LLM с приложениями. Вы научитесь применять методики практической проверки защищённости LLM-приложений для выявления уязвимостей и оценки их критичности.
Тема 1: Prompt injection и извлечение системных инструкций: прямые и косвенные атаки на LLM-приложения
Тема 2: Jailbreak-атаки, обход ограничений модели и злоупотребление возможностями генеративного ИИ
Тема 3: Утечки данных, небезопасная обработка вывода модели и риски интеграции LLM с приложениями
Тема 4: Методика практической проверки защищенности LLM-приложения // ДЗ
В этом модуле вы разберёте устройство RAG-систем и их поверхность атаки, а также рассмотрите основные векторы атак на RAG-компоненты. Вы поймёте, как устроены ИИ-агенты и автономные системы: их полномочия, подключаемые инструменты и сценарии злоупотребления. Также вы научитесь выявлять и анализировать атаки на ИИ-агентов, включая косвенные инструкции, опасные действия и риски интеграции с внешними сервисами и MCP.
Тема 1: Устройство RAG-систем и их поверхность атаки
Тема 2: Атаки на RAG
Тема 3: ИИ-агенты и автономные действия: полномочия, инструменты, критические операции и сценарии злоупотребления
Тема 4: Угрозы классического машинного обучения
В этом модуле вы разберёте угрозы классического машинного обучения и риски, связанные с цепочкой поставок ИИ-систем: сторонние модели, наборы данных, библиотеки, зависимости и репозитории артефактов. Также вы поймёте, как обеспечить безопасность среды исполнения ИИ-сервисов - API, контейнеры, секреты, права доступа, загрузка моделей и небезопасные артефакты. Вы научитесь применять подходы MLSecOps для управления безопасным жизненным циклом ИИ-системы: контролировать изменения, проводить проверки перед выпуском и управлять рисками.
Тема 1: Атаки на ИИ-агентов и подключаемые инструменты: косвенные инструкции, опасные действия, внешние сервисы и MCP // ДЗ
Тема 2: Цепочка поставок ИИ-систем: сторонние модели, наборы данных, библиотеки, зависимости и репозитории артефактов
Тема 3: Безопасность среды исполнения ИИ-сервисов: API, контейнеры, секреты, права доступа, загрузка моделей и небезопасные артефакты // ДЗ
Тема 4: MLSecOps и безопасный жизненный цикл ИИ-системы: контроль изменений, проверки перед выпуском, управление рисками // ДЗ
В этом модуле вы разберёте, как организовать сбор телеметрии ИИ-систем - какие события необходимо отслеживать от LLM, RAG-компонентов, агентов, API и внешних инструментов для выявления аномалий и признаков атак. Также вы научитесь применять методы обнаружения атак на ИИ-системы, анализировать инциденты и реагировать на угрозы в реальном времени.
Тема 1: Телеметрия ИИ-систем: какие события собирать от LLM, RAG, агентов, API и внешних инструментов
Тема 2: Обнаружение атак на ИИ-системы
Заключительный месяц курса посвящен проектной работе. Проект – это самая интересная часть обучения. Вы будете разрабатывать его на основе полученных на курсе навыков и компетенций. В процессе работы над проектом можно получить консультацию преподавателей.
Тема 1: Выбор темы и организация проектной работы // Проектная работа
Тема 2: Консультация по проектам и домашним заданиям
Тема 3: Защита проектных работ
Тема 4: Подведение итогов курса
Эксперты-практики делятся опытом, разбирают кейсы студентов и дают развернутый фидбэк на домашние задания
Бесплатный открытый вебинар – онлайн-занятие с преподавателем курса. На открытом вебинаре можно посмотреть, как проходит обучение, а ещё – узнать что-то ценное по интересующей теме. На занятии слушатели задают ведущему вопросы и получают обратную связь.
OTUS осуществляет лицензированную образовательную деятельность.
Вы получите сертификат о прохождении обучения, а также можете получить удостоверение о повышении квалификации.
Удостоверение о повышении квалификации: если вы успешно защитили выпускной проект и готовы предоставить копию документа о высшем или среднем профессиональном образовании
Доступ к учебным материалам курса
Ваш личный проект, который поможет проходить собеседования
Стоимость в рассрочку