28 августа
4 месяца
Онлайн
Локальные большие языковые модели работают на вашей инфраструктуре и не передают данные за пределы периметра — это отличает демонстрационный чат-бот от рабочего инструмента для конфиденциальной документации, внутренних регламентов и персональных данных. Курс ведёт вас от первого запуска модели до развёрнутого приватного AI-ассистента, который выполняет поиск по вашим документам, действует через инструменты и обслуживается как полноценный сервис.
Программа выстроена вокруг результата каждого занятия — того, что вы умеете делать в конце. Отдельные блоки посвящены подготовке данных и оценке качества, выравниванию поведения и дистилляции — тому, что обычно остаётся за рамками вводных курсов, но определяет, дойдёт ли решение до промышленной эксплуатации.
Основная часть практики выполняется в готовых инструментах: десктоп-приложениях и веб-интерфейсах (LM Studio, Open WebUI, AnythingLLM), визуальных конструкторах агентов и RAG (Dify, Flowise, n8n), инструментах дообучения и оценки с графическим интерфейсом (LLaMA-Factory, H2O LLM Studio, Unsloth Studio, Langfuse).
Код применяется дозированно — там, где он действительно полезен (генерация синтетических данных, настройка функции вознаграждения в обучении с подкреплением), и предоставляется готовым шаблоном, который требуется настроить, а не писать с нуля.
Выберем среду выполнения под профиль нагрузки, развернём OpenAI-совместимую конечную точку, будем управлять параметрами генерации и шаблонами чата
Тема 1: Введение в локальные большие языковые модели и их запуск
Тема 2: Архитектура вывода модели: токенизация, кэширование и параметры генерации
Тема 3: Оценка требований моделей к памяти и подбор оборудования
Тема 4: Квантизация моделей: форматы и компромисс качества и скорости
Тема 1: Векторные представления и семантический поиск
Тема 2: Конвейер RAG: разбиение, индексирование и формирование ответа
Тема 3: Повышение точности поиска: переранжирование и переформулирование запросов
Тема 4: Оценка качества поиска и контроль регрессий
Тема 1: Вызов инструментов и структурированный вывод
Тема 2: Агентные сценарии и маршрутизация запросов
Тема 3: Подготовка наборов данных для дообучения
Тема 4: Оценка моделей под прикладную задачу
Тема 1: Дообучение моделей: критерии применимости и метод LoRA
Тема 2: Дообучение методом QLoRA на одном графическом процессоре
Тема 3: Дообучение под доменную роль и работу с инструментами
Тема 4: Масштабирование обучения и управление адаптерами
Тема 5: Выравнивание по предпочтениям: метод DPO
Тема 6: Обучение с подкреплением и модели рассуждения: метод GRPO
Тема 1: Дистилляция знаний, синтетические данные и сжатие моделей
Тема 2: Мультимодальные модели и обработка документов
Тема 3: Промышленное обслуживание, развёртывание и API
Тема 4: Безопасность контура и наблюдаемость
Тема 1: Консультация по проектной работе
Тема 2: Защита проектной работы
Открытый вебинар — это настоящее занятие в режиме онлайн с преподавателем курса, которое позволяет посмотреть, как проходит процесс обучения. В ходе занятия слушатели имеют возможность задать вопросы и получить знания по реальным практическим кейсам.
OTUS осуществляет лицензированную образовательную деятельность.
Вы получите сертификат о прохождении обучения, а также можете получить удостоверение о повышении квалификации.
Удостоверение о повышении квалификации: если вы успешно защитили выпускной проект и готовы предоставить копию документа о высшем или среднем профессиональном образовании
Доступ к учебным материалам курса
Ваш личный проект, который поможет проходить собеседования
Стоимость в рассрочку