Развертывание локальных моделей

В этом модуле вы разберёте, как устроены локальные большие языковые модели и как их запускать. Рассмотрите архитектуру вывода модели: токенизацию, кэширование и параметры генерации. Также поймёте, как оценивать требования моделей к памяти, подбирать оборудование и применять квантизацию для достижения компромисса между качеством ответов и скоростью работы.

Тема 1: Введение в локальные большие языковые модели и их запуск

Тема 2: Архитектура вывода модели: токенизация, кэширование и параметры генерации // ДЗ

Тема 3: Оценка требований моделей к памяти и подбор оборудования

Тема 4: Квантизация моделей: форматы и компромисс качества и скорости

В этом модуле вы разберёте, как устроены векторные представления и семантический поиск, а также рассмотрите полный конвейер RAG: разбиение текста, индексирование и формирование ответа. Вы поймёте, как повышать точность поиска с помощью переранжирования и переформулирования запросов, а также научитесь оценивать качество поиска и контролировать регрессии в процессе эксплуатации RAG-систем.

Тема 1: Векторные представления и семантический поиск

Тема 2: Конвейер RAG: разбиение, индексирование и формирование ответа

Тема 3: Повышение точности поиска: переранжирование и переформулирование запросов

Тема 4: Оценка качества поиска и контроль регрессий // ДЗ

В этом модуле вы разберёте, как устроены вызов инструментов и структурированный вывод, а также рассмотрите агентные сценарии и маршрутизацию запросов. Вы поймёте, как подготавливать наборы данных для дообучения моделей и оценивать их качество под конкретную прикладную задачу, чтобы принимать обоснованные решения о внедрении.

Тема 1: Вызов инструментов и структурированный вывод

Тема 2: Агентные сценарии и маршрутизация запросов

Тема 3: Подготовка наборов данных для дообучения

Тема 4: Оценка моделей под прикладную задачу // ДЗ

В этом модуле вы разберёте критерии применимости дообучения и освоите методы LoRA и QLoRA для эффективной настройки моделей на одном графическом процессоре. Рассмотрите, как дообучать модели под доменную роль и работу с инструментами, а также научитесь масштабировать обучение и управлять адаптерами. Кроме того, вы поймёте, как применять выравнивание по предпочтениям (DPO) и методы обучения с подкреплением (GRPO) для улучшения качества ответов моделей рассуждения.

Тема 1: Дообучение моделей: критерии применимости и метод LoRA

Тема 2: Дообучение методом QLoRA на одном графическом процессоре

Тема 3: Дообучение под доменную роль и работу с инструментами // ДЗ

Тема 4: Масштабирование обучения и управление адаптерами

Тема 5: Выравнивание по предпочтениям: метод DPO

Тема 6: Обучение с подкреплением и модели рассуждения: метод GRPO // ДЗ

В этом модуле вы разберёте методы дистилляции знаний, генерации синтетических данных и сжатия моделей для повышения их эффективности. Также рассмотрите мультимодальные модели и их применение для обработки документов. Вы поймёте, как организовать промышленное обслуживание, развёртывание и API-доступ к моделям, а также научитесь обеспечивать безопасность контура и наблюдаемость ИИ-систем в эксплуатации.

Тема 1: Дистилляция знаний, синтетические данные и сжатие моделей

Тема 2: Мультимодальные модели и обработка документов

Тема 3: Промышленное обслуживание, развёртывание и API

Тема 4: Безопасность контура и наблюдаемость // ДЗ

Заключительный месяц курса посвящен проектной работе. Проект – это самая интересная часть обучения. Вы будете разрабатывать его на основе полученных на курсе навыков и компетенций. В процессе работы над проектом можно получить консультацию преподавателей.

Тема 1: Консультация по проектной работе

Тема 2: Защита проектной работы