Компьютерное зрение. Advanced

Начальный модуль. Вводная лекция посвящена настройке рабочего окружения и установке необходимых библиотек, которые понадобятся вам для обучения на курсе. Две другие лекции посвящены фреймворку глубокого обучения PyTorch, который станет основным инструментом для создания и обучения нейросетей на курсе, а также наиболее известным и распространенным библиотекам компьютерного зрения: opencv, kornia и hugging face.

Тема 1: Вводная лекция: задачи, инструменты и программа курса

Тема 2: PyTorch 2.x: стандартные датасеты и модели torchvision

Тема 3: Библиотеки компьютерного зрения: opencv, kornia, hugging face, OCR

В этом модуле мы пройдемся по основным архитектурам нейронных сетей применяемых в компьютерном зрении - от сверточных сетей к современным трансформерам. Также рассмотрим различные подходы к их обучению.

Тема 1: Эволюция сверточных сетей: от AlexNet до EfficientNet

Тема 2: Адаптивные методы градиентного спуска

Тема 3: Трансформеры в задачах зрения

Тема 4: Self-Supervised Learning: SimCLR, BYOL, FixMatch, MAE, DINO

Модуль посвящен стандартным задачам компьютерного зрения. Начнем с базовой задачи - детектирования объектов на изображениях, и плавно перейдем к теме трекинга и ре-идентификации объектов. Рассмотрим три основных задачи сегментации (instance, semantic и panoptic). Далее, перейдем к детектированию ключевых точек тела и лица, а также узнаем как оценить позу человека в 2D и 3D случаях. И наконец, затронем такую знаменитую задачу как детекция и распознавание лиц. В финале модуля также состоится выбор темы и ментора для вашего выпускного проекта.

Тема 1: Object detection: Постановка задачи, метрики, семейство R-CNN

Тема 2: Object detection: Проблемы многомасштабности, семейство YOLO

Тема 3: Сегментация: продвинутые методы, 3D сегментация

Тема 4: Pose Estimation: 2D и 3D

Тема 5: Face Recognition: современные подходы: SphereFace, ArcFace, CosFace

Тема 6: Object tracking и ReID

Тема 7: Выбор темы и организация проектной работы

Данный модуль целиком посвящен генеративным моделям ИИ. Начнем с классической темы автоэнкодеров и вариационных автокодировщиков, далее перейдем к генеративным состязательным моделям (GAN) при помощи которых попробуем сгенерировать фейковые изображения. После GAN затронем горячую тему - диффузионных моделей, таких как Stable Diffusion, при помощи которых будем генерировать изображения и видео. Модуль замыкают две лекции посвященные мультимодальным нейросетям, где мы рассмотрим две актуальные задачи генерации: text-to-image и image-to-text.

Тема 1: Вариационные автоэнкодеры (VAE)

Тема 2: GAN: постановка задачи и обзор архитектур

Тема 3: Диффузионные модели

Тема 4: Generative Video Models: Stable Video Diffusion, Gen2, MAKE-A-VIDEO

Тема 5: Multimodal text-to-image generation: IP-Adapter, ControlNet

Тема 6: Multimodal image-to-text generation and visual QA: BLIP/GIT

В этом модуле мы перейдем к продвинутым задачам компьютерного зрения. Узнаем, что представляет из себя известная модель SAM и ее модификации. Также рассмотрим какие геометрические методы используются в компьютерном зрении, узнаем, что такое стереозрение, как откалибровать камеру, и как использовать гомографию для нанесения AR-рекламы на видеокадры. Рассмотрим применение моделей компьютерного зрения в автономных транспортных средствах, и методы работы с лидарами и облаками точек. В финале модуля поговорим о задачах распознавания и детектирования действий и активности людей на видео.

Тема 1: Grounded Segment Anything: Segment Anything, Grounding DINO, Grounded SAM

Тема 2: Стереозрение и калибровка камеры

Тема 3: Геометрические методы в компьютерном зрении

Тема 4: 3D Reconsturction: MVSnet, Nerf

Тема 5: SLAM и архитектуры моделей компьютерного зрения в автономных транспортных средствах

Тема 6: Распознавание и детекция действия на видео

В этом небольшом модуле мы посмотрим как оптимизировать свою модель для инференса при помощи различных техник оптимизации (прунинг, квантизация, дистиляция, компиляция моделей) и библиотек для инференса (TensorRT, ONNX), а также попрактикуемся подготавливать и запускать свою модель на продакшн-сервере. Вторая лекция посвящена задаче аннотации данных, где мы попробуем развернуть свой сервер CVAT, при помощи которого попрактикуемся в основных задачах разметки (классификация, детекция, сегментация и трекинг), а также парсинге результатов из различных форматов датасетов.

Тема 1: Инференс на сервере: TensorRT, ONNX, Triton

Тема 2: Аннотация данных в CVAT: поднимаем сервер, подключаем облачное хранилище, базовые таски разметки

Заключительный месяц курса посвящен проектной работе. Свой проект — это то, что интересно писать слушателю. То, что можно создать на основе знаний, полученных на курсе. При этом не обязательно закончить его за месяц. В процессе написания по проекту можно получить консультации преподавателей

Тема 1: Консультация по проектам

Тема 2: Защита проектных работ

Тема 1: (Бонус) Сверточные нейронные сети. Операции свертки, транспонированной свертки, пуллинг

Тема 2: (Бонус) Подготовка и аугментация данных

Тема 3: (Бонус) Градиентный спуск и backpropagation

Тема 4: (Бонус) Переобучение и регуляризация

Тема 5: (Бонус) Взрыв и затухание градиентов