Компьютерное зрение

Базовый модуль посвящен основам нейронных сетей и компьютерного зрения. Вводная лекция посвящена настройке рабочего окружения и установке необходимых библиотек, которые понадобятся вам для обучения на курсе. Далее, повторим программирование на Python и рассмотрим ключевые ML-библиотеки — numpy и scipy, а также рассмотрим платформу Kaggle. Рассмотрим простейшую модель искусственного нейрона и простейшую нейронную сеть. Изучим то, как обучаются нейронные сети при помощи градиентного спуска и алгоритма обратного распространения ошибки. Посмотрим, какие проблемы нас ожидают во время обучения моделей и как справиться с этими проблемами. Рассмотрим основной пайплайн подготовки и аугментации данных для CV. И, конечно, попрактикуемся использовать PyTorch для создания, обучения и инференса нейронных сетей.

Тема 1: Вводная лекция: задачи, инструменты и программа курса

Тема 2: Python и Kaggle, Numpy и Scipy

Тема 3: От нейрона к нейронной сети

Тема 4: Градиентный спуск и backpropagation

Тема 5: PyTorch: тензоры, подготовка данных, training loop

Тема 6: Переобучение и регуляризация

Тема 7: OpenCV / Kornia: Классические подходы в CV

Тема 8: Взрыв и затухание градиентов

Тема 9: Аннотация данных в CVAT: поднимаем сервер, подключаем облачное хранилище, базовые таски разметки

Тема 10: Подготовка и аугментация данных

Тема 11: Адаптивные методы градиентного спуска

В этом модуле мы пройдемся по основным архитектурам нейронных сетей, применяемых в компьютерном зрении, — от сверточных сетей к современным трансформерам и CLIP-моделям. В финале модуля также состоится выбор темы и ментора для вашего выпускного проекта.

Тема 1: Сверточные нейронные сети: свертка, пулинг, функции активации

Тема 2: PyTorch: стандартные датасеты и модели torchvision, MNIST, transfer learning

Тема 3: Сверточные нейронные сети: от AlexNet до EfficientNet

Тема 4: Трансформеры в задачах зрения

Тема 5: CLIP-модели

Тема 6: Выбор темы и организация проектной работы

Модуль посвящен стандартным задачам компьютерного зрения. Начнем с базовой задачи — детектирования объектов на изображениях. Далее рассмотрим три основных задачи сегментации (instance, semantic и panoptic). После перейдем к задачам детектирования ключевых точек лица (landmarks) и тела (pose estimation). И, наконец, затронем такую знаменитую задачу, как детекция и распознавание лиц. Бонусом будет лекция, целиком посвященная геометрическим нейросетевым методам, применяемым в задачах компьютерного зрения.

Тема 1: Object Detection: постановка задачи, метрики, YOLO

Тема 2: Сегментация: базовые задачи instance, semantic, panoptic

Тема 3: Face and Landmarks Detection

Тема 4: Face Recognition

Тема 5: Pose Estimation

Тема 6: Геометрические методы компьютерного зрения

Данный модуль целиком посвящен генеративным моделям ИИ. Начнем с классической темы автоэнкодеров и вариационных автокодировщиков, а также рассмотрим классическую задачу переноса стиля изображений. Далее перейдем к генеративным состязательным моделям (GAN), при помощи которых попробуем сгенерировать фейковые изображения. После GAN затронем горячую тему диффузионных моделей, таких как Stable Diffusion, при помощи которых будем генерировать изображения.

Тема 1: Автокодировщики и VAE

Тема 2: Neural Style Transfer

Тема 3: GAN: Базовая теория, условная генерация, super-resolution

Тема 4: GANs 2. Обзор архитектур

Тема 5: Диффузионные модели: базовая теория

Тема 6: Диффузионные модели: Stable diffusion

Заключительный месяц курса посвящен проектной работе. Свой проект — это то, что интересно писать слушателю. То, что можно создать на основе знаний, полученных на курсе. При этом не обязательно закончить его за месяц. В процессе написания по проекту можно получить консультации преподавателей.

Тема 1: Консультация по проектам

Тема 2: Защита проектных работ