Глубокое обучение на множествах. Часть 2 | OTUS
⚡ Подписка на курсы OTUS!
Интенсивная прокачка навыков для IT-специалистов!
Подробнее

Курсы

Программирование
Backend-разработчик на PHP Алгоритмы и структуры данных Team Lead Архитектура и шаблоны проектирования Разработчик IoT C# Developer. Professional HTML/CSS
-11%
C# ASP.NET Core разработчик
-5%
Kotlin Backend Developer
-8%
iOS Developer. Professional
-8%
Symfony Framework Unity Game Developer. Basic JavaScript Developer. Professional Android Developer. Basic JavaScript Developer. Basic Java Developer. Professional Highload Architect Reverse-Engineering. Professional Java Developer. Basic Web-разработчик на Python Framework Laravel Cloud Solution Architecture Vue.js разработчик Интенсив «Оптимизация в Java» Супер - интенсив по паттернам проектирования Супер - интенсив по Kubernetes Супер-интенсив "Tarantool" PHP Developer. Basic
Инфраструктура
Мониторинг и логирование: Zabbix, Prometheus, ELK Administrator Linux. Professional Дизайн сетей ЦОД Разработчик IoT PostgreSQL Экспресс-курс "Версионирование и командная работа с помощью Git"
-30%
Microservice Architecture Highload Architect MS SQL Server Developer Разработчик программных роботов (RPA) на базе UiPath и PIX Разработчик голосовых ассистентов и чат-ботов Administrator Linux. Advanced Infrastructure as a code Супер-практикум по использованию и настройке GIT Administrator Linux.Basic Экспресс-курс «IaC Ansible» Экспресс-курс «CI/CD или Непрерывная поставка с Docker и Kubernetes» Основы Windows Server
Корпоративные курсы
Безопасность веб-приложений IT-Recruiter Дизайн сетей ЦОД Компьютерное зрение Разработчик IoT Вебинар CERTIPORT Machine Learning. Professional
-6%
NoSQL Пентест. Практика тестирования на проникновение Java QA Engineer. Базовый курс Руководитель поддержки пользователей в IT
-8%
SRE практики и инструменты Cloud Solution Architecture Внедрение и работа в DevSecOps Супер-практикум по работе с протоколом BGP Infrastructure as a code Супер-практикум по использованию и настройке GIT Промышленный ML на больших данных Экспресс-курс «CI/CD или Непрерывная поставка с Docker и Kubernetes» BPMN: Моделирование бизнес-процессов Основы Windows Server
Специализации Курсы в разработке Подготовительные курсы Подписка
+7 499 938-92-02

Глубокое обучение на множествах. Часть 2

ML_Deep_20.11_site-5020-ad4ddb.png

В некоторых задачах машинного обучения объектами исследования могут быть множества — наборы объектов произвольного размера. В предыдущей заметке я рассказывал о том, как работать со множествами когда их нужно предсказывать, а в этой заметке мы поговорим о задаче поиска изображения на основе множества тегов.

ML2-20219-c69e68.jpgВ случае с поиском изображения архитектура нейронной сети может быть, например, такой как в статье «Learning Two-Branch Neural Networks for Image-Text Matching Tasks». Нейронная сеть в этом случае будет иметь две «головы»: одна преобразует текстовое описание картинки в вектор признаков, вторая — само изображение. Целью обучения будет минимизировать расстояние между соответствующими друг другу парами (описание, изображение) и максимизировать в обратном случае.

А если у нас набор тегов?

Если вместо текстового описания у нас набор тегов, мы, следуя примеру из прошлой заметки, можем рассматривать этот набор как последовательность и обрабатывать её с помощью рекуррентной нейронной сети. Причём теперь отсутствие порядка во множестве тегов может быть использовано для аугментации тренировочного сета.

По сути, для каждого изображения с n-тегами мы можем получить n! обучающих примеров. Правда, это не гарантирует независимости результата от порядка, но всё же станет некоторым приближением к решению проблемы порядка.

Поговорим о пуллинге

Наиболее популярным способом обработки сетов является применение пуллинга — того самого, который используется в глубоких свёрхточных сетях, а точнее, его одномерных братьев. Первые слои сети обрабатывают каждый тег независимо, после чего вектора признаков от всех тегов, например, усредняются.

Помимо усреднения, можно выбирать максимумы или минимумы каждого из параметров по этим векторам. Полученный вектор может быть пропущен ещё через несколько слоев нейронной сети или быть использован в качестве вектора признаков как есть. А в статье «Deep Sets», представленной на конференции NIPS 2017, этот подход обобщается на класс функций инвариантных и эквивариантных к перестановкам. Кстати, среди соавторов этой статьи есть и наш соотечественник Руслан Салахутдинов — один из самых известных учёных в области науки о данных.

Помимо описанных подходов для работы с множествами, в рамках своего курса я разберу статью под названием «PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation», посвящённую классификации и сегментации 3D-сцен, представленных множеством точек.

Задать вопрос всегда можно в комментариях!

Не пропустите новые полезные статьи!

Спасибо за подписку!

Мы отправили вам письмо для подтверждения вашего email.
С уважением, OTUS!

Автор
0 комментариев
Для комментирования необходимо авторизоваться