Расстояние Вассерштейна: WGAN и 2 кучи земли | OTUS
⚡ Подписка на курсы OTUS!
Интенсивная прокачка навыков для IT-специалистов!
Подробнее

Курсы

Программирование
Backend-разработчик на PHP Алгоритмы и структуры данных Team Lead Архитектура и шаблоны проектирования Разработчик IoT C# Developer. Professional HTML/CSS
-11%
C# ASP.NET Core разработчик
-5%
Kotlin Backend Developer
-8%
iOS Developer. Professional
-8%
Symfony Framework Unity Game Developer. Basic JavaScript Developer. Professional Android Developer. Basic JavaScript Developer. Basic Java Developer. Professional Highload Architect Reverse-Engineering. Professional Java Developer. Basic Web-разработчик на Python Framework Laravel Cloud Solution Architecture Vue.js разработчик Интенсив «Оптимизация в Java» Супер - интенсив по паттернам проектирования Супер - интенсив по Kubernetes Супер-интенсив "Tarantool" PHP Developer. Basic
Инфраструктура
Мониторинг и логирование: Zabbix, Prometheus, ELK Administrator Linux. Professional Дизайн сетей ЦОД Разработчик IoT PostgreSQL Экспресс-курс "Версионирование и командная работа с помощью Git"
-30%
Microservice Architecture Highload Architect MS SQL Server Developer Разработчик программных роботов (RPA) на базе UiPath и PIX Разработчик голосовых ассистентов и чат-ботов Administrator Linux. Advanced Infrastructure as a code Супер-практикум по использованию и настройке GIT Administrator Linux.Basic Экспресс-курс «IaC Ansible» Экспресс-курс «CI/CD или Непрерывная поставка с Docker и Kubernetes» Основы Windows Server
Корпоративные курсы
Безопасность веб-приложений IT-Recruiter Дизайн сетей ЦОД Компьютерное зрение Разработчик IoT Вебинар CERTIPORT Machine Learning. Professional
-6%
NoSQL Пентест. Практика тестирования на проникновение Java QA Engineer. Базовый курс Руководитель поддержки пользователей в IT
-8%
SRE практики и инструменты Cloud Solution Architecture Внедрение и работа в DevSecOps Супер-практикум по работе с протоколом BGP Infrastructure as a code Супер-практикум по использованию и настройке GIT Промышленный ML на больших данных Экспресс-курс «CI/CD или Непрерывная поставка с Docker и Kubernetes» BPMN: Моделирование бизнес-процессов Основы Windows Server
Специализации Курсы в разработке Подготовительные курсы
+7 499 938-92-02

Расстояние Вассерштейна: WGAN и 2 кучи земли

ML_Deep_20.06_2_Site.png

В январе 2017 года команда из Курантовского института математических наук и Facebook AI Research выложила в открытый доступ препринт статьи под названием «Wasserstein GAN».

Основное отличие этой статьи от большинства публикаций предлагающих очередное улучшение для Генеративных Состязательных Сетей заключается в фундаментальной теоретической базе. Авторы не просто демонстрируют очередной набор удачных изображений, порождённых GAN’ами, но и объясняют эффективность данного подхода с точки зрения теории. И в центре этой теории как раз и лежит расстояние Вассерштейна.

Если подробно разобрать оригинальную статью, то окажется, что в базовой версии GANs минимизируется дивергенция Дженсена-Шеннона, которая является суммой двух дивергенций Кльбака-Лейблера. Оба этих страшных словосочетания обозначают некоторые меры близости для пары распределений. Если вы хорошо знакомы с теорией информации, то вам будет не слишком сложно придумать два распределения, для которых эти меры будут бесконечными, что, конечно же, будет сильно препятствовать сходимости любого алгоритма машинного обучения.

Для таких как я, замечу

Снимок экрана 2018-06-20 в 14.15.16.pngВ этой формуле наличия одной такой точки «x», в которой q(x)=0, а p(x)>0, достаточно для того, чтобы интеграл разошёлся. Но как нам с этим поможет широко известный в узких кругах выпускник МГУ Леонид Вассерштейн?

Давайте разберёмся

Определение расстояния Вассерштейна довольно громоздко и, по правде, мне тоже непонятно: Снимок экрана 2018-06-20 в 14.16.39.pngК счастью, есть простая и наглядная интерпретация. Допустим, заданы две функции плотности распределения Снимок экрана 2018-06-20 в 14.17.22.pngГде «d» – обозначает data или данные, а «θ» – параметры нейронной сети, раз уж мы говорим о них. 2.pngИзображение взято с сайта Structural Bioinformatics Library

Можно представить, что это две кучи земли. Обе содержат одинаковое количество земли, так как по определению их интегралы равны единице и мы хотим одну кучу переместить так, чтобы образовалась другая. При этом «стоимость» перемещения земли равна произведению перемещаемой «массы» на расстояние.

Хочется заметить, что используя такую интерпретацию, разобраться с формулой не составляет большого труда. Не буду вдаваться в детали, понятно, что для любых двух распределений, «стоимость» переноса должна оказаться конечной, то есть для любого изменения параметров theta мы можем сказать, стало ли расстояние Вассерштейна меньше.

Конечно, вычисление точного расстояния между распределениями, как это часто бывает, оказывается невозможным. Однако авторы показывают, что мы можем минимизировать мажорирующее распределение, чего, конечно же, достаточно.

Итог

В заключение остается только привести примеры изображений, порождённых сетями GAN и WGAN:

Без заголовка.pngЭти изображения взяты из статьи Wasserstein GAN. В качестве обучающей выборки использовался датасет с соревнования Large-scale Scene Understanding Challenge. Левая плашка содержит изображения, сгенерированные моделью, использующей расстояние Вассерштейна, а правая – оригинальную функцию потерь GANs.

В следующий раз я собираюсь рассказать о том, как можно вывернуть GAN наизнанку и почему так надо делать.

Есть вопросы? Напишите в комментариях!

Не пропустите новые полезные статьи!

Спасибо за подписку!

Мы отправили вам письмо для подтверждения вашего email.
С уважением, OTUS!

Автор
0 комментариев
Для комментирования необходимо авторизоваться