Ансамбли моделей | OTUS
⚡ Подписка на курсы OTUS!
Интенсивная прокачка навыков для IT-специалистов!
Подробнее

Курсы

Программирование
Разработчик чат-ботов и приложений для виртуальных ассистентов
-15%
PHP Developer. Professional Алгоритмы и структуры данных Scala-разработчик PHP Developer. Basic C# Developer. Professional
-23%
C# ASP.NET Core разработчик Python Developer. Basic Python Developer. Professional Cloud Solution Architecture Специализация iOS
-25%
HTML/CSS Android Developer. Professional React.js Developer Unity Game Developer. Professional NoSQL Java Developer. Professional Highload Architect C++ Developer. Basic Web-разработчик на Python Unity Game Developer. Basic Интенсив «Оптимизация в Java» Супер-практикум по использованию и настройке GIT Symfony Framework Java Developer. Basic Супер-интенсив "Tarantool"
Инфраструктура
MongoDB
-30%
Разработчик чат-ботов и приложений для виртуальных ассистентов
-15%
Administrator Linux. Professional
-26%
Network engineer Administrator Linux. Advanced Специализация Administrator Linux
-25%
Разработчик программных роботов (RPA) на базе UiPath и PIX
-27%
NoSQL Инфраструктурная платформа на основе Kubernetes Highload Architect Мониторинг и логирование: Zabbix, Prometheus, ELK Супер-практикум по использованию и настройке GIT Administrator Linux.Basic Экспресс-курс «IaC Ansible» Экспресс-курс по управлению миграциями (DBVC) Экспресс-курс "Версионирование и командная работа с помощью Git" Network engineer. Basic Основы Windows Server
Корпоративные курсы
Безопасность веб-приложений MongoDB
-30%
Разработчик чат-ботов и приложений для виртуальных ассистентов
-15%
Agile Project Manager Руководитель поддержки пользователей в IT
-10%
Промышленный ML на больших данных Cloud Solution Architecture Внедрение и работа в DevSecOps Spark Developer Reverse-Engineering IT-Recruiter Machine Learning. Professional Интенсив «Оптимизация в Java» Супер-практикум по использованию и настройке GIT Экcпресс-курс «ELK» Enterprise Architect Экспресс-курс «CI/CD или Непрерывная поставка с Docker и Kubernetes» Экспресс-курс «Введение в непрерывную поставку на базе Docker» Вебинар CERTIPORT
Специализации Курсы в разработке Подготовительные курсы Подписка
+7 499 938-92-02

Ансамбли моделей

DataScientist_Deep_1.08_Site.png

Ансамблирование моделей – в машинном обучении техника для улучшения качества предсказаний. Основная идея заключается в том, что отдельно обучаются несколько моделей, а далее их предсказания усредняются. Давайте разберём, почему вообще это работает.

Представим, что решаем задачу регрессии, и мы обучили n-моделей, каждая из которых имеет ошибку ϵi. Будем считать, что все ошибки распределены по нормальному закону с нулевым средним: Снимок_экрана_2018_09_28_в_10-5020-81cc8b.33.45.pngдисперсией:Снимок_экрана_2018_09_28_в_10-5020-d8448e.33.51.pngи ковариацией:Снимок_экрана_2018_09_28_в_10-5020-df70f3.33.59.png

Средняя ошибка предсказаний ансамбля моделей равна следующему выражению: Снимок_экрана_2018_09_28_в_10-5020-e0fad2.35.49.pngРаспишем математическое ожидание квадрата этой ошибки и получим следующее равенство: Снимок_экрана_2018_09_28_в_10-5020-3b0b24.35.56.pngПравая часть формулы позволяет сделать интересные наблюдения: – если c=v, что означает – ошибки разных моделей идеально коррелированы, то мы получим, что квадрат ошибки никак не изменится, – если c=0, когда предсказания моделей не скоррелированы, то мы получим линейное уменьшение ошибки с ростом количества моделей в ансамбле, – в промежуточных значениях, мы получаем уменьшение ошибки.

Таким образом можно сделать выводы: – ансамблирование моделей с одинаковыми ошибками не уменьшает ошибку ансамбля, – чтобы получить значительное уменьшение ошибки мы должны ансамблировать модели, в которых предсказания, а следовательно и ошибки, сильно отличаются.

Приёмы, с помощью которых можно получить модели с некоррелированными предсказаниями: – обучить модели на разных поднаборах данных, – обучить модели на разных поднаборах признаках, – обучить модели с разной начальной инициализацией параметров, – обучить разные типы моделей модели.

Данные приёмы очень активно применяются в соревнованиях по анализу данных. Таким образом, мы рассмотрели простой и эффективный способ повышения качества модели.

Есть вопрос? Напишите в комментариях!

Не пропустите новые полезные статьи!

Спасибо за подписку!

Мы отправили вам письмо для подтверждения вашего email.
С уважением, OTUS!

Автор
2 комментария
1

Что это за квадратики?

0

спасибо! поправили!

Для комментирования необходимо авторизоваться
🔥 Выгодные предложения
Подборка курсов, которые можно приобрести по выгодной цене только до конца июля!