О границах применимости А/В-тестов | OTUS
🔥 Начинаем BLACK FRIDAY!
Максимальная скидка -25% на всё. Успейте начать обучение по самой выгодной цене.
Выбрать курс

Курсы

Программирование
iOS Developer. Basic
-25%
Python Developer. Professional
-25%
Разработчик на Spring Framework
-25%
Golang Developer. Professional
-25%
Python Developer. Basic
-25%
iOS Developer. Professional
-25%
Highload Architect
-25%
JavaScript Developer. Basic
-25%
Kotlin Backend Developer
-25%
JavaScript Developer. Professional
-25%
Android Developer. Basic
-25%
Unity Game Developer. Basic
-25%
Разработчик C#
-25%
Программист С Web-разработчик на Python Алгоритмы и структуры данных Framework Laravel PostgreSQL Reverse-Engineering. Professional CI/CD Vue.js разработчик VOIP инженер Программист 1С Flutter Mobile Developer Супер - интенсив по Kubernetes Symfony Framework Advanced Fullstack JavaScript developer Супер-интенсив "Azure для разработчиков"
Инфраструктура
Мониторинг и логирование: Zabbix, Prometheus, ELK
-25%
DevOps практики и инструменты
-25%
Архитектор сетей
-25%
Инфраструктурная платформа на основе Kubernetes
-25%
Супер-интенсив «ELK»
-16%
Супер-интенсив «IaC Ansible»
-16%
Супер-интенсив "SQL для анализа данных"
-16%
Базы данных Сетевой инженер AWS для разработчиков Cloud Solution Architecture Разработчик голосовых ассистентов и чат-ботов Внедрение и работа в DevSecOps Администратор Linux. Виртуализация и кластеризация Нереляционные базы данных Супер-практикум по использованию и настройке GIT IoT-разработчик Супер-интенсив «СУБД в высоконагруженных системах»
Специализации Курсы в разработке Подготовительные курсы
+7 499 938-92-02

О границах применимости А/В-тестов

259_teach_1-20219-10e85b.jpg

5 декабря совместно с коллегами из Booking.com и Transferwise провели вебинар-дискуссию "ЗА и ПРОТИВ A/B-тестов: опыт крупных компаний". Дискуссия и выступления получились очень интересными, содержательными и жаркими.

Что интересно?

Действительно получилось определить границу применения А/В-тестов:

  • большая аудитория (DAU, MAU);
  • не более одной (максимум двух) гипотез в проверке;
  • продуктовый успех в 10 % тестов на уровне роста одного процентного пункта и отсутствие выхлопа в 90 % тестов;
  • ограниченность влияния на бизнес-метрики этих самых гипотез;
  • неприменимость для В2В-продуктов и ограниченная применимость для финтех-продуктов (где каждый клик на счету).

При этом, безусловно, сплит-тестирование — это самый прозрачный ответ на любой вопрос, это возможность не прибегать к интуиции и не думать за пользователя (что при 90%-х ошибках полезно:)). А/В-тесты — это и хороший друг, на базе которого можно получать инсайты для имеющихся продуктов. Но они всё же про выжимание максимума из текущей бизнес-модели и продукта.

А где же рост продукта и бизнеса?

Он в CustDev’е, анализе конкурентов (посредством того же Similar Web), аналитике своего продукта (при анализе ключевые воронок и сопутствующих метрик, где ищутся и находятся инсайты), аналитике рынка и проектировании пользовательских сценариев (CJM, где видно, что радует, а что огорчает пользователя).

Именно продукты, дающие рост бизнесу, становятся базой труда продакт-менеджера. Именно работа, которая приносит деньги компании, должна быть у продакта первым приоритетом. Про это нужно помнить всегда.

Не пропустите новые полезные статьи!

Спасибо за подписку!

Мы отправили вам письмо для подтверждения вашего email.
С уважением, OTUS!

Автор
0 комментариев
Для комментирования необходимо авторизоваться
🎁 Максимальная скидка!
Черная пятница уже в OTUS! Скидка -25% на всё!