О границах применимости А/В-тестов | OTUS
👋 Канал OTUS в Telegram!
Посты от приглашенных гостей из IT-тусовки, полезные статьи, подборки вакансий от партнеров ➞
Подробнее

Курсы

Программирование
Разработчик игр на Unity
-40%
Vue.js разработчик
-40%
React.js разработчик
-40%
Архитектор программного обеспечения
-40%
Архитектура и шаблоны проектирования
-40%
Разработчик C++
-40%
Разработчик Node.js
-40%
Scala-разработчик
-30%
Backend-разработка на Kotlin
-30%
Программист 1С
-30%
Symfony Framework
-30%
Разработчик на Spring Framework Разработчик Golang C# ASP.NET Core разработчик iOS-разработчик. Базовый курс 2.0 VOIP инженер Базы данных AWS для разработчиков Cloud Solution Architecture Agile Project Manager в IT Супер - интенсив по паттернам проектирования Супер - интенсив по Kubernetes
Специализации Курсы в разработке Подготовительные курсы
+7 499 938-92-02

О границах применимости А/В-тестов

259_teach_1-20219-10e85b.jpg

5 декабря совместно с коллегами из Booking.com и Transferwise провели вебинар-дискуссию "ЗА и ПРОТИВ A/B-тестов: опыт крупных компаний". Дискуссия и выступления получились очень интересными, содержательными и жаркими.

Что интересно?

Действительно получилось определить границу применения А/В-тестов:

  • большая аудитория (DAU, MAU);
  • не более одной (максимум двух) гипотез в проверке;
  • продуктовый успех в 10 % тестов на уровне роста одного процентного пункта и отсутствие выхлопа в 90 % тестов;
  • ограниченность влияния на бизнес-метрики этих самых гипотез;
  • неприменимость для В2В-продуктов и ограниченная применимость для финтех-продуктов (где каждый клик на счету).

При этом, безусловно, сплит-тестирование — это самый прозрачный ответ на любой вопрос, это возможность не прибегать к интуиции и не думать за пользователя (что при 90%-х ошибках полезно:)). А/В-тесты — это и хороший друг, на базе которого можно получать инсайты для имеющихся продуктов. Но они всё же про выжимание максимума из текущей бизнес-модели и продукта.

А где же рост продукта и бизнеса?

Он в CustDev’е, анализе конкурентов (посредством того же Similar Web), аналитике своего продукта (при анализе ключевые воронок и сопутствующих метрик, где ищутся и находятся инсайты), аналитике рынка и проектировании пользовательских сценариев (CJM, где видно, что радует, а что огорчает пользователя).

Именно продукты, дающие рост бизнесу, становятся базой труда продакт-менеджера. Именно работа, которая приносит деньги компании, должна быть у продакта первым приоритетом. Про это нужно помнить всегда.

Не пропустите новые полезные статьи!

Спасибо за подписку!

Мы отправили вам письмо для подтверждения вашего email.
С уважением, OTUS!

Автор
0 комментариев
Для комментирования необходимо авторизоваться