О границах применимости А/В-тестов
5 декабря совместно с коллегами из Booking.com и Transferwise провели вебинар-дискуссию "ЗА и ПРОТИВ A/B-тестов: опыт крупных компаний". Дискуссия и выступления получились очень интересными, содержательными и жаркими.
Что интересно?
Действительно получилось определить границу применения А/В-тестов:
- большая аудитория (DAU, MAU);
- не более одной (максимум двух) гипотез в проверке;
- продуктовый успех в 10 % тестов на уровне роста одного процентного пункта и отсутствие выхлопа в 90 % тестов;
- ограниченность влияния на бизнес-метрики этих самых гипотез;
- неприменимость для В2В-продуктов и ограниченная применимость для финтех-продуктов (где каждый клик на счету).
При этом, безусловно, сплит-тестирование — это самый прозрачный ответ на любой вопрос, это возможность не прибегать к интуиции и не думать за пользователя (что при 90%-х ошибках полезно:)). А/В-тесты — это и хороший друг, на базе которого можно получать инсайты для имеющихся продуктов. Но они всё же про выжимание максимума из текущей бизнес-модели и продукта.
А где же рост продукта и бизнеса?
Он в CustDev’е, анализе конкурентов (посредством того же Similar Web), аналитике своего продукта (при анализе ключевые воронок и сопутствующих метрик, где ищутся и находятся инсайты), аналитике рынка и проектировании пользовательских сценариев (CJM, где видно, что радует, а что огорчает пользователя).
Именно продукты, дающие рост бизнесу, становятся базой труда продакт-менеджера. Именно работа, которая приносит деньги компании, должна быть у продакта первым приоритетом. Про это нужно помнить всегда.
