О границах применимости А/В-тестов

5 декабря совместно с коллегами из Booking.com и Transferwise провели вебинар-дискуссию "ЗА и ПРОТИВ A/B-тестов: опыт крупных компаний". Дискуссия и выступления получились очень интересными, содержательными и жаркими.

Что интересно?

Действительно получилось определить границу применения А/В-тестов:

• большая аудитория (DAU, MAU);
• не более одной (максимум двух) гипотез в проверке;
• продуктовый успех в 10 % тестов на уровне роста одного процентного пункта и отсутствие выхлопа в 90 % тестов;
• ограниченность влияния на бизнес-метрики этих самых гипотез;
• неприменимость для В2В-продуктов и ограниченная применимость для финтех-продуктов (где каждый клик на счету).

При этом, безусловно, сплит-тестирование — это самый прозрачный ответ на любой вопрос, это возможность не прибегать к интуиции и не думать за пользователя (что при 90%-х ошибках полезно:)). А/В-тесты — это и хороший друг, на базе которого можно получать инсайты для имеющихся продуктов. Но они всё же про выжимание максимума из текущей бизнес-модели и продукта.

А где же рост продукта и бизнеса?

Он в CustDev’е, анализе конкурентов (посредством того же Similar Web), аналитике своего продукта (при анализе ключевые воронок и сопутствующих метрик, где ищутся и находятся инсайты), аналитике рынка и проектировании пользовательских сценариев (CJM, где видно, что радует, а что огорчает пользователя).

Именно продукты, дающие рост бизнесу, становятся базой труда продакт-менеджера. Именно работа, которая приносит деньги компании, должна быть у продакта первым приоритетом. Про это нужно помнить всегда.