❓ Как смотреть метрики А/В, если фичи нет в контроле? Ситуация: вы хотите провести А/В на совершенно новую фичу. Т. е. не на изменение существующей. Например, хотите оценить влияние от внедрения рекомендательного блока в корзине. Или от введения еще одного варианта тарифа по подписке. В качестве ключевой метрики эксперимента в таких случаях часто хочется взять метрику про фичу. К примеру, долю купленных товаров по рекомендательному блоку или конверсию в оформление подписки по новому тарифу. Но вот проблема: эта метрика характерна только для тестовой группы. Фичи раньше не было, сравнивать не с чем – мы не можем посчитать значение метрики для контрольной группы. Что же делать? 1️⃣ Брать в качестве ключевой метрики ту, которая «есть» и в тесте, и в контроле. При этом отталкиваться от решаемой проблематики. Тот же рекомендационный блок вводится не просто ради качественных рекомендаций. Он наверняка нужен для повышения среднего чека заказа. Так же и в новом варианте тарифа по подписке – растим благодаря нему ARPU или LTV, а не просто вовлекаем в новый тариф. 2️⃣ Брать метрики взаимодействия с новой фичей как информационные. Да, они будут только для тестовой группы, и с контролем их будет не сравнить. Но они покажут, как пользователи взаимодействуют с фичей, и насколько хорошо она решает поставленную задачу. Это даст основу для новых гипотез. И пусть подобные эксперименты не вызывают у вас затруднений.) #абтесты