❄️ Разбор задачи с собеса про заморозку подписки Формулировку задачи оставил постом выше, поэтому сразу к разбору. Главная ошибка – услышать «проверить гипотезу» и сразу побежать в A/B. Эксперимент здесь может оказаться дорогим решением в лоб. Чтобы увидеть не только краткосрочный эффект на выручку, но и последствия для удержания и LTV, его придется вести достаточно долго. При этом ошибка с решением убрать заморозку потенциально стоит дороже, чем ошибка с решением ее оставить. Сначала нужно понять, что именно мы пытаемся измерить. Продакт утверждает: «Без заморозки эти пользователи просто продолжали бы платить». Проблема в том, что это контрфакт. Мы не знаем, что произошло бы с тем же пользователем без заморозки. Вариантов минимум три: -> продолжил бы платить – тогда заморозка каннибализирует выручку; -> отменил бы подписку совсем – тогда заморозка спасает будущую выручку; -> отменил бы и вернулся позже – промежуточный сценарий. В более широком смысле наличие заморозки может влиять еще и на решение оформить подписку в целом. Поэтому «заморозкой пользуются 8%» и «средний срок – 2 месяца» сами по себе ничего не доказывают. До эксперимента нужно провести ресерч. Первый вопрос – в какой момент пользователь выбирает заморозку? Если большинство сначала идут отменять подписку, а затем выбирают паузу вместо отмены – это аргумент в пользу того, что механика работает как удержание. Если же люди сами находят заморозку в настройках и регулярно используют ее как способ не платить за периоды простоя – это уже сильнее похоже на каннибализацию. Дальше посмотрел бы, что происходит с пользователями после разморозки: какая доля продолжает платить, сколько из них реально возвращаются в продукт, а не просто забывают отменить подписку, какая доля отменяет ее после разморозки и как часто пользователи замораживают подписку повторно. Можно также попробовать подобрать похожих пользователей через matching / PSM и сравнить метрики тех, кто пользовался и не пользовался заморозкой. Это не даст полноценной причинной оценки, но поможет понять направление и примерный масштаб эффекта. Если ресерча недостаточно для принятия решения, можно переходить к A/B. Control – текущая механика. Treatment – заморозки нет. И ключевая ошибка здесь – смотреть только на краткосрочные метрики. Без заморозки выручка на коротком горизонте, скорее всего, вырастет. Но если пользователи начнут чаще отменять подписку и хуже возвращаться, на длинном горизонте эффект может стать отрицательным. Поэтому основной вопрос – что происходит с выручкой на достаточно длинном горизонте. Будем смотреть Revenue, Retention, реактивации и отмены на горизонте 3+ месяцев, а на их основе оценивать долгосрочный эффект на LTV. При этом финальное решение необязательно будет бинарным. Самая интересная рекомендация – перенести заморозку во flow отмены. Тогда кнопку видят именно те, кто уже собирается уходить, а не все пользователи подряд. И задача превращается из: «Нужна ли нам заморозка?» в: «Кому она спасает подписку, а кому просто дает возможность временно не платить?» — Именно это и проверяют на собесе: не только умеете ли вы задизайнить A/B, но и как вы мыслите: видите ли риски и ограничения, умеете ли выбрать оптимальный способ проверки гипотез. А если хотите больше подобных разборов продуктовых кейсов на канале – поддержите пост огоньком 🔥 Это моя любимая рубрика.)