📉 Потратили 1.5 года на АБ-тест, хотя могли провести его за 2 недели План был простой: протестировать новую фичу. Реализовали изменение, раскатили АБ, ждем. Через две недели – выборка набралась. Презентовали результаты – по ключевым метрикам разницы нет. Но менеджмент замечает аномалии в информационных метриках. Через неделю — повторная презентация. В одних метриках нашли ошибки в расчетах, для других придумали объяснение. После долгой дискуссии, решили углубиться в сегменты. Еще неделя — ещё одно обсуждение. Исключаем «проблемный» сегмент… --- Потом обсуждения прекратились: продакт ушёл в отпуск. Когда вернулся — приоритеты сместились. Два других AБ горят. Через пару недель уволился аналитик. О тесте забыли. Через три месяца ушёл и продакт. Через год новый аналитик находит в логах странный AБ-тег. Старший менеджер рассказывает ему историю… Аналитик решает разобраться. В своей жизни он не видел такой огромной выборки — тест крутился год. Но результаты всё те же. А за год всё так изменилось, что часть данных уже не интерпретируема. --- Тест закрыли директивно. Без выводов. Через полтора года. Этого можно было избежать, если бы с самого начала договорились: «это просто гипотеза — нет прироста, значит, двигаемся дальше» Вместо этого пытались «дожать», обосновать, пересчитать. Теперь у команды есть обязательное правило: совместно с менеджментом фиксировать Action Plan ещё до запуска AБ. Иначе можно потерять не только время, но и команду. #абтесты