❓ Угадайте, что произошло с метрикой? На одном из моих мест работы, у менеджмента в продукте была традиция: каждое утро просматривать дашборды по экспериментам. И если вдруг динамика любой метрики шла не туда, они торжественно врывались в чат с аналитиками и писали: «@ here, Аналитики! Срочно проверьте, что это тут за падение?» Мы вооружались лупами, включали режим Шерлока и начинали копать. Проверяли фильтры, когорты, сегменты. Час расследования. Два. Менеджеры напряжённо ждут и «мягко» пингуют. И вот великий вердикт: «Это сезонность!» Менеджеры недоверчиво морщатся, но верят. До следующего утра... Ведь на следующее утро – снова тревога: «Аналитики! Почему в результатах эксперимента эта метрика так сильно просела? Что сломалось?» Мы снова лезем в данные, устраиваем коллективные танцы с бубнами вокруг графиков и их SQL-запросов, от отчаяния выгружаем сырые данные в Excel / GSheet. И вновь вердикт: «Это сезонность». Менеджеры начинают слегка злиться, но принимают ответ. В этот же день презентуем результаты одного из экспериментов. Результаты, конечно же, неоднозначные. И вот С-level задает вопрос «Почему вот здесь так?». И все затаив дыхание ждут, пока бедный аналитик произнесет: «Это сезонность...» Тишина... И следом возмущение: «Опять?! Сколько можно прикрываться сезонностью?» А ничего «лучше» найти не удается. Поэтому остается только вежливо улыбаться 🫠. Завтра метрики снова изменятся. Угадайте, что мы скажем после 4 часов ресерча? И да, если метрики вдруг вырастут, а не упадут – это тоже сезонность.) --- Конечно, оглядываясь назад, я понимаю, что проблема была далеко не в «сезонности». Иногда в дизайне эксперимента. Иногда – в интерпретации. А иногда в том, что А/В просто не работают так, как от них ожидают. Вот дальше и начинается игра в «угадай оправдание». Именно об этом я и расскажу завтра на своем вебинаре «Почему А/В тесты не работают». Регистрируйся по ссылке и приходи.) Там будет разбор причин на конкретных кейсах, из-за которых тесты превращаются в хаос, и что с этим делать.) А вот традиция смотреть на метрики каждый день – все же хорошая.