Жизненный цикл АБ эксперимента Жизненный цикл АБ – это те этапы, через которые проходит любая гипотеза. Он направлен на то, чтобы с каждой итерацией извлекать все больше знаний о продукте и его пользователях. Сегодня я расскажу, из каких 6 этапов должен состоять любой АБ эксперимент, чтобы взять от него максимум: 1️⃣ Сбор бизнес аспектов Цель этапа – убедиться, что мы проверяем достаточно перспективную и согласованную со стратегией гипотезу. Здесь мы вылидируем и определяем целесообразность гипотезы, фиксируем ассоциированные с ее проверкой риски и ограничения, формируем план действий для потенциальных исходов эксперимента. К сожалению, этим этапом часто пренебрегают в угоду ускорения «дизайна АБ». Но это тот фундамент, вложившись в который, можно избежать кучи проблем на всех последующих этапах. По моему опыту – проработка бизнес-аспектов на порядок окупает свои временные затраты. 2️⃣ Дизайн эксперимента На этом этапе аналитик финализирует все бизнесовые, технические и статистические условия для проведения эксперимента, учитывая потенциальные corner-кейсы. Это наиболее привычный для многих этап. На нем опредяются метрики и MDE, вносятся поправки на множественное сравнение, оценивается длительность теста, определяется механизм раскатки и занимаемые слой со слотами. 3️⃣ Запуск теста Это первые 48 часов с момента, как первые пользователи начали получать тестовую ветку продукта. В это временное окно критически важно убедиться, что эксперимент запущен без багов, а данные собираются корректно. И даже если технически все в порядке – что гипотеза не начала наносить драматический вред продукту. 4️⃣ Проведение АБ На этом этапе мы ждем пока наберется необходимый размер выборки. Но не просто ставим будильник и возвращаемся через N дней. И не выводим дашборд эксперимента на монитор и покорно ждем. А с некоторой установленной периодичностью проверяем здоровье – SRM, репрезентативности, наличие багов и качество логов в сегментах и т. д. Не останавливаем эксперимент без веских причин. 5️⃣ Подведение итогов Останавливаем эксперимент, финально убеждаемся в отсутствии проблем, анализируем результаты, делаем выводы, презентуем результаты, принимаем решение. Что часто забывается при подведении итогов – это не просто интерпретировать увиденное в результатах теста, а давать продуктовые рекомендации. В каких аспектах не дотянули реализацию тестовой ветки? Какую следующую итерацию проверки гипотезы стоит запустить? Какие новые гипотезы можно предложить на основе извлеченных знаний? 6️⃣ Завершение эксперимента Убеждаемся, что эксперимент раскатили на всех или откатили, в процессе этого не наблюдалось проблем, а результаты и инсайты внесены в базу знаний. После завершения эксперимента – его жизнь не останавливается. Его отголоски можно видеть и анализировать на подверженных воздействию сегментах и когортах. А знания о нем можно продолжать извлекать и через годы оказанного когда-то влияния, к примеру, с помощью PSM. --- Жизненный цикл АБ хорошо накладывается на мой чеклист АБ эксперимента. Если вы его еще не видели, то по этой ссылке вы найдете его портативный вариант – можно быстро открыть и проставить check'и для своего эксперимента. А здесь – вариант в Google Sheet для модификации под свои нужды.