🔍 Читерский способ для поиска точек роста в продукте Типовая задача…

🔍 Читерский способ для поиска точек роста в продукте Типовая задача продуктового аналитика — находить точки роста. Т. е. находить такие места в продукте, изменения в которых могут принести наибольший прирост ключевых метрик. Есть сотни подходов к поиску точек роста: узкие места в воронках, динамика метрик, когортный анализ, коррелляционный анализ, бенчмарки, анализ CJM, unit-экономика, анализ конкурентов. Каждый из методов может быть хорош в зависимости от вводных. Но есть один конкретный метод, который лично мне на практике нравится больше всего. Я бы даже назвал его возможности читерскими. В рамках этого метода мы сравниваем пользователей, которые совершили некоторое целевое действие (treatment), с максимально похожими на них по характеристикам пользователями, которые его не совершали (control). Таким образом, мы «эмулируем» условия рандомизации и можем оценить, насколько само целевое действие (воздействие) связано с изменением метрик. Получается буквально АБ без АБ. Например, мы хотим оценить, влияет ли добавление друга в Duolingo на 7-day retention. Эта функция доступна всем, проводить ухудшающий А/В здесь не имеет смысла. Просто сравнивать тех, кто добавил, и кто нет – нельзя, такое сравнение нерепрезентативно. Если же мы найдем пользователей со схожими характеристикам (демография, интересы, уровень активности в первые 24 часа), которые отличаются только добавлением друга – окажется, к примеру, что retention у выборки тех, кто добавил – 40%, а кто не добавлял – 20%. Вот она, точка роста – давайте активнее вовлекать в добавление друзей! Конечно, как и в любом инструменте, есть много нюансов: по каким характеристикам лучше сопоставлять пользователей, насколько они должны быть «похожи», а если осталось много без пар и т. д. Но концепцию метода, думаю, вы уловили. А называется метод – Propensity Score Matching (PSM). И самое приятное в нем – он имеет сопоставимый с А/В уровень доказательной силы 🚀. С его помощью можно превращать имеющиеся данные компании в беклог гипотез для команды. Т. е. ищем точки роста чуть ли не в каждом целевом действии в продукте, оцениваем «плечи» роста метрик, генерируем гипотезы, как можно использовать извлеченные инсайты, и проверяем их с помощью последующих А/В. PSM не заменяет A/B-тесты. Он помогает находить точки роста там, где проведение А/В затруднительно. С его помощью можно подсвечивать команде, в какую сторону стоит смотреть. Хотели бы узнать про еще больше крутых методов анализа? Тогда поддержи этот пост огоньком 🔥 #абтесты