🥹 Как отличить эмоции пользователей от реального эффекта в АБ Представьте, что вы переехали в новую квартиру. Первые дни вы радуетесь: светлее, лучше вид из окна, новая мебель. Но через неделю уже не так впечатляет. Это эффект новизны. А теперь вспомните, как в магазине однажды поменяли местами стеллажи. Вы ищете любимый продукт и ворчите: «Зачем переставили?!». А через пару походов привыкаете. Это сопротивление новому. В АБ происходит то же самое. Иногда пользователи охотнее кликают просто потому, что это «что-то новенькое». А иногда наоборот, путаются и реагируют негативно, пока не адаптируются. Если не заложить в дизайн АБ риски возникновения этих эффектов, то вы рискуете принять неверное решение по результатам эксперимента: - «Ого, рост, внедряем!» – а через месяц эффект на метриках сойдет на нет. - «Упали, откатываем!» – хотя это могло быть лишь временной реакцией на непривычность. Эффект новизны и сопротивление новому не возникают случайно. Они чаще всего связаны с UI-изменениями, которые затрагивают внимание, привычки или эмоции пользователей. 📌 Вот примеры популярных сценариев возникновения сопротивления новому: - Глобальные редизайны интерфейса: изменения навигации, перестановка кнопок, новая логика пользовательских сценариев. Пользователи теряются → метрики падают → со временем привыкают; - Изменения в ключевых элементах пути пользователя: корзины, поиска, экрана оплаты. Здесь сильна привычка – вмешательство вызывает фрустрацию; - Замена привычных UX-паттернов: например, свайп вместо кнопки «удалить». Сначала вызывает недоумение, потом может стать нормой. 📌А вот примеры для эффекта новизны: - Визуальные апдейты: редизайн кнопки, новый баннер, свежая анимация. Всё, что «бросается в глаза»; - Геймификация: бейджи, ачивки, эвенты; - Неожиданные промо: скидки, акции. Присутствие эффекта чаще всего видно по динамике метрик в разрезе старых и новых пользователей. Новые юзеры не подвержены влиянию эффектов, ведь они не знают, как было раньше. А также есть специальные алгоритмы их определения. Например, с помощью Jackknife Estimator. ❓ Но как с ними работать? Работа с эффектами = дизайнить эксперимент так, чтобы исключить эмоции пользователей и добраться до их устойчивого поведения. Для этого закладывайте период адаптации в дизайн теста. В частности, берите более устойчивые метрики. Например, конверсию не в первое использование, а в N-ое. Или исключайте для каждого пользователя первые N дней жизни в эксперименте. Помните, что пользователи – это люди, а не бездушные метрики. Их реакция часто завязана на эмоции, привычки и контекст. #абтесты